No relative inclusion of HsVersions.h
[ghc.git] / validate
index 7464be9..77bc002 100755 (executable)
--- a/validate
+++ b/validate
@@ -14,31 +14,48 @@ Flags:
   --no-clean        don't make clean first, just carry on from
                     a previous interrupted validation run
   --testsuite-only  don't build the compiler, just run the test suite
+  --build-only      don't test the compiler, just build it
   --hpc             build stage2 with -fhpc, and see how much of the
                     compiler the test suite covers.
                     2008-07-01: 63% slower than the default.
                     HTML generated here: testsuite/hpc_output/hpc_index.html
-  --normal          Default settings
-  --fast            Omit dyn way, omit binary distribution
-  --slow            Build stage2 with -DDEBUG.
+  --fast            Omit binary distribution. Omit certain tests.
+  --slow            Build stage2 with -DDEBUG. Run tests for all WAYS,
+                    but skip those that call compiler_stats_num_field.
                     2008-07-01: 14% slower than the default.
-  --dph:            Also build libraries/dph and run associated tests.
+  --dph             Also build libraries/dph and run associated tests.
+  --quiet           More pretty build log.
+                    See Note [Default build system verbosity].
   --help            shows this usage help.
 
-  Set environment variable 'CPUS' to number of cores, to exploit
-  multiple cpu cores, e.g.
+  validate runs 'make -j\$THREADS', where by default THREADS is the number of
+  cpus your computer has +1. You can set the environment variable THREADS to
+  override this. For a sequential build you would for example use
 
-    CPUS=8 ./validate
+    THREADS=1 ./validate
+
+  You can set the 'config_args' environment variable to pass flags to
+  'configure'.
+
+  You can also use environment variables to pass extra options to the
+  testsuite. For example:
+
+    TEST='read001 read002' ./validate --testsuite-only --fast
 
 EOF
 }
 
 no_clean=0
 testsuite_only=0
+build_only=0
 hpc=NO
 speed=NORMAL
 use_dph=0
 be_quiet=0
+# Validate uses gzip compression for the binary distribution to avoid the rather
+# heavy cost of xz, which is the typical default. The options are defined in
+# mk/config.mk.in
+tar_comp=gzip
 
 while [ $# -gt 0 ]
 do
@@ -49,6 +66,9 @@ do
     --testsuite-only)
         testsuite_only=1
         ;;
+    --build-only)
+        build_only=1
+        ;;
     --hpc)
         hpc=YES
         ;;
@@ -58,7 +78,7 @@ do
     --fast)
         speed=FAST
         ;;
-    --normal)
+    --normal) # for backward compat
         speed=NORMAL
         ;;
     --no-dph) # for backward compat
@@ -82,14 +102,21 @@ do
 done
 
 check_packages () {
-    echo "== Start $1 package check"
     if [ "$bindistdir" = "" ]
     then
-        inplace/bin/ghc-pkg check -v
+        ghc_pkg=inplace/bin/ghc-pkg
+    else
+        ghc_pkg="$bindistdir"/bin/ghc-pkg
+    fi
+
+    if [ $be_quiet -eq 1 ]
+    then
+        "$ghc_pkg" check
     else
-        "$bindistdir"/bin/ghc-pkg check -v
+        echo "== Start $1 package check"
+        "$ghc_pkg" check -v
+        echo "== End $1 package check"
     fi
-    echo "== End $1 package check"
 }
 
 detect_cpu_count () {
@@ -112,8 +139,6 @@ detect_cpu_count () {
         # nothing helped
         CPUS="1"
     fi
-
-    echo "using ${CPUS} CPUs" >&2
 }
 
 detect_cpu_count
@@ -130,49 +155,56 @@ else
     threads="$THREADS"
 fi
 
+echo "using THREADS=${threads}" >&2
+
 if type gmake > /dev/null 2> /dev/null
 then
-    if [ $be_quiet -eq 1 ]; then
-        make="gmake -s"
-    else
-        make="gmake"
-    fi
+    make="gmake"
 else
-    if [ $be_quiet -eq 1 ]; then
-        make="make -s"
-    else
-        make="make"
-    fi
+    make="make"
+fi
+
+if [ $be_quiet -eq 1 ]; then
+    # See Note [Default build system verbosity].
+    make="$make -s"
 fi
 
+$make -C utils/checkUniques
+
 if [ $testsuite_only -eq 0 ]; then
 
+thisdir=`pwd`
+
 if [ $no_clean -eq 0 ]; then
-    $make maintainer-clean NO_CLEAN_GMP=YES
+    $make maintainer-clean
 
-    INSTDIR=`pwd`/inst
-    if [ "$OSTYPE" = "cygwin" ]
-    then
-        INSTDIR=`cygpath -m "$INSTDIR"`
-    fi
+    INSTDIR="$thisdir/inst"
 
     if [ $use_dph -eq 1 ]; then
-        /usr/bin/perl -w boot --validate --required-tag=dph
+        python3 ./boot --validate --required-tag=dph
     else
-        /usr/bin/perl -w boot --validate
+        python3 ./boot --validate
     fi
     ./configure --prefix="$INSTDIR" $config_args
 fi
 
-thisdir=`utils/ghc-pwd/dist-boot/ghc-pwd`
-
 echo "Validating=YES"       >  mk/are-validating.mk
 echo "ValidateSpeed=$speed" >> mk/are-validating.mk
 echo "ValidateHpc=$hpc"     >> mk/are-validating.mk
 
+# Note [Default build system verbosity].
+#
+# From https://ghc.haskell.org/trac/ghc/wiki/Design/BuildSystem:
+#
+#   "The build system should clearly report what it's doing (and sometimes
+#   why), without being too verbose. It should emit actual command lines as
+#   much as possible, so that they can be inspected and cut & pasted."
+#
+# That should be the default. Only suppress commands, by setting V=0 and using
+# `make -s`, when user explicitly asks for it with `./validate --quiet`.
 if [ $be_quiet -eq 1 ]; then
-    echo "V=0"              >> mk/are-validating.mk # Less gunk
-    echo "GhcHcOpts="       >> mk/are-validating.mk # Remove -Rghc-timing
+    # See Note [Default build system verbosity].
+    echo "V=0"                  >> mk/are-validating.mk # Less gunk
 fi
 
 if [ $use_dph -eq 1 ]; then
@@ -191,8 +223,8 @@ check_packages post-build
 
 if [ $speed != "FAST" ]; then
 
-    $make binary-dist-prep
-    $make test_bindist TEST_PREP=YES
+    $make binary-dist-prep TAR_COMP=$tar_comp
+    $make test_bindist TEST_PREP=YES TAR_COMP=$tar_comp
 
     #
     # Install the xhtml package into the bindist.
@@ -213,6 +245,16 @@ fi # testsuite-only
 # -----------------------------------------------------------------------------
 # Run the testsuite
 
+if [ "$build_only" -eq 1 ]; then
+    cat <<EOF
+-------------------------------------------------------------------
+Congratulations!  This tree has compiled successfully.
+
+You can now test your new compiler using ./validate --testsuite-only.
+EOF
+    exit 0
+fi
+
 if [ "$hpc" = YES ]
 then
     # XXX With threads we'd need to give a different tix file to each thread
@@ -225,7 +267,7 @@ fi
 
 case "$speed" in
 SLOW)
-        MAKE_TEST_TARGET=fulltest
+        MAKE_TEST_TARGET=slowtest
         BINDIST="BINDIST=YES"
         ;;
 NORMAL)
@@ -233,17 +275,45 @@ NORMAL)
         BINDIST="BINDIST=YES"
         ;;
 FAST)
-        MAKE_TEST_TARGET=test
+        MAKE_TEST_TARGET=fasttest
         BINDIST="BINDIST=NO"
         ;;
 esac
 
-verbosity=3
-if [ $be_quiet -eq 1 ]; then
-   verbosity=2
+if [ $be_quiet -eq 1 ] && [ -z $VERBOSE ]; then
+    TEST_VERBOSITY="VERBOSE=1"
+fi
+
+# We need to be quite picky on Windows about which Python interpreter we use
+# (#12554, #12661). Allow the user to override it.
+if [ "z$PYTHON" != "z" ]; then
+    PYTHON_ARG="PYTHON=$PYTHON"
 fi
 
-$make $MAKE_TEST_TARGET stage=2 $BINDIST VERBOSE=$verbosity THREADS=$threads 2>&1 | tee testlog
+rm -f testsuite_summary.txt testsuite_summary_stage1.txt
+
+# Use LOCAL=0, see Note [Running tests in /tmp].
+$make -C testsuite/tests $BINDIST $PYTHON_ARG \
+      $MAKE_TEST_TARGET stage=2 LOCAL=0 $TEST_VERBOSITY THREADS=$threads \
+      NO_PRINT_SUMMARY=YES SUMMARY_FILE=../../testsuite_summary.txt \
+      JUNIT_FILE=../../testsuite.xml \
+      2>&1 | tee testlog
+
+# Run a few tests using the stage1 compiler.
+# See Note [Why is there no stage1 setup function?].
+# Don't use BINDIST=YES, as stage1 is not available in a bindist.
+$make -C testsuite/tests/stage1 $PYTHON_ARG \
+      $MAKE_TEST_TARGET stage=1 LOCAL=0 $TEST_VERBOSITY THREADS=$threads \
+      NO_PRINT_SUMMARY=YES SUMMARY_FILE=../../../testsuite_summary_stage1.txt \
+      JUNIT_FILE=../../../testsuite_stage1.xml \
+      2>&1 | tee testlog-stage1
+
+echo
+echo '==== STAGE 1 TESTS ==== '
+cat testsuite_summary_stage1.txt
+
+echo '==== STAGE 2 TESTS ==== '
+cat testsuite_summary.txt
 
 check_packages post-testsuite
 
@@ -252,16 +322,21 @@ then
     utils/hpc/hpc markup --hpcdir=. --srcdir=compiler --srcdir=testsuite/hpc_output --destdir=testsuite/hpc_output testsuite/hpc_output/ghc.tix
 fi
 
-echo "-------------------------------------------------------------------"
 if
-    grep '\<0 caused framework failures' testlog >/dev/null 2>/dev/null &&
-    grep '\<0 unexpected passes' testlog >/dev/null 2>/dev/null &&
-    grep '\<0 unexpected failures' testlog >/dev/null 2>/dev/null &&
-    grep '\<0 unexpected stat failures' testlog >/dev/null 2>/dev/null &&
-    ! grep 'Some files are written by multiple tests' testlog >/dev/null 2>/dev/null ; then
+    grep '\<0 caused framework failures' testsuite_summary.txt >/dev/null 2>/dev/null &&
+    grep '\<0 unexpected passes' testsuite_summary.txt >/dev/null 2>/dev/null &&
+    grep '\<0 unexpected failures' testsuite_summary.txt >/dev/null 2>/dev/null &&
+    grep '\<0 unexpected stat failures' testsuite_summary.txt >/dev/null 2>/dev/null &&
+
+    grep '\<0 caused framework failures' testsuite_summary_stage1.txt >/dev/null 2>/dev/null &&
+    grep '\<0 unexpected passes' testsuite_summary_stage1.txt >/dev/null 2>/dev/null &&
+    grep '\<0 unexpected failures' testsuite_summary_stage1.txt >/dev/null 2>/dev/null &&
+    grep '\<0 unexpected stat failures' testsuite_summary_stage1.txt >/dev/null 2>/dev/null ; then
+
     if [ $testsuite_only -eq 0 ] && [ $no_clean -eq 0 ]
     then
         cat <<EOF
+-------------------------------------------------------------------
 Congratulations!  This tree has passed minimal testing.
 
 NOTE: If you have made changes that may cause failures not tested for by
@@ -283,6 +358,7 @@ EOF
 EOF
     else
         cat <<EOF
+-------------------------------------------------------------------
 I didn't find any problems, but this wasn't a complete validate run,
 so be careful!
 
@@ -292,11 +368,14 @@ the minimal testing procedure, please do further testing as necessary.
 EOF
    fi
 else
-    cat <<EOF
+    if [ $be_quiet -eq 0 ]
+    then
+       cat <<EOF
+-------------------------------------------------------------------
 Oops!  Looks like you have some unexpected test results or framework failures.
 Please fix them before pushing/sending patches.
 -------------------------------------------------------------------
 EOF
+    fi
     exit 1
 fi
-