Allow for multiple linker instances. Fixes Haskell portion of #3372.
[ghc.git] / validate
index d6bc1bf..6b529cf 100755 (executable)
--- a/validate
+++ b/validate
@@ -7,13 +7,14 @@ show_help () {
 Usage: $0 [FLAGS]...
 
 Validate GHC source tree against testsuite; see
-http://ghc.haskell.org/trac/ghc/wiki/TestingPatches for more
+https://gitlab.haskell.org/ghc/ghc/wikis/testing-patches for more
 information.
 
 Flags:
   --no-clean        don't make clean first, just carry on from
                     a previous interrupted validation run
   --testsuite-only  don't build the compiler, just run the test suite
+  --build-only      don't test the compiler, just build it
   --hpc             build stage2 with -fhpc, and see how much of the
                     compiler the test suite covers.
                     2008-07-01: 63% slower than the default.
@@ -22,7 +23,6 @@ Flags:
   --slow            Build stage2 with -DDEBUG. Run tests for all WAYS,
                     but skip those that call compiler_stats_num_field.
                     2008-07-01: 14% slower than the default.
-  --dph             Also build libraries/dph and run associated tests.
   --quiet           More pretty build log.
                     See Note [Default build system verbosity].
   --help            shows this usage help.
@@ -33,6 +33,9 @@ Flags:
 
     THREADS=1 ./validate
 
+  You can set the 'config_args' environment variable to pass flags to
+  'configure'.
+
   You can also use environment variables to pass extra options to the
   testsuite. For example:
 
@@ -43,10 +46,14 @@ EOF
 
 no_clean=0
 testsuite_only=0
+build_only=0
 hpc=NO
 speed=NORMAL
-use_dph=0
 be_quiet=0
+# Validate uses gzip compression for the binary distribution to avoid the rather
+# heavy cost of xz, which is the typical default. The options are defined in
+# mk/config.mk.in
+tar_comp=gzip
 
 while [ $# -gt 0 ]
 do
@@ -57,6 +64,9 @@ do
     --testsuite-only)
         testsuite_only=1
         ;;
+    --build-only)
+        build_only=1
+        ;;
     --hpc)
         hpc=YES
         ;;
@@ -69,12 +79,6 @@ do
     --normal) # for backward compat
         speed=NORMAL
         ;;
-    --no-dph) # for backward compat
-        use_dph=0
-        ;;
-    --dph)
-        use_dph=1
-        ;;
     --quiet)
         be_quiet=1
         ;;
@@ -107,29 +111,7 @@ check_packages () {
     fi
 }
 
-detect_cpu_count () {
-    if [ "$CPUS" = "" ]; then
-        # Windows standard environment variable
-        CPUS="$NUMBER_OF_PROCESSORS"
-    fi
-
-    if [ "$CPUS" = "" ]; then
-        # Linux
-        CPUS=`getconf _NPROCESSORS_ONLN 2>/dev/null`
-    fi
-
-    if [ "$CPUS" = "" ]; then
-        # FreeBSD
-        CPUS=`getconf NPROCESSORS_ONLN 2>/dev/null`
-    fi
-
-    if [ "$CPUS" = "" ]; then
-        # nothing helped
-        CPUS="1"
-    fi
-}
-
-detect_cpu_count
+CPUS=`mk/detect-cpu-count.sh`
 
 if ! [ -d testsuite ]
 then
@@ -164,15 +146,11 @@ if [ $testsuite_only -eq 0 ]; then
 thisdir=`pwd`
 
 if [ $no_clean -eq 0 ]; then
-    $make maintainer-clean NO_CLEAN_GMP=YES
+    $make maintainer-clean
 
     INSTDIR="$thisdir/inst"
 
-    if [ $use_dph -eq 1 ]; then
-        perl -w boot --validate --required-tag=dph
-    else
-        perl -w boot --validate
-    fi
+    python3 ./boot --validate
     ./configure --prefix="$INSTDIR" $config_args
 fi
 
@@ -182,7 +160,7 @@ echo "ValidateHpc=$hpc"     >> mk/are-validating.mk
 
 # Note [Default build system verbosity].
 #
-# From https://ghc.haskell.org/trac/ghc/wiki/Design/BuildSystem:
+# From https://gitlab.haskell.org/ghc/ghc/wikis/design/build-system:
 #
 #   "The build system should clearly report what it's doing (and sometimes
 #   why), without being too verbose. It should emit actual command lines as
@@ -195,12 +173,6 @@ if [ $be_quiet -eq 1 ]; then
     echo "V=0"                  >> mk/are-validating.mk # Less gunk
 fi
 
-if [ $use_dph -eq 1 ]; then
-    echo "BUILD_DPH=YES"    >> mk/are-validating.mk
-else
-    echo "BUILD_DPH=NO"     >> mk/are-validating.mk
-fi
-
 $make -j$threads
 # For a "debug make", add "--debug=b --debug=m"
 
@@ -211,8 +183,8 @@ check_packages post-build
 
 if [ $speed != "FAST" ]; then
 
-    $make binary-dist-prep
-    $make test_bindist TEST_PREP=YES
+    $make binary-dist-prep TAR_COMP=$tar_comp
+    $make test_bindist TEST_PREP=YES TAR_COMP=$tar_comp
 
     #
     # Install the xhtml package into the bindist.
@@ -233,6 +205,16 @@ fi # testsuite-only
 # -----------------------------------------------------------------------------
 # Run the testsuite
 
+if [ "$build_only" -eq 1 ]; then
+    cat <<EOF
+-------------------------------------------------------------------
+Congratulations!  This tree has compiled successfully.
+
+You can now test your new compiler using ./validate --testsuite-only.
+EOF
+    exit 0
+fi
+
 if [ "$hpc" = YES ]
 then
     # XXX With threads we'd need to give a different tix file to each thread
@@ -259,10 +241,39 @@ FAST)
 esac
 
 if [ $be_quiet -eq 1 ] && [ -z $VERBOSE ]; then
-    TEST_VERBOSITY="VERBOSE=1 NO_PRINT_SUMMARY=YES"
+    TEST_VERBOSITY="VERBOSE=1"
 fi
 
-$make $MAKE_TEST_TARGET stage=2 $BINDIST $TEST_VERBOSITY THREADS=$threads 2>&1 | tee testlog
+# We need to be quite picky on Windows about which Python interpreter we use
+# (#12554, #12661). Allow the user to override it.
+if [ "z$PYTHON" != "z" ]; then
+    PYTHON_ARG="PYTHON=$PYTHON"
+fi
+
+rm -f testsuite_summary.txt testsuite_summary_stage1.txt
+
+# Use LOCAL=0, see Note [Running tests in /tmp].
+$make -C testsuite/tests $BINDIST $PYTHON_ARG \
+      $MAKE_TEST_TARGET stage=2 LOCAL=0 $TEST_VERBOSITY THREADS=$threads \
+      NO_PRINT_SUMMARY=YES SUMMARY_FILE=../../testsuite_summary.txt \
+      JUNIT_FILE=../../testsuite.xml \
+      2>&1 | tee testlog
+
+# Run a few tests using the stage1 compiler.
+# See Note [Why is there no stage1 setup function?].
+# Don't use BINDIST=YES, as stage1 is not available in a bindist.
+$make -C testsuite/tests/stage1 $PYTHON_ARG \
+      $MAKE_TEST_TARGET stage=1 LOCAL=0 $TEST_VERBOSITY THREADS=$threads \
+      NO_PRINT_SUMMARY=YES SUMMARY_FILE=../../../testsuite_summary_stage1.txt \
+      JUNIT_FILE=../../../testsuite_stage1.xml \
+      2>&1 | tee testlog-stage1
+
+echo
+echo '==== STAGE 1 TESTS ==== '
+cat testsuite_summary_stage1.txt
+
+echo '==== STAGE 2 TESTS ==== '
+cat testsuite_summary.txt
 
 check_packages post-testsuite
 
@@ -276,7 +287,12 @@ if
     grep '\<0 unexpected passes' testsuite_summary.txt >/dev/null 2>/dev/null &&
     grep '\<0 unexpected failures' testsuite_summary.txt >/dev/null 2>/dev/null &&
     grep '\<0 unexpected stat failures' testsuite_summary.txt >/dev/null 2>/dev/null &&
-    ! grep 'Some files are written by multiple tests' testsuite_summary.txt >/dev/null 2>/dev/null ; then
+
+    grep '\<0 caused framework failures' testsuite_summary_stage1.txt >/dev/null 2>/dev/null &&
+    grep '\<0 unexpected passes' testsuite_summary_stage1.txt >/dev/null 2>/dev/null &&
+    grep '\<0 unexpected failures' testsuite_summary_stage1.txt >/dev/null 2>/dev/null &&
+    grep '\<0 unexpected stat failures' testsuite_summary_stage1.txt >/dev/null 2>/dev/null ; then
+
     if [ $testsuite_only -eq 0 ] && [ $no_clean -eq 0 ]
     then
         cat <<EOF