testsuite: Ensure that makefile tests get run
authorBen Gamari <ben@smart-cactus.org>
Sun, 16 Dec 2018 15:43:11 +0000 (10:43 -0500)
committerMarge Bot <ben+marge-bot@smart-cactus.org>
Thu, 17 Oct 2019 05:03:11 +0000 (01:03 -0400)
Previously `makefile_test` and `run_command` tests could easily end up
in a situation where they wouldn't be run if the user used the
`only_ways` modifier. The reason is to build the set of a ways to run
the test in we first start with a candidate set determined by the test
type (e.g. `makefile_test`, `compile_run`, etc.) and then filter that
set with the constraints given by the test's modifiers.

`makefile_test` and `run_command` tests' candidate sets were simply
`{normal}`, and consequently most uses of `only_ways` would result in
the test being never run.

To avoid this we rather use all ways as the candidate sets for these
test types. This may result in a few more testcases than we would like
(given that some `run_command` tests are insensitive to way) but this
can be fixed by adding modifiers and we would much rather run too many
tests than too few.

This fixes #16042 and a number of other tests afflicted by the same issue.
However, there were a few cases that required special attention:

 * `T14028` is currently failing and is therefore marked as broken due
   to #17300

 * `T-signals-child` is fragile in the `threaded1` and `threaded2` ways
   (tracked in #17307)

testsuite/driver/testlib.py
testsuite/tests/llvm/should_run/subsections_via_symbols/Makefile
testsuite/tests/llvm/should_run/subsections_via_symbols/all.T
testsuite/tests/plugins/all.T
testsuite/tests/plugins/plugin-recomp-impure.stdout
testsuite/tests/quasiquotation/all.T
testsuite/tests/runghc/T-signals-child.hs
testsuite/tests/runghc/all.T
testsuite/tests/simplCore/should_compile/T7995.stdout
testsuite/tests/stranal/should_compile/T13031.stdout
testsuite/tests/stranal/should_compile/T16029.stdout

index 36aaf38..7fe0630 100644 (file)
@@ -829,6 +829,11 @@ def test_common_work(watcher: testutil.Watcher,
                 all_ways = [WayName('ghci')]
             else:
                 all_ways = []
+        elif func in [makefile_test, run_command]:
+            # makefile tests aren't necessarily runtime or compile-time
+            # specific. Assume we can run them in all ways. See #16042 for what
+            # happened previously.
+            all_ways = config.compile_ways + config.run_ways
         else:
             all_ways = [WayName('normal')]
 
index c108a37..ab81b8c 100644 (file)
@@ -6,8 +6,8 @@ include $(TOP)/mk/test.mk
 HCFLAGS = -O2 -fllvm
 HCINC = $(TOP)/../includes
 
-.PHONY: subsections_via_symbols_test
-subsections_via_symbols_test:
+.PHONY: subsections_via_symbols
+subsections_via_symbols:
        '$(TEST_HC)' -o SubsectionsViaSymbols.o SubsectionsViaSymbols.hs $(HCFLAGS) -staticlib
        '$(TEST_HC)' -o subsections_via_symbols SubsectionsViaSymbols subsections_via_symbols.m $(HCFLAGS) -optl -dead_strip -no-hs-main
        ./subsections_via_symbols
index 68ade25..16a30e6 100644 (file)
@@ -1,16 +1,11 @@
-if config.os == 'darwin':
-  only_darwin = normal
-else:
-  only_darwin = skip
-
-def f( name, opts ):
-  opts.only_ways = ['optllvm', 'llvm', 'debugllvm']
-
-setTestOpts(f)
-
 # Note [_ffi_call_unix64]
+# ~~~~~~~~~~~~~~~~~~~~~~~
 #
 # Please refer to https://gitlab.haskell.org/ghc/ghc/issues/5019
 # for the subsections_via_symbols.stderr
 
-test('subsections_via_symbols', [only_darwin], makefile_test, [])
+test('subsections_via_symbols',
+     [when(not opsys('darwin'), skip),
+      only_ways(['optllvm', 'llvm', 'debugllvm']),
+      extra_files(['SubsectionsViaSymbols.hs'])],
+     makefile_test, [])
index acc7968..4ca732e 100644 (file)
@@ -167,6 +167,7 @@ test('plugin-recomp-flags',
 test('plugin-recomp-change',
      [extra_files(['plugin-recomp/', 'plugin-recomp-test.hs']),
       only_ways([config.ghc_plugin_way]),
+      when(compiler_debugged(), expect_broken_for(17308, ['dyn'])),
       pre_cmd('$MAKE -s --no-print-directory -C plugin-recomp package.plugins01 TOP={top}')
       ],
      makefile_test, [])
@@ -174,6 +175,7 @@ test('plugin-recomp-change',
 test('plugin-recomp-change-prof',
      [extra_files(['plugin-recomp/', 'plugin-recomp-test.hs']),
       only_ways([config.ghc_plugin_way]),
+      when(compiler_debugged(), expect_broken_for(17308, ['dyn'])),
       pre_cmd('$MAKE -s --no-print-directory -C plugin-recomp package.plugins01 TOP={top}'),
       when(not config.have_profiling,skip)
       ],
index d282cfe..4a2c0ad 100644 (file)
@@ -1,4 +1,4 @@
 [1 of 1] Compiling Main             ( plugin-recomp-test.hs, plugin-recomp-test.o )
 Linking plugin-recomp-test ...
-[1 of 1] Compiling Main             ( plugin-recomp-test.hs, plugin-recomp-test.o ) [Plugin forced recompilation]
+[1 of 1] Compiling Main             ( plugin-recomp-test.hs, plugin-recomp-test.o ) [Impure plugin forced recompilation]
 Linking plugin-recomp-test ...
index a48b0f1..e8320a9 100644 (file)
@@ -6,5 +6,7 @@ test('T7918',
       only_ways([config.ghc_th_way]), unless(have_dynamic(), skip)],
      compile_and_run, ['-package ghc ' + config.ghc_th_way_flags])
 test('T14028',
-     [req_interp, only_ways([config.ghc_th_way])],
+     [req_interp,
+      only_ways([config.ghc_th_way]),
+      when(opsys('linux') and arch('x86_64'), expect_broken_for(17300, ['dyn']))],
      makefile_test, ['T14028'])
index ee36f62..ddc2127 100644 (file)
@@ -21,7 +21,7 @@ main = do
 
 runParent :: FilePath -> IO ()
 runParent runghc = do
-    (Just inH, Just outH, Nothing, ph@(ProcessHandle mvar _)) <-
+    (Just inH, Just outH, Nothing, ph@(ProcessHandle mvar _ _)) <-
         createProcess (proc runghc ["T-signals-child.hs", "child"])
             { std_in = CreatePipe
             , std_out = CreatePipe
index 1e159ee..6747e02 100644 (file)
@@ -12,5 +12,6 @@ test('T17171b', req_interp, makefile_test, [])
 test('T-signals-child',
      [ when(opsys('mingw32'), skip), req_interp
      , only_ways(['threaded1', 'threaded2'])
+     , fragile_for(17307, ['threaded1', 'threaded2'])
      ],
      makefile_test, [])
index b6b9f61..22ef963 100644 (file)
@@ -1,4 +1,2 @@
-echo hello
 hello
-'/5playpen/simonpj/HEAD-4/inplace/test   spaces/ghc-stage2' -dcore-lint -dcmm-lint -no-user-package-db -rtsopts  -fno-warn-missed-specialisations -fshow-warning-groups -fdiagnostics-color=never -dno-debug-output -c -fforce-recomp T13031.hs -ddump-simpl | grep 'Arity='
-[GblId, Arity=1, Caf=NoCafRefs]
+[GblId, Arity=1, Caf=NoCafRefs, Unf=OtherCon []]
index c06ac7c..5aae1ff 100644 (file)
@@ -1,4 +1,4 @@
-T16029.$WMkT [InlPrag=INLINE[2]] :: Int -> Int -> T
+T16029.$WMkT [InlPrag=INLINE[0]] :: Int -> Int -> T
          Tmpl= \ (dt [Occ=Once!] :: Int) (dt [Occ=Once!] :: Int) ->
   = \ (dt [Occ=Once!] :: Int) (dt [Occ=Once!] :: Int) ->
   :: GHC.Prim.Int# -> GHC.Prim.Int#