testsuite: Assert that testsuite ways are known
[ghc.git] / testsuite / tests / perf / haddock / all.T
1 # Note [Haddock runtime stats files]
2 #
3 # When one of the build systems builds a complete GHC distribution,
4 # haddock gets built and then used to generate .haddock files for each
5 # library. For that last step, both build systems pass an extra
6 # `+RTS -t<some path>.t` to record runtime statistics to the given path.
7 #
8 # Those .t files are then used by a few haddock perf tests (which all live
9 # under testsuite/tests/perf/haddock/). Since each build system needs to produce
10 # those files in different places, the testsuite driver takes the directory
11 # under which those files are placed as a configuration parameter,
12 # `config.stats_files_dir`. Each individual test then specifies the name of
13 # the (runtime statistics) file against which some checks are to be performed,
14 # in addition to declaring the test's type to be `static_stats`.
15
16 # We do not add peak_megabytes_allocated and max_bytes_used to these tests, as
17 # they are somewhat unreliable, and it is harder to re-run these numbers to
18 # detect outliers, as described in Note [residency]. See #9556.
19
20 test('haddock.base',
21      [unless(in_tree_compiler(), skip), req_haddock
22      ,collect_stats('bytes allocated',5)
23       ],
24      static_stats,
25      ['base.t'])
26
27 test('haddock.Cabal',
28      [unless(in_tree_compiler(), skip), req_haddock
29      ,collect_stats('bytes allocated',5)
30       ],
31      static_stats,
32      ['Cabal.t'])
33
34 test('haddock.compiler',
35      [unless(in_tree_compiler(), skip), req_haddock
36      ,collect_stats('bytes allocated',10)
37       ],
38      static_stats,
39      ['ghc.t'])