Support for abi-depends for computing shadowing.
[ghc.git] / testsuite / tests / perf / haddock / all.T
1 # We do not add peak_megabytes_allocated and max_bytes_used to these tests, as
2 # they are somewhat unreliable, and it is harder to re-run these numbers to
3 # detect outliers, as described in Note [residency]. See #9556.
4
5 test('haddock.base',
6      [unless(in_tree_compiler(), skip), req_haddock
7      ,stats_num_field('bytes allocated',
8           [(wordsize(64), 32855223200, 5)
9             # 2012-08-14: 5920822352 (amd64/Linux)
10             # 2012-09-20: 5829972376 (amd64/Linux)
11             # 2012-10-08: 5902601224 (amd64/Linux)
12             # 2013-01-17: 6064874536 (x86_64/Linux)
13             # 2013-02-10: 6282746976 (x86_64/Linux)
14             # 2013-09-17: 6634886456 (x86_64/Linux)
15             # 2013-09-18: 6294339840 (x86_64/Linux)
16             # 2013-11-21: 6756213256 (x86_64/Linux)
17             # 2014-01-12: 7128342344 (x86_64/Linux)
18             # 2014-06-12: 7498123680 (x86_64/Linux)
19             # 2014-08-05: 7992757384 (x86_64/Linux - bugfix for #314, Haddock now parses more URLs)
20             # 2014-08-08: 7946284944 (x86_64/Linux - Haddock updates to attoparsec-0.12.1.0)
21             # 2014-09-09: 8354439016 (x86_64/Linux - Applicative/Monad changes, according to Austin)
22             # 2014-09-10: 7901230808 (x86_64/Linux - Applicative/Monad changes, according to Joachim)
23             # 2014-10-07: 8322584616 (x86_64/Linux)
24             # 2014-12-14: 9502647104 (x86_64/Linux) - Update to Haddock 2.16
25             # 2014-01-08: 9014511528 (x86_64/Linux) - Eliminate so-called "silent superclass parameters" (and others)
26             # 2015-07-22: 9418857192 (x86_64/Linux) - Just slowly creeping up.
27             # 2015-10-03: 9894189856 (x86_64/Linux) - Still creeping
28             # 2015-12-11: 11119767632 (amd64/Linux) - TypeInType (see #11196)
29             # 2015-12-17: 26282821104 (x86_64/Linux) - Update Haddock to master
30             # 2015-12-17: 27812188000 (x86_64/Linux) - Move Data.Functor.* into base
31             # 2016-02-25: 30987348040 (x86_64/Linux) - RuntimeRep
32             # 2016-05-12: 32855223200 (x86_64/Linux) - Make Generic1 poly-kinded
33
34           ,(platform('i386-unknown-mingw32'), 4434804940, 5)
35             # 2013-02-10:                     3358693084 (x86/Windows)
36             # 2013-11-13:                     3097751052 (x86/Windows, 64bit machine)
37             # 2014-04-04:                     3548581572 (x86/Windows, 64bit machine)
38             # 2014-12-01:                     4202377432 (x86/Windows, 64bit machine)
39             # 2015-01-20:                     4434804940 (x86/Windows, 64bit machine)
40
41           ,(wordsize(32), 5509757068, 5)])
42             # 2012-08-14: 3046487920 (x86/OSX)
43             # 2012-10-30: 2955470952 (x86/Windows)
44             # 2013-02-10: 3146596848 (x86/OSX)
45             # 2014-02-22: 3554624600 (x86/Linux - new haddock)
46             # 2014-06-29: 3799130400 (x86/Linux)
47             # 2016-04-06: 5509757068 (x86/Linux)
48       ],
49      stats,
50      ['haddock.t'])
51
52 test('haddock.Cabal',
53      [unless(in_tree_compiler(), skip), req_haddock
54      ,stats_num_field('bytes allocated',
55           [(wordsize(64), 25478853176 , 5)
56             # 2012-08-14: 3255435248 (amd64/Linux)
57             # 2012-08-29: 3324606664 (amd64/Linux, new codegen)
58             # 2012-10-08: 3373401360 (amd64/Linux)
59             # 2013-03-13: 3626604824 (amd64/Linux) Cabal updated
60             # 2013-03-28: 3517301864 (amd64/Linux) fixed #7796
61             # 2013-04-26: 3658801800 (amd64/Linux) Cabal updated
62             # 2013-08-26: 3808466816 (amd64/Linux) Cabal updated
63             # 2013-11-21: 3908586784 (amd64/Linux) Cabal updated
64             # 2013-12-12: 3828567272 (amd64/Linux)
65             # 2014-01-12: 3979151552 (amd64/Linux) new parser
66             # 2014-06-29: 4200993768 (amd64/Linux)
67             # 2014-08-05: 4493770224 (x86_64/Linux - bugfix for #314, Haddock now parses more URLs)
68             # 2014-08-29: 4267311856 (x86_64/Linux - w/w for INLINABLE things)
69             # 2014-09-09: 4660249216 (x86_64/Linux - Applicative/Monad changes according to Austin)
70             # 2014-09-10: 4500376192 (x86_64/Linux - Applicative/Monad changes according to Joachim)
71             # 2014-09-24: 5840893376 (x86_64/Linux - Cabal update)
72             # 2014-10-04: 6019839624 (x86_64/Linux - Burning Bridges, Cabal update)
73             # 2014-12-14: 6387320816 (x86_64/Linux) - Update to Haddock 2.16
74             # 2015-01-22: 6710234312 (x86_64/Linux) - Cabal updated
75             # 2015-06-29: 7413958344 (x86_64/Linux) - due to #10482, not yet investigated
76             # 2015-12-11: 8114833312 (amd64/Linux) - TypeInType (See #11196)
77             # 2015-12-17: 9982130512 (amd64/Linux) - Update Haddock to master
78             # 2015-12-22: 10519532424 (amd64/Linux) - Lots of new Semigroup instances in Cabal
79             # 2016-03-29: 11517963232 (amd64/Linux) - not yet investigated
80             # 2016-03-30: 10941742184 (amd64/Linux) - defer inlining of Int* Ord methods
81             # 2016-04-06: 11542374816 (amd64/Linux) - CSE improvements and others
82             # 2016-04-07: 10963514352 (amd64/Linux) - Revert to what phabricator claims
83             # 2016-05-22: 11805238152 (amd64/Linux) - Make Generic1 poly-kinded
84             # 2016-06-05: 10997887320 (amd64/Linux) - Refactor derived Generic instances to reduce allocations
85             # 2016-06-21: 10070330520 (amd64/Linux) - D2350: Make checkFamInstConsistency less expensive
86             # 2016-08-07: 16001233464 (amd64/Linux) - Cabal update
87             #   It's worth noting that allocations scale up with the number
88             #   of modules in Cabal.  This Cabal update added a large number
89             #   of new modules; if you exclude them from the haddock run
90             #   the stats are comparable.
91             # 2016-10-01: 20619433656 (amd64/Linux) - Cabal update
92             # 2016-10-03: 21554874976 (amd64/Linux) - Cabal update
93             # 2016-10-06: 23706190072 (amd64/Linux) - Cabal update
94             # 2016-12-20: 25478853176 (amd64/Linux) - Cabal update
95
96           ,(platform('i386-unknown-mingw32'), 3293415576, 5)
97             # 2012-10-30:                     1733638168 (x86/Windows)
98             # 2013-02-10:                     1906532680 (x86/Windows)
99             # 2014-01-28:                     1966911336 (x86/Windows)
100             # 2014-04-24:                     2052220292 (x86/Windows)
101             # 2014-12-01:                     3088635556 (x86/Windows)
102             # 2015-01-20:                     3293415576
103
104           ,(wordsize(32), 6268156056, 5)])
105             # 2012-08-14: 1648610180 (x86/OSX)
106             # 2014-01-22: 1986290624 (x86/Linux)
107             # 2014-06-29: 2127198484 (x86/Linux)
108             # 2016-04-06: 6268156056 (x86/Linux)
109       ],
110      stats,
111      ['haddock.t'])
112
113 test('haddock.compiler',
114      [unless(in_tree_compiler(), skip), req_haddock
115      ,stats_num_field('bytes allocated',
116           [(wordsize(64), 60911147344, 10)
117             # 2012P-08-14: 26070600504 (amd64/Linux)
118             # 2012-08-29: 26353100288 (amd64/Linux, new CG)
119             # 2012-09-18: 26882813032 (amd64/Linux)
120             # 2012-11-12: 25990254632 (amd64/Linux)
121             # 2014-07-17: 29809571376 (amd64/Linux) general round of updates
122             # 2012-11-27: 28708374824 (amd64/Linux)
123             # 2014-09-10: 30353349160 (amd64/Linux) post-AMP cleanup
124             # 2014-11-22: 33562468736 (amd64/Linux)
125             # 2015-06-02: 36740649320 (amd64/Linux) unknown cause
126             # 2015-06-29: 40624322224 (amd64/Linux) due to #10482, not yet investigated
127             # 2015-12-03: 44721228752 (amd64/Linux) slow creep upwards
128             # 2015-12-15: 49395782136 (amd64/Linux) more creep, following kind-equalities
129             # 2015-12-17: 58017214568 (amd64/Linux) update Haddock to master
130             # 2016-06-21: 55314944264 (amd64/Linux) D2350: Make checkFamInstConsistency less expensive
131             # 2016-11-29: 60911147344 (amd64/Linux) unknown cause
132
133           ,(platform('i386-unknown-mingw32'),   902576468, 10)
134             # 2012-10-30:                     13773051312 (x86/Windows)
135             # 2013-02-10:                     14925262356 (x86/Windows)
136             # 2013-11-13:                     14328363592 (x86/Windows, 64bit machine)
137             # 2014-12-01:                       104140852 (x86/Windows, sudden shrinkage!)
138             # 2014-12-10:                       217933548 increased again
139
140           ,(wordsize(32), 16222702892, 5)])
141             # 2012-08-14: 13471797488 (x86/OSX)
142             # 2014-01-22: 14581475024 (x86/Linux - new haddock)
143             # 2014-06-29: 15110426000 (x86/Linux)
144             # 2016-04-06: 16222702892 (x86/Linux)
145       ],
146      stats,
147      ['haddock.t'])