Do not test max_bytes_used et. al for haddock tests
authorJoachim Breitner <mail@joachim-breitner.de>
Thu, 4 Sep 2014 08:52:32 +0000 (10:52 +0200)
committerJoachim Breitner <mail@joachim-breitner.de>
Thu, 4 Sep 2014 08:52:32 +0000 (10:52 +0200)
Summary: as these are unreliable, and it is hard to re-run haddock with other RTS flags.

Test Plan: run validate

Reviewers: austin

Subscribers: simonmar, ezyang, carter

Differential Revision: https://phabricator.haskell.org/D196

GHC Trac Issues: #9551

testsuite/tests/perf/haddock/all.T

index ce11f60..ce7a37c 100644 (file)
@@ -1,38 +1,9 @@
+# We do not add peak_megabytes_allocated and max_bytes_used to these tests, as
+# they are somewhat unreliable, and it is harder to re-run these numbers to
+# detect outliers, as described in Note [residency]
+
 test('haddock.base',
      [unless(in_tree_compiler(), skip)
-     ,stats_num_field('peak_megabytes_allocated',
-          [(wordsize(64), 323, 10)
-            # 2012-08-14: 240 (amd64/Linux)
-            # 2012-09-18: 237 (amd64/Linux)
-            # 2012-11-12: 249 (amd64/Linux)
-            # 2013-01-29: 274 (amd64/Linux)
-            # 2013-10-18: 323 (amd64/Linux)
-          ,(platform('i386-unknown-mingw32'), 163, 10)
-            # 2013-02-10:                     133 (x86/Windows)
-            # 2013-11-13:                     163 (x86/Windows, 64bit machine)
-          ,(wordsize(32), 156, 1)])
-            # 2012-08-14: 144 (x86/OSX)
-            # 2012-10-30: 113 (x86/Windows)
-            # 2013-02-10: 139 (x86/OSX)
-            # 2014-01-22: 168 (x86/Linux - new haddock)
-            # 2014-06-29: 156 (x86/Linux)
-     ,stats_num_field('max_bytes_used',
-          [(wordsize(64), 112286208, 10)
-            # 2012-08-14:  87374568 (amd64/Linux)
-            # 2012-08-21:  86428216 (amd64/Linux)
-            # 2012-09-20:  84794136 (amd64/Linux)
-            # 2012-11-12:  87265136 (amd64/Linux)
-            # 2013-01-29:  96022312 (amd64/Linux)
-            # 2013-10-18: 115113864 (amd64/Linux)
-            # 2014-07-31: 127954488 (amd64/Linux), correlates with 1ae5fa45
-            # 2014-08-29: 112286208 (amd64/Linux), w/w for INLINABLE things
-          ,(platform('i386-unknown-mingw32'), 58557136, 10)
-            # 2013-02-10:                     47988488 (x86/Windows)
-            # 2013-11-13:                     58557136 (x86/Windows, 64bit machine)
-          ,(wordsize(32), 58243640, 1)])
-            # 2013-02-10: 52237984 (x86/OSX)
-            # 2014-01-22: 62189068 (x86/Linux)
-            # 2014-06-29: 58243640 (x86/Linux)
      ,stats_num_field('bytes allocated',
           [(wordsize(64), 7946284944,  5)
             # 2012-08-14: 5920822352 (amd64/Linux)
@@ -65,44 +36,6 @@ test('haddock.base',
 
 test('haddock.Cabal',
      [unless(in_tree_compiler(), skip)
-     ,stats_num_field('peak_megabytes_allocated',
-          [(wordsize(64), 309, 10)
-            # 2012-08-14: 202 (amd64/Linux)
-            # 2012-08-29: 211 (amd64/Linux, new codegen)
-            # 2012-09-20: 227 (amd64/Linux)
-            # 2012-10-08: 217 (amd64/Linux)
-            # 2013-06-07: 246 (amd64/Linux) (reason unknown)
-            # 2013-11-21: 269
-            # 2013-11-22: 278 (amd64/Linux) (TH refactoring; weird)
-            # 2014-07-14: 309 (amd64/Linux)
-          ,(platform('i386-unknown-mingw32'), 144, 10)
-            # 2012-10-30:                      83 (x86/Windows)
-            # 2013-02-10:                     116 (x86/Windows)
-            # 2013-11-13:                     129 (x86/Windows, 64bit machine)
-            # 2014-01-28:                     136
-            # 2014-04-04:                     144
-          ,(wordsize(32), 147, 1)])
-           # 2012-08-14: 116 (x86/OSX)
-           # 2013-02-10:  89 (x86/Windows)
-           # 2014-01-22: 139 (x86/Linux - new haddock, but out of date before)
-           # 2014-06-29: 147 (x86/Linux)
-     ,stats_num_field('max_bytes_used',
-          [(wordsize(64), 113232208, 15)
-            # 2012-08-14:  74119424 (amd64/Linux)
-            # 2012-08-29:  77992512 (amd64/Linux, new codegen)
-            # 2012-10-02:  91341568 (amd64/Linux)
-            # 2012-10-08:  80590280 (amd64/Linux)
-            # 2013-03-13:  95356616 (amd64/Linux) Cabal updated
-            # 2014-07-14: 113232208 (amd64/Linux)
-          ,(platform('i386-unknown-mingw32'), 63493200, 15)
-            # 2012-10-30: 44224896 (x86/Windows)
-            # 2013-11-13: 49391436 (x86/Windows, 64bit machine)
-            # 2014-04-04: 63493200 (x86/Windows, 64bit machine)
-          ,(wordsize(32), 66411508, 1)])
-            # 2012-08-14: 47461532 (x86/OSX)
-            # 2013-02-10: 46563344 (x86/OSX)
-            # 2014-01-22: 52718512 (x86/Linux)
-            # 2014-06-29: 66411508 (x86/Linux)
      ,stats_num_field('bytes allocated',
           [(wordsize(64), 4267311856, 5)
             # 2012-08-14: 3255435248 (amd64/Linux)
@@ -137,44 +70,6 @@ test('haddock.Cabal',
 
 test('haddock.compiler',
      [unless(in_tree_compiler(), skip)
-     ,stats_num_field('peak_megabytes_allocated',
-          [(wordsize(64), 1551, 10)
-            # 2012-08-14: 1203 (amd64/Linux)
-            # 2012-08-21: 1199 (amd64/Linux)
-            # 2012-09-20: 1228 (amd64/Linux)
-            # 2012-10-08: 1240 (amd64/Linux)
-            # 2013-08-26: 1250 (amd64/Linux) Cabal updated
-            # 2013-10-18: 1408 (amd64/Linux)
-            # 2013-12-12: 1551 (amd64/Linux)
-          ,(platform('i386-unknown-mingw32'), 735, 10)
-            # 2012-10-30:                     606 (x86/Windows)
-            # 2013-02-10:                     653 (x86/Windows)
-            # 2013-11-13:                     735 (x86/Windows, 64bit machine)
-          ,(wordsize(32), 771, 1)])
-            # 2012-08-14: 631 (x86/OSX)
-            # 2013-02-10: 663 (x86/OSX)
-            # 2014-01-22: 727 (x86/Linux - new haddock, but out of date before)
-            # 2014-06-29: 771 (x86/Linux)
-     ,stats_num_field('max_bytes_used',
-          [(wordsize(64), 541926264, 10)
-            # 2012-08-14: 428775544 (amd64/Linux)
-            # 2012-09-20: 437618008 (amd64/Linux)
-            # 2012-10-08: 442768280 (amd64/Linux)
-            # 2012-11-12: 420105120 (amd64/Linux)
-            # 2013-06-08: 477593712 (amd64/Linux) (reason unknown)
-            # 2013-11-21: 502920176 (amd64/Linux)
-            # 2013-11-22: 541926264 (amd64/Linux) (TH refactoring; weird)
-          ,(platform('i386-unknown-mingw32'), 278706344, 10)
-            # 2012-10-30:                     220847924 (x86/Windows)
-            # 2013-02-10:                     238529512 (x86/Windows)
-            # 2013-11-13:                     269147084 (x86/Windows, 64bit machine)
-            # 2014-01-28:                     283814088 (x86/Windows)
-            # 2014-04-04:                     278706344 (x86/Windows)
-          ,(wordsize(32), 284082916, 1)])
-            # 2012-08-14: 231064920 (x86/OSX)
-            # 2013-02-10: 241785276 (x86/Windows)
-            # 2014-01-22: 278124612 (x86/Linux - new haddock)
-            # 2014-06-29: 284082916 (x86/Linux)
      ,stats_num_field('bytes allocated',
           [(wordsize(64), 29809571376, 10)
             # 2012-08-14: 26070600504 (amd64/Linux)