Revert "Do not test max_bytes_used et. al for haddock tests"
authorJoachim Breitner <mail@joachim-breitner.de>
Fri, 5 Sep 2014 21:03:58 +0000 (23:03 +0200)
committerJoachim Breitner <mail@joachim-breitner.de>
Fri, 5 Sep 2014 21:03:58 +0000 (23:03 +0200)
This reverts commit 498d7dd2dc731a92eda2210e4ab0a04366511627. Again
sorry for the noise. This is the last reverstion. I will fix this for
good at around 12:13 CEST tomorrow :-)

testsuite/tests/perf/haddock/all.T

index f7c25ed..dcf41e4 100644 (file)
@@ -1,9 +1,38 @@
-# We do not add peak_megabytes_allocated and max_bytes_used to these tests, as
-# they are somewhat unreliable, and it is harder to re-run these numbers to
-# detect outliers, as described in Note [residency]
-
 test('haddock.base',
      [unless(in_tree_compiler(), skip)
+     ,stats_num_field('peak_megabytes_allocated',
+          [(wordsize(64), 323, 10)
+            # 2012-08-14: 240 (amd64/Linux)
+            # 2012-09-18: 237 (amd64/Linux)
+            # 2012-11-12: 249 (amd64/Linux)
+            # 2013-01-29: 274 (amd64/Linux)
+            # 2013-10-18: 323 (amd64/Linux)
+          ,(platform('i386-unknown-mingw32'), 163, 10)
+            # 2013-02-10:                     133 (x86/Windows)
+            # 2013-11-13:                     163 (x86/Windows, 64bit machine)
+          ,(wordsize(32), 156, 1)])
+            # 2012-08-14: 144 (x86/OSX)
+            # 2012-10-30: 113 (x86/Windows)
+            # 2013-02-10: 139 (x86/OSX)
+            # 2014-01-22: 168 (x86/Linux - new haddock)
+            # 2014-06-29: 156 (x86/Linux)
+     ,stats_num_field('max_bytes_used',
+          [(wordsize(64), 112286208, 10)
+            # 2012-08-14:  87374568 (amd64/Linux)
+            # 2012-08-21:  86428216 (amd64/Linux)
+            # 2012-09-20:  84794136 (amd64/Linux)
+            # 2012-11-12:  87265136 (amd64/Linux)
+            # 2013-01-29:  96022312 (amd64/Linux)
+            # 2013-10-18: 115113864 (amd64/Linux)
+            # 2014-07-31: 127954488 (amd64/Linux), correlates with 1ae5fa45
+            # 2014-08-29: 112286208 (amd64/Linux), w/w for INLINABLE things
+          ,(platform('i386-unknown-mingw32'), 58557136, 10)
+            # 2013-02-10:                     47988488 (x86/Windows)
+            # 2013-11-13:                     58557136 (x86/Windows, 64bit machine)
+          ,(wordsize(32), 58243640, 1)])
+            # 2013-02-10: 52237984 (x86/OSX)
+            # 2014-01-22: 62189068 (x86/Linux)
+            # 2014-06-29: 58243640 (x86/Linux)
      ,stats_num_field('bytes allocated',
           [(wordsize(64), 7946284944,  5)
             # 2012-08-14: 5920822352 (amd64/Linux)
@@ -37,6 +66,44 @@ test('haddock.base',
 
 test('haddock.Cabal',
      [unless(in_tree_compiler(), skip)
+     ,stats_num_field('peak_megabytes_allocated',
+          [(wordsize(64), 309, 10)
+            # 2012-08-14: 202 (amd64/Linux)
+            # 2012-08-29: 211 (amd64/Linux, new codegen)
+            # 2012-09-20: 227 (amd64/Linux)
+            # 2012-10-08: 217 (amd64/Linux)
+            # 2013-06-07: 246 (amd64/Linux) (reason unknown)
+            # 2013-11-21: 269
+            # 2013-11-22: 278 (amd64/Linux) (TH refactoring; weird)
+            # 2014-07-14: 309 (amd64/Linux)
+          ,(platform('i386-unknown-mingw32'), 144, 10)
+            # 2012-10-30:                      83 (x86/Windows)
+            # 2013-02-10:                     116 (x86/Windows)
+            # 2013-11-13:                     129 (x86/Windows, 64bit machine)
+            # 2014-01-28:                     136
+            # 2014-04-04:                     144
+          ,(wordsize(32), 147, 1)])
+           # 2012-08-14: 116 (x86/OSX)
+           # 2013-02-10:  89 (x86/Windows)
+           # 2014-01-22: 139 (x86/Linux - new haddock, but out of date before)
+           # 2014-06-29: 147 (x86/Linux)
+     ,stats_num_field('max_bytes_used',
+          [(wordsize(64), 113232208, 15)
+            # 2012-08-14:  74119424 (amd64/Linux)
+            # 2012-08-29:  77992512 (amd64/Linux, new codegen)
+            # 2012-10-02:  91341568 (amd64/Linux)
+            # 2012-10-08:  80590280 (amd64/Linux)
+            # 2013-03-13:  95356616 (amd64/Linux) Cabal updated
+            # 2014-07-14: 113232208 (amd64/Linux)
+          ,(platform('i386-unknown-mingw32'), 63493200, 15)
+            # 2012-10-30: 44224896 (x86/Windows)
+            # 2013-11-13: 49391436 (x86/Windows, 64bit machine)
+            # 2014-04-04: 63493200 (x86/Windows, 64bit machine)
+          ,(wordsize(32), 66411508, 1)])
+            # 2012-08-14: 47461532 (x86/OSX)
+            # 2013-02-10: 46563344 (x86/OSX)
+            # 2014-01-22: 52718512 (x86/Linux)
+            # 2014-06-29: 66411508 (x86/Linux)
      ,stats_num_field('bytes allocated',
           [(wordsize(64), 4267311856, 5)
             # 2012-08-14: 3255435248 (amd64/Linux)
@@ -71,6 +138,44 @@ test('haddock.Cabal',
 
 test('haddock.compiler',
      [unless(in_tree_compiler(), skip)
+     ,stats_num_field('peak_megabytes_allocated',
+          [(wordsize(64), 1551, 10)
+            # 2012-08-14: 1203 (amd64/Linux)
+            # 2012-08-21: 1199 (amd64/Linux)
+            # 2012-09-20: 1228 (amd64/Linux)
+            # 2012-10-08: 1240 (amd64/Linux)
+            # 2013-08-26: 1250 (amd64/Linux) Cabal updated
+            # 2013-10-18: 1408 (amd64/Linux)
+            # 2013-12-12: 1551 (amd64/Linux)
+          ,(platform('i386-unknown-mingw32'), 735, 10)
+            # 2012-10-30:                     606 (x86/Windows)
+            # 2013-02-10:                     653 (x86/Windows)
+            # 2013-11-13:                     735 (x86/Windows, 64bit machine)
+          ,(wordsize(32), 771, 1)])
+            # 2012-08-14: 631 (x86/OSX)
+            # 2013-02-10: 663 (x86/OSX)
+            # 2014-01-22: 727 (x86/Linux - new haddock, but out of date before)
+            # 2014-06-29: 771 (x86/Linux)
+     ,stats_num_field('max_bytes_used',
+          [(wordsize(64), 541926264, 10)
+            # 2012-08-14: 428775544 (amd64/Linux)
+            # 2012-09-20: 437618008 (amd64/Linux)
+            # 2012-10-08: 442768280 (amd64/Linux)
+            # 2012-11-12: 420105120 (amd64/Linux)
+            # 2013-06-08: 477593712 (amd64/Linux) (reason unknown)
+            # 2013-11-21: 502920176 (amd64/Linux)
+            # 2013-11-22: 541926264 (amd64/Linux) (TH refactoring; weird)
+          ,(platform('i386-unknown-mingw32'), 278706344, 10)
+            # 2012-10-30:                     220847924 (x86/Windows)
+            # 2013-02-10:                     238529512 (x86/Windows)
+            # 2013-11-13:                     269147084 (x86/Windows, 64bit machine)
+            # 2014-01-28:                     283814088 (x86/Windows)
+            # 2014-04-04:                     278706344 (x86/Windows)
+          ,(wordsize(32), 284082916, 1)])
+            # 2012-08-14: 231064920 (x86/OSX)
+            # 2013-02-10: 241785276 (x86/Windows)
+            # 2014-01-22: 278124612 (x86/Linux - new haddock)
+            # 2014-06-29: 284082916 (x86/Linux)
      ,stats_num_field('bytes allocated',
           [(wordsize(64), 29809571376, 10)
             # 2012-08-14: 26070600504 (amd64/Linux)