Update 32bit & 64bit performance numbers
authorHerbert Valerio Riedel <hvr@gnu.org>
Sun, 29 Jun 2014 13:53:39 +0000 (15:53 +0200)
committerHerbert Valerio Riedel <hvr@gnu.org>
Sun, 29 Jun 2014 14:02:15 +0000 (16:02 +0200)
Some numbers have decreased but the haddock numbers have generally
increased noticeable again (see also last update in 970e5d99fb658b73)

This updates all numbers I noticed in the "fast" test-mode, *except* for
the T9203 test-case on 32bit, which needs more investigation before
bumping due to its significant increase:

  bytes allocated value is too high:
      Expected    bytes allocated: 50000000 +/-5%
      Lower bound bytes allocated: 47500000
      Upper bound bytes allocated: 52500000
      Actual      bytes allocated: 85093548
  *** unexpected failure for T9203(normal)

testsuite/tests/perf/compiler/all.T
testsuite/tests/perf/haddock/all.T
testsuite/tests/perf/should_run/all.T

index 56417ea..060d8ca 100644 (file)
@@ -48,10 +48,11 @@ test('T1969',
                                  # 2013-02-10 5030080 (x86/Windows)
                                  # 2013-11-13 7295012 (x86/Windows, 64bit machine)
                                  # 2014-04-24 5719436 (x86/Windows, 64bit machine)
-           (wordsize(32), 6429864, 1),
+           (wordsize(32), 5949188, 1),
              #            6707308 (x86/OS X)
              # 2009-12-31 6149572 (x86/Linux)
              # 2014-01-22 6429864 (x86/Linux)
+             # 2014-06-29 5949188 (x86/Linux)
            (wordsize(64), 11000000, 20)]),
                # looks like the peak is around ~10M, but we're
                # unlikely to GC exactly on the peak.
@@ -65,12 +66,13 @@ test('T1969',
                                  # 2013-02-10 310633884 (x86/Windows)
                                  # 2013-11-13 317975916 (x86/Windows, 64bit machine)
                                  # 2014-04-04 301784492 (x86/Windows, 64bit machine)
-           (wordsize(32), 316103268, 1),
+           (wordsize(32), 303300692, 1),
              #            221667908 (x86/OS X)
              #            274932264 (x86/Linux)
              # 2012-10-08 303930948 (x86/Linux, new codegen)
              # 2013-02-10 322937684 (x86/OSX)
              # 2014-01-22 316103268 (x86/Linux)
+             # 2014-06-29 303300692 (x86/Linux)
            (wordsize(64), 660922376, 5)]),
              # 17/11/2009 434845560 (amd64/Linux)
              # 08/12/2009 459776680 (amd64/Linux)
index 3ad24f1..cafe738 100644 (file)
@@ -10,11 +10,12 @@ test('haddock.base',
           ,(platform('i386-unknown-mingw32'), 163, 10)
             # 2013-02-10:                     133 (x86/Windows)
             # 2013-11-13:                     163 (x86/Windows, 64bit machine)
-          ,(wordsize(32), 168, 1)])
+          ,(wordsize(32), 156, 1)])
             # 2012-08-14: 144 (x86/OSX)
             # 2012-10-30: 113 (x86/Windows)
             # 2013-02-10: 139 (x86/OSX)
             # 2014-01-22: 168 (x86/Linux - new haddock)
+            # 2014-06-29: 156 (x86/Linux)
      ,stats_num_field('max_bytes_used',
           [(wordsize(64), 115113864, 10)
             # 2012-08-14: 87374568 (amd64/Linux)
@@ -26,9 +27,10 @@ test('haddock.base',
           ,(platform('i386-unknown-mingw32'), 58557136, 10)
             # 2013-02-10:                     47988488 (x86/Windows)
             # 2013-11-13:                     58557136 (x86/Windows, 64bit machine)
-          ,(wordsize(32), 62189068, 1)])
+          ,(wordsize(32), 58243640, 1)])
             # 2013-02-10: 52237984 (x86/OSX)
             # 2014-01-22: 62189068 (x86/Linux)
+            # 2014-06-29: 58243640 (x86/Linux)
      ,stats_num_field('bytes allocated',
           [(wordsize(64), 7498123680,  5)
             # 2012-08-14: 5920822352 (amd64/Linux)
@@ -45,11 +47,12 @@ test('haddock.base',
             # 2013-02-10:                     3358693084 (x86/Windows)
             # 2013-11-13:                     3097751052 (x86/Windows, 64bit machine)
             # 2014-04-04:                     3548581572 (x86/Windows, 64bit machine)
-          ,(wordsize(32), 3554624600, 1)])
+          ,(wordsize(32), 3799130400, 1)])
             # 2012-08-14: 3046487920 (x86/OSX)
             # 2012-10-30: 2955470952 (x86/Windows)
             # 2013-02-10: 3146596848 (x86/OSX)
             # 2014-02-22: 3554624600 (x86/Linux - new haddock)
+            # 2014-06-29: 3799130400 (x86/Linux)
       ],
      stats,
      ['../../../../libraries/base/dist-install/doc/html/base/base.haddock.t'])
@@ -71,10 +74,11 @@ test('haddock.Cabal',
             # 2013-11-13:                     129 (x86/Windows, 64bit machine)
             # 2014-01-28:                     136
             # 2014-04-04:                     144
-          ,(wordsize(32), 139, 1)])
+          ,(wordsize(32), 147, 1)])
            # 2012-08-14: 116 (x86/OSX)
            # 2013-02-10:  89 (x86/Windows)
            # 2014-01-22: 139 (x86/Linux - new haddock, but out of date before)
+           # 2014-06-29: 147 (x86/Linux)
      ,stats_num_field('max_bytes_used',
           [(wordsize(64), 95356616, 15)
             # 2012-08-14: 74119424 (amd64/Linux)
@@ -86,12 +90,13 @@ test('haddock.Cabal',
             # 2012-10-30: 44224896 (x86/Windows)
             # 2013-11-13: 49391436 (x86/Windows, 64bit machine)
             # 2014-04-04: 63493200 (x86/Windows, 64bit machine)
-          ,(wordsize(32), 52718512, 1)])
+          ,(wordsize(32), 66411508, 1)])
             # 2012-08-14: 47461532 (x86/OSX)
             # 2013-02-10: 46563344 (x86/OSX)
             # 2014-01-22: 52718512 (x86/Linux)
+            # 2014-06-29: 66411508 (x86/Linux)
      ,stats_num_field('bytes allocated',
-          [(wordsize(64), 3979151552, 5)
+          [(wordsize(64), 4200993768, 5)
             # 2012-08-14: 3255435248 (amd64/Linux)
             # 2012-08-29: 3324606664 (amd64/Linux, new codegen)
             # 2012-10-08: 3373401360 (amd64/Linux)
@@ -102,14 +107,16 @@ test('haddock.Cabal',
             # 2013-11-21: 3908586784 (amd64/Linux) Cabal updated
             # 2013-12-12: 3828567272 (amd64/Linux)
             # 2014-01-12: 3979151552 (amd64/Linux) new parser
+            # 2014-06-29: 4200993768 (amd64/Linux)
           ,(platform('i386-unknown-mingw32'), 2052220292, 5)
             # 2012-10-30:                     1733638168 (x86/Windows)
             # 2013-02-10:                     1906532680 (x86/Windows)
             # 2014-01-28:                     1966911336 (x86/Windows)
             # 2014-04-24:                     2052220292 (x86/Windows)
-          ,(wordsize(32), 1986290624, 1)])
+          ,(wordsize(32), 2127198484, 1)])
             # 2012-08-14: 1648610180 (x86/OSX)
             # 2014-01-22: 1986290624 (x86/Linux)
+            # 2014-06-29: 2127198484 (x86/Linux)
       ],
      stats,
      ['../../../../libraries/Cabal/Cabal/dist-install/doc/html/Cabal/Cabal.haddock.t'])
@@ -129,10 +136,11 @@ test('haddock.compiler',
             # 2012-10-30:                     606 (x86/Windows)
             # 2013-02-10:                     653 (x86/Windows)
             # 2013-11-13:                     735 (x86/Windows, 64bit machine)
-          ,(wordsize(32), 727, 1)])
+          ,(wordsize(32), 771, 1)])
             # 2012-08-14: 631 (x86/OSX)
             # 2013-02-10: 663 (x86/OSX)
             # 2014-01-22: 727 (x86/Linux - new haddock, but out of date before)
+            # 2014-06-29: 771 (x86/Linux)
      ,stats_num_field('max_bytes_used',
           [(wordsize(64), 541926264, 10)
             # 2012-08-14: 428775544 (amd64/Linux)
@@ -148,10 +156,11 @@ test('haddock.compiler',
             # 2013-11-13:                     269147084 (x86/Windows, 64bit machine)
             # 2014-01-28:                     283814088 (x86/Windows)
             # 2014-04-04:                     278706344 (x86/Windows)
-          ,(wordsize(32), 278124612, 1)])
+          ,(wordsize(32), 284082916, 1)])
             # 2012-08-14: 231064920 (x86/OSX)
             # 2013-02-10: 241785276 (x86/Windows)
             # 2014-01-22: 278124612 (x86/Linux - new haddock)
+            # 2014-06-29: 284082916 (x86/Linux)
      ,stats_num_field('bytes allocated',
           [(wordsize(64), 28708374824, 10)
             # 2012-08-14: 26070600504 (amd64/Linux)
@@ -163,9 +172,10 @@ test('haddock.compiler',
             # 2012-10-30:                     13773051312 (x86/Windows)
             # 2013-02-10:                     14925262356 (x86/Windows)
             # 2013-11-13:                     14328363592 (x86/Windows, 64bit machine)
-          ,(wordsize(32), 14581475024, 1)])
+          ,(wordsize(32), 15110426000, 1)])
             # 2012-08-14: 13471797488 (x86/OSX)
             # 2014-01-22: 14581475024 (x86/Linux - new haddock)
+            # 2014-06-29: 15110426000 (x86/Linux)
       ],
      stats,
      ['../../../../compiler/stage2/doc/html/ghc/ghc.haddock.t'])
index 94fd2a3..4fa77a5 100644 (file)
@@ -60,9 +60,10 @@ test('T876',
           [(wordsize(64), 63216 , 5),
               # 2013-02-14: 1263712 (x86_64/Linux)
               # 2014-02-10:   63216 (x86_64/Linux), call arity analysis
-           (wordsize(32), 56820, 5) ]),
+           (wordsize(32), 53024, 5) ]),
               # some date:  663712  (Windows, 64-bit machine)
               # 2014-04-04:  56820  (Windows, 64-bit machine)
+              # 2014-06-29:  53024  (x86_64/Linux)
       only_ways(['normal']),
       extra_run_opts('10000')
       ],