Richards optCoercion improvement made test cases fail the nice way
[ghc.git] / testsuite / tests / perf / compiler / all.T
index 3b4b62b..fcaec8e 100644 (file)
@@ -42,14 +42,17 @@ test('T1969',
              # 2013-02-13 27, very unstable!
              # 2013-09-11 30 (amd64/Linux)
       compiler_stats_num_field('max_bytes_used',
-          [(platform('i386-unknown-mingw32'), 7295012, 20),
+          [(platform('i386-unknown-mingw32'), 5719436, 20),
                                  # 2010-05-17 5717704 (x86/Windows)
                                  # 2013-02-10 5159748 (x86/Windows)
                                  # 2013-02-10 5030080 (x86/Windows)
                                  # 2013-11-13 7295012 (x86/Windows, 64bit machine)
-           (wordsize(32), 6149572, 1),
+                                 # 2014-04-24 5719436 (x86/Windows, 64bit machine)
+           (wordsize(32), 5949188, 1),
              #            6707308 (x86/OS X)
              # 2009-12-31 6149572 (x86/Linux)
+             # 2014-01-22 6429864 (x86/Linux)
+             # 2014-06-29 5949188 (x86/Linux)
            (wordsize(64), 11000000, 20)]),
                # looks like the peak is around ~10M, but we're
                # unlikely to GC exactly on the peak.
@@ -57,17 +60,20 @@ test('T1969',
                # hence 10% range.
                # See Note [residency] to get an accurate view.
       compiler_stats_num_field('bytes allocated',
-          [(platform('i386-unknown-mingw32'), 317975916, 5),
+          [(platform('i386-unknown-mingw32'), 301784492, 5),
                                  #            215582916 (x86/Windows)
                                  # 2012-10-29 298921816 (x86/Windows)
                                  # 2013-02-10 310633884 (x86/Windows)
                                  # 2013-11-13 317975916 (x86/Windows, 64bit machine)
-           (wordsize(32), 322937684, 1),
+                                 # 2014-04-04 301784492 (x86/Windows, 64bit machine)
+           (wordsize(32), 303300692, 1),
              #            221667908 (x86/OS X)
              #            274932264 (x86/Linux)
              # 2012-10-08 303930948 (x86/Linux, new codegen)
              # 2013-02-10 322937684 (x86/OSX)
-           (wordsize(64), 698612512, 5)]),
+             # 2014-01-22 316103268 (x86/Linux)
+             # 2014-06-29 303300692 (x86/Linux)
+           (wordsize(64), 660922376, 5)]),
              # 17/11/2009 434845560 (amd64/Linux)
              # 08/12/2009 459776680 (amd64/Linux)
              # 17/05/2010 519377728 (amd64/Linux)
@@ -75,19 +81,14 @@ test('T1969',
              # 16/07/2012 589168872 (amd64/Linux)
              # 20/07/2012 595936240 (amd64/Linux)
              # 23/08/2012 606230880 (amd64/Linux)
-             # 29/08/2012 633334184 (amd64/Linux)
-             #            (^ new codegen)
+             # 29/08/2012 633334184 (amd64/Linux) new codegen
              # 18/09/2012 641959976 (amd64/Linux)
-             # 19/10/2012 661832592 (amd64/Linux)
-             #            (^ -fPIC turned on)
-             # 23/10/2012 642594312 (amd64/Linux)
-             #            (^ -fPIC turned off again)
-             # 12/11/2012 658786936 (amd64/Linux)
-             #            (^ UNKNOWN REASON )
-             # 17/1/13:   667160192 (x86_64/Linux)
-             #            (^ new demand analyser)
-             # 18/10/2013 698612512 (x86_64/Linux)
-             #            (fix for #8456)
+             # 19/10/2012 661832592 (amd64/Linux) -fPIC turned on
+             # 23/10/2012 642594312 (amd64/Linux) -fPIC turned off again
+             # 12/11/2012 658786936 (amd64/Linux) UNKNOWN REASON
+             # 17/1/13:   667160192 (x86_64/Linux) new demand analyser
+             # 18/10/2013 698612512 (x86_64/Linux) fix for #8456
+             # 10/02/2014 660922376 (x86_64/Linux) call artiy analysis
       only_ways(['normal']),
 
       extra_hc_opts('-dcore-lint -static')
@@ -112,13 +113,14 @@ else:
 test('T3294',
      [
       compiler_stats_num_field('max_bytes_used', # Note [residency]
-          [(wordsize(32), 24009436, 15),
+          [(wordsize(32), 19882188, 15),
              #            17725476 (x86/OS X)
              #            14593500 (Windows)
              # 2013-02-10 20651576 (x86/Windows)
              # 2013-02-10 20772984 (x86/OSX)
              # 2013-11-13 24009436 (x86/Windows, 64bit machine)
-           (wordsize(64), 43224080, 15)]),
+             # 2014-04-24 19882188 (x86/Windows, 64bit machine)
+           (wordsize(64), 40000000, 15)]),
              # prev:           25753192 (amd64/Linux)
              # 29/08/2012:     37724352 (amd64/Linux)
              #  (increase due to new codegen, see #7198)
@@ -128,22 +130,26 @@ test('T3294',
              #  (reason for decrease unknown)
              # 29/5/2013:      43224080  (amd64/Linux)
              #  (reason for increase back to earlier value unknown)
+             # 2014-07-14:     36670800  (amd64/Linux)
+             #  (reason unknown, setting expected value somewhere in between)
 
       compiler_stats_num_field('bytes allocated',
-          [(wordsize(32), 1478325844, 5),
+          [(wordsize(32), 1377050640, 5),
            # previous:     815479800  (x86/Linux)
            # (^ increase due to new codegen, see #7198)
            # 2012-10-08:  1373514844 (x86/Linux)
-           # 2013-11-13: 1478325844 (x86/Windows, 64bit machine)
-           (wordsize(64), 3083825616, 5)]),
+           # 2013-11-13: 1478325844  (x86/Windows, 64bit machine)
+           # 2014-01-12: 1565185140  (x86/Linux)
+           # 2013-04-04: 1377050640  (x86/Windows, 64bit machine)
+           (wordsize(64), 2705289664, 5)]),
             # old:        1357587088 (amd64/Linux)
             # 29/08/2012: 2961778696 (amd64/Linux)
             # (^ increase due to new codegen, see #7198)
             # 18/09/2012: 2717327208 (amd64/Linux)
-            # 08/06/2013: 2901451552 (amd64/Linux)
-            # (^ reason unknown)
-            # 12/12/2013: 3083825616 (amd64/Linux)
-            # (^ reason unknown)
+            # 08/06/2013: 2901451552 (amd64/Linux) (reason unknown)
+            # 12/12/2013: 3083825616 (amd64/Linux) (reason unknown)
+            # 18/02/2014: 2897630040 (amd64/Linux) (call arity improvements)
+            # 12/03/2014: 2705289664 (amd64/Linux) (more call arity improvements)
       conf_3294
       ],
      compile,
@@ -170,9 +176,9 @@ test('T4801',
           [(platform('x86_64-apple-darwin'), 464872776, 5),
                            # expected value: 510938976 (amd64/OS X):
 
-           (wordsize(32), 185669232, 10),
-        # expected value: 228286660 (x86/OS X)
-
+           (wordsize(32), 211198056, 10),
+           # prev:        185669232 (x86/OSX)
+           # 2014-01-22:  211198056 (x86/Linux)
            (wordsize(64), 392409984, 10)]),
             # prev:       360243576 (amd64/Linux)
             # 19/10/2012: 447190832 (amd64/Linux) (-fPIC turned on)
@@ -187,7 +193,7 @@ test('T4801',
              # 2013-02-10:  11207828 (x86/OSX)
              # (some date): 11139444
              # 2013-11-13:  11829000 (x86/Windows, 64bit machine)
-           (wordsize(64), 22646000, 10)]),
+           (wordsize(64), 25002136, 10)]),
                 # prev:       20486256 (amd64/OS X)
                 # 30/08/2012: 17305600--20391920 (varies a lot)
                 # 19/10/2012: 26882576 (-fPIC turned on)
@@ -195,6 +201,7 @@ test('T4801',
                 # 24/12/2012: 21657520 (perhaps gc sampling time wibbles?)
                 # 10/01/2014: 25166280 
                 # 13/01/2014: 22646000 (mostly due to #8647)
+                # 18/02/2014: 25002136 (call arity analysis changes)
        only_ways(['normal']),
        extra_hc_opts('-static')
       ],
@@ -204,11 +211,11 @@ test('T4801',
 test('T3064',
      [# expect_broken( 3064 ),
       compiler_stats_num_field('peak_megabytes_allocated',# Note [residency]
-          [(wordsize(32), 18, 20),
+          [(wordsize(32), 23, 20),
             # expected value: 14 (x86/Linux 28-06-2012):
             # 2013-11-13:     18 (x86/Windows, 64bit machine)
-
-           (wordsize(64), 37, 20)]),
+            # 2014-01-22:     23 (x86/Linux)
+           (wordsize(64), 42, 20)]),
             # (amd64/Linux):            18
             # (amd64/Linux) 2012-02-07: 26
             # (amd64/Linux) 2013-02-12: 23; increased range to 10%
@@ -219,24 +226,27 @@ test('T3064',
             # (amd64/Linux) 2013-09-11: 37; better arity analysis (weird)
 
       compiler_stats_num_field('bytes allocated',
-          [(wordsize(32), 146626504, 10),
+          [(wordsize(32), 162457940, 10),
             # 2011-06-28: 56380288  (x86/Linux)
-            # 2012-10-30: 111189536 (x86/Windows) 
+            # 2012-10-30: 111189536 (x86/Windows)
             # 2013-11-13: 146626504 (x86/Windows, 64bit machine)
-           (wordsize(64), 329795912, 5)]),
+            # 2014-01-22: 162457940 (x86/Linux)
+           (wordsize(64), 324022680, 5)]),
             # (amd64/Linux) (28/06/2011):  73259544
             # (amd64/Linux) (07/02/2013): 224798696
             # (amd64/Linux) (02/08/2013): 236404384, increase from roles
             # (amd64/Linux) (11/09/2013): 290165632, increase from AMP warnings
             # (amd64/Linux) (22/11/2013): 308300448, GND via Coercible and counters for constraints solving
-           # (amd64/Linux) (02/12/2013): 329795912, Coercible refactor
+                # (amd64/Linux) (02/12/2013): 329795912, Coercible refactor
+            # (amd64/Linux) (11/02/2014): 308422280, optimize Coercions in simpleOptExpr
+            # (amd64/Linux) (23/05/2014): 324022680, unknown cause
 
       compiler_stats_num_field('max_bytes_used',
-          [(wordsize(32), 7218200 , 20),
-            # 2011-06-28: 2247016 (x86/Linux) (28/6/2011):
-            #(some date): 5511604
-            # 2013-11-13: 7218200 (x86/Windows, 64bit machine)
-      
+          [(wordsize(32), 11202304, 20),
+            # 2011-06-28:  2247016 (x86/Linux) (28/6/2011):
+            #(some date):  5511604
+            # 2013-11-13:  7218200 (x86/Windows, 64bit machine)
+            # 2014-04-04: 11202304 (x86/Windows, 64bit machine)
            (wordsize(64), 19821544, 20)]),
             # (amd64/Linux, intree) (28/06/2011):  4032024
             # (amd64/Linux, intree) (07/02/2013):  9819288
@@ -282,11 +292,13 @@ test('T5030',
 
 test('T5631',
      [compiler_stats_num_field('bytes allocated',
-          [(wordsize(32), 392904228, 10),
+          [(wordsize(32), 346389856, 10),
         # expected value: 392904228 (x86/Linux)
-           (wordsize(64), 735486328, 5)]),
+        # 2014-04-04:     346389856 (x86 Windows, 64 bit machine)
+           (wordsize(64), 690742040, 5)]),
         # expected value: 774595008 (amd64/Linux):
         # expected value: 735486328 (amd64/Linux) 2012/12/12:
+        # expected value: 690742040 (amd64/Linux) Call Arity improvements
        only_ways(['normal'])
       ],
      compile,
@@ -306,10 +318,11 @@ test('T783',
      [ only_ways(['normal']),  # no optimisation for this one
       # expected value: 175,569,928 (x86/Linux)
       compiler_stats_num_field('bytes allocated',
-          [(wordsize(32), 333833658, 2),
+          [(wordsize(32), 319179104, 5),
             # 2012-10-08: 226907420 (x86/Linux)
             # 2013-02-10: 329202116 (x86/Windows)
             # 2013-02-10: 338465200 (x86/OSX)
+            # 2014-04-04: 319179104 (x86 Windows, 64 bit machine)
            (wordsize(64), 654804144, 10)]),
             # prev:       349263216 (amd64/Linux)
             # 07/08/2012: 384479856 (amd64/Linux)
@@ -350,7 +363,7 @@ test('T5321FD',
             # prev:       213380256
             # 2012-10-08: 240302920 (x86/Linux)
             #  (increase due to new codegen)
-           (wordsize(64), 476497048, 10)])
+           (wordsize(64), 426960992, 10)])
             # prev:       418306336
             # 29/08/2012: 492905640
             #  (increase due to new codegen)
@@ -358,6 +371,10 @@ test('T5321FD',
             #  (reason for decrease unknown)
             # 08/06/2013: 476497048
             #  (reason for increase unknown)
+            # before 2014-07-17: 441997096
+            #  (with -8%, still in range, hence cause not known)
+            # 2014-07-17: 426960992 (-11% of previous value)
+            #  (due to better optCoercion, 5e7406d9, #9233)
       ],
       compile,[''])
 
@@ -381,19 +398,32 @@ test('T5837',
              # 2012-10-02 81879216
              # 2012-09-20 87254264 amd64/Linux
              # 2013-09-18 90587232 amd64/Linux
-            # 2013-11-21 86795752 amd64/Linux, GND via Coercible and counters
-            #                                  for constraints solving
+             # 2013-11-21 86795752 amd64/Linux, GND via Coercible and counters
+             #                                  for constraints solving
       ],
       compile_fail,['-ftype-function-depth=50'])
 
 test('T6048',
      [ only_ways(['optasm']),
       compiler_stats_num_field('bytes allocated',
-          [(wordsize(32), 48887164, 10),
+          [(wordsize(32), 62618072, 10),
             # prev:       38000000 (x86/Linux)
             # 2012-10-08: 48887164 (x86/Linux)
-           (wordsize(64), 108578664, 10)])
-             # 18/09/2012 97247032 amd64/Linux
-             # 16/01/2014 108578664 amd64/Linux (unknown)
+            # 2014-04-04: 62618072 (x86 Windows, 64 bit machine)
+           (wordsize(64), 125431448, 12)])
+             # 18/09/2012  97247032 amd64/Linux
+             # 16/01/2014 108578664 amd64/Linux (unknown, likely foldl-via-foldr)
+             # 18/01/2014  95960720 amd64/Linux Call Arity improvements
+             # 28/02/2014 105556793 amd64/Linux (unknown, tweak in base/4d9e7c9e3 resulted in change)
+             # 05/03/2014 110646312 amd64/Linux Call Arity became more elaborate
+             # 14/07/2014 125431448 amd64/Linux unknown reason. Even worse in GHC-7.8.3. *shurg*
+      ],
+      compile,[''])
+
+test('T9020',
+     [ only_ways(['optasm']),
+      compiler_stats_num_field('bytes allocated',
+          [(wordsize(32), 381360728, 10),
+           (wordsize(64), 795469104, 10)])
       ],
       compile,[''])