Fix intermittent hie002 failure
authorVladislav Zavialov <vlad.z.4096@gmail.com>
Tue, 26 Feb 2019 13:54:07 +0000 (16:54 +0300)
committerMarge Bot <ben+marge-bot@smart-cactus.org>
Wed, 27 Feb 2019 15:06:05 +0000 (10:06 -0500)
hie002 is a performance test that used to fail unpredictably:

max_bytes_used Decrease from x86_64-linux-deb9-debug baseline @ HEAD~2:
    Expected    hie002 (normal) max_bytes_used: 1190923992.0 +/-20%
    Lower bound hie002 (normal) max_bytes_used:    952739193
    Upper bound hie002 (normal) max_bytes_used:   1429108791
    Actual      hie002 (normal) max_bytes_used:    726270784
    Deviation   hie002 (normal) max_bytes_used:        -39.0 %
peak_megabytes_allocated Decrease from x86_64-linux-deb9-debug baseline @ HEAD~2:
    Expected    hie002 (normal) peak_megabytes_allocated: 2538.0 +/-20%
    Lower bound hie002 (normal) peak_megabytes_allocated:   2030
    Upper bound hie002 (normal) peak_megabytes_allocated:   3046
    Actual      hie002 (normal) peak_megabytes_allocated:   1587
    Deviation   hie002 (normal) peak_megabytes_allocated:  -37.5 %
*** unexpected stat test failure for hie002(normal)

'max_bytes_used' and 'peak_megabytes_allocated' are too unstable without careful
control of the runtime configuration. We fix this by using a more predictable
metric, 'bytes allocated'.

testsuite/tests/hiefile/should_compile/all.T

index 9770bae..fb8092d 100644 (file)
@@ -1,5 +1,6 @@
 test('hie001',       normal,                   compile, ['-fno-code -fwrite-ide-info -fvalidate-ide-info'])
-test('hie002',       collect_compiler_stats(), compile, ['-fno-code -fwrite-ide-info'])
+test('hie002',       collect_compiler_stats('bytes allocated',10),
+                                               compile, ['-fno-code -fwrite-ide-info'])
 test('hie003',       normal,                   compile, ['-fno-code -fwrite-ide-info -fvalidate-ide-info'])
 test('hie004',       normal,                   compile, ['-fno-code -fwrite-ide-info -fvalidate-ide-info'])
 test('hie005',       normal,                   compile, ['-fno-code -fwrite-ide-info -fvalidate-ide-info'])