Fix intermittent hie002 failure
authorVladislav Zavialov <vlad.z.4096@gmail.com>
Tue, 26 Feb 2019 13:54:07 +0000 (16:54 +0300)
committerMarge Bot <ben+marge-bot@smart-cactus.org>
Wed, 27 Feb 2019 15:06:05 +0000 (10:06 -0500)
commit2e8f664957dc3763dc4375894b8dc4d046d2e95b
tree63e97da1981ba23bac47a191932f2af2057c6af9
parent5c084e0468be46f5ab48b2c1669a7e4d4d0f3c43
Fix intermittent hie002 failure

hie002 is a performance test that used to fail unpredictably:

max_bytes_used Decrease from x86_64-linux-deb9-debug baseline @ HEAD~2:
    Expected    hie002 (normal) max_bytes_used: 1190923992.0 +/-20%
    Lower bound hie002 (normal) max_bytes_used:    952739193
    Upper bound hie002 (normal) max_bytes_used:   1429108791
    Actual      hie002 (normal) max_bytes_used:    726270784
    Deviation   hie002 (normal) max_bytes_used:        -39.0 %
peak_megabytes_allocated Decrease from x86_64-linux-deb9-debug baseline @ HEAD~2:
    Expected    hie002 (normal) peak_megabytes_allocated: 2538.0 +/-20%
    Lower bound hie002 (normal) peak_megabytes_allocated:   2030
    Upper bound hie002 (normal) peak_megabytes_allocated:   3046
    Actual      hie002 (normal) peak_megabytes_allocated:   1587
    Deviation   hie002 (normal) peak_megabytes_allocated:  -37.5 %
*** unexpected stat test failure for hie002(normal)

'max_bytes_used' and 'peak_megabytes_allocated' are too unstable without careful
control of the runtime configuration. We fix this by using a more predictable
metric, 'bytes allocated'.
testsuite/tests/hiefile/should_compile/all.T