testsuite: Move echoing commands in make invocations to VERBOSE=5
authorReid Barton <rwbarton@gmail.com>
Thu, 2 Mar 2017 21:39:16 +0000 (16:39 -0500)
committerBen Gamari <ben@smart-cactus.org>
Fri, 3 Mar 2017 00:58:01 +0000 (19:58 -0500)
commit6421c6f2bb56bcdf2415e8556180821eedd77d2d
tree3920fb3a3a59059fdd7d70c42badbf58424f1af9
parent488a9daa8246e0dd364dc44b8b6b8650fa6f3822
testsuite: Move echoing commands in make invocations to VERBOSE=5

D2894 added a new verbosity level VERBOSE=4 to strip -s/--silent
flags from make invocations in test commands. This will probably
cause the test to fail of course, but is useful for seeing what
a test that's already failing is doing.

However there was already an undocumented meaning of VERBOSE=4,
added in commit cfeededf, that causes the results of performance
tests to be printed unconditionally (even when they are within the
expected range). nomeata's ghc builder uses these figures to
collect historical data on performance test figures. The new
meaning of VERBOSE=4 added in D2894 means that any test that uses
make now fails on the builder.

This commit moves the new behavior of D2894 to the level VERBOSE=5
so that nomeata's ghc builder again produces useful results on
failing tests. It also adds documentation for both settings.

Test Plan: did some manual testing

Reviewers: austin, bgamari, Phyx, nomeata

Reviewed By: bgamari, Phyx

Subscribers: nomeata, thomie, Phyx

Differential Revision: https://phabricator.haskell.org/D3141
testsuite/README.md
testsuite/driver/runtests.py
testsuite/driver/testlib.py