Note why all shootout benchmarks couldn't be added
[nofib.git] / README
1 This is the root directory of the "NoFib Haskell benchmark suite".  It
2 should be part of a GHC source tree, that is the 'nofib' directory
3 should be at the same level in the tree as 'compiler' and 'libraries'.
4
5 To run the tests:
6
7   $ make clean
8   $ make boot
9   $ make 2>&1 | tee nofib-log
10
11 will put the results in the file 'nofib-log'. You can pass extra options to a
12 nofib run using the EXTRA_HC_OPTS variable like this:
13
14   $ make clean
15   $ make boot
16   $ make EXTRA_HC_OPTS="-fllvm" >&1 | tee nofib-llvm-log
17
18 To compare the results of multiple runs, use the program in
19 ../utils/nofib-analyse.  Something like this:
20
21   $ nofib-analyse nofib-log-6.4.2 nofib-log-6.6
22
23 to generate a comparison of the runs in captured in 'nofib-log-6.4.2'
24 and 'nofib-log-6.6'.  When making comparisons, be careful to ensure
25 that the things that changed between the builds are only the things
26 that you *wanted* to change.  There are lots of variables: machine,
27 GHC version, GCC version, C libraries, static vs. dynamic GMP library,
28 build options, run options, and probably lots more.  To be on the safe
29 side, make both runs on the same unloaded machine.
30
31 To get instruction counts, memory reads/writes, and "cache misses",
32 you'll need to get hold of Cachegrind, which is part of Valgrind
33 (http://valgrind.org).
34
35 There are some options you might want to tweak; search for nofib in
36 ../mk/config.mk, and override settings in ../mk/build.mk as usual.
37
38 Package Requirements:
39  * html
40  * regex-compat (mtl, regex-base, regex-posix)
41  * stm (for smp benches)
42