Merge
[packages/text.git] / tests-and-benchmarks.markdown
1 Tests and benchmarks
2 ====================
3
4 Prerequisites
5 -------------
6
7 To run the tests and benchmarks, you will need the test data, which
8 you can clone from one of the following locations:
9
10 * Mercurial master repository:
11   [bitbucket.org/bos/text-test-data](https://bitbucket.org/bos/text-test-data)
12
13 * Git mirror repository:
14   [github.com/bos/text-test-data](https://github.com/bos/text-test-data)
15
16 You should clone that repository into the `tests` subdirectory (your
17 clone must be named `text-test-data` locally), then run `make -C
18 tests/text-test-data` to uncompress the test files.  Many tests and
19 benchmarks will fail if the test files are missing.
20
21 Functional tests
22 ----------------
23
24 The functional tests are located in the `tests` subdirectory. An overview of
25 what's in that directory:
26
27     Makefile          Has targets for common tasks
28     Tests             Source files of the testing code
29     scripts           Various utility scripts
30     text-tests.cabal  Cabal file that compiles all benchmarks
31
32 The `text-tests.cabal` builds:
33
34 - A copy of the text library, sharing the source code, but exposing all internal
35   modules, for testing purposes
36 - The different test suites
37
38 To compile, run all tests, and generate a coverage report, simply use `make`.
39
40 Benchmarks
41 ----------
42
43 The benchmarks are located in the `benchmarks` subdirectory. An overview of
44 what's in that directory:
45
46     Makefile               Has targets for common tasks
47     haskell                Source files of the haskell benchmarks
48     python                 Python implementations of some benchmarks
49     ruby                   Ruby implementations of some benchmarks
50     text-benchmarks.cabal  Cabal file which compiles all benchmarks
51
52 To compile the benchmarks, navigate to the `benchmarks` subdirectory and run
53 `cabal configure && cabal build`. Then, you can run the benchmarks using:
54
55     ./dist/build/text-benchmarks/text-benchmarks
56
57 However, since there's quite a lot of benchmarks, you usually don't want to
58 run them all. Instead, use the `-l` flag to get a list of benchmarks:
59
60     ./dist/build/text-benchmarks/text-benchmarks
61
62 And run the ones you want to inspect. If you want to configure the benchmarks
63 further, the exact parameters can be changed in `Benchmarks.hs`.