Imported Upstream version 2.5.0
[scm/test.git] / t / README.md
1 # `t`
2
3 This directory contains one of the two types of tests that the Git LFS project
4 uses to protect against regression. The first, scattered in `*_test.go` files
5 throughout the repository are _unit tests_, and written in Go, designed to
6 uncover failures at the unit level.
7
8 The second kind--and the one contained in this directory--are _integration
9 tests_, which are designed to exercise Git LFS in an end-to-end fashion,
10 running the `git`, and `git-lfs` binaries, along with a mock Git server.
11
12 You can run all tests in this directory with any of the following:
13
14 ```ShellSession
15 $ make
16 $ make test
17 $ make PROVE_EXTRA_ARGS=-j9 test
18 ```
19
20 Or run a single test (for example, `t-checkout.sh`) by any of the following:
21
22 ```ShellSession
23 $ make ./t-checkout.sh
24 $ make PROVE_EXTRA_ARGS=-v ./t-checkout.sh
25 $ ./t-checkout.sh
26 ```
27
28 Alternatively, one can run a selection of tests (via explicitly listing them or
29 making use of the built-in shell globbing) by any of the following:
30
31 ```ShellSession
32 $ make ./t-*.sh
33 $ make PROVE_EXTRA_ARGS=-j9 ./t-*.sh
34 $ ./t-*.sh
35 ```
36
37 ## Test File(s)
38
39 There are a few important kinds of files to know about in the `t` directory:
40
41 - `cmd/`: contains the source code of binaries that are useful during test
42   time, like the mocked Git server, or the test counting binary. For more about
43   the contents of this directory, see [test lifecycle](#test-lifecycle) below.
44
45   The file `t/cmd/testutils.go` is automatically linked and included during the
46   build process of each file in `cmd`.
47
48 - `fixtures/`: contains shell scripts that load fixture repositories useful for
49   testing against.
50
51 - `t-*.sh`: file(s) containing zero or more tests, typically related to
52   a similar topic (c.f,. `t/t-push.sh`, `t/t-pull.sh`, etc.)
53
54 - `testenv.sh`: loads environment variables useful during tests. This file is
55   sourced by `testlib.sh`.
56
57 - `testhelpers.sh`: loads shell functions useful during tests, like
58   `setup_remote_repo`, and `clone_repo`.
59
60 - `testlib.sh`: loads the `begin_test`, `end_test`, and similar functions
61   useful for instantiating a particular test.
62
63 ## Test Lifecycle
64
65 When a test is run, the following occurs, in order:
66
67 1. Missing test binaries are compiled into the `bin` directory in the
68    repository root. Note: this does _not_ include the `git-lfs` binary, which
69    is re-compiled via `script/boostrap`.
70
71 2. An integration server is started by either (1) the `Makefile` or (2) the
72    `cmd/lfstest-count-test.go` program, which keeps track of the number of
73    running tests and starts an integration server any time the number of active
74    tests goes from `0` to `1`, and stops the server when it goes from `n` to
75    `0`.
76
77 3. After sourcing `t/testlib.sh` (& loading `t/testenv.sh`), each test is run
78    in sequence per file. (In other words, multiple test files can be run in
79    parallel, but the tests in a single file are run in sequence.)
80
81 4. An individual test will finish, and (if running under `prove`) another will
82    be started in its place. Once all tests are done, `t/test_count` will go to
83    `0`, and the test server will be torn down.
84
85 ## Test Environment
86
87 There are a few environment variables that you can set to change the test suite
88 behavior:
89
90 * `GIT_LFS_TEST_DIR=path` - This sets the directory that is used as the current
91 working directory of the tests. By default, this will be in your temp dir. It's
92 recommended that this is set to a directory outside of any Git repository.
93
94 * `KEEPTRASH=1` - This will leave the local repository data in a `tmp` directory
95 and the remote repository data in `test/remote`.
96
97 Also ensure that your `noproxy` environment variable contains `127.0.0.1` host,
98 to allow git commands to reach the local Git server `lfstest-gitserver`.
99
100 ## Writing new tests
101
102 A new test file should be named `t/t-*.sh`, where `*` is the topic of Git LFS
103 being tested. It should look as follows:
104
105 ```bash
106 #!/usr/bin/env bash
107
108 . "$(dirname "$0")/testlib.sh"
109
110 begin_test "my test"
111 (
112   set -e
113
114   # ...
115 )
116 end_test
117 ```