t/t6112-rev-list-filters-objects.sh

   1 #!/bin/sh
   2
   3 test_description='git rev-list using object filtering'
   4
   5 . ./test-lib.sh
   6
   7 # Test the blob:none filter.
   8
   9 test_expect_success 'setup r1' '
  10         echo "{print \$1}" >print_1.awk &&
  11         echo "{print \$2}" >print_2.awk &&
  12
  13         git init r1 &&
  14         for n in 1 2 3 4 5
  15         do
  16                 echo "This is file: $n" > r1/file.$n
  17                 git -C r1 add file.$n
  18                 git -C r1 commit -m "$n"
  19         done
  20 '
  21
  22 test_expect_success 'verify blob:none omits all 5 blobs' '
  23         git -C r1 ls-files -s file.1 file.2 file.3 file.4 file.5 \
  24                 >ls_files_result &&
  25         awk -f print_2.awk ls_files_result |
  26         sort >expected &&
  27
  28         git -C r1 rev-list --quiet --objects --filter-print-omitted \
  29                 --filter=blob:none HEAD >revs &&
  30         awk -f print_1.awk revs |
  31         sed "s/~//" |
  32         sort >observed &&
  33
  34         test_cmp expected observed
  35 '
  36
  37 test_expect_success 'specify blob explicitly prevents filtering' '
  38         file_3=$(git -C r1 ls-files -s file.3 |
  39                  awk -f print_2.awk) &&
  40
  41         file_4=$(git -C r1 ls-files -s file.4 |
  42                  awk -f print_2.awk) &&
  43
  44         git -C r1 rev-list --objects --filter=blob:none HEAD $file_3 >observed &&
  45         grep "$file_3" observed &&
  46         ! grep "$file_4" observed
  47 '
  48
  49 test_expect_success 'verify emitted+omitted == all' '
  50         git -C r1 rev-list --objects HEAD >revs &&
  51         awk -f print_1.awk revs |
  52         sort >expected &&
  53
  54         git -C r1 rev-list --objects --filter-print-omitted --filter=blob:none \
  55                 HEAD >revs &&
  56         awk -f print_1.awk revs |
  57         sed "s/~//" |
  58         sort >observed &&
  59
  60         test_cmp expected observed
  61 '
  62
  63
  64 # Test blob:limit=<n>[kmg] filter.
  65 # We boundary test around the size parameter.  The filter is strictly less than
  66 # the value, so size 500 and 1000 should have the same results, but 1001 should
  67 # filter more.
  68
  69 test_expect_success 'setup r2' '
  70         git init r2 &&
  71         for n in 1000 10000
  72         do
  73                 printf "%"$n"s" X > r2/large.$n
  74                 git -C r2 add large.$n
  75                 git -C r2 commit -m "$n"
  76         done
  77 '
  78
  79 test_expect_success 'verify blob:limit=500 omits all blobs' '
  80         git -C r2 ls-files -s large.1000 large.10000 >ls_files_result &&
  81         awk -f print_2.awk ls_files_result |
  82         sort >expected &&
  83
  84         git -C r2 rev-list --quiet --objects --filter-print-omitted \
  85                 --filter=blob:limit=500 HEAD >revs &&
  86         awk -f print_1.awk revs |
  87         sed "s/~//" |
  88         sort >observed &&
  89
  90         test_cmp expected observed
  91 '
  92
  93 test_expect_success 'verify emitted+omitted == all' '
  94         git -C r2 rev-list --objects HEAD >revs &&
  95         awk -f print_1.awk revs |
  96         sort >expected &&
  97
  98         git -C r2 rev-list --objects --filter-print-omitted \
  99                 --filter=blob:limit=500 HEAD >revs &&
 100         awk -f print_1.awk revs |
 101         sed "s/~//" |
 102         sort >observed &&
 103
 104         test_cmp expected observed
 105 '
 106
 107 test_expect_success 'verify blob:limit=1000' '
 108         git -C r2 ls-files -s large.1000 large.10000 >ls_files_result &&
 109         awk -f print_2.awk ls_files_result |
 110         sort >expected &&
 111
 112         git -C r2 rev-list --quiet --objects --filter-print-omitted \
 113                 --filter=blob:limit=1000 HEAD >revs &&
 114         awk -f print_1.awk revs |
 115         sed "s/~//" |
 116         sort >observed &&
 117
 118         test_cmp expected observed
 119 '
 120
 121 test_expect_success 'verify blob:limit=1001' '
 122         git -C r2 ls-files -s large.10000 >ls_files_result &&
 123         awk -f print_2.awk ls_files_result |
 124         sort >expected &&
 125
 126         git -C r2 rev-list --quiet --objects --filter-print-omitted \
 127                 --filter=blob:limit=1001 HEAD >revs &&
 128         awk -f print_1.awk revs |
 129         sed "s/~//" |
 130         sort >observed &&
 131
 132         test_cmp expected observed
 133 '
 134
 135 test_expect_success 'verify blob:limit=1k' '
 136         git -C r2 ls-files -s large.10000 >ls_files_result &&
 137         awk -f print_2.awk ls_files_result |
 138         sort >expected &&
 139
 140         git -C r2 rev-list --quiet --objects --filter-print-omitted \
 141                 --filter=blob:limit=1k HEAD >revs &&
 142         awk -f print_1.awk revs |
 143         sed "s/~//" |
 144         sort >observed &&
 145
 146         test_cmp expected observed
 147 '
 148
 149 test_expect_success 'verify blob:limit=1m' '
 150         git -C r2 rev-list --quiet --objects --filter-print-omitted \
 151                 --filter=blob:limit=1m HEAD >revs &&
 152         awk -f print_1.awk revs |
 153         sed "s/~//" |
 154         sort >observed &&
 155
 156         test_must_be_empty observed
 157 '
 158
 159 # Test sparse:path=<path> filter.
 160 # Use a local file containing a sparse-checkout specification to filter
 161 # out blobs not required for the corresponding sparse-checkout.  We do not
 162 # require sparse-checkout to actually be enabled.
 163
 164 test_expect_success 'setup r3' '
 165         git init r3 &&
 166         mkdir r3/dir1 &&
 167         for n in sparse1 sparse2
 168         do
 169                 echo "This is file: $n" > r3/$n
 170                 git -C r3 add $n
 171                 echo "This is file: dir1/$n" > r3/dir1/$n
 172                 git -C r3 add dir1/$n
 173         done &&
 174         git -C r3 commit -m "sparse" &&
 175         echo dir1/ >pattern1 &&
 176         echo sparse1 >pattern2
 177 '
 178
 179 test_expect_success 'verify sparse:path=pattern1 omits top-level files' '
 180         git -C r3 ls-files -s sparse1 sparse2 >ls_files_result &&
 181         awk -f print_2.awk ls_files_result |
 182         sort >expected &&
 183
 184         git -C r3 rev-list --quiet --objects --filter-print-omitted \
 185                 --filter=sparse:path=../pattern1 HEAD >revs &&
 186         awk -f print_1.awk revs |
 187         sed "s/~//" |
 188         sort >observed &&
 189
 190         test_cmp expected observed
 191 '
 192
 193 test_expect_success 'verify sparse:path=pattern2 omits both sparse2 files' '
 194         git -C r3 ls-files -s sparse2 dir1/sparse2 >ls_files_result &&
 195         awk -f print_2.awk ls_files_result |
 196         sort >expected &&
 197
 198         git -C r3 rev-list --quiet --objects --filter-print-omitted \
 199                 --filter=sparse:path=../pattern2 HEAD >revs &&
 200         awk -f print_1.awk revs |
 201         sed "s/~//" |
 202         sort >observed &&
 203
 204         test_cmp expected observed
 205 '
 206
 207 # Test sparse:oid=<oid-ish> filter.
 208 # Like sparse:path, but we get the sparse-checkout specification from
 209 # a blob rather than a file on disk.
 210
 211 test_expect_success 'setup r3 part 2' '
 212         echo dir1/ >r3/pattern &&
 213         git -C r3 add pattern &&
 214         git -C r3 commit -m "pattern"
 215 '
 216
 217 test_expect_success 'verify sparse:oid=OID omits top-level files' '
 218         git -C r3 ls-files -s pattern sparse1 sparse2 >ls_files_result &&
 219         awk -f print_2.awk ls_files_result |
 220         sort >expected &&
 221
 222         oid=$(git -C r3 ls-files -s pattern | awk -f print_2.awk) &&
 223
 224         git -C r3 rev-list --quiet --objects --filter-print-omitted \
 225                 --filter=sparse:oid=$oid HEAD >revs &&
 226         awk -f print_1.awk revs |
 227         sed "s/~//" |
 228         sort >observed &&
 229
 230         test_cmp expected observed
 231 '
 232
 233 test_expect_success 'verify sparse:oid=oid-ish omits top-level files' '
 234         git -C r3 ls-files -s pattern sparse1 sparse2 >ls_files_result &&
 235         awk -f print_2.awk ls_files_result |
 236         sort >expected &&
 237
 238         git -C r3 rev-list --quiet --objects --filter-print-omitted \
 239                 --filter=sparse:oid=master:pattern HEAD >revs &&
 240         awk -f print_1.awk revs |
 241         sed "s/~//" |
 242         sort >observed &&
 243
 244         test_cmp expected observed
 245 '
 246
 247 test_expect_success 'rev-list W/ --missing=print and --missing=allow-any for trees' '
 248         TREE=$(git -C r3 rev-parse HEAD:dir1) &&
 249
 250         # Create a spare repo because we will be deleting objects from this one.
 251         git clone r3 r3.b &&
 252
 253         rm r3.b/.git/objects/$(echo $TREE | sed "s|^..|&/|") &&
 254
 255         git -C r3.b rev-list --quiet --missing=print --objects HEAD \
 256                 >missing_objs 2>rev_list_err &&
 257         echo "?$TREE" >expected &&
 258         test_cmp expected missing_objs &&
 259
 260         # do not complain when a missing tree cannot be parsed
 261         test_must_be_empty rev_list_err &&
 262
 263         git -C r3.b rev-list --missing=allow-any --objects HEAD \
 264                 >objs 2>rev_list_err &&
 265         ! grep $TREE objs &&
 266         test_must_be_empty rev_list_err
 267 '
 268
 269 # Test tree:0 filter.
 270
 271 test_expect_success 'verify tree:0 includes trees in "filtered" output' '
 272         git -C r3 rev-list --quiet --objects --filter-print-omitted \
 273                 --filter=tree:0 HEAD >revs &&
 274
 275         awk -f print_1.awk revs |
 276         sed s/~// |
 277         xargs -n1 git -C r3 cat-file -t >unsorted_filtered_types &&
 278
 279         sort -u unsorted_filtered_types >filtered_types &&
 280         test_write_lines blob tree >expected &&
 281         test_cmp expected filtered_types
 282 '
 283
 284 # Make sure tree:0 does not iterate through any trees.
 285
 286 test_expect_success 'verify skipping tree iteration when not collecting omits' '
 287         GIT_TRACE=1 git -C r3 rev-list \
 288                 --objects --filter=tree:0 HEAD 2>filter_trace &&
 289         grep "Skipping contents of tree [.][.][.]" filter_trace >actual &&
 290         # One line for each commit traversed.
 291         test_line_count = 2 actual &&
 292
 293         # Make sure no other trees were considered besides the root.
 294         ! grep "Skipping contents of tree [^.]" filter_trace
 295 '
 296
 297 # Test tree:# filters.
 298
 299 expect_has () {
 300         commit=$1 &&
 301         name=$2 &&
 302
 303         hash=$(git -C r3 rev-parse $commit:$name) &&
 304         grep "^$hash $name$" actual
 305 }
 306
 307 test_expect_success 'verify tree:1 includes root trees' '
 308         git -C r3 rev-list --objects --filter=tree:1 HEAD >actual &&
 309
 310         # We should get two root directories and two commits.
 311         expect_has HEAD "" &&
 312         expect_has HEAD~1 ""  &&
 313         test_line_count = 4 actual
 314 '
 315
 316 test_expect_success 'verify tree:2 includes root trees and immediate children' '
 317         git -C r3 rev-list --objects --filter=tree:2 HEAD >actual &&
 318
 319         expect_has HEAD "" &&
 320         expect_has HEAD~1 "" &&
 321         expect_has HEAD dir1 &&
 322         expect_has HEAD pattern &&
 323         expect_has HEAD sparse1 &&
 324         expect_has HEAD sparse2 &&
 325
 326         # There are also 2 commit objects
 327         test_line_count = 8 actual
 328 '
 329
 330 test_expect_success 'verify tree:3 includes everything expected' '
 331         git -C r3 rev-list --objects --filter=tree:3 HEAD >actual &&
 332
 333         expect_has HEAD "" &&
 334         expect_has HEAD~1 "" &&
 335         expect_has HEAD dir1 &&
 336         expect_has HEAD dir1/sparse1 &&
 337         expect_has HEAD dir1/sparse2 &&
 338         expect_has HEAD pattern &&
 339         expect_has HEAD sparse1 &&
 340         expect_has HEAD sparse2 &&
 341
 342         # There are also 2 commit objects
 343         test_line_count = 10 actual
 344 '
 345
 346 # Test provisional omit collection logic with a repo that has objects appearing
 347 # at multiple depths - first deeper than the filter's threshold, then shallow.
 348
 349 test_expect_success 'setup r4' '
 350         git init r4 &&
 351
 352         echo foo > r4/foo &&
 353         mkdir r4/subdir &&
 354         echo bar > r4/subdir/bar &&
 355
 356         mkdir r4/filt &&
 357         cp -r r4/foo r4/subdir r4/filt &&
 358
 359         git -C r4 add foo subdir filt &&
 360         git -C r4 commit -m "commit msg"
 361 '
 362
 363 expect_has_with_different_name () {
 364         repo=$1 &&
 365         name=$2 &&
 366
 367         hash=$(git -C $repo rev-parse HEAD:$name) &&
 368         ! grep "^$hash $name$" actual &&
 369         grep "^$hash " actual &&
 370         ! grep "~$hash" actual
 371 }
 372
 373 test_expect_success 'test tree:# filter provisional omit for blob and tree' '
 374         git -C r4 rev-list --objects --filter-print-omitted --filter=tree:2 \
 375                 HEAD >actual &&
 376         expect_has_with_different_name r4 filt/foo &&
 377         expect_has_with_different_name r4 filt/subdir
 378 '
 379
 380 test_expect_success 'verify skipping tree iteration when collecting omits' '
 381         GIT_TRACE=1 git -C r4 rev-list --filter-print-omitted \
 382                 --objects --filter=tree:0 HEAD 2>filter_trace &&
 383         grep "^Skipping contents of tree " filter_trace >actual &&
 384
 385         echo "Skipping contents of tree subdir/..." >expect &&
 386         test_cmp expect actual
 387 '
 388
 389 # Test tree:<depth> where a tree is iterated to twice - once where a subentry is
 390 # too deep to be included, and again where the blob inside it is shallow enough
 391 # to be included. This makes sure we don't use LOFR_MARK_SEEN incorrectly (we
 392 # can't use it because a tree can be iterated over again at a lower depth).
 393
 394 test_expect_success 'tree:<depth> where we iterate over tree at two levels' '
 395         git init r5 &&
 396
 397         mkdir -p r5/a/subdir/b &&
 398         echo foo > r5/a/subdir/b/foo &&
 399
 400         mkdir -p r5/subdir/b &&
 401         echo foo > r5/subdir/b/foo &&
 402
 403         git -C r5 add a subdir &&
 404         git -C r5 commit -m "commit msg" &&
 405
 406         git -C r5 rev-list --objects --filter=tree:4 HEAD >actual &&
 407         expect_has_with_different_name r5 a/subdir/b/foo
 408 '
 409
 410 test_expect_success 'tree:<depth> which filters out blob but given as arg' '
 411         blob_hash=$(git -C r4 rev-parse HEAD:subdir/bar) &&
 412
 413         git -C r4 rev-list --objects --filter=tree:1 HEAD $blob_hash >actual &&
 414         grep ^$blob_hash actual
 415 '
 416
 417 # Delete some loose objects and use rev-list, but WITHOUT any filtering.
 418 # This models previously omitted objects that we did not receive.
 419
 420 test_expect_success 'rev-list W/ --missing=print' '
 421         git -C r1 ls-files -s file.1 file.2 file.3 file.4 file.5 \
 422                 >ls_files_result &&
 423         awk -f print_2.awk ls_files_result |
 424         sort >expected &&
 425
 426         for id in `cat expected | sed "s|..|&/|"`
 427         do
 428                 rm r1/.git/objects/$id
 429         done &&
 430
 431         git -C r1 rev-list --quiet --missing=print --objects HEAD >revs &&
 432         awk -f print_1.awk revs |
 433         sed "s/?//" |
 434         sort >observed &&
 435
 436         test_cmp expected observed
 437 '
 438
 439 test_expect_success 'rev-list W/O --missing fails' '
 440         test_must_fail git -C r1 rev-list --quiet --objects HEAD
 441 '
 442
 443 test_expect_success 'rev-list W/ missing=allow-any' '
 444         git -C r1 rev-list --quiet --missing=allow-any --objects HEAD
 445 '
 446
 447 # Test expansion of filter specs.
 448
 449 test_expect_success 'expand blob limit in protocol' '
 450         git -C r2 config --local uploadpack.allowfilter 1 &&
 451         GIT_TRACE_PACKET="$(pwd)/trace" git -c protocol.version=2 clone \
 452                 --filter=blob:limit=1k "file://$(pwd)/r2" limit &&
 453         ! grep "blob:limit=1k" trace &&
 454         grep "blob:limit=1024" trace
 455 '
 456
 457 test_expect_success 'expand tree depth limit in protocol' '
 458         GIT_TRACE_PACKET="$(pwd)/tree_trace" git -c protocol.version=2 clone \
 459                 --filter=tree:0k "file://$(pwd)/r2" tree &&
 460         ! grep "tree:0k" tree_trace &&
 461         grep "tree:0" tree_trace
 462 '
 463
 464 test_done