Merge pull request #773 from felixhandte/attach-empty-dict-behavior-conformance

Make Attaching an Empty Dict Behave the Same as Using it Directly

Only Bump Offset When Attaching Non-Null Dictionary

We do want to bump, even if the dictionary is empty, but we **don't** want to
bump if the dictionary is null.

Add Attach Dict Debug Log

Make Attaching an Empty Dict Behave the Same as Using it Directly

When using an empty dictionary, we bail out of loading or attaching it in
ways that leave the working context in potentially slightly different states.
In particular, in some paths, we will cause the currentOffset to be non-zero,
while in others we would allow it to remain 0.

This difference in behavior is perfectly harmless, but in some situations, it
can produce slight differences in the compressed output. For sanity's sake,
we currently try to maintain a strict correspondence between the behavior of
the dict attachment and the dict loading paths. This patch restores them to
behaving identically.

This shouldn't have any negative side-effects, as far as I can tell. When
writing the dict attachment code, I tried to preserve zeroed currentOffsets
when possible, since they benchmarked as very slightly faster. However, the
case of attaching an empty dictionary is probably rare enought that it's
acceptable to minisculely degrade performance in that corner case.

Merge pull request #772 from lz4/offset0

silence msan warning when offset==0

silence msan warning when offset==0

Merge pull request #771 from terrelln/rep-ext-fix

[lz4hc] Further improve pattern detection and chain swapping

[lz4hc] Chain swap with acceleration

[lz4hc] Only allow chain swapping forwards

When the match is very long and found quickly, we can do
matchLength * nbCompares iterations through the chain
swapping, which can really slow down compression.

[lz4hc] Fix pattern detection end of dictionary

The pattern detection in extDict mode could put `matchIndex`
within the last 3 bytes of the dictionary. This would cause
a read out of bounds.

[lz4hc] Fix minor pessimization in extDict pattern matching

We should be comparing `matchPtr` not `ip`. This bug just means
that this branch was not taken, so we might miss some of the
forward length.

[lz4hc] Improve pattern detection in ext dict

It is important to continue to look backwards if the current pattern
reaches `lowPrefixPtr`. If the pattern detection doesn't go all the
way to the beginning of the pattern, or the end of the pattern it
slows down the search instead of speeding it up.

The slow unit in `round_trip_stream_fuzzer` used to take 12 seconds
to run with -O3, now it takes 0.2 seconds.

Credit to OSS-Fuzz

Merge pull request #768 from terrelln/rep-ext

[LZ4HC] Speed up pattern compression with external dictionary

[LZ4HC] Speed up pattern compression with external dictionary

Fixes #761.

Merge pull request #766 from Low-power/cli-option---best

Add option '--best' to lz4(1)

lz4cli: add option '--best' as an alias of '-12'

Merge pull request #763 from terrelln/unused

[lz4frame] Fix unused variable warnings in fuzzing mode

Merge pull request #760 from terrelln/destSize

[LZ4_compress_destSize] Fix off-by-one error in fix

[lz4frame] Fix unused variable warnings in fuzzing mode

Merge pull request #758 from dooxe/develop

Added `BUNDLE DESTINATION`

Merge pull request #762 from terrelln/frame-fuzz

[fuzz] Add LZ4 frame fuzzers

[fuzz] Add LZ4 frame fuzzers

* Round trip fuzzer
* Compress fuzzer
* Decompress fuzzer

[lz4frame] Skip magic and checksums in fuzzing mode

When `FUZZING_BUILD_MODE_UNSAFE_FOR_PRODUCTION` is defined we skip
magic and checksum checks. This makes it easier to fuzz decompression.

Fix LZ4_attach_dictionary with empty dictionary

[fuzz] Add HC fuzzers for round trip, compress, and streaming

[fuzzer] Update scripts for new fuzzers

[fuzz] Add a streaming round trip fuzzer

[LZ4_compress_destSize] Fix off-by-one error in fix

The next match is looking at the current ip, not the next ip,
so it needs to be cleared as well.

Credit to OSS-Fuzz

Unconditionally Clear `dictCtx`

Fix Data Corruption Bug when Streaming with an Attached Dict in HC Mode

This diff fixes an issue in which we failed to clear the `dictCtx` in HC
compression. The `dictCtx` is not supposed to be used when an `extDict` is
present: matches found in the `dictCtx` do not account for the presence of an
`extDict` segment, and their offsets are therefore miscalculated when one is
present. This can lead to data corruption.

This diff clears the `dictCtx` whenever setting an `extDict`.

This issue was uncovered by @terrelln's fuzzing work.

Added BUNDLE DESTINATION in CMakeLists.txt so that it works with newer versions of cmake

Merge pull request #756 from terrelln/destSize

[LZ4_compress_destSize + multi-blocks streaming] Fix rare data corruption bug

[LZ4_compress_destSize] Fix overflow condition

[LZ4_compress_destSize] Fix rare data corruption bug

[LZ4_compress_destSize] Allow 2 more bytes of match length

Merge pull request #752 from terrelln/fuzzers

 [ossfuzz] Improve the fuzzers

Merge pull request #755 from lz4/custom_distance

ensure conformance with custom LZ4_DISTANCE_MAX

[ossfuzz] Improve the fuzzers

* Run more decompression variants
* Round trip the compression fuzzer and do partial decompression as well
* Add a compression fuzzer that compresses into a smaller output buffer
  and test the destSize variant

These fuzzers caught 2 bugs that were fixed in the previous commit.
* Input buffer over-read in partial decompress
* Partial decompress fails if output size is 0

[lz4] Fix bugs in partial decoding

* Partial decoding could read a few bytes beyond the end of the input
* Partial decoding returned an error with an empty output buffer

ensure conformance with custom LZ4_DISTANCE_MAX

It's now possible to select a custom LZ4_DISTANCE_MAX at compile time,
provided it's <= 65535.

However, in some cases (when compressing in byU16 mode),
the new distance wasn't respected,
as it used to implied that it was necessarily within range.

Added a distance check for this case.
Also : added a new TravisCI test which ensures that
custom LZ4_DISTANCE_MAX compiles correctly
and compresses correctly (relying on `assert()` to find outsized offsets).

Merge pull request #753 from Hitatm/fix_LZ4_DISTANCE_MAX

bugfix: correctly control the offset < LZ4_DISTANCE_MAX,when change t…

bugfix: correctly control the offset < LZ4_DISTANCE_MAX,when change the value of LZ4_DISTANCE_MAX,

keep the "lorem ipsum" topic of the example string

but make it compressible

Merge pull request #751 from hamidzr/simple-buffer-example-input

simple buffer example minor input update. fixes #750

print the compression ratio

changed the input text to something more compression friendly

Merge pull request #749 from sylvestre/patch-1

Remove an useless declaration

Remove an useless declaration

Merge pull request #746 from lz4/circleci

CircleCI : reduced test duration

Merge pull request #743 from lz4/fuzzasan_fixed

updated frametest

Merge pull request #748 from amchoukir/amchoukir-doublebuffer-doc

Update blockStreaming_doubleBuffer.md

Update blockStreaming_doubleBuffer.md

Merge pull request #745 from lz4/bump_192

bumped version number to v1.9.2

CircleCI : reduced test duration

Ideally, we want to make CircleCI a "fast" test environment, with short feedback loop (~5mn).
We are still far from this goal.

This patch starts this process by removing "long" tasks which are non-essential and redundant with travisCI.

It also acknowledges that parallelism is broken.
The script should be more heavily updated to support parallelism,
which might be important to support its goal.

bumped version number to v1.9.2

to reduce risks that future bug reports in `dev` branch report `v1.9.1` as the failing version.

fix minor cppcheck warnings

updated frametest

so that noisy src decompression
doesn't generate output
nor fails when decompression fails (which is expected).

Merge branch 'fuzzasan' into fuzzasan_fixed

frametest: added LZ4F decoder noise test

Merge pull request #739 from cmeister2/cmeister2/ossfuzz

oss-fuzz: Add a fuzzing target that compiles in the oss-fuzz environment

Remove unnecessary call to Makefile.inc

Merge pull request #741 from lzutao/meson-deprecated-warn

meson: Fix deprecated warnings on build options

Merge pull request #742 from lz4/fuzzasan_fixed

New fuzzer test for #738

meson: Rename options in travis config

Merge branch 'dev' into fuzzasan_fixed

travisCI: added ASAN fuzzer tests

and fixed minor formatting warnings

moved noisy-src decoder test into cBuffer_exact

so that it can also catch any potential read out-of-bound in the input buffer
(none reported so far, just a precaution for the future).

fuzzer: added test to catch #738

meson: Always build gen_manual on build machine

As gen_manual is using as a generator, not a binary target
installed on host machine.

meson: Fix deprecated warnings on build options

Meson now reserves `build_` prefix options.

Merge pull request #740 from terrelln/fix2

Fix out-of-bounds read

More markups for style changes

Move to using C rather than C++ for compilation

Fix out-of-bounds read of up to 64 KB in the past

Write a simple decompress target as well

Code review markups:

- Correct use of CPPFLAGS
- Detect allocation failure
- Add a CHECK macro for failure

Add a fuzzing target that compiles in the oss-fuzz environment

Merge pull request #735 from lz4/versionOut

fix #734 : --version should output to stdout

fix #734 : --version should output to stdout

instead of stderr

update simple_buffer example

there were a few tiny inaccuracies, especially in error conditions.

precise again that LZ4 decoder needs metadata

and that such metadata must be provided / sent / saved by the application.

Merge pull request #727 from ephiepark/dev

CircleCI : use custom Docker Image with pre-installed dependencies

circleci : use custom docker image with pre-installed dependencies

restored FORCE_INLINE

Merge pull request #718 from lz4/fullbench

fullbench: added test scenario LZ4F_decompress_followHint

fullbench: ensure decompressionFunction and dName are initialized

Visual Studio seems to miss that they are necessarily initialized in the switch() { case: }

Merge pull request #717 from lz4/inplace

Added documentation and macro to support in-place compression and decompression

Merge pull request #719 from parheliamm/dev

FAST_DEC_LOOP: move offset check in specific condition.

replaced while(1)

by for (;;)
just to please Visual Studio C4127 .

added more details for in-place documentation

decompress: changed final memcpy() into memmove()

for compatibility with in-place decompression scenarios.

Makefile removed CFLAGS modifier

which was removing `-O3` as a side effect

FAST_DEC_LOOP: only did offset check in specific condition.

When I did FAST_DEC_LOOP performance test, I found the
offset check is much more than v1.8.3

You will see the condition check difference via lzbench with dickens test case.
v1.8.3 34959
v.1.9.x 1055885

After investigate the code, we could see the difference.
v.1.8.3 SKIP the condition check if
if condition is true in:
https://github.com/lz4/lz4/blob/v1.8.3/lib/lz4.c#L1463
AND below condition is true
https://github.com/lz4/lz4/blob/v1.8.3/lib/lz4.c#L1478\
The offset check should be invoked.

v1.9.3
The offset check code will be invoked in every loop which lead to downgrade.
So the fix would be move this check to specific condition
to avoid useless condition check.

After this change, the call number is same as v1.8.3

fullbench: added test scenario LZ4F_decompress_followHint

This emulates a streaming scenario,
where the caller follows rigorously the srcSize hints
provided as return value of LZ4F_decompress().

This is useful to show the issue in #714,
where data is uselessly copied in a tmp buffer first.

Merge pull request #714 from dreambottle/fix-lz4f-input-buf-use

Fix src temporary buffer use in lz4frame

updated API manual

updated LZ4_DECOMPRESS_INPLACE_MARGIN

to pass worst case scenario.
Now adds margin proportional to input size to counter local expansion.

added test case for in-place decompression

worst case, designed to make the decoder overwrite into input

add more doc on in-place (de)compression

fuzzer: changed internal buffer size

to ensure no overflow during unit tests