Merge pull request #817 from lz4/windfast

faster decoding speed with Visual

fixed lz4hc assert error

when src ptr is in very low memory area (< 64K),
the virtual reference to data in dictionary
might end up in a very high memory address.

Since it's not a "real" memory address,
just a virtual one, to calculate distance,
it doesn't matter : only distance matters.

The assert was to restrictive.
Fixed.

faster decoding speed with Visual

by enabling the fast decoder path.
Visual requires a different set of macro constants to detect x86 / x64.

On my laptop, decoding speed on x64 went up from 3.12 to 3.45 GB/s.
32-bit is less impressive, though still favorable,
with speed increasing from 2.55 to 2.60 GB/s.

So both cases are now enabled.

Suggested by Bartosz Taudul (@wolfpld).

Merge pull request #815 from andrewthad/patch-1

Fix typos in streaming_api_basics.md

Fix typos in streaming_api_basics.md

Merge pull request #808 from rkoradi/benchmarkWithDictionary

Make benchmark compatible with dictionary compression

Make benchmark compatible with dictionary compression

Support the -D command line option for running benchmarks. The
benchmark code was slightly restructured to factor out the calls
that need to be different for each benchmark scenario. Since there
are now 4 scenarios (all combinations of fast/HC and with/without
dictionary), the logic was getting somewhat convoluted otherwise.

This was done by extending the compressionParameters struct that
previously contained just a single function pointer. It now
contains 4 function pointers for init/reset/compress/cleanup,
with the related state. The functions get a pointer to the
structure as their first argument (inspired by C++), so that they
can access the state values in the struct.

Merge pull request #798 from bimbashrestha/adding_cirrus_test

Adding cirrus test for FreeBSD

Adding unamestr var

Adding condition for FreeBSD and using gmake

Using  instead of gmake (to address the travis failure)

Using gmake instead of make

Adding cirrus config file for freebsd-12-0

Merge pull request #796 from jcaesar/dev

meson: move one layer deeper to allow easy construction of a wrap file

meson: move one layer deeper to allow easy construction of a wrap file

Merge pull request #794 from bimbashrestha/compress_frame_fuzzer_heap_overflow

Using size instead of LZ4_compressBound(size) <- causes heap overflow

Using size instead of LZ4_compressBound(size) <- causes heap overflow

Merge pull request #793 from nigeltao/dev

Have read_variable_length use fixed size types

Have read_variable_length use fixed size types

Otherwise, the output from decoding LZ4-compressed input could be
platform dependent.

Also add a compile-time check to confirm the existing code's assumptions
that, if <stdint.h> isn't used, then sizeof(int) == 4.

Updates #792

Merge pull request #790 from bimbashrestha/seperating_seed_generation_and_use_in_fuzzers

Separating the seed generation and use in FUZZ_dataProducer api

Retreiving 32 bits from the end for fuzzer

Addressing naming nits and moving size modification up in all fuzzers

Seperating the seed generation and use

Merge pull request #770 from neheb/dev

util.h: Remove deprecated utime for non-Windows

util.h: Remove deprecated utime for non-Windows

utime was deprecated in POSIX 2008.

Merge pull request #785 from bimbashrestha/transfer_remaining_fuzzers_to_consume_from_end_of_input

Making fuzzers use dataProducer api instead of random seed for decisions

Making fuzzers use dataProducer api instead of random seed for decisions

fixed #778

fixed assert() when divisor == 0

Merge pull request #779 from bimbashrestha/dev

Adding fuzz data producer for uint32 and using in decompress_fuzzer

Adding comments, fixing nit, and hiding the struct in data producer api

Seperating fuzz data producer api impl and header, using data producer on the easy fuzzers

Created a data producer API and used in decompress_fuzzer

Adding fuzz data producer for uint32 and using in decompress_fuzzer

Summary: Consuming bytes from the end of data instead of from the front to prevent "all-in-one" decisions.

Test Plan:

Reviewers:

Subscribers:

Tasks:

Tags:

fixed test error

could trigger %0 on exceptional circumstances
due to wrong buffer size parameter.

Merge pull request #777 from terrelln/off-by-one

[LZ4_compress_destSize] Fix off-by-one error

[LZ4_compress_destSize] Fix off-by-one error

PR#756 fixed the data corruption bug, but didn't clear `ip`. PR#760
fixed that off-by-one error, but missed the case where `ip == filledIp`,
which is harder for the fuzzers to find (it took 20 days not 1 day).

Verified this fixed the issue reported by OSS-Fuzz.

Credit to OSS-Fuzz.

Merge pull request #773 from felixhandte/attach-empty-dict-behavior-conformance

Make Attaching an Empty Dict Behave the Same as Using it Directly

Only Bump Offset When Attaching Non-Null Dictionary

We do want to bump, even if the dictionary is empty, but we **don't** want to
bump if the dictionary is null.

Add Attach Dict Debug Log

Make Attaching an Empty Dict Behave the Same as Using it Directly

When using an empty dictionary, we bail out of loading or attaching it in
ways that leave the working context in potentially slightly different states.
In particular, in some paths, we will cause the currentOffset to be non-zero,
while in others we would allow it to remain 0.

This difference in behavior is perfectly harmless, but in some situations, it
can produce slight differences in the compressed output. For sanity's sake,
we currently try to maintain a strict correspondence between the behavior of
the dict attachment and the dict loading paths. This patch restores them to
behaving identically.

This shouldn't have any negative side-effects, as far as I can tell. When
writing the dict attachment code, I tried to preserve zeroed currentOffsets
when possible, since they benchmarked as very slightly faster. However, the
case of attaching an empty dictionary is probably rare enought that it's
acceptable to minisculely degrade performance in that corner case.

Merge pull request #772 from lz4/offset0

silence msan warning when offset==0

silence msan warning when offset==0

Merge pull request #771 from terrelln/rep-ext-fix

[lz4hc] Further improve pattern detection and chain swapping

[lz4hc] Chain swap with acceleration

[lz4hc] Only allow chain swapping forwards

When the match is very long and found quickly, we can do
matchLength * nbCompares iterations through the chain
swapping, which can really slow down compression.

[lz4hc] Fix pattern detection end of dictionary

The pattern detection in extDict mode could put `matchIndex`
within the last 3 bytes of the dictionary. This would cause
a read out of bounds.

[lz4hc] Fix minor pessimization in extDict pattern matching

We should be comparing `matchPtr` not `ip`. This bug just means
that this branch was not taken, so we might miss some of the
forward length.

[lz4hc] Improve pattern detection in ext dict

It is important to continue to look backwards if the current pattern
reaches `lowPrefixPtr`. If the pattern detection doesn't go all the
way to the beginning of the pattern, or the end of the pattern it
slows down the search instead of speeding it up.

The slow unit in `round_trip_stream_fuzzer` used to take 12 seconds
to run with -O3, now it takes 0.2 seconds.

Credit to OSS-Fuzz

Merge pull request #768 from terrelln/rep-ext

[LZ4HC] Speed up pattern compression with external dictionary

[LZ4HC] Speed up pattern compression with external dictionary

Fixes #761.

Merge pull request #766 from Low-power/cli-option---best

Add option '--best' to lz4(1)

lz4cli: add option '--best' as an alias of '-12'

Merge pull request #763 from terrelln/unused

[lz4frame] Fix unused variable warnings in fuzzing mode

Merge pull request #760 from terrelln/destSize

[LZ4_compress_destSize] Fix off-by-one error in fix

[lz4frame] Fix unused variable warnings in fuzzing mode

Merge pull request #758 from dooxe/develop

Added `BUNDLE DESTINATION`

Merge pull request #762 from terrelln/frame-fuzz

[fuzz] Add LZ4 frame fuzzers

[fuzz] Add LZ4 frame fuzzers

* Round trip fuzzer
* Compress fuzzer
* Decompress fuzzer

[lz4frame] Skip magic and checksums in fuzzing mode

When `FUZZING_BUILD_MODE_UNSAFE_FOR_PRODUCTION` is defined we skip
magic and checksum checks. This makes it easier to fuzz decompression.

Fix LZ4_attach_dictionary with empty dictionary

[fuzz] Add HC fuzzers for round trip, compress, and streaming

[fuzzer] Update scripts for new fuzzers

[fuzz] Add a streaming round trip fuzzer

[LZ4_compress_destSize] Fix off-by-one error in fix

The next match is looking at the current ip, not the next ip,
so it needs to be cleared as well.

Credit to OSS-Fuzz

Unconditionally Clear `dictCtx`

Fix Data Corruption Bug when Streaming with an Attached Dict in HC Mode

This diff fixes an issue in which we failed to clear the `dictCtx` in HC
compression. The `dictCtx` is not supposed to be used when an `extDict` is
present: matches found in the `dictCtx` do not account for the presence of an
`extDict` segment, and their offsets are therefore miscalculated when one is
present. This can lead to data corruption.

This diff clears the `dictCtx` whenever setting an `extDict`.

This issue was uncovered by @terrelln's fuzzing work.

Added BUNDLE DESTINATION in CMakeLists.txt so that it works with newer versions of cmake

Merge pull request #756 from terrelln/destSize

[LZ4_compress_destSize + multi-blocks streaming] Fix rare data corruption bug

[LZ4_compress_destSize] Fix overflow condition

[LZ4_compress_destSize] Fix rare data corruption bug

[LZ4_compress_destSize] Allow 2 more bytes of match length

Merge pull request #752 from terrelln/fuzzers

 [ossfuzz] Improve the fuzzers

Merge pull request #755 from lz4/custom_distance

ensure conformance with custom LZ4_DISTANCE_MAX

[ossfuzz] Improve the fuzzers

* Run more decompression variants
* Round trip the compression fuzzer and do partial decompression as well
* Add a compression fuzzer that compresses into a smaller output buffer
  and test the destSize variant

These fuzzers caught 2 bugs that were fixed in the previous commit.
* Input buffer over-read in partial decompress
* Partial decompress fails if output size is 0

[lz4] Fix bugs in partial decoding

* Partial decoding could read a few bytes beyond the end of the input
* Partial decoding returned an error with an empty output buffer

ensure conformance with custom LZ4_DISTANCE_MAX

It's now possible to select a custom LZ4_DISTANCE_MAX at compile time,
provided it's <= 65535.

However, in some cases (when compressing in byU16 mode),
the new distance wasn't respected,
as it used to implied that it was necessarily within range.

Added a distance check for this case.
Also : added a new TravisCI test which ensures that
custom LZ4_DISTANCE_MAX compiles correctly
and compresses correctly (relying on `assert()` to find outsized offsets).

Merge pull request #753 from Hitatm/fix_LZ4_DISTANCE_MAX

bugfix: correctly control the offset < LZ4_DISTANCE_MAX,when change t…

bugfix: correctly control the offset < LZ4_DISTANCE_MAX,when change the value of LZ4_DISTANCE_MAX,

keep the "lorem ipsum" topic of the example string

but make it compressible

Merge pull request #751 from hamidzr/simple-buffer-example-input

simple buffer example minor input update. fixes #750

print the compression ratio

changed the input text to something more compression friendly

Merge pull request #749 from sylvestre/patch-1

Remove an useless declaration

Remove an useless declaration

Merge pull request #746 from lz4/circleci

CircleCI : reduced test duration

Merge pull request #743 from lz4/fuzzasan_fixed

updated frametest

Merge pull request #748 from amchoukir/amchoukir-doublebuffer-doc

Update blockStreaming_doubleBuffer.md

Update blockStreaming_doubleBuffer.md

Merge pull request #745 from lz4/bump_192

bumped version number to v1.9.2

CircleCI : reduced test duration

Ideally, we want to make CircleCI a "fast" test environment, with short feedback loop (~5mn).
We are still far from this goal.

This patch starts this process by removing "long" tasks which are non-essential and redundant with travisCI.

It also acknowledges that parallelism is broken.
The script should be more heavily updated to support parallelism,
which might be important to support its goal.

bumped version number to v1.9.2

to reduce risks that future bug reports in `dev` branch report `v1.9.1` as the failing version.

fix minor cppcheck warnings

updated frametest

so that noisy src decompression
doesn't generate output
nor fails when decompression fails (which is expected).

Merge branch 'fuzzasan' into fuzzasan_fixed

frametest: added LZ4F decoder noise test

Merge pull request #739 from cmeister2/cmeister2/ossfuzz

oss-fuzz: Add a fuzzing target that compiles in the oss-fuzz environment

Remove unnecessary call to Makefile.inc

Merge pull request #741 from lzutao/meson-deprecated-warn

meson: Fix deprecated warnings on build options

Merge pull request #742 from lz4/fuzzasan_fixed

New fuzzer test for #738

meson: Rename options in travis config