[lz4frame] Skip magic and checksums in fuzzing mode

When `FUZZING_BUILD_MODE_UNSAFE_FOR_PRODUCTION` is defined we skip
magic and checksum checks. This makes it easier to fuzz decompression.

Fix LZ4_attach_dictionary with empty dictionary

[fuzz] Add HC fuzzers for round trip, compress, and streaming

[fuzzer] Update scripts for new fuzzers

[fuzz] Add a streaming round trip fuzzer

Unconditionally Clear `dictCtx`

Fix Data Corruption Bug when Streaming with an Attached Dict in HC Mode

This diff fixes an issue in which we failed to clear the `dictCtx` in HC
compression. The `dictCtx` is not supposed to be used when an `extDict` is
present: matches found in the `dictCtx` do not account for the presence of an
`extDict` segment, and their offsets are therefore miscalculated when one is
present. This can lead to data corruption.

This diff clears the `dictCtx` whenever setting an `extDict`.

This issue was uncovered by @terrelln's fuzzing work.

Merge pull request #756 from terrelln/destSize

[LZ4_compress_destSize + multi-blocks streaming] Fix rare data corruption bug

[LZ4_compress_destSize] Fix overflow condition

[LZ4_compress_destSize] Fix rare data corruption bug

[LZ4_compress_destSize] Allow 2 more bytes of match length

Merge pull request #752 from terrelln/fuzzers

 [ossfuzz] Improve the fuzzers

Merge pull request #755 from lz4/custom_distance

ensure conformance with custom LZ4_DISTANCE_MAX

[ossfuzz] Improve the fuzzers

* Run more decompression variants
* Round trip the compression fuzzer and do partial decompression as well
* Add a compression fuzzer that compresses into a smaller output buffer
  and test the destSize variant

These fuzzers caught 2 bugs that were fixed in the previous commit.
* Input buffer over-read in partial decompress
* Partial decompress fails if output size is 0

[lz4] Fix bugs in partial decoding

* Partial decoding could read a few bytes beyond the end of the input
* Partial decoding returned an error with an empty output buffer

ensure conformance with custom LZ4_DISTANCE_MAX

It's now possible to select a custom LZ4_DISTANCE_MAX at compile time,
provided it's <= 65535.

However, in some cases (when compressing in byU16 mode),
the new distance wasn't respected,
as it used to implied that it was necessarily within range.

Added a distance check for this case.
Also : added a new TravisCI test which ensures that
custom LZ4_DISTANCE_MAX compiles correctly
and compresses correctly (relying on `assert()` to find outsized offsets).

Merge pull request #753 from Hitatm/fix_LZ4_DISTANCE_MAX

bugfix: correctly control the offset < LZ4_DISTANCE_MAX,when change t…

bugfix: correctly control the offset < LZ4_DISTANCE_MAX,when change the value of LZ4_DISTANCE_MAX,

keep the "lorem ipsum" topic of the example string

but make it compressible

Merge pull request #751 from hamidzr/simple-buffer-example-input

simple buffer example minor input update. fixes #750

print the compression ratio

changed the input text to something more compression friendly

Merge pull request #749 from sylvestre/patch-1

Remove an useless declaration

Remove an useless declaration

Merge pull request #746 from lz4/circleci

CircleCI : reduced test duration

Merge pull request #743 from lz4/fuzzasan_fixed

updated frametest

Merge pull request #748 from amchoukir/amchoukir-doublebuffer-doc

Update blockStreaming_doubleBuffer.md

Update blockStreaming_doubleBuffer.md

Merge pull request #745 from lz4/bump_192

bumped version number to v1.9.2

CircleCI : reduced test duration

Ideally, we want to make CircleCI a "fast" test environment, with short feedback loop (~5mn).
We are still far from this goal.

This patch starts this process by removing "long" tasks which are non-essential and redundant with travisCI.

It also acknowledges that parallelism is broken.
The script should be more heavily updated to support parallelism,
which might be important to support its goal.

bumped version number to v1.9.2

to reduce risks that future bug reports in `dev` branch report `v1.9.1` as the failing version.

fix minor cppcheck warnings

updated frametest

so that noisy src decompression
doesn't generate output
nor fails when decompression fails (which is expected).

Merge branch 'fuzzasan' into fuzzasan_fixed

frametest: added LZ4F decoder noise test

Merge pull request #739 from cmeister2/cmeister2/ossfuzz

oss-fuzz: Add a fuzzing target that compiles in the oss-fuzz environment

Remove unnecessary call to Makefile.inc

Merge pull request #741 from lzutao/meson-deprecated-warn

meson: Fix deprecated warnings on build options

Merge pull request #742 from lz4/fuzzasan_fixed

New fuzzer test for #738

meson: Rename options in travis config

Merge branch 'dev' into fuzzasan_fixed

travisCI: added ASAN fuzzer tests

and fixed minor formatting warnings

moved noisy-src decoder test into cBuffer_exact

so that it can also catch any potential read out-of-bound in the input buffer
(none reported so far, just a precaution for the future).

fuzzer: added test to catch #738

meson: Always build gen_manual on build machine

As gen_manual is using as a generator, not a binary target
installed on host machine.

meson: Fix deprecated warnings on build options

Meson now reserves `build_` prefix options.

Merge pull request #740 from terrelln/fix2

Fix out-of-bounds read

More markups for style changes

Move to using C rather than C++ for compilation

Fix out-of-bounds read of up to 64 KB in the past

Write a simple decompress target as well

Code review markups:

- Correct use of CPPFLAGS
- Detect allocation failure
- Add a CHECK macro for failure

Add a fuzzing target that compiles in the oss-fuzz environment

Merge pull request #735 from lz4/versionOut

fix #734 : --version should output to stdout

fix #734 : --version should output to stdout

instead of stderr

update simple_buffer example

there were a few tiny inaccuracies, especially in error conditions.

precise again that LZ4 decoder needs metadata

and that such metadata must be provided / sent / saved by the application.

Merge pull request #727 from ephiepark/dev

CircleCI : use custom Docker Image with pre-installed dependencies

circleci : use custom docker image with pre-installed dependencies

restored FORCE_INLINE

Merge pull request #718 from lz4/fullbench

fullbench: added test scenario LZ4F_decompress_followHint

fullbench: ensure decompressionFunction and dName are initialized

Visual Studio seems to miss that they are necessarily initialized in the switch() { case: }

Merge pull request #717 from lz4/inplace

Added documentation and macro to support in-place compression and decompression

Merge pull request #719 from parheliamm/dev

FAST_DEC_LOOP: move offset check in specific condition.

replaced while(1)

by for (;;)
just to please Visual Studio C4127 .

added more details for in-place documentation

decompress: changed final memcpy() into memmove()

for compatibility with in-place decompression scenarios.

Makefile removed CFLAGS modifier

which was removing `-O3` as a side effect

FAST_DEC_LOOP: only did offset check in specific condition.

When I did FAST_DEC_LOOP performance test, I found the
offset check is much more than v1.8.3

You will see the condition check difference via lzbench with dickens test case.
v1.8.3 34959
v.1.9.x 1055885

After investigate the code, we could see the difference.
v.1.8.3 SKIP the condition check if
if condition is true in:
https://github.com/lz4/lz4/blob/v1.8.3/lib/lz4.c#L1463
AND below condition is true
https://github.com/lz4/lz4/blob/v1.8.3/lib/lz4.c#L1478\
The offset check should be invoked.

v1.9.3
The offset check code will be invoked in every loop which lead to downgrade.
So the fix would be move this check to specific condition
to avoid useless condition check.

After this change, the call number is same as v1.8.3

fullbench: added test scenario LZ4F_decompress_followHint

This emulates a streaming scenario,
where the caller follows rigorously the srcSize hints
provided as return value of LZ4F_decompress().

This is useful to show the issue in #714,
where data is uselessly copied in a tmp buffer first.

Merge pull request #714 from dreambottle/fix-lz4f-input-buf-use

Fix src temporary buffer use in lz4frame

updated API manual

updated LZ4_DECOMPRESS_INPLACE_MARGIN

to pass worst case scenario.
Now adds margin proportional to input size to counter local expansion.

added test case for in-place decompression

worst case, designed to make the decoder overwrite into input

add more doc on in-place (de)compression

fuzzer: changed internal buffer size

to ensure no overflow during unit tests

one more conversion warning

some more minor conversion warnings fixes

fixed minor conversion warning

ensure lz4.h can be included with or without LZ4_STATIC_LINKING_ONLY in any order

ensure correct propagation of LZ4_DISTANCE_MAX

added comments and macros for in-place (de)compression

added test case for in-place compression

Merge pull request #715 from gabrielstedman/ret

Handle file not existing case #704

Handle file not existing case #704

fix temporary buffer use when input size hint is respected

Merge pull request #709 from lz4/circle

updated tests for CircleCI

updated tests

- only play listTest with `make test`, not `make all` which is limited to build
- update `clangtest`, so that it's possible to disable O3 optimization, for faster processing

Merge pull request #708 from gabrielstedman/list

Add multiframe report to --list command

List mode improvements.
  Improve formatting
  Include static assert
  Use UTIL_fseek to handle potential fseek limitation
  Be explicit when refusing to read from stdin
  Properly free dctx after use
  Include valgrind tests

Add multiframe report to --list command

Merge pull request #707 from prekageo/dev

enable LZ4_FAST_DEC_LOOP build macro on aarch64 by default

enable LZ4_FAST_DEC_LOOP build macro on aarch64/GCC by default

Merge pull request #700 from lzutao/meson-non-failures

contrib: Make Meson build non optional

meson: Rely only on extracted version in lz4.h

So now instead of warning when failing to extract version number
from lz4.h, we error and stop the build instead.

contrib: Make Meson build non optional

* Update ninja version to 1.9 in CI.
* Update default project version in meson script.

Merge pull request #699 from brendene/compressBound

Include block checksum in worst case scenario calculation of dstCapacity

Include block checksum in worst case scenario calculation of dstCapacity

Merge pull request #698 from lz4/tidy

several minor style changes recommended by clang-tidy

several minor style changes recommended by clang-tidy

Merge pull request #697 from ldv-alt/fixes/test-amalgamation

Fix test-amalgamation