Merge pull request #900 from terrelln/cmake-build

[build] Move CMake and Visual build systems to build/

Merge pull request #901 from terrelln/travis

[CI][Fuzz] Fix Travis-CI fuzzer tests

[CI][Fuzz] Fix Travis-CI fuzzer tests

Fixes #781

[build] Move CMake and Visual build systems to build/

Fixes #852.

Merge pull request #897 from lz4/lz4wlib

added target lz4-wlib

Merge pull request #899 from lz4/endMark

Clarifies and fix EndMark

clarify endMark definition

Clarifies and fix EndMark

EndMark, the 4-bytes value indicating the end of frame,
must be `0x00000000`.

Previously, it was just mentioned as a `0-size` block.
But such definition could encompass uncompressed blocks of size 0,
with a header of value `0x80000000`.

But the intention was to also support uncompressed empty blocks.
They could be used as a keep-alive signal.
Note that compressed empty blocks are already supported,
it's just that they have a size 1 instead of 0 (for the `0` token).

Unfortunately, the decoder implementation was also wrong,
and would also interpret a `0x80000000` block header as an endMark.

This issue evaded detection so far simply because
this situation never happens, as LZ4Frame always issues
a clean 0x00000000 value as a endMark.
It also does not flush empty blocks.

This is fixed in this PR.
The decoder can now deal with empty uncompressed blocks,
and do not confuse them with EndMark.
The specification is also clarified.
Finally, FrameTest is updated to randomly insert empty blocks during fuzzing.

added target lz4-wlib

variant of lz4 linking to liblz4 dynamic library

requires the dynamic library to expose static-only symbols (experimental API)

Example for #888

Merge branch 'fix832' into dev

fixed test of gnu c version

Merge pull request #896 from lz4/fix832

fix #832

Merge pull request #895 from lz4/hugefast

Fix #876

fix #832

does no longer rely on default 0-interpretation when __GNUC__ is not defined

Merge pull request #892 from felixhandte/lz4-clean-up-fast-reset

Remove dirty Flag in LZ4_stream_t

fix #876

by introducing a max limit acceleration value

add test that breaks --fast

with huge values, as expected from #876

Also : added target `check`

Fix Enum Casts

Fixes `-Wsign-compare` issues.

Merge pull request #856 from indragiek/indragiek/lz4f-visibility

Add LZ4FLIB_VISIBILITY for controlling library symbol visibility

Remove dirty Field From LZ4_stream_t

LZ4LIB_VISIBILITY -> LZ4FLIB_VISIBILITY in comment

Remove Extraneous Reset in LZ4_attach_dictionary()

Nothing internally sets dirty anymore. The only way to get that is if you use
an uninitialized context, in which case your warranty is void anyways.

Merge pull request #890 from terrelln/lz4-memcpy

Call LZ4_memcpy() instead of memcpy()

Call LZ4_memcpy() instead of memcpy()

`LZ4_memcpy()` uses `__builtin_memcpy()` to ensure that clang/gcc
can inline the `memcpy()` calls in freestanding mode.

This is necessary for decompressing the Linux Kernel with LZ4.
Without an analogous patch decompression ran at 77 MB/s, and with
the patch it ran at 884 MB/s.

Merge pull request #885 from neheb/mes

meson: remove build requirement for distutils

Merge pull request #860 from adeason/old-style-definitions

Avoid old-style function definitions

meson: remove build requirement for distutils

Tested on a default installation of Debian 10.

Same as https://github.com/facebook/zstd/pull/2197

Signed-off-by: Rosen Penev <rosenp@gmail.com>

Merge pull request #863 from Devernua/reducing_stack_usage_in_t_alignment

Reducing stack usage in _t_alignment checks

Merge pull request #866 from sandyharvie/dev

Fix issue #865

Merge pull request #871 from bimbashrestha/bsd

[build] FreeBSD update version 12.0 -> 12.1

Merge pull request #884 from vectorizedio/clang-ubsan

avoid computing 0 offsets from null pointers

avoid computing 0 offsets from null pointers

Similar work in the kernel:
https://patchwork.kernel.org/patch/11351499/

UBsan (+clang-10) complains about doing pointer arithmetic (adding 0)
to a nullpointer.

This patch is tested with clang-10+ubsan

Update issue templates

bsd upsate to 12-1

Merge pull request #869 from bket/fix_tests_openbsd

Fix tests on OpenBSD

Fix tests on OpenBSD

Add condition for OpenBSD, which uses gmake

add tests

fix LZ4F_compressBound when automatic flushing is enabled

Reducing stack usage in _t_alignment checks

Avoid old-style function definitions

Define 0-argument functions like foo(void) instead of foo(), in order
to avoid a warning with -Wold-style-definition. This makes it easier
to embed lz4.c in projects that compile with -Werror
-Wold-style-definition.

Add LZ4FLIB_VISIBILITY for controlling library symbol visibility

Merge pull request #846 from bimbashrestha/issues-tmp

Adding issue templates

Adding issue templates

Merge pull request #838 from Yanpas/stack_frame_2

fix: allocate  LZ4HC_optimal_t opt on heap each time (#837)

Merge pull request #843 from filipecalasans/multiples-files-with-legacy

Implement -m option with legacy format on cli

Add test scenario test-lz4-multiple-legacy

Implement -m option with legacy format on cli

Merge pull request #842 from filipecalasans/fix-list

Fix lz4cli --list option

Fix lz4cli --list option

fix malloc handling

fix: allocate  LZ4HC_optimal_t opt on heap each time (#837)

updated NEWS for v1.9.3

Merge pull request #826 from wolfpld/dev

Force inline small functions used by LZ4_compress_generic.

Force inline small functions used by LZ4_compress_generic.

Merge pull request #825 from NancyLi1013/vcpkg-instructions

Add vcpkg installation instructions

Add vcpkg installation instructions

Merge pull request #810 from korli/haiku

bring support for Haiku up to date.

Merge pull request #803 from dkondrad/gh-797

VS2017: Add lz4 project

Merge pull request #817 from lz4/windfast

faster decoding speed with Visual

fixed lz4hc assert error

when src ptr is in very low memory area (< 64K),
the virtual reference to data in dictionary
might end up in a very high memory address.

Since it's not a "real" memory address,
just a virtual one, to calculate distance,
it doesn't matter : only distance matters.

The assert was to restrictive.
Fixed.

faster decoding speed with Visual

by enabling the fast decoder path.
Visual requires a different set of macro constants to detect x86 / x64.

On my laptop, decoding speed on x64 went up from 3.12 to 3.45 GB/s.
32-bit is less impressive, though still favorable,
with speed increasing from 2.55 to 2.60 GB/s.

So both cases are now enabled.

Suggested by Bartosz Taudul (@wolfpld).

Merge pull request #815 from andrewthad/patch-1

Fix typos in streaming_api_basics.md

Fix typos in streaming_api_basics.md

bring support for Haiku up to date.

Merge pull request #808 from rkoradi/benchmarkWithDictionary

Make benchmark compatible with dictionary compression

Make benchmark compatible with dictionary compression

Support the -D command line option for running benchmarks. The
benchmark code was slightly restructured to factor out the calls
that need to be different for each benchmark scenario. Since there
are now 4 scenarios (all combinations of fast/HC and with/without
dictionary), the logic was getting somewhat convoluted otherwise.

This was done by extending the compressionParameters struct that
previously contained just a single function pointer. It now
contains 4 function pointers for init/reset/compress/cleanup,
with the related state. The functions get a pointer to the
structure as their first argument (inspired by C++), so that they
can access the state values in the struct.

project: VS2017: add lz4 project

Add missing lz4 project to the VS2017 solution.
The project was made from scratch rather than importing and updated to
match the VS2010 options.

Any new options not present in the old VS2010 project we pulled from
other console binaries in the solution.

Signed-off-by: David A Kondrad <dkondrad.mscs+patches@gmail.com>

project: visual: fix VS2010/17 gitignore

The `lz4` project was excluded from being checked in for VS2017.
Add some fixups to explicitly allow this project directory.
Also add an exclusion for VS2017 binaries and VS `ipch` directories.

Signed-off-by: David A Kondrad <dkondrad.mscs+patches@gmail.com>

Merge pull request #798 from bimbashrestha/adding_cirrus_test

Adding cirrus test for FreeBSD

Adding unamestr var

Adding condition for FreeBSD and using gmake

Using  instead of gmake (to address the travis failure)

Using gmake instead of make

Adding cirrus config file for freebsd-12-0

Merge pull request #796 from jcaesar/dev

meson: move one layer deeper to allow easy construction of a wrap file

meson: move one layer deeper to allow easy construction of a wrap file

Merge pull request #794 from bimbashrestha/compress_frame_fuzzer_heap_overflow

Using size instead of LZ4_compressBound(size) <- causes heap overflow

Using size instead of LZ4_compressBound(size) <- causes heap overflow

Merge pull request #793 from nigeltao/dev

Have read_variable_length use fixed size types

Have read_variable_length use fixed size types

Otherwise, the output from decoding LZ4-compressed input could be
platform dependent.

Also add a compile-time check to confirm the existing code's assumptions
that, if <stdint.h> isn't used, then sizeof(int) == 4.

Updates #792

Merge pull request #790 from bimbashrestha/seperating_seed_generation_and_use_in_fuzzers

Separating the seed generation and use in FUZZ_dataProducer api

Retreiving 32 bits from the end for fuzzer

Addressing naming nits and moving size modification up in all fuzzers

Seperating the seed generation and use

Merge pull request #770 from neheb/dev

util.h: Remove deprecated utime for non-Windows

util.h: Remove deprecated utime for non-Windows

utime was deprecated in POSIX 2008.

Merge pull request #785 from bimbashrestha/transfer_remaining_fuzzers_to_consume_from_end_of_input

Making fuzzers use dataProducer api instead of random seed for decisions

Making fuzzers use dataProducer api instead of random seed for decisions

fixed #778

fixed assert() when divisor == 0

Merge pull request #779 from bimbashrestha/dev

Adding fuzz data producer for uint32 and using in decompress_fuzzer

Merge pull request #780 from lz4/dev

v1.9.2

Adding comments, fixing nit, and hiding the struct in data producer api

Seperating fuzz data producer api impl and header, using data producer on the easy fuzzers

Created a data producer API and used in decompress_fuzzer

Adding fuzz data producer for uint32 and using in decompress_fuzzer

Summary: Consuming bytes from the end of data instead of from the front to prevent "all-in-one" decisions.

Test Plan:

Reviewers:

Subscribers:

Tasks:

Tags:

fixed test error

could trigger %0 on exceptional circumstances
due to wrong buffer size parameter.

Merge pull request #777 from terrelln/off-by-one

[LZ4_compress_destSize] Fix off-by-one error

[LZ4_compress_destSize] Fix off-by-one error

PR#756 fixed the data corruption bug, but didn't clear `ip`. PR#760
fixed that off-by-one error, but missed the case where `ip == filledIp`,
which is harder for the fuzzers to find (it took 20 days not 1 day).

Verified this fixed the issue reported by OSS-Fuzz.

Credit to OSS-Fuzz.

Merge pull request #773 from felixhandte/attach-empty-dict-behavior-conformance

Make Attaching an Empty Dict Behave the Same as Using it Directly

Only Bump Offset When Attaching Non-Null Dictionary

We do want to bump, even if the dictionary is empty, but we **don't** want to
bump if the dictionary is null.