Appveyor: added compilation and runtime fuzzer tests

to all Windows compiler targets

preserver alignment test on Visual Studio x64

this it works fine in this environment
(only x86 is suspicious)

fixed x32 test on Travis

fix cppcheck unused variable warning

added LZ4_streamHC_t init test

which includes an alignment test

Merge pull request #925 from lz4/test_null

add LZ4F_decompress() tests with (NULL,0) input and output

define sentinelTest

to help scan-build detect the condition

make it possible to select SCANBUILD binary on command line

add LZ4F_decompress() tests with (NULL,0) input and output

fix one (rare & complex) issue discovered by this test

Merge pull request #924 from lz4/safixes

fix minor static analyzer warnings

make scan-build accept assert()

fix bad init scenario

added memcpy() related SA warning fixes

memcpy() on NULL is UB, even if length is 0.

Merge branch 'safixes' of github.com:lz4/lz4 into safixes

fix conversion warning

Merge branch 'dev' into safixes

fix minor static analyzer warnings

detected by scan-build, cppcheck and advanved compilation flags
fix #786

fix minor static analyzer warnings

detected by scan-build and cppcheck
fix #786

bump version number

to v1.9.3

Merge pull request #923 from lz4/fix784

fix efficiency of LZ4_compress_HC_destSize()

improved last literals run on LZ4_compress_destSize

applying new more accurate formula from LZ4_compress_HC_destSize()

also : fix some minor display issue in tests/frametest

ensure last match not too close to end

must respect MFLIMIT distance from oend

fix incorrect counting

after truncation of last sequence

Merge pull request #921 from lz4/doubleNull

fix compressing into NULL

Merge pull request #922 from XVilka/tinycc-support

Fix compilation with TinyCC

fix efficiency of LZ4_compress_HC_destSize()

LZ4_compress_HC_destSize() had a tendency
to discard its last match when this match overflowed specified dstBuffer limit.
The impact is generally moderate,
but occasionally huge,
typically when this last match is very large
(such as compressing a bunch of zeroes).

Issue #784 fixed for both Chain and Opt implementations.

Added a unit test suggested by @remittor checking this topic.

Fix compilation with TinyCC

fix compressing into NULL

fails properly
bug discovered by oss-fuzz

Merge pull request #919 from attilaolah/cli

Add CMake option LZ4_BUILD_CLI

Add CMake option LZ4_BUILD_CLI.

Defaults to ON so nothing changes, but it can be set to OFF so that the
CLI is not built at all, only the library.

comment bug on older versions of ZSTD_compress_destSize()

following investigation in #859

Merge pull request #918 from lz4/usan_null

Properly fix #847

fixed ubsan tests with dynamic library

ubsan: make pointer overflow recoverable

the way `base` is used must allow 2-complement address overflow.
`base` is effectively a virtual pointer, never dereferenced directly.
What matters is `base + index`.
This is the address that will be dereference and must be valid (it is properly validated).

fixed lz4frame with blocks of size 1

properly track history

Merge branch 'usan_null' of github.com:Cyan4973/lz4 into usan_null

Merge branch 'usan_null' of github.com:lz4/lz4 into usan_null

fix ubsan test

which now fails with a clear error as intended
(not just print a status and move on).
should be reproduced on travisCI

added the actual code change

Merge pull request #913 from lz4/usan_null

fix #847

fix #847

support NULL input
without triggering undefined sanitizer

added test triggering NULL arithmetic with usan

described in #847

Merge pull request #910 from lz4/extraInput

Fix issue #783

fixed minor pre-existing printf formatting

different signedness

fixed strict c90 support

fix #783

LZ4_decompress_safe_partial()
now also supports a scenario where
nb_bytes_to_generate is <= block_decompressed_size
And
nb_bytes_to_read is >= block_compressed_size.

Previously, the only supported scenario was
nb_bytes_to_read == block_compress_size.

Pay attention that,
if nb_bytes_to_read is > block_compressed_size,
then, necessarily, it requires that
nb_bytes_to_generate is <= block_decompress_size.
If both are larger, it will generate corrupted data.

Merge branch 'dev' into extraInput

Merge pull request #909 from lz4/fasterCount

Improved software byte count

Merge branch 'dev' into fasterCount

added documentation about LZ4_FORCE_SW_BITCOUNT

Also : added memory-frugal software byte count for big endian 64-bit cpus.
Disabled by default.

Merge pull request #908 from lz4/stdin_size

Added ability to determine content-size

fix test under non-interactive environment

added more tests around --content-size

notably in association with `stdin`

use variables for program invocation

Merge pull request #905 from nh2/use-fstat

Use fstat() to determine file size

fixup: Portable fileno()

fixup: C90 compliance, clean up stat() types/calls

Merge pull request #898 from aqrit/aqrit-prefixlen

rejigger bit counting intrinsics

Merge pull request #902 from lz4/realhw

added target aarch64, ppc64lw and s390x to TravisCI

Merge pull request #907 from terrelln/travis

[CI][ossfuzz] Fix string equal

Merge pull request #903 from lz4/nofastforce

removed LZ4_compress_fast_force()

[CI][ossfuzz] Fix string equal

Use fstat() to determine file size.

This allows us to get the file size even when the input file is passed
via stdin. This fixes `--content-size` not working in situations like

    $ lz4 -v --content-size < /tmp/test > /tmp/test.lz4
    Warning : cannot determine input content size

With this change, it works.

Also helps with #904.

removed LZ4_compress_fast_force()

which serves no more purpose.

The comment implies that the simple presence of this unused function was affecting performance,
and that's the reason why it was not removed earlier.
This is likely another side effect of instruction alignment.

It's obviously unreliable to rely on it in this way,
meaning that the impact will be different, positive of negative,
with any minor code change, and any minor compiler version change, even parameter change.

added target aarch64, ppc64lw and s390x to TravisCI

more portability tests

Merge pull request #886 from servusDei2018/dev

Optimized by replacing `endl` with `'\n'`

Merge pull request #900 from terrelln/cmake-build

[build] Move CMake and Visual build systems to build/

Merge pull request #901 from terrelln/travis

[CI][Fuzz] Fix Travis-CI fuzzer tests

[CI][Fuzz] Fix Travis-CI fuzzer tests

Fixes #781

[build] Move CMake and Visual build systems to build/

Fixes #852.

Merge branch 'dev' into extraInput

Merge pull request #897 from lz4/lz4wlib

added target lz4-wlib

silence warning

MSVC debug mode complains

Merge pull request #899 from lz4/endMark

Clarifies and fix EndMark

clarify endMark definition

Clarifies and fix EndMark

EndMark, the 4-bytes value indicating the end of frame,
must be `0x00000000`.

Previously, it was just mentioned as a `0-size` block.
But such definition could encompass uncompressed blocks of size 0,
with a header of value `0x80000000`.

But the intention was to also support uncompressed empty blocks.
They could be used as a keep-alive signal.
Note that compressed empty blocks are already supported,
it's just that they have a size 1 instead of 0 (for the `0` token).

Unfortunately, the decoder implementation was also wrong,
and would also interpret a `0x80000000` block header as an endMark.

This issue evaded detection so far simply because
this situation never happens, as LZ4Frame always issues
a clean 0x00000000 value as a endMark.
It also does not flush empty blocks.

This is fixed in this PR.
The decoder can now deal with empty uncompressed blocks,
and do not confuse them with EndMark.
The specification is also clarified.
Finally, FrameTest is updated to randomly insert empty blocks during fuzzing.

fix issue #783 (#862)

* fix issue #783

added test decompress-partial with extraneous input bytes

fails currently,
for investigation of #783

rejigger bit counting intrinsics

Fix lz4/lz4#867
Optimize software fallback routines.
Delete some faulty (and dead?) MSVC big endian code.

added target lz4-wlib

variant of lz4 linking to liblz4 dynamic library

requires the dynamic library to expose static-only symbols (experimental API)

Example for #888

Merge branch 'fix832' into dev

fixed test of gnu c version

Merge pull request #896 from lz4/fix832

fix #832

Merge pull request #895 from lz4/hugefast

Fix #876

fix #832

does no longer rely on default 0-interpretation when __GNUC__ is not defined

Merge pull request #892 from felixhandte/lz4-clean-up-fast-reset

Remove dirty Flag in LZ4_stream_t

fix #876

by introducing a max limit acceleration value

add test that breaks --fast

with huge values, as expected from #876

Also : added target `check`

Fix Enum Casts

Fixes `-Wsign-compare` issues.

Merge pull request #856 from indragiek/indragiek/lz4f-visibility

Add LZ4FLIB_VISIBILITY for controlling library symbol visibility

Remove dirty Field From LZ4_stream_t

LZ4LIB_VISIBILITY -> LZ4FLIB_VISIBILITY in comment

Remove Extraneous Reset in LZ4_attach_dictionary()

Nothing internally sets dirty anymore. The only way to get that is if you use
an uninitialized context, in which case your warranty is void anyways.

Merge pull request #890 from terrelln/lz4-memcpy

Call LZ4_memcpy() instead of memcpy()

Call LZ4_memcpy() instead of memcpy()

`LZ4_memcpy()` uses `__builtin_memcpy()` to ensure that clang/gcc
can inline the `memcpy()` calls in freestanding mode.

This is necessary for decompressing the Linux Kernel with LZ4.
Without an analogous patch decompression ran at 77 MB/s, and with
the patch it ran at 884 MB/s.

Merge pull request #885 from neheb/mes

meson: remove build requirement for distutils

Merge pull request #860 from adeason/old-style-definitions

Avoid old-style function definitions

Optimized by replacing `endl` with `'\n'`

meson: remove build requirement for distutils

Tested on a default installation of Debian 10.

Same as https://github.com/facebook/zstd/pull/2197

Signed-off-by: Rosen Penev <rosenp@gmail.com>

Merge pull request #863 from Devernua/reducing_stack_usage_in_t_alignment

Reducing stack usage in _t_alignment checks