Merge pull request #504 from baruchsiach/static-only-support

lib: allow to disable shared libraries

Merge pull request #507 from lz4/clangPerf

fixed lz4_fast clang performance

Merge pull request #510 from terrelln/bug-fix

Fix input size validation edge cases

Fix compilation error and assert.

Fix input size validation edge cases

The bug is a read up to 2 bytes past the end of the buffer.
There are three cases for this bug, one for each test case added.

* An empty input causes `token = *ip++` to read one byte too far.
* A one byte input with `(token >> ML_BITS) == RUN_MASK` causes
  one extra byte to be read without validation. This could be
  combined with the first bug to cause 2 extra bytes to be read.
* The case pointed out in issue #508, where `ip == iend` at the
  beginning of the loop after taking the shortcut.

Benchmarks show no regressions on clang or gcc-7 on both my mac
and devserver.

Fixes #508.

Merge pull request #509 from svpv/clarifyFastRisks

lz4.h: clarify the risks of using LZ4_decompress_fast()

lz4.h: clarify the risks of using LZ4_decompress_fast()

The notes about "security guarantee" and "malicious inputs" seemed
a bit non-technical to me, so I took the liberty to tone them down
and instead describe the actual risks in technical terms.  Namely,
the function never writes past the end of the output buffer, so
a direct hostile takeover (resulting in arbitrary code execution
soon after the return from the function) is not possible.  However,
the application can crash because of reads from unmapped pages.

I also took the liberty to describe what I believe is the only sensible
usage scenario for the function: "This function is only usable if the
originalSize of uncompressed data is known in advance," etc.

fixed incorrect comment

fixed clang performance in lz4_fast

The simple change from
`matchIndex+MAX_DISTANCE < current`
towards
`current - matchIndex > MAX_DISTANCE`

is enough to generate a 10% performance drop under clang.
Quite massive.
(I missed as my eyes were concentrated on gcc performance at that time).

The second version is more robust, because it also survives a situation where
`matchIndex > current`
due to overflows.

The first version requires matchIndex to not overflow.
Hence were added `assert()` conditions.

The only case where this can happen is with dictCtx compression,
in the case where the dictionary context is not initialized before loading the dictionary.
So it's enough to always initialize the context while loading the dictionary.

Merge pull request #503 from lz4/l120

minor length reduction of several large lines

Merge pull request #502 from lhacc1/dev

Wrap likely/unlikely macroses with #ifndef

modified indentation for consistency

lib: allow to disable shared libraries

Just like BUILD_STATIC=no disables static libraries, BUILD_SHARED=no
disabled shared libraries. This is useful to support toolchains that do
not support shared libraries.

minor length reduction of several large lines

Merge pull request #497 from lz4/lowAddr

Compatibility with low memory addresses

Wrap likely/unlikely macroses with #ifndef

It prevent redefine error when project using lz4 has its own likely/unlikely
macroses.

fixed LZ4_compress_fast_extState_fastReset() in 32-bit mode

fix dictDelta setting error

wrong test

fix matchIndex overflow

can happen with dictCtx

Merge branch 'dev' into lowAddr

Merge pull request #501 from felixhandte/fix-dict-load-offset

Always Bump Offset by 64 KB in LZ4_loadDict()

Always Bump Offset by 64 KB in LZ4_loadDict()

This actually ensures the guarantee referred to in the comment in
LZ4_compress_fast_continue().

fixed dictCtx compression

edited a few traces for debugging

fixed minor format warnings

fixed fuzzer tests

which were modified in parallel within branc `dev`

Merge branch 'dev' into lowAddr

fixed gcc performance regression

Merge pull request #499 from felixhandte/lz4-attach-dict-tests

Test LZ4_attach_dictionary() and Friends

Further Test that ExtDictCtx Mode Produces the Exact Same Output

Add Tests for LZ4_attach_dictionary and Friends

fixed minor unused variable warning

added comment on variables required after _next_match

fixed potential ptrdiff_t overflow (32-bits mode)

Also removed pointer comparison, which should solve #485

compatibility with gcc-4.4 string.h version

Someone found it would be a great idea to define there a global variable under the very generic name "index".
Cause problem with shadow warnings, so no variable can be named "index" now ...

Also : automatically update API manual

added sudo rights for low-mem-address tests

fixed : counting matches which overlap extDict and prefix

modified a few traces for debug

Merge pull request #496 from lz4/circleci

Reduced LZ4 test time on circle-ci

modified versionsTest

to use MOREFLAGS rather CPPFLAGS
as some older versions of LZ4 overwrite CPPFLAGS environment variable.

fixed LZ4_compress_fast_extState_fastReset()

Merge branch 'dev' into lowAddr

allow system-defined CPPFLAGS in /tests

reduced test time on circle-ci

Merge pull request #492 from felixhandte/avoid-prepare-in-continue

Several Changes Concerning Table Preparation in LZ4 Fast

Fix Silly Warning (const-ness in declaration has no effect on value types!)

Minor Fixes

Add a LZ4_STATIC_LINKING_ONLY Macro to Guard Experimental APIs

Expose dictCtx Functionality in LZ4

Rename _extState_noReset -> _extState_fastReset and Edit Comments

Remove Extraneous Assignment (clearedTable == 0)

Expose a Faster Stream Reset Function

fix minor conversion warning

cast from void not implicit for C++

fixed minor conversion warning

ptr diff -> U32

Merge branch 'dev' into lowAddr

Avoid Calling LZ4_prepareTable() in LZ4_compress_fast_continue()

Merge pull request #494 from felixhandte/kill-goto

Return to Allowing Early Returns in LZ4_compress_generic()

Return to Allowing Early Returns in LZ4_compress_generic()

Or: `goto` Considered Harmful

Or: https://xkcd.com/292/

Merge pull request #493 from lz4/statusLine

fixed DISPLAYUPDATE()

fixed DISPLAYUPDATE()

wrong comparison, which was always overflowing (hence was always true)
except when it was not (i386, reported by pmc)
in which case it would never show any information.

noticed a bug when re-using hash table

./fuzzer -vv -s4217 -t7518

added low-memory address test to travis

requires modification linux configuration (sudo)

fixed byPtr mode

switch to byU32 when src address is < 64K

note : byPtr is still useful in 32-bits, as it's about ~10% faster

fixed byPtr match search

fixed immediate match search

changed LZ4_compress_generic() logic

to use indexes (U32) instead of Ptr.

byPtr is still present.

fixed lz4 compression starting at small address

when using byU32 and byU16 modes

Merge branch 'dev' into lowAddr

Merge pull request #490 from kenjichanhkg/dev

added vs2017 projects

added vs2017 projects

Merge pull request #486 from felixhandte/fix-test-makefile-clean-up

Add Dependency to Fix Parallel `make test` Runs

Merge pull request #487 from felixhandte/better-obsoletion-comment

Better Describe Functionality of Obsolete Streaming Functions

Also Fix a Comment

Better Describe Functionality of Obsolete Streaming Functions

Add Dependency to Fix Parallel `make test` Runs

When run with `-jN`, the `rm tmp*` can run in the middle of the `test-lz4-dict`
job, which will then fail, finding its files to have been axed. This adds a
dependency between the two.

added c90 test to c_standards

to catch `//` comments

added low address fuzzer tests

fix comment style

bench: introduced hidden command -S

to benchmark multiple files with separate results

Merge branch 'dev' of github.com:Cyan4973/lz4 into dev

minor man fix on clevels

Merge pull request #484 from lz4/fasterDict

Faster dictionary compression

Merge pull request #406 from felixhandte/ref-dict-table

Use the Dictionary Hash Table in Place

Remove Framebench Tool

Move LZ4_compress_fast_extState_noReset Declaration to Unstable Section

Restore the Other Old Streaming Functions in a Degraded Fashion

Switch ALLOC() to ALLOC_AND_ZERO() to Paper Over Existing Uninitialized Read

Split lz4CtxLevel into Two Fields

Another Allocation Fail Check

Restore LZ4_sizeofStreamState, We Didn't Actually Need to Delete It

Restore checkTag Cleaning

Rename Enums and Add Comment

Whitespace Fixes

Add NULL Checks

Simpler Ternary Statements

Renames and Comment Fixes

Hoist LZ4F Dictionary Setup into Helper LZ4F_applyCDict()

Minor Style Fixes

Preserve currentOffset==0 When Possible

Specialize _extState() for Clean Ctx Rather Than Calling _safeExtState()