Merge pull request #543 from nrgiii/aix_32bit_fuzzer

Aix 32bit fuzzer

Merge branch 'master' of https://github.com/nrgiii/lz4 into aix_32bit_fuzzer

Fix AIX 32 bit build problem of fuzzer.c

Merge pull request #542 from wbx-github/dev

allow to override uname when cross-compiling

Merge pull request #541 from felixhandte/hc-extern-c

Add `extern "C"` Guard Around Experimental HC Declarations

allow to override uname when cross-compiling

When cross-compiling for example from Darwin to Linux it might be
useful to override uname output to force Linux and create Linux
libraries instead of Darwin libraries.

Also Fix Appveyor Cast Warning

Add `extern "C"` Guards Around Experimental HC Declarations

Remove #define-rename of `LZ4_decompress_safe_forceExtDict`

Test Linking C-Compiled Library and C++-Compiled Tests

Merge pull request #540 from fbrosson/Haiku

Add Haiku as a validated target.

Add Haiku as a validated target.

lz4 1.8.2 works fine on Haiku and passes all tests.

Merge pull request #531 from lz4/dev

Preparing v1.8.2

Merge pull request #537 from lz4/xpHCmf2

Speed optimization for optimal parser

renamed variable for clarity

Merge pull request #538 from lz4/frameTestError

Fix frametest error

fixed minor conversion warning

small PA optimization

which measurably improves speed
on levels 9+

small extDict : fixed side-effect

don't fix dictionaries of size 0.
setting dictEnd == source triggers prefix mode,
thus removing possibility to use CDict.

fixed frametest error

The error can be reproduced using following command :
./frametest -v -i100000000 -s1659 -t31096808

It's actually a bug in the stream LZ4 API,
when starting a new stream
and providing a first chunk to complete with size < MINMATCH.
In which case, the chunk becomes a dictionary.
No hash was generated and stored,
but the chunk is accessible as default position 0 points to dictStart,
and position 0 is still within MAX_DISTANCE.
Then, next attempt to read 32-bits from position 0 fails.

The issue would have been mitigated by starting from index 64 KB,
effectively eliminating position 0 as too far away.

The proper fix is to eliminate such "dictionary" as too small.
Which is what this patch does.

lz4hc: fixed PA / SC parameter order

also :
reserved PA for levels 9+ (instead of 8+).
In most cases, speed is lower, and compression benefit is not worth.

lz4hc: SC only enabled for opt parser

the trade off is not good for regular HC parser :
compression is a little bit better, but speed cost is too large in comparison.

fixed SC.opt integration with regular HC parser

Only enabled when searching forward.

note : it slighly improves compression ratio,
but measurably decreases speed.
Trade-off to analyse.

lz4hc: fixed performance issue

when combining both PA and CS optimizations

integrated chain swapper into HC match finder

slower than expected
Pattern analyzer and Chain Swapper
work slower when both activated.
Reasons unclear.

Merge pull request #536 from terrelln/make-install

Fix make install

Attempt to fix travis

Fix make install

* Uninstall didn't remove the pkg-config correctly.
* Fix `mandir`
* Allow overriding either upper- or lower-case location variables, but
  always use the lower case variables.
* Add test case that ensures overriding both upper- and lower-case
  variables is the same, and that the directory is empty after uninstall.

implemented search accelerator

greatly improves speed compared to non-accelerated,
especially for slower files.

On my laptop, -b12 :
```
calgary.tar :  4.3 MB/s =>  9.0 MB/s
enwik7      : 10.2 MB/s => 13.3 MB/s
silesia.tar :  4.0 MB/s =>  8.7 MB/s
```

Note : this is the simplified version,
without handling dictionaries, external buffer, nor pattern analyzer.
Current `dev` branch on these samples gives :
```
calgary.tar :  4.2 MB/s
enwik7      :  9.7 MB/s
silesia.tar :  3.5 MB/s
```

interestingly, it's slower,
presumably due to handling of dictionaries.

Added CDict speed graph to be used for release statement

updated API documentation

created LZ4HC_FindLongestMatch()

simplified match finder
only searching forward and within current buffer,
for easier testing of optimizations.

Merge pull request #529 from felixhandte/lz4f-fast-reset-for-streaming-only

LZ4F: Only Reset the LZ4_stream_t when Init'ing a Streaming Block

Merge pull request #530 from lz4/lz4fRingBuffer

Random lz4f clarifications

Merge branch 'dev' into lz4fRingBuffer

Merge pull request #528 from lz4/complexShortcut

Faster decoding speed

fix comments / indentation

as requested by @terrelln

Only Reset the LZ4 Stream when Init'ing a Streaming Block

updated NEWS in preparation for v1.8.2

Merge branch 'lz4fRingBuffer' of github.com:Cyan4973/lz4 into lz4fRingBuffer

updated benchmark for v1.8.2

updated benchmark for v1.8.2

random lz4f clarifications

the initial intention was to update lz4f ring buffer strategy,
but lz4f doesn't use ring buffer.
Instead, it uses the destination buffer as much as possible,
and merely copies just what's required to preserve history
into its own buffer, at the end.
Pretty efficient.

This patch just clarifies a few comments and add some assert().
It's built on top of #528.

It also updates doc.

Merge branch 'dev' into lz4fRingBuffer

increased nbAttempts for lz4 -12

shaves one more kilobyte from silesia.tar

removed test that might be optimized away

under UB rule "no overflow on int"

introduce LZ4_decoderRingBufferSize()

fuzzer : fix and robustify ring buffer tests

simplify shortcut

Merge branch 'dev' into complexShortcut

Merge pull request #525 from lz4/testDecMerge

added a test case for LZ4_decompress_fast_usingDict  …

Merge pull request #521 from lz4/BD_deterministic

fix lz4hc -BD non-determinism

renamed variable for clarity

lowLimit -> lowestMatchIndex

added visual test dir to .gitignore

lz4hc changed variable

to reduce confusion
dictLowLimit => dictStart

clarified streaming decompression function

restrictions for ring buffer

Merge pull request #527 from svpv/fastDec

lz4.c: two-stage shortcut for LZ4_decompress_generic

Merge pull request #523 from svpv/makeV1

lib/Makefile: show commands with V=1

Merge branch 'dev' of github.com:lz4/lz4 into dev

updated NEWS for v1.8.2

mentioning work from @svpv

Merge pull request #526 from svpv/makeV1

lib/Makefile: show commands with V=1

added a test case for LZ4_decompress_fast_usingDict

with a separated dictionary
since a joined dictionary is now detected as prefix64K.

Also : fixed a minor warning under msys

Merge pull request #515 from svpv/refactorDec

lz4.c: refactor the decoding routines

ignore windows+msys artefacts

lz4.c: two-stage shortcut for LZ4_decompress_generic

lib/Makefile: show commands with V=1

`make V=1` will now show the commands executed to build the library.
A similar technique is used in e.g. linux/Makefile.

The bulk of this change is produced with the following vim command:

    :g!/^\t@echo\>/s/^\t@/\t\$(Q)/

Merge pull request #522 from svpv/refactorDec

Refactor dec

Merge pull request #520 from felixhandte/frame-dict-nits

Minor Fixes to Dictionary Preparation in LZ4 Frame

Merge branch 'dev' into BD_deterministic

fix lz4hc -BD non-determinism

related to chain table update

lz4hc : minor editions for clarity

Merge pull request #519 from lz4/fdParser

Faster decoding speed

Avoid Possibly Redundant Table Clears When Loading HC Dict

Remove Redundant LZ4_resetStream() Call

Rename LZ4F_applyCDict() -> LZ4F_initStream()

ensure favorDecSpeed is properly initialized

also :
- fix a potential malloc error
- proper use of ALLOC macro inside lz4hc
- update html API doc

updated NEWS, in preparation for v1.8.2

lz4.c: fixed the LZ4_decompress_fast_continue case

The change is very similar to that of the LZ4_decompress_safe_continue
case.  The only reason a make this a separate change is to ensure that
the fuzzer, after it's been enhanced, can detect the flaw in
LZ4_decompress_fast_continue, and that the change indeed fixes the flaw.

fuzzer.c: enabled ring buffer tests for decompress_fast

Ring buffer tests were performed only with LZ4_decompress_safe_continue,
leaving my buggy changes to LZ4_decompress_safe_continue undetected.
The tests are now replicated and performed in a similar manner for both
LZ4_decompress_safe_continue and LZ4_decompress_safe_continue (except
for the small buffer case where only one function can be tested,
because part of the dictionary is overwritten with the output).

I also updated function names in the messages (changed them to the
actual ones).  The error was reported for LZ4_decompress_safe(),
which I found misleading.

fixed a number of minor cast warnings

Merge pull request #518 from felixhandte/fix-517-dict-size-truncation

Limit Dictionary Size During LZ4F Decompression

Merge pull request #516 from felixhandte/merge-dest-size

Merge _destSize Compress Variant into LZ4_compress_generic()

fasterDecSpeed can be triggered from cli with --favor-decSpeed

favorDecSpeed feature can be triggered from lz4frame

and lz4hc.

Merge _destSize Compress Variant into LZ4_compress_generic()

Add _destSize() to Fullbench

Limit Dictionary Size During LZ4F Decompression

Fixes lz4/lz4#517.

introduced ability to parse for decompression speed

triggered through an enum.

Now, it's still necessary to properly expose this capability
all the way up to the cli.

lz4.c: fixed the LZ4_decompress_safe_continue case

The previous change broke decoding with a ring buffer.  That's because
I didn't realize that the "double dictionary mode" was possible, i.e.
that the decoding routine can look both at the first part of the
dictionary passed as prefix and the second part passed via dictStart+dictSize.

So this change introduces the LZ4_decompress_safe_doubleDict helper,
which handles this "double dictionary" situation.  (This is a bit of
a misnomer, there is only one dictionary, but I can't think of a better
name, and perhaps the designation is not all too bad.)  The helper is
used only once, in LZ4_decompress_safe_continue, it should be inlined
with LZ4_FORCE_O2_GCC_PPC64LE attached to LZ4_decompress_safe_continue.

(Also, in the helper functions, I change the dictStart parameter type
to "const void*", to avoid a cast when calling helpers.  In the helpers,
the upcast to "BYTE*" is still required, for compatibility with C++.)

So this fixes the case of LZ4_decompress_safe_continue, and I'm
surprised by the fact that the fuzzer is now happy and does not detect
a similar problem with LZ4_decompress_fast_continue.  So before fixing
LZ4_decompress_fast_continue, the next logical step is to enhance
the fuzzer.

minor edit of block format

clarifying parsing restrictions near end of block.

Merge pull request #514 from svpv/clarifyBlockFormat

lz4_Block_format.md: clarify on short inputs and restrictions

lz4.c: refactor the decoding routines

I noticed that LZ4_decompress_generic is sometimes instantiated with
identical set of parameters, or (what's worse) with a subtly different
sets of parameters.  For example, LZ4_decompress_fast_withPrefix64k is
instantiated as follows:

    return LZ4_decompress_generic(source, dest, 0, originalSize, endOnOutputSize,
full, 0, withPrefix64k, (BYTE*)dest - 64 KB, NULL, 64 KB);

while the equivalent withPrefix64k call in LZ4_decompress_usingDict_generic
passes 0 for the last argument instead of 64 KB.  It turns out that there
is no difference in this case: if you change 64 KB to 0 KB in
LZ4_decompress_fast_withPrefix64k, you get the same binary code.

Moreover, because it's been clarified that LZ4_decompress_fast doesn't
check match offsets, it is now obvious that both of these fast/withPrefix64k
instantiations are simply redundant.  Exactly because LZ4_decompress_fast
doesn't check offsets, it serves well with any prefixed dictionary.

There's a difference, though, with LZ4_decompress_safe_withPrefix64k.
It also passes 64 KB as the last argument, and if you change that to 0,
as in LZ4_decompress_usingDict_generic, you get a completely different
binary code.  It seems that passing 0 enables offset checking:

    const int checkOffset = ((safeDecode) && (dictSize < (int)(64 KB)));

However, the resulting code seems to run a bit faster.  How come
enabling extra checks can make the code run faster?  Curiouser and
curiouser!  This needs extra study.  Currently I take the view that
the dictSize should be set to non-zero when nothing else will do,
i.e. when passing the external dictionary via dictStart.  Otherwise,
lowPrefix betrays just enough information about the dictionary.

    * * *

Anyway, with this change, I instantiate all the necessary cases as
functions with distinctive names, which also take fewer arguments and
are therefore less error-prone.  I also make the functions non-inline.
(The compiler won't inline the functions because they are used more than
once.  Hence I attach LZ4_FORCE_O2_GCC_PPC64LE to the instances while
removing from the callers.)  The number of instances is now is reduced
from 18 (safe+fast+partial+4*continue+4*prefix+4*dict+2*prefix64+forceExtDict)
down to 7 (safe+fast+partial+2*prefix+2*dict).  The size of the code is
not the only issue here.  Separate helper function are much more
amenable to profile-guided optimization: it is enough to profile only
a few basic functions, while the other less-often used functions, such
as LZ4_decompress_*_continue, will benefit automatically.

This is the list of LZ4_decompress* functions in liblz4.so, sorted by size.
Exported functions are marked with a capital T.

$ nm -S lib/liblz4.so |grep -wi T |grep LZ4_decompress |sort -k2
0000000000016260 0000000000000005 T LZ4_decompress_fast_withPrefix64k
0000000000016dc0 0000000000000025 T LZ4_decompress_fast_usingDict
0000000000016d80 0000000000000040 T LZ4_decompress_safe_usingDict
0000000000016d10 000000000000006b T LZ4_decompress_fast_continue
0000000000016c70 000000000000009f T LZ4_decompress_safe_continue
00000000000156c0 000000000000059c T LZ4_decompress_fast
0000000000014a90 00000000000005fa T LZ4_decompress_safe
0000000000015c60 00000000000005fa T LZ4_decompress_safe_withPrefix64k
0000000000002280 00000000000005fa t LZ4_decompress_safe_withSmallPrefix
0000000000015090 000000000000062f T LZ4_decompress_safe_partial
0000000000002880 00000000000008ea t LZ4_decompress_fast_extDict
0000000000016270 0000000000000993 t LZ4_decompress_safe_forceExtDict

Merge pull request #513 from felixhandte/integrate-static-frame-functions

Integrate Contents of `lz4frame_static.h` into `lz4frame.h`

lz4_Block_format.md: clarify on short inputs and restrictions

It occurred to me that the formula "The last 5 bytes are always
literals", on the list of "assumptions made by the decoder", is
remarkably ambiguous.  Suppose the decoder is presented with 5 bytes.
Are they literals?  It may seem that the decoder degenerates
to memcpy on short inputs.  But of course the answer is no,
so the formula needs some clarification.

Parsing restrictions should be explained as well, otherwise they look
like arbitrary numbers.  The 5-byte restriction has been mentioned
recently in connection with the shortcut in LZ4_decompress_generic,
so I add that.  The second restriction is left to be explained
by the author.

I also took the liberty to explain that empty inputs "are either
unrepresentable or can be represented with a null byte".  This wording
may actually have some merit: it leaves for the implementation,
as opposed to the spec, to decide whether the encoder can compress
empty inputs, and whether the decoder can produce an empty output
(which the implementation should further clarify).

Multiply-Include Header to Check Guard Macro Correctness

Change Over Includes in the Project

Integrate lz4frame_static.h Declarations into lz4frame.h

Merge pull request #512 from lz4/HC_dict

In-place unmutable dictionaries for LZ4HC

Merge pull request #511 from lz4/decFast

Fixed performance issue with LZ4_decompress_fast()

Merge pull request #488 from felixhandte/hc-dict-ctx

Use Dictionary In-Place in HC Mode

Remove Debug Log Statements