Fix lz4 version

updated LZ4F_decompress() documentation

updated NEWS for v1.8.1

Merge pull request #442 from terrelln/441

[lz4io] Fix decompression file stat with --rm

Merge pull request #443 from terrelln/440

[lz4f] Skip memcpy() on empty dictionary

Merge pull request #444 from felixhandte/publish-static-functions

Add Option to Make lz4frame_static.h Functions Visible in Shared Objects

Add Option to Make lz4frame_static.h Functions Visible in Shared Objects

In some contexts, *cough*like at facebook*cough*, dynamic linking is used in
contexts which aren't truly dynamic. That is, the guarantee is maintained that
a program will only ever execute against the library version it was compiled
to interact with.

For those situations, introduce a compile-time flag that overrides hiding
these unstable APIs in shared objects.

Merge pull request #434 from lz4/pattern

conditional pattern analysis

Merge pull request #435 from lz4/destSize

lz4opt is now compatible with _destSize variant

[lz4f] Skip memcpy() on empty dictionary

[lz4io] Refuse to set file stat for non-regular files

[lz4io] Fix decompression file stat with --rm

Merge pull request #439 from eli-b/doc-nohup-behavior

Docs: describe behavior under nohup

Merge pull request #438 from eli-b/grammar-fix

Grammar: "to silent" -> "to silence"

Docs: describe behavior under nohup

Grammar: "to silent" -> "to silence"

object files in /tests

object files created from /tests are compiled with specific flags (`-g -DLZ4_DEBUG=1`)
which are not welcomed in release binary.
`lib/*.o` files created from /tests are now stored in /tests, to avoid unintentional mix.

lz4opt supports _destSize

no longer limited to level 9

/tests programs compiled with LZ4_DEBUG=1

to enable assert() within /lib

conditional pattern analysis

Pattern analysis (currently limited to long ranges of identical bytes)
is actually detrimental to performance
when `nbSearches` is low.

Reason is : `nbSearches` provides a built-in protection for these cases.
The problem with patterns is that they dramatically increase the number of candidates to visit.
But with a low nbSearches, the match finder just aborts early.

In such cases, pattern analysis adds some complexity without reducing total nb of candidates.
It actually increases compression ratio a little bit, by filtering only "good" candidates,
but at a measurable speed cost, so it's not a good trade-off.

This patch makes pattern analysis optional.
It's enabled for levels 8+ only.

Merge pull request #431 from lz4/newopt

new level 10

new level 10

lz4opt is only competitive vs lz4hc level 10.
Below that level, it doesn't match the speed / compression effectiveness of regular hc parser.

This patch propose to extend lz4opt to levels 10-12.
The new level 10 tend to compress a bit better and a bit faster than previous one (mileage vary depending on file)

The only downside is that `limitedDestSize` mode is now limited to max level 9 (vs 10),
since it's only compatible with regular HC parser.
(Note : I suspect it's possible to convert lz4opt to support it too, but haven't spent time into it).

Merge pull request #427 from lz4/registerLess

remove `register` keyword

Merge pull request #424 from MaxRis/msbuild-properties-#423

Msbuild properties #423

EnableWholeProgramOptimization and UseStaticCRT msbuild custom properties

remove `register` keyword

deprecated in newer C++ versions,
and dubious utility

Merge pull request #426 from aliceatlas/cli_chmod_fix

Fix cli sometimes calling UTIL_setFileStat on /dev/null

Fix bug which could sometimes result in the lz4 cli chmodding /dev/null if running as root

minor updates to examples

see https://github.com/lz4/lz4/commit/810e2ca27b3561e0f6bfa7a88e0fde6faf807064#commitcomment-25810887

API : changed a few variables' names for clarity

updated relevant doc.
This patch has no impact on ABI/API, nor on binary generation.

updated NEWS

Merge pull request #416 from lz4/newopt

Improve Optimal parser

added code comments

added constant TRAILING_LITERALS

which is more explicit than its value `3`.
reported by @terrelln

lz4opt: simplified match finder invocation to LZ4HC_FindLongerMatch()

added code comments

fixed LZ4HC_reverseCountPattern()

for multi-bytes patterns
(which is not useful for the time being)

removed the ip++ at the beginning of block

The first byte used to be skipped
to avoid a infinite self-comparison.
This is no longer necessary, since init() ensures that index starts at 64K.

The first byte is also useless to search when each block is independent,
but it's no longer the case when blocks are linked.

Removing the first-byte-skip saves
about 10 bytes / MB on files compressed with -BD4 (linked blocks 64Kb),
which feels correct as each MB has 16 blocks of 64KB.

Merge pull request #418 from lz4/fasterCount

faster LZ4_count()

removed legacy version of LZ4HC_InsertAndFindBestMatch()

ensure `pattern` is a 1-byte repetition

removed useless `(1 && ...)` condition

as reported by @terrelln

improved LZ4HC_reverseCountPattern() :

works for any repetitive pattern of length 1, 2 or 4 (but not 3!)
works for any endianess

fixed LZ4HC_countPattern()

- works with byte values other than `0`
- works for any repetitive pattern of length 1, 2 or 4 (but not 3!)
- works for little and big endian systems
- preserve speed of previous implementation

added LZ4_FORCEINLINE to counter gcc regression

as recommended by @terrelln

2-stages LZ4_count

separate first branch from the rest of the compare loop
to get dedicated prediction.

measured a 3-4% compression speed improvement.

build: minor : `make lz4` doesn't compile liblz4 anymore

since it's not needed.

Merge pull request #417 from sylvestre/dev

When building with a C++ compiler, remove the 'register' keyword to silent a warning

Only ignore with C++17

When building with a C++ compiler, remove the 'register' keyword to silent a warning

For example, with clang:

lz4.c:XXX:36: error: 'register' storage class specifier is deprecated and incompatible with C++17 [-Werror,-Wdeprecated-register]
static unsigned LZ4_NbCommonBytes (register reg_t val)
                                   ^~~~~~~~~

fixed minor static analyzer warning

dead assignment

minor comment edit

unified HC levels

LZ4_setCompressionLevel() can be users accross the whole range of HC levels
No more transition issue between Optimal and HC modes

moved ctx->end handling from parsers

responsibility better handled one layer above (LZ4HC_compress_generic())

removed ctx->searchNum

nbSearches now transmitted directly as function parameter
easier to track and debug

LZ4_compress_HC_continue_destSize() now compatible with optimal parser

levels 11+

removes matches[] table

saves stack space
clearer match finder interface (no more table to fill)

removed useless parameter from hash chain matchfinder

used to be present for compatibility with binary tree matchfinder

removed code and reference to binary tree match finder

reduced size of LZ4HC state

improved level 11 speed

optimized skip strategy for level 12

new level 11 uses 512 attempts

more generic skip formula

improving speed

small adaptations for intermediate level 11

partial search, while preserving compression ratio

tag interesting places

searching match leading strictly farther does not work

sometimes, it's better to re-use same match but start it later,
in order to get shorter matchlength code

fixed last lost bytes in maximal mode

even gained 2 bytes on calgary.tar...
added conditional traces `g_debuglog_enable`

changed strategy : opt[] path is complete after each match

previous strategy would leave a few "bad choices"
on the ground they would be fixed later,
but that requires passing through each position to make the fix
and cannot give the end position of the last useful match.

Merge pull request #415 from lz4/fasterDecodingXp

Faster decoding xp

Merge branch 'dev' into btopt

minor change, to help store forwarding

in a marginal case (offset==4)

extended shortcut match length to 18

Merge pull request #408 from terrelln/time

[bench] Use higher resolution timer on POSIX

minor : coding style : use ML_MASK constant

added comments, as suggested by @terrelln

fixed minor overflow mistake in optimal parser

saving 20 bytes on calgary.tar

fixed minor initialization warning

more complete shortcut - passes tests

Merge pull request #412 from mikir/symbolsVisibility

Separated visibility from LZ4LIB_API macro.

Separated visibility from LZ4LIB_API macro.

small modification of lz4 decoder to shortcut common case (short branch).

added hash chain with conditional length

not a success yet

lz4opt: added hash chain search

switched many types to int

removed SET_PRICE macro

removed one macro usage

minor refactor

reduce variable scope
remove one macro usage

lz4opt: refactor sequence reverse traversal

refactor variable matchnum

separate initial and iterative search
renamed nb_matches

simplified initial cost conditions

llen integrated in opt[]

added assert

renamed last_pos into last_match_pos

simplified early exit when single solution

[bench] Use higher resolution timer on POSIX

The timer used was only accurate up to 0.01 seconds. This timer is accurate up to 1 ns.
It is a monotonic timer that measures the real time difference, not on CPU time.

Copied the benchmark code from https://github.com/facebook/zstd/commit/6ab4d5e9041aba962a810ffee191f95897c6208e

lz4cli : minor rewrite of lz4c legacy commands

for clarity

Merge branch 'dev' of github.com:Cyan4973/lz4 into dev

lz4cli : removed extension artefacts

It used to be useful for an old Windows variant which is no longer maintained.

Merge pull request #407 from odaira/useO2ppc64le

Use O2 for the decompression functions on ppc64le with gcc

Use the optimization level of O2 for the decompression functions on ppc64le with gcc, to avoid harmful unrolling and SIMDization with O3

Merge pull request #403 from felixhandte/lz4-cli-dict-support-tests

Support Dictionaries on the Command Line