Merge pull request #479 from lz4/check

added target make check

added target make check

according to GNU Makefile conventions,
the Makefile should feature a make check target
to self-test the generated program:
https://www.gnu.org/prep/standards/html_node/Standard-Targets.html .

this is much less thorough and less taxing than `make test`,
and can be run on any target in a reasonable timeframe (several seconds).

Merge pull request #478 from lz4/mergeOpt

merge lz4opt.h into lz4hc.c

bumped version number to v1.8.2

updated NEWS was current progresses

update code comment on LZ4 streaming interface

notably regarding LZ4_saveDict() speed advantage,
answering #477.

Merge pull request #476 from lz4/mflimit

edge case fix : compress up to end-mflimit (12 bytes)

merge lz4opt.h into lz4hc.c

Having a dedicated file for optimal parser
made sense during its creation,
it allowed Przemyslaw to work more freely on lz4opt, with less dependency on lz4hc,
moreover, the optimal parser was more complex, with its own search functions.

Since the optimal was rewritten last year, it's now a lot lighter.
It makes more sense now to integrate it directly inside lz4hc.c,
making it easier to edit (editors are a bit "lost" inside a `*.h` dependent on its #include position),
it also reduces the number of files in the project,
which fits pretty well with lz4 objectives.
(adding lz4hc requires "just" lz4hc.h and lz4hc.c).

edge case : compress up to end-mflimit (12 bytes)

The LZ4 block format specification
states that the last match must start
at a minimum distance of 12 bytes from the end of the block.

However, out of an abundance of caution,
the reference implementation would actually stop searching matches
at 13 bytes from the end of the block.

This patch fixes this small detail.
The new version is now able to properly compress a limit case
such as `aaaaaaaabaaa\n`
as reported by Gao Xiang (@hsiangkao).

Obviously, it doesn't change a lot of things.
This is just one additional match candidate per block, with a maximum match length of 7 (since last 5 bytes must remain literals).

With default policy, blocks are 4 MB long, so it doesn't happen too often
Compressing silesia.tar at default level 1 saves 5 bytes (100930101 -> 100930096).
At max level 12, it saves a grand 16 bytes (77389871 -> 77389855).

The impact is a bit more visible when blocks are smaller, hence more numerous.
For example, compressing silesia with blocks of 64 KB (using -12 -B4D) saves 543 bytes (77304583 -> 77304040).
So the smaller the packet size, the more visible the impact.

And it happens we have a ton of scenarios with little blocks using LZ4 compression ...

And a useless "hooray" sidenote :
the patch improves the LZ4 compression record of silesia (using -12 -B7D --no-frame-crc) by 16 bytes (77270672 -> 77270656)
and the record on enwik9 by 44 bytes (371680396 -> 371680352) (previously claimed by [smallz4](http://create.stephan-brumme.com/smallz4/) ).

Merge pull request #475 from lz4/betterBench

Better bench measurements for small inputs

Merge pull request #471 from lz4/fasterHC

Faster HC

use TIMELOOP_NANOSEC,

as suggested by @terrelln

added one assert()

suggested by @terrelln

fixed minor conversion warning

ensure bench speed measurement is more accurate for small inputs

Previous method would produce too many time() invocations,
becoming a significant fraction of workload measured.

The new strategy is to use time() only once per batch,
and dynamically resize batch size so that each round lasts approximately 1 second.

This only matters for small inputs.
Measurement for large files (such as silesia.tar) are much less impacted
(though decoding speed is so fast that even medium-size files will notice an improvement).

update bench.c to use less time invocations

translating into more accurate speed measurements for small sources

update API doc regarding double-buffer strategy

answering question #473

Merge pull request #472 from hobomind/dev

fix: missed semicolon at programs/lz4io.c:954

fix: missed semicolon at programs/lz4io.c:954

Merge pull request #470 from lz4/fasterDec

Faster decoding speed

slight hc speed benefit (~+1%)

by optimizing countback

removed LZ4_copy8

better use memcpy() directly

slightly improved hc compression speed (+~1-2%)

by removing bad candidates faster.

slightly improved decompression speed (~+1-2%)

by making shortcut slightly more common

Merge pull request #469 from mathstuf/intel-windows-packing-selection

intel: do not use __attribute__((packed)) on Windows

intel: do not use __attribute__((packed)) on Windows

On Windows, the Intel compiler is closer to MSVC rather than GCC and
does not support the GCC attribute syntax.

Fixes #468

fixed code comment as detected in #466

Also clarified a few API code comments
and updated associated html documentation

Merge pull request #461 from terrelln/docs

Clarify the requirements of the LZ4 streaming API

Clarify the requirements of the LZ4 streaming API

Merge pull request #458 from lz4/ff161

Minor change to LZ4 Frame format specification

Merge pull request #460 from lz4/frameCompress

refactored frameCompress.c example

modified decompression part of frameCompress.c

using same logic as prior modifications for compression part.

refactored ressource allocation to avoid goto

examples/Makefile : changed dependency order

static library *.a must come after source files *.c on linux

Merge branch 'dev' into frameCompress

travisci : ensure "clean" betweeb 2 tests

modified gpptest recipe

Merge pull request #459 from Tyilo/clang-stdc++14

Ensure LZ4_DEPRECATED("...") is before LZ4LIB_API

refactored frameCompress.c example code

compression function returns a struct.
Also : nested structure ressources->computation
to make it easier to manage multiple exit points.

fixed read size, as noticed by @terrelln

ensure proper dependencies are built for /examples

also : use liblz4.a static lib to share compilation time

refactored frameCompress example

to better reflect LZ4F API usage.

Always prefer c++14 attributes if available

fix typos as suggested by @psteinb

Ensure LZ4_DEPRECATED("...") is before LZ4LIB_API

When using clang++ with std c++14 or c++17 you would get the error "an attribute list cannot appear here" when including "lz4.h" as the visibility attribute is before the c++ attribute.
This ensures that the [[deprecated]] c++ attribute is before everything
else in the function declarations.

proposed a minor change to LZ4 Frame format specification

add new terms "LZ4 Frame Header" and "LZ4 Frame Footer"

Merge pull request #455 from terrelln/hc-default

[lz4hc] level == 0 means default, not level 1

[lz4hc] level == 0 means default, not level 1

Merge pull request #453 from lz4/clockfix

fix #450 : use more restrictive conditions for clock_gettime()

Merge pull request #454 from sunpoet/dev

Change file format back to ASCII (from UTF-8)

Change file format back to ASCII (from UTF-8)

- Replace U+00A0 by space
- Fix build failure of archivers/py-borgbackup in FreeBSD

Reference: https://bugs.FreeBSD.org/225235

use more restrictive conditions for clock_gettime()

added checkTag

checkTag verifies that provided tag and library version match.
It's started automatically in circleCI when a new tag is created.

restored .travis

lz4frame : removed some intermediate stage from LZ4F_decompress()

ensure some strange jump cases are not possible
(they were already not possible, but static analyzer couldn't understand it).

Merge branch 'dev' into coverity_scan

minor : try to tell static analyzer that we don't care if fseek() fails

as already explained in comments.

ensure a ptr is non-null

with an assert()
to help static analyzer understanding this condition.

modified formulation for LZ4F_compressBound()

previous version used an intentional overflow,
which is defined since it uses unsigned type,
but static analyzer complain about it.

programs/datagen : attempt to please static analyzer

with an assert()
to reduce false positive

lz4io: fixed minor ressource leak

revert project name

minor name update

Merge branch 'master' into coverity_scan

Merge pull request #449 from lz4/dev

v1.8.1.2

update man page

nicer console message for `make clean`

updated manuals to v1.8.1

Merge pull request #448 from sunpoet/dev

Fix lz4 version

Fix lz4 version

updated LZ4F_decompress() documentation

Merge pull request #446 from lz4/dev

LZ4 v1.8.1

updated NEWS for v1.8.1

Merge pull request #442 from terrelln/441

[lz4io] Fix decompression file stat with --rm

Merge pull request #443 from terrelln/440

[lz4f] Skip memcpy() on empty dictionary

Merge pull request #444 from felixhandte/publish-static-functions

Add Option to Make lz4frame_static.h Functions Visible in Shared Objects

Add Option to Make lz4frame_static.h Functions Visible in Shared Objects

In some contexts, *cough*like at facebook*cough*, dynamic linking is used in
contexts which aren't truly dynamic. That is, the guarantee is maintained that
a program will only ever execute against the library version it was compiled
to interact with.

For those situations, introduce a compile-time flag that overrides hiding
these unstable APIs in shared objects.

Merge pull request #434 from lz4/pattern

conditional pattern analysis

Merge pull request #435 from lz4/destSize

lz4opt is now compatible with _destSize variant

[lz4f] Skip memcpy() on empty dictionary

[lz4io] Refuse to set file stat for non-regular files

[lz4io] Fix decompression file stat with --rm

Merge pull request #439 from eli-b/doc-nohup-behavior

Docs: describe behavior under nohup

Merge pull request #438 from eli-b/grammar-fix

Grammar: "to silent" -> "to silence"

Docs: describe behavior under nohup

Grammar: "to silent" -> "to silence"

object files in /tests

object files created from /tests are compiled with specific flags (`-g -DLZ4_DEBUG=1`)
which are not welcomed in release binary.
`lib/*.o` files created from /tests are now stored in /tests, to avoid unintentional mix.

lz4opt supports _destSize

no longer limited to level 9

/tests programs compiled with LZ4_DEBUG=1

to enable assert() within /lib

conditional pattern analysis

Pattern analysis (currently limited to long ranges of identical bytes)
is actually detrimental to performance
when `nbSearches` is low.

Reason is : `nbSearches` provides a built-in protection for these cases.
The problem with patterns is that they dramatically increase the number of candidates to visit.
But with a low nbSearches, the match finder just aborts early.

In such cases, pattern analysis adds some complexity without reducing total nb of candidates.
It actually increases compression ratio a little bit, by filtering only "good" candidates,
but at a measurable speed cost, so it's not a good trade-off.

This patch makes pattern analysis optional.
It's enabled for levels 8+ only.

Merge pull request #431 from lz4/newopt

new level 10

new level 10

lz4opt is only competitive vs lz4hc level 10.
Below that level, it doesn't match the speed / compression effectiveness of regular hc parser.

This patch propose to extend lz4opt to levels 10-12.
The new level 10 tend to compress a bit better and a bit faster than previous one (mileage vary depending on file)

The only downside is that `limitedDestSize` mode is now limited to max level 9 (vs 10),
since it's only compatible with regular HC parser.
(Note : I suspect it's possible to convert lz4opt to support it too, but haven't spent time into it).

Merge pull request #427 from lz4/registerLess

remove `register` keyword

Merge pull request #424 from MaxRis/msbuild-properties-#423

Msbuild properties #423

EnableWholeProgramOptimization and UseStaticCRT msbuild custom properties

remove `register` keyword

deprecated in newer C++ versions,
and dubious utility

Merge pull request #426 from aliceatlas/cli_chmod_fix

Fix cli sometimes calling UTIL_setFileStat on /dev/null

Fix bug which could sometimes result in the lz4 cli chmodding /dev/null if running as root

minor updates to examples

see https://github.com/lz4/lz4/commit/810e2ca27b3561e0f6bfa7a88e0fde6faf807064#commitcomment-25810887

API : changed a few variables' names for clarity

updated relevant doc.
This patch has no impact on ABI/API, nor on binary generation.

updated NEWS