Merge pull request #501 from felixhandte/fix-dict-load-offset

Always Bump Offset by 64 KB in LZ4_loadDict()

Always Bump Offset by 64 KB in LZ4_loadDict()

This actually ensures the guarantee referred to in the comment in
LZ4_compress_fast_continue().

Merge pull request #499 from felixhandte/lz4-attach-dict-tests

Test LZ4_attach_dictionary() and Friends

Further Test that ExtDictCtx Mode Produces the Exact Same Output

Add Tests for LZ4_attach_dictionary and Friends

Merge pull request #496 from lz4/circleci

Reduced LZ4 test time on circle-ci

modified versionsTest

to use MOREFLAGS rather CPPFLAGS
as some older versions of LZ4 overwrite CPPFLAGS environment variable.

allow system-defined CPPFLAGS in /tests

reduced test time on circle-ci

Merge pull request #492 from felixhandte/avoid-prepare-in-continue

Several Changes Concerning Table Preparation in LZ4 Fast

Fix Silly Warning (const-ness in declaration has no effect on value types!)

Minor Fixes

Add a LZ4_STATIC_LINKING_ONLY Macro to Guard Experimental APIs

Expose dictCtx Functionality in LZ4

Rename _extState_noReset -> _extState_fastReset and Edit Comments

Remove Extraneous Assignment (clearedTable == 0)

Expose a Faster Stream Reset Function

Avoid Calling LZ4_prepareTable() in LZ4_compress_fast_continue()

Merge pull request #494 from felixhandte/kill-goto

Return to Allowing Early Returns in LZ4_compress_generic()

Return to Allowing Early Returns in LZ4_compress_generic()

Or: `goto` Considered Harmful

Or: https://xkcd.com/292/

Merge pull request #493 from lz4/statusLine

fixed DISPLAYUPDATE()

fixed DISPLAYUPDATE()

wrong comparison, which was always overflowing (hence was always true)
except when it was not (i386, reported by pmc)
in which case it would never show any information.

Merge pull request #490 from kenjichanhkg/dev

added vs2017 projects

added vs2017 projects

Merge pull request #486 from felixhandte/fix-test-makefile-clean-up

Add Dependency to Fix Parallel `make test` Runs

Merge pull request #487 from felixhandte/better-obsoletion-comment

Better Describe Functionality of Obsolete Streaming Functions

Also Fix a Comment

Better Describe Functionality of Obsolete Streaming Functions

Add Dependency to Fix Parallel `make test` Runs

When run with `-jN`, the `rm tmp*` can run in the middle of the `test-lz4-dict`
job, which will then fail, finding its files to have been axed. This adds a
dependency between the two.

added c90 test to c_standards

to catch `//` comments

fix comment style

bench: introduced hidden command -S

to benchmark multiple files with separate results

Merge branch 'dev' of github.com:Cyan4973/lz4 into dev

minor man fix on clevels

Merge pull request #484 from lz4/fasterDict

Faster dictionary compression

Merge pull request #406 from felixhandte/ref-dict-table

Use the Dictionary Hash Table in Place

Remove Framebench Tool

Move LZ4_compress_fast_extState_noReset Declaration to Unstable Section

Restore the Other Old Streaming Functions in a Degraded Fashion

Switch ALLOC() to ALLOC_AND_ZERO() to Paper Over Existing Uninitialized Read

Split lz4CtxLevel into Two Fields

Another Allocation Fail Check

Restore LZ4_sizeofStreamState, We Didn't Actually Need to Delete It

Restore checkTag Cleaning

Rename Enums and Add Comment

Whitespace Fixes

Add NULL Checks

Simpler Ternary Statements

Renames and Comment Fixes

Hoist LZ4F Dictionary Setup into Helper LZ4F_applyCDict()

Minor Style Fixes

Preserve currentOffset==0 When Possible

Specialize _extState() for Clean Ctx Rather Than Calling _safeExtState()

Remove Switch In Favor of Ternary Statement

Further Avoid a dictionary==NULL Check

Optimize Dict Check Condition

Move to 4KB Cut-Off

Reset Table on Inputs Larger than 2KB

Avoid DictSmall Checks By Strategically Bumping CurrentOffset

Restore DictIssue Check

Avoid dictionary == NULL Check

Replace calloc() Calls With malloc() Where Possible

Copy the Dict Table Into the Context for Large Compressions

Make LZ4F_compressFrame_usingCDict Take a Compression Context

Switch Current Offset to 1 Only When in External Dictionary Context Mode

Hoist Table Reset One Level Up

Set Dictionary Context Pointer Rather than Copying the Context In

Lookup Matches in Separate Dictionary Context

Initialize Current Offset to 1

Only Re-Alloc / Reset When Needed When Switching Between Regular and High Compression Modes

Avoid Resetting the Context When Possible

Const-ify Table Arg to LZ4_getPosition(OnHash)

Add LZ4_compress_fast_safeExtState Function

Add Bounds Check to locateBuffDiff

Add a Table Type Field to LZ4_stream_t

Remove Obsolete Stream Functions to Free Space in LZ4_stream_t

Allow Empty Dictionaries

Add a Benchmarking Tool For Compression with Context Re-Use

Merge pull request #483 from lz4/dev

update to dev

fix #482: change CFLAGS to CXXFLAGS

as they are associated with $(CXX)

fix #481: ensure liblz4.a dependency for `make all`

`make all` will trigger several sub-directory makefiles.
several of them need `liblz4.a`.
When built with `-j#`, there are several concurrent liblz4.a built

Make liblz4.a a dependency, which is built once,
before moving to sub-directory Makefiles

updated LZ4F_compressBound() documentation

to clarify it includes potentially buffered data.

Merge pull request #479 from lz4/check

added target make check

added target make check

according to GNU Makefile conventions,
the Makefile should feature a make check target
to self-test the generated program:
https://www.gnu.org/prep/standards/html_node/Standard-Targets.html .

this is much less thorough and less taxing than `make test`,
and can be run on any target in a reasonable timeframe (several seconds).

Merge pull request #478 from lz4/mergeOpt

merge lz4opt.h into lz4hc.c

bumped version number to v1.8.2

updated NEWS was current progresses

update code comment on LZ4 streaming interface

notably regarding LZ4_saveDict() speed advantage,
answering #477.

Merge pull request #476 from lz4/mflimit

edge case fix : compress up to end-mflimit (12 bytes)

merge lz4opt.h into lz4hc.c

Having a dedicated file for optimal parser
made sense during its creation,
it allowed Przemyslaw to work more freely on lz4opt, with less dependency on lz4hc,
moreover, the optimal parser was more complex, with its own search functions.

Since the optimal was rewritten last year, it's now a lot lighter.
It makes more sense now to integrate it directly inside lz4hc.c,
making it easier to edit (editors are a bit "lost" inside a `*.h` dependent on its #include position),
it also reduces the number of files in the project,
which fits pretty well with lz4 objectives.
(adding lz4hc requires "just" lz4hc.h and lz4hc.c).

edge case : compress up to end-mflimit (12 bytes)

The LZ4 block format specification
states that the last match must start
at a minimum distance of 12 bytes from the end of the block.

However, out of an abundance of caution,
the reference implementation would actually stop searching matches
at 13 bytes from the end of the block.

This patch fixes this small detail.
The new version is now able to properly compress a limit case
such as `aaaaaaaabaaa\n`
as reported by Gao Xiang (@hsiangkao).

Obviously, it doesn't change a lot of things.
This is just one additional match candidate per block, with a maximum match length of 7 (since last 5 bytes must remain literals).

With default policy, blocks are 4 MB long, so it doesn't happen too often
Compressing silesia.tar at default level 1 saves 5 bytes (100930101 -> 100930096).
At max level 12, it saves a grand 16 bytes (77389871 -> 77389855).

The impact is a bit more visible when blocks are smaller, hence more numerous.
For example, compressing silesia with blocks of 64 KB (using -12 -B4D) saves 543 bytes (77304583 -> 77304040).
So the smaller the packet size, the more visible the impact.

And it happens we have a ton of scenarios with little blocks using LZ4 compression ...

And a useless "hooray" sidenote :
the patch improves the LZ4 compression record of silesia (using -12 -B7D --no-frame-crc) by 16 bytes (77270672 -> 77270656)
and the record on enwik9 by 44 bytes (371680396 -> 371680352) (previously claimed by [smallz4](http://create.stephan-brumme.com/smallz4/) ).

Merge pull request #475 from lz4/betterBench

Better bench measurements for small inputs

Merge pull request #471 from lz4/fasterHC

Faster HC

use TIMELOOP_NANOSEC,

as suggested by @terrelln

added one assert()

suggested by @terrelln

fixed minor conversion warning

ensure bench speed measurement is more accurate for small inputs

Previous method would produce too many time() invocations,
becoming a significant fraction of workload measured.

The new strategy is to use time() only once per batch,
and dynamically resize batch size so that each round lasts approximately 1 second.

This only matters for small inputs.
Measurement for large files (such as silesia.tar) are much less impacted
(though decoding speed is so fast that even medium-size files will notice an improvement).

update bench.c to use less time invocations

translating into more accurate speed measurements for small sources

update API doc regarding double-buffer strategy

answering question #473

Merge pull request #472 from hobomind/dev

fix: missed semicolon at programs/lz4io.c:954

fix: missed semicolon at programs/lz4io.c:954