Also Fix a Comment

Better Describe Functionality of Obsolete Streaming Functions

Merge pull request #484 from lz4/fasterDict

Faster dictionary compression

Merge pull request #406 from felixhandte/ref-dict-table

Use the Dictionary Hash Table in Place

Remove Framebench Tool

Move LZ4_compress_fast_extState_noReset Declaration to Unstable Section

Restore the Other Old Streaming Functions in a Degraded Fashion

Switch ALLOC() to ALLOC_AND_ZERO() to Paper Over Existing Uninitialized Read

Split lz4CtxLevel into Two Fields

Another Allocation Fail Check

Restore LZ4_sizeofStreamState, We Didn't Actually Need to Delete It

Restore checkTag Cleaning

Rename Enums and Add Comment

Whitespace Fixes

Add NULL Checks

Simpler Ternary Statements

Renames and Comment Fixes

Hoist LZ4F Dictionary Setup into Helper LZ4F_applyCDict()

Minor Style Fixes

Preserve currentOffset==0 When Possible

Specialize _extState() for Clean Ctx Rather Than Calling _safeExtState()

Remove Switch In Favor of Ternary Statement

Further Avoid a dictionary==NULL Check

Optimize Dict Check Condition

Move to 4KB Cut-Off

Reset Table on Inputs Larger than 2KB

Avoid DictSmall Checks By Strategically Bumping CurrentOffset

Restore DictIssue Check

Avoid dictionary == NULL Check

Replace calloc() Calls With malloc() Where Possible

Copy the Dict Table Into the Context for Large Compressions

Make LZ4F_compressFrame_usingCDict Take a Compression Context

Switch Current Offset to 1 Only When in External Dictionary Context Mode

Hoist Table Reset One Level Up

Set Dictionary Context Pointer Rather than Copying the Context In

Lookup Matches in Separate Dictionary Context

Initialize Current Offset to 1

Only Re-Alloc / Reset When Needed When Switching Between Regular and High Compression Modes

Avoid Resetting the Context When Possible

Const-ify Table Arg to LZ4_getPosition(OnHash)

Add LZ4_compress_fast_safeExtState Function

Add Bounds Check to locateBuffDiff

Add a Table Type Field to LZ4_stream_t

Remove Obsolete Stream Functions to Free Space in LZ4_stream_t

Allow Empty Dictionaries

Add a Benchmarking Tool For Compression with Context Re-Use

Merge pull request #483 from lz4/dev

update to dev

fix #482: change CFLAGS to CXXFLAGS

as they are associated with $(CXX)

fix #481: ensure liblz4.a dependency for `make all`

`make all` will trigger several sub-directory makefiles.
several of them need `liblz4.a`.
When built with `-j#`, there are several concurrent liblz4.a built

Make liblz4.a a dependency, which is built once,
before moving to sub-directory Makefiles

updated LZ4F_compressBound() documentation

to clarify it includes potentially buffered data.

Merge pull request #479 from lz4/check

added target make check

added target make check

according to GNU Makefile conventions,
the Makefile should feature a make check target
to self-test the generated program:
https://www.gnu.org/prep/standards/html_node/Standard-Targets.html .

this is much less thorough and less taxing than `make test`,
and can be run on any target in a reasonable timeframe (several seconds).

Merge pull request #478 from lz4/mergeOpt

merge lz4opt.h into lz4hc.c

bumped version number to v1.8.2

updated NEWS was current progresses

update code comment on LZ4 streaming interface

notably regarding LZ4_saveDict() speed advantage,
answering #477.

Merge pull request #476 from lz4/mflimit

edge case fix : compress up to end-mflimit (12 bytes)

merge lz4opt.h into lz4hc.c

Having a dedicated file for optimal parser
made sense during its creation,
it allowed Przemyslaw to work more freely on lz4opt, with less dependency on lz4hc,
moreover, the optimal parser was more complex, with its own search functions.

Since the optimal was rewritten last year, it's now a lot lighter.
It makes more sense now to integrate it directly inside lz4hc.c,
making it easier to edit (editors are a bit "lost" inside a `*.h` dependent on its #include position),
it also reduces the number of files in the project,
which fits pretty well with lz4 objectives.
(adding lz4hc requires "just" lz4hc.h and lz4hc.c).

edge case : compress up to end-mflimit (12 bytes)

The LZ4 block format specification
states that the last match must start
at a minimum distance of 12 bytes from the end of the block.

However, out of an abundance of caution,
the reference implementation would actually stop searching matches
at 13 bytes from the end of the block.

This patch fixes this small detail.
The new version is now able to properly compress a limit case
such as `aaaaaaaabaaa\n`
as reported by Gao Xiang (@hsiangkao).

Obviously, it doesn't change a lot of things.
This is just one additional match candidate per block, with a maximum match length of 7 (since last 5 bytes must remain literals).

With default policy, blocks are 4 MB long, so it doesn't happen too often
Compressing silesia.tar at default level 1 saves 5 bytes (100930101 -> 100930096).
At max level 12, it saves a grand 16 bytes (77389871 -> 77389855).

The impact is a bit more visible when blocks are smaller, hence more numerous.
For example, compressing silesia with blocks of 64 KB (using -12 -B4D) saves 543 bytes (77304583 -> 77304040).
So the smaller the packet size, the more visible the impact.

And it happens we have a ton of scenarios with little blocks using LZ4 compression ...

And a useless "hooray" sidenote :
the patch improves the LZ4 compression record of silesia (using -12 -B7D --no-frame-crc) by 16 bytes (77270672 -> 77270656)
and the record on enwik9 by 44 bytes (371680396 -> 371680352) (previously claimed by [smallz4](http://create.stephan-brumme.com/smallz4/) ).

Merge pull request #475 from lz4/betterBench

Better bench measurements for small inputs

Merge pull request #471 from lz4/fasterHC

Faster HC

use TIMELOOP_NANOSEC,

as suggested by @terrelln

added one assert()

suggested by @terrelln

fixed minor conversion warning

ensure bench speed measurement is more accurate for small inputs

Previous method would produce too many time() invocations,
becoming a significant fraction of workload measured.

The new strategy is to use time() only once per batch,
and dynamically resize batch size so that each round lasts approximately 1 second.

This only matters for small inputs.
Measurement for large files (such as silesia.tar) are much less impacted
(though decoding speed is so fast that even medium-size files will notice an improvement).

update bench.c to use less time invocations

translating into more accurate speed measurements for small sources

update API doc regarding double-buffer strategy

answering question #473

Merge pull request #472 from hobomind/dev

fix: missed semicolon at programs/lz4io.c:954

fix: missed semicolon at programs/lz4io.c:954

Merge pull request #470 from lz4/fasterDec

Faster decoding speed

slight hc speed benefit (~+1%)

by optimizing countback

removed LZ4_copy8

better use memcpy() directly

slightly improved hc compression speed (+~1-2%)

by removing bad candidates faster.

slightly improved decompression speed (~+1-2%)

by making shortcut slightly more common

Merge pull request #469 from mathstuf/intel-windows-packing-selection

intel: do not use __attribute__((packed)) on Windows

intel: do not use __attribute__((packed)) on Windows

On Windows, the Intel compiler is closer to MSVC rather than GCC and
does not support the GCC attribute syntax.

Fixes #468

fixed code comment as detected in #466

Also clarified a few API code comments
and updated associated html documentation

Merge pull request #461 from terrelln/docs

Clarify the requirements of the LZ4 streaming API

Clarify the requirements of the LZ4 streaming API

Merge pull request #458 from lz4/ff161

Minor change to LZ4 Frame format specification

Merge pull request #460 from lz4/frameCompress

refactored frameCompress.c example

modified decompression part of frameCompress.c

using same logic as prior modifications for compression part.

refactored ressource allocation to avoid goto

examples/Makefile : changed dependency order

static library *.a must come after source files *.c on linux

Merge branch 'dev' into frameCompress

travisci : ensure "clean" betweeb 2 tests

modified gpptest recipe

Merge pull request #459 from Tyilo/clang-stdc++14

Ensure LZ4_DEPRECATED("...") is before LZ4LIB_API

refactored frameCompress.c example code

compression function returns a struct.
Also : nested structure ressources->computation
to make it easier to manage multiple exit points.

fixed read size, as noticed by @terrelln

ensure proper dependencies are built for /examples

also : use liblz4.a static lib to share compilation time

refactored frameCompress example

to better reflect LZ4F API usage.

Always prefer c++14 attributes if available

fix typos as suggested by @psteinb

Ensure LZ4_DEPRECATED("...") is before LZ4LIB_API

When using clang++ with std c++14 or c++17 you would get the error "an attribute list cannot appear here" when including "lz4.h" as the visibility attribute is before the c++ attribute.
This ensures that the [[deprecated]] c++ attribute is before everything
else in the function declarations.

proposed a minor change to LZ4 Frame format specification

add new terms "LZ4 Frame Header" and "LZ4 Frame Footer"

Merge pull request #455 from terrelln/hc-default

[lz4hc] level == 0 means default, not level 1

[lz4hc] level == 0 means default, not level 1

Merge pull request #453 from lz4/clockfix

fix #450 : use more restrictive conditions for clock_gettime()

Merge pull request #454 from sunpoet/dev

Change file format back to ASCII (from UTF-8)

Change file format back to ASCII (from UTF-8)

- Replace U+00A0 by space
- Fix build failure of archivers/py-borgbackup in FreeBSD

Reference: https://bugs.FreeBSD.org/225235