cli : restored command -BX to enable block checksum (#322)

restored block checksum capability at lz4frame API level

implemented lz4frame decompression API

support dictionary compression with independent blocks

fixed gcc prototype warning

dictionary compression correctly uses compression level

Not obvious : copying the state was copying cdict's compression level

fixed C++ conversion warnings

fixed uninitialization error in lz4frame

implemented dictionary compression in lz4frame

note : only compression API is implemented and tested
still to do : decompression API

fixed frameCompress example

added dictID inside LZ4F_frameInfo_t

Compressor can set dictID on LZ4F_compressBegin()
Decompressor can retrieve it using LZ4F_getFrameInfo()

updated Frame specification

Restored DictID field in Frame header
Bumped specification version to v1.6.0

Merge branch 'dev' of github.com:Cyan4973/lz4 into dev

Merge pull request #376 from ido/patch-1

Fix typos preventing installation of static lib.

Merge branch 'dev' of github.com:Cyan4973/lz4 into dev

updated man page

Fix typos preventing installation of static lib.

Merge pull request #374 from ferdnyc/patch-2

Generate updated man page from Markdown source

Generate updated man page from Markdown source

Merge pull request #373 from ferdnyc/patch-2

Fix formatting of concatenation example

Fix formatting of concatenation example

The "Concatenation of .lz4 files" section contains example commands
that are run together on one line, making them invalid. Wrap them
in a code block and clean up surrounding formatting.

fix #369

The bug would make the bt search read one byte in an invalid memory region,
and make a branch decision based on its value.
Impact was small (missed compression opportunity).
It only happens in -BD mode, with extDict-prefix overlapping matches.

The bt match search is supposed to work also in extDict mode.
In which case, the match ptr can point into Dict.
When the match was overlapping Dict<->Prefix,
match[matchLength] would end up outside of Dict, in an invalid memory area.
The correction ensures that in such a case,
match[matchLength] ends up at intended location, inside prefix.

Merge pull request #371 from jku/tests-LIBDIR

tests/Makefile: don't use LIBDIR as variable

tests/Makefile: don't use LIBDIR as variable

LIBDIR may be overriden with a environment variable: In this case make
clean breaks in tests/. Use another variable name.

Merge pull request #367 from Chocobo1/fallthrough

Fix gcc7 Wimplicit-fallthrough warnings

Merge pull request #368 from Chocobo1/readme

Update README.md

Update README.md

Update appveyor badge URL
Remove empty line

Fix gcc7 Wimplicit-fallthrough warnings

For the default Wimplicit-fallthrough=3 level,
the comment should start with "fall*"

made level 10 a bit faster

at the expense of a little bit of compression ratio.

Now speed is intermediate on calgary corpus :
25 - 12 - 8 - 3

-g compilation flag not by default for lz4 cli

clarified lz4frame api comment (#350)

report where decompression ends (#313)

suggested by @ehem
note : only works for files < 2 GB

updated NEWS

fixed minor scan-build warning

refactored simple_buffer.c example (#363)

added a paragraph on overlap matches

cli accept block sizes with KB / MB prefixes

Merge pull request #360 from Chocobo1/md

[Doc] Fix markdown

[Doc] Fix markdown

Merge pull request #359 from PierreNav/dev

Add DLL files to the INSTALL target

Add DLL files to the INSTALL target

Merge pull request #352 from lz4/resetDCtx

Reset decompression context

fix (minor) g++ compatibility for frametest

added test for LZ4F_resetDecompressionContext()

fixed c_standards tests

and added entry "make list"

bumped version number to 1.8.0

due to addition of prototype
LZ4F_resetDecompressionContext()

updated Makefile

to automatically build manual files with
make all

expose LZ4F_resetDecompressionContext()

minor readability changes

changed macro HEAPMODE into LZ4_HEAPMODE

This macro is susceptible to be triggered from user side
typically through compiler flag (-DLZ4_HEAPMODE=1).
In which case, it makes sense to prefix the macro
since we want to reduce potential side-effect on namespace.

Merge pull request #349 from svpv/master

clamp hc levels > 12 + minor fixes in comments

lz4hc.c: clamp compression levels > 12

I noticed that, while 'lz4 -12' works fine, 'lz4 -13' does not compress
at all.

$ cat </etc/passwd |wc -c
2565
$ lz4 -12 </etc/passwd |wc -c
1456
$ lz4 -13 </etc/passwd |wc -c
2584

Perhaps the best way to fix this is to clamp the compression level
in the LZ4HC_compress_generic routine.

lz4cli.c: fix a comment: LZ4HC_DEFAULT_CLEVEL -> LZ4HC_CLEVEL_MAX

Actually the program only mentions LZ4HC_CLEVEL_MAX.

liz4hc.h: fix a comment: LZ4HC_MAX_CLEVEL -> LZ4HC_CLEVEL_MAX

Merge pull request #348 from terrelln/deprecate

[LZ4F] Allow users to disable LZ4F_DEPRECATE

[LZ4F] Allow users to disable LZ4F_DEPRECATE

Merge pull request #347 from lz4/negativeCLevels

Negative Compression levels

lz4frame : Added negative compression levels

ensure lz4f_cctx internal buffer size remain valid in case of malloc error

lz4frame : control lz4 context creation success

make __packed memory access default for gcc

It's always as good or better then memcpy()
but depends on gcc-specific extension.

solves https://github.com/facebook/zstd/issues/620

Merge pull request #344 from lz4/LZ4F_getFrameInfo

LZ4F_getFrameInfo and LZ4F_resetDecompressionContext

fixed minor Visual warning

Improved comments on LZ4F_getFrameInfo()

and added LZ4F_resetCompressionContext()

added LZ4F_resetDecompressionContext()

Safer LZ4_getFrameInfo()

LZ4_getFrameInfo() is now guaranteed to keep dctx state clean,
even in case of failure.

Merge pull request #342 from iburinoc/isatty

Fix IS_CONSOLE returning 1 for NUL on windows

Fix inline compile errors

Fix IS_CONSOLE returning 1 for NUL on windows

Merge pull request #341 from iburinoc/exematch

Ignore extensions in exe name matching

Merge pull request #340 from lz4/optlz4opt

lz4opt

Ignore extensions in exe name matching

Merge pull request #338 from ldv-alt/dev

Export deprecated symbols declared in lz4hc.h

improved level 10 speed for degenerated cases

Merge branch 'dev' into optlz4opt

fixed API comment for LZ4F_createCompressionContext()

as reported by @nh2

Export deprecated symbols declared in lz4hc.h

Commit 25b243588585b06a2d947372284cbfe00da930e9 exported deprecated
symbols declared in lz4.h by marking all LZ4_DEPRECATED functions with
LZ4LIB_API attribute.  This change does the same with functions declared
in lz4hc.h file, thus extending the export to lz4hc.h.

As result, the following 17 deprecated functions are exported again:

LZ4_compressHC
LZ4_compressHC2
LZ4_compressHC2_continue
LZ4_compressHC2_limitedOutput
LZ4_compressHC2_limitedOutput_continue
LZ4_compressHC2_limitedOutput_withStateHC
LZ4_compressHC2_withStateHC
LZ4_compressHC_continue
LZ4_compressHC_limitedOutput
LZ4_compressHC_limitedOutput_continue
LZ4_compressHC_limitedOutput_withStateHC
LZ4_compressHC_withStateHC
LZ4_createHC
LZ4_freeHC
LZ4_resetStreamStateHC
LZ4_sizeofStreamStateHC
LZ4_slideInputBufferHC

Merge pull request #337 from ldv-alt/dev

cli: add GNU separator -- specifying that all following arguments are files

cli: add GNU separator -- specifying that all following arguments are files

This option is supported by other compressors with compatible cli,
so add it to lz4 as well for better compatibility.

Merge branch 'optlz4opt' of github.com:Cyan4973/lz4 into optlz4opt

minor refactor

slight btopt speed improvement

removing a useless test

slight btopt speed improvement

removing a useless test

made SET_PRICE macro more usable

previous version would use argument to also change target member.
Now, only values are transferred

improved lz4opt speed (~4%)

minor price function optimization

added `extern C` for lz4.h static section

should make the file more compatible with C++ compiler, such as Visual or g++

LZ4_compress_HC_continue_destSize() works as intended up to level 10

It's incompatible with btopt though,
so cLevel >= 11 feature much reduced performance (degraded mode)

LZ4_compress_HC_destSize() uses LZ4HC_compress_generic() code path

Limits compression level to 10,
to remain compatible with Hash Chain.

updated lz4 version number

created LZ4_HC_STATIC_LINKING_ONLY section

where are exposed new prototypes *_destSize()

fixed Visual compilation error

static const must be a "constant", like a macro
even if it can be determined at compile time ...

fix #332 : do not modify /dev/null permissions

fix #333 : expose obsolete decoding functions

with deprecation warning.
notified by Chen Yufei

added Oleg @remittor contribution

Merge pull request #331 from ldv-alt/dev

Export only those symbols that are part of public API

Merge pull request #329 from remittor/dev-hc2

lz4hc: Add LZ4_compressHC_destSize

Export only those symbols that are part of public API

Specify -fvisibility=hidden parameter when linking the shared library
using -fPIC, assuming that gcc >= 4 is used.

This change results to unexporting of the following 42 functions:

LZ4F_getErrorCode
LZ4_XXH32
LZ4_XXH32_canonicalFromHash
LZ4_XXH32_copyState
LZ4_XXH32_createState
LZ4_XXH32_digest
LZ4_XXH32_freeState
LZ4_XXH32_hashFromCanonical
LZ4_XXH32_reset
LZ4_XXH32_update
LZ4_XXH64
LZ4_XXH64_canonicalFromHash
LZ4_XXH64_copyState
LZ4_XXH64_createState
LZ4_XXH64_digest
LZ4_XXH64_freeState
LZ4_XXH64_hashFromCanonical
LZ4_XXH64_reset
LZ4_XXH64_update
LZ4_XXH_versionNumber
LZ4_compressHC
LZ4_compressHC2
LZ4_compressHC2_continue
LZ4_compressHC2_limitedOutput
LZ4_compressHC2_limitedOutput_continue
LZ4_compressHC2_limitedOutput_withStateHC
LZ4_compressHC2_withStateHC
LZ4_compressHC_continue
LZ4_compressHC_limitedOutput
LZ4_compressHC_limitedOutput_continue
LZ4_compressHC_limitedOutput_withStateHC
LZ4_compressHC_withStateHC
LZ4_compress_fast_force
LZ4_compress_forceExtDict
LZ4_createHC
LZ4_decompress_safe_forceExtDict
LZ4_freeHC
LZ4_resetStreamStateHC
LZ4_sizeofStreamStateHC
LZ4_slideInputBufferHC
LZ4_uncompress
LZ4_uncompress_unknownOutputSize

Export deprecated symbols

Deprecated symbols are still a part of ABI and have to be exported,
so mark them with LZ4LIB_API attribute.

Explicitly set visibility of public API functions when gcc is used

Windows builds already limit exporting of functions to those marked
with LZ4LIB_API tag.  The same behaviour could be achieved on other
platforms when a relatively fresh gcc is used.

This change assigns public visibility to all symbols marked with
LZ4LIB_API tag.  When the library is built in -fvisibility=hidden
mode, only these marked symbols will be exported.