Merge pull request #689 from JPeterMugaas/jpm-makefile

Jpm makefile - as described in https://github.com/lz4/lz4/issues/688

Make programs/Makefile use the includes.

Fix a test for mingw

Try to put some tests I made in ONE place.  I also moved a test for "install" in one place to try to isolate it.

Initial commits from diff I submitted earlier

Merge pull request #686 from lz4/clistdout

cli: warning for stdout as default output

ensure tests work when `stdout` is not the console

ensure this case is continuously tested on travis.

Update documentation on implicit output,
invite to not rely on implicit output in scripts.

tests/Makefile : created CMP variable

for potential redirection, if need be.

note : should probably converge all comparison operations onto CMP

cli: display a warning whenever default output is stdout while input != stdin

This behavior has been preserved for compatibility with existing ecosystem.
But it's problematic, as some environment start `lz4` without identifying stdout as console by default,
leading to a change of behavior for a same line of script.

A more sensible policy would be to default to stdout only when input is stdin.

Soft change for the time being : keep the behavior, just print a warning message.
User should prefer `-c` to explicitly select `stdout`.

Also : updated tests in Makefile to explicitly select `stdout` with `-c`.

bumped version number

to v1.9.1

Merge pull request #684 from lz4/cxxlz4f

lz4frame: initializers compatibility with C++

lz4frame: initializers compatibility with C++

fix #679, reported by @degski

Merge pull request #683 from lz4/fuzasan

fixed read-after input in LZ4_decompress_safe()

Merge pull request #682 from lz4/visual

fix minor Visual warnings

fixed read-after input in LZ4_decompress_safe()

ensure list of names is large enough

fuzzer : reduced stack usage

fuzzer: reduce stack usage to please Visual static analyzer

address a few minor Visual warnings

and created target cxx17build

Merge pull request #678 from lz4/decFast

Fix out-of-bound read in LZ4_decompress_fast()

fix several minor static analyzer warnings

fuzzer: fixed scan-build leak warning

the program exit(),
so there is no need to track and dealloc every buffer.

fuzzer: fix explicit cast for C++

re-enable FORCE_INLINE

was disabled for tests

fix out-of-bound read within LZ4_decompress_fast()

and deprecate LZ4_decompress_fast(),
with deprecation warnings enabled by default.

Note that, as a consequence of the fix,
LZ4_decompress_fast is now __slower__ than LZ4_decompress_safe().
That's because, since it doesn't know the input buffer size,
it must progress more cautiously into the input buffer
to ensure to out-of-bound read.

fuzzer: added tests to detect LZ4_decompress_fast() out of bound read

Merge pull request #674 from nrgiii/dev

Fix

Merge branch 'fuzzerAix' into dev

Fix AIX errors/warnings

fixed version number for lz4hc

Merge pull request #673 from lz4/dev

minor update for v1.9.0

minor benchmark update

was using wrong memory timing

ensure consistent definition and usage of FREEMEM

as suggested by @sloutsky in #671

minor news update

for msys2

Merge pull request #670 from lz4/dev

v1.9.0

updated NEWS for v1.9.0

Merge pull request #669 from lz4/fixframe

Fix lz4frame inefficiency

simplified output_directive

fix comma for pedantic

Merge branch 'dev' into fixframe

added a fake initialization to please an analyzer

which is unable to understand that the variable is necessarily initialized
in spite of an assert just before.

fix fuzzer tests on dirty context

context is no longer dirty after a failed compressed block.
Actually, all indexes are fine.
It remains compatible with continued streaming, and reset*_fast().

unified limitedOutput_directive

between lz4.c and lz4hc.c .
was left in a strange state after the "amalgamation" patch.

Now only 3 directives remain,
same name across both implementations,
single definition place.

Might allow some light simplification due to reduced nb of states possible.

Merge branch 'dev' into fixframe

added more margin for canary in frametest

decompress*_fast() function do not generate deprecation warnings

they are classified as deprecated in the API documentation (lz4.h)
but do not yet trigger a warning,
to give time to existing applications to move away.

Also, the _fast() variants are still ~5% faster than the _safe() ones
after Dave's patch.

fixed lz4frame with linked blocks

when one block was not compressible,
it would tag the context as `dirty`,
resulting in compression automatically bailing out of all future blocks,
making the rest of the frame uncompressible.

frametest: removed uninitialized warning

was a false positive, but better remove it anyway

assert() the failed test

ensure canary remains within buffer limits

fixed frametest

One test could write a canary value out of bound
in exceptional conditions involving multiple flushes
triggered by -s3421 -t462948.

Merge branch 'dev' of github.com:Cyan4973/lz4 into dev

fixed incorrect assertion condition

output can use the full length of output buffer

Merge pull request #668 from lz4/visual

Fix some Visual conversion warnings

updated benchmark table

and even more visual conversion warnings

Merge pull request #667 from lz4/pipeMultiple

Fix combination -m -c

some more Visual conversion warning

fixed minor Visual conversion warnings

fix minor visual warning

yet some overly cautious overflow risk flag,
while it's actually impossible, due to previous test just one line above.
Changing the cast position, just to be please the thing.

fixed minor Visual warnings

since Visual 2017,
worries about potential overflow, which are actually impossible.
Replaced (c * a) by (c ? a : 0).
Will likely replaced a * by a cmov.
Probably harmless for performance.

added tests for -d -m -c

seems to work properly

fixed lz4 -m -c

can compress multiple files into stdout

Merge pull request #666 from lz4/blockIndep

added command -BI for "Independent Blocks"

added command -BI for "Independent Blocks"

This is the reverse of `-BD`, and the current default.

This command can be useful to reverse a previous `-BD` command.
It may in the future be more important
if `lz4` switches to generating dependent blocks by default.

updated man page

with --favor-decSpeed

updated doc to underline difference between block and frame

as this is a very frequent source of confusion for new users.

Merge pull request #665 from lz4/dict

Dictionary compression

Merge pull request #664 from lz4/maxdist

introduce LZ4_DISTANCE_MAX build macro

improved documentation for LZ4 dictionary compression

introduce LZ4_DISTANCE_MAX build macro

make it possible to generate LZ4-compressed block
with a controlled maximum offset (necessarily <= 65535).

This could be useful for compatibility with decoders
using a very limited memory budget (<64 KB).

Answer #154

updated block format with more details on MF_LIMIT

aka distance from end of block for the last match.

Merge pull request #663 from lz4/headerSize

made LZ4F_getHeaderSize() public

added versions in comments

made LZ4F_getHeaderSize() public

Merge pull request #659 from lz4/resetFast

LZ4_resetStream*_fast()

fixed loadDictHC

by making a full initialization
instead of a fast reset.

re-enable LZ4_resetStreamHC()

towards deprecation, but still available and fully supported

modified LZ4_initStreamHC() to look like LZ4_initStream()

it is now a pure initializer, for statically allocated states.
It can initialize any memory area, and because of this, requires size.

check some more initialization result

ensure it's not NULL.

removed LZ4_stream_t alignment test on Visual

it fails on x86 32-bit mode :
Visual reports an alignment of 8-bytes (even with alignof())
but actually only align LZ4_stream_t on 4 bytes.
The alignment check then fails, resulting in missed initialization.

checkFrame: removed %zu

not liked by mingw

fullbench: assert lz4_stream_t initialization

fixed cleaning tmp directory

slightly faster huge file test

level down 5->4
size down 6G->5G

added make list target to tests

LZ4_initStream() checks alignment restriction

updated associated documentation

added comment on initStream + _extState_

as suggested by @felixhandte

created LZ4_initStream()

- promoted LZ4_resetStream_fast() to stable
- moved LZ4_resetStream() into deprecate, but without triggering a compiler warning
- update all sources to no longer rely on LZ4_resetStream()

note : LZ4_initStream() proposal is slightly different :
it's able to initialize any buffer, provided that it's large enough.
To this end, it accepts a void*, and returns an LZ4_stream_t*.

fixed _GNU_SOURCE duplicate

fuzzer: fixed strict c99 with mmap+MAP_ANONYMOUS

fixed strict iso C90

created LZ4_initStreamHC()

- promoted LZ4_resetStreamHC_fast() to stable
- moved LZ4_resetStreamHC() to deprecated (but do not generate a warning yet)
- Updated doc, to highlight difference between init and reset
- switched all invocations of LZ4_resetStreamHC() onto LZ4_initStreamHC()
- misc: ensure `make all` also builds /tests

Merge pull request #658 from lz4/_fast

Deprecated LZ4_decompres_fast*() functions

make `_fast*()` decoder generate a deprecation warning

updated modification

moved LZ4_decompress_fast*() into deprecated section

Merge pull request #657 from lz4/destSize

moved _destSize() into "stable API" status

fixed an old bug in LZ4F_flush()

which remained undetected so far,
as it requires a fairly large number of conditions to be triggered,
starting with enabling Block checksum, which is disabled by default,
and which usage is known to be extremely rare.

fixed doc

and bumped version number fo v1.9.0

moved _destSize() into "stable API" status

as requested in #642

Merge pull request #656 from lz4/armtest

LZ4_FAST_DEC_LOOP macros