decompress_generic: drop partial copy check in fast loop

We've already checked that we are more than FASTLOOP_SAFE_DISTANCE
away from the end, so this branch can never be true, we will have
already jumped to the second decode loop.

decompress_generic: Optimize literal copies

Use LZ4_wildCopy16 for variable-length literals.  For literal counts that
fit in the flag byte, copy directly.  We can also omit oend checks for
roughly the same reason as the previous shortcut:  We check once that both
match length and literal length fit in FASTLOOP_SAFE_DISTANCE, including
wildcopy distance.

decompress_generic: optimize match copy

Add an LZ4_wildCopy16, that will wildcopy, potentially smashing up
to 16 bytes, and use it for match copy.  On x64, this avoids many
blocked loads due to store forwarding, similar to issue #411.

decompress_generic: Add a loop fastpath

Copy the main loop, and change checks such that op is always less
than oend-SAFE_DISTANCE.  Currently these are added for the literal
copy length check, and for the match copy length check.

Otherwise the first loop is exactly the same as the second.  Follow on
diffs will optimize the first copy loop based on this new requirement.

I also tried instead making a separate inlineable function for the copy
loop (similar to existing partialDecode flags, etc), but I think the
changes might be significant enough to warrent doubling the code, instead
pulling out common functionality to separate functions.

This is the basic transformation that will allow several following optimisations.

decompress_generic: Refactor variable length fields

Make a helper function to read variable lengths for literals and
match length.

Merge pull request #644 from lzutao/meson-msvc-export

meson: Add -DLZ4_DLL_EXPORT=1 to build dynamic lib on Windows

meson: Add -DLZ4_DLL_EXPORT=1 to build dynamic lib on Windows

Thanks @nacho for pointing it out.

Merge pull request #638 from lzutao/travis

Travis: Clean up .travis.yml

Merge pull request #639 from lzutao/meson

meson: Small improvements

Merge pull request #640 from tzakian/remove_io_globals

Remove a bunch of global variables that tracked settings for the IO module

Add cast around malloc

Add constant pointer annotations

Remove a bunch of global variables that tracked settings for the IO module, and move them in to a struct

travis: Prefer `apt-get` in `install` field than `addons-apt-sources`

travis: Prefer `script` field than `Cmd` env

meson: Favor warning if cannot find version string

meson: Use libray as required argument in `pkgconfig`

meson: Explicit use `meson setup` to setup a builddir

Merge pull request #637 from tzakian/fix_pass-through_mode

Fix pass-through mode

Fix pass-through mode

Merge pull request #635 from tzakian/clean_call_to_LZ4HC_encodeSequence

Make effectfulness of calls to LZ4HC_encodeSequence clearer

fixed strict C++ compilation

Make fact that certain variables that are passed into LZ4HC_encodeSequence are changed by the function call

fixed long sequence overflow test

minor explicit cast warning

Merge pull request #634 from lz4/longSeqTest

add a test to check long sequences (#631)

Merge pull request #631 from qiuyangs/dev

 lz4hc.c: change (length >> 8) to (length / 255)

Merge pull request #633 from tzakian/make_block_size_public

Make LZ4F_getBlockSize public and public in experimental section

add a test to check long sequences (#631)

the test fails, as intended,
since #631 is not merged yet in this branch.

Fix C90 compatibility issue

Make LZ4F_getBlockSize public and publis in experimental section

Merge pull request #632 from rubenochiavone/fix-lz4-extesion-not-decompressing

Fix lz4 extension in input filename not causing decompression

Add test to cover issue #596

Fix lz4 extension in input filename not causing decompression

Merge pull request #1 from qiuyangs/sunqiuyang-fix-length>>8

lz4hc.c: change (length >> 8) to (length / 255)

lz4hc.c: change (length >> 8) to (length / 255)

Every 0xff byte in the compressed block corresponds to a length of 255 (not 256) in the input data. For long repeating sequences, using (length >> 8) may generate bad compressed blocks.

updated frame format

re-wording non-full blocks,
for clarity.

updated LZ4 block format

rewording the end of block conditions
for clarity and answering related questions.

Merge pull request #620 from lzutao/meson_symlink

Update meson symlink and man1 extension

Merge pull request #621 from lzutao/meson_getversion

meson: Remove unused sys import

meson: Remove unused sys import

Simplify logic by setting default value for MESON_INSTALL_DESTDIR_PREFIX

meson: Update man1 extension in meson 0.49.0

meson: Update InstallSymlink.py usage

Change default directory mode to 755.

Merge pull request #618 from dosaboy/add-snap-packaging-support

Add snap packaging support

Add snap packaging support

This commit adds a snapcraft.yaml file to allow lz4
to be distributed as a snap (see https://snapcraft.io/
for more info on snaps).

Building the Snap
-----------------

To build the snap simply install snapcraft and build the
snap e.g. on Ubuntu by doing:

$ sudo apt install snapcraft
$ cd contrib; snapcraft

This will build a snap that can be published [1] to
e.g. https://snapcraft.io/lz4

If you want to test the snap before publishing you
can do:

$ snap install <snapname>.snap --dangerous

And that will install it on your local host. You
will then have lz4 as a command to run.

Installing the Snap
-------------------

Once published and released in the snapstore your snap
can be installed on any platform that supports snaps
by doing:

snap install lz4

[1] https://docs.snapcraft.io/releasing-to-the-snap-store

Merge pull request #616 from felixhandte/lz4-attach-reject-short-dicts

Fix LZ4_compress_fast_continue() Prefix Size Check

Merge pull request #613 from lzutao/fix_meson_tests

meson: Fix build and test problems

meson: Add README.md for newcomers [skip ci]

Fix Dict Size Test in `LZ4_compress_fast_continue()`

Dictionaries don't need to be > 4 bytes, they need to be >= 4 bytes. This test
was overly conservative.

Also removes the test in `LZ4_attach_dictionary()`.

Don't Attach Very Small Dictionaries

Fixes a mismatch in behavior between loading into the context (via
`LZ4_loadDict()`) a very small (<= 4 bytes) non-contiguous dictionary, versus
attaching it with `LZ4_attach_dictionary()`.

Before this patch, this divergence could be reproduced by running

```
make -C tests fuzzer MOREFLAGS="-m32"
tests/fuzzer -v -s1239 -t3146
```

Making sure these two paths behave exactly identically is an easy way to test
the correctness of the attach path, so it's desirable that this remain an
unpolluted, high signal test.

No need to join prefix and let soversion base on version

Use MESON_INSTALL_DESTDIR_PREFIX instead of DESTDIR

meson: Add fallback message when not found lz4.h

meson: Fix wrong path to lib/lz4.h

meson: Correct support for Windows build

meson: Use clang for faster build

"ninja install" automatically builds the project, no need to
use "ninja"

meson: Update usage of InstallSymlink helper

Use argparse instead of manually parsing [skip ci]

meson: Fix soversion and generated pkg-config file [skip ci]

meson: Use --werror build option instead of passing -Werror [skip ci]

meson test: Update timeout and tests that use COPYING

Merge pull request #615 from vtorri/dev

 Windows: create import library with gcc directly, remove now useless def file

Merge remote-tracking branch 'upstream/dev' into dev

Windows: create import library with gcc directly, remove now useless def file

Merge remote-tracking branch 'upstream/master' into dev

Merge pull request #612 from lzutao/fix_clang_fuzzer

Fix clang warning

clang: Fix -Wcomma

clang: Fix -Wcast-qual

Fix clang warnings: -Wformat-pedantic and -Werror=overflow

Merge pull request #611 from lzutao/mesonbuild

Support for Meson build and its CI tests

Add Travis meson build

Add meson build system

Merge pull request #610 from antinucleon/bootcamp

[amalgamation] lz4frame.c

[amalgamation] lz4frame.c

Merge remote-tracking branch 'upstream/master' into bootcamp

Merge pull request #606 from nh2/patch-1

lz4_Frame_format.md: Fix typo HexaBytes -> Exabytes

lz4_Frame_format.md: Fix typo HexaBytes -> Exabytes

Merge pull request #605 from vtorri/dev

Allow installation of lz4 for Windows (MSYS2 or when cross-compiling)

Uninstall DLL and import lib

Add explanation for the installation of the DLL in the bin directory

Allow installation of lz4 for Windows (MSYS2 or when cross-compiling)

Merge remote-tracking branch 'upstream/master' into dev

Merge pull request #604 from vtorri/dev

Add DLLTOOL variable so that one can override dlltool binary

update lib/README.md

Add documentation about DLLTOOL variable

Add DLLTOOL variable so that one can override dlltool binary
This fix cross compilation on linux for Windows

Merge pull request #603 from vtorri/dev

Use / instead of \ when accessing files in the dll subdirectory.

Use / instead of \ when accessing files in the dll subdirectory.
This allow cross-compilation for Windows on Linux

Merge pull request #600 from antinucleon/bootcamp

Enable amalgamation of lz4hc.c and lz4.c

[amalgamation] add test

Enable amalgamation of lz4hc.c and lz4.c

Merge pull request #593 from felixhandte/lz4hc-publish-static

Extend Macro to Allow Publishing Experimental LZ4HC Functions in Dynamic Libraries

Make LZ4HC Experimental Functions Dynamically Publishable

Change Comment and Make LZ4LIB_STATIC_API Available to LZ4HC

updated code documentation

to clarify #589

Merge pull request #583 from khabinov/stream-dirty-context-hc

Adding information about dirty context for _HC_ family of functions

Adding information about dirty context for _HC_ family of functions

Merge pull request #592 from lz4/compressEnd

fix LZ4F_compressEnd()

fixed #589

following recommendations by @raggi.

The fix is slightly different, but achieves the same goal,
and is backed by a test tool which proves that it works
(generates the error before the patch, no longer after the patch).