Preliminary support for sparse files

Fixed minor warnings

g++ compatibility

Updated datagen (can create sparse files)

Merge pull request #54 from t-mat/gc-issue/155

Gc issue/155

Fixed : static library (x64 binary)

NetBSD compatibility (#48)

Updated : compress multiple files

Merge pull request #52 from KyleJHarper/r128/multiple_inputs

Adding support for multiple file processing.  Fixes Google code issue 151.

Fix sentinel bit pattern

Set all bits of U64.

Fix sentinel size miscalculation

Since is_nul() style wild-comparing stride is U64, we must add sizeof(U64) to the sentinel.

Add GNU coreutil's is_nul() method to isSparse()

See original source
http://git.savannah.gnu.org/cgit/coreutils.git/tree/src/system.h

Add Neil's method to isSparse()

Improve isSparse()

Adjust coding style

Google Code Issue 155: lz4 cli should support sparse file
https://code.google.com/p/lz4/issues/detail?id=155

This is experimental implementation. Just a proof of concept.
It works Linux and Windows.

# Build

To build experimental version, define 'LZ4IO_ENABLE_SPARSE_FILE' like the following command :

    make lz4programs 'CFLAGS=-O3 -DLZ4IO_ENABLE_SPARSE_FILE=1'
    ./programs/lz4 -h

You will see "EXPERIMENTAL_SPARSE_FILE" as lz4 revision :

    "*** LZ4 command line interface 64-bits EXPERIMENTAL_SPARSE_FILE, by Yann Collet (...) ***"

# Experiment

This experimental version adds option "-x" for sparse file for decompression.
You can use this option like this :

    ./programs/lz4 -9 -f my-file
    ./programs/lz4 -d -f -x my-file.lz4 my-file.lz4.out
    cmp my-file my-file.lz4.out

Added support for multiple input files to act more like other compressors. For example: gzip file1 file2 file3. You can now do: lz4 [args] -m file1 file2 file3. Fixes 151.

Merge pull request #49 from t-mat/msvc-fseeki64

Avoid MSVC fseek()'s 2GiB barrier

restored lz4 hc compression ratio

Replace fseek with _fseeki64 to avoid MSVC's 2GiB barrier

Since MSVC fseek()'s SEEK_CUR mode has 2GiB barrier, our fseek() calling in program/lz4io.c/selectDecoder() will fail for large (>2GiB) .lz4 file.
This commit just replace fseek with _fseeki64 by macro. Second argument is automatically casted to __int64 (signed 64bit integer). Other things are completely same.

Fix : lz4frame.h within uninstaller

Added : Visual project directory

Added : -pedantic compilation option

C90 compatibility

Fixed : older compiler don't like nameless unions, reported by Cheyi Lin

Fixed : bug within LZ4 HC streaming mode, reported by James Boyle

Fixed : GCC 4.9 bug on highest performance settings, reported by Greg Slazinski

Updated comments

fixed travis tests

Fixed : install test on travis

New : lz4frame integrated into liblz4 (v1.5.0)

Fixed : minor warnings under Visual

minor memtest correction

updated NEWS

Fixed : LZ4_compress_limitedOutput() bug, as reported by Christopher Speller

stronger tests for LZ4_compress_limitedOutput()

fixed : pkg version

minor refactoring

Clarified a few comments

Merge pull request #38 from Cyan4973/newDir

New dir

Fixed : deprecated function LZ4_slideInputBufferHC()

variable ref renamed

lz4frame.h : clarified a few comments

Merge pull request #37 from Cyan4973/newDir

New dir

lz4cli : legacy arguments are now disabled by default

Fixed : make dist

Clarified some file names

fix : sudo for make install

New directory structure : library source files into /lib directory

Update cmakelist to support new lz4io version

LZ4IO : modified to use lz4frame instead

Merge pull request #36 from Cyan4973/AlignEndian

Align endian

Fixed : some minor Visual warnings

Updated lz4hc : re-use most shared elements from lz4 (endianess / align / bus detection routines)

Improved compression speed on big endian CPU

minor : fixed warning under clang

Fixed : decompression issue on 32-bits CPU without unaligned memory access

Fixed decompression bug

Improved decoding speed

Added : $(EXT) within install for cross-compilation support

Corrected lz4io

New endian & alignment code

Makefile : refactored Travis CI tests

lz4.h : updated library version number to 1.4.0

Fixed issue 44 : stopped concatenated stream on null size frame (thanks to Brendan O'Connor)

Fixed issue #31 : lz4.c warning under visual

Added : cmake test
cmake : corrected xxhash path (thanks to j.magnuson)

Makefile : added -Wcast-align compilation warning

Updated unsynchronized buffers tests

Updated ring buffer examples

fullbench : display Algorithm Nb

Optimized LZ4_saveDictHC()

Updated xxHash to r38

Added : valgrind test for fuzzer

minor fuzzer test correction

Merge pull request #33 from Cyan4973/streamHC

Stream hc

Fixed : frametest for Travis CI build matrix

new Travis CI build matrix

Added : frametest32

LZ4 HC streaming integrated within lz4frame

HC streaming : support for very long streaming (> 4 GB) scenarios

HC streaming : support small ringbuffer scenarios

Added : HC streaming ring buffer example

fixed LZ4F_compressFrameBound (dynamic block resize)

LZ4 HC : fixed small dictionary streaming compression

LZ4 HC : External Dictionary compression : First implementation

minor refactoring of LZ4 HC, to prepare for external dictionaries

fuzzer : easier random replay

fuzzer : fixed test 21

fuzzer : faster jump to testNb

fuzzer : fixed minor command lines issues

updated LZ4HC API

Merge branch 'dev' of https://github.com/Cyan4973/lz4 into dev

fuzzer : pause at the end is disabled by default

modified : fuzzer automatically selects seed

Updated : xxHash to r37

update distribution builder "make dist"
update test, to also verify "make dist"

Fixed : LZ4F_compressBound() using null preferencesPtr
Updated : frametest, to check LZ4F_compressBound() using null preferencesPtr

Merge pull request #28 from Cyan4973/dev

updated comment on compressionLevel field