Eet: update lz4 code. Fix especially compilation bug on OpenBSD
authorcaro <caro@7cbeb6ba-43b4-40fd-8cce-4c39aea84d33>
Sun, 2 Dec 2012 08:13:43 +0000 (08:13 +0000)
committercaro <caro@7cbeb6ba-43b4-40fd-8cce-4c39aea84d33>
Sun, 2 Dec 2012 08:13:43 +0000 (08:13 +0000)
see lz4 homepage for a full description of the fixes

git-svn-id: svn+ssh://svn.enlightenment.org/var/svn/e/branches/eet-1.7@79974 7cbeb6ba-43b4-40fd-8cce-4c39aea84d33

src/lib/lz4/README
src/lib/lz4/lz4.c
src/lib/lz4/lz4.h
src/lib/lz4/lz4hc.c

index 0abb857..718f773 100644 (file)
@@ -4,4 +4,4 @@ by:
   yann.collet.73@gmail.com
 Copyright/licensing info in source files here.
 
-this was from revsion 66.
+this was from revision 84.
index 06e2829..a651748 100644 (file)
 //**************************************\r
 // Tuning parameters\r
 //**************************************\r
-// COMPRESSIONLEVEL :\r
-// Increasing this value improves compression ratio\r
-// Lowering this value reduces memory usage\r
-// Reduced memory usage typically improves speed, due to cache effect (ex : L1 32KB for Intel, L1 64KB for AMD)\r
-// Memory usage formula : N->2^(N+2) Bytes (examples : 12 -> 16KB ; 17 -> 512KB)\r
-#define COMPRESSIONLEVEL 12\r
-\r
-// NOTCOMPRESSIBLE_CONFIRMATION :\r
+// MEMORY_USAGE :\r
+// Memory usage formula : N->2^N Bytes (examples : 10 -> 1KB; 12 -> 4KB ; 16 -> 64KB; 20 -> 1MB; etc.)\r
+// Increasing memory usage improves compression ratio\r
+// Reduced memory usage can improve speed, due to cache effect\r
+// Default value is 14, for 16KB, which nicely fits into Intel x86 L1 cache\r
+#define MEMORY_USAGE 14\r
+\r
+// NOTCOMPRESSIBLE_DETECTIONLEVEL :\r
 // Decreasing this value will make the algorithm skip faster data segments considered "incompressible"\r
 // This may decrease compression ratio dramatically, but will be faster on incompressible data\r
 // Increasing this value will make the algorithm search more before declaring a segment "incompressible"\r
 // This could improve compression a bit, but will be slower on incompressible data\r
 // The default value (6) is recommended\r
-#define NOTCOMPRESSIBLE_CONFIRMATION 6\r
-\r
-// LZ4_COMPRESSMIN :\r
-// Compression function will *fail* if it is not successful at compressing input by at least LZ4_COMPRESSMIN bytes\r
-// Since the compression function stops working prematurely, it results in a speed gain\r
-// The output however is unusable. Compression function result will be zero.\r
-// Default : 0 = disabled\r
-#define LZ4_COMPRESSMIN 0\r
+#define NOTCOMPRESSIBLE_DETECTIONLEVEL 6\r
 \r
 // BIG_ENDIAN_NATIVE_BUT_INCOMPATIBLE :\r
-// This will provide a boost to performance for big endian cpu, but the resulting compressed stream will be incompatible with little-endian CPU.\r
-// You can set this option to 1 in situations where data will stay within closed environment\r
+// This will provide a small boost to performance for big endian cpu, but the resulting compressed stream will be incompatible with little-endian CPU.\r
+// You can set this option to 1 in situations where data will remain within closed environment\r
 // This option is useless on Little_Endian CPU (such as x86)\r
 //#define BIG_ENDIAN_NATIVE_BUT_INCOMPATIBLE 1\r
 \r
@@ -98,7 +91,7 @@
 //**************************************\r
 // Compiler Options\r
 //**************************************\r
-#if __STDC_VERSION__ >= 199901L // C99\r
+#if __STDC_VERSION__ >= 199901L   // C99\r
 /* "restrict" is a known keyword */\r
 #else\r
 #  define restrict // Disable restrict\r
 #define GCC_VERSION (__GNUC__ * 100 + __GNUC_MINOR__)\r
 \r
 #ifdef _MSC_VER  // Visual Studio\r
-#  define inline __forceinline           // Visual is not C99, but supports some kind of inline\r
+#  include <intrin.h>   // For Visual 2005\r
 #  if LZ4_ARCH64       // 64-bit\r
 #    pragma intrinsic(_BitScanForward64) // For Visual 2005\r
 #    pragma intrinsic(_BitScanReverse64) // For Visual 2005\r
@@ -181,11 +174,11 @@ typedef struct _U64_S { U64 v; } U64_S;
 //**************************************\r
 #define MINMATCH 4\r
 \r
-#define HASH_LOG COMPRESSIONLEVEL\r
+#define HASH_LOG (MEMORY_USAGE-2)\r
 #define HASHTABLESIZE (1 << HASH_LOG)\r
 #define HASH_MASK (HASHTABLESIZE - 1)\r
 \r
-#define SKIPSTRENGTH (NOTCOMPRESSIBLE_CONFIRMATION>2?NOTCOMPRESSIBLE_CONFIRMATION:2)\r
+#define SKIPSTRENGTH (NOTCOMPRESSIBLE_DETECTIONLEVEL>2?NOTCOMPRESSIBLE_DETECTIONLEVEL:2)\r
 #define STACKLIMIT 13\r
 #define HEAPMODE (HASH_LOG>STACKLIMIT)  // Defines if memory is allocated into the stack (local variable), or into the heap (malloc()).\r
 #define COPYLENGTH 8\r
@@ -196,8 +189,8 @@ typedef struct _U64_S { U64 v; } U64_S;
 #define MAXD_LOG 16\r
 #define MAX_DISTANCE ((1 << MAXD_LOG) - 1)\r
 \r
-#define ML_BITS 4\r
-#define ML_MASK ((1U<<ML_BITS)-1)\r
+#define ML_BITS  4\r
+#define ML_MASK  ((1U<<ML_BITS)-1)\r
 #define RUN_BITS (8-ML_BITS)\r
 #define RUN_MASK ((1U<<RUN_BITS)-1)\r
 \r
@@ -209,20 +202,20 @@ typedef struct _U64_S { U64 v; } U64_S;
 #  define STEPSIZE 8\r
 #  define UARCH U64\r
 #  define AARCH A64\r
-#  define LZ4_COPYSTEP(s,d)            A64(d) = A64(s); d+=8; s+=8;\r
-#  define LZ4_COPYPACKET(s,d)          LZ4_COPYSTEP(s,d)\r
-#  define LZ4_SECURECOPY(s,d,e)        if (d<e) LZ4_WILDCOPY(s,d,e)\r
-#  define HTYPE U32\r
-#  define INITBASE(base)                       const BYTE* const base = ip\r
+#  define LZ4_COPYSTEP(s,d)       A64(d) = A64(s); d+=8; s+=8;\r
+#  define LZ4_COPYPACKET(s,d)     LZ4_COPYSTEP(s,d)\r
+#  define LZ4_SECURECOPY(s,d,e)   if (d<e) LZ4_WILDCOPY(s,d,e)\r
+#  define HTYPE                   U32\r
+#  define INITBASE(base)          const BYTE* const base = ip\r
 #else          // 32-bit\r
 #  define STEPSIZE 4\r
 #  define UARCH U32\r
 #  define AARCH A32\r
-#  define LZ4_COPYSTEP(s,d)            A32(d) = A32(s); d+=4; s+=4;\r
-#  define LZ4_COPYPACKET(s,d)          LZ4_COPYSTEP(s,d); LZ4_COPYSTEP(s,d);\r
-#  define LZ4_SECURECOPY                       LZ4_WILDCOPY\r
-#  define HTYPE const BYTE*\r
-#  define INITBASE(base)                       const int base = 0\r
+#  define LZ4_COPYSTEP(s,d)       A32(d) = A32(s); d+=4; s+=4;\r
+#  define LZ4_COPYPACKET(s,d)     LZ4_COPYSTEP(s,d); LZ4_COPYSTEP(s,d);\r
+#  define LZ4_SECURECOPY          LZ4_WILDCOPY\r
+#  define HTYPE                   const BYTE*\r
+#  define INITBASE(base)          const int base = 0\r
 #endif\r
 \r
 #if (defined(LZ4_BIG_ENDIAN) && !defined(BIG_ENDIAN_NATIVE_BUT_INCOMPATIBLE))\r
@@ -239,7 +232,7 @@ typedef struct _U64_S { U64 v; } U64_S;
 //**************************************\r
 struct refTables\r
 {\r
-       HTYPE hashTable[HASHTABLESIZE];\r
+    HTYPE hashTable[HASHTABLESIZE];\r
 };\r
 \r
 \r
@@ -257,7 +250,7 @@ struct refTables
 //****************************\r
 #if LZ4_ARCH64\r
 \r
-inline static int LZ4_NbCommonBytes (register U64 val)\r
+static inline int LZ4_NbCommonBytes (register U64 val)\r
 {\r
 #if defined(LZ4_BIG_ENDIAN)\r
     #if defined(_MSC_VER) && !defined(LZ4_FORCE_SW_BITCOUNT)\r
@@ -267,11 +260,11 @@ inline static int LZ4_NbCommonBytes (register U64 val)
     #elif defined(__GNUC__) && (GCC_VERSION >= 304) && !defined(LZ4_FORCE_SW_BITCOUNT)\r
     return (__builtin_clzll(val) >> 3);\r
     #else\r
-       int r;\r
-       if (!(val>>32)) { r=4; } else { r=0; val>>=32; }\r
-       if (!(val>>16)) { r+=2; val>>=8; } else { val>>=24; }\r
-       r += (!val);\r
-       return r;\r
+    int r;\r
+    if (!(val>>32)) { r=4; } else { r=0; val>>=32; }\r
+    if (!(val>>16)) { r+=2; val>>=8; } else { val>>=24; }\r
+    r += (!val);\r
+    return r;\r
     #endif\r
 #else\r
     #if defined(_MSC_VER) && !defined(LZ4_FORCE_SW_BITCOUNT)\r
@@ -281,15 +274,15 @@ inline static int LZ4_NbCommonBytes (register U64 val)
     #elif defined(__GNUC__) && (GCC_VERSION >= 304) && !defined(LZ4_FORCE_SW_BITCOUNT)\r
     return (__builtin_ctzll(val) >> 3);\r
     #else\r
-       static const int DeBruijnBytePos[64] = { 0, 0, 0, 0, 0, 1, 1, 2, 0, 3, 1, 3, 1, 4, 2, 7, 0, 2, 3, 6, 1, 5, 3, 5, 1, 3, 4, 4, 2, 5, 6, 7, 7, 0, 1, 2, 3, 3, 4, 6, 2, 6, 5, 5, 3, 4, 5, 6, 7, 1, 2, 4, 6, 4, 4, 5, 7, 2, 6, 5, 7, 6, 7, 7 };\r
-       return DeBruijnBytePos[((U64)((val & -val) * 0x0218A392CDABBD3F)) >> 58];\r
+    static const int DeBruijnBytePos[64] = { 0, 0, 0, 0, 0, 1, 1, 2, 0, 3, 1, 3, 1, 4, 2, 7, 0, 2, 3, 6, 1, 5, 3, 5, 1, 3, 4, 4, 2, 5, 6, 7, 7, 0, 1, 2, 3, 3, 4, 6, 2, 6, 5, 5, 3, 4, 5, 6, 7, 1, 2, 4, 6, 4, 4, 5, 7, 2, 6, 5, 7, 6, 7, 7 };\r
+    return DeBruijnBytePos[((U64)((val & -val) * 0x0218A392CDABBD3F)) >> 58];\r
     #endif\r
 #endif\r
 }\r
 \r
 #else\r
 \r
-inline static int LZ4_NbCommonBytes (register U32 val)\r
+static inline int LZ4_NbCommonBytes (register U32 val)\r
 {\r
 #if defined(LZ4_BIG_ENDIAN)\r
     #if defined(_MSC_VER) && !defined(LZ4_FORCE_SW_BITCOUNT)\r
@@ -299,10 +292,10 @@ inline static int LZ4_NbCommonBytes (register U32 val)
     #elif defined(__GNUC__) && (GCC_VERSION >= 304) && !defined(LZ4_FORCE_SW_BITCOUNT)\r
     return (__builtin_clz(val) >> 3);\r
     #else\r
-       int r;\r
-       if (!(val>>16)) { r=2; val>>=8; } else { r=0; val>>=24; }\r
-       r += (!val);\r
-       return r;\r
+    int r;\r
+    if (!(val>>16)) { r=2; val>>=8; } else { r=0; val>>=24; }\r
+    r += (!val);\r
+    return r;\r
     #endif\r
 #else\r
     #if defined(_MSC_VER) && !defined(LZ4_FORCE_SW_BITCOUNT)\r
@@ -312,8 +305,8 @@ inline static int LZ4_NbCommonBytes (register U32 val)
     #elif defined(__GNUC__) && (GCC_VERSION >= 304) && !defined(LZ4_FORCE_SW_BITCOUNT)\r
     return (__builtin_ctz(val) >> 3);\r
     #else\r
-       static const int DeBruijnBytePos[32] = { 0, 0, 3, 0, 3, 1, 3, 0, 3, 2, 2, 1, 3, 2, 0, 1, 3, 3, 1, 2, 2, 2, 2, 0, 3, 1, 2, 0, 1, 0, 1, 1 };\r
-       return DeBruijnBytePos[((U32)((val & -(S32)val) * 0x077CB531U)) >> 27];\r
+    static const int DeBruijnBytePos[32] = { 0, 0, 3, 0, 3, 1, 3, 0, 3, 2, 2, 1, 3, 2, 0, 1, 3, 3, 1, 2, 2, 2, 2, 0, 3, 1, 2, 0, 1, 0, 1, 1 };\r
+    return DeBruijnBytePos[((U32)((val & -(S32)val) * 0x077CB531U)) >> 27];\r
     #endif\r
 #endif\r
 }\r
@@ -321,154 +314,173 @@ inline static int LZ4_NbCommonBytes (register U32 val)
 #endif\r
 \r
 \r
-//****************************\r
-// Public functions\r
-//****************************\r
-\r
-int LZ4_compressBound(int isize)\r
-{\r
-       return (isize + (isize/255) + 16);\r
-}\r
-\r
-\r
 \r
 //******************************\r
 // Compression functions\r
 //******************************\r
 \r
-int LZ4_compressCtx(void** ctx,\r
-                                const char* source,\r
-                                char* dest,\r
-                                int isize)\r
+// LZ4_compressCtx :\r
+// -----------------\r
+// Compress 'isize' bytes from 'source' into an output buffer 'dest' of maximum size 'maxOutputSize'.\r
+// If it cannot achieve it, compression will stop, and result of the function will be zero.\r
+// return : the number of bytes written in buffer 'dest', or 0 if the compression fails\r
+\r
+static inline int LZ4_compressCtx(void** ctx,\r
+                 const char* source,\r
+                 char* dest,\r
+                 int isize,\r
+                 int maxOutputSize)\r
 {\r
 #if HEAPMODE\r
-       struct refTables *srt = (struct refTables *) (*ctx);\r
-       HTYPE* HashTable;\r
+    struct refTables *srt = (struct refTables *) (*ctx);\r
+    HTYPE* HashTable;\r
 #else\r
-       HTYPE HashTable[HASHTABLESIZE] = {0};\r
+    HTYPE HashTable[HASHTABLESIZE] = {0};\r
 #endif\r
 \r
-       const BYTE* ip = (BYTE*) source;\r
-       INITBASE(base);\r
-       const BYTE* anchor = ip;\r
-       const BYTE* const iend = ip + isize;\r
-       const BYTE* const mflimit = iend - MFLIMIT;\r
+    const BYTE* ip = (BYTE*) source;\r
+    INITBASE(base);\r
+    const BYTE* anchor = ip;\r
+    const BYTE* const iend = ip + isize;\r
+    const BYTE* const mflimit = iend - MFLIMIT;\r
 #define matchlimit (iend - LASTLITERALS)\r
 \r
-       BYTE* op = (BYTE*) dest;\r
+    BYTE* op = (BYTE*) dest;\r
+    BYTE* const oend = op + maxOutputSize;\r
 \r
-       int len, length;\r
-       const int skipStrength = SKIPSTRENGTH;\r
-       U32 forwardH;\r
+    int len, length;\r
+    const int skipStrength = SKIPSTRENGTH;\r
+    U32 forwardH;\r
 \r
 \r
-       // Init\r
-       if (isize<MINLENGTH) goto _last_literals;\r
+    // Init\r
+    if (isize<MINLENGTH) goto _last_literals;\r
 #if HEAPMODE\r
-       if (*ctx == NULL)\r
-       {\r
-               srt = (struct refTables *) malloc ( sizeof(struct refTables) );\r
-               *ctx = (void*) srt;\r
-       }\r
-       HashTable = (HTYPE*)(srt->hashTable);\r
-       memset((void*)HashTable, 0, sizeof(srt->hashTable));\r
+    if (*ctx == NULL)\r
+    {\r
+        srt = (struct refTables *) malloc ( sizeof(struct refTables) );\r
+        *ctx = (void*) srt;\r
+    }\r
+    HashTable = (HTYPE*)(srt->hashTable);\r
+    memset((void*)HashTable, 0, sizeof(srt->hashTable));\r
 #else\r
-       (void) ctx;\r
+    (void) ctx;\r
 #endif\r
 \r
 \r
-       // First Byte\r
-       HashTable[LZ4_HASH_VALUE(ip)] = ip - base;\r
-       ip++; forwardH = LZ4_HASH_VALUE(ip);\r
+    // First Byte\r
+    HashTable[LZ4_HASH_VALUE(ip)] = ip - base;\r
+    ip++; forwardH = LZ4_HASH_VALUE(ip);\r
 \r
-       // Main Loop\r
+    // Main Loop\r
     for ( ; ; )\r
-       {\r
-               int findMatchAttempts = (1U << skipStrength) + 3;\r
-               const BYTE* forwardIp = ip;\r
-               const BYTE* ref;\r
-               BYTE* token;\r
-\r
-               // Find a match\r
-               do {\r
-                       U32 h = forwardH;\r
-                       int step = findMatchAttempts++ >> skipStrength;\r
-                       ip = forwardIp;\r
-                       forwardIp = ip + step;\r
-\r
-                       if unlikely(forwardIp > mflimit) { goto _last_literals; }\r
-\r
-                       forwardH = LZ4_HASH_VALUE(forwardIp);\r
-                       ref = base + HashTable[h];\r
-                       HashTable[h] = ip - base;\r
-\r
-               } while ((ref < ip - MAX_DISTANCE) || (A32(ref) != A32(ip)));\r
-\r
-               // Catch up\r
-               while ((ip>anchor) && (ref>(BYTE*)source) && unlikely(ip[-1]==ref[-1])) { ip--; ref--; }\r
-\r
-               // Encode Literal length\r
-               length = ip - anchor;\r
-               token = op++;\r
-               if (length>=(int)RUN_MASK) { *token=(RUN_MASK<<ML_BITS); len = length-RUN_MASK; for(; len > 254 ; len-=255) *op++ = 255; *op++ = (BYTE)len; }\r
-               else *token = (length<<ML_BITS);\r
+    {\r
+        int findMatchAttempts = (1U << skipStrength) + 3;\r
+        const BYTE* forwardIp = ip;\r
+        const BYTE* ref;\r
+        BYTE* token;\r
+\r
+        // Find a match\r
+        do {\r
+            U32 h = forwardH;\r
+            int step = findMatchAttempts++ >> skipStrength;\r
+            ip = forwardIp;\r
+            forwardIp = ip + step;\r
+\r
+            if unlikely(forwardIp > mflimit) { goto _last_literals; }\r
+\r
+            forwardH = LZ4_HASH_VALUE(forwardIp);\r
+            ref = base + HashTable[h];\r
+            HashTable[h] = ip - base;\r
+\r
+        } while ((ref < ip - MAX_DISTANCE) || (A32(ref) != A32(ip)));\r
+\r
+        // Catch up\r
+        while ((ip>anchor) && (ref>(BYTE*)source) && unlikely(ip[-1]==ref[-1])) { ip--; ref--; }\r
+\r
+        // Encode Literal length\r
+        length = (int)(ip - anchor);\r
+        token = op++;\r
+        if unlikely(op + length + (2 + 1 + LASTLITERALS) + (length>>8) > oend) return 0;               // Check output limit\r
+#ifdef _MSC_VER\r
+        if (length>=(int)RUN_MASK) \r
+        { \r
+            int len = length-RUN_MASK; \r
+            *token=(RUN_MASK<<ML_BITS); \r
+            if (len>254)\r
+            {\r
+                do { *op++ = 255; len -= 255; } while (len>254);\r
+                *op++ = (BYTE)len; \r
+                memcpy(op, anchor, length);\r
+                op += length;\r
+                goto _next_match;\r
+            }\r
+            else\r
+            *op++ = (BYTE)len; \r
+        }\r
+        else *token = (length<<ML_BITS);\r
+#else\r
+        if (length>=(int)RUN_MASK) { *token=(RUN_MASK<<ML_BITS); len = length-RUN_MASK; for(; len > 254 ; len-=255) *op++ = 255; *op++ = (BYTE)len; }\r
+        else *token = (length<<ML_BITS);\r
+#endif\r
 \r
-               // Copy Literals\r
-               LZ4_BLINDCOPY(anchor, op, length);\r
+        // Copy Literals\r
+        LZ4_BLINDCOPY(anchor, op, length);\r
 \r
 _next_match:\r
-               // Encode Offset\r
-               LZ4_WRITE_LITTLEENDIAN_16(op,ip-ref);\r
-\r
-               // Start Counting\r
-               ip+=MINMATCH; ref+=MINMATCH;   // MinMatch verified\r
-               anchor = ip;\r
-               while likely(ip<matchlimit-(STEPSIZE-1))\r
-               {\r
-                       UARCH diff = AARCH(ref) ^ AARCH(ip);\r
-                       if (!diff) { ip+=STEPSIZE; ref+=STEPSIZE; continue; }\r
-                       ip += LZ4_NbCommonBytes(diff);\r
-                       goto _endCount;\r
-               }\r
-               if (LZ4_ARCH64) if ((ip<(matchlimit-3)) && (A32(ref) == A32(ip))) { ip+=4; ref+=4; }\r
-               if ((ip<(matchlimit-1)) && (A16(ref) == A16(ip))) { ip+=2; ref+=2; }\r
-               if ((ip<matchlimit) && (*ref == *ip)) ip++;\r
+        // Encode Offset\r
+        LZ4_WRITE_LITTLEENDIAN_16(op,(U16)(ip-ref));\r
+\r
+        // Start Counting\r
+        ip+=MINMATCH; ref+=MINMATCH;   // MinMatch verified\r
+        anchor = ip;\r
+        while likely(ip<matchlimit-(STEPSIZE-1))\r
+        {\r
+            UARCH diff = AARCH(ref) ^ AARCH(ip);\r
+            if (!diff) { ip+=STEPSIZE; ref+=STEPSIZE; continue; }\r
+            ip += LZ4_NbCommonBytes(diff);\r
+            goto _endCount;\r
+        }\r
+        if (LZ4_ARCH64) if ((ip<(matchlimit-3)) && (A32(ref) == A32(ip))) { ip+=4; ref+=4; }\r
+        if ((ip<(matchlimit-1)) && (A16(ref) == A16(ip))) { ip+=2; ref+=2; }\r
+        if ((ip<matchlimit) && (*ref == *ip)) ip++;\r
 _endCount:\r
 \r
-               // Encode MatchLength\r
-               len = (ip - anchor);\r
-               if (len>=(int)ML_MASK) { *token+=ML_MASK; len-=ML_MASK; for(; len > 509 ; len-=510) { *op++ = 255; *op++ = 255; } if (len > 254) { len-=255; *op++ = 255; } *op++ = (BYTE)len; }\r
-               else *token += len;\r
+        // Encode MatchLength\r
+        len = (int)(ip - anchor);\r
+        if unlikely(op + (1 + LASTLITERALS) + (len>>8) > oend) return 0;               // Check output limit\r
+        if (len>=(int)ML_MASK) { *token+=ML_MASK; len-=ML_MASK; for(; len > 509 ; len-=510) { *op++ = 255; *op++ = 255; } if (len > 254) { len-=255; *op++ = 255; } *op++ = (BYTE)len; }\r
+        else *token += len;\r
 \r
-               // Test end of chunk\r
-               if (ip > mflimit) { anchor = ip;  break; }\r
+        // Test end of chunk\r
+        if (ip > mflimit) { anchor = ip;  break; }\r
 \r
-               // Fill table\r
-               HashTable[LZ4_HASH_VALUE(ip-2)] = ip - 2 - base;\r
+        // Fill table\r
+        HashTable[LZ4_HASH_VALUE(ip-2)] = ip - 2 - base;\r
 \r
-               // Test next position\r
-               ref = base + HashTable[LZ4_HASH_VALUE(ip)];\r
-               HashTable[LZ4_HASH_VALUE(ip)] = ip - base;\r
-               if ((ref > ip - (MAX_DISTANCE + 1)) && (A32(ref) == A32(ip))) { token = op++; *token=0; goto _next_match; }\r
+        // Test next position\r
+        ref = base + HashTable[LZ4_HASH_VALUE(ip)];\r
+        HashTable[LZ4_HASH_VALUE(ip)] = ip - base;\r
+        if ((ref > ip - (MAX_DISTANCE + 1)) && (A32(ref) == A32(ip))) { token = op++; *token=0; goto _next_match; }\r
 \r
-               // Prepare next loop\r
-               anchor = ip++;\r
-               forwardH = LZ4_HASH_VALUE(ip);\r
-       }\r
+        // Prepare next loop\r
+        anchor = ip++;\r
+        forwardH = LZ4_HASH_VALUE(ip);\r
+    }\r
 \r
 _last_literals:\r
-       // Encode Last Literals\r
-       {\r
-               int lastRun = iend - anchor;\r
-               if ((LZ4_COMPRESSMIN>0) && (((op - (BYTE*)dest) + lastRun + 1 + ((lastRun-15)/255)) > isize - LZ4_COMPRESSMIN)) return 0;\r
-               if (lastRun>=(int)RUN_MASK) { *op++=(RUN_MASK<<ML_BITS); lastRun-=RUN_MASK; for(; lastRun > 254 ; lastRun-=255) *op++ = 255; *op++ = (BYTE) lastRun; }\r
-               else *op++ = (lastRun<<ML_BITS);\r
-               memcpy(op, anchor, iend - anchor);\r
-               op += iend-anchor;\r
-       }\r
-\r
-       // End\r
-       return (int) (((char*)op)-dest);\r
+    // Encode Last Literals\r
+    {\r
+        int lastRun = (int)(iend - anchor);\r
+        if (((char*)op - dest) + lastRun + 1 + ((lastRun+255-RUN_MASK)/255) > (U32)maxOutputSize) return 0;\r
+        if (lastRun>=(int)RUN_MASK) { *op++=(RUN_MASK<<ML_BITS); lastRun-=RUN_MASK; for(; lastRun > 254 ; lastRun-=255) *op++ = 255; *op++ = (BYTE) lastRun; }\r
+        else *op++ = (lastRun<<ML_BITS);\r
+        memcpy(op, anchor, iend - anchor);\r
+        op += iend-anchor;\r
+    }\r
+\r
+    // End\r
+    return (int) (((char*)op)-dest);\r
 }\r
 \r
 \r
@@ -479,161 +491,192 @@ _last_literals:
 #define HASH64KTABLESIZE (1U<<HASHLOG64K)\r
 #define LZ4_HASH64K_FUNCTION(i)        (((i) * 2654435761U) >> ((MINMATCH*8)-HASHLOG64K))\r
 #define LZ4_HASH64K_VALUE(p)   LZ4_HASH64K_FUNCTION(A32(p))\r
-int LZ4_compress64kCtx(void** ctx,\r
-                                const char* source,\r
-                                char* dest,\r
-                                int isize)\r
+static inline int LZ4_compress64kCtx(void** ctx,\r
+                 const char* source,\r
+                 char* dest,\r
+                 int isize,\r
+                 int maxOutputSize)\r
 {\r
 #if HEAPMODE\r
-       struct refTables *srt = (struct refTables *) (*ctx);\r
-       U16* HashTable;\r
+    struct refTables *srt = (struct refTables *) (*ctx);\r
+    U16* HashTable;\r
 #else\r
-       U16 HashTable[HASH64KTABLESIZE] = {0};\r
+    U16 HashTable[HASH64KTABLESIZE] = {0};\r
 #endif\r
 \r
-       const BYTE* ip = (BYTE*) source;\r
-       const BYTE* anchor = ip;\r
-       const BYTE* const base = ip;\r
-       const BYTE* const iend = ip + isize;\r
-       const BYTE* const mflimit = iend - MFLIMIT;\r
+    const BYTE* ip = (BYTE*) source;\r
+    const BYTE* anchor = ip;\r
+    const BYTE* const base = ip;\r
+    const BYTE* const iend = ip + isize;\r
+    const BYTE* const mflimit = iend - MFLIMIT;\r
 #define matchlimit (iend - LASTLITERALS)\r
 \r
-       BYTE* op = (BYTE*) dest;\r
+    BYTE* op = (BYTE*) dest;\r
+    BYTE* const oend = op + maxOutputSize;\r
 \r
-       int len, length;\r
-       const int skipStrength = SKIPSTRENGTH;\r
-       U32 forwardH;\r
+    int len, length;\r
+    const int skipStrength = SKIPSTRENGTH;\r
+    U32 forwardH;\r
 \r
 \r
-       // Init\r
-       if (isize<MINLENGTH) goto _last_literals;\r
+    // Init\r
+    if (isize<MINLENGTH) goto _last_literals;\r
 #if HEAPMODE\r
-       if (*ctx == NULL)\r
-       {\r
-               srt = (struct refTables *) malloc ( sizeof(struct refTables) );\r
-               *ctx = (void*) srt;\r
-       }\r
-       HashTable = (U16*)(srt->hashTable);\r
-       memset((void*)HashTable, 0, sizeof(srt->hashTable));\r
+    if (*ctx == NULL)\r
+    {\r
+        srt = (struct refTables *) malloc ( sizeof(struct refTables) );\r
+        *ctx = (void*) srt;\r
+    }\r
+    HashTable = (U16*)(srt->hashTable);\r
+    memset((void*)HashTable, 0, sizeof(srt->hashTable));\r
 #else\r
-       (void) ctx;\r
+    (void) ctx;\r
 #endif\r
 \r
 \r
-       // First Byte\r
-       ip++; forwardH = LZ4_HASH64K_VALUE(ip);\r
+    // First Byte\r
+    ip++; forwardH = LZ4_HASH64K_VALUE(ip);\r
 \r
-       // Main Loop\r
+    // Main Loop\r
     for ( ; ; )\r
-       {\r
-               int findMatchAttempts = (1U << skipStrength) + 3;\r
-               const BYTE* forwardIp = ip;\r
-               const BYTE* ref;\r
-               BYTE* token;\r
-\r
-               // Find a match\r
-               do {\r
-                       U32 h = forwardH;\r
-                       int step = findMatchAttempts++ >> skipStrength;\r
-                       ip = forwardIp;\r
-                       forwardIp = ip + step;\r
-\r
-                       if (forwardIp > mflimit) { goto _last_literals; }\r
-\r
-                       forwardH = LZ4_HASH64K_VALUE(forwardIp);\r
-                       ref = base + HashTable[h];\r
-                       HashTable[h] = ip - base;\r
-\r
-               } while (A32(ref) != A32(ip));\r
-\r
-               // Catch up\r
-               while ((ip>anchor) && (ref>(BYTE*)source) && (ip[-1]==ref[-1])) { ip--; ref--; }\r
-\r
-               // Encode Literal length\r
-               length = ip - anchor;\r
-               token = op++;\r
-               if (length>=(int)RUN_MASK) { *token=(RUN_MASK<<ML_BITS); len = length-RUN_MASK; for(; len > 254 ; len-=255) *op++ = 255; *op++ = (BYTE)len; }\r
-               else *token = (length<<ML_BITS);\r
+    {\r
+        int findMatchAttempts = (1U << skipStrength) + 3;\r
+        const BYTE* forwardIp = ip;\r
+        const BYTE* ref;\r
+        BYTE* token;\r
+\r
+        // Find a match\r
+        do {\r
+            U32 h = forwardH;\r
+            int step = findMatchAttempts++ >> skipStrength;\r
+            ip = forwardIp;\r
+            forwardIp = ip + step;\r
+\r
+            if (forwardIp > mflimit) { goto _last_literals; }\r
+\r
+            forwardH = LZ4_HASH64K_VALUE(forwardIp);\r
+            ref = base + HashTable[h];\r
+            HashTable[h] = (U16)(ip - base);\r
+\r
+        } while (A32(ref) != A32(ip));\r
+\r
+        // Catch up\r
+        while ((ip>anchor) && (ref>(BYTE*)source) && (ip[-1]==ref[-1])) { ip--; ref--; }\r
+\r
+        // Encode Literal length\r
+        length = (int)(ip - anchor);\r
+        token = op++;\r
+        if unlikely(op + length + (2 + 1 + LASTLITERALS) + (length>>8) > oend) return 0;               // Check output limit\r
+#ifdef _MSC_VER\r
+        if (length>=(int)RUN_MASK) \r
+        { \r
+            int len = length-RUN_MASK; \r
+            *token=(RUN_MASK<<ML_BITS); \r
+            if (len>254)\r
+            {\r
+                do { *op++ = 255; len -= 255; } while (len>254);\r
+                *op++ = (BYTE)len; \r
+                memcpy(op, anchor, length);\r
+                op += length;\r
+                goto _next_match;\r
+            }\r
+            else\r
+            *op++ = (BYTE)len; \r
+        }\r
+        else *token = (length<<ML_BITS);\r
+#else\r
+        if (length>=(int)RUN_MASK) { *token=(RUN_MASK<<ML_BITS); len = length-RUN_MASK; for(; len > 254 ; len-=255) *op++ = 255; *op++ = (BYTE)len; }\r
+        else *token = (length<<ML_BITS);\r
+#endif\r
 \r
-               // Copy Literals\r
-               LZ4_BLINDCOPY(anchor, op, length);\r
+        // Copy Literals\r
+        LZ4_BLINDCOPY(anchor, op, length);\r
 \r
 _next_match:\r
-               // Encode Offset\r
-               LZ4_WRITE_LITTLEENDIAN_16(op,ip-ref);\r
-\r
-               // Start Counting\r
-               ip+=MINMATCH; ref+=MINMATCH;   // MinMatch verified\r
-               anchor = ip;\r
-               while (ip<matchlimit-(STEPSIZE-1))\r
-               {\r
-                       UARCH diff = AARCH(ref) ^ AARCH(ip);\r
-                       if (!diff) { ip+=STEPSIZE; ref+=STEPSIZE; continue; }\r
-                       ip += LZ4_NbCommonBytes(diff);\r
-                       goto _endCount;\r
-               }\r
-               if (LZ4_ARCH64) if ((ip<(matchlimit-3)) && (A32(ref) == A32(ip))) { ip+=4; ref+=4; }\r
-               if ((ip<(matchlimit-1)) && (A16(ref) == A16(ip))) { ip+=2; ref+=2; }\r
-               if ((ip<matchlimit) && (*ref == *ip)) ip++;\r
+        // Encode Offset\r
+        LZ4_WRITE_LITTLEENDIAN_16(op,(U16)(ip-ref));\r
+\r
+        // Start Counting\r
+        ip+=MINMATCH; ref+=MINMATCH;   // MinMatch verified\r
+        anchor = ip;\r
+        while (ip<matchlimit-(STEPSIZE-1))\r
+        {\r
+            UARCH diff = AARCH(ref) ^ AARCH(ip);\r
+            if (!diff) { ip+=STEPSIZE; ref+=STEPSIZE; continue; }\r
+            ip += LZ4_NbCommonBytes(diff);\r
+            goto _endCount;\r
+        }\r
+        if (LZ4_ARCH64) if ((ip<(matchlimit-3)) && (A32(ref) == A32(ip))) { ip+=4; ref+=4; }\r
+        if ((ip<(matchlimit-1)) && (A16(ref) == A16(ip))) { ip+=2; ref+=2; }\r
+        if ((ip<matchlimit) && (*ref == *ip)) ip++;\r
 _endCount:\r
 \r
-               // Encode MatchLength\r
-               len = (ip - anchor);\r
-               if (len>=(int)ML_MASK) { *token+=ML_MASK; len-=ML_MASK; for(; len > 509 ; len-=510) { *op++ = 255; *op++ = 255; } if (len > 254) { len-=255; *op++ = 255; } *op++ = (BYTE)len; }\r
-               else *token += len;\r
+        // Encode MatchLength\r
+        len = (int)(ip - anchor);\r
+        if unlikely(op + (1 + LASTLITERALS) + (len>>8) > oend) return 0;               // Check output limit\r
+        if (len>=(int)ML_MASK) { *token+=ML_MASK; len-=ML_MASK; for(; len > 509 ; len-=510) { *op++ = 255; *op++ = 255; } if (len > 254) { len-=255; *op++ = 255; } *op++ = (BYTE)len; }\r
+        else *token += len;\r
 \r
-               // Test end of chunk\r
-               if (ip > mflimit) { anchor = ip;  break; }\r
+        // Test end of chunk\r
+        if (ip > mflimit) { anchor = ip;  break; }\r
 \r
-               // Fill table\r
-               HashTable[LZ4_HASH64K_VALUE(ip-2)] = ip - 2 - base;\r
+        // Fill table\r
+        HashTable[LZ4_HASH64K_VALUE(ip-2)] = (U16)(ip - 2 - base);\r
 \r
-               // Test next position\r
-               ref = base + HashTable[LZ4_HASH64K_VALUE(ip)];\r
-               HashTable[LZ4_HASH64K_VALUE(ip)] = ip - base;\r
-               if (A32(ref) == A32(ip)) { token = op++; *token=0; goto _next_match; }\r
+        // Test next position\r
+        ref = base + HashTable[LZ4_HASH64K_VALUE(ip)];\r
+        HashTable[LZ4_HASH64K_VALUE(ip)] = (U16)(ip - base);\r
+        if (A32(ref) == A32(ip)) { token = op++; *token=0; goto _next_match; }\r
 \r
-               // Prepare next loop\r
-               anchor = ip++;\r
-               forwardH = LZ4_HASH64K_VALUE(ip);\r
-       }\r
+        // Prepare next loop\r
+        anchor = ip++;\r
+        forwardH = LZ4_HASH64K_VALUE(ip);\r
+    }\r
 \r
 _last_literals:\r
-       // Encode Last Literals\r
-       {\r
-               int lastRun = iend - anchor;\r
-               if ((LZ4_COMPRESSMIN>0) && (((op - (BYTE*)dest) + lastRun + 1 + ((lastRun-15)/255)) > isize - LZ4_COMPRESSMIN)) return 0;\r
-               if (lastRun>=(int)RUN_MASK) { *op++=(RUN_MASK<<ML_BITS); lastRun-=RUN_MASK; for(; lastRun > 254 ; lastRun-=255) *op++ = 255; *op++ = (BYTE) lastRun; }\r
-               else *op++ = (lastRun<<ML_BITS);\r
-               memcpy(op, anchor, iend - anchor);\r
-               op += iend-anchor;\r
-       }\r
-\r
-       // End\r
-       return (int) (((char*)op)-dest);\r
+    // Encode Last Literals\r
+    {\r
+        int lastRun = (int)(iend - anchor);\r
+        if (op + lastRun + 1 + (lastRun-RUN_MASK+255)/255 > oend) return 0;\r
+        if (lastRun>=(int)RUN_MASK) { *op++=(RUN_MASK<<ML_BITS); lastRun-=RUN_MASK; for(; lastRun > 254 ; lastRun-=255) *op++ = 255; *op++ = (BYTE) lastRun; }\r
+        else *op++ = (lastRun<<ML_BITS);\r
+        memcpy(op, anchor, iend - anchor);\r
+        op += iend-anchor;\r
+    }\r
+\r
+    // End\r
+    return (int) (((char*)op)-dest);\r
 }\r
 \r
 \r
-\r
-int LZ4_compress(const char* source,\r
-                                char* dest,\r
-                                int isize)\r
+int LZ4_compress_limitedOutput(const char* source, \r
+                               char* dest, \r
+                               int isize, \r
+                               int maxOutputSize)\r
 {\r
 #if HEAPMODE\r
-       void* ctx = malloc(sizeof(struct refTables));\r
-       int result;\r
-       if (isize < LZ4_64KLIMIT)\r
-               result = LZ4_compress64kCtx(&ctx, source, dest, isize);\r
-       else result = LZ4_compressCtx(&ctx, source, dest, isize);\r
-       free(ctx);\r
-       return result;\r
+    void* ctx = malloc(sizeof(struct refTables));\r
+    int result;\r
+    if (isize < LZ4_64KLIMIT)\r
+        result = LZ4_compress64kCtx(&ctx, source, dest, isize, maxOutputSize);\r
+    else result = LZ4_compressCtx(&ctx, source, dest, isize, maxOutputSize);\r
+    free(ctx);\r
+    return result;\r
 #else\r
-       if (isize < (int)LZ4_64KLIMIT) return LZ4_compress64kCtx(NULL, source, dest, isize);\r
-       return LZ4_compressCtx(NULL, source, dest, isize);\r
+    if (isize < (int)LZ4_64KLIMIT) return LZ4_compress64kCtx(NULL, source, dest, isize, maxOutputSize);\r
+    return LZ4_compressCtx(NULL, source, dest, isize, maxOutputSize);\r
 #endif\r
 }\r
 \r
 \r
+int LZ4_compress(const char* source,\r
+                 char* dest,\r
+                 int isize)\r
+{\r
+    return LZ4_compress_limitedOutput(source, dest, isize, LZ4_compressBound(isize));\r
+}\r
+\r
+\r
 \r
 \r
 //****************************\r
@@ -647,173 +690,172 @@ int LZ4_compress(const char* source,
 //             A corrupted input will produce an error result, a negative int, indicating the position of the error within input stream.\r
 \r
 int LZ4_uncompress(const char* source,\r
-                                char* dest,\r
-                                int osize)\r
+                 char* dest,\r
+                 int osize)\r
 {\r
-       // Local Variables\r
-       const BYTE* restrict ip = (const BYTE*) source;\r
-       const BYTE* restrict ref;\r
-\r
-       BYTE* restrict op = (BYTE*) dest;\r
-       BYTE* const oend = op + osize;\r
-       BYTE* cpy;\r
-\r
-       BYTE token;\r
-\r
-       int     len, length;\r
-       size_t dec[] ={0, 3, 2, 3, 0, 0, 0, 0};\r
-\r
-\r
-       // Main Loop\r
-       while (1)\r
-       {\r
-               // get runlength\r
-               token = *ip++;\r
-               if ((length=(token>>ML_BITS)) == RUN_MASK)  { for (;(len=*ip++)==255;length+=255){} length += len; }\r
-\r
-               // copy literals\r
-               cpy = op+length;\r
-               if unlikely(cpy>oend-COPYLENGTH)\r
-               {\r
-                       if (cpy > oend) goto _output_error;          // Error : request to write beyond destination buffer\r
-                       memcpy(op, ip, length);\r
-                       ip += length;\r
-                       break;    // Necessarily EOF\r
-               }\r
-               LZ4_WILDCOPY(ip, op, cpy); ip -= (op-cpy); op = cpy;\r
-\r
-               // get offset\r
-               LZ4_READ_LITTLEENDIAN_16(ref,cpy,ip); ip+=2;\r
-               if (ref < (BYTE* const)dest) goto _output_error;   // Error : offset create reference outside destination buffer\r
-\r
-               // get matchlength\r
-               if ((length=(token&ML_MASK)) == ML_MASK) { for (;*ip==255;length+=255) {ip++;} length += *ip++; }\r
-\r
-               // copy repeated sequence\r
-               if unlikely(op-ref<STEPSIZE)\r
-               {\r
+    // Local Variables\r
+    const BYTE* restrict ip = (const BYTE*) source;\r
+    const BYTE* ref;\r
+\r
+    BYTE* op = (BYTE*) dest;\r
+    BYTE* const oend = op + osize;\r
+    BYTE* cpy;\r
+\r
+    BYTE token;\r
+\r
+    int        len, length;\r
+    size_t dec[] ={0, 3, 2, 3, 0, 0, 0, 0};\r
+\r
+\r
+    // Main Loop\r
+    while (1)\r
+    {\r
+        // get runlength\r
+        token = *ip++;\r
+        if ((length=(token>>ML_BITS)) == RUN_MASK)  { for (;(len=*ip++)==255;length+=255){} length += len; }\r
+\r
+        // copy literals\r
+        cpy = op+length;\r
+        if unlikely(cpy>oend-COPYLENGTH)\r
+        {\r
+            if (cpy != oend) goto _output_error;         // Error : we must necessarily stand at EOF\r
+            memcpy(op, ip, length);\r
+            ip += length;\r
+            break;                                       // EOF\r
+        }\r
+        LZ4_WILDCOPY(ip, op, cpy); ip -= (op-cpy); op = cpy;\r
+\r
+        // get offset\r
+        LZ4_READ_LITTLEENDIAN_16(ref,cpy,ip); ip+=2;\r
+        if (ref < (BYTE* const)dest) goto _output_error;   // Error : offset create reference outside destination buffer\r
+\r
+        // get matchlength\r
+        if ((length=(token&ML_MASK)) == ML_MASK) { for (;*ip==255;length+=255) {ip++;} length += *ip++; }\r
+\r
+        // copy repeated sequence\r
+        if unlikely(op-ref<STEPSIZE)\r
+        {\r
 #if LZ4_ARCH64\r
-                       size_t dec2table[]={0, 0, 0, -1, 0, 1, 2, 3};\r
-                       size_t dec2 = dec2table[op-ref];\r
+            size_t dec2table[]={0, 0, 0, -1, 0, 1, 2, 3};\r
+            size_t dec2 = dec2table[op-ref];\r
 #else\r
-                       const int dec2 = 0;\r
+            const int dec2 = 0;\r
 #endif\r
-                       *op++ = *ref++;\r
-                       *op++ = *ref++;\r
-                       *op++ = *ref++;\r
-                       *op++ = *ref++;\r
-                       ref -= dec[op-ref];\r
-                       A32(op)=A32(ref); op += STEPSIZE-4;\r
-                       ref -= dec2;\r
-               } else { LZ4_COPYSTEP(ref,op); }\r
-               cpy = op + length - (STEPSIZE-4);\r
-               if (cpy>oend-COPYLENGTH)\r
-               {\r
-                       if (cpy > oend) goto _output_error;             // Error : request to write beyond destination buffer\r
-                       LZ4_SECURECOPY(ref, op, (oend-COPYLENGTH));\r
-                       while(op<cpy) *op++=*ref++;\r
-                       op=cpy;\r
-                       if (op == oend) break;    // Check EOF (should never happen, since last 5 bytes are supposed to be literals)\r
-                       continue;\r
-               }\r
-               LZ4_SECURECOPY(ref, op, cpy);\r
-               op=cpy;         // correction\r
-       }\r
-\r
-       // end of decoding\r
-       return (int) (((char*)ip)-source);\r
-\r
-       // write overflow error detected\r
+            *op++ = *ref++;\r
+            *op++ = *ref++;\r
+            *op++ = *ref++;\r
+            *op++ = *ref++;\r
+            ref -= dec[op-ref];\r
+            A32(op)=A32(ref); op += STEPSIZE-4;\r
+            ref -= dec2;\r
+        } else { LZ4_COPYSTEP(ref,op); }\r
+        cpy = op + length - (STEPSIZE-4);\r
+        if (cpy>oend-COPYLENGTH)\r
+        {\r
+            if (cpy > oend) goto _output_error;             // Error : request to write beyond destination buffer\r
+            LZ4_SECURECOPY(ref, op, (oend-COPYLENGTH));\r
+            while(op<cpy) *op++=*ref++;\r
+            op=cpy;\r
+            if (op == oend) goto _output_error;    // Check EOF (should never happen, since last 5 bytes are supposed to be literals)\r
+            continue;\r
+        }\r
+        LZ4_SECURECOPY(ref, op, cpy);\r
+        op=cpy;                // correction\r
+    }\r
+\r
+    // end of decoding\r
+    return (int) (((char*)ip)-source);\r
+\r
+    // write overflow error detected\r
 _output_error:\r
-       return (int) (-(((char*)ip)-source));\r
+    return (int) (-(((char*)ip)-source));\r
 }\r
 \r
 \r
 int LZ4_uncompress_unknownOutputSize(\r
-                               const char* source,\r
-                               char* dest,\r
-                               int isize,\r
-                               int maxOutputSize)\r
+                const char* source,\r
+                char* dest,\r
+                int isize,\r
+                int maxOutputSize)\r
 {\r
-       // Local Variables\r
-       const BYTE* restrict ip = (const BYTE*) source;\r
-       const BYTE* const iend = ip + isize;\r
-       const BYTE* restrict ref;\r
-\r
-       BYTE* restrict op = (BYTE*) dest;\r
-       BYTE* const oend = op + maxOutputSize;\r
-       BYTE* cpy;\r
-\r
-       size_t dec[] ={0, 3, 2, 3, 0, 0, 0, 0};\r
-\r
-\r
-       // Main Loop\r
-       while (ip<iend)\r
-       {\r
-               BYTE token;\r
-               int length;\r
-\r
-               // get runlength\r
-               token = *ip++;\r
-               if ((length=(token>>ML_BITS)) == RUN_MASK) { int s=255; while ((ip<iend) && (s==255)) { s=*ip++; length += s; } }\r
-\r
-               // copy literals\r
-               cpy = op+length;\r
-               if ((cpy>oend-COPYLENGTH) || (ip+length>iend-COPYLENGTH))\r
-               {\r
-                       if (cpy > oend) goto _output_error;          // Error : request to write beyond destination buffer\r
-                       if (ip+length > iend) goto _output_error;    // Error : request to read beyond source buffer\r
-                       memcpy(op, ip, length);\r
-                       op += length;\r
-                       ip += length;\r
-                       if (ip<iend) goto _output_error;             // Error : LZ4 format violation\r
-                       break;    // Necessarily EOF, due to parsing restrictions\r
-               }\r
-               LZ4_WILDCOPY(ip, op, cpy); ip -= (op-cpy); op = cpy;\r
-\r
-               // get offset\r
-               LZ4_READ_LITTLEENDIAN_16(ref,cpy,ip); ip+=2;\r
-               if (ref < (BYTE* const)dest) goto _output_error;   // Error : offset creates reference outside of destination buffer\r
-\r
-               // get matchlength\r
-               if ((length=(token&ML_MASK)) == ML_MASK) { while (ip<iend) { int s = *ip++; length +=s; if (s==255) continue; break; } }\r
-\r
-               // copy repeated sequence\r
-               if unlikely(op-ref<STEPSIZE)\r
-               {\r
+    // Local Variables\r
+    const BYTE* restrict ip = (const BYTE*) source;\r
+    const BYTE* const iend = ip + isize;\r
+    const BYTE* ref;\r
+\r
+    BYTE* op = (BYTE*) dest;\r
+    BYTE* const oend = op + maxOutputSize;\r
+    BYTE* cpy;\r
+\r
+    size_t dec[] ={0, 3, 2, 3, 0, 0, 0, 0};\r
+\r
+\r
+    // Main Loop\r
+    while (ip<iend)\r
+    {\r
+        BYTE token;\r
+        int length;\r
+\r
+        // get runlength\r
+        token = *ip++;\r
+        if ((length=(token>>ML_BITS)) == RUN_MASK) { int s=255; while ((ip<iend) && (s==255)) { s=*ip++; length += s; } }\r
+\r
+        // copy literals\r
+        cpy = op+length;\r
+        if ((cpy>oend-COPYLENGTH) || (ip+length>iend-COPYLENGTH))\r
+        {\r
+            if (cpy > oend) goto _output_error;          // Error : writes beyond output buffer\r
+            if (ip+length != iend) goto _output_error;   // Error : LZ4 format requires to consume all input at this stage\r
+            memcpy(op, ip, length);\r
+            op += length;\r
+            ip = iend;\r
+            break;                                       // Necessarily EOF, due to parsing restrictions\r
+        }\r
+        LZ4_WILDCOPY(ip, op, cpy); ip -= (op-cpy); op = cpy;\r
+\r
+        // get offset\r
+        LZ4_READ_LITTLEENDIAN_16(ref,cpy,ip); ip+=2;\r
+        if (ref < (BYTE* const)dest) goto _output_error;   // Error : offset creates reference outside of destination buffer\r
+\r
+        // get matchlength\r
+        if ((length=(token&ML_MASK)) == ML_MASK) { while (ip<iend) { int s = *ip++; length +=s; if (s==255) continue; break; } }\r
+\r
+        // copy repeated sequence\r
+        if unlikely(op-ref<STEPSIZE)\r
+        {\r
 #if LZ4_ARCH64\r
-                       size_t dec2table[]={0, 0, 0, -1, 0, 1, 2, 3};\r
-                       size_t dec2 = dec2table[op-ref];\r
+            size_t dec2table[]={0, 0, 0, -1, 0, 1, 2, 3};\r
+            size_t dec2 = dec2table[op-ref];\r
 #else\r
-                       const int dec2 = 0;\r
+            const int dec2 = 0;\r
 #endif\r
-                       *op++ = *ref++;\r
-                       *op++ = *ref++;\r
-                       *op++ = *ref++;\r
-                       *op++ = *ref++;\r
-                       ref -= dec[op-ref];\r
-                       A32(op)=A32(ref); op += STEPSIZE-4;\r
-                       ref -= dec2;\r
-               } else { LZ4_COPYSTEP(ref,op); }\r
-               cpy = op + length - (STEPSIZE-4);\r
-               if (cpy>oend-COPYLENGTH)\r
-               {\r
-                       if (cpy > oend) goto _output_error;           // Error : request to write outside of destination buffer\r
-                       LZ4_SECURECOPY(ref, op, (oend-COPYLENGTH));\r
-                       while(op<cpy) *op++=*ref++;\r
-                       op=cpy;\r
-                       if (op == oend) break;    // Check EOF (should never happen, since last 5 bytes are supposed to be literals)\r
-                       continue;\r
-               }\r
-               LZ4_SECURECOPY(ref, op, cpy);\r
-               op=cpy;         // correction\r
-       }\r
-\r
-       // end of decoding\r
-       return (int) (((char*)op)-dest);\r
-\r
-       // write overflow error detected\r
+            *op++ = *ref++;\r
+            *op++ = *ref++;\r
+            *op++ = *ref++;\r
+            *op++ = *ref++;\r
+            ref -= dec[op-ref];\r
+            A32(op)=A32(ref); op += STEPSIZE-4;\r
+            ref -= dec2;\r
+        } else { LZ4_COPYSTEP(ref,op); }\r
+        cpy = op + length - (STEPSIZE-4);\r
+        if (cpy>oend-COPYLENGTH)\r
+        {\r
+            if (cpy > oend) goto _output_error;    // Error : request to write outside of destination buffer\r
+            LZ4_SECURECOPY(ref, op, (oend-COPYLENGTH));\r
+            while(op<cpy) *op++=*ref++;\r
+            op=cpy;\r
+            if (op == oend) goto _output_error;    // Check EOF (should never happen, since last 5 bytes are supposed to be literals)\r
+            continue;\r
+        }\r
+        LZ4_SECURECOPY(ref, op, cpy);\r
+        op=cpy;                // correction\r
+    }\r
+\r
+    // end of decoding\r
+    return (int) (((char*)op)-dest);\r
+\r
+    // write overflow error detected\r
 _output_error:\r
-       return (int) (-(((char*)ip)-source));\r
+    return (int) (-(((char*)ip)-source));\r
 }\r
 \r
index ebd62b6..3680121 100644 (file)
@@ -38,6 +38,14 @@ extern "C" {
 #endif\r
 \r
 \r
+//**************************************\r
+// Compiler Options\r
+//**************************************\r
+#ifdef _MSC_VER   // Visual Studio\r
+#  define inline __inline           // Visual is not C99, but supports some kind of inline\r
+#endif\r
+\r
+\r
 //****************************\r
 // Simple Functions\r
 //****************************\r
@@ -47,19 +55,22 @@ int LZ4_uncompress (const char* source, char* dest, int osize);
 \r
 /*\r
 LZ4_compress() :\r
-       isize  : is the input size. Max supported value is ~1.9GB\r
-       return : the number of bytes written in buffer dest\r
-                        or 0 if the compression fails (if LZ4_COMPRESSMIN is set)\r
-       note : destination buffer must be already allocated.\r
-               destination buffer must be sized to handle worst cases situations (input data not compressible)\r
-               worst case size evaluation is provided by function LZ4_compressBound()\r
+    Compresses 'isize' bytes from 'source' into 'dest'.\r
+    Destination buffer must be already allocated,\r
+    and must be sized to handle worst cases situations (input data not compressible)\r
+    Worst case size evaluation is provided by function LZ4_compressBound()\r
+\r
+    isize  : is the input size. Max supported value is ~1.9GB\r
+    return : the number of bytes written in buffer dest\r
+\r
 \r
 LZ4_uncompress() :\r
-       osize  : is the output size, therefore the original size\r
-       return : the number of bytes read in the source buffer\r
-                        If the source stream is malformed, the function will stop decoding and return a negative result, indicating the byte position of the faulty instruction\r
-                        This function never writes beyond dest + osize, and is therefore protected against malicious data packets\r
-       note : destination buffer must be already allocated\r
+    osize  : is the output size, therefore the original size\r
+    return : the number of bytes read in the source buffer\r
+             If the source stream is malformed, the function will stop decoding and return a negative result, indicating the byte position of the faulty instruction\r
+             This function never writes outside of provided buffers, and never modifies input buffer.\r
+    note : destination buffer must be already allocated.\r
+           its size must be a minimum of 'osize' bytes.\r
 */\r
 \r
 \r
@@ -67,51 +78,48 @@ LZ4_uncompress() :
 // Advanced Functions\r
 //****************************\r
 \r
-int LZ4_compressBound(int isize);\r
+static inline int LZ4_compressBound(int isize)   { return ((isize) + ((isize)/255) + 16); }\r
+#define           LZ4_COMPRESSBOUND(    isize)            ((isize) + ((isize)/255) + 16)\r
 \r
 /*\r
 LZ4_compressBound() :\r
-       Provides the maximum size that LZ4 may output in a "worst case" scenario (input data not compressible)\r
-       primarily useful for memory allocation of output buffer.\r
-\r
-       isize  : is the input size. Max supported value is ~1.9GB\r
-       return : maximum output size in a "worst case" scenario\r
-       note : this function is limited by "int" range (2^31-1)\r
+    Provides the maximum size that LZ4 may output in a "worst case" scenario (input data not compressible)\r
+    primarily useful for memory allocation of output buffer.\r
+       inline function is recommended for the general case,\r
+       but macro is also provided when results need to be evaluated at compile time (such as table size allocation).\r
+\r
+    isize  : is the input size. Max supported value is ~1.9GB\r
+    return : maximum output size in a "worst case" scenario\r
+    note : this function is limited by "int" range (2^31-1)\r
 */\r
 \r
 \r
-int LZ4_uncompress_unknownOutputSize (const char* source, char* dest, int isize, int maxOutputSize);\r
+int LZ4_compress_limitedOutput   (const char* source, char* dest, int isize, int maxOutputSize);\r
 \r
 /*\r
-LZ4_uncompress_unknownOutputSize() :\r
-       isize  : is the input size, therefore the compressed size\r
-       maxOutputSize : is the size of the destination buffer (which must be already allocated)\r
-       return : the number of bytes decoded in the destination buffer (necessarily <= maxOutputSize)\r
-                        If the source stream is malformed, the function will stop decoding and return a negative result, indicating the byte position of the faulty instruction\r
-                        This function never writes beyond dest + maxOutputSize, and is therefore protected against malicious data packets\r
-       note   : Destination buffer must be already allocated.\r
-                This version is slightly slower than LZ4_uncompress()\r
+LZ4_compress_limitedOutput() :\r
+    Compress 'isize' bytes from 'source' into an output buffer 'dest' of maximum size 'maxOutputSize'.\r
+    If it cannot achieve it, compression will stop, and result of the function will be zero.\r
+    This function never writes outside of provided output buffer.\r
+\r
+    isize  : is the input size. Max supported value is ~1.9GB\r
+    maxOutputSize : is the size of the destination buffer (which must be already allocated)\r
+    return : the number of bytes written in buffer 'dest'\r
+             or 0 if the compression fails\r
 */\r
 \r
 \r
-int LZ4_compressCtx(void** ctx, const char* source,  char* dest, int isize);\r
-int LZ4_compress64kCtx(void** ctx, const char* source,  char* dest, int isize);\r
+int LZ4_uncompress_unknownOutputSize (const char* source, char* dest, int isize, int maxOutputSize);\r
 \r
 /*\r
-LZ4_compressCtx() :\r
-       This function explicitly handles the CTX memory structure.\r
-       It avoids allocating/deallocating memory between each call, improving performance when malloc is heavily invoked.\r
-       This function is only useful when memory is allocated into the heap (HASH_LOG value beyond STACK_LIMIT)\r
-       Performance difference will be noticeable only when repetitively calling the compression function over many small segments.\r
-       Note : by default, memory is allocated into the stack, therefore "malloc" is not invoked.\r
-LZ4_compress64kCtx() :\r
-       Same as LZ4_compressCtx(), but specific to small inputs (<64KB).\r
-       isize *Must* be <64KB, otherwise the output will be corrupted.\r
-\r
-       On first call : provide a *ctx=NULL; It will be automatically allocated.\r
-       On next calls : reuse the same ctx pointer.\r
-       Use different pointers for different threads when doing multi-threading.\r
-\r
+LZ4_uncompress_unknownOutputSize() :\r
+    isize  : is the input size, therefore the compressed size\r
+    maxOutputSize : is the size of the destination buffer (which must be already allocated)\r
+    return : the number of bytes decoded in the destination buffer (necessarily <= maxOutputSize)\r
+             If the source stream is malformed, the function will stop decoding and return a negative result, indicating the byte position of the faulty instruction\r
+             This function never writes beyond dest + maxOutputSize, and is therefore protected against malicious data packets\r
+    note   : Destination buffer must be already allocated.\r
+             This version is slightly slower than LZ4_uncompress()\r
 */\r
 \r
 \r
index cca755c..7cd8bb4 100644 (file)
 \r
 #ifdef _MSC_VER\r
 #define inline __forceinline    // Visual is not C99, but supports some kind of inline\r
+#include <intrin.h>             // For Visual 2005\r
+#  if LZ4_ARCH64       // 64-bit\r
+#    pragma intrinsic(_BitScanForward64) // For Visual 2005\r
+#    pragma intrinsic(_BitScanReverse64) // For Visual 2005\r
+#  else\r
+#    pragma intrinsic(_BitScanForward)   // For Visual 2005\r
+#    pragma intrinsic(_BitScanReverse)   // For Visual 2005\r
+#  endif\r
 #endif\r
 \r
 #ifdef _MSC_VER  // Visual Studio\r
-#define bswap16(x) _byteswap_ushort(x)\r
+#define lz4_bswap16(x) _byteswap_ushort(x)\r
 #else\r
-#define bswap16(x)  ((unsigned short int) ((((x) >> 8) & 0xffu) | (((x) & 0xffu) << 8)))\r
+#define lz4_bswap16(x)  ((unsigned short int) ((((x) >> 8) & 0xffu) | (((x) & 0xffu) << 8)))\r
 #endif\r
 \r
 \r
@@ -174,8 +182,8 @@ typedef struct _U64_S { U64 v; } U64_S;
 #endif\r
 \r
 #if defined(LZ4_BIG_ENDIAN)\r
-#define LZ4_READ_LITTLEENDIAN_16(d,s,p) { U16 v = A16(p); v = bswap16(v); d = (s) - v; }\r
-#define LZ4_WRITE_LITTLEENDIAN_16(p,i)  { U16 v = (U16)(i); v = bswap16(v); A16(p) = v; p+=2; }\r
+#define LZ4_READ_LITTLEENDIAN_16(d,s,p) { U16 v = A16(p); v = lz4_bswap16(v); d = (s) - v; }\r
+#define LZ4_WRITE_LITTLEENDIAN_16(p,i)  { U16 v = (U16)(i); v = lz4_bswap16(v); A16(p) = v; p+=2; }\r
 #else          // Little Endian\r
 #define LZ4_READ_LITTLEENDIAN_16(d,s,p) { d = (s) - A16(p); }\r
 #define LZ4_WRITE_LITTLEENDIAN_16(p,v)  { A16(p) = v; p+=2; }\r
@@ -329,7 +337,7 @@ inline static int LZ4HC_InsertAndFindBestMatch (LZ4HC_Data_Structure* hc4, const
        // HC4 match finder\r
        LZ4HC_Insert(hc4, ip);\r
        ref = HASH_POINTER(ip);\r
-       while ((ref > (ip-MAX_DISTANCE)) && (nbAttempts))\r
+       while ((ref >= (ip-MAX_DISTANCE)) && (nbAttempts))\r
        {\r
                nbAttempts--;\r
                if (*(ref+ml) == *(ip+ml))\r
@@ -350,7 +358,7 @@ inline static int LZ4HC_InsertAndFindBestMatch (LZ4HC_Data_Structure* hc4, const
                        if ((ipt<matchlimit) && (*reft == *ipt)) ipt++;\r
 _endCount:\r
 \r
-                       if (ipt-ip > ml) { ml = ipt-ip; *matchpos = ref; }\r
+                       if (ipt-ip > ml) { ml = (int)(ipt-ip); *matchpos = ref; }\r
                }\r
                ref = GETNEXT(ref);\r
        }\r
@@ -366,13 +374,13 @@ inline static int LZ4HC_InsertAndGetWiderMatch (LZ4HC_Data_Structure* hc4, const
        INITBASE(base,hc4->base);\r
        const BYTE*  ref;\r
        int nbAttempts = MAX_NB_ATTEMPTS;\r
-       int delta = ip-startLimit;\r
+       int delta = (int)(ip-startLimit);\r
 \r
        // First Match\r
        LZ4HC_Insert(hc4, ip);\r
        ref = HASH_POINTER(ip);\r
 \r
-       while ((ref > ip-MAX_DISTANCE) && (ref >= hc4->base) && (nbAttempts))\r
+       while ((ref >= ip-MAX_DISTANCE) && (ref >= hc4->base) && (nbAttempts))\r
        {\r
                nbAttempts--;\r
                if (*(startLimit + longest) == *(ref - delta + longest))\r
@@ -399,7 +407,7 @@ _endCount:
 \r
                        if ((ipt-startt) > longest)\r
                        {\r
-                               longest = ipt-startt;\r
+                               longest = (int)(ipt-startt);\r
                                *matchpos = reft;\r
                                *startpos = startt;\r
                        }\r
@@ -417,7 +425,7 @@ inline static int LZ4_encodeSequence(const BYTE** ip, BYTE** op, const BYTE** an
        BYTE* token;\r
 \r
        // Encode Literal length\r
-       length = *ip - *anchor;\r
+       length = (int)(*ip - *anchor);\r
        token = (*op)++;\r
        if (length>=(int)RUN_MASK) { *token=(RUN_MASK<<ML_BITS); len = length-RUN_MASK; for(; len > 254 ; len-=255) *(*op)++ = 255;  *(*op)++ = (BYTE)len; } \r
        else *token = (length<<ML_BITS);\r
@@ -426,7 +434,7 @@ inline static int LZ4_encodeSequence(const BYTE** ip, BYTE** op, const BYTE** an
        LZ4_BLINDCOPY(*anchor, *op, length);\r
 \r
        // Encode Offset\r
-       LZ4_WRITE_LITTLEENDIAN_16(*op,*ip-ref);\r
+       LZ4_WRITE_LITTLEENDIAN_16(*op,(U16)(*ip-ref));\r
 \r
        // Encode MatchLength\r
        len = (int)(ml-MINMATCH);\r
@@ -519,8 +527,8 @@ _Search3:
                        int correction;\r
                        int new_ml = ml;\r
                        if (new_ml > OPTIMAL_ML) new_ml = OPTIMAL_ML;\r
-                       if (ip+new_ml > start2 + ml2 - MINMATCH) new_ml = start2 - ip + ml2 - MINMATCH;\r
-                       correction = new_ml - (start2 - ip);\r
+                       if (ip+new_ml > start2 + ml2 - MINMATCH) new_ml = (int)(start2 - ip) + ml2 - MINMATCH;\r
+                       correction = new_ml - (int)(start2 - ip);\r
                        if (correction > 0)\r
                        {\r
                                start2 += correction;\r
@@ -543,8 +551,8 @@ _Search3:
                                {\r
                                        int correction;\r
                                        if (ml > OPTIMAL_ML) ml = OPTIMAL_ML;\r
-                                       if (ip+ml > start2 + ml2 - MINMATCH) ml = start2 - ip + ml2 - MINMATCH;\r
-                                       correction = ml - (start2 - ip);\r
+                                       if (ip+ml > start2 + ml2 - MINMATCH) ml = (int)(start2 - ip) + ml2 - MINMATCH;\r
+                                       correction = ml - (int)(start2 - ip);\r
                                        if (correction > 0)\r
                                        {\r
                                                start2 += correction;\r
@@ -554,7 +562,7 @@ _Search3:
                                }\r
                                else\r
                                {\r
-                                       ml = start2 - ip;\r
+                                       ml = (int)(start2 - ip);\r
                                }\r
                        }\r
                        // Now, encode 2 sequences\r
@@ -570,7 +578,7 @@ _Search3:
                        {\r
                                if (start2 < ip+ml)\r
                                {\r
-                                       int correction = (ip+ml) - start2;\r
+                                       int correction = (int)(ip+ml - start2);\r
                                        start2 += correction;\r
                                        ref2 += correction;\r
                                        ml2 -= correction;\r
@@ -607,8 +615,8 @@ _Search3:
                        {\r
                                int correction;\r
                                if (ml > OPTIMAL_ML) ml = OPTIMAL_ML;\r
-                               if (ip + ml > start2 + ml2 - MINMATCH) ml = start2 - ip + ml2 - MINMATCH;\r
-                               correction = ml - (start2 - ip);\r
+                               if (ip + ml > start2 + ml2 - MINMATCH) ml = (int)(start2 - ip) + ml2 - MINMATCH;\r
+                               correction = ml - (int)(start2 - ip);\r
                                if (correction > 0)\r
                                {\r
                                        start2 += correction;\r
@@ -618,7 +626,7 @@ _Search3:
                        }\r
                        else\r
                        {\r
-                               ml = start2 - ip;\r
+                               ml = (int)(start2 - ip);\r
                        }\r
                }\r
                LZ4_encodeSequence(&ip, &op, &anchor, ml, ref);\r
@@ -637,7 +645,7 @@ _Search3:
 \r
        // Encode Last Literals\r
        {\r
-               int lastRun = iend - anchor;\r
+               int lastRun = (int)(iend - anchor);\r
                if (lastRun>=(int)RUN_MASK) { *op++=(RUN_MASK<<ML_BITS); lastRun-=RUN_MASK; for(; lastRun > 254 ; lastRun-=255) *op++ = 255; *op++ = (BYTE) lastRun; } \r
                else *op++ = (lastRun<<ML_BITS);\r
                memcpy(op, anchor, iend - anchor);\r