Imported Upstream version 3.0.1
[platform/upstream/libjpeg-turbo.git] / fuzz / compress.cc
1 /*
2  * Copyright (C)2021, 2023 D. R. Commander.  All Rights Reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions are met:
6  *
7  * - Redistributions of source code must retain the above copyright notice,
8  *   this list of conditions and the following disclaimer.
9  * - Redistributions in binary form must reproduce the above copyright notice,
10  *   this list of conditions and the following disclaimer in the documentation
11  *   and/or other materials provided with the distribution.
12  * - Neither the name of the libjpeg-turbo Project nor the names of its
13  *   contributors may be used to endorse or promote products derived from this
14  *   software without specific prior written permission.
15  *
16  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS",
17  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
18  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
19  * ARE DISCLAIMED.  IN NO EVENT SHALL THE COPYRIGHT HOLDERS OR CONTRIBUTORS BE
20  * LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
21  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
22  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
23  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
24  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
25  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
26  * POSSIBILITY OF SUCH DAMAGE.
27  */
28
29 #include <turbojpeg.h>
30 #include <stdio.h>
31 #include <stdlib.h>
32 #include <stdint.h>
33 #include <string.h>
34 #include <unistd.h>
35
36
37 #define NUMTESTS  7
38
39
40 struct test {
41   enum TJPF pf;
42   enum TJSAMP subsamp;
43   int quality;
44 };
45
46
47 extern "C" int LLVMFuzzerTestOneInput(const uint8_t *data, size_t size)
48 {
49   tjhandle handle = NULL;
50   unsigned char *srcBuf = NULL, *dstBuf = NULL;
51   int width = 0, height = 0, fd = -1, i, ti;
52   char filename[FILENAME_MAX] = { 0 };
53   struct test tests[NUMTESTS] = {
54     { TJPF_RGB, TJSAMP_444, 100 },
55     { TJPF_BGR, TJSAMP_422, 90 },
56     { TJPF_RGBX, TJSAMP_420, 80 },
57     { TJPF_BGRA, TJSAMP_411, 70 },
58     { TJPF_XRGB, TJSAMP_GRAY, 60 },
59     { TJPF_GRAY, TJSAMP_GRAY, 50 },
60     { TJPF_CMYK, TJSAMP_440, 40 }
61   };
62 #if defined(__has_feature) && __has_feature(memory_sanitizer)
63   char env[18] = "JSIMD_FORCENONE=1";
64
65   /* The libjpeg-turbo SIMD extensions produce false positives with
66      MemorySanitizer. */
67   putenv(env);
68 #endif
69
70   snprintf(filename, FILENAME_MAX, "/tmp/libjpeg-turbo_compress_fuzz.XXXXXX");
71   if ((fd = mkstemp(filename)) < 0 || write(fd, data, size) < 0)
72     goto bailout;
73
74   if ((handle = tj3Init(TJINIT_COMPRESS)) == NULL)
75     goto bailout;
76
77   for (ti = 0; ti < NUMTESTS; ti++) {
78     int sum = 0, pf = tests[ti].pf;
79     size_t dstSize = 0, maxBufSize;
80
81     /* Test non-default compression options on specific iterations. */
82     tj3Set(handle, TJPARAM_BOTTOMUP, ti == 0);
83     tj3Set(handle, TJPARAM_FASTDCT, ti == 1);
84     tj3Set(handle, TJPARAM_OPTIMIZE, ti == 6);
85     tj3Set(handle, TJPARAM_PROGRESSIVE, ti == 1 || ti == 3);
86     tj3Set(handle, TJPARAM_ARITHMETIC, ti == 2 || ti == 3);
87     tj3Set(handle, TJPARAM_NOREALLOC, ti != 2);
88     tj3Set(handle, TJPARAM_RESTARTROWS, ti == 1 || ti == 2 ? 2 : 0);
89
90     tj3Set(handle, TJPARAM_MAXPIXELS, 1048576);
91     /* tj3LoadImage8() will refuse to load images larger than 1 Megapixel, so
92        we don't need to check the width and height here. */
93     if ((srcBuf = tj3LoadImage8(handle, filename, &width, 1, &height,
94                                 &pf)) == NULL)
95       continue;
96
97     maxBufSize = tj3JPEGBufSize(width, height, tests[ti].subsamp);
98     if (tj3Get(handle, TJPARAM_NOREALLOC)) {
99       if ((dstBuf = (unsigned char *)malloc(maxBufSize)) == NULL)
100         goto bailout;
101     } else
102       dstBuf = NULL;
103
104     tj3Set(handle, TJPARAM_SUBSAMP, tests[ti].subsamp);
105     tj3Set(handle, TJPARAM_QUALITY, tests[ti].quality);
106     if (tj3Compress8(handle, srcBuf, width, 0, height, pf, &dstBuf,
107                      &dstSize) == 0) {
108       /* Touch all of the output pixels in order to catch uninitialized reads
109          when using MemorySanitizer. */
110       for (i = 0; i < dstSize; i++)
111         sum += dstBuf[i];
112     }
113
114     free(dstBuf);
115     dstBuf = NULL;
116     tj3Free(srcBuf);
117     srcBuf = NULL;
118
119     /* Prevent the code above from being optimized out.  This test should never
120        be true, but the compiler doesn't know that. */
121     if (sum > 255 * maxBufSize)
122       goto bailout;
123   }
124
125 bailout:
126   free(dstBuf);
127   tj3Free(srcBuf);
128   if (fd >= 0) {
129     close(fd);
130     if (strlen(filename) > 0) unlink(filename);
131   }
132   tj3Destroy(handle);
133   return 0;
134 }