src/libFLAC/stream_decoder.c : Fix buffer read overflow.
[platform/upstream/flac.git] / src / libFLAC / md5.c
1 #if HAVE_CONFIG_H
2 #  include <config.h>
3 #endif
4
5 #include <stdlib.h>             /* for malloc() */
6 #include <string.h>             /* for memcpy() */
7
8 #include "private/md5.h"
9 #include "share/alloc.h"
10
11 /*
12  * This code implements the MD5 message-digest algorithm.
13  * The algorithm is due to Ron Rivest.  This code was
14  * written by Colin Plumb in 1993, no copyright is claimed.
15  * This code is in the public domain; do with it what you wish.
16  *
17  * Equivalent code is available from RSA Data Security, Inc.
18  * This code has been tested against that, and is equivalent,
19  * except that you don't need to include two pages of legalese
20  * with every copy.
21  *
22  * To compute the message digest of a chunk of bytes, declare an
23  * MD5Context structure, pass it to MD5Init, call MD5Update as
24  * needed on buffers full of bytes, and then call MD5Final, which
25  * will fill a supplied 16-byte array with the digest.
26  *
27  * Changed so as no longer to depend on Colin Plumb's `usual.h' header
28  * definitions; now uses stuff from dpkg's config.h.
29  *  - Ian Jackson <ijackson@nyx.cs.du.edu>.
30  * Still in the public domain.
31  *
32  * Josh Coalson: made some changes to integrate with libFLAC.
33  * Still in the public domain.
34  */
35
36 /* The four core functions - F1 is optimized somewhat */
37
38 /* #define F1(x, y, z) (x & y | ~x & z) */
39 #define F1(x, y, z) (z ^ (x & (y ^ z)))
40 #define F2(x, y, z) F1(z, x, y)
41 #define F3(x, y, z) (x ^ y ^ z)
42 #define F4(x, y, z) (y ^ (x | ~z))
43
44 /* This is the central step in the MD5 algorithm. */
45 #define MD5STEP(f,w,x,y,z,in,s) \
46          (w += f(x,y,z) + in, w = (w<<s | w>>(32-s)) + x)
47
48 /*
49  * The core of the MD5 algorithm, this alters an existing MD5 hash to
50  * reflect the addition of 16 longwords of new data.  MD5Update blocks
51  * the data and converts bytes into longwords for this routine.
52  */
53 static void FLAC__MD5Transform(FLAC__uint32 buf[4], FLAC__uint32 const in[16])
54 {
55         register FLAC__uint32 a, b, c, d;
56
57         a = buf[0];
58         b = buf[1];
59         c = buf[2];
60         d = buf[3];
61
62         MD5STEP(F1, a, b, c, d, in[0] + 0xd76aa478, 7);
63         MD5STEP(F1, d, a, b, c, in[1] + 0xe8c7b756, 12);
64         MD5STEP(F1, c, d, a, b, in[2] + 0x242070db, 17);
65         MD5STEP(F1, b, c, d, a, in[3] + 0xc1bdceee, 22);
66         MD5STEP(F1, a, b, c, d, in[4] + 0xf57c0faf, 7);
67         MD5STEP(F1, d, a, b, c, in[5] + 0x4787c62a, 12);
68         MD5STEP(F1, c, d, a, b, in[6] + 0xa8304613, 17);
69         MD5STEP(F1, b, c, d, a, in[7] + 0xfd469501, 22);
70         MD5STEP(F1, a, b, c, d, in[8] + 0x698098d8, 7);
71         MD5STEP(F1, d, a, b, c, in[9] + 0x8b44f7af, 12);
72         MD5STEP(F1, c, d, a, b, in[10] + 0xffff5bb1, 17);
73         MD5STEP(F1, b, c, d, a, in[11] + 0x895cd7be, 22);
74         MD5STEP(F1, a, b, c, d, in[12] + 0x6b901122, 7);
75         MD5STEP(F1, d, a, b, c, in[13] + 0xfd987193, 12);
76         MD5STEP(F1, c, d, a, b, in[14] + 0xa679438e, 17);
77         MD5STEP(F1, b, c, d, a, in[15] + 0x49b40821, 22);
78
79         MD5STEP(F2, a, b, c, d, in[1] + 0xf61e2562, 5);
80         MD5STEP(F2, d, a, b, c, in[6] + 0xc040b340, 9);
81         MD5STEP(F2, c, d, a, b, in[11] + 0x265e5a51, 14);
82         MD5STEP(F2, b, c, d, a, in[0] + 0xe9b6c7aa, 20);
83         MD5STEP(F2, a, b, c, d, in[5] + 0xd62f105d, 5);
84         MD5STEP(F2, d, a, b, c, in[10] + 0x02441453, 9);
85         MD5STEP(F2, c, d, a, b, in[15] + 0xd8a1e681, 14);
86         MD5STEP(F2, b, c, d, a, in[4] + 0xe7d3fbc8, 20);
87         MD5STEP(F2, a, b, c, d, in[9] + 0x21e1cde6, 5);
88         MD5STEP(F2, d, a, b, c, in[14] + 0xc33707d6, 9);
89         MD5STEP(F2, c, d, a, b, in[3] + 0xf4d50d87, 14);
90         MD5STEP(F2, b, c, d, a, in[8] + 0x455a14ed, 20);
91         MD5STEP(F2, a, b, c, d, in[13] + 0xa9e3e905, 5);
92         MD5STEP(F2, d, a, b, c, in[2] + 0xfcefa3f8, 9);
93         MD5STEP(F2, c, d, a, b, in[7] + 0x676f02d9, 14);
94         MD5STEP(F2, b, c, d, a, in[12] + 0x8d2a4c8a, 20);
95
96         MD5STEP(F3, a, b, c, d, in[5] + 0xfffa3942, 4);
97         MD5STEP(F3, d, a, b, c, in[8] + 0x8771f681, 11);
98         MD5STEP(F3, c, d, a, b, in[11] + 0x6d9d6122, 16);
99         MD5STEP(F3, b, c, d, a, in[14] + 0xfde5380c, 23);
100         MD5STEP(F3, a, b, c, d, in[1] + 0xa4beea44, 4);
101         MD5STEP(F3, d, a, b, c, in[4] + 0x4bdecfa9, 11);
102         MD5STEP(F3, c, d, a, b, in[7] + 0xf6bb4b60, 16);
103         MD5STEP(F3, b, c, d, a, in[10] + 0xbebfbc70, 23);
104         MD5STEP(F3, a, b, c, d, in[13] + 0x289b7ec6, 4);
105         MD5STEP(F3, d, a, b, c, in[0] + 0xeaa127fa, 11);
106         MD5STEP(F3, c, d, a, b, in[3] + 0xd4ef3085, 16);
107         MD5STEP(F3, b, c, d, a, in[6] + 0x04881d05, 23);
108         MD5STEP(F3, a, b, c, d, in[9] + 0xd9d4d039, 4);
109         MD5STEP(F3, d, a, b, c, in[12] + 0xe6db99e5, 11);
110         MD5STEP(F3, c, d, a, b, in[15] + 0x1fa27cf8, 16);
111         MD5STEP(F3, b, c, d, a, in[2] + 0xc4ac5665, 23);
112
113         MD5STEP(F4, a, b, c, d, in[0] + 0xf4292244, 6);
114         MD5STEP(F4, d, a, b, c, in[7] + 0x432aff97, 10);
115         MD5STEP(F4, c, d, a, b, in[14] + 0xab9423a7, 15);
116         MD5STEP(F4, b, c, d, a, in[5] + 0xfc93a039, 21);
117         MD5STEP(F4, a, b, c, d, in[12] + 0x655b59c3, 6);
118         MD5STEP(F4, d, a, b, c, in[3] + 0x8f0ccc92, 10);
119         MD5STEP(F4, c, d, a, b, in[10] + 0xffeff47d, 15);
120         MD5STEP(F4, b, c, d, a, in[1] + 0x85845dd1, 21);
121         MD5STEP(F4, a, b, c, d, in[8] + 0x6fa87e4f, 6);
122         MD5STEP(F4, d, a, b, c, in[15] + 0xfe2ce6e0, 10);
123         MD5STEP(F4, c, d, a, b, in[6] + 0xa3014314, 15);
124         MD5STEP(F4, b, c, d, a, in[13] + 0x4e0811a1, 21);
125         MD5STEP(F4, a, b, c, d, in[4] + 0xf7537e82, 6);
126         MD5STEP(F4, d, a, b, c, in[11] + 0xbd3af235, 10);
127         MD5STEP(F4, c, d, a, b, in[2] + 0x2ad7d2bb, 15);
128         MD5STEP(F4, b, c, d, a, in[9] + 0xeb86d391, 21);
129
130         buf[0] += a;
131         buf[1] += b;
132         buf[2] += c;
133         buf[3] += d;
134 }
135
136 #if WORDS_BIGENDIAN
137 //@@@@@@ OPT: use bswap/intrinsics
138 static void byteSwap(FLAC__uint32 *buf, unsigned words)
139 {
140         register FLAC__uint32 x;
141         do {
142                 x = *buf;
143                 x = ((x << 8) & 0xff00ff00) | ((x >> 8) & 0x00ff00ff);
144                 *buf++ = (x >> 16) | (x << 16);
145         } while (--words);
146 }
147 static void byteSwapX16(FLAC__uint32 *buf)
148 {
149         register FLAC__uint32 x;
150
151         x = *buf; x = ((x << 8) & 0xff00ff00) | ((x >> 8) & 0x00ff00ff); *buf++ = (x >> 16) | (x << 16);
152         x = *buf; x = ((x << 8) & 0xff00ff00) | ((x >> 8) & 0x00ff00ff); *buf++ = (x >> 16) | (x << 16);
153         x = *buf; x = ((x << 8) & 0xff00ff00) | ((x >> 8) & 0x00ff00ff); *buf++ = (x >> 16) | (x << 16);
154         x = *buf; x = ((x << 8) & 0xff00ff00) | ((x >> 8) & 0x00ff00ff); *buf++ = (x >> 16) | (x << 16);
155         x = *buf; x = ((x << 8) & 0xff00ff00) | ((x >> 8) & 0x00ff00ff); *buf++ = (x >> 16) | (x << 16);
156         x = *buf; x = ((x << 8) & 0xff00ff00) | ((x >> 8) & 0x00ff00ff); *buf++ = (x >> 16) | (x << 16);
157         x = *buf; x = ((x << 8) & 0xff00ff00) | ((x >> 8) & 0x00ff00ff); *buf++ = (x >> 16) | (x << 16);
158         x = *buf; x = ((x << 8) & 0xff00ff00) | ((x >> 8) & 0x00ff00ff); *buf++ = (x >> 16) | (x << 16);
159         x = *buf; x = ((x << 8) & 0xff00ff00) | ((x >> 8) & 0x00ff00ff); *buf++ = (x >> 16) | (x << 16);
160         x = *buf; x = ((x << 8) & 0xff00ff00) | ((x >> 8) & 0x00ff00ff); *buf++ = (x >> 16) | (x << 16);
161         x = *buf; x = ((x << 8) & 0xff00ff00) | ((x >> 8) & 0x00ff00ff); *buf++ = (x >> 16) | (x << 16);
162         x = *buf; x = ((x << 8) & 0xff00ff00) | ((x >> 8) & 0x00ff00ff); *buf++ = (x >> 16) | (x << 16);
163         x = *buf; x = ((x << 8) & 0xff00ff00) | ((x >> 8) & 0x00ff00ff); *buf++ = (x >> 16) | (x << 16);
164         x = *buf; x = ((x << 8) & 0xff00ff00) | ((x >> 8) & 0x00ff00ff); *buf++ = (x >> 16) | (x << 16);
165         x = *buf; x = ((x << 8) & 0xff00ff00) | ((x >> 8) & 0x00ff00ff); *buf++ = (x >> 16) | (x << 16);
166         x = *buf; x = ((x << 8) & 0xff00ff00) | ((x >> 8) & 0x00ff00ff); *buf   = (x >> 16) | (x << 16);
167 }
168 #else
169 #define byteSwap(buf, words)
170 #define byteSwapX16(buf)
171 #endif
172
173 /*
174  * Update context to reflect the concatenation of another buffer full
175  * of bytes.
176  */
177 static void FLAC__MD5Update(FLAC__MD5Context *ctx, FLAC__byte const *buf, unsigned len)
178 {
179         FLAC__uint32 t;
180
181         /* Update byte count */
182
183         t = ctx->bytes[0];
184         if ((ctx->bytes[0] = t + len) < t)
185                 ctx->bytes[1]++;        /* Carry from low to high */
186
187         t = 64 - (t & 0x3f);    /* Space available in ctx->in (at least 1) */
188         if (t > len) {
189                 memcpy((FLAC__byte *)ctx->in + 64 - t, buf, len);
190                 return;
191         }
192         /* First chunk is an odd size */
193         memcpy((FLAC__byte *)ctx->in + 64 - t, buf, t);
194         byteSwapX16(ctx->in);
195         FLAC__MD5Transform(ctx->buf, ctx->in);
196         buf += t;
197         len -= t;
198
199         /* Process data in 64-byte chunks */
200         while (len >= 64) {
201                 memcpy(ctx->in, buf, 64);
202                 byteSwapX16(ctx->in);
203                 FLAC__MD5Transform(ctx->buf, ctx->in);
204                 buf += 64;
205                 len -= 64;
206         }
207
208         /* Handle any remaining bytes of data. */
209         memcpy(ctx->in, buf, len);
210 }
211
212 /*
213  * Start MD5 accumulation.  Set bit count to 0 and buffer to mysterious
214  * initialization constants.
215  */
216 void FLAC__MD5Init(FLAC__MD5Context *ctx)
217 {
218         ctx->buf[0] = 0x67452301;
219         ctx->buf[1] = 0xefcdab89;
220         ctx->buf[2] = 0x98badcfe;
221         ctx->buf[3] = 0x10325476;
222
223         ctx->bytes[0] = 0;
224         ctx->bytes[1] = 0;
225
226         ctx->internal_buf = 0;
227         ctx->capacity = 0;
228 }
229
230 /*
231  * Final wrapup - pad to 64-byte boundary with the bit pattern
232  * 1 0* (64-bit count of bits processed, MSB-first)
233  */
234 void FLAC__MD5Final(FLAC__byte digest[16], FLAC__MD5Context *ctx)
235 {
236         int count = ctx->bytes[0] & 0x3f;       /* Number of bytes in ctx->in */
237         FLAC__byte *p = (FLAC__byte *)ctx->in + count;
238
239         /* Set the first char of padding to 0x80.  There is always room. */
240         *p++ = 0x80;
241
242         /* Bytes of padding needed to make 56 bytes (-8..55) */
243         count = 56 - 1 - count;
244
245         if (count < 0) {        /* Padding forces an extra block */
246                 memset(p, 0, count + 8);
247                 byteSwapX16(ctx->in);
248                 FLAC__MD5Transform(ctx->buf, ctx->in);
249                 p = (FLAC__byte *)ctx->in;
250                 count = 56;
251         }
252         memset(p, 0, count);
253         byteSwap(ctx->in, 14);
254
255         /* Append length in bits and transform */
256         ctx->in[14] = ctx->bytes[0] << 3;
257         ctx->in[15] = ctx->bytes[1] << 3 | ctx->bytes[0] >> 29;
258         FLAC__MD5Transform(ctx->buf, ctx->in);
259
260         byteSwap(ctx->buf, 4);
261         memcpy(digest, ctx->buf, 16);
262         if(0 != ctx->internal_buf) {
263                 free(ctx->internal_buf);
264                 ctx->internal_buf = 0;
265                 ctx->capacity = 0;
266         }
267         memset(ctx, 0, sizeof(*ctx));   /* In case it's sensitive */
268 }
269
270 /*
271  * Convert the incoming audio signal to a byte stream
272  */
273 static void format_input_(FLAC__byte *buf, const FLAC__int32 * const signal[], unsigned channels, unsigned samples, unsigned bytes_per_sample)
274 {
275         unsigned channel, sample;
276         register FLAC__int32 a_word;
277         register FLAC__byte *buf_ = buf;
278
279 #if WORDS_BIGENDIAN
280 #else
281         if(channels == 2 && bytes_per_sample == 2) {
282                 FLAC__int16 *buf1_ = ((FLAC__int16*)buf_) + 1;
283                 memcpy(buf_, signal[0], sizeof(FLAC__int32) * samples);
284                 for(sample = 0; sample < samples; sample++, buf1_+=2)
285                         *buf1_ = (FLAC__int16)signal[1][sample];
286         }
287         else if(channels == 1 && bytes_per_sample == 2) {
288                 FLAC__int16 *buf1_ = (FLAC__int16*)buf_;
289                 for(sample = 0; sample < samples; sample++)
290                         *buf1_++ = (FLAC__int16)signal[0][sample];
291         }
292         else
293 #endif
294         if(bytes_per_sample == 2) {
295                 if(channels == 2) {
296                         for(sample = 0; sample < samples; sample++) {
297                                 a_word = signal[0][sample];
298                                 *buf_++ = (FLAC__byte)a_word; a_word >>= 8;
299                                 *buf_++ = (FLAC__byte)a_word;
300                                 a_word = signal[1][sample];
301                                 *buf_++ = (FLAC__byte)a_word; a_word >>= 8;
302                                 *buf_++ = (FLAC__byte)a_word;
303                         }
304                 }
305                 else if(channels == 1) {
306                         for(sample = 0; sample < samples; sample++) {
307                                 a_word = signal[0][sample];
308                                 *buf_++ = (FLAC__byte)a_word; a_word >>= 8;
309                                 *buf_++ = (FLAC__byte)a_word;
310                         }
311                 }
312                 else {
313                         for(sample = 0; sample < samples; sample++) {
314                                 for(channel = 0; channel < channels; channel++) {
315                                         a_word = signal[channel][sample];
316                                         *buf_++ = (FLAC__byte)a_word; a_word >>= 8;
317                                         *buf_++ = (FLAC__byte)a_word;
318                                 }
319                         }
320                 }
321         }
322         else if(bytes_per_sample == 3) {
323                 if(channels == 2) {
324                         for(sample = 0; sample < samples; sample++) {
325                                 a_word = signal[0][sample];
326                                 *buf_++ = (FLAC__byte)a_word; a_word >>= 8;
327                                 *buf_++ = (FLAC__byte)a_word; a_word >>= 8;
328                                 *buf_++ = (FLAC__byte)a_word;
329                                 a_word = signal[1][sample];
330                                 *buf_++ = (FLAC__byte)a_word; a_word >>= 8;
331                                 *buf_++ = (FLAC__byte)a_word; a_word >>= 8;
332                                 *buf_++ = (FLAC__byte)a_word;
333                         }
334                 }
335                 else if(channels == 1) {
336                         for(sample = 0; sample < samples; sample++) {
337                                 a_word = signal[0][sample];
338                                 *buf_++ = (FLAC__byte)a_word; a_word >>= 8;
339                                 *buf_++ = (FLAC__byte)a_word; a_word >>= 8;
340                                 *buf_++ = (FLAC__byte)a_word;
341                         }
342                 }
343                 else {
344                         for(sample = 0; sample < samples; sample++) {
345                                 for(channel = 0; channel < channels; channel++) {
346                                         a_word = signal[channel][sample];
347                                         *buf_++ = (FLAC__byte)a_word; a_word >>= 8;
348                                         *buf_++ = (FLAC__byte)a_word; a_word >>= 8;
349                                         *buf_++ = (FLAC__byte)a_word;
350                                 }
351                         }
352                 }
353         }
354         else if(bytes_per_sample == 1) {
355                 if(channels == 2) {
356                         for(sample = 0; sample < samples; sample++) {
357                                 a_word = signal[0][sample];
358                                 *buf_++ = (FLAC__byte)a_word;
359                                 a_word = signal[1][sample];
360                                 *buf_++ = (FLAC__byte)a_word;
361                         }
362                 }
363                 else if(channels == 1) {
364                         for(sample = 0; sample < samples; sample++) {
365                                 a_word = signal[0][sample];
366                                 *buf_++ = (FLAC__byte)a_word;
367                         }
368                 }
369                 else {
370                         for(sample = 0; sample < samples; sample++) {
371                                 for(channel = 0; channel < channels; channel++) {
372                                         a_word = signal[channel][sample];
373                                         *buf_++ = (FLAC__byte)a_word;
374                                 }
375                         }
376                 }
377         }
378         else { /* bytes_per_sample == 4, maybe optimize more later */
379                 for(sample = 0; sample < samples; sample++) {
380                         for(channel = 0; channel < channels; channel++) {
381                                 a_word = signal[channel][sample];
382                                 *buf_++ = (FLAC__byte)a_word; a_word >>= 8;
383                                 *buf_++ = (FLAC__byte)a_word; a_word >>= 8;
384                                 *buf_++ = (FLAC__byte)a_word; a_word >>= 8;
385                                 *buf_++ = (FLAC__byte)a_word;
386                         }
387                 }
388         }
389 }
390
391 /*
392  * Convert the incoming audio signal to a byte stream and FLAC__MD5Update it.
393  */
394 FLAC__bool FLAC__MD5Accumulate(FLAC__MD5Context *ctx, const FLAC__int32 * const signal[], unsigned channels, unsigned samples, unsigned bytes_per_sample)
395 {
396         const size_t bytes_needed = (size_t)channels * (size_t)samples * (size_t)bytes_per_sample;
397
398         /* overflow check */
399         if((size_t)channels > SIZE_MAX / (size_t)bytes_per_sample)
400                 return false;
401         if((size_t)channels * (size_t)bytes_per_sample > SIZE_MAX / (size_t)samples)
402                 return false;
403
404         if(ctx->capacity < bytes_needed) {
405                 FLAC__byte *tmp = realloc(ctx->internal_buf, bytes_needed);
406                 if(0 == tmp) {
407                         free(ctx->internal_buf);
408                         if(0 == (ctx->internal_buf = safe_malloc_(bytes_needed)))
409                                 return false;
410                 }
411                 else
412                         ctx->internal_buf = tmp;
413                 ctx->capacity = bytes_needed;
414         }
415
416         format_input_(ctx->internal_buf, signal, channels, samples, bytes_per_sample);
417
418         FLAC__MD5Update(ctx, ctx->internal_buf, bytes_needed);
419
420         return true;
421 }