Merging gst-plugins-ugly
[platform/upstream/gstreamer.git] / gst / realmedia / realhash.c
1 /* GStreamer
2  * Copyright (C) <2005,2006> Wim Taymans <wim@fluendo.com>
3  *
4  * This library is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU Library General Public
6  * License as published by the Free Software Foundation; either
7  * version 2 of the License, or (at your option) any later version.
8  *
9  * This library is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * Library General Public License for more details.
13  *
14  * You should have received a copy of the GNU Library General Public
15  * License along with this library; if not, write to the
16  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
17  * Boston, MA 02110-1301, USA.
18  */
19 /* Element-Checklist-Version: 5 */
20
21 #ifdef HAVE_CONFIG_H
22 #include "config.h"
23 #endif
24
25 #ifdef HAVE_STDINT_H
26 #include <stdint.h>
27 #endif
28
29 #include <string.h>
30
31 #include <gst/gst.h>
32
33 #include "realhash.h"
34
35 void rtsp_ext_real_calc_response_and_checksum (char *response,
36     char *chksum, char *challenge);
37
38 /*
39  * The following code has been copied from
40  * xine-lib-1.1.1/src/input/libreal/real.c.
41  */
42
43 static const unsigned char xor_table[] = {
44   0x05, 0x18, 0x74, 0xd0, 0x0d, 0x09, 0x02, 0x53,
45   0xc0, 0x01, 0x05, 0x05, 0x67, 0x03, 0x19, 0x70,
46   0x08, 0x27, 0x66, 0x10, 0x10, 0x72, 0x08, 0x09,
47   0x63, 0x11, 0x03, 0x71, 0x08, 0x08, 0x70, 0x02,
48   0x10, 0x57, 0x05, 0x18, 0x54, 0x00, 0x00, 0x00
49 };
50
51 #define LE_32(x) GST_READ_UINT32_LE(x)
52 #define BE_32C(x,y) GST_WRITE_UINT32_BE(x,y)
53 #define LE_32C(x,y) GST_WRITE_UINT32_LE(x,y)
54
55 static void
56 hash (char *field, char *param)
57 {
58   uint32_t a, b, c, d;
59
60   /* fill variables */
61   a = LE_32 (field);
62   b = LE_32 (field + 4);
63   c = LE_32 (field + 8);
64   d = LE_32 (field + 12);
65
66   a = ((b & c) | (~b & d)) + LE_32 ((param + 0x00)) + a - 0x28955B88;
67   a = ((a << 0x07) | (a >> 0x19)) + b;
68   d = ((a & b) | (~a & c)) + LE_32 ((param + 0x04)) + d - 0x173848AA;
69   d = ((d << 0x0c) | (d >> 0x14)) + a;
70   c = ((d & a) | (~d & b)) + LE_32 ((param + 0x08)) + c + 0x242070DB;
71   c = ((c << 0x11) | (c >> 0x0f)) + d;
72   b = ((c & d) | (~c & a)) + LE_32 ((param + 0x0c)) + b - 0x3E423112;
73   b = ((b << 0x16) | (b >> 0x0a)) + c;
74   a = ((b & c) | (~b & d)) + LE_32 ((param + 0x10)) + a - 0x0A83F051;
75   a = ((a << 0x07) | (a >> 0x19)) + b;
76   d = ((a & b) | (~a & c)) + LE_32 ((param + 0x14)) + d + 0x4787C62A;
77   d = ((d << 0x0c) | (d >> 0x14)) + a;
78   c = ((d & a) | (~d & b)) + LE_32 ((param + 0x18)) + c - 0x57CFB9ED;
79   c = ((c << 0x11) | (c >> 0x0f)) + d;
80   b = ((c & d) | (~c & a)) + LE_32 ((param + 0x1c)) + b - 0x02B96AFF;
81   b = ((b << 0x16) | (b >> 0x0a)) + c;
82   a = ((b & c) | (~b & d)) + LE_32 ((param + 0x20)) + a + 0x698098D8;
83   a = ((a << 0x07) | (a >> 0x19)) + b;
84   d = ((a & b) | (~a & c)) + LE_32 ((param + 0x24)) + d - 0x74BB0851;
85   d = ((d << 0x0c) | (d >> 0x14)) + a;
86   c = ((d & a) | (~d & b)) + LE_32 ((param + 0x28)) + c - 0x0000A44F;
87   c = ((c << 0x11) | (c >> 0x0f)) + d;
88   b = ((c & d) | (~c & a)) + LE_32 ((param + 0x2C)) + b - 0x76A32842;
89   b = ((b << 0x16) | (b >> 0x0a)) + c;
90   a = ((b & c) | (~b & d)) + LE_32 ((param + 0x30)) + a + 0x6B901122;
91   a = ((a << 0x07) | (a >> 0x19)) + b;
92   d = ((a & b) | (~a & c)) + LE_32 ((param + 0x34)) + d - 0x02678E6D;
93   d = ((d << 0x0c) | (d >> 0x14)) + a;
94   c = ((d & a) | (~d & b)) + LE_32 ((param + 0x38)) + c - 0x5986BC72;
95   c = ((c << 0x11) | (c >> 0x0f)) + d;
96   b = ((c & d) | (~c & a)) + LE_32 ((param + 0x3c)) + b + 0x49B40821;
97   b = ((b << 0x16) | (b >> 0x0a)) + c;
98
99   a = ((b & d) | (~d & c)) + LE_32 ((param + 0x04)) + a - 0x09E1DA9E;
100   a = ((a << 0x05) | (a >> 0x1b)) + b;
101   d = ((a & c) | (~c & b)) + LE_32 ((param + 0x18)) + d - 0x3FBF4CC0;
102   d = ((d << 0x09) | (d >> 0x17)) + a;
103   c = ((d & b) | (~b & a)) + LE_32 ((param + 0x2c)) + c + 0x265E5A51;
104   c = ((c << 0x0e) | (c >> 0x12)) + d;
105   b = ((c & a) | (~a & d)) + LE_32 ((param + 0x00)) + b - 0x16493856;
106   b = ((b << 0x14) | (b >> 0x0c)) + c;
107   a = ((b & d) | (~d & c)) + LE_32 ((param + 0x14)) + a - 0x29D0EFA3;
108   a = ((a << 0x05) | (a >> 0x1b)) + b;
109   d = ((a & c) | (~c & b)) + LE_32 ((param + 0x28)) + d + 0x02441453;
110   d = ((d << 0x09) | (d >> 0x17)) + a;
111   c = ((d & b) | (~b & a)) + LE_32 ((param + 0x3c)) + c - 0x275E197F;
112   c = ((c << 0x0e) | (c >> 0x12)) + d;
113   b = ((c & a) | (~a & d)) + LE_32 ((param + 0x10)) + b - 0x182C0438;
114   b = ((b << 0x14) | (b >> 0x0c)) + c;
115   a = ((b & d) | (~d & c)) + LE_32 ((param + 0x24)) + a + 0x21E1CDE6;
116   a = ((a << 0x05) | (a >> 0x1b)) + b;
117   d = ((a & c) | (~c & b)) + LE_32 ((param + 0x38)) + d - 0x3CC8F82A;
118   d = ((d << 0x09) | (d >> 0x17)) + a;
119   c = ((d & b) | (~b & a)) + LE_32 ((param + 0x0c)) + c - 0x0B2AF279;
120   c = ((c << 0x0e) | (c >> 0x12)) + d;
121   b = ((c & a) | (~a & d)) + LE_32 ((param + 0x20)) + b + 0x455A14ED;
122   b = ((b << 0x14) | (b >> 0x0c)) + c;
123   a = ((b & d) | (~d & c)) + LE_32 ((param + 0x34)) + a - 0x561C16FB;
124   a = ((a << 0x05) | (a >> 0x1b)) + b;
125   d = ((a & c) | (~c & b)) + LE_32 ((param + 0x08)) + d - 0x03105C08;
126   d = ((d << 0x09) | (d >> 0x17)) + a;
127   c = ((d & b) | (~b & a)) + LE_32 ((param + 0x1c)) + c + 0x676F02D9;
128   c = ((c << 0x0e) | (c >> 0x12)) + d;
129   b = ((c & a) | (~a & d)) + LE_32 ((param + 0x30)) + b - 0x72D5B376;
130   b = ((b << 0x14) | (b >> 0x0c)) + c;
131
132   a = (b ^ c ^ d) + LE_32 ((param + 0x14)) + a - 0x0005C6BE;
133   a = ((a << 0x04) | (a >> 0x1c)) + b;
134   d = (a ^ b ^ c) + LE_32 ((param + 0x20)) + d - 0x788E097F;
135   d = ((d << 0x0b) | (d >> 0x15)) + a;
136   c = (d ^ a ^ b) + LE_32 ((param + 0x2c)) + c + 0x6D9D6122;
137   c = ((c << 0x10) | (c >> 0x10)) + d;
138   b = (c ^ d ^ a) + LE_32 ((param + 0x38)) + b - 0x021AC7F4;
139   b = ((b << 0x17) | (b >> 0x09)) + c;
140   a = (b ^ c ^ d) + LE_32 ((param + 0x04)) + a - 0x5B4115BC;
141   a = ((a << 0x04) | (a >> 0x1c)) + b;
142   d = (a ^ b ^ c) + LE_32 ((param + 0x10)) + d + 0x4BDECFA9;
143   d = ((d << 0x0b) | (d >> 0x15)) + a;
144   c = (d ^ a ^ b) + LE_32 ((param + 0x1c)) + c - 0x0944B4A0;
145   c = ((c << 0x10) | (c >> 0x10)) + d;
146   b = (c ^ d ^ a) + LE_32 ((param + 0x28)) + b - 0x41404390;
147   b = ((b << 0x17) | (b >> 0x09)) + c;
148   a = (b ^ c ^ d) + LE_32 ((param + 0x34)) + a + 0x289B7EC6;
149   a = ((a << 0x04) | (a >> 0x1c)) + b;
150   d = (a ^ b ^ c) + LE_32 ((param + 0x00)) + d - 0x155ED806;
151   d = ((d << 0x0b) | (d >> 0x15)) + a;
152   c = (d ^ a ^ b) + LE_32 ((param + 0x0c)) + c - 0x2B10CF7B;
153   c = ((c << 0x10) | (c >> 0x10)) + d;
154   b = (c ^ d ^ a) + LE_32 ((param + 0x18)) + b + 0x04881D05;
155   b = ((b << 0x17) | (b >> 0x09)) + c;
156   a = (b ^ c ^ d) + LE_32 ((param + 0x24)) + a - 0x262B2FC7;
157   a = ((a << 0x04) | (a >> 0x1c)) + b;
158   d = (a ^ b ^ c) + LE_32 ((param + 0x30)) + d - 0x1924661B;
159   d = ((d << 0x0b) | (d >> 0x15)) + a;
160   c = (d ^ a ^ b) + LE_32 ((param + 0x3c)) + c + 0x1fa27cf8;
161   c = ((c << 0x10) | (c >> 0x10)) + d;
162   b = (c ^ d ^ a) + LE_32 ((param + 0x08)) + b - 0x3B53A99B;
163   b = ((b << 0x17) | (b >> 0x09)) + c;
164
165   a = ((~d | b) ^ c) + LE_32 ((param + 0x00)) + a - 0x0BD6DDBC;
166   a = ((a << 0x06) | (a >> 0x1a)) + b;
167   d = ((~c | a) ^ b) + LE_32 ((param + 0x1c)) + d + 0x432AFF97;
168   d = ((d << 0x0a) | (d >> 0x16)) + a;
169   c = ((~b | d) ^ a) + LE_32 ((param + 0x38)) + c - 0x546BDC59;
170   c = ((c << 0x0f) | (c >> 0x11)) + d;
171   b = ((~a | c) ^ d) + LE_32 ((param + 0x14)) + b - 0x036C5FC7;
172   b = ((b << 0x15) | (b >> 0x0b)) + c;
173   a = ((~d | b) ^ c) + LE_32 ((param + 0x30)) + a + 0x655B59C3;
174   a = ((a << 0x06) | (a >> 0x1a)) + b;
175   d = ((~c | a) ^ b) + LE_32 ((param + 0x0C)) + d - 0x70F3336E;
176   d = ((d << 0x0a) | (d >> 0x16)) + a;
177   c = ((~b | d) ^ a) + LE_32 ((param + 0x28)) + c - 0x00100B83;
178   c = ((c << 0x0f) | (c >> 0x11)) + d;
179   b = ((~a | c) ^ d) + LE_32 ((param + 0x04)) + b - 0x7A7BA22F;
180   b = ((b << 0x15) | (b >> 0x0b)) + c;
181   a = ((~d | b) ^ c) + LE_32 ((param + 0x20)) + a + 0x6FA87E4F;
182   a = ((a << 0x06) | (a >> 0x1a)) + b;
183   d = ((~c | a) ^ b) + LE_32 ((param + 0x3c)) + d - 0x01D31920;
184   d = ((d << 0x0a) | (d >> 0x16)) + a;
185   c = ((~b | d) ^ a) + LE_32 ((param + 0x18)) + c - 0x5CFEBCEC;
186   c = ((c << 0x0f) | (c >> 0x11)) + d;
187   b = ((~a | c) ^ d) + LE_32 ((param + 0x34)) + b + 0x4E0811A1;
188   b = ((b << 0x15) | (b >> 0x0b)) + c;
189   a = ((~d | b) ^ c) + LE_32 ((param + 0x10)) + a - 0x08AC817E;
190   a = ((a << 0x06) | (a >> 0x1a)) + b;
191   d = ((~c | a) ^ b) + LE_32 ((param + 0x2c)) + d - 0x42C50DCB;
192   d = ((d << 0x0a) | (d >> 0x16)) + a;
193   c = ((~b | d) ^ a) + LE_32 ((param + 0x08)) + c + 0x2AD7D2BB;
194   c = ((c << 0x0f) | (c >> 0x11)) + d;
195   b = ((~a | c) ^ d) + LE_32 ((param + 0x24)) + b - 0x14792C6F;
196   b = ((b << 0x15) | (b >> 0x0b)) + c;
197
198   a += LE_32 (field);
199   b += LE_32 (field + 4);
200   c += LE_32 (field + 8);
201   d += LE_32 (field + 12);
202
203   LE_32C (field, a);
204   LE_32C (field + 4, b);
205   LE_32C (field + 8, c);
206   LE_32C (field + 12, d);
207 }
208
209 static void
210 call_hash (char *key, char *challenge, int len)
211 {
212   uint8_t *ptr1, *ptr2;
213   uint32_t a, b, c, d, tmp;
214
215   ptr1 = (uint8_t *) (key + 16);
216   ptr2 = (uint8_t *) (key + 20);
217
218   a = LE_32 (ptr1);
219   b = (a >> 3) & 0x3f;
220   a += len * 8;
221   LE_32C (ptr1, a);
222
223   if (a < (len << 3))
224     ptr2 += 4;
225
226   tmp = LE_32 (ptr2) + (len >> 0x1d);
227   LE_32C (ptr2, tmp);
228   a = 64 - b;
229   c = 0;
230   if (a <= len) {
231
232     memcpy (key + b + 24, challenge, a);
233     hash (key, key + 24);
234     c = a;
235     d = c + 0x3f;
236
237     while (d < len) {
238       hash (key, challenge + d - 0x3f);
239       d += 64;
240       c += 64;
241     }
242     b = 0;
243   }
244
245   memcpy (key + b + 24, challenge + c, len - c);
246 }
247
248 void
249 gst_rtsp_ext_real_calc_response_and_checksum (char *response, char *chksum,
250     char *challenge)
251 {
252   int ch_len, table_len, resp_len;
253   int i;
254   char *ptr;
255   char buf[128];
256   char field[128];
257   char zres[20];
258   char buf1[128];
259   char buf2[128];
260
261   /* initialize return values */
262   memset (response, 0, 64);
263   memset (chksum, 0, 34);
264
265   /* initialize buffer */
266   memset (buf, 0, 128);
267   ptr = buf;
268   BE_32C (ptr, 0xa1e9149d);
269   ptr += 4;
270   BE_32C (ptr, 0x0e6b3b59);
271   ptr += 4;
272
273   if ((ch_len = MIN (strlen (challenge), 56)) == 40) {
274     challenge[32] = 0;
275     ch_len = 32;
276   }
277   memcpy (ptr, challenge, ch_len);
278
279   /* xor challenge bytewise with xor_table */
280   table_len = MIN (strlen ((char *) xor_table), 56);
281   for (i = 0; i < table_len; i++)
282     ptr[i] = ptr[i] ^ xor_table[i];
283
284   /* initialize our field */
285   BE_32C (field, 0x01234567);
286   BE_32C (field + 4, 0x89ABCDEF);
287   BE_32C (field + 8, 0xFEDCBA98);
288   BE_32C (field + 12, 0x76543210);
289   BE_32C (field + 16, 0x00000000);
290   BE_32C (field + 20, 0x00000000);
291
292   /* calculate response */
293   call_hash (field, buf, 64);
294   memset (buf1, 0, 64);
295   *buf1 = (char) 128;
296   memcpy (buf2, field + 16, 8);
297   i = (LE_32 ((buf2)) >> 3) & 0x3f;
298   if (i < 56)
299     i = 56 - i;
300   else
301     i = 120 - i;
302   call_hash (field, buf1, i);
303   call_hash (field, buf2, 8);
304   memcpy (zres, field, 16);
305
306   /* convert zres to ascii string */
307   for (i = 0; i < 16; i++) {
308     char a, b;
309
310     a = (zres[i] >> 4) & 15;
311     b = zres[i] & 15;
312
313     response[i * 2] = ((a < 10) ? (a + 48) : (a + 87)) & 255;
314     response[i * 2 + 1] = ((b < 10) ? (b + 48) : (b + 87)) & 255;
315   }
316
317   /* add tail */
318   resp_len = strlen (response);
319   strcpy (&response[resp_len], "01d0a8e3");
320
321   /* calculate checksum */
322   for (i = 0; i < resp_len / 4; i++)
323     chksum[i] = response[i * 4];
324 }