- copy parser swtab fix from Matz into other files
[platform/upstream/libsolv.git] / tools / repo_rpmmd.c
1 /*
2  * Copyright (c) 2007, Novell Inc.
3  *
4  * This program is licensed under the BSD license, read LICENSE.BSD
5  * for further information
6  */
7
8 #include <sys/types.h>
9 #include <limits.h>
10 #include <fcntl.h>
11 #include <stdio.h>
12 #include <stdlib.h>
13 #include <string.h>
14 #include <expat.h>
15
16 #include "pool.h"
17 #include "repo.h"
18 #define DISABLE_SPLIT
19 #include "tools_util.h"
20 #include "repo_rpmmd.h"
21
22
23 enum state {
24   STATE_START,
25
26   STATE_SOLVABLE,
27
28   STATE_NAME,
29   STATE_ARCH,
30   STATE_VERSION,
31
32   // package rpm-md
33   STATE_LOCATION,
34   STATE_CHECKSUM,
35   STATE_RPM_GROUP,
36   STATE_RPM_LICENSE,
37
38   /* resobject attributes */
39   STATE_SUMMARY,
40   STATE_DESCRIPTION,
41   STATE_DISTRIBUTION,
42   STATE_PACKAGER,
43   STATE_URL,
44   STATE_INSNOTIFY,
45   STATE_DELNOTIFY,
46   STATE_VENDOR,
47   STATE_SIZE,
48   STATE_TIME,
49   STATE_DOWNLOADSIZE,
50   STATE_INSTALLTIME,
51   STATE_INSTALLONLY,
52   
53   /* Novell/SUSE extended attributes */
54   STATE_EULA,
55   STATE_DISKUSAGE,
56   STATE_DIRS,
57   STATE_DIR,
58
59   /* patch */
60   STATE_ID,
61   STATE_TIMESTAMP,
62   STATE_AFFECTSPKG,
63   STATE_REBOOTNEEDED,
64
65   // pattern attributes
66   STATE_CATEGORY, /* pattern and patches */
67   STATE_SCRIPT,
68   STATE_ICON,
69   STATE_USERVISIBLE,
70   STATE_DEFAULT,
71   STATE_INSTALL_TIME,
72
73   /* product */
74   STATE_SHORTNAME,
75   STATE_DISTNAME, // obsolete
76   STATE_DISTEDITION, // obsolete
77   STATE_SOURCE,
78   STATE_TYPE,
79   STATE_RELNOTESURL,
80   STATE_UPDATEURL,
81   STATE_OPTIONALURL,
82   STATE_FLAG,
83   STATE_FLAVOR,
84   STATE_REFERENCES,
85
86   /* rpm-md dependencies inside the
87      format tag */
88   STATE_PROVIDES,
89   STATE_REQUIRES,
90   STATE_OBSOLETES,
91   STATE_CONFLICTS,
92   STATE_RECOMMENDS,
93   STATE_SUPPLEMENTS,
94   STATE_SUGGESTS,
95   STATE_ENHANCES,
96   STATE_FRESHENS,
97   STATE_SOURCERPM,
98   STATE_HEADERRANGE,
99
100   STATE_PROVIDESENTRY,
101   STATE_REQUIRESENTRY,
102   STATE_OBSOLETESENTRY,
103   STATE_CONFLICTSENTRY,
104   STATE_RECOMMENDSENTRY,
105   STATE_SUPPLEMENTSENTRY,
106   STATE_SUGGESTSENTRY,
107   STATE_ENHANCESENTRY,
108   STATE_FRESHENSENTRY,
109
110   STATE_FILE,
111
112   // general
113   NUMSTATES
114 };
115
116 struct stateswitch {
117   enum state from;
118   char *ename;
119   enum state to;
120   int docontent;
121 };
122
123 static struct stateswitch stateswitches[] = {
124   /** fake tag used to enclose 2 different xml files in one **/
125   { STATE_START,       "rpmmd",           STATE_START,    0 },
126
127   /** tags for different package data, we just ignore the tag **/
128   { STATE_START,       "metadata",        STATE_START,    0 },
129   { STATE_START,       "otherdata",       STATE_START,    0 },
130   { STATE_START,       "diskusagedata",   STATE_START,    0 },
131   { STATE_START,       "susedata",        STATE_START,    0 },
132
133   { STATE_START,       "product",         STATE_SOLVABLE, 0 },
134   { STATE_START,       "pattern",         STATE_SOLVABLE, 0 },
135   { STATE_START,       "patch",           STATE_SOLVABLE, 0 },
136   { STATE_START,       "package",         STATE_SOLVABLE, 0 },
137   
138   { STATE_SOLVABLE,    "name",            STATE_NAME, 1 },
139   { STATE_SOLVABLE,    "arch",            STATE_ARCH, 1 },
140   { STATE_SOLVABLE,    "version",         STATE_VERSION, 0 },
141
142   // package attributes rpm-md
143   { STATE_SOLVABLE,    "location",        STATE_LOCATION, 0 },
144   { STATE_SOLVABLE,    "checksum",        STATE_CHECKSUM, 1 },
145   
146   /* resobject attributes */
147
148   { STATE_SOLVABLE,    "summary",         STATE_SUMMARY,      1 },
149   { STATE_SOLVABLE,    "description",     STATE_DESCRIPTION,  1 },
150   { STATE_SOLVABLE,    "distribution",    STATE_DISTRIBUTION, 1 },
151   { STATE_SOLVABLE,    "url",             STATE_URL,          1 },
152   { STATE_SOLVABLE,    "packager",        STATE_PACKAGER,     1 },
153   //{ STATE_SOLVABLE,    "???",         STATE_INSNOTIFY, 1 },
154   //{ STATE_SOLVABLE,    "??",     STATE_DELNOTIFY, 1 },
155   { STATE_SOLVABLE,    "vendor",          STATE_VENDOR,       1 },
156   { STATE_SOLVABLE,    "size",            STATE_SIZE,         0 },
157   { STATE_SOLVABLE,    "archive-size",    STATE_DOWNLOADSIZE, 1 },
158   { STATE_SOLVABLE,    "install-time",    STATE_INSTALLTIME,  1 },
159   { STATE_SOLVABLE,    "install-only",    STATE_INSTALLONLY,  1 },
160   { STATE_SOLVABLE,    "time",            STATE_TIME,         0 },
161
162   /* extended Novell/SUSE attributes (susedata.xml) */
163   { STATE_SOLVABLE,    "eula",            STATE_EULA,         1 },
164   { STATE_SOLVABLE,    "diskusage",       STATE_DISKUSAGE,    0 },
165
166   // pattern attribute
167   { STATE_SOLVABLE,    "script",          STATE_SCRIPT,        1 },
168   { STATE_SOLVABLE,    "icon",            STATE_ICON,          1 },
169   { STATE_SOLVABLE,    "uservisible",     STATE_USERVISIBLE,   1 },
170   { STATE_SOLVABLE,    "category",        STATE_CATEGORY,      1 },
171   { STATE_SOLVABLE,    "default",         STATE_DEFAULT,       1 },
172   { STATE_SOLVABLE,    "install-time",    STATE_INSTALL_TIME,  1 },
173
174   /* product attributes */
175   /* note the product type is an attribute */
176   { STATE_SOLVABLE,    "release-notes-url", STATE_RELNOTESURL, 1 },
177   { STATE_SOLVABLE,    "update-url",        STATE_UPDATEURL,   1 },
178   { STATE_SOLVABLE,    "optional-url",      STATE_OPTIONALURL, 1 },
179   { STATE_SOLVABLE,    "flag",              STATE_FLAG,        1 },
180   { STATE_SOLVABLE,    "flavor",            STATE_FLAVOR,      1 },
181   { STATE_SOLVABLE,    "references",        STATE_REFERENCES,  1 },
182
183   { STATE_SOLVABLE,      "rpm:vendor",      STATE_VENDOR,      1 },
184   { STATE_SOLVABLE,      "rpm:group",       STATE_RPM_GROUP,   1 },
185   { STATE_SOLVABLE,      "rpm:license",     STATE_RPM_LICENSE, 1 },
186
187   /* rpm-md dependencies */ 
188   { STATE_SOLVABLE,      "rpm:provides",    STATE_PROVIDES,     0 },
189   { STATE_SOLVABLE,      "rpm:requires",    STATE_REQUIRES,     0 },
190   { STATE_SOLVABLE,      "rpm:obsoletes",   STATE_OBSOLETES,    0 },
191   { STATE_SOLVABLE,      "rpm:conflicts",   STATE_CONFLICTS,    0 },
192   { STATE_SOLVABLE,      "rpm:recommends",  STATE_RECOMMENDS ,  0 },
193   { STATE_SOLVABLE,      "rpm:supplements", STATE_SUPPLEMENTS,  0 },
194   { STATE_SOLVABLE,      "rpm:suggests",    STATE_SUGGESTS,     0 },
195   { STATE_SOLVABLE,      "rpm:enhances",    STATE_ENHANCES,     0 },
196   { STATE_SOLVABLE,      "rpm:freshens",    STATE_FRESHENS,     0 },
197   { STATE_SOLVABLE,      "rpm:sourcerpm",   STATE_SOURCERPM,    1 },
198   { STATE_SOLVABLE,      "rpm:header-range", STATE_HEADERRANGE, 0 },
199   { STATE_SOLVABLE,      "file",            STATE_FILE, 1 },
200   
201    /* extended Novell/SUSE dskusage attributes (suseinfo.xml) */
202   { STATE_DISKUSAGE,   "dirs",            STATE_DIRS,         0 },
203   { STATE_DIRS,        "dir",             STATE_DIR,          0 },
204
205   { STATE_PROVIDES,    "rpm:entry",       STATE_PROVIDESENTRY, 0 },
206   { STATE_REQUIRES,    "rpm:entry",       STATE_REQUIRESENTRY, 0 },
207   { STATE_OBSOLETES,   "rpm:entry",       STATE_OBSOLETESENTRY, 0 },
208   { STATE_CONFLICTS,   "rpm:entry",       STATE_CONFLICTSENTRY, 0 },
209   { STATE_RECOMMENDS,  "rpm:entry",       STATE_RECOMMENDSENTRY, 0 },
210   { STATE_SUPPLEMENTS, "rpm:entry",       STATE_SUPPLEMENTSENTRY, 0 },
211   { STATE_SUGGESTS,    "rpm:entry",       STATE_SUGGESTSENTRY, 0 },
212   { STATE_ENHANCES,    "rpm:entry",       STATE_ENHANCESENTRY, 0 },
213   { STATE_FRESHENS,    "rpm:entry",       STATE_FRESHENSENTRY, 0 },
214   
215   { NUMSTATES}
216 };
217
218 /* maxmum initial size of
219    the checksum cache */
220 #define MAX_CSCACHE 32768
221 #define CSREALLOC_STEP 1024
222
223 struct parsedata {
224   struct parsedata_common common;
225   char *kind;
226   int depth;
227   enum state state;
228   int statedepth;
229   char *content;
230   int lcontent;
231   int acontent;
232   int docontent;
233   Solvable *solvable;
234   Offset freshens;
235   struct stateswitch *swtab[NUMSTATES];
236   enum state sbtab[NUMSTATES];
237   /* temporal to store attribute tag language */
238   const char *tmplang;
239   const char *capkind;
240   // used to store tmp attributes
241   // while the tag ends
242   const char *tmpattr;
243   Repodata *data;
244   Id handle;
245   XML_Parser *parser;
246   Id (*dirs)[3]; // dirid, size, nfiles
247   int ndirs;
248   Id langcache[ID_NUM_INTERNAL];
249   /** system language */
250   const char *language;
251
252   /** Hash to maps checksums to solv */
253   Stringpool cspool;
254   /** Cache of known checksums to solvable id */
255   Id *cscache;
256   /* the current longest index in the table */
257   int ncscache;
258 };
259
260 static Id
261 langtag(struct parsedata *pd, Id tag, const char *language)
262 {
263   if (language && !language[0])
264     language = 0;
265   if (!language || tag >= ID_NUM_INTERNAL)
266     return pool_id2langid(pd->common.repo->pool, tag, language, 1);
267   return pool_id2langid(pd->common.repo->pool, tag, language, 1);
268   if (!pd->langcache[tag])
269     pd->langcache[tag] = pool_id2langid(pd->common.repo->pool, tag, language, 1);
270   return pd->langcache[tag];
271 }
272
273 static int
274 id3_cmp (const void *v1, const void *v2)
275 {
276   Id *i1 = (Id*)v1;
277   Id *i2 = (Id*)v2;
278   return i1[0] - i2[0];
279 }
280
281 static void
282 commit_diskusage (struct parsedata *pd, unsigned handle)
283 {
284   unsigned i;
285   Dirpool *dp = &pd->data->dirpool;
286   /* Now sort in dirid order.  This ensures that parents come before
287      their children.  */
288   if (pd->ndirs > 1)
289     qsort(pd->dirs, pd->ndirs, sizeof (pd->dirs[0]), id3_cmp);
290   /* Substract leaf numbers from all parents to make the numbers
291      non-cumulative.  This must be done post-order (i.e. all leafs
292      adjusted before parents).  We ensure this by starting at the end of
293      the array moving to the start, hence seeing leafs before parents.  */
294   for (i = pd->ndirs; i--;)
295     {
296       unsigned p = dirpool_parent(dp, pd->dirs[i][0]);
297       unsigned j = i;
298       for (; p; p = dirpool_parent(dp, p))
299         {
300           for (; j--;)
301             if (pd->dirs[j][0] == p)
302               break;
303           if (j < pd->ndirs)
304             {
305               if (pd->dirs[j][1] < pd->dirs[i][1])
306                 pd->dirs[j][1] = 0;
307               else
308                 pd->dirs[j][1] -= pd->dirs[i][1];
309               if (pd->dirs[j][2] < pd->dirs[i][2])
310                 pd->dirs[j][2] = 0;
311               else
312                 pd->dirs[j][2] -= pd->dirs[i][2];
313             }
314           else
315             /* Haven't found this parent in the list, look further if
316                we maybe find the parents parent.  */
317             j = i;
318         }
319     }
320 #if 0
321   char sbuf[1024];
322   char *buf = sbuf;
323   unsigned slen = sizeof (sbuf);
324   for (i = 0; i < pd->ndirs; i++)
325     {
326       dir2str (attr, pd->dirs[i][0], &buf, &slen);
327       fprintf (stderr, "have dir %d %d %d %s\n", pd->dirs[i][0], pd->dirs[i][1], pd->dirs[i][2], buf);
328     }
329   if (buf != sbuf)
330     free (buf);
331 #endif
332   for (i = 0; i < pd->ndirs; i++)
333     if (pd->dirs[i][1] || pd->dirs[i][2])
334       {
335         repodata_add_dirnumnum(pd->data, handle, SOLVABLE_DISKUSAGE, pd->dirs[i][0], pd->dirs[i][1], pd->dirs[i][2]);
336       }
337   pd->ndirs = 0;
338 }
339
340
341 /*
342  * makeevr_atts
343  * parse 'epoch', 'ver' and 'rel', return evr Id
344  * 
345  */
346
347 static Id
348 makeevr_atts(Pool *pool, struct parsedata *pd, const char **atts)
349 {
350   const char *e, *v, *r, *v2;
351   char *c;
352   int l;
353
354   e = v = r = 0;
355   for (; *atts; atts += 2)
356     {
357       if (!strcmp(*atts, "epoch"))
358         e = atts[1];
359       else if (!strcmp(*atts, "ver"))
360         v = atts[1];
361       else if (!strcmp(*atts, "rel"))
362         r = atts[1];
363     }
364   if (e && !strcmp(e, "0"))
365     e = 0;
366   if (v && !e)
367     {
368       for (v2 = v; *v2 >= '0' && *v2 <= '9'; v2++)
369         ;
370       if (v2 > v && *v2 == ':')
371         e = "0";
372     }
373   l = 1;
374   if (e)
375     l += strlen(e) + 1;
376   if (v)
377     l += strlen(v);
378   if (r)
379     l += strlen(r) + 1;
380   if (l > pd->acontent)
381     {
382       pd->content = sat_realloc(pd->content, l + 256);
383       pd->acontent = l + 256;
384     }
385   c = pd->content;
386   if (e)
387     {
388       strcpy(c, e);
389       c += strlen(c);
390       *c++ = ':';
391     }
392   if (v)
393     {
394       strcpy(c, v);
395       c += strlen(c);
396     }
397   if (r)
398     {
399       *c++ = '-';
400       strcpy(c, r);
401       c += strlen(c);
402     }
403   *c = 0;
404   if (!*pd->content)
405     return 0;
406 #if 0
407   fprintf(stderr, "evr: %s\n", pd->content);
408 #endif
409   return str2id(pool, pd->content, 1);
410 }
411
412
413 /*
414  * find_attr
415  * find value for xml attribute
416  * I: txt, name of attribute
417  * I: atts, list of key/value attributes
418  * O: pointer to value of matching key, or NULL
419  * 
420  */
421
422 static inline const char *
423 find_attr(const char *txt, const char **atts)
424 {
425   for (; *atts; atts += 2)
426     {
427       if (!strcmp(*atts, txt))
428         return atts[1];
429     }
430   return 0;
431 }
432
433
434 /*
435  * dependency relations
436  */
437
438 static char *flagtab[] = {
439   "GT",
440   "EQ",
441   "GE",
442   "LT",
443   "NE",
444   "LE"
445 };
446
447
448 /*
449  * adddep
450  * parse attributes to reldep Id
451  * 
452  */
453
454 static unsigned int
455 adddep(Pool *pool, struct parsedata *pd, unsigned int olddeps, const char **atts, int isreq)
456 {
457   Id id, name, marker;
458   const char *n, *f, *k;
459   const char **a;
460
461   n = f = k = 0;
462   marker = isreq ? -SOLVABLE_PREREQMARKER : 0;
463   for (a = atts; *a; a += 2)
464     {
465       if (!strcmp(*a, "name"))
466         n = a[1];
467       else if (!strcmp(*a, "flags"))
468         f = a[1];
469       else if (!strcmp(*a, "kind"))
470         k = a[1];
471       else if (isreq && !strcmp(*a, "pre") && a[1][0] == '1')
472         marker = SOLVABLE_PREREQMARKER;
473     }
474   if (!n)
475     return olddeps;
476   if (k && !strcmp(k, "package"))
477     k = 0;
478   if (k)
479     {
480       int l = strlen(k) + 1 + strlen(n) + 1;
481       if (l > pd->acontent)
482         {
483           pd->content = sat_realloc(pd->content, l + 256);
484           pd->acontent = l + 256;
485         }
486       sprintf(pd->content, "%s:%s", k, n); 
487       name = str2id(pool, pd->content, 1); 
488     }
489   else
490     name = str2id(pool, (char *)n, 1);
491   if (f)
492     {
493       Id evr = makeevr_atts(pool, pd, atts);
494       int flags;
495       for (flags = 0; flags < 6; flags++)
496         if (!strcmp(f, flagtab[flags]))
497           break;
498       flags = flags < 6 ? flags + 1 : 0;
499       id = rel2id(pool, name, evr, flags, 1);
500     }
501   else
502     id = name;
503 #if 0
504   fprintf(stderr, "new dep %s%s%s\n", id2str(pool, d), id2rel(pool, d), id2evr(pool, d));
505 #endif
506   return repo_addid_dep(pd->common.repo, olddeps, id, marker);
507 }
508
509
510 /*
511  * set_desciption_author
512  *
513  */
514
515 static void
516 set_desciption_author(Repodata *data, Id handle, char *str)
517 {
518   char *aut, *p;
519
520   if (!str || !*str)
521     return;
522   for (aut = str; (aut = strchr(aut, '\n')) != 0; aut++)
523     if (!strncmp(aut, "\nAuthors:\n--------\n", 19)) 
524       break;
525   if (aut)
526     {
527       /* oh my, found SUSE special author section */
528       int l = aut - str; 
529       str[l] = 0; 
530       while (l > 0 && str[l - 1] == '\n')
531         str[--l] = 0; 
532       if (l)
533         repodata_set_str(data, handle, SOLVABLE_DESCRIPTION, str);
534       p = aut + 19;
535       aut = str;        /* copy over */
536       while (*p == ' ' || *p == '\n')
537         p++;
538       while (*p) 
539         {
540           if (*p == '\n')
541             {
542               *aut++ = *p++;
543               while (*p == ' ') 
544                 p++;
545               continue;
546             }
547           *aut++ = *p++;
548         }
549       while (aut != str && aut[-1] == '\n')
550         aut--;
551       *aut = 0; 
552       if (*str)
553         repodata_set_str(data, handle, SOLVABLE_AUTHORS, str);
554     }
555   else if (*str)
556     repodata_set_str(data, handle, SOLVABLE_DESCRIPTION, str);
557 }
558
559
560 /*
561  * set_sourcerpm
562  * 
563  */
564
565 static void
566 set_sourcerpm(Repodata *data, Solvable *s, Id handle, char *sourcerpm)
567 {
568   const char *p, *sevr, *sarch, *name, *evr;
569   Pool *pool;
570
571   p = strrchr(sourcerpm, '.');
572   if (!p || strcmp(p, ".rpm") != 0)
573     return;
574   p--;
575   while (p > sourcerpm && *p != '.')
576     p--;
577   if (*p != '.' || p == sourcerpm)
578     return;
579   sarch = p-- + 1;
580   while (p > sourcerpm && *p != '-')
581     p--;
582   if (*p != '-' || p == sourcerpm)
583     return;
584   p--;
585   while (p > sourcerpm && *p != '-')
586     p--;
587   if (*p != '-' || p == sourcerpm)
588     return;
589   sevr = p + 1;
590   pool = s->repo->pool;
591   name = id2str(pool, s->name);
592   evr = id2str(pool, s->evr);
593   if (!strcmp(sarch, "src.rpm"))
594     repodata_set_constantid(data, handle, SOLVABLE_SOURCEARCH, ARCH_SRC);
595   else if (!strcmp(sarch, "nosrc.rpm"))
596     repodata_set_constantid(data, handle, SOLVABLE_SOURCEARCH, ARCH_NOSRC);
597   else
598     repodata_set_constantid(data, handle, SOLVABLE_SOURCEARCH, strn2id(pool, sarch, strlen(sarch) - 4, 1));
599   if (!strncmp(sevr, evr, sarch - sevr - 1) && evr[sarch - sevr - 1] == 0)
600     repodata_set_void(data, handle, SOLVABLE_SOURCEEVR);
601   else
602     repodata_set_id(data, handle, SOLVABLE_SOURCEEVR, strn2id(pool, sevr, sarch - sevr - 1, 1));
603   if (!strncmp(sourcerpm, name, sevr - sourcerpm - 1) && name[sevr - sourcerpm -
604  1] == 0)
605     repodata_set_void(data, handle, SOLVABLE_SOURCENAME);
606   else
607     repodata_set_id(data, handle, SOLVABLE_SOURCENAME, strn2id(pool, sourcerpm, sevr - sourcerpm - 1, 1));
608 }
609
610 /*-----------------------------------------------*/
611 /* XML callbacks */
612
613 /*
614  * startElement
615  * XML callback
616  * 
617  */
618
619 static void XMLCALL
620 startElement(void *userData, const char *name, const char **atts)
621 {
622   //fprintf(stderr,"+tag: %s\n", name);
623   struct parsedata *pd = userData;
624   Pool *pool = pd->common.pool;
625   Solvable *s = pd->solvable;
626   struct stateswitch *sw;
627   const char *str;
628   Id handle = pd->handle;
629
630   // fprintf(stderr, "into %s, from %d, depth %d, statedepth %d\n", name, pd->state, pd->depth, pd->statedepth);
631
632   if (pd->depth != pd->statedepth)
633     {
634       pd->depth++;
635       return;
636     }
637
638   if (pd->state == STATE_START && !strcmp(name, "patterns"))
639     return;
640   //if (pd->state == STATE_START && !strcmp(name, "metadata"))
641   //  return;
642   if (pd->state == STATE_SOLVABLE && !strcmp(name, "format"))
643     return;
644
645   pd->depth++;
646   if (!pd->swtab[pd->state])
647     return;
648   for (sw = pd->swtab[pd->state]; sw->from == pd->state; sw++)
649     if (!strcmp(sw->ename, name))
650       break;
651   if (sw->from != pd->state)
652     {
653 #if 0
654       fprintf(stderr, "into unknown: %s\n", name);
655 #endif
656       return;
657     }
658   pd->state = sw->to;
659   pd->docontent = sw->docontent;
660   pd->statedepth = pd->depth;
661   pd->lcontent = 0;
662   *pd->content = 0;
663   switch(pd->state)
664     {
665     case STATE_SOLVABLE:
666       pd->kind = 0;
667       if (name[2] == 't' && name[3] == 't')
668         pd->kind = "pattern";
669       else if (name[1] == 'r')
670         pd->kind = "product";
671       else if (name[2] == 't' && name[3] == 'c')
672         pd->kind = "patch";
673       
674       /* to support extension metadata files like others.xml which
675          have the following structure:
676
677          <otherdata xmlns="http://linux.duke.edu/metadata/other"
678                     packages="101">
679            <package pkgid="b78f8664cd90efe42e09a345e272997ef1b53c18"
680                     name="zaptel-kmp-default"
681                     arch="i586"><version epoch="0"
682                     ver="1.2.10_2.6.22_rc4_git6_2" rel="70"/>
683               ...
684
685          we need to check if the pkgid is there and if it matches
686          an already seen package, that means we don't need to create
687          a new solvable but just append the attributes to the existing
688          one.
689       */
690       const char *pkgid;
691       if ((pkgid = find_attr("pkgid", atts)) != NULL)
692         {
693           // look at the checksum cache
694           Id index = stringpool_str2id(&pd->cspool, pkgid, 0);
695           if (!index || index >= pd->ncscache || !pd->cscache[index])
696             {
697               fprintf(stderr, "error, the repository specifies extra information about package with checksum '%s', which does not exist in the repository.\n", pkgid);
698               exit(1);
699             }
700           pd->solvable = pool_id2solvable(pool, pd->cscache[index]);
701         }
702        else
703         {
704           /* this is a new package */
705           pd->solvable = pool_id2solvable(pool, repo_add_solvable(pd->common.repo));
706           pd->freshens = 0;
707           repodata_extend(pd->data, pd->solvable - pool->solvables);
708         }
709       pd->handle = repodata_get_handle(pd->data, (pd->solvable - pool->solvables) - pd->data->start);
710 #if 0
711       fprintf(stderr, "package #%d\n", pd->solvable - pool->solvables);
712 #endif
713
714       break;
715     case STATE_VERSION:
716       s->evr = makeevr_atts(pool, pd, atts);
717       break;
718     case STATE_PROVIDES:
719       s->provides = 0;
720       break;
721     case STATE_PROVIDESENTRY:
722       s->provides = adddep(pool, pd, s->provides, atts, 0);
723       break;
724     case STATE_REQUIRES:
725       s->requires = 0;
726       break;
727     case STATE_REQUIRESENTRY:
728       s->requires = adddep(pool, pd, s->requires, atts, 1);
729       break;
730     case STATE_OBSOLETES:
731       s->obsoletes = 0;
732       break;
733     case STATE_OBSOLETESENTRY:
734       s->obsoletes = adddep(pool, pd, s->obsoletes, atts, 0);
735       break;
736     case STATE_CONFLICTS:
737       s->conflicts = 0;
738       break;
739     case STATE_CONFLICTSENTRY:
740       s->conflicts = adddep(pool, pd, s->conflicts, atts, 0);
741       break;
742     case STATE_RECOMMENDS:
743       s->recommends = 0;
744       break;
745     case STATE_RECOMMENDSENTRY:
746       s->recommends = adddep(pool, pd, s->recommends, atts, 0);
747       break;
748     case STATE_SUPPLEMENTS:
749       s->supplements= 0;
750       break;
751     case STATE_SUPPLEMENTSENTRY:
752       s->supplements = adddep(pool, pd, s->supplements, atts, 0);
753       break;
754     case STATE_SUGGESTS:
755       s->suggests = 0;
756       break;
757     case STATE_SUGGESTSENTRY:
758       s->suggests = adddep(pool, pd, s->suggests, atts, 0);
759       break;
760     case STATE_ENHANCES:
761       s->enhances = 0;
762       break;
763     case STATE_ENHANCESENTRY:
764       s->enhances = adddep(pool, pd, s->enhances, atts, 0);
765       break;
766     case STATE_FRESHENS:
767       pd->freshens = 0;
768       break;
769     case STATE_FRESHENSENTRY:
770       pd->freshens = adddep(pool, pd, pd->freshens, atts, 0);
771       break;
772     case STATE_SUMMARY:
773     case STATE_DESCRIPTION:
774       pd->tmplang = find_attr("lang", atts);
775       break;
776     case STATE_LOCATION:
777       str = find_attr("href", atts);
778       if (str)
779         {
780           const char *str2 = strrchr(str, '/');
781           if (str2)
782             {
783               char *str3 = strdup(str);
784               str3[str2 - str] = 0;
785               repodata_set_poolstr(pd->data, handle, SOLVABLE_MEDIADIR, str3);
786               free(str3);
787               repodata_set_str(pd->data, handle, SOLVABLE_MEDIAFILE, str2 + 1);
788             }
789           else
790             repodata_set_str(pd->data, handle, SOLVABLE_MEDIAFILE, str);
791         }
792       break;
793     case STATE_CHECKSUM:
794       pd->tmpattr = find_attr("type", atts);
795       break;
796     case STATE_TIME:
797       {
798         unsigned int t;
799         str = find_attr("build", atts);
800         if (str && (t = atoi(str)) != 0)
801           repodata_set_num(pd->data, handle, SOLVABLE_BUILDTIME, t);
802         break;
803       }
804     case STATE_SIZE:
805       {
806         unsigned int k;
807         str = find_attr("installed", atts);
808         if (str && (k = atoi(str)) != 0)
809           repodata_set_num(pd->data, handle, SOLVABLE_INSTALLSIZE, (k + 1023) / 1024);
810         /* XXX the "package" attribute gives the size of the rpm file,
811            i.e. the download size.  Except on packman, there it seems to be
812            something else entirely, it has a value near to the other two
813            values, as if the rpm is uncompressed.  */
814         str = find_attr("package", atts);
815         if (str && (k = atoi(str)) != 0)
816           repodata_set_num(pd->data, handle, SOLVABLE_DOWNLOADSIZE, (k + 1023) / 1024);
817         break;
818       }
819     case STATE_HEADERRANGE:
820       {
821         unsigned int end;
822         str = find_attr("end", atts);
823         if (str && (end = atoi(str)) != 0)
824           repodata_set_num(pd->data, handle, SOLVABLE_HEADEREND, end);
825       }
826       /*
827         <diskusage>
828           <dirs>
829             <dir name="/" size="56" count="11"/>
830             <dir name="usr/" size="56" count="11"/>
831             <dir name="usr/bin/" size="38" count="10"/>
832             <dir name="usr/share/" size="18" count="1"/>
833             <dir name="usr/share/doc/" size="18" count="1"/>
834           </dirs>
835         </diskusage>
836       */
837     case STATE_DISKUSAGE:
838       {
839         /* Really, do nothing, wat for <dir> tag */
840         break;
841       }
842     case STATE_DIR:  
843       {
844         long filesz = 0, filenum = 0;
845         unsigned dirid;
846         if ( (str = find_attr("name", atts)) )
847           {
848             dirid = repodata_str2dir(pd->data, str, 1);
849           }
850         else
851           {           
852             fprintf( stderr, "<dir .../> tag without 'name' attribute, atts = %p, *atts = %p\n", atts, *atts);
853             break;
854           }
855         if ( (str = find_attr("size", atts)) )
856           {
857             filesz = strtol (str, 0, 0);
858           }
859         if ( (str = find_attr("count", atts)) )
860           {
861             filenum = strtol (str, 0, 0);
862           }
863         pd->dirs = sat_extend(pd->dirs, pd->ndirs, 1, sizeof(pd->dirs[0]), 31);
864         pd->dirs[pd->ndirs][0] = dirid;
865         pd->dirs[pd->ndirs][1] = filesz;
866         pd->dirs[pd->ndirs][2] = filenum;
867         pd->ndirs++;
868         break;
869       }
870     default:
871       break;
872     }
873 }
874
875
876 /*
877  * endElement
878  * XML callback
879  * 
880  */
881
882 static void XMLCALL
883 endElement(void *userData, const char *name)
884 {
885   //fprintf(stderr,"-tag: %s\n", name);
886   struct parsedata *pd = userData;
887   Pool *pool = pd->common.pool;
888   Solvable *s = pd->solvable;
889   Repo *repo = pd->common.repo;
890   Id handle = pd->handle;
891   Id id;
892   char *p;
893
894   if (pd->depth != pd->statedepth)
895     {
896       pd->depth--;
897       // printf("back from unknown %d %d %d\n", pd->state, pd->depth, pd->statedepth);
898       return;
899     }
900
901   /* ignore patterns & metadata */
902   if (pd->state == STATE_START && !strcmp(name, "patterns"))
903     return;
904   //if (pd->state == STATE_START && !strcmp(name, "metadata"))
905   //  return;
906   if (pd->state == STATE_SOLVABLE && !strcmp(name, "format"))
907     return;
908
909   pd->depth--;
910   pd->statedepth--;
911   switch (pd->state)
912     {
913     case STATE_SOLVABLE:
914       if (!s->arch)
915         s->arch = ARCH_NOARCH;
916       if (!s->evr)
917         s->evr = ID_EMPTY;      /* some patterns have this */
918       if (s->arch != ARCH_SRC && s->arch != ARCH_NOSRC)
919         s->provides = repo_addid_dep(repo, s->provides, rel2id(pool, s->name, s->evr, REL_EQ, 1), 0);
920       s->supplements = repo_fix_supplements(repo, s->provides, s->supplements, pd->freshens);
921       s->conflicts = repo_fix_conflicts(repo, s->conflicts);
922       pd->freshens = 0;
923       pd->kind = 0;
924       break;
925     case STATE_NAME:
926       if ( pd->kind )
927           s->name = str2id(pool, join2( pd->kind, ":", pd->content), 1);
928       else
929           s->name = str2id(pool, pd->content, 1);
930       break;
931     case STATE_ARCH:
932       s->arch = str2id(pool, pd->content, 1);
933       break;
934     case STATE_VENDOR:
935       s->vendor = str2id(pool, pd->content, 1);
936       break;
937     case STATE_RPM_GROUP:
938       repodata_set_poolstr(pd->data, handle, SOLVABLE_GROUP, pd->content);
939       break;
940     case STATE_RPM_LICENSE:
941       repodata_set_poolstr(pd->data, handle, SOLVABLE_LICENSE, pd->content);
942       break;
943     case STATE_CHECKSUM:
944       {
945         int l;
946         Id type, index;
947         if (!strcasecmp (pd->tmpattr, "sha") || !strcasecmp (pd->tmpattr, "sha1"))
948           l = SIZEOF_SHA1 * 2, type = REPOKEY_TYPE_SHA1;
949         else if (!strcasecmp (pd->tmpattr, "md5"))
950           l = SIZEOF_MD5 * 2, type = REPOKEY_TYPE_MD5;
951         else
952           {
953             fprintf(stderr, "Unknown checksum type: %d: %s\n", (unsigned int)XML_GetCurrentLineNumber(*pd->parser), pd->tmpattr);
954             exit(1);
955           }
956         if (strlen(pd->content) != l)
957           {
958             fprintf(stderr, "Invalid checksum length: %d: for %s\n", (unsigned int)XML_GetCurrentLineNumber(*pd->parser), pd->tmpattr);
959             exit(1);
960           }
961         repodata_set_checksum(pd->data, handle, SOLVABLE_CHECKSUM, type, pd->content);
962         /* we save the checksum to solvable id relationship for extended
963            metadata */
964         index = stringpool_str2id(&pd->cspool, pd->content, 1 /* create it */);
965         if (index >= pd->ncscache)
966           {
967             pd->cscache = sat_zextend(pd->cscache, pd->ncscache, index + 1 - pd->ncscache, sizeof(Id), 255);
968             pd->ncscache = index + 1;
969           }
970         /* add the checksum to the cache */
971         pd->cscache[index] = s - pool->solvables;
972         break;
973       }
974     case STATE_FILE:
975 #if 0
976       id = str2id(pool, pd->content, 1);
977       s->provides = repo_addid_dep(repo, s->provides, id, SOLVABLE_FILEMARKER);
978 #endif
979       if ((p = strrchr(pd->content, '/')) != 0)
980         {
981           *p++ = 0;
982           id = repodata_str2dir(pd->data, pd->content, 1);
983         }
984       else
985         {
986           p = pd->content;
987           id = 0;
988         }
989       if (!id)
990         id = repodata_str2dir(pd->data, "/", 1);
991       repodata_add_dirstr(pd->data, handle, SOLVABLE_FILELIST, id, p);
992       break;
993     case STATE_SUMMARY:
994       pd->tmplang = 0;
995       repodata_set_str(pd->data, handle, SOLVABLE_SUMMARY, pd->content);
996       break;
997     case STATE_DESCRIPTION:
998       pd->tmplang = 0;
999       set_desciption_author(pd->data, handle, pd->content);
1000       break;
1001     case STATE_DISTRIBUTION:
1002         repodata_set_poolstr(pd->data, handle, SOLVABLE_DISTRIBUTION, pd->content);
1003         break;
1004     case STATE_URL:
1005       if (pd->content[0])
1006         repodata_set_str(pd->data, handle, SOLVABLE_URL, pd->content);
1007       break;
1008     case STATE_PACKAGER:
1009       if (pd->content[0])
1010         repodata_set_poolstr(pd->data, handle, SOLVABLE_PACKAGER, pd->content);
1011       break;
1012     case STATE_SOURCERPM:
1013       set_sourcerpm(pd->data, s, handle, pd->content);
1014       break;
1015     case STATE_RELNOTESURL:
1016       if (pd->content[0])
1017         {
1018           repodata_add_poolstr_array(pd->data, pd->handle, PRODUCT_URL, pd->content);
1019           repodata_add_idarray(pd->data, pd->handle, PRODUCT_URL_TYPE, str2id(pool, "releasenotes", 1));
1020         }
1021       break;
1022     case STATE_UPDATEURL:
1023       if (pd->content[0])
1024         {
1025           repodata_add_poolstr_array(pd->data, pd->handle, PRODUCT_URL, pd->content);
1026           repodata_add_idarray(pd->data, pd->handle, PRODUCT_URL_TYPE, str2id(pool, "update", 1));
1027         }
1028       break;
1029     case STATE_OPTIONALURL:
1030       if (pd->content[0])
1031         {
1032           repodata_add_poolstr_array(pd->data, pd->handle, PRODUCT_URL, pd->content);
1033           repodata_add_idarray(pd->data, pd->handle, PRODUCT_URL_TYPE, str2id(pool, "optional", 1));
1034         }
1035       break;
1036     case STATE_FLAG:
1037       if (pd->content[0])
1038           repodata_set_poolstr(pd->data, handle, PRODUCT_FLAGS, pd->content);
1039       break;
1040     case STATE_FLAVOR:
1041       if (pd->content[0])
1042         repodata_set_str(pd->data, handle, PRODUCT_FLAVOR, pd->content);
1043       break;
1044     case STATE_REFERENCES:
1045       if (pd->content[0])
1046         repodata_set_str(pd->data, handle, PRODUCT_REFERENCES, pd->content);
1047       break;
1048     case STATE_EULA:
1049       if (pd->content[0])
1050         repodata_set_str(pd->data, handle, langtag(pd, SOLVABLE_EULA, pd->language), pd->content);
1051       break;
1052     case STATE_DISKUSAGE:
1053       if (pd->ndirs)
1054         commit_diskusage (pd, pd->handle);
1055       break;    
1056     default:
1057       break;
1058     }
1059   pd->state = pd->sbtab[pd->state];
1060   pd->docontent = 0;
1061   // fprintf(stderr, "back from known %d %d %d\n", pd->state, pd->depth, pd->statedepth);
1062 }
1063
1064
1065 /*
1066  * characterData
1067  * XML callback
1068  * 
1069  */
1070
1071 static void XMLCALL
1072 characterData(void *userData, const XML_Char *s, int len)
1073 {
1074   struct parsedata *pd = userData;
1075   int l;
1076   char *c;
1077
1078   if (!pd->docontent)
1079     return;
1080   l = pd->lcontent + len + 1;
1081   if (l > pd->acontent)
1082     {
1083       pd->content = sat_realloc(pd->content, l + 256);
1084       pd->acontent = l + 256;
1085     }
1086   c = pd->content + pd->lcontent;
1087   pd->lcontent += len;
1088   while (len-- > 0)
1089     *c++ = *s++;
1090   *c = 0;
1091 }
1092
1093
1094 /*-----------------------------------------------*/
1095 /* 'main' */
1096
1097 #define BUFF_SIZE 8192
1098
1099 /*
1100  * repo_add_rpmmd
1101  * parse rpm-md metadata (primary, others)
1102  * 
1103  */
1104
1105 void
1106 repo_add_rpmmd(Repo *repo, FILE *fp, const char *language, int flags)
1107 {
1108   Pool *pool = repo->pool;
1109   struct parsedata pd;
1110   char buf[BUFF_SIZE];
1111   int i, l;
1112   struct stateswitch *sw;
1113
1114   memset(&pd, 0, sizeof(pd));
1115   for (i = 0, sw = stateswitches; sw->from != NUMSTATES; i++, sw++)
1116     {
1117       if (!pd.swtab[sw->from])
1118         pd.swtab[sw->from] = sw;
1119       pd.sbtab[sw->to] = sw->from;
1120     }
1121   pd.common.pool = pool;
1122   pd.common.repo = repo;
1123
1124   pd.data = repo_add_repodata(repo, 0);
1125
1126   pd.content = sat_malloc(256);
1127   pd.acontent = 256;
1128   pd.lcontent = 0;
1129   pd.common.tmp = 0;
1130   pd.common.tmpl = 0;
1131   pd.kind = 0;
1132   pd.language = language;
1133
1134   /* initialize the string pool where we will store
1135      the package checksums we know about, to get an Id
1136      we can use in a cache */
1137   stringpool_init_empty(&pd.cspool);
1138
1139   XML_Parser parser = XML_ParserCreate(NULL);
1140   XML_SetUserData(parser, &pd);
1141   pd.parser = &parser;
1142   XML_SetElementHandler(parser, startElement, endElement);
1143   XML_SetCharacterDataHandler(parser, characterData);
1144   for (;;)
1145     {
1146       l = fread(buf, 1, sizeof(buf), fp);
1147       if (XML_Parse(parser, buf, l, l == 0) == XML_STATUS_ERROR)
1148         {
1149           fprintf(stderr, "repo_rpmmd: %s at line %u:%u\n", XML_ErrorString(XML_GetErrorCode(parser)), (unsigned int)XML_GetCurrentLineNumber(parser), (unsigned int)XML_GetCurrentColumnNumber(parser));
1150           exit(1);
1151         }
1152       if (l == 0)
1153         break;
1154     }
1155   XML_ParserFree(parser);
1156
1157   if (pd.data)
1158     repodata_internalize(pd.data);
1159   sat_free(pd.content);
1160   join_freemem();
1161   stringpool_free(&pd.cspool);
1162   sat_free(pd.cscache);
1163 }