ext/repo_rpmmd.c

   1 /*
   2  * Copyright (c) 2007, Novell Inc.
   3  *
   4  * This program is licensed under the BSD license, read LICENSE.BSD
   5  * for further information
   6  */
   7
   8 #include <sys/types.h>
   9 #include <limits.h>
  10 #include <fcntl.h>
  11 #include <stdio.h>
  12 #include <stdlib.h>
  13 #include <string.h>
  14 #include <expat.h>
  15
  16 #include "pool.h"
  17 #include "repo.h"
  18 #define DISABLE_SPLIT
  19 #include "tools_util.h"
  20 #include "repo_rpmmd.h"
  21 #include "chksum.h"
  22
  23
  24 enum state {
  25   STATE_START,
  26
  27   STATE_SOLVABLE,
  28
  29   STATE_NAME,
  30   STATE_ARCH,
  31   STATE_VERSION,
  32
  33   // package rpm-md
  34   STATE_LOCATION,
  35   STATE_CHECKSUM,
  36   STATE_RPM_GROUP,
  37   STATE_RPM_LICENSE,
  38
  39   /* resobject attributes */
  40   STATE_SUMMARY,
  41   STATE_DESCRIPTION,
  42   STATE_DISTRIBUTION,
  43   STATE_PACKAGER,
  44   STATE_URL,
  45   STATE_INSNOTIFY,
  46   STATE_DELNOTIFY,
  47   STATE_VENDOR,
  48   STATE_SIZE,
  49   STATE_TIME,
  50   STATE_DOWNLOADSIZE,
  51   STATE_INSTALLTIME,
  52   STATE_INSTALLONLY,
  53
  54   /* Novell/SUSE extended attributes */
  55   STATE_EULA,
  56   STATE_KEYWORD,
  57   STATE_DISKUSAGE,
  58   STATE_DIRS,
  59   STATE_DIR,
  60
  61   /* patch */
  62   STATE_ID,
  63   STATE_TIMESTAMP,
  64   STATE_AFFECTSPKG,
  65   STATE_REBOOTNEEDED,
  66
  67   // pattern attributes
  68   STATE_CATEGORY, /* pattern and patches */
  69   STATE_ORDER,
  70   STATE_INCLUDES,
  71   STATE_INCLUDESENTRY,
  72   STATE_EXTENDS,
  73   STATE_EXTENDSENTRY,
  74   STATE_SCRIPT,
  75   STATE_ICON,
  76   STATE_USERVISIBLE,
  77   STATE_DEFAULT,
  78   STATE_INSTALL_TIME,
  79
  80   /* product */
  81   STATE_SHORTNAME,
  82   STATE_DISTNAME, // obsolete
  83   STATE_DISTEDITION, // obsolete
  84   STATE_SOURCE,
  85   STATE_TYPE,
  86   STATE_RELNOTESURL,
  87   STATE_UPDATEURL,
  88   STATE_OPTIONALURL,
  89   STATE_FLAG,
  90
  91   /* rpm-md dependencies inside the
  92      format tag */
  93   STATE_PROVIDES,
  94   STATE_REQUIRES,
  95   STATE_OBSOLETES,
  96   STATE_CONFLICTS,
  97   STATE_RECOMMENDS,
  98   STATE_SUPPLEMENTS,
  99   STATE_SUGGESTS,
 100   STATE_ENHANCES,
 101   STATE_FRESHENS,
 102   STATE_SOURCERPM,
 103   STATE_HEADERRANGE,
 104
 105   STATE_PROVIDESENTRY,
 106   STATE_REQUIRESENTRY,
 107   STATE_OBSOLETESENTRY,
 108   STATE_CONFLICTSENTRY,
 109   STATE_RECOMMENDSENTRY,
 110   STATE_SUPPLEMENTSENTRY,
 111   STATE_SUGGESTSENTRY,
 112   STATE_ENHANCESENTRY,
 113   STATE_FRESHENSENTRY,
 114
 115   STATE_FILE,
 116
 117   // general
 118   NUMSTATES
 119 };
 120
 121 struct stateswitch {
 122   enum state from;
 123   char *ename;
 124   enum state to;
 125   int docontent;
 126 };
 127
 128 static struct stateswitch stateswitches[] = {
 129   /** fake tag used to enclose 2 different xml files in one **/
 130   { STATE_START,       "rpmmd",           STATE_START,    0 },
 131
 132   /** tags for different package data, we just ignore the tag **/
 133   { STATE_START,       "metadata",        STATE_START,    0 },
 134   { STATE_START,       "otherdata",       STATE_START,    0 },
 135   { STATE_START,       "filelists",       STATE_START,    0 },
 136   { STATE_START,       "diskusagedata",   STATE_START,    0 },
 137   { STATE_START,       "susedata",        STATE_START,    0 },
 138
 139   { STATE_START,       "product",         STATE_SOLVABLE, 0 },
 140   { STATE_START,       "pattern",         STATE_SOLVABLE, 0 },
 141   { STATE_START,       "patch",           STATE_SOLVABLE, 0 },
 142   { STATE_START,       "package",         STATE_SOLVABLE, 0 },
 143
 144   { STATE_SOLVABLE,    "name",            STATE_NAME, 1 },
 145   { STATE_SOLVABLE,    "arch",            STATE_ARCH, 1 },
 146   { STATE_SOLVABLE,    "version",         STATE_VERSION, 0 },
 147
 148   // package attributes rpm-md
 149   { STATE_SOLVABLE,    "location",        STATE_LOCATION, 0 },
 150   { STATE_SOLVABLE,    "checksum",        STATE_CHECKSUM, 1 },
 151
 152   /* resobject attributes */
 153
 154   { STATE_SOLVABLE,    "summary",         STATE_SUMMARY,      1 },
 155   { STATE_SOLVABLE,    "description",     STATE_DESCRIPTION,  1 },
 156   { STATE_SOLVABLE,    "distribution",    STATE_DISTRIBUTION, 1 },
 157   { STATE_SOLVABLE,    "url",             STATE_URL,          1 },
 158   { STATE_SOLVABLE,    "packager",        STATE_PACKAGER,     1 },
 159   //{ STATE_SOLVABLE,    "???",         STATE_INSNOTIFY, 1 },
 160   //{ STATE_SOLVABLE,    "??",     STATE_DELNOTIFY, 1 },
 161   { STATE_SOLVABLE,    "vendor",          STATE_VENDOR,       1 },
 162   { STATE_SOLVABLE,    "size",            STATE_SIZE,         0 },
 163   { STATE_SOLVABLE,    "archive-size",    STATE_DOWNLOADSIZE, 1 },
 164   { STATE_SOLVABLE,    "install-time",    STATE_INSTALLTIME,  1 },
 165   { STATE_SOLVABLE,    "install-only",    STATE_INSTALLONLY,  1 },
 166   { STATE_SOLVABLE,    "time",            STATE_TIME,         0 },
 167
 168   /* extended Novell/SUSE attributes (susedata.xml) */
 169   { STATE_SOLVABLE,    "eula",            STATE_EULA,         1 },
 170   { STATE_SOLVABLE,    "keyword",         STATE_KEYWORD,      1 },
 171   { STATE_SOLVABLE,    "diskusage",       STATE_DISKUSAGE,    0 },
 172
 173   // pattern attribute
 174   { STATE_SOLVABLE,    "script",          STATE_SCRIPT,        1 },
 175   { STATE_SOLVABLE,    "icon",            STATE_ICON,          1 },
 176   { STATE_SOLVABLE,    "uservisible",     STATE_USERVISIBLE,   1 },
 177   { STATE_SOLVABLE,    "category",        STATE_CATEGORY,      1 },
 178   { STATE_SOLVABLE,    "order",           STATE_ORDER,         1 },
 179   { STATE_SOLVABLE,    "includes",        STATE_INCLUDES,      0 },
 180   { STATE_SOLVABLE,    "extends",         STATE_EXTENDS,       0 },
 181   { STATE_SOLVABLE,    "default",         STATE_DEFAULT,       1 },
 182   { STATE_SOLVABLE,    "install-time",    STATE_INSTALL_TIME,  1 },
 183
 184   /* product attributes */
 185   /* note the product type is an attribute */
 186   { STATE_SOLVABLE,    "release-notes-url", STATE_RELNOTESURL, 1 },
 187   { STATE_SOLVABLE,    "update-url",        STATE_UPDATEURL,   1 },
 188   { STATE_SOLVABLE,    "optional-url",      STATE_OPTIONALURL, 1 },
 189   { STATE_SOLVABLE,    "flag",              STATE_FLAG,        1 },
 190
 191   { STATE_SOLVABLE,      "rpm:vendor",      STATE_VENDOR,      1 },
 192   { STATE_SOLVABLE,      "rpm:group",       STATE_RPM_GROUP,   1 },
 193   { STATE_SOLVABLE,      "rpm:license",     STATE_RPM_LICENSE, 1 },
 194
 195   /* rpm-md dependencies */
 196   { STATE_SOLVABLE,      "rpm:provides",    STATE_PROVIDES,     0 },
 197   { STATE_SOLVABLE,      "rpm:requires",    STATE_REQUIRES,     0 },
 198   { STATE_SOLVABLE,      "rpm:obsoletes",   STATE_OBSOLETES,    0 },
 199   { STATE_SOLVABLE,      "rpm:conflicts",   STATE_CONFLICTS,    0 },
 200   { STATE_SOLVABLE,      "rpm:recommends",  STATE_RECOMMENDS ,  0 },
 201   { STATE_SOLVABLE,      "rpm:supplements", STATE_SUPPLEMENTS,  0 },
 202   { STATE_SOLVABLE,      "rpm:suggests",    STATE_SUGGESTS,     0 },
 203   { STATE_SOLVABLE,      "rpm:enhances",    STATE_ENHANCES,     0 },
 204   { STATE_SOLVABLE,      "rpm:freshens",    STATE_FRESHENS,     0 },
 205   { STATE_SOLVABLE,      "rpm:sourcerpm",   STATE_SOURCERPM,    1 },
 206   { STATE_SOLVABLE,      "rpm:header-range", STATE_HEADERRANGE, 0 },
 207   { STATE_SOLVABLE,      "file",            STATE_FILE, 1 },
 208
 209    /* extended Novell/SUSE diskusage attributes (susedata.xml) */
 210   { STATE_DISKUSAGE,   "dirs",            STATE_DIRS,         0 },
 211   { STATE_DIRS,        "dir",             STATE_DIR,          0 },
 212
 213   { STATE_PROVIDES,    "rpm:entry",       STATE_PROVIDESENTRY, 0 },
 214   { STATE_REQUIRES,    "rpm:entry",       STATE_REQUIRESENTRY, 0 },
 215   { STATE_OBSOLETES,   "rpm:entry",       STATE_OBSOLETESENTRY, 0 },
 216   { STATE_CONFLICTS,   "rpm:entry",       STATE_CONFLICTSENTRY, 0 },
 217   { STATE_RECOMMENDS,  "rpm:entry",       STATE_RECOMMENDSENTRY, 0 },
 218   { STATE_SUPPLEMENTS, "rpm:entry",       STATE_SUPPLEMENTSENTRY, 0 },
 219   { STATE_SUGGESTS,    "rpm:entry",       STATE_SUGGESTSENTRY, 0 },
 220   { STATE_ENHANCES,    "rpm:entry",       STATE_ENHANCESENTRY, 0 },
 221   { STATE_FRESHENS,    "rpm:entry",       STATE_FRESHENSENTRY, 0 },
 222
 223   { STATE_INCLUDES,    "item",            STATE_INCLUDESENTRY, 0 },
 224   { STATE_EXTENDS,     "item",            STATE_EXTENDSENTRY,  0 },
 225
 226   { NUMSTATES}
 227 };
 228
 229 /* maxmum initial size of
 230    the checksum cache */
 231 #define MAX_CSCACHE 32768
 232 #define CSREALLOC_STEP 1024
 233
 234 struct parsedata {
 235   Pool *pool;
 236   Repo *repo;
 237   Repodata *data;
 238   char *kind;
 239   int depth;
 240   enum state state;
 241   int statedepth;
 242   char *content;
 243   int lcontent;
 244   int acontent;
 245   int docontent;
 246   Solvable *solvable;
 247   Offset freshens;
 248   struct stateswitch *swtab[NUMSTATES];
 249   enum state sbtab[NUMSTATES];
 250   struct joindata jd;
 251   /* temporal to store attribute tag language */
 252   const char *tmplang;
 253   Id chksumtype;
 254   Id handle;
 255   XML_Parser *parser;
 256   Id (*dirs)[3]; // dirid, size, nfiles
 257   int ndirs;
 258   const char *language;                 /* default language */
 259   Id langcache[ID_NUM_INTERNAL];        /* cache for the default language */
 260
 261   Id lastdir;
 262   char *lastdirstr;
 263   int lastdirstrl;
 264
 265   /** Hash to maps checksums to solv */
 266   Stringpool cspool;
 267   /** Cache of known checksums to solvable id */
 268   Id *cscache;
 269   /* the current longest index in the table */
 270   int ncscache;
 271 };
 272
 273 static Id
 274 langtag(struct parsedata *pd, Id tag, const char *language)
 275 {
 276   if (language)
 277     {
 278       if (!language[0] || !strcmp(language, "en"))
 279         return tag;
 280       return pool_id2langid(pd->pool, tag, language, 1);
 281     }
 282   if (!pd->language)
 283     return tag;
 284   if (tag >= ID_NUM_INTERNAL)
 285     return pool_id2langid(pd->pool, tag, pd->language, 1);
 286   if (!pd->langcache[tag])
 287     pd->langcache[tag] = pool_id2langid(pd->pool, tag, pd->language, 1);
 288   return pd->langcache[tag];
 289 }
 290
 291 static int
 292 id3_cmp (const void *v1, const void *v2, void *dp)
 293 {
 294   Id *i1 = (Id*)v1;
 295   Id *i2 = (Id*)v2;
 296   return i1[0] - i2[0];
 297 }
 298
 299 static void
 300 commit_diskusage (struct parsedata *pd, unsigned handle)
 301 {
 302   unsigned i;
 303   Dirpool *dp = &pd->data->dirpool;
 304   /* Now sort in dirid order.  This ensures that parents come before
 305      their children.  */
 306   if (pd->ndirs > 1)
 307     solv_sort(pd->dirs, pd->ndirs, sizeof (pd->dirs[0]), id3_cmp, 0);
 308   /* Substract leaf numbers from all parents to make the numbers
 309      non-cumulative.  This must be done post-order (i.e. all leafs
 310      adjusted before parents).  We ensure this by starting at the end of
 311      the array moving to the start, hence seeing leafs before parents.  */
 312   for (i = pd->ndirs; i--;)
 313     {
 314       unsigned p = dirpool_parent(dp, pd->dirs[i][0]);
 315       unsigned j = i;
 316       for (; p; p = dirpool_parent(dp, p))
 317         {
 318           for (; j--;)
 319             if (pd->dirs[j][0] == p)
 320               break;
 321           if (j < pd->ndirs)
 322             {
 323               if (pd->dirs[j][1] < pd->dirs[i][1])
 324                 pd->dirs[j][1] = 0;
 325               else
 326                 pd->dirs[j][1] -= pd->dirs[i][1];
 327               if (pd->dirs[j][2] < pd->dirs[i][2])
 328                 pd->dirs[j][2] = 0;
 329               else
 330                 pd->dirs[j][2] -= pd->dirs[i][2];
 331             }
 332           else
 333             /* Haven't found this parent in the list, look further if
 334                we maybe find the parents parent.  */
 335             j = i;
 336         }
 337     }
 338 #if 0
 339   char sbuf[1024];
 340   char *buf = sbuf;
 341   unsigned slen = sizeof (sbuf);
 342   for (i = 0; i < pd->ndirs; i++)
 343     {
 344       dir2str (attr, pd->dirs[i][0], &buf, &slen);
 345       fprintf (stderr, "have dir %d %d %d %s\n", pd->dirs[i][0], pd->dirs[i][1], pd->dirs[i][2], buf);
 346     }
 347   if (buf != sbuf)
 348     free (buf);
 349 #endif
 350   for (i = 0; i < pd->ndirs; i++)
 351     if (pd->dirs[i][1] || pd->dirs[i][2])
 352       {
 353         repodata_add_dirnumnum(pd->data, handle, SOLVABLE_DISKUSAGE, pd->dirs[i][0], pd->dirs[i][1], pd->dirs[i][2]);
 354       }
 355   pd->ndirs = 0;
 356 }
 357
 358
 359 /*
 360  * makeevr_atts
 361  * parse 'epoch', 'ver' and 'rel', return evr Id
 362  *
 363  */
 364
 365 static Id
 366 makeevr_atts(Pool *pool, struct parsedata *pd, const char **atts)
 367 {
 368   const char *e, *v, *r, *v2;
 369   char *c;
 370   int l;
 371
 372   e = v = r = 0;
 373   for (; *atts; atts += 2)
 374     {
 375       if (!strcmp(*atts, "epoch"))
 376         e = atts[1];
 377       else if (!strcmp(*atts, "ver"))
 378         v = atts[1];
 379       else if (!strcmp(*atts, "rel"))
 380         r = atts[1];
 381     }
 382   if (e && !strcmp(e, "0"))
 383     e = 0;
 384   if (v && !e)
 385     {
 386       for (v2 = v; *v2 >= '0' && *v2 <= '9'; v2++)
 387         ;
 388       if (v2 > v && *v2 == ':')
 389         e = "0";
 390     }
 391   l = 1;
 392   if (e)
 393     l += strlen(e) + 1;
 394   if (v)
 395     l += strlen(v);
 396   if (r)
 397     l += strlen(r) + 1;
 398   if (l > pd->acontent)
 399     {
 400       pd->content = solv_realloc(pd->content, l + 256);
 401       pd->acontent = l + 256;
 402     }
 403   c = pd->content;
 404   if (e)
 405     {
 406       strcpy(c, e);
 407       c += strlen(c);
 408       *c++ = ':';
 409     }
 410   if (v)
 411     {
 412       strcpy(c, v);
 413       c += strlen(c);
 414     }
 415   if (r)
 416     {
 417       *c++ = '-';
 418       strcpy(c, r);
 419       c += strlen(c);
 420     }
 421   *c = 0;
 422   if (!*pd->content)
 423     return 0;
 424 #if 0
 425   fprintf(stderr, "evr: %s\n", pd->content);
 426 #endif
 427   return pool_str2id(pool, pd->content, 1);
 428 }
 429
 430
 431 /*
 432  * find_attr
 433  * find value for xml attribute
 434  * I: txt, name of attribute
 435  * I: atts, list of key/value attributes
 436  * O: pointer to value of matching key, or NULL
 437  *
 438  */
 439
 440 static inline const char *
 441 find_attr(const char *txt, const char **atts)
 442 {
 443   for (; *atts; atts += 2)
 444     {
 445       if (!strcmp(*atts, txt))
 446         return atts[1];
 447     }
 448   return 0;
 449 }
 450
 451
 452 /*
 453  * dependency relations
 454  */
 455
 456 static char *flagtab[] = {
 457   "GT",
 458   "EQ",
 459   "GE",
 460   "LT",
 461   "NE",
 462   "LE"
 463 };
 464
 465
 466 /*
 467  * adddep
 468  * parse attributes to reldep Id
 469  *
 470  */
 471
 472 static unsigned int
 473 adddep(Pool *pool, struct parsedata *pd, unsigned int olddeps, const char **atts, int isreq)
 474 {
 475   Id id, name, marker;
 476   const char *n, *f, *k;
 477   const char **a;
 478
 479   n = f = k = 0;
 480   marker = isreq ? -SOLVABLE_PREREQMARKER : 0;
 481   for (a = atts; *a; a += 2)
 482     {
 483       if (!strcmp(*a, "name"))
 484         n = a[1];
 485       else if (!strcmp(*a, "flags"))
 486         f = a[1];
 487       else if (!strcmp(*a, "kind"))
 488         k = a[1];
 489       else if (isreq && !strcmp(*a, "pre") && a[1][0] == '1')
 490         marker = SOLVABLE_PREREQMARKER;
 491     }
 492   if (!n)
 493     return olddeps;
 494   if (k && !strcmp(k, "package"))
 495     k = 0;
 496   if (k)
 497     {
 498       int l = strlen(k) + 1 + strlen(n) + 1;
 499       if (l > pd->acontent)
 500         {
 501           pd->content = solv_realloc(pd->content, l + 256);
 502           pd->acontent = l + 256;
 503         }
 504       sprintf(pd->content, "%s:%s", k, n);
 505       name = pool_str2id(pool, pd->content, 1);
 506     }
 507   else
 508     name = pool_str2id(pool, (char *)n, 1);
 509   if (f)
 510     {
 511       Id evr = makeevr_atts(pool, pd, atts);
 512       int flags;
 513       for (flags = 0; flags < 6; flags++)
 514         if (!strcmp(f, flagtab[flags]))
 515           break;
 516       flags = flags < 6 ? flags + 1 : 0;
 517       id = pool_rel2id(pool, name, evr, flags, 1);
 518     }
 519   else
 520     id = name;
 521 #if 0
 522   fprintf(stderr, "new dep %s%s%s\n", pool_id2str(pool, d), id2rel(pool, d), id2evr(pool, d));
 523 #endif
 524   return repo_addid_dep(pd->repo, olddeps, id, marker);
 525 }
 526
 527
 528 /*
 529  * set_description_author
 530  *
 531  */
 532 static void
 533 set_description_author(Repodata *data, Id handle, char *str, struct parsedata *pd)
 534 {
 535   char *aut, *p;
 536
 537   if (!str || !*str)
 538     return;
 539   for (aut = str; (aut = strchr(aut, '\n')) != 0; aut++)
 540     if (!strncmp(aut, "\nAuthors:\n--------\n", 19))
 541       break;
 542   if (aut)
 543     {
 544       /* oh my, found SUSE special author section */
 545       int l = aut - str;
 546       str[l] = 0;
 547       while (l > 0 && str[l - 1] == '\n')
 548         str[--l] = 0;
 549       if (l)
 550         repodata_set_str(data, handle, langtag(pd, SOLVABLE_DESCRIPTION, pd->tmplang), str);
 551       p = aut + 19;
 552       aut = str;        /* copy over */
 553       while (*p == ' ' || *p == '\n')
 554         p++;
 555       while (*p)
 556         {
 557           if (*p == '\n')
 558             {
 559               *aut++ = *p++;
 560               while (*p == ' ')
 561                 p++;
 562               continue;
 563             }
 564           *aut++ = *p++;
 565         }
 566       while (aut != str && aut[-1] == '\n')
 567         aut--;
 568       *aut = 0;
 569       if (*str)
 570         repodata_set_str(data, handle, SOLVABLE_AUTHORS, str);
 571     }
 572   else if (*str)
 573     repodata_set_str(data, handle, langtag(pd, SOLVABLE_DESCRIPTION, pd->tmplang), str);
 574 }
 575
 576
 577 /*
 578  * set_sourcerpm
 579  *
 580  */
 581
 582 static void
 583 set_sourcerpm(Repodata *data, Solvable *s, Id handle, char *sourcerpm)
 584 {
 585   const char *p, *sevr, *sarch, *name, *evr;
 586   Pool *pool;
 587
 588   p = strrchr(sourcerpm, '.');
 589   if (!p || strcmp(p, ".rpm") != 0)
 590     return;
 591   p--;
 592   while (p > sourcerpm && *p != '.')
 593     p--;
 594   if (*p != '.' || p == sourcerpm)
 595     return;
 596   sarch = p-- + 1;
 597   while (p > sourcerpm && *p != '-')
 598     p--;
 599   if (*p != '-' || p == sourcerpm)
 600     return;
 601   p--;
 602   while (p > sourcerpm && *p != '-')
 603     p--;
 604   if (*p != '-' || p == sourcerpm)
 605     return;
 606   sevr = p + 1;
 607   pool = s->repo->pool;
 608   if (!strcmp(sarch, "src.rpm"))
 609     repodata_set_constantid(data, handle, SOLVABLE_SOURCEARCH, ARCH_SRC);
 610   else if (!strcmp(sarch, "nosrc.rpm"))
 611     repodata_set_constantid(data, handle, SOLVABLE_SOURCEARCH, ARCH_NOSRC);
 612   else
 613     repodata_set_constantid(data, handle, SOLVABLE_SOURCEARCH, pool_strn2id(pool, sarch, strlen(sarch) - 4, 1));
 614   evr = pool_id2str(pool, s->evr);
 615   if (evr && !strncmp(sevr, evr, sarch - sevr - 1) && evr[sarch - sevr - 1] == 0)
 616     repodata_set_void(data, handle, SOLVABLE_SOURCEEVR);
 617   else
 618     repodata_set_id(data, handle, SOLVABLE_SOURCEEVR, pool_strn2id(pool, sevr, sarch - sevr - 1, 1));
 619   name = pool_id2str(pool, s->name);
 620   if (name && !strncmp(sourcerpm, name, sevr - sourcerpm - 1) && name[sevr - sourcerpm - 1] == 0)
 621     repodata_set_void(data, handle, SOLVABLE_SOURCENAME);
 622   else
 623     repodata_set_id(data, handle, SOLVABLE_SOURCENAME, pool_strn2id(pool, sourcerpm, sevr - sourcerpm - 1, 1));
 624 }
 625
 626 /*-----------------------------------------------*/
 627 /* XML callbacks */
 628
 629 /*
 630  * startElement
 631  * XML callback
 632  *
 633  */
 634
 635 static void XMLCALL
 636 startElement(void *userData, const char *name, const char **atts)
 637 {
 638   //fprintf(stderr,"+tag: %s\n", name);
 639   struct parsedata *pd = userData;
 640   Pool *pool = pd->pool;
 641   Solvable *s = pd->solvable;
 642   struct stateswitch *sw;
 643   const char *str;
 644   Id handle = pd->handle;
 645   const char *pkgid;
 646
 647   // fprintf(stderr, "into %s, from %d, depth %d, statedepth %d\n", name, pd->state, pd->depth, pd->statedepth);
 648
 649   if (pd->depth != pd->statedepth)
 650     {
 651       pd->depth++;
 652       return;
 653     }
 654
 655   if (pd->state == STATE_START && !strcmp(name, "patterns"))
 656     return;
 657   if (pd->state == STATE_START && !strcmp(name, "products"))
 658     return;
 659   //if (pd->state == STATE_START && !strcmp(name, "metadata"))
 660   //  return;
 661   if (pd->state == STATE_SOLVABLE && !strcmp(name, "format"))
 662     return;
 663
 664   pd->depth++;
 665   if (!pd->swtab[pd->state])
 666     return;
 667   for (sw = pd->swtab[pd->state]; sw->from == pd->state; sw++)
 668     if (!strcmp(sw->ename, name))
 669       break;
 670   if (sw->from != pd->state)
 671     {
 672 #if 0
 673       fprintf(stderr, "into unknown: %s\n", name);
 674 #endif
 675       return;
 676     }
 677   pd->state = sw->to;
 678   pd->docontent = sw->docontent;
 679   pd->statedepth = pd->depth;
 680   pd->lcontent = 0;
 681   *pd->content = 0;
 682   switch(pd->state)
 683     {
 684     case STATE_SOLVABLE:
 685       pd->kind = 0;
 686       if (name[2] == 't' && name[3] == 't')
 687         pd->kind = "pattern";
 688       else if (name[1] == 'r')
 689         pd->kind = "product";
 690       else if (name[2] == 't' && name[3] == 'c')
 691         pd->kind = "patch";
 692
 693       /* to support extension metadata files like others.xml which
 694          have the following structure:
 695
 696          <otherdata xmlns="http://linux.duke.edu/metadata/other"
 697                     packages="101">
 698            <package pkgid="b78f8664cd90efe42e09a345e272997ef1b53c18"
 699                     name="zaptel-kmp-default"
 700                     arch="i586"><version epoch="0"
 701                     ver="1.2.10_2.6.22_rc4_git6_2" rel="70"/>
 702               ...
 703
 704          we need to check if the pkgid is there and if it matches
 705          an already seen package, that means we don't need to create
 706          a new solvable but just append the attributes to the existing
 707          one.
 708       */
 709       if ((pkgid = find_attr("pkgid", atts)) != NULL)
 710         {
 711           // look at the checksum cache
 712           Id index = stringpool_str2id(&pd->cspool, pkgid, 0);
 713           if (!index || index >= pd->ncscache || !pd->cscache[index])
 714             {
 715               fprintf(stderr, "error, the repository specifies extra information about package with checksum '%s', which does not exist in the repository.\n", pkgid);
 716               exit(1);
 717             }
 718           pd->solvable = pool_id2solvable(pool, pd->cscache[index]);
 719         }
 720        else
 721         {
 722           /* this is a new package */
 723           pd->solvable = pool_id2solvable(pool, repo_add_solvable(pd->repo));
 724           pd->freshens = 0;
 725         }
 726       pd->handle = pd->solvable - pool->solvables;
 727 #if 0
 728       fprintf(stderr, "package #%d\n", pd->solvable - pool->solvables);
 729 #endif
 730
 731       break;
 732     case STATE_VERSION:
 733       s->evr = makeevr_atts(pool, pd, atts);
 734       break;
 735     case STATE_PROVIDES:
 736       s->provides = 0;
 737       break;
 738     case STATE_PROVIDESENTRY:
 739       s->provides = adddep(pool, pd, s->provides, atts, 0);
 740       break;
 741     case STATE_REQUIRES:
 742       s->requires = 0;
 743       break;
 744     case STATE_REQUIRESENTRY:
 745       s->requires = adddep(pool, pd, s->requires, atts, 1);
 746       break;
 747     case STATE_OBSOLETES:
 748       s->obsoletes = 0;
 749       break;
 750     case STATE_OBSOLETESENTRY:
 751       s->obsoletes = adddep(pool, pd, s->obsoletes, atts, 0);
 752       break;
 753     case STATE_CONFLICTS:
 754       s->conflicts = 0;
 755       break;
 756     case STATE_CONFLICTSENTRY:
 757       s->conflicts = adddep(pool, pd, s->conflicts, atts, 0);
 758       break;
 759     case STATE_RECOMMENDS:
 760       s->recommends = 0;
 761       break;
 762     case STATE_RECOMMENDSENTRY:
 763       s->recommends = adddep(pool, pd, s->recommends, atts, 0);
 764       break;
 765     case STATE_SUPPLEMENTS:
 766       s->supplements= 0;
 767       break;
 768     case STATE_SUPPLEMENTSENTRY:
 769       s->supplements = adddep(pool, pd, s->supplements, atts, 0);
 770       break;
 771     case STATE_SUGGESTS:
 772       s->suggests = 0;
 773       break;
 774     case STATE_SUGGESTSENTRY:
 775       s->suggests = adddep(pool, pd, s->suggests, atts, 0);
 776       break;
 777     case STATE_ENHANCES:
 778       s->enhances = 0;
 779       break;
 780     case STATE_ENHANCESENTRY:
 781       s->enhances = adddep(pool, pd, s->enhances, atts, 0);
 782       break;
 783     case STATE_FRESHENS:
 784       pd->freshens = 0;
 785       break;
 786     case STATE_FRESHENSENTRY:
 787       pd->freshens = adddep(pool, pd, pd->freshens, atts, 0);
 788       break;
 789     case STATE_EULA:
 790     case STATE_SUMMARY:
 791     case STATE_CATEGORY:
 792     case STATE_DESCRIPTION:
 793       pd->tmplang = join_dup(&pd->jd, find_attr("lang", atts));
 794       break;
 795     case STATE_USERVISIBLE:
 796       repodata_set_void(pd->data, handle, SOLVABLE_ISVISIBLE);
 797       break;
 798     case STATE_INCLUDESENTRY:
 799       {
 800         const char *tmp = find_attr("pattern", atts);
 801         if (tmp)
 802           repodata_add_poolstr_array(pd->data, pd->handle, SOLVABLE_INCLUDES, join2(&pd->jd, "pattern", ":", tmp));
 803         break;
 804       }
 805     case STATE_EXTENDSENTRY:
 806       {
 807         const char *tmp = find_attr("pattern", atts);
 808         if (tmp)
 809           repodata_add_poolstr_array(pd->data, pd->handle, SOLVABLE_EXTENDS, join2(&pd->jd, "pattern", ":", tmp));
 810         break;
 811       }
 812     case STATE_LOCATION:
 813       str = find_attr("href", atts);
 814       if (str)
 815         repodata_set_location(pd->data, handle, 0, 0, str);
 816       break;
 817     case STATE_CHECKSUM:
 818       {
 819         const char *tmp = find_attr("type", atts);
 820         pd->chksumtype = tmp && *tmp ? solv_chksum_str2type(tmp) : 0;
 821         if (!pd->chksumtype)
 822           {
 823             fprintf(stderr, "Unknown checksum type: %d: %s\n", (unsigned int)XML_GetCurrentLineNumber(*pd->parser), tmp ? tmp: "NULL");
 824             exit(1);
 825           }
 826       }
 827       break;
 828     case STATE_TIME:
 829       {
 830         unsigned int t;
 831         str = find_attr("build", atts);
 832         if (str && (t = atoi(str)) != 0)
 833           repodata_set_num(pd->data, handle, SOLVABLE_BUILDTIME, t);
 834         break;
 835       }
 836     case STATE_SIZE:
 837       {
 838         unsigned int k;
 839         str = find_attr("installed", atts);
 840         if (str && (k = atoi(str)) != 0)
 841           repodata_set_num(pd->data, handle, SOLVABLE_INSTALLSIZE, (k + 1023) / 1024);
 842         /* XXX the "package" attribute gives the size of the rpm file,
 843            i.e. the download size.  Except on packman, there it seems to be
 844            something else entirely, it has a value near to the other two
 845            values, as if the rpm is uncompressed.  */
 846         str = find_attr("package", atts);
 847         if (str && (k = atoi(str)) != 0)
 848           repodata_set_num(pd->data, handle, SOLVABLE_DOWNLOADSIZE, (k + 1023) / 1024);
 849         break;
 850       }
 851     case STATE_HEADERRANGE:
 852       {
 853         unsigned int end;
 854         str = find_attr("end", atts);
 855         if (str && (end = atoi(str)) != 0)
 856           repodata_set_num(pd->data, handle, SOLVABLE_HEADEREND, end);
 857       }
 858       /*
 859         <diskusage>
 860           <dirs>
 861             <dir name="/" size="56" count="11"/>
 862             <dir name="usr/" size="56" count="11"/>
 863             <dir name="usr/bin/" size="38" count="10"/>
 864             <dir name="usr/share/" size="18" count="1"/>
 865             <dir name="usr/share/doc/" size="18" count="1"/>
 866           </dirs>
 867         </diskusage>
 868       */
 869     case STATE_DISKUSAGE:
 870       {
 871         /* Really, do nothing, wat for <dir> tag */
 872         break;
 873       }
 874     case STATE_DIR:
 875       {
 876         long filesz = 0, filenum = 0;
 877         unsigned dirid;
 878         if ((str = find_attr("name", atts)) != 0)
 879           dirid = repodata_str2dir(pd->data, str, 1);
 880         else
 881           {
 882             fprintf( stderr, "<dir .../> tag without 'name' attribute, atts = %p, *atts = %p\n",
 883                     (void *)atts, *atts);
 884             break;
 885           }
 886         if ((str = find_attr("size", atts)) != 0)
 887           filesz = strtol(str, 0, 0);
 888         if ((str = find_attr("count", atts)) != 0)
 889           filenum = strtol(str, 0, 0);
 890         pd->dirs = solv_extend(pd->dirs, pd->ndirs, 1, sizeof(pd->dirs[0]), 31);
 891         pd->dirs[pd->ndirs][0] = dirid;
 892         pd->dirs[pd->ndirs][1] = filesz;
 893         pd->dirs[pd->ndirs][2] = filenum;
 894         pd->ndirs++;
 895         break;
 896       }
 897     default:
 898       break;
 899     }
 900 }
 901
 902
 903 /*
 904  * endElement
 905  * XML callback
 906  *
 907  */
 908
 909 static void XMLCALL
 910 endElement(void *userData, const char *name)
 911 {
 912   //fprintf(stderr,"-tag: %s\n", name);
 913   struct parsedata *pd = userData;
 914   Pool *pool = pd->pool;
 915   Solvable *s = pd->solvable;
 916   Repo *repo = pd->repo;
 917   Id handle = pd->handle;
 918   Id id;
 919   char *p;
 920
 921   if (pd->depth != pd->statedepth)
 922     {
 923       pd->depth--;
 924       // printf("back from unknown %d %d %d\n", pd->state, pd->depth, pd->statedepth);
 925       return;
 926     }
 927
 928   /* ignore patterns & metadata */
 929   if (pd->state == STATE_START && !strcmp(name, "patterns"))
 930     return;
 931   if (pd->state == STATE_START && !strcmp(name, "products"))
 932     return;
 933   //if (pd->state == STATE_START && !strcmp(name, "metadata"))
 934   //  return;
 935   if (pd->state == STATE_SOLVABLE && !strcmp(name, "format"))
 936     return;
 937
 938   pd->depth--;
 939   pd->statedepth--;
 940   switch (pd->state)
 941     {
 942     case STATE_SOLVABLE:
 943       if (pd->kind && !s->name) /* add namespace in case of NULL name */
 944         s->name = pool_str2id(pool, join2(&pd->jd, pd->kind, ":", 0), 1);
 945       if (!s->arch)
 946         s->arch = ARCH_NOARCH;
 947       if (!s->evr)
 948         s->evr = ID_EMPTY;      /* some patterns have this */
 949       if (s->name && s->arch != ARCH_SRC && s->arch != ARCH_NOSRC)
 950         s->provides = repo_addid_dep(repo, s->provides, pool_rel2id(pool, s->name, s->evr, REL_EQ, 1), 0);
 951       s->supplements = repo_fix_supplements(repo, s->provides, s->supplements, pd->freshens);
 952       s->conflicts = repo_fix_conflicts(repo, s->conflicts);
 953       pd->freshens = 0;
 954       pd->kind = 0;
 955       break;
 956     case STATE_NAME:
 957       if (pd->kind)
 958         s->name = pool_str2id(pool, join2(&pd->jd, pd->kind, ":", pd->content), 1);
 959       else
 960         s->name = pool_str2id(pool, pd->content, 1);
 961       break;
 962     case STATE_ARCH:
 963       s->arch = pool_str2id(pool, pd->content, 1);
 964       break;
 965     case STATE_VENDOR:
 966       s->vendor = pool_str2id(pool, pd->content, 1);
 967       break;
 968     case STATE_RPM_GROUP:
 969       repodata_set_poolstr(pd->data, handle, SOLVABLE_GROUP, pd->content);
 970       break;
 971     case STATE_RPM_LICENSE:
 972       repodata_set_poolstr(pd->data, handle, SOLVABLE_LICENSE, pd->content);
 973       break;
 974     case STATE_CHECKSUM:
 975       {
 976         Id index;
 977
 978         if (strlen(pd->content) != 2 * solv_chksum_len(pd->chksumtype))
 979           {
 980             fprintf(stderr, "Invalid checksum length: %d: for %s\n", (unsigned int)XML_GetCurrentLineNumber(*pd->parser), solv_chksum_type2str(pd->chksumtype));
 981             exit(1);
 982           }
 983         repodata_set_checksum(pd->data, handle, SOLVABLE_CHECKSUM, pd->chksumtype, pd->content);
 984         /* we save the checksum to solvable id relationship for extended
 985            metadata */
 986         index = stringpool_str2id(&pd->cspool, pd->content, 1 /* create it */);
 987         if (index >= pd->ncscache)
 988           {
 989             pd->cscache = solv_zextend(pd->cscache, pd->ncscache, index + 1 - pd->ncscache, sizeof(Id), 255);
 990             pd->ncscache = index + 1;
 991           }
 992         /* add the checksum to the cache */
 993         pd->cscache[index] = s - pool->solvables;
 994         break;
 995       }
 996     case STATE_FILE:
 997 #if 0
 998       id = pool_str2id(pool, pd->content, 1);
 999       s->provides = repo_addid_dep(repo, s->provides, id, SOLVABLE_FILEMARKER);
1000 #endif
1001       if ((p = strrchr(pd->content, '/')) != 0)
1002         {
1003           *p++ = 0;
1004           if (pd->lastdir && !strcmp(pd->lastdirstr, pd->content))
1005             {
1006               id = pd->lastdir;
1007             }
1008           else
1009             {
1010               int l;
1011               id = repodata_str2dir(pd->data, pd->content, 1);
1012               l = strlen(pd->content) + 1;
1013               if (l > pd->lastdirstrl)
1014                 {
1015                   pd->lastdirstrl = l + 128;
1016                   pd->lastdirstr = solv_realloc(pd->lastdirstr, pd->lastdirstrl);
1017                 }
1018               strcpy(pd->lastdirstr, pd->content);
1019               pd->lastdir = id;
1020             }
1021         }
1022       else
1023         {
1024           p = pd->content;
1025           id = 0;
1026         }
1027       if (!id)
1028         id = repodata_str2dir(pd->data, "/", 1);
1029       repodata_add_dirstr(pd->data, handle, SOLVABLE_FILELIST, id, p);
1030       break;
1031     case STATE_SUMMARY:
1032       repodata_set_str(pd->data, handle, langtag(pd, SOLVABLE_SUMMARY, pd->tmplang), pd->content);
1033       break;
1034     case STATE_DESCRIPTION:
1035       set_description_author(pd->data, handle, pd->content, pd);
1036       break;
1037     case STATE_CATEGORY:
1038       repodata_set_str(pd->data, handle, langtag(pd, SOLVABLE_CATEGORY, pd->tmplang), pd->content);
1039       break;
1040     case STATE_DISTRIBUTION:
1041         repodata_set_poolstr(pd->data, handle, SOLVABLE_DISTRIBUTION, pd->content);
1042         break;
1043     case STATE_URL:
1044       if (pd->content[0])
1045         repodata_set_str(pd->data, handle, SOLVABLE_URL, pd->content);
1046       break;
1047     case STATE_PACKAGER:
1048       if (pd->content[0])
1049         repodata_set_poolstr(pd->data, handle, SOLVABLE_PACKAGER, pd->content);
1050       break;
1051     case STATE_SOURCERPM:
1052       set_sourcerpm(pd->data, s, handle, pd->content);
1053       break;
1054     case STATE_RELNOTESURL:
1055       if (pd->content[0])
1056         {
1057           repodata_add_poolstr_array(pd->data, pd->handle, PRODUCT_URL, pd->content);
1058           repodata_add_idarray(pd->data, pd->handle, PRODUCT_URL_TYPE, pool_str2id(pool, "releasenotes", 1));
1059         }
1060       break;
1061     case STATE_UPDATEURL:
1062       if (pd->content[0])
1063         {
1064           repodata_add_poolstr_array(pd->data, pd->handle, PRODUCT_URL, pd->content);
1065           repodata_add_idarray(pd->data, pd->handle, PRODUCT_URL_TYPE, pool_str2id(pool, "update", 1));
1066         }
1067       break;
1068     case STATE_OPTIONALURL:
1069       if (pd->content[0])
1070         {
1071           repodata_add_poolstr_array(pd->data, pd->handle, PRODUCT_URL, pd->content);
1072           repodata_add_idarray(pd->data, pd->handle, PRODUCT_URL_TYPE, pool_str2id(pool, "optional", 1));
1073         }
1074       break;
1075     case STATE_FLAG:
1076       if (pd->content[0])
1077           repodata_set_poolstr(pd->data, handle, PRODUCT_FLAGS, pd->content);
1078       break;
1079     case STATE_EULA:
1080       if (pd->content[0])
1081         repodata_set_str(pd->data, handle, langtag(pd, SOLVABLE_EULA, pd->tmplang), pd->content);
1082       break;
1083     case STATE_KEYWORD:
1084       if (pd->content[0])
1085         repodata_add_poolstr_array(pd->data, pd->handle, SOLVABLE_KEYWORDS, pd->content);
1086       break;
1087     case STATE_DISKUSAGE:
1088       if (pd->ndirs)
1089         commit_diskusage(pd, pd->handle);
1090       break;
1091     case STATE_ORDER:
1092       if (pd->content[0])
1093         repodata_set_str(pd->data, pd->handle, SOLVABLE_ORDER, pd->content);
1094     default:
1095       break;
1096     }
1097   pd->state = pd->sbtab[pd->state];
1098   pd->docontent = 0;
1099   // fprintf(stderr, "back from known %d %d %d\n", pd->state, pd->depth, pd->statedepth);
1100 }
1101
1102
1103 /*
1104  * characterData
1105  * XML callback
1106  *
1107  */
1108
1109 static void XMLCALL
1110 characterData(void *userData, const XML_Char *s, int len)
1111 {
1112   struct parsedata *pd = userData;
1113   int l;
1114   char *c;
1115
1116   if (!pd->docontent)
1117     return;
1118   l = pd->lcontent + len + 1;
1119   if (l > pd->acontent)
1120     {
1121       pd->content = solv_realloc(pd->content, l + 256);
1122       pd->acontent = l + 256;
1123     }
1124   c = pd->content + pd->lcontent;
1125   pd->lcontent += len;
1126   while (len-- > 0)
1127     *c++ = *s++;
1128   *c = 0;
1129 }
1130
1131
1132 /*-----------------------------------------------*/
1133 /* 'main' */
1134
1135 #define BUFF_SIZE 8192
1136
1137 /*
1138  * repo_add_rpmmd
1139  * parse rpm-md metadata (primary, others)
1140  *
1141  */
1142
1143 int
1144 repo_add_rpmmd(Repo *repo, FILE *fp, const char *language, int flags)
1145 {
1146   Pool *pool = repo->pool;
1147   struct parsedata pd;
1148   char buf[BUFF_SIZE];
1149   int i, l;
1150   struct stateswitch *sw;
1151   Repodata *data;
1152   unsigned int now;
1153   XML_Parser parser;
1154
1155   now = solv_timems(0);
1156   data = repo_add_repodata(repo, flags);
1157
1158   memset(&pd, 0, sizeof(pd));
1159   for (i = 0, sw = stateswitches; sw->from != NUMSTATES; i++, sw++)
1160     {
1161       if (!pd.swtab[sw->from])
1162         pd.swtab[sw->from] = sw;
1163       pd.sbtab[sw->to] = sw->from;
1164     }
1165   pd.pool = pool;
1166   pd.repo = repo;
1167   pd.data = data;
1168
1169   pd.content = solv_malloc(256);
1170   pd.acontent = 256;
1171   pd.lcontent = 0;
1172   pd.kind = 0;
1173   pd.language = language && *language && strcmp(language, "en") != 0 ? language : 0;
1174
1175   /* initialize the string pool where we will store
1176      the package checksums we know about, to get an Id
1177      we can use in a cache */
1178   stringpool_init_empty(&pd.cspool);
1179   if ((flags & REPO_EXTEND_SOLVABLES) != 0)
1180     {
1181       /* setup join data */
1182       Dataiterator di;
1183       dataiterator_init(&di, pool, repo, 0, SOLVABLE_CHECKSUM, 0, 0);
1184       while (dataiterator_step(&di))
1185         {
1186           const char *str;
1187           int index;
1188
1189           if (!solv_chksum_len(di.key->type))
1190             continue;
1191           str = repodata_chk2str(di.data, di.key->type, (const unsigned char *)di.kv.str);
1192           index = stringpool_str2id(&pd.cspool, str, 1);
1193           if (index >= pd.ncscache)
1194             {
1195               pd.cscache = solv_zextend(pd.cscache, pd.ncscache, index + 1 - pd.ncscache, sizeof(Id), 255);
1196               pd.ncscache = index + 1;
1197             }
1198           pd.cscache[index] = di.solvid;
1199         }
1200       dataiterator_free(&di);
1201     }
1202
1203   parser = XML_ParserCreate(NULL);
1204   XML_SetUserData(parser, &pd);
1205   pd.parser = &parser;
1206   XML_SetElementHandler(parser, startElement, endElement);
1207   XML_SetCharacterDataHandler(parser, characterData);
1208   for (;;)
1209     {
1210       l = fread(buf, 1, sizeof(buf), fp);
1211       if (XML_Parse(parser, buf, l, l == 0) == XML_STATUS_ERROR)
1212         {
1213           pool_debug(pool, SOLV_FATAL, "repo_rpmmd: %s at line %u:%u\n", XML_ErrorString(XML_GetErrorCode(parser)), (unsigned int)XML_GetCurrentLineNumber(parser), (unsigned int)XML_GetCurrentColumnNumber(parser));
1214           exit(1);
1215         }
1216       if (l == 0)
1217         break;
1218     }
1219   XML_ParserFree(parser);
1220   solv_free(pd.content);
1221   solv_free(pd.lastdirstr);
1222   join_freemem(&pd.jd);
1223   stringpool_free(&pd.cspool);
1224   solv_free(pd.cscache);
1225
1226   if (!(flags & REPO_NO_INTERNALIZE))
1227     repodata_internalize(data);
1228   POOL_DEBUG(SOLV_DEBUG_STATS, "repo_add_rpmmd took %d ms\n", solv_timems(now));
1229   POOL_DEBUG(SOLV_DEBUG_STATS, "repo size: %d solvables\n", repo->nsolvables);
1230   POOL_DEBUG(SOLV_DEBUG_STATS, "repo memory used: %d K incore, %d K idarray\n", repodata_memused(data)/1024, repo->idarraysize / (int)(1024/sizeof(Id)));
1231   return 0;
1232 }