ext/repo_rpmmd.c

   1 /*
   2  * Copyright (c) 2007, Novell Inc.
   3  *
   4  * This program is licensed under the BSD license, read LICENSE.BSD
   5  * for further information
   6  */
   7
   8 #include <sys/types.h>
   9 #include <limits.h>
  10 #include <fcntl.h>
  11 #include <stdio.h>
  12 #include <stdlib.h>
  13 #include <string.h>
  14 #include <expat.h>
  15
  16 #include "pool.h"
  17 #include "repo.h"
  18 #define DISABLE_SPLIT
  19 #include "tools_util.h"
  20 #include "repo_rpmmd.h"
  21 #include "chksum.h"
  22
  23
  24 enum state {
  25   STATE_START,
  26
  27   STATE_SOLVABLE,
  28
  29   STATE_NAME,
  30   STATE_ARCH,
  31   STATE_VERSION,
  32
  33   /* package rpm-md */
  34   STATE_LOCATION,
  35   STATE_CHECKSUM,
  36   STATE_RPM_GROUP,
  37   STATE_RPM_LICENSE,
  38
  39   /* resobject attributes */
  40   STATE_SUMMARY,
  41   STATE_DESCRIPTION,
  42   STATE_DISTRIBUTION,
  43   STATE_PACKAGER,
  44   STATE_URL,
  45   STATE_INSNOTIFY,
  46   STATE_DELNOTIFY,
  47   STATE_VENDOR,
  48   STATE_SIZE,
  49   STATE_TIME,
  50   STATE_DOWNLOADSIZE,
  51   STATE_INSTALLTIME,
  52   STATE_INSTALLONLY,
  53
  54   /* Novell/SUSE extended attributes */
  55   STATE_EULA,
  56   STATE_KEYWORD,
  57   STATE_DISKUSAGE,
  58   STATE_DIRS,
  59   STATE_DIR,
  60
  61   /* patch */
  62   STATE_ID,
  63   STATE_TIMESTAMP,
  64   STATE_AFFECTSPKG,
  65   STATE_REBOOTNEEDED,
  66
  67   /* pattern attributes */
  68   STATE_CATEGORY, /* pattern and patches */
  69   STATE_ORDER,
  70   STATE_INCLUDES,
  71   STATE_INCLUDESENTRY,
  72   STATE_EXTENDS,
  73   STATE_EXTENDSENTRY,
  74   STATE_SCRIPT,
  75   STATE_ICON,
  76   STATE_USERVISIBLE,
  77   STATE_DEFAULT,
  78   STATE_INSTALL_TIME,
  79
  80   /* product */
  81   STATE_RELNOTESURL,
  82   STATE_UPDATEURL,
  83   STATE_OPTIONALURL,
  84   STATE_FLAG,
  85
  86   /* rpm-md dependencies inside the
  87      format tag */
  88   STATE_PROVIDES,
  89   STATE_REQUIRES,
  90   STATE_OBSOLETES,
  91   STATE_CONFLICTS,
  92   STATE_RECOMMENDS,
  93   STATE_SUPPLEMENTS,
  94   STATE_SUGGESTS,
  95   STATE_ENHANCES,
  96   STATE_FRESHENS,
  97   STATE_SOURCERPM,
  98   STATE_HEADERRANGE,
  99
 100   STATE_PROVIDESENTRY,
 101   STATE_REQUIRESENTRY,
 102   STATE_OBSOLETESENTRY,
 103   STATE_CONFLICTSENTRY,
 104   STATE_RECOMMENDSENTRY,
 105   STATE_SUPPLEMENTSENTRY,
 106   STATE_SUGGESTSENTRY,
 107   STATE_ENHANCESENTRY,
 108   STATE_FRESHENSENTRY,
 109
 110   STATE_FILE,
 111
 112   STATE_CHANGELOG,
 113
 114   /* general */
 115   NUMSTATES
 116 };
 117
 118 struct stateswitch {
 119   enum state from;
 120   char *ename;
 121   enum state to;
 122   int docontent;
 123 };
 124
 125 static struct stateswitch stateswitches[] = {
 126   /** fake tag used to enclose 2 different xml files in one **/
 127   { STATE_START,       "rpmmd",           STATE_START,    0 },
 128
 129   /** tags for different package data, we just ignore the tag **/
 130   { STATE_START,       "metadata",        STATE_START,    0 },
 131   { STATE_START,       "otherdata",       STATE_START,    0 },
 132   { STATE_START,       "filelists",       STATE_START,    0 },
 133   { STATE_START,       "diskusagedata",   STATE_START,    0 },
 134   { STATE_START,       "susedata",        STATE_START,    0 },
 135
 136   { STATE_START,       "product",         STATE_SOLVABLE, 0 },
 137   { STATE_START,       "pattern",         STATE_SOLVABLE, 0 },
 138   { STATE_START,       "patch",           STATE_SOLVABLE, 0 },
 139   { STATE_START,       "package",         STATE_SOLVABLE, 0 },
 140
 141   { STATE_SOLVABLE,    "name",            STATE_NAME, 1 },
 142   { STATE_SOLVABLE,    "arch",            STATE_ARCH, 1 },
 143   { STATE_SOLVABLE,    "version",         STATE_VERSION, 0 },
 144
 145   /* package attributes rpm-md */
 146   { STATE_SOLVABLE,    "location",        STATE_LOCATION, 0 },
 147   { STATE_SOLVABLE,    "checksum",        STATE_CHECKSUM, 1 },
 148
 149   /* resobject attributes */
 150
 151   { STATE_SOLVABLE,    "summary",         STATE_SUMMARY,      1 },
 152   { STATE_SOLVABLE,    "description",     STATE_DESCRIPTION,  1 },
 153   { STATE_SOLVABLE,    "distribution",    STATE_DISTRIBUTION, 1 },
 154   { STATE_SOLVABLE,    "url",             STATE_URL,          1 },
 155   { STATE_SOLVABLE,    "packager",        STATE_PACKAGER,     1 },
 156   { STATE_SOLVABLE,    "vendor",          STATE_VENDOR,       1 },
 157   { STATE_SOLVABLE,    "size",            STATE_SIZE,         0 },
 158   { STATE_SOLVABLE,    "archive-size",    STATE_DOWNLOADSIZE, 1 },
 159   { STATE_SOLVABLE,    "install-time",    STATE_INSTALLTIME,  1 },
 160   { STATE_SOLVABLE,    "install-only",    STATE_INSTALLONLY,  1 },
 161   { STATE_SOLVABLE,    "time",            STATE_TIME,         0 },
 162
 163   /* extended Novell/SUSE attributes (susedata.xml) */
 164   { STATE_SOLVABLE,    "eula",            STATE_EULA,         1 },
 165   { STATE_SOLVABLE,    "keyword",         STATE_KEYWORD,      1 },
 166   { STATE_SOLVABLE,    "diskusage",       STATE_DISKUSAGE,    0 },
 167
 168   /* pattern attribute */
 169   { STATE_SOLVABLE,    "script",          STATE_SCRIPT,        1 },
 170   { STATE_SOLVABLE,    "icon",            STATE_ICON,          1 },
 171   { STATE_SOLVABLE,    "uservisible",     STATE_USERVISIBLE,   1 },
 172   { STATE_SOLVABLE,    "category",        STATE_CATEGORY,      1 },
 173   { STATE_SOLVABLE,    "order",           STATE_ORDER,         1 },
 174   { STATE_SOLVABLE,    "includes",        STATE_INCLUDES,      0 },
 175   { STATE_SOLVABLE,    "extends",         STATE_EXTENDS,       0 },
 176   { STATE_SOLVABLE,    "default",         STATE_DEFAULT,       1 },
 177   { STATE_SOLVABLE,    "install-time",    STATE_INSTALL_TIME,  1 },
 178
 179   /* product attributes */
 180   /* note the product type is an attribute */
 181   { STATE_SOLVABLE,    "release-notes-url", STATE_RELNOTESURL, 1 },
 182   { STATE_SOLVABLE,    "update-url",      STATE_UPDATEURL,   1 },
 183   { STATE_SOLVABLE,    "optional-url",    STATE_OPTIONALURL, 1 },
 184   { STATE_SOLVABLE,    "flag",            STATE_FLAG,        1 },
 185
 186   { STATE_SOLVABLE,    "rpm:vendor",      STATE_VENDOR,      1 },
 187   { STATE_SOLVABLE,    "rpm:group",       STATE_RPM_GROUP,   1 },
 188   { STATE_SOLVABLE,    "rpm:license",     STATE_RPM_LICENSE, 1 },
 189
 190   /* rpm-md dependencies */
 191   { STATE_SOLVABLE,    "rpm:provides",    STATE_PROVIDES,     0 },
 192   { STATE_SOLVABLE,    "rpm:requires",    STATE_REQUIRES,     0 },
 193   { STATE_SOLVABLE,    "rpm:obsoletes",   STATE_OBSOLETES,    0 },
 194   { STATE_SOLVABLE,    "rpm:conflicts",   STATE_CONFLICTS,    0 },
 195   { STATE_SOLVABLE,    "rpm:recommends",  STATE_RECOMMENDS ,  0 },
 196   { STATE_SOLVABLE,    "rpm:supplements", STATE_SUPPLEMENTS,  0 },
 197   { STATE_SOLVABLE,    "rpm:suggests",    STATE_SUGGESTS,     0 },
 198   { STATE_SOLVABLE,    "rpm:enhances",    STATE_ENHANCES,     0 },
 199   { STATE_SOLVABLE,    "rpm:freshens",    STATE_FRESHENS,     0 },
 200   { STATE_SOLVABLE,    "rpm:sourcerpm",   STATE_SOURCERPM,    1 },
 201   { STATE_SOLVABLE,    "rpm:header-range", STATE_HEADERRANGE, 0 },
 202   { STATE_SOLVABLE,    "file",            STATE_FILE, 1 },
 203   { STATE_SOLVABLE,    "changelog",       STATE_CHANGELOG, 1 },
 204
 205    /* extended Novell/SUSE diskusage attributes (susedata.xml) */
 206   { STATE_DISKUSAGE,   "dirs",            STATE_DIRS,         0 },
 207   { STATE_DIRS,        "dir",             STATE_DIR,          0 },
 208
 209   { STATE_PROVIDES,    "rpm:entry",       STATE_PROVIDESENTRY, 0 },
 210   { STATE_REQUIRES,    "rpm:entry",       STATE_REQUIRESENTRY, 0 },
 211   { STATE_OBSOLETES,   "rpm:entry",       STATE_OBSOLETESENTRY, 0 },
 212   { STATE_CONFLICTS,   "rpm:entry",       STATE_CONFLICTSENTRY, 0 },
 213   { STATE_RECOMMENDS,  "rpm:entry",       STATE_RECOMMENDSENTRY, 0 },
 214   { STATE_SUPPLEMENTS, "rpm:entry",       STATE_SUPPLEMENTSENTRY, 0 },
 215   { STATE_SUGGESTS,    "rpm:entry",       STATE_SUGGESTSENTRY, 0 },
 216   { STATE_ENHANCES,    "rpm:entry",       STATE_ENHANCESENTRY, 0 },
 217   { STATE_FRESHENS,    "rpm:entry",       STATE_FRESHENSENTRY, 0 },
 218
 219   { STATE_INCLUDES,    "item",            STATE_INCLUDESENTRY, 0 },
 220   { STATE_EXTENDS,     "item",            STATE_EXTENDSENTRY,  0 },
 221
 222   { NUMSTATES}
 223 };
 224
 225 struct parsedata {
 226   int ret;
 227   Pool *pool;
 228   Repo *repo;
 229   Repodata *data;
 230   char *kind;
 231   int depth;
 232   enum state state;
 233   int statedepth;
 234   char *content;
 235   int lcontent;
 236   int acontent;
 237   int docontent;
 238   Solvable *solvable;
 239   Offset freshens;
 240   struct stateswitch *swtab[NUMSTATES];
 241   enum state sbtab[NUMSTATES];
 242   struct joindata jd;
 243   /* temporal to store attribute tag language */
 244   const char *tmplang;
 245   Id chksumtype;
 246   Id handle;
 247   XML_Parser *parser;
 248   Id (*dirs)[3]; /* dirid, size, nfiles */
 249   int ndirs;
 250   const char *language;                 /* default language */
 251   Id langcache[ID_NUM_INTERNAL];        /* cache for the default language */
 252
 253   Id lastdir;
 254   char *lastdirstr;
 255   int lastdirstrl;
 256
 257   Id changelog_handle;
 258
 259   /** Hash to maps checksums to solv */
 260   Stringpool cspool;
 261   /** Cache of known checksums to solvable id */
 262   Id *cscache;
 263   /* the current longest index in the table */
 264   int ncscache;
 265 };
 266
 267 static Id
 268 langtag(struct parsedata *pd, Id tag, const char *language)
 269 {
 270   if (language)
 271     {
 272       if (!language[0] || !strcmp(language, "en"))
 273         return tag;
 274       return pool_id2langid(pd->pool, tag, language, 1);
 275     }
 276   if (!pd->language)
 277     return tag;
 278   if (tag >= ID_NUM_INTERNAL)
 279     return pool_id2langid(pd->pool, tag, pd->language, 1);
 280   if (!pd->langcache[tag])
 281     pd->langcache[tag] = pool_id2langid(pd->pool, tag, pd->language, 1);
 282   return pd->langcache[tag];
 283 }
 284
 285 static int
 286 id3_cmp (const void *v1, const void *v2, void *dp)
 287 {
 288   Id *i1 = (Id*)v1;
 289   Id *i2 = (Id*)v2;
 290   return i1[0] - i2[0];
 291 }
 292
 293 static void
 294 commit_diskusage (struct parsedata *pd, Id handle)
 295 {
 296   int i;
 297   Dirpool *dp = &pd->data->dirpool;
 298   /* Now sort in dirid order.  This ensures that parents come before
 299      their children.  */
 300   if (pd->ndirs > 1)
 301     solv_sort(pd->dirs, pd->ndirs, sizeof (pd->dirs[0]), id3_cmp, 0);
 302   /* Substract leaf numbers from all parents to make the numbers
 303      non-cumulative.  This must be done post-order (i.e. all leafs
 304      adjusted before parents).  We ensure this by starting at the end of
 305      the array moving to the start, hence seeing leafs before parents.  */
 306   for (i = pd->ndirs; i--;)
 307     {
 308       Id p = dirpool_parent(dp, pd->dirs[i][0]);
 309       int j = i;
 310       for (; p; p = dirpool_parent(dp, p))
 311         {
 312           for (; j--;)
 313             if (pd->dirs[j][0] == p)
 314               break;
 315           if (j >= 0)
 316             {
 317               if (pd->dirs[j][1] < pd->dirs[i][1])
 318                 pd->dirs[j][1] = 0;
 319               else
 320                 pd->dirs[j][1] -= pd->dirs[i][1];
 321               if (pd->dirs[j][2] < pd->dirs[i][2])
 322                 pd->dirs[j][2] = 0;
 323               else
 324                 pd->dirs[j][2] -= pd->dirs[i][2];
 325             }
 326           else
 327             /* Haven't found this parent in the list, look further if
 328                we maybe find the parents parent.  */
 329             j = i;
 330         }
 331     }
 332 #if 0
 333   char sbuf[1024];
 334   char *buf = sbuf;
 335   unsigned slen = sizeof (sbuf);
 336   for (i = 0; i < pd->ndirs; i++)
 337     {
 338       dir2str (attr, pd->dirs[i][0], &buf, &slen);
 339       fprintf (stderr, "have dir %d %d %d %s\n", pd->dirs[i][0], pd->dirs[i][1], pd->dirs[i][2], buf);
 340     }
 341   if (buf != sbuf)
 342     free (buf);
 343 #endif
 344   for (i = 0; i < pd->ndirs; i++)
 345     if (pd->dirs[i][1] || pd->dirs[i][2])
 346       {
 347         repodata_add_dirnumnum(pd->data, handle, SOLVABLE_DISKUSAGE, pd->dirs[i][0], pd->dirs[i][1], pd->dirs[i][2]);
 348       }
 349   pd->ndirs = 0;
 350 }
 351
 352
 353 /*
 354  * makeevr_atts
 355  * parse 'epoch', 'ver' and 'rel', return evr Id
 356  *
 357  */
 358
 359 static Id
 360 makeevr_atts(Pool *pool, struct parsedata *pd, const char **atts)
 361 {
 362   const char *e, *v, *r, *v2;
 363   char *c;
 364   int l;
 365
 366   e = v = r = 0;
 367   for (; *atts; atts += 2)
 368     {
 369       if (!strcmp(*atts, "epoch"))
 370         e = atts[1];
 371       else if (!strcmp(*atts, "ver"))
 372         v = atts[1];
 373       else if (!strcmp(*atts, "rel"))
 374         r = atts[1];
 375     }
 376   if (e && (!*e || !strcmp(e, "0")))
 377     e = 0;
 378   if (v && !e)
 379     {
 380       for (v2 = v; *v2 >= '0' && *v2 <= '9'; v2++)
 381         ;
 382       if (v2 > v && *v2 == ':')
 383         e = "0";
 384     }
 385   l = 1;
 386   if (e)
 387     l += strlen(e) + 1;
 388   if (v)
 389     l += strlen(v);
 390   if (r)
 391     l += strlen(r) + 1;
 392   if (l > pd->acontent)
 393     {
 394       pd->content = solv_realloc(pd->content, l + 256);
 395       pd->acontent = l + 256;
 396     }
 397   c = pd->content;
 398   if (e)
 399     {
 400       strcpy(c, e);
 401       c += strlen(c);
 402       *c++ = ':';
 403     }
 404   if (v)
 405     {
 406       strcpy(c, v);
 407       c += strlen(c);
 408     }
 409   if (r)
 410     {
 411       *c++ = '-';
 412       strcpy(c, r);
 413       c += strlen(c);
 414     }
 415   *c = 0;
 416   if (!*pd->content)
 417     return 0;
 418 #if 0
 419   fprintf(stderr, "evr: %s\n", pd->content);
 420 #endif
 421   return pool_str2id(pool, pd->content, 1);
 422 }
 423
 424
 425 /*
 426  * find_attr
 427  * find value for xml attribute
 428  * I: txt, name of attribute
 429  * I: atts, list of key/value attributes
 430  * O: pointer to value of matching key, or NULL
 431  *
 432  */
 433
 434 static inline const char *
 435 find_attr(const char *txt, const char **atts)
 436 {
 437   for (; *atts; atts += 2)
 438     {
 439       if (!strcmp(*atts, txt))
 440         return atts[1];
 441     }
 442   return 0;
 443 }
 444
 445
 446 /*
 447  * dependency relations
 448  */
 449
 450 static char *flagtab[] = {
 451   "GT",
 452   "EQ",
 453   "GE",
 454   "LT",
 455   "NE",
 456   "LE"
 457 };
 458
 459
 460 /*
 461  * adddep
 462  * parse attributes to reldep Id
 463  *
 464  */
 465
 466 static unsigned int
 467 adddep(Pool *pool, struct parsedata *pd, unsigned int olddeps, const char **atts, int isreq)
 468 {
 469   Id id, name, marker;
 470   const char *n, *f, *k;
 471   const char **a;
 472
 473   n = f = k = 0;
 474   marker = isreq ? -SOLVABLE_PREREQMARKER : 0;
 475   for (a = atts; *a; a += 2)
 476     {
 477       if (!strcmp(*a, "name"))
 478         n = a[1];
 479       else if (!strcmp(*a, "flags"))
 480         f = a[1];
 481       else if (!strcmp(*a, "kind"))
 482         k = a[1];
 483       else if (isreq && !strcmp(*a, "pre") && a[1][0] == '1')
 484         marker = SOLVABLE_PREREQMARKER;
 485     }
 486   if (!n)
 487     return olddeps;
 488   if (k && !strcmp(k, "package"))
 489     k = 0;
 490   if (k)
 491     {
 492       int l = strlen(k) + 1 + strlen(n) + 1;
 493       if (l > pd->acontent)
 494         {
 495           pd->content = solv_realloc(pd->content, l + 256);
 496           pd->acontent = l + 256;
 497         }
 498       sprintf(pd->content, "%s:%s", k, n);
 499       name = pool_str2id(pool, pd->content, 1);
 500     }
 501   else
 502     name = pool_str2id(pool, (char *)n, 1);
 503   if (f)
 504     {
 505       Id evr = makeevr_atts(pool, pd, atts);
 506       int flags;
 507       for (flags = 0; flags < 6; flags++)
 508         if (!strcmp(f, flagtab[flags]))
 509           break;
 510       flags = flags < 6 ? flags + 1 : 0;
 511       id = pool_rel2id(pool, name, evr, flags, 1);
 512     }
 513   else
 514     id = name;
 515 #if 0
 516   fprintf(stderr, "new dep %s\n", pool_dep2str(pool, id));
 517 #endif
 518   return repo_addid_dep(pd->repo, olddeps, id, marker);
 519 }
 520
 521
 522 /*
 523  * set_description_author
 524  *
 525  */
 526 static void
 527 set_description_author(Repodata *data, Id handle, char *str, struct parsedata *pd)
 528 {
 529   char *aut, *p;
 530
 531   if (!str || !*str)
 532     return;
 533   for (aut = str; (aut = strchr(aut, '\n')) != 0; aut++)
 534     if (!strncmp(aut, "\nAuthors:\n--------\n", 19))
 535       break;
 536   if (aut)
 537     {
 538       /* oh my, found SUSE special author section */
 539       int l = aut - str;
 540       str[l] = 0;
 541       while (l > 0 && str[l - 1] == '\n')
 542         str[--l] = 0;
 543       if (l)
 544         repodata_set_str(data, handle, langtag(pd, SOLVABLE_DESCRIPTION, pd->tmplang), str);
 545       p = aut + 19;
 546       aut = str;        /* copy over */
 547       while (*p == ' ' || *p == '\n')
 548         p++;
 549       while (*p)
 550         {
 551           if (*p == '\n')
 552             {
 553               *aut++ = *p++;
 554               while (*p == ' ')
 555                 p++;
 556               continue;
 557             }
 558           *aut++ = *p++;
 559         }
 560       while (aut != str && aut[-1] == '\n')
 561         aut--;
 562       *aut = 0;
 563       if (*str)
 564         repodata_set_str(data, handle, SOLVABLE_AUTHORS, str);
 565     }
 566   else if (*str)
 567     repodata_set_str(data, handle, langtag(pd, SOLVABLE_DESCRIPTION, pd->tmplang), str);
 568 }
 569
 570
 571 /*-----------------------------------------------*/
 572 /* XML callbacks */
 573
 574 /*
 575  * startElement
 576  * XML callback
 577  *
 578  */
 579
 580 static void XMLCALL
 581 startElement(void *userData, const char *name, const char **atts)
 582 {
 583   struct parsedata *pd = userData;
 584   Pool *pool = pd->pool;
 585   Solvable *s = pd->solvable;
 586   struct stateswitch *sw;
 587   const char *str;
 588   Id handle = pd->handle;
 589   const char *pkgid;
 590
 591   /* fprintf(stderr, "into %s, from %d, depth %d, statedepth %d\n", name, pd->state, pd->depth, pd->statedepth); */
 592
 593   if (pd->depth != pd->statedepth)
 594     {
 595       pd->depth++;
 596       return;
 597     }
 598
 599   if (pd->state == STATE_START && !strcmp(name, "patterns"))
 600     return;
 601   if (pd->state == STATE_START && !strcmp(name, "products"))
 602     return;
 603 #if 0
 604   if (pd->state == STATE_START && !strcmp(name, "metadata"))
 605     return;
 606 #endif
 607   if (pd->state == STATE_SOLVABLE && !strcmp(name, "format"))
 608     return;
 609
 610   pd->depth++;
 611   if (!pd->swtab[pd->state])
 612     return;
 613   for (sw = pd->swtab[pd->state]; sw->from == pd->state; sw++)
 614     if (!strcmp(sw->ename, name))
 615       break;
 616   if (sw->from != pd->state)
 617     {
 618 #if 0
 619       fprintf(stderr, "into unknown: %s\n", name);
 620 #endif
 621       return;
 622     }
 623   pd->state = sw->to;
 624   pd->docontent = sw->docontent;
 625   pd->statedepth = pd->depth;
 626   pd->lcontent = 0;
 627   *pd->content = 0;
 628
 629   if (!s && pd->state != STATE_SOLVABLE)
 630     return;
 631
 632   switch(pd->state)
 633     {
 634     case STATE_SOLVABLE:
 635       pd->kind = 0;
 636       if (name[2] == 't' && name[3] == 't')
 637         pd->kind = "pattern";
 638       else if (name[1] == 'r')
 639         pd->kind = "product";
 640       else if (name[2] == 't' && name[3] == 'c')
 641         pd->kind = "patch";
 642
 643       /* to support extension metadata files like others.xml which
 644          have the following structure:
 645
 646          <otherdata xmlns="http://linux.duke.edu/metadata/other"
 647                     packages="101">
 648            <package pkgid="b78f8664cd90efe42e09a345e272997ef1b53c18"
 649                     name="zaptel-kmp-default"
 650                     arch="i586"><version epoch="0"
 651                     ver="1.2.10_2.6.22_rc4_git6_2" rel="70"/>
 652               ...
 653
 654          we need to check if the pkgid is there and if it matches
 655          an already seen package, that means we don't need to create
 656          a new solvable but just append the attributes to the existing
 657          one.
 658       */
 659       if ((pkgid = find_attr("pkgid", atts)) != NULL)
 660         {
 661           /* look at the checksum cache */
 662           Id index = stringpool_str2id(&pd->cspool, pkgid, 0);
 663           if (!index || index >= pd->ncscache || !pd->cscache[index])
 664             {
 665               pool_debug(pool, SOLV_WARN, "the repository specifies extra information about package with checksum '%s', which does not exist in the repository.\n", pkgid);
 666               pd->solvable = 0;
 667               pd->handle = 0;
 668               break;
 669             }
 670           pd->solvable = pool_id2solvable(pool, pd->cscache[index]);
 671         }
 672       else
 673         {
 674           /* this is a new package */
 675           pd->solvable = pool_id2solvable(pool, repo_add_solvable(pd->repo));
 676           pd->freshens = 0;
 677         }
 678       pd->handle = handle = pd->solvable - pool->solvables;
 679       if (pd->kind && pd->kind[1] == 'r')
 680         {
 681           /* products can have a type */
 682           const char *type = find_attr("type", atts);
 683           if (type && *type)
 684             repodata_set_str(pd->data, handle, PRODUCT_TYPE, type);
 685         }
 686 #if 0
 687       fprintf(stderr, "package #%d\n", pd->solvable - pool->solvables);
 688 #endif
 689
 690       break;
 691     case STATE_VERSION:
 692       s->evr = makeevr_atts(pool, pd, atts);
 693       break;
 694     case STATE_PROVIDES:
 695       s->provides = 0;
 696       break;
 697     case STATE_PROVIDESENTRY:
 698       s->provides = adddep(pool, pd, s->provides, atts, 0);
 699       break;
 700     case STATE_REQUIRES:
 701       s->requires = 0;
 702       break;
 703     case STATE_REQUIRESENTRY:
 704       s->requires = adddep(pool, pd, s->requires, atts, 1);
 705       break;
 706     case STATE_OBSOLETES:
 707       s->obsoletes = 0;
 708       break;
 709     case STATE_OBSOLETESENTRY:
 710       s->obsoletes = adddep(pool, pd, s->obsoletes, atts, 0);
 711       break;
 712     case STATE_CONFLICTS:
 713       s->conflicts = 0;
 714       break;
 715     case STATE_CONFLICTSENTRY:
 716       s->conflicts = adddep(pool, pd, s->conflicts, atts, 0);
 717       break;
 718     case STATE_RECOMMENDS:
 719       s->recommends = 0;
 720       break;
 721     case STATE_RECOMMENDSENTRY:
 722       s->recommends = adddep(pool, pd, s->recommends, atts, 0);
 723       break;
 724     case STATE_SUPPLEMENTS:
 725       s->supplements= 0;
 726       break;
 727     case STATE_SUPPLEMENTSENTRY:
 728       s->supplements = adddep(pool, pd, s->supplements, atts, 0);
 729       break;
 730     case STATE_SUGGESTS:
 731       s->suggests = 0;
 732       break;
 733     case STATE_SUGGESTSENTRY:
 734       s->suggests = adddep(pool, pd, s->suggests, atts, 0);
 735       break;
 736     case STATE_ENHANCES:
 737       s->enhances = 0;
 738       break;
 739     case STATE_ENHANCESENTRY:
 740       s->enhances = adddep(pool, pd, s->enhances, atts, 0);
 741       break;
 742     case STATE_FRESHENS:
 743       pd->freshens = 0;
 744       break;
 745     case STATE_FRESHENSENTRY:
 746       pd->freshens = adddep(pool, pd, pd->freshens, atts, 0);
 747       break;
 748     case STATE_EULA:
 749     case STATE_SUMMARY:
 750     case STATE_CATEGORY:
 751     case STATE_DESCRIPTION:
 752       pd->tmplang = join_dup(&pd->jd, find_attr("lang", atts));
 753       break;
 754     case STATE_USERVISIBLE:
 755       repodata_set_void(pd->data, handle, SOLVABLE_ISVISIBLE);
 756       break;
 757     case STATE_INCLUDESENTRY:
 758       str = find_attr("pattern", atts);
 759       if (str)
 760         repodata_add_poolstr_array(pd->data, handle, SOLVABLE_INCLUDES, join2(&pd->jd, "pattern", ":", str));
 761       break;
 762     case STATE_EXTENDSENTRY:
 763       str = find_attr("pattern", atts);
 764       if (str)
 765         repodata_add_poolstr_array(pd->data, handle, SOLVABLE_EXTENDS, join2(&pd->jd, "pattern", ":", str));
 766       break;
 767     case STATE_LOCATION:
 768       str = find_attr("href", atts);
 769       if (str)
 770         {
 771           repodata_set_location(pd->data, handle, 0, 0, str);
 772           str = find_attr("xml:base", atts);
 773           if (str)
 774             repodata_set_poolstr(pd->data, handle, SOLVABLE_MEDIABASE, str);
 775         }
 776       break;
 777     case STATE_CHECKSUM:
 778       str = find_attr("type", atts);
 779       pd->chksumtype = str && *str ? solv_chksum_str2type(str) : 0;
 780       if (!pd->chksumtype)
 781         pd->ret = pool_error(pool, -1, "line %d: unknown checksum type: %s", (unsigned int)XML_GetCurrentLineNumber(*pd->parser), str ? str : "NULL");
 782       break;
 783     case STATE_TIME:
 784       {
 785         unsigned int t;
 786         str = find_attr("build", atts);
 787         if (str && (t = atoi(str)) != 0)
 788           repodata_set_num(pd->data, handle, SOLVABLE_BUILDTIME, t);
 789         break;
 790       }
 791     case STATE_SIZE:
 792       if ((str = find_attr("installed", atts)) != 0)
 793         repodata_set_num(pd->data, handle, SOLVABLE_INSTALLSIZE, strtoull(str, 0, 10));
 794       if ((str = find_attr("package", atts)) != 0)
 795         repodata_set_num(pd->data, handle, SOLVABLE_DOWNLOADSIZE, strtoull(str, 0, 10));
 796       break;
 797     case STATE_HEADERRANGE:
 798       {
 799         unsigned int end;
 800         str = find_attr("end", atts);
 801         if (str && (end = atoi(str)) != 0)
 802           repodata_set_num(pd->data, handle, SOLVABLE_HEADEREND, end);
 803         break;
 804       }
 805       /*
 806         <diskusage>
 807           <dirs>
 808             <dir name="/" size="56" count="11"/>
 809             <dir name="usr/" size="56" count="11"/>
 810             <dir name="usr/bin/" size="38" count="10"/>
 811             <dir name="usr/share/" size="18" count="1"/>
 812             <dir name="usr/share/doc/" size="18" count="1"/>
 813           </dirs>
 814         </diskusage>
 815       */
 816     case STATE_DISKUSAGE:
 817       {
 818         /* Really, do nothing, wait for <dir> tag */
 819         break;
 820       }
 821     case STATE_DIR:
 822       {
 823         long filesz = 0, filenum = 0;
 824         Id dirid;
 825         if ((str = find_attr("name", atts)) != 0)
 826           dirid = repodata_str2dir(pd->data, str, 1);
 827         else
 828           {
 829             pd->ret = pool_error(pool, -1, "<dir .../> tag without 'name' attribute");
 830             break;
 831           }
 832         if (!dirid)
 833           dirid = repodata_str2dir(pd->data, "/", 1);
 834         if ((str = find_attr("size", atts)) != 0)
 835           filesz = strtol(str, 0, 0);
 836         if ((str = find_attr("count", atts)) != 0)
 837           filenum = strtol(str, 0, 0);
 838         pd->dirs = solv_extend(pd->dirs, pd->ndirs, 1, sizeof(pd->dirs[0]), 31);
 839         pd->dirs[pd->ndirs][0] = dirid;
 840         pd->dirs[pd->ndirs][1] = filesz;
 841         pd->dirs[pd->ndirs][2] = filenum;
 842         pd->ndirs++;
 843         break;
 844       }
 845     case STATE_CHANGELOG:
 846       pd->changelog_handle = repodata_new_handle(pd->data);
 847       if ((str = find_attr("date", atts)) != 0)
 848         repodata_set_num(pd->data, pd->changelog_handle, SOLVABLE_CHANGELOG_TIME, strtoull(str, 0, 10));
 849       if ((str = find_attr("author", atts)) != 0)
 850         repodata_set_str(pd->data, pd->changelog_handle, SOLVABLE_CHANGELOG_AUTHOR, str);
 851       break;
 852     default:
 853       break;
 854     }
 855 }
 856
 857
 858 /*
 859  * endElement
 860  * XML callback
 861  *
 862  */
 863
 864 static void XMLCALL
 865 endElement(void *userData, const char *name)
 866 {
 867   struct parsedata *pd = userData;
 868   Pool *pool = pd->pool;
 869   Solvable *s = pd->solvable;
 870   Repo *repo = pd->repo;
 871   Id handle = pd->handle;
 872   Id id;
 873   char *p;
 874
 875   if (pd->depth != pd->statedepth)
 876     {
 877       pd->depth--;
 878       /* printf("back from unknown %d %d %d\n", pd->state, pd->depth, pd->statedepth); */
 879       return;
 880     }
 881
 882   /* ignore patterns & metadata */
 883   if (pd->state == STATE_START && !strcmp(name, "patterns"))
 884     return;
 885   if (pd->state == STATE_START && !strcmp(name, "products"))
 886     return;
 887 #if 0
 888   if (pd->state == STATE_START && !strcmp(name, "metadata"))
 889     return;
 890 #endif
 891   if (pd->state == STATE_SOLVABLE && !strcmp(name, "format"))
 892     return;
 893
 894   pd->depth--;
 895   pd->statedepth--;
 896
 897
 898   if (!s)
 899     {
 900       pd->state = pd->sbtab[pd->state];
 901       pd->docontent = 0;
 902       return;
 903     }
 904
 905   switch (pd->state)
 906     {
 907     case STATE_SOLVABLE:
 908       if (pd->kind && !s->name) /* add namespace in case of NULL name */
 909         s->name = pool_str2id(pool, join2(&pd->jd, pd->kind, ":", 0), 1);
 910       if (!s->arch)
 911         s->arch = ARCH_NOARCH;
 912       if (!s->evr)
 913         s->evr = ID_EMPTY;      /* some patterns have this */
 914       if (s->name && s->arch != ARCH_SRC && s->arch != ARCH_NOSRC)
 915         s->provides = repo_addid_dep(repo, s->provides, pool_rel2id(pool, s->name, s->evr, REL_EQ, 1), 0);
 916       s->supplements = repo_fix_supplements(repo, s->provides, s->supplements, pd->freshens);
 917       s->conflicts = repo_fix_conflicts(repo, s->conflicts);
 918       pd->freshens = 0;
 919       pd->kind = 0;
 920       pd->solvable = s = 0;
 921       break;
 922     case STATE_NAME:
 923       if (pd->kind)
 924         s->name = pool_str2id(pool, join2(&pd->jd, pd->kind, ":", pd->content), 1);
 925       else
 926         s->name = pool_str2id(pool, pd->content, 1);
 927       break;
 928     case STATE_ARCH:
 929       s->arch = pool_str2id(pool, pd->content, 1);
 930       break;
 931     case STATE_VENDOR:
 932       s->vendor = pool_str2id(pool, pd->content, 1);
 933       break;
 934     case STATE_RPM_GROUP:
 935       repodata_set_poolstr(pd->data, handle, SOLVABLE_GROUP, pd->content);
 936       break;
 937     case STATE_RPM_LICENSE:
 938       repodata_set_poolstr(pd->data, handle, SOLVABLE_LICENSE, pd->content);
 939       break;
 940     case STATE_CHECKSUM:
 941       {
 942         Id index;
 943
 944         if (!pd->chksumtype)
 945           break;
 946         if (strlen(pd->content) != 2 * solv_chksum_len(pd->chksumtype))
 947           {
 948             pd->ret = pool_error(pool, -1, "line %d: invalid checksum length for %s", (unsigned int)XML_GetCurrentLineNumber(*pd->parser), solv_chksum_type2str(pd->chksumtype));
 949             break;
 950           }
 951         repodata_set_checksum(pd->data, handle, SOLVABLE_CHECKSUM, pd->chksumtype, pd->content);
 952         /* we save the checksum to solvable id relationship for extended
 953            metadata */
 954         index = stringpool_str2id(&pd->cspool, pd->content, 1 /* create it */);
 955         if (index >= pd->ncscache)
 956           {
 957             pd->cscache = solv_zextend(pd->cscache, pd->ncscache, index + 1 - pd->ncscache, sizeof(Id), 255);
 958             pd->ncscache = index + 1;
 959           }
 960         /* add the checksum to the cache */
 961         pd->cscache[index] = s - pool->solvables;
 962         break;
 963       }
 964     case STATE_FILE:
 965 #if 0
 966       id = pool_str2id(pool, pd->content, 1);
 967       s->provides = repo_addid_dep(repo, s->provides, id, SOLVABLE_FILEMARKER);
 968 #endif
 969       if ((p = strrchr(pd->content, '/')) != 0)
 970         {
 971           *p++ = 0;
 972           if (pd->lastdir && !strcmp(pd->lastdirstr, pd->content))
 973             {
 974               id = pd->lastdir;
 975             }
 976           else
 977             {
 978               int l;
 979               id = repodata_str2dir(pd->data, pd->content, 1);
 980               l = strlen(pd->content) + 1;
 981               if (l > pd->lastdirstrl)
 982                 {
 983                   pd->lastdirstrl = l + 128;
 984                   pd->lastdirstr = solv_realloc(pd->lastdirstr, pd->lastdirstrl);
 985                 }
 986               strcpy(pd->lastdirstr, pd->content);
 987               pd->lastdir = id;
 988             }
 989         }
 990       else
 991         {
 992           p = pd->content;
 993           id = 0;
 994         }
 995       if (!id)
 996         id = repodata_str2dir(pd->data, "/", 1);
 997       repodata_add_dirstr(pd->data, handle, SOLVABLE_FILELIST, id, p);
 998       break;
 999     case STATE_SUMMARY:
1000       repodata_set_str(pd->data, handle, langtag(pd, SOLVABLE_SUMMARY, pd->tmplang), pd->content);
1001       break;
1002     case STATE_DESCRIPTION:
1003       set_description_author(pd->data, handle, pd->content, pd);
1004       break;
1005     case STATE_CATEGORY:
1006       repodata_set_str(pd->data, handle, langtag(pd, SOLVABLE_CATEGORY, pd->tmplang), pd->content);
1007       break;
1008     case STATE_DISTRIBUTION:
1009         repodata_set_poolstr(pd->data, handle, SOLVABLE_DISTRIBUTION, pd->content);
1010         break;
1011     case STATE_URL:
1012       if (pd->content[0])
1013         repodata_set_str(pd->data, handle, SOLVABLE_URL, pd->content);
1014       break;
1015     case STATE_PACKAGER:
1016       if (pd->content[0])
1017         repodata_set_poolstr(pd->data, handle, SOLVABLE_PACKAGER, pd->content);
1018       break;
1019     case STATE_SOURCERPM:
1020       if (pd->content[0])
1021         repodata_set_sourcepkg(pd->data, handle, pd->content);
1022       break;
1023     case STATE_RELNOTESURL:
1024       if (pd->content[0])
1025         {
1026           repodata_add_poolstr_array(pd->data, handle, PRODUCT_URL, pd->content);
1027           repodata_add_idarray(pd->data, handle, PRODUCT_URL_TYPE, pool_str2id(pool, "releasenotes", 1));
1028         }
1029       break;
1030     case STATE_UPDATEURL:
1031       if (pd->content[0])
1032         {
1033           repodata_add_poolstr_array(pd->data, handle, PRODUCT_URL, pd->content);
1034           repodata_add_idarray(pd->data, handle, PRODUCT_URL_TYPE, pool_str2id(pool, "update", 1));
1035         }
1036       break;
1037     case STATE_OPTIONALURL:
1038       if (pd->content[0])
1039         {
1040           repodata_add_poolstr_array(pd->data, handle, PRODUCT_URL, pd->content);
1041           repodata_add_idarray(pd->data, handle, PRODUCT_URL_TYPE, pool_str2id(pool, "optional", 1));
1042         }
1043       break;
1044     case STATE_FLAG:
1045       if (pd->content[0])
1046         repodata_add_poolstr_array(pd->data, handle, PRODUCT_FLAGS, pd->content);
1047       break;
1048     case STATE_EULA:
1049       if (pd->content[0])
1050         repodata_set_str(pd->data, handle, langtag(pd, SOLVABLE_EULA, pd->tmplang), pd->content);
1051       break;
1052     case STATE_KEYWORD:
1053       if (pd->content[0])
1054         repodata_add_poolstr_array(pd->data, handle, SOLVABLE_KEYWORDS, pd->content);
1055       break;
1056     case STATE_DISKUSAGE:
1057       if (pd->ndirs)
1058         commit_diskusage(pd, handle);
1059       break;
1060     case STATE_ORDER:
1061       if (pd->content[0])
1062         repodata_set_str(pd->data, handle, SOLVABLE_ORDER, pd->content);
1063       break;
1064     case STATE_CHANGELOG:
1065       repodata_set_str(pd->data, pd->changelog_handle, SOLVABLE_CHANGELOG_TEXT, pd->content);
1066       repodata_add_flexarray(pd->data, handle, SOLVABLE_CHANGELOG, pd->changelog_handle);
1067       pd->changelog_handle = 0;
1068       break;
1069     default:
1070       break;
1071     }
1072   pd->state = pd->sbtab[pd->state];
1073   pd->docontent = 0;
1074   /* fprintf(stderr, "back from known %d %d %d\n", pd->state, pd->depth, pd->statedepth); */
1075 }
1076
1077
1078 /*
1079  * characterData
1080  * XML callback
1081  *
1082  */
1083
1084 static void XMLCALL
1085 characterData(void *userData, const XML_Char *s, int len)
1086 {
1087   struct parsedata *pd = userData;
1088   int l;
1089   char *c;
1090
1091   if (!pd->docontent)
1092     return;
1093   l = pd->lcontent + len + 1;
1094   if (l > pd->acontent)
1095     {
1096       pd->content = solv_realloc(pd->content, l + 256);
1097       pd->acontent = l + 256;
1098     }
1099   c = pd->content + pd->lcontent;
1100   pd->lcontent += len;
1101   while (len-- > 0)
1102     *c++ = *s++;
1103   *c = 0;
1104 }
1105
1106
1107 /*-----------------------------------------------*/
1108 /* 'main' */
1109
1110 #define BUFF_SIZE 8192
1111
1112 /*
1113  * repo_add_rpmmd
1114  * parse rpm-md metadata (primary, others)
1115  *
1116  */
1117
1118 int
1119 repo_add_rpmmd(Repo *repo, FILE *fp, const char *language, int flags)
1120 {
1121   Pool *pool = repo->pool;
1122   struct parsedata pd;
1123   char buf[BUFF_SIZE];
1124   int i, l;
1125   struct stateswitch *sw;
1126   Repodata *data;
1127   unsigned int now;
1128   XML_Parser parser;
1129
1130   now = solv_timems(0);
1131   data = repo_add_repodata(repo, flags);
1132
1133   memset(&pd, 0, sizeof(pd));
1134   for (i = 0, sw = stateswitches; sw->from != NUMSTATES; i++, sw++)
1135     {
1136       if (!pd.swtab[sw->from])
1137         pd.swtab[sw->from] = sw;
1138       pd.sbtab[sw->to] = sw->from;
1139     }
1140   pd.pool = pool;
1141   pd.repo = repo;
1142   pd.data = data;
1143
1144   pd.content = solv_malloc(256);
1145   pd.acontent = 256;
1146   pd.lcontent = 0;
1147   pd.kind = 0;
1148   pd.language = language && *language && strcmp(language, "en") != 0 ? language : 0;
1149
1150   /* initialize the string pool where we will store
1151      the package checksums we know about, to get an Id
1152      we can use in a cache */
1153   stringpool_init_empty(&pd.cspool);
1154   if ((flags & REPO_EXTEND_SOLVABLES) != 0)
1155     {
1156       /* setup join data */
1157       Dataiterator di;
1158       dataiterator_init(&di, pool, repo, 0, SOLVABLE_CHECKSUM, 0, 0);
1159       while (dataiterator_step(&di))
1160         {
1161           const char *str;
1162           int index;
1163
1164           if (!solv_chksum_len(di.key->type))
1165             continue;
1166           str = repodata_chk2str(di.data, di.key->type, (const unsigned char *)di.kv.str);
1167           index = stringpool_str2id(&pd.cspool, str, 1);
1168           if (index >= pd.ncscache)
1169             {
1170               pd.cscache = solv_zextend(pd.cscache, pd.ncscache, index + 1 - pd.ncscache, sizeof(Id), 255);
1171               pd.ncscache = index + 1;
1172             }
1173           pd.cscache[index] = di.solvid;
1174         }
1175       dataiterator_free(&di);
1176     }
1177
1178   parser = XML_ParserCreate(NULL);
1179   XML_SetUserData(parser, &pd);
1180   pd.parser = &parser;
1181   XML_SetElementHandler(parser, startElement, endElement);
1182   XML_SetCharacterDataHandler(parser, characterData);
1183   for (;;)
1184     {
1185       l = fread(buf, 1, sizeof(buf), fp);
1186       if (XML_Parse(parser, buf, l, l == 0) == XML_STATUS_ERROR)
1187         {
1188           pd.ret = pool_error(pool, -1, "repo_rpmmd: %s at line %u:%u", XML_ErrorString(XML_GetErrorCode(parser)), (unsigned int)XML_GetCurrentLineNumber(parser), (unsigned int)XML_GetCurrentColumnNumber(parser));
1189           break;
1190         }
1191       if (l == 0)
1192         break;
1193     }
1194   XML_ParserFree(parser);
1195   solv_free(pd.content);
1196   solv_free(pd.lastdirstr);
1197   join_freemem(&pd.jd);
1198   stringpool_free(&pd.cspool);
1199   solv_free(pd.cscache);
1200   repodata_free_dircache(data);
1201
1202   if (!(flags & REPO_NO_INTERNALIZE))
1203     repodata_internalize(data);
1204   POOL_DEBUG(SOLV_DEBUG_STATS, "repo_add_rpmmd took %d ms\n", solv_timems(now));
1205   POOL_DEBUG(SOLV_DEBUG_STATS, "repo size: %d solvables\n", repo->nsolvables);
1206   POOL_DEBUG(SOLV_DEBUG_STATS, "repo memory used: %d K incore, %d K idarray\n", repodata_memused(data)/1024, repo->idarraysize / (int)(1024/sizeof(Id)));
1207   return pd.ret;
1208 }