ext/repo_rpmmd.c

   1 /*
   2  * Copyright (c) 2007, Novell Inc.
   3  *
   4  * This program is licensed under the BSD license, read LICENSE.BSD
   5  * for further information
   6  */
   7
   8 #include <sys/types.h>
   9 #include <stdio.h>
  10 #include <stdlib.h>
  11 #include <string.h>
  12
  13 #include "pool.h"
  14 #include "repo.h"
  15 #define DISABLE_SPLIT
  16 #include "tools_util.h"
  17 #include "repo_rpmmd.h"
  18 #include "chksum.h"
  19 #include "solv_xmlparser.h"
  20 #ifdef ENABLE_COMPLEX_DEPS
  21 #include "pool_parserpmrichdep.h"
  22 #endif
  23 #include "repodata_diskusage.h"
  24
  25 enum state {
  26   STATE_START,
  27
  28   STATE_SOLVABLE,
  29
  30   STATE_NAME,
  31   STATE_ARCH,
  32   STATE_VERSION,
  33
  34   /* package rpm-md */
  35   STATE_LOCATION,
  36   STATE_CHECKSUM,
  37   STATE_RPM_GROUP,
  38   STATE_RPM_LICENSE,
  39
  40   /* resobject attributes */
  41   STATE_SUMMARY,
  42   STATE_DESCRIPTION,
  43   STATE_DISTRIBUTION,
  44   STATE_PACKAGER,
  45   STATE_URL,
  46   STATE_INSNOTIFY,
  47   STATE_DELNOTIFY,
  48   STATE_VENDOR,
  49   STATE_SIZE,
  50   STATE_TIME,
  51   STATE_DOWNLOADSIZE,
  52   STATE_INSTALLTIME,
  53   STATE_INSTALLONLY,
  54
  55   /* Novell/SUSE extended attributes */
  56   STATE_EULA,
  57   STATE_KEYWORD,
  58   STATE_DISKUSAGE,
  59   STATE_DIRS,
  60   STATE_DIR,
  61
  62   /* patch */
  63   STATE_ID,
  64   STATE_TIMESTAMP,
  65   STATE_AFFECTSPKG,
  66   STATE_REBOOTNEEDED,
  67
  68   /* pattern attributes */
  69   STATE_CATEGORY, /* pattern and patches */
  70   STATE_ORDER,
  71   STATE_INCLUDES,
  72   STATE_INCLUDESENTRY,
  73   STATE_EXTENDS,
  74   STATE_EXTENDSENTRY,
  75   STATE_SCRIPT,
  76   STATE_ICON,
  77   STATE_USERVISIBLE,
  78   STATE_DEFAULT,
  79   STATE_INSTALL_TIME,
  80
  81   /* product */
  82   STATE_RELNOTESURL,
  83   STATE_UPDATEURL,
  84   STATE_OPTIONALURL,
  85   STATE_FLAG,
  86
  87   /* rpm-md dependencies inside the format tag */
  88   STATE_PROVIDES,
  89   STATE_REQUIRES,
  90   STATE_OBSOLETES,
  91   STATE_CONFLICTS,
  92   STATE_RECOMMENDS,
  93   STATE_SUPPLEMENTS,
  94   STATE_SUGGESTS,
  95   STATE_ENHANCES,
  96   STATE_FRESHENS,
  97   STATE_SOURCERPM,
  98   STATE_HEADERRANGE,
  99
 100   STATE_PROVIDESENTRY,
 101   STATE_REQUIRESENTRY,
 102   STATE_OBSOLETESENTRY,
 103   STATE_CONFLICTSENTRY,
 104   STATE_RECOMMENDSENTRY,
 105   STATE_SUPPLEMENTSENTRY,
 106   STATE_SUGGESTSENTRY,
 107   STATE_ENHANCESENTRY,
 108   STATE_FRESHENSENTRY,
 109
 110   STATE_FILE,
 111
 112   STATE_CHANGELOG,
 113
 114   /* general */
 115   NUMSTATES
 116 };
 117
 118 static struct solv_xmlparser_element stateswitches[] = {
 119   /** fake tag used to enclose multiple xml files in one **/
 120   { STATE_START,       "rpmmd",           STATE_START,    0 },
 121
 122   /** tags for different package data, just ignore them **/
 123   { STATE_START,       "patterns",        STATE_START,    0 },
 124   { STATE_START,       "products",        STATE_START,    0 },
 125   { STATE_START,       "metadata",        STATE_START,    0 },
 126   { STATE_START,       "otherdata",       STATE_START,    0 },
 127   { STATE_START,       "filelists",       STATE_START,    0 },
 128   { STATE_START,       "diskusagedata",   STATE_START,    0 },
 129   { STATE_START,       "susedata",        STATE_START,    0 },
 130
 131   { STATE_START,       "product",         STATE_SOLVABLE, 0 },
 132   { STATE_START,       "pattern",         STATE_SOLVABLE, 0 },
 133   { STATE_START,       "patch",           STATE_SOLVABLE, 0 },
 134   { STATE_START,       "package",         STATE_SOLVABLE, 0 },
 135
 136   { STATE_SOLVABLE,    "format",          STATE_SOLVABLE, 0 },
 137
 138   { STATE_SOLVABLE,    "name",            STATE_NAME, 1 },
 139   { STATE_SOLVABLE,    "arch",            STATE_ARCH, 1 },
 140   { STATE_SOLVABLE,    "version",         STATE_VERSION, 0 },
 141
 142   /* package attributes rpm-md */
 143   { STATE_SOLVABLE,    "location",        STATE_LOCATION, 0 },
 144   { STATE_SOLVABLE,    "checksum",        STATE_CHECKSUM, 1 },
 145
 146   /* resobject attributes */
 147
 148   { STATE_SOLVABLE,    "summary",         STATE_SUMMARY,      1 },
 149   { STATE_SOLVABLE,    "description",     STATE_DESCRIPTION,  1 },
 150   { STATE_SOLVABLE,    "distribution",    STATE_DISTRIBUTION, 1 },
 151   { STATE_SOLVABLE,    "url",             STATE_URL,          1 },
 152   { STATE_SOLVABLE,    "packager",        STATE_PACKAGER,     1 },
 153   { STATE_SOLVABLE,    "vendor",          STATE_VENDOR,       1 },
 154   { STATE_SOLVABLE,    "size",            STATE_SIZE,         0 },
 155   { STATE_SOLVABLE,    "archive-size",    STATE_DOWNLOADSIZE, 1 },
 156   { STATE_SOLVABLE,    "install-time",    STATE_INSTALLTIME,  1 },
 157   { STATE_SOLVABLE,    "install-only",    STATE_INSTALLONLY,  1 },
 158   { STATE_SOLVABLE,    "time",            STATE_TIME,         0 },
 159
 160   /* extended Novell/SUSE attributes (susedata.xml) */
 161   { STATE_SOLVABLE,    "eula",            STATE_EULA,         1 },
 162   { STATE_SOLVABLE,    "keyword",         STATE_KEYWORD,      1 },
 163   { STATE_SOLVABLE,    "diskusage",       STATE_DISKUSAGE,    0 },
 164
 165   /* pattern attribute */
 166   { STATE_SOLVABLE,    "script",          STATE_SCRIPT,        1 },
 167   { STATE_SOLVABLE,    "icon",            STATE_ICON,          1 },
 168   { STATE_SOLVABLE,    "uservisible",     STATE_USERVISIBLE,   1 },
 169   { STATE_SOLVABLE,    "category",        STATE_CATEGORY,      1 },
 170   { STATE_SOLVABLE,    "order",           STATE_ORDER,         1 },
 171   { STATE_SOLVABLE,    "includes",        STATE_INCLUDES,      0 },
 172   { STATE_SOLVABLE,    "extends",         STATE_EXTENDS,       0 },
 173   { STATE_SOLVABLE,    "default",         STATE_DEFAULT,       1 },
 174   { STATE_SOLVABLE,    "install-time",    STATE_INSTALL_TIME,  1 },
 175
 176   /* product attributes */
 177   /* note the product type is an attribute */
 178   { STATE_SOLVABLE,    "release-notes-url", STATE_RELNOTESURL, 1 },
 179   { STATE_SOLVABLE,    "update-url",      STATE_UPDATEURL,   1 },
 180   { STATE_SOLVABLE,    "optional-url",    STATE_OPTIONALURL, 1 },
 181   { STATE_SOLVABLE,    "flag",            STATE_FLAG,        1 },
 182
 183   { STATE_SOLVABLE,    "rpm:vendor",      STATE_VENDOR,      1 },
 184   { STATE_SOLVABLE,    "rpm:group",       STATE_RPM_GROUP,   1 },
 185   { STATE_SOLVABLE,    "rpm:license",     STATE_RPM_LICENSE, 1 },
 186
 187   /* rpm-md dependencies */
 188   { STATE_SOLVABLE,    "rpm:provides",    STATE_PROVIDES,     0 },
 189   { STATE_SOLVABLE,    "rpm:requires",    STATE_REQUIRES,     0 },
 190   { STATE_SOLVABLE,    "rpm:obsoletes",   STATE_OBSOLETES,    0 },
 191   { STATE_SOLVABLE,    "rpm:conflicts",   STATE_CONFLICTS,    0 },
 192   { STATE_SOLVABLE,    "rpm:recommends",  STATE_RECOMMENDS ,  0 },
 193   { STATE_SOLVABLE,    "rpm:supplements", STATE_SUPPLEMENTS,  0 },
 194   { STATE_SOLVABLE,    "rpm:suggests",    STATE_SUGGESTS,     0 },
 195   { STATE_SOLVABLE,    "rpm:enhances",    STATE_ENHANCES,     0 },
 196   { STATE_SOLVABLE,    "rpm:freshens",    STATE_FRESHENS,     0 },
 197   { STATE_SOLVABLE,    "rpm:sourcerpm",   STATE_SOURCERPM,    1 },
 198   { STATE_SOLVABLE,    "rpm:header-range", STATE_HEADERRANGE, 0 },
 199   { STATE_SOLVABLE,    "file",            STATE_FILE, 1 },
 200   { STATE_SOLVABLE,    "changelog",       STATE_CHANGELOG, 1 },
 201
 202    /* extended Novell/SUSE diskusage attributes (susedata.xml) */
 203   { STATE_DISKUSAGE,   "dirs",            STATE_DIRS,         0 },
 204   { STATE_DIRS,        "dir",             STATE_DIR,          0 },
 205
 206   { STATE_PROVIDES,    "rpm:entry",       STATE_PROVIDESENTRY, 0 },
 207   { STATE_REQUIRES,    "rpm:entry",       STATE_REQUIRESENTRY, 0 },
 208   { STATE_OBSOLETES,   "rpm:entry",       STATE_OBSOLETESENTRY, 0 },
 209   { STATE_CONFLICTS,   "rpm:entry",       STATE_CONFLICTSENTRY, 0 },
 210   { STATE_RECOMMENDS,  "rpm:entry",       STATE_RECOMMENDSENTRY, 0 },
 211   { STATE_SUPPLEMENTS, "rpm:entry",       STATE_SUPPLEMENTSENTRY, 0 },
 212   { STATE_SUGGESTS,    "rpm:entry",       STATE_SUGGESTSENTRY, 0 },
 213   { STATE_ENHANCES,    "rpm:entry",       STATE_ENHANCESENTRY, 0 },
 214   { STATE_FRESHENS,    "rpm:entry",       STATE_FRESHENSENTRY, 0 },
 215
 216   { STATE_INCLUDES,    "item",            STATE_INCLUDESENTRY, 0 },
 217   { STATE_EXTENDS,     "item",            STATE_EXTENDSENTRY,  0 },
 218
 219   { NUMSTATES}
 220 };
 221
 222 struct parsedata {
 223   int ret;
 224   Pool *pool;
 225   Repo *repo;
 226   Repodata *data;
 227   char *kind;
 228   Solvable *solvable;
 229   Offset freshens;
 230
 231   struct solv_xmlparser xmlp;
 232   struct joindata jd;
 233   /* temporal to store attribute tag language */
 234   const char *tmplang;
 235   Id chksumtype;
 236   Id handle;
 237   Queue diskusageq;
 238   const char *language;                 /* default language */
 239   Id langcache[ID_NUM_INTERNAL];        /* cache for the default language */
 240
 241   Id lastdir;
 242   char *lastdirstr;
 243   int lastdirstrl;
 244
 245   Id changelog_handle;
 246
 247   int extending;                        /* are we extending an existing solvable? */
 248   int first;                            /* first solvable we added */
 249   int cshash_filled;                    /* hash is filled with data */
 250
 251   Hashtable cshash;                     /* checksum hash -> offset into csdata */
 252   Hashval cshashm;                      /* hash mask */
 253   int ncshash;                          /* entries used */
 254   unsigned char *csdata;                /* [len, checksum, id] */
 255   int ncsdata;                          /* used bytes */
 256 };
 257
 258 static Id
 259 langtag(struct parsedata *pd, Id tag, const char *language)
 260 {
 261   if (language)
 262     {
 263       if (!language[0] || !strcmp(language, "en"))
 264         return tag;
 265       return pool_id2langid(pd->pool, tag, language, 1);
 266     }
 267   if (!pd->language)
 268     return tag;
 269   if (tag >= ID_NUM_INTERNAL)
 270     return pool_id2langid(pd->pool, tag, pd->language, 1);
 271   if (!pd->langcache[tag])
 272     pd->langcache[tag] = pool_id2langid(pd->pool, tag, pd->language, 1);
 273   return pd->langcache[tag];
 274 }
 275
 276 /*
 277  * makeevr_atts
 278  * parse 'epoch', 'ver' and 'rel', return evr Id
 279  *
 280  */
 281
 282 static Id
 283 makeevr_atts(Pool *pool, struct parsedata *pd, const char **atts)
 284 {
 285   const char *e, *v, *r, *v2;
 286   char *c, *space;
 287   int l;
 288
 289   e = v = r = 0;
 290   for (; *atts; atts += 2)
 291     {
 292       if (!strcmp(*atts, "epoch"))
 293         e = atts[1];
 294       else if (!strcmp(*atts, "ver"))
 295         v = atts[1];
 296       else if (!strcmp(*atts, "rel"))
 297         r = atts[1];
 298     }
 299   if (e && (!*e || !strcmp(e, "0")))
 300     e = 0;
 301   if (v && !e)
 302     {
 303       for (v2 = v; *v2 >= '0' && *v2 <= '9'; v2++)
 304         ;
 305       if (v2 > v && *v2 == ':')
 306         e = "0";
 307     }
 308   l = 1;
 309   if (e)
 310     l += strlen(e) + 1;
 311   if (v)
 312     l += strlen(v);
 313   if (r)
 314     l += strlen(r) + 1;
 315   c = space = solv_xmlparser_contentspace(&pd->xmlp, l);
 316   if (e)
 317     {
 318       strcpy(c, e);
 319       c += strlen(c);
 320       *c++ = ':';
 321     }
 322   if (v)
 323     {
 324       strcpy(c, v);
 325       c += strlen(c);
 326     }
 327   if (r)
 328     {
 329       *c++ = '-';
 330       strcpy(c, r);
 331       c += strlen(c);
 332     }
 333   *c = 0;
 334   if (!*space)
 335     return 0;
 336 #if 0
 337   fprintf(stderr, "evr: %s\n", space);
 338 #endif
 339   return pool_str2id(pool, space, 1);
 340 }
 341
 342
 343 /*
 344  * dependency relations
 345  */
 346
 347 static char *flagtab[] = {
 348   "GT",
 349   "EQ",
 350   "GE",
 351   "LT",
 352   "NE",
 353   "LE"
 354 };
 355
 356
 357 /*
 358  * adddep
 359  * parse attributes to reldep Id
 360  *
 361  */
 362
 363 static unsigned int
 364 adddep(Pool *pool, struct parsedata *pd, unsigned int olddeps, const char **atts, int isreq)
 365 {
 366   Id id, marker;
 367   const char *n, *f, *k;
 368   const char **a;
 369
 370   n = f = k = 0;
 371   marker = isreq ? -SOLVABLE_PREREQMARKER : 0;
 372   for (a = atts; *a; a += 2)
 373     {
 374       if (!strcmp(*a, "name"))
 375         n = a[1];
 376       else if (!strcmp(*a, "flags"))
 377         f = a[1];
 378       else if (!strcmp(*a, "kind"))
 379         k = a[1];
 380       else if (isreq && !strcmp(*a, "pre") && a[1][0] == '1')
 381         marker = SOLVABLE_PREREQMARKER;
 382     }
 383   if (!n)
 384     return olddeps;
 385   if (k && !strcmp(k, "package"))
 386     k = 0;
 387   if (k)
 388     {
 389       int l = strlen(k) + 1 + strlen(n) + 1;
 390       char *space = solv_xmlparser_contentspace(&pd->xmlp, l);
 391       sprintf(space, "%s:%s", k, n);
 392       id = pool_str2id(pool, space, 1);
 393     }
 394 #ifdef ENABLE_COMPLEX_DEPS
 395   else if (!f && n[0] == '(')
 396     {
 397       id = pool_parserpmrichdep(pool, n);
 398       if (!id)
 399         return olddeps;
 400     }
 401 #endif
 402   else
 403     id = pool_str2id(pool, (char *)n, 1);
 404   if (f)
 405     {
 406       Id evr = makeevr_atts(pool, pd, atts);
 407       int flags;
 408       for (flags = 0; flags < 6; flags++)
 409         if (!strcmp(f, flagtab[flags]))
 410           break;
 411       flags = flags < 6 ? flags + 1 : 0;
 412       id = pool_rel2id(pool, id, evr, flags, 1);
 413     }
 414 #if 0
 415   fprintf(stderr, "new dep %s\n", pool_dep2str(pool, id));
 416 #endif
 417   return repo_addid_dep(pd->repo, olddeps, id, marker);
 418 }
 419
 420
 421 /*
 422  * set_description_author
 423  *
 424  */
 425 static void
 426 set_description_author(Repodata *data, Id handle, char *str, struct parsedata *pd)
 427 {
 428   char *aut, *p;
 429
 430   if (!str || !*str)
 431     return;
 432   for (aut = str; (aut = strchr(aut, '\n')) != 0; aut++)
 433     if (!strncmp(aut, "\nAuthors:\n--------\n", 19))
 434       break;
 435   if (aut)
 436     {
 437       /* oh my, found SUSE special author section */
 438       int l = aut - str;
 439       str[l] = 0;
 440       while (l > 0 && str[l - 1] == '\n')
 441         str[--l] = 0;
 442       if (l)
 443         repodata_set_str(data, handle, langtag(pd, SOLVABLE_DESCRIPTION, pd->tmplang), str);
 444       p = aut + 19;
 445       aut = str;        /* copy over */
 446       while (*p == ' ' || *p == '\n')
 447         p++;
 448       while (*p)
 449         {
 450           if (*p == '\n')
 451             {
 452               *aut++ = *p++;
 453               while (*p == ' ')
 454                 p++;
 455               continue;
 456             }
 457           *aut++ = *p++;
 458         }
 459       while (aut != str && aut[-1] == '\n')
 460         aut--;
 461       *aut = 0;
 462       if (*str)
 463         repodata_set_str(data, handle, SOLVABLE_AUTHORS, str);
 464     }
 465   else if (*str)
 466     repodata_set_str(data, handle, langtag(pd, SOLVABLE_DESCRIPTION, pd->tmplang), str);
 467 }
 468
 469
 470 /*-----------------------------------------------*/
 471 /* checksum hash functions
 472  *
 473  * used to look up a solvable with the checksum for solvable extension purposes.
 474  *
 475  */
 476
 477 static void
 478 init_cshash(struct parsedata *pd)
 479 {
 480 }
 481
 482 static void
 483 free_cshash(struct parsedata *pd)
 484 {
 485   pd->cshash = solv_free(pd->cshash);
 486   pd->ncshash = 0;
 487   pd->cshashm = 0;
 488   pd->csdata = solv_free(pd->csdata);
 489   pd->ncsdata = 0;
 490 }
 491
 492 static inline Hashval
 493 hashkey(const unsigned char *key, int keyl)
 494 {
 495   return key[0] << 24 | key[1] << 16 | key[2] << 8 | key[3];
 496 }
 497
 498 static void
 499 rebuild_cshash(struct parsedata *pd)
 500 {
 501   Hashval h, hh, hm;
 502   Hashtable ht;
 503   unsigned char *d, *de;
 504
 505   hm = pd->cshashm;
 506 #if 0
 507   fprintf(stderr, "rebuild cshash with mask 0x%x\n", hm);
 508 #endif
 509   solv_free(pd->cshash);
 510   ht = pd->cshash = (Hashtable)solv_calloc(hm + 1, sizeof(Id));
 511   d = pd->csdata;
 512   de = d + pd->ncsdata;
 513   while (d != de)
 514     {
 515       h = hashkey(d + 1, d[0] + 1) & hm;
 516       hh = HASHCHAIN_START;
 517       while (ht[h])
 518         h = HASHCHAIN_NEXT(h, hh, hm);
 519       ht[h] = d + 1 - pd->csdata;
 520       d += 2 + d[0] + sizeof(Id);
 521     }
 522 }
 523
 524 static void
 525 put_in_cshash(struct parsedata *pd, const unsigned char *key, int keyl, Id id)
 526 {
 527   Hashtable ht;
 528   Hashval h, hh, hm;
 529   unsigned char *d;
 530
 531   if (keyl < 4 || keyl > 256)
 532     return;
 533   ht = pd->cshash;
 534   hm = pd->cshashm;
 535   h = hashkey(key, keyl) & hm;
 536   hh = HASHCHAIN_START;
 537   if (ht)
 538     {
 539       while (ht[h])
 540         {
 541           unsigned char *d = pd->csdata + ht[h];
 542           if (d[-1] == keyl - 1 && !memcmp(key, d, keyl))
 543             return;             /* XXX: first id wins... */
 544           h = HASHCHAIN_NEXT(h, hh, hm);
 545         }
 546     }
 547   /* a new entry. put in csdata */
 548   pd->csdata = solv_extend(pd->csdata, pd->ncsdata, 1 + keyl + sizeof(Id), 1, 4095);
 549   d = pd->csdata + pd->ncsdata;
 550   d[0] = keyl - 1;
 551   memcpy(d + 1, key, keyl);
 552   memcpy(d + 1 + keyl, &id, sizeof(Id));
 553   pd->ncsdata += 1 + keyl + sizeof(Id);
 554   if ((Hashval)++pd->ncshash * 2 > hm)
 555     {
 556       pd->cshashm = pd->cshashm ? (2 * pd->cshashm + 1) : 4095;
 557       rebuild_cshash(pd);
 558     }
 559   else
 560     ht[h] = pd->ncsdata - (keyl + sizeof(Id));
 561 }
 562
 563 static Id
 564 lookup_cshash(struct parsedata *pd, const unsigned char *key, int keyl)
 565 {
 566   Hashtable ht;
 567   Hashval h, hh, hm;
 568
 569   if (keyl < 4 || keyl > 256)
 570     return 0;
 571   ht = pd->cshash;
 572   if (!ht)
 573     return 0;
 574   hm = pd->cshashm;
 575   h = hashkey(key, keyl) & hm;
 576   hh = HASHCHAIN_START;
 577   while (ht[h])
 578     {
 579       unsigned char *d = pd->csdata + ht[h];
 580       if (d[-1] == keyl - 1 && !memcmp(key, d, keyl))
 581         {
 582           Id id;
 583           memcpy(&id, d + keyl, sizeof(Id));
 584           return id;
 585         }
 586       h = HASHCHAIN_NEXT(h, hh, hm);
 587     }
 588   return 0;
 589 }
 590
 591 static void
 592 fill_cshash_from_repo(struct parsedata *pd)
 593 {
 594   Dataiterator di;
 595   /* setup join data */
 596   dataiterator_init(&di, pd->pool, pd->repo, 0, SOLVABLE_CHECKSUM, 0, 0);
 597   while (dataiterator_step(&di))
 598     put_in_cshash(pd, (const unsigned char *)di.kv.str, solv_chksum_len(di.key->type), di.solvid);
 599   dataiterator_free(&di);
 600 }
 601
 602 static void
 603 fill_cshash_from_new_solvables(struct parsedata *pd)
 604 {
 605   Pool *pool = pd->pool;
 606   int i, l;
 607   KeyValue kv;
 608   Repokey *key;
 609
 610   for (i = pd->first; i < pool->nsolvables; i++)
 611     {
 612       if (pool->solvables[i].repo != pd->repo)
 613         continue;
 614       if ((key = repodata_lookup_kv_uninternalized(pd->data, i, SOLVABLE_CHECKSUM, &kv)) == 0)
 615         continue;
 616       if ((l = solv_chksum_len(key->type)) != 0)
 617         put_in_cshash(pd, (const unsigned char *)kv.str, l, i);
 618     }
 619 }
 620
 621 /*-----------------------------------------------*/
 622 /* XML callbacks */
 623
 624 /*
 625  * startElement
 626  */
 627
 628 static void
 629 startElement(struct solv_xmlparser *xmlp, int state, const char *name, const char **atts)
 630 {
 631   struct parsedata *pd = xmlp->userdata;
 632   Pool *pool = pd->pool;
 633   Solvable *s = pd->solvable;
 634   Id handle = pd->handle;
 635   const char *str;
 636   const char *pkgid;
 637
 638   if (!s && state != STATE_SOLVABLE)
 639     return;
 640
 641   switch(state)
 642     {
 643     case STATE_SOLVABLE:
 644       pd->kind = 0;
 645       if (name[2] == 't' && name[3] == 't')
 646         pd->kind = "pattern";
 647       else if (name[1] == 'r')
 648         pd->kind = "product";
 649       else if (name[2] == 't' && name[3] == 'c')
 650         pd->kind = "patch";
 651
 652       /* to support extension metadata files like others.xml which
 653          have the following structure:
 654
 655          <otherdata xmlns="http://linux.duke.edu/metadata/other"
 656                     packages="101">
 657            <package pkgid="b78f8664cd90efe42e09a345e272997ef1b53c18"
 658                     name="zaptel-kmp-default"
 659                     arch="i586"><version epoch="0"
 660                     ver="1.2.10_2.6.22_rc4_git6_2" rel="70"/>
 661               ...
 662
 663          we need to check if the pkgid is there and if it matches
 664          an already seen package, that means we don't need to create
 665          a new solvable but just append the attributes to the existing
 666          one.
 667       */
 668       pd->extending = 0;
 669       if ((pkgid = solv_xmlparser_find_attr("pkgid", atts)) != NULL)
 670         {
 671           unsigned char chk[256];
 672           int l;
 673           const char *str = pkgid;
 674           if (!pd->cshash_filled)
 675             {
 676               pd->cshash_filled = 1;
 677               fill_cshash_from_new_solvables(pd);
 678             }
 679           handle = 0;
 680           /* convert into bin checksum */
 681           l = solv_hex2bin(&str, chk, sizeof(chk));
 682           /* look at the checksum cache */
 683           if (l >= 4 && !pkgid[2 * l])
 684             handle = lookup_cshash(pd, chk, l);
 685 #if 0
 686           fprintf(stderr, "Lookup %s -> %d\n", pkgid, handle);
 687 #endif
 688           if (!handle)
 689             {
 690               pool_debug(pool, SOLV_WARN, "the repository specifies extra information about package with checksum '%s', which does not exist in the repository.\n", pkgid);
 691               pd->handle = 0;
 692               pd->solvable = 0;
 693               break;
 694             }
 695           pd->extending = 1;
 696         }
 697       else
 698         {
 699           /* this is a new package */
 700           handle = repo_add_solvable(pd->repo);
 701           if (!pd->first)
 702             pd->first = handle;
 703           pd->freshens = 0;
 704         }
 705       pd->handle = handle;
 706       pd->solvable = pool_id2solvable(pool, handle);
 707       if (pd->kind && pd->kind[1] == 'r')
 708         {
 709           /* products can have a type */
 710           const char *type = solv_xmlparser_find_attr("type", atts);
 711           if (type && *type)
 712             repodata_set_str(pd->data, handle, PRODUCT_TYPE, type);
 713         }
 714 #if 0
 715       fprintf(stderr, "package #%d\n", pd->solvable - pool->solvables);
 716 #endif
 717
 718       break;
 719     case STATE_VERSION:
 720       if (pd->extending && s->evr)
 721         break;          /* ignore version tag repetition in extend data */
 722       s->evr = makeevr_atts(pool, pd, atts);
 723       break;
 724     case STATE_PROVIDES:
 725       s->provides = 0;
 726       break;
 727     case STATE_PROVIDESENTRY:
 728       s->provides = adddep(pool, pd, s->provides, atts, 0);
 729       break;
 730     case STATE_REQUIRES:
 731       s->requires = 0;
 732       break;
 733     case STATE_REQUIRESENTRY:
 734       s->requires = adddep(pool, pd, s->requires, atts, 1);
 735       break;
 736     case STATE_OBSOLETES:
 737       s->obsoletes = 0;
 738       break;
 739     case STATE_OBSOLETESENTRY:
 740       s->obsoletes = adddep(pool, pd, s->obsoletes, atts, 0);
 741       break;
 742     case STATE_CONFLICTS:
 743       s->conflicts = 0;
 744       break;
 745     case STATE_CONFLICTSENTRY:
 746       s->conflicts = adddep(pool, pd, s->conflicts, atts, 0);
 747       break;
 748     case STATE_RECOMMENDS:
 749       s->recommends = 0;
 750       break;
 751     case STATE_RECOMMENDSENTRY:
 752       s->recommends = adddep(pool, pd, s->recommends, atts, 0);
 753       break;
 754     case STATE_SUPPLEMENTS:
 755       s->supplements= 0;
 756       break;
 757     case STATE_SUPPLEMENTSENTRY:
 758       s->supplements = adddep(pool, pd, s->supplements, atts, 0);
 759       break;
 760     case STATE_SUGGESTS:
 761       s->suggests = 0;
 762       break;
 763     case STATE_SUGGESTSENTRY:
 764       s->suggests = adddep(pool, pd, s->suggests, atts, 0);
 765       break;
 766     case STATE_ENHANCES:
 767       s->enhances = 0;
 768       break;
 769     case STATE_ENHANCESENTRY:
 770       s->enhances = adddep(pool, pd, s->enhances, atts, 0);
 771       break;
 772     case STATE_FRESHENS:
 773       pd->freshens = 0;
 774       break;
 775     case STATE_FRESHENSENTRY:
 776       pd->freshens = adddep(pool, pd, pd->freshens, atts, 0);
 777       break;
 778     case STATE_EULA:
 779     case STATE_SUMMARY:
 780     case STATE_CATEGORY:
 781     case STATE_DESCRIPTION:
 782       pd->tmplang = join_dup(&pd->jd, solv_xmlparser_find_attr("lang", atts));
 783       break;
 784     case STATE_USERVISIBLE:
 785       repodata_set_void(pd->data, handle, SOLVABLE_ISVISIBLE);
 786       break;
 787     case STATE_INCLUDESENTRY:
 788       str = solv_xmlparser_find_attr("pattern", atts);
 789       if (str)
 790         repodata_add_poolstr_array(pd->data, handle, SOLVABLE_INCLUDES, join2(&pd->jd, "pattern", ":", str));
 791       break;
 792     case STATE_EXTENDSENTRY:
 793       str = solv_xmlparser_find_attr("pattern", atts);
 794       if (str)
 795         repodata_add_poolstr_array(pd->data, handle, SOLVABLE_EXTENDS, join2(&pd->jd, "pattern", ":", str));
 796       break;
 797     case STATE_LOCATION:
 798       str = solv_xmlparser_find_attr("href", atts);
 799       if (str)
 800         {
 801           int medianr = 0;
 802           const char *base = solv_xmlparser_find_attr("xml:base", atts);
 803           if (base  && !strncmp(base, "media:", 6))
 804             {
 805               /* check for the media number in the fragment */
 806               int l = strlen(base);
 807               while (l && base[l - 1] >= '0' && base[l - 1] <= '9')
 808                 l--;
 809               if (l && base[l - 1] == '#' && base[l])
 810                 medianr = atoi(base + l);
 811             }
 812           repodata_set_location(pd->data, handle, medianr, 0, str);
 813           if (base)
 814             repodata_set_poolstr(pd->data, handle, SOLVABLE_MEDIABASE, base);
 815         }
 816       break;
 817     case STATE_CHECKSUM:
 818       str = solv_xmlparser_find_attr("type", atts);
 819       pd->chksumtype = str && *str ? solv_chksum_str2type(str) : 0;
 820       if (!pd->chksumtype)
 821         pd->ret = pool_error(pool, -1, "line %d: unknown checksum type: %s", solv_xmlparser_lineno(xmlp), str ? str : "NULL");
 822       break;
 823     case STATE_TIME:
 824       {
 825         unsigned int t;
 826         str = solv_xmlparser_find_attr("build", atts);
 827         if (str && (t = atoi(str)) != 0)
 828           repodata_set_num(pd->data, handle, SOLVABLE_BUILDTIME, t);
 829         break;
 830       }
 831     case STATE_SIZE:
 832       if ((str = solv_xmlparser_find_attr("installed", atts)) != 0)
 833         repodata_set_num(pd->data, handle, SOLVABLE_INSTALLSIZE, strtoull(str, 0, 10));
 834       if ((str = solv_xmlparser_find_attr("package", atts)) != 0)
 835         repodata_set_num(pd->data, handle, SOLVABLE_DOWNLOADSIZE, strtoull(str, 0, 10));
 836       break;
 837     case STATE_HEADERRANGE:
 838       {
 839         unsigned int end;
 840         str = solv_xmlparser_find_attr("end", atts);
 841         if (str && (end = atoi(str)) != 0)
 842           repodata_set_num(pd->data, handle, SOLVABLE_HEADEREND, end);
 843         break;
 844       }
 845       /*
 846         <diskusage>
 847           <dirs>
 848             <dir name="/" size="56" count="11"/>
 849             <dir name="usr/" size="56" count="11"/>
 850             <dir name="usr/bin/" size="38" count="10"/>
 851             <dir name="usr/share/" size="18" count="1"/>
 852             <dir name="usr/share/doc/" size="18" count="1"/>
 853           </dirs>
 854         </diskusage>
 855       */
 856     case STATE_DISKUSAGE:
 857       {
 858         /* Really, do nothing, wait for <dir> tag */
 859         break;
 860       }
 861     case STATE_DIR:
 862       {
 863         long filesz = 0, filenum = 0;
 864         Id did;
 865
 866         if ((str = solv_xmlparser_find_attr("name", atts)) == 0)
 867           {
 868             pd->ret = pool_error(pool, -1, "<dir .../> tag without 'name' attribute");
 869             break;
 870           }
 871         if (*str != '/')
 872           {
 873             if (s->arch == ARCH_SRC || s->arch == ARCH_NOSRC)
 874               str = "/usr/src";
 875             else
 876               {
 877                 int l = strlen(str) + 2;
 878                 char *space = solv_xmlparser_contentspace(xmlp, l);
 879                 space[0] = '/';
 880                 memcpy(space + 1, str, l - 1);
 881                 str = space;
 882             }
 883           }
 884         did = repodata_str2dir(pd->data, str, 1);
 885         if ((str = solv_xmlparser_find_attr("size", atts)) != 0)
 886           filesz = strtol(str, 0, 0);
 887         if ((str = solv_xmlparser_find_attr("count", atts)) != 0)
 888           filenum = strtol(str, 0, 0);
 889         if (filesz || filenum)
 890           {
 891             queue_push(&pd->diskusageq, did);
 892             queue_push2(&pd->diskusageq, filesz, filenum);
 893           }
 894         break;
 895       }
 896     case STATE_CHANGELOG:
 897       pd->changelog_handle = repodata_new_handle(pd->data);
 898       if ((str = solv_xmlparser_find_attr("date", atts)) != 0)
 899         repodata_set_num(pd->data, pd->changelog_handle, SOLVABLE_CHANGELOG_TIME, strtoull(str, 0, 10));
 900       if ((str = solv_xmlparser_find_attr("author", atts)) != 0)
 901         repodata_set_str(pd->data, pd->changelog_handle, SOLVABLE_CHANGELOG_AUTHOR, str);
 902       break;
 903     default:
 904       break;
 905     }
 906 }
 907
 908
 909 /*
 910  * endElement
 911  */
 912
 913 static void
 914 endElement(struct solv_xmlparser *xmlp, int state, char *content)
 915 {
 916   struct parsedata *pd = xmlp->userdata;
 917   Pool *pool = pd->pool;
 918   Solvable *s = pd->solvable;
 919   Repo *repo = pd->repo;
 920   Id handle = pd->handle;
 921   Id id;
 922   char *p;
 923
 924   if (!s)
 925     return;
 926
 927   switch (state)
 928     {
 929     case STATE_SOLVABLE:
 930       if (pd->extending)
 931         {
 932           pd->solvable = 0;
 933           break;
 934         }
 935       if (pd->kind && !s->name) /* add namespace in case of NULL name */
 936         s->name = pool_str2id(pool, join2(&pd->jd, pd->kind, ":", 0), 1);
 937       if (!s->arch)
 938         s->arch = ARCH_NOARCH;
 939       if (!s->evr)
 940         s->evr = ID_EMPTY;      /* some patterns have this */
 941       if (s->name && s->arch != ARCH_SRC && s->arch != ARCH_NOSRC)
 942         s->provides = repo_addid_dep(repo, s->provides, pool_rel2id(pool, s->name, s->evr, REL_EQ, 1), 0);
 943       repo_rewrite_suse_deps(s, pd->freshens);
 944       pd->freshens = 0;
 945       pd->kind = 0;
 946       pd->solvable = 0;
 947       break;
 948     case STATE_NAME:
 949       if (pd->kind)
 950         s->name = pool_str2id(pool, join2(&pd->jd, pd->kind, ":", content), 1);
 951       else
 952         s->name = pool_str2id(pool, content, 1);
 953       break;
 954     case STATE_ARCH:
 955       s->arch = pool_str2id(pool, content, 1);
 956       break;
 957     case STATE_VENDOR:
 958       s->vendor = pool_str2id(pool, content, 1);
 959       break;
 960     case STATE_RPM_GROUP:
 961       repodata_set_poolstr(pd->data, handle, SOLVABLE_GROUP, content);
 962       break;
 963     case STATE_RPM_LICENSE:
 964       repodata_set_poolstr(pd->data, handle, SOLVABLE_LICENSE, content);
 965       break;
 966     case STATE_CHECKSUM:
 967       {
 968         unsigned char chk[256];
 969         int l = solv_chksum_len(pd->chksumtype);
 970         const char *str = content;
 971         if (!l || l > sizeof(chk))
 972           break;
 973         if (solv_hex2bin(&str, chk, l) != l || content[2 * l])
 974           {
 975             pd->ret = pool_error(pool, -1, "line %u: invalid %s checksum", solv_xmlparser_lineno(xmlp), solv_chksum_type2str(pd->chksumtype));
 976             break;
 977           }
 978         repodata_set_bin_checksum(pd->data, handle, SOLVABLE_CHECKSUM, pd->chksumtype, chk);
 979         /* we save the checksum to solvable id relationship for extending metadata */
 980         if (pd->cshash_filled)
 981           put_in_cshash(pd, chk, l, s - pool->solvables);
 982         break;
 983       }
 984     case STATE_FILE:
 985       if ((p = strrchr(content, '/')) != 0)
 986         {
 987           *p++ = 0;
 988           if (pd->lastdir && !strcmp(pd->lastdirstr, content))
 989             {
 990               id = pd->lastdir;
 991             }
 992           else
 993             {
 994               int l = p - content;
 995               if (l + 1 > pd->lastdirstrl)      /* + 1 for the possible leading / we need to insert */
 996                 {
 997                   pd->lastdirstrl = l + 128;
 998                   pd->lastdirstr = solv_realloc(pd->lastdirstr, pd->lastdirstrl);
 999                 }
1000               if (content[0] != '/')
1001                 {
1002                   pd->lastdirstr[0] = '/';
1003                   memcpy(pd->lastdirstr + 1, content, l);
1004                   id = repodata_str2dir(pd->data, pd->lastdirstr, 1);
1005                 }
1006               else
1007                 id = repodata_str2dir(pd->data, content, 1);
1008               pd->lastdir = id;
1009               memcpy(pd->lastdirstr, content, l);
1010             }
1011         }
1012       else
1013         {
1014           p = content;
1015           id = repodata_str2dir(pd->data, "/", 1);
1016         }
1017       repodata_add_dirstr(pd->data, handle, SOLVABLE_FILELIST, id, p);
1018       break;
1019     case STATE_SUMMARY:
1020       repodata_set_str(pd->data, handle, langtag(pd, SOLVABLE_SUMMARY, pd->tmplang), content);
1021       break;
1022     case STATE_DESCRIPTION:
1023       set_description_author(pd->data, handle, content, pd);
1024       break;
1025     case STATE_CATEGORY:
1026       repodata_set_str(pd->data, handle, langtag(pd, SOLVABLE_CATEGORY, pd->tmplang), content);
1027       break;
1028     case STATE_DISTRIBUTION:
1029         repodata_set_poolstr(pd->data, handle, SOLVABLE_DISTRIBUTION, content);
1030         break;
1031     case STATE_URL:
1032       if (*content)
1033         repodata_set_str(pd->data, handle, SOLVABLE_URL, content);
1034       break;
1035     case STATE_PACKAGER:
1036       if (*content)
1037         repodata_set_poolstr(pd->data, handle, SOLVABLE_PACKAGER, content);
1038       break;
1039     case STATE_SOURCERPM:
1040       if (*content)
1041         repodata_set_sourcepkg(pd->data, handle, content);
1042       break;
1043     case STATE_RELNOTESURL:
1044       if (*content)
1045         {
1046           repodata_add_poolstr_array(pd->data, handle, PRODUCT_URL, content);
1047           repodata_add_idarray(pd->data, handle, PRODUCT_URL_TYPE, pool_str2id(pool, "releasenotes", 1));
1048         }
1049       break;
1050     case STATE_UPDATEURL:
1051       if (*content)
1052         {
1053           repodata_add_poolstr_array(pd->data, handle, PRODUCT_URL, content);
1054           repodata_add_idarray(pd->data, handle, PRODUCT_URL_TYPE, pool_str2id(pool, "update", 1));
1055         }
1056       break;
1057     case STATE_OPTIONALURL:
1058       if (*content)
1059         {
1060           repodata_add_poolstr_array(pd->data, handle, PRODUCT_URL, content);
1061           repodata_add_idarray(pd->data, handle, PRODUCT_URL_TYPE, pool_str2id(pool, "optional", 1));
1062         }
1063       break;
1064     case STATE_FLAG:
1065       if (*content)
1066         repodata_add_poolstr_array(pd->data, handle, PRODUCT_FLAGS, content);
1067       break;
1068     case STATE_EULA:
1069       if (*content)
1070         repodata_set_str(pd->data, handle, langtag(pd, SOLVABLE_EULA, pd->tmplang), content);
1071       break;
1072     case STATE_KEYWORD:
1073       if (*content)
1074         repodata_add_poolstr_array(pd->data, handle, SOLVABLE_KEYWORDS, content);
1075       break;
1076     case STATE_DISKUSAGE:
1077       if (pd->diskusageq.count)
1078         repodata_add_diskusage(pd->data, handle, &pd->diskusageq);
1079       break;
1080     case STATE_ORDER:
1081       if (*content)
1082         repodata_set_str(pd->data, handle, SOLVABLE_ORDER, content);
1083       break;
1084     case STATE_CHANGELOG:
1085       repodata_set_str(pd->data, pd->changelog_handle, SOLVABLE_CHANGELOG_TEXT, content);
1086       repodata_add_flexarray(pd->data, handle, SOLVABLE_CHANGELOG, pd->changelog_handle);
1087       pd->changelog_handle = 0;
1088       break;
1089     default:
1090       break;
1091     }
1092 }
1093
1094 static void
1095 errorCallback(struct solv_xmlparser *xmlp, const char *errstr, unsigned int line, unsigned int column)
1096 {
1097   struct parsedata *pd = xmlp->userdata;
1098   pd->ret = pool_error(pd->pool, -1, "repo_rpmmd: %s at line %u:%u", errstr, line, column);
1099 }
1100
1101
1102 /*-----------------------------------------------*/
1103
1104 /*
1105  * repo_add_rpmmd
1106  * parse rpm-md metadata (primary, others)
1107  *
1108  */
1109
1110 int
1111 repo_add_rpmmd(Repo *repo, FILE *fp, const char *language, int flags)
1112 {
1113   Pool *pool = repo->pool;
1114   struct parsedata pd;
1115   Repodata *data;
1116   unsigned int now;
1117
1118   now = solv_timems(0);
1119   data = repo_add_repodata(repo, flags);
1120
1121   memset(&pd, 0, sizeof(pd));
1122   pd.pool = pool;
1123   pd.repo = repo;
1124   pd.data = data;
1125
1126   pd.kind = 0;
1127   pd.language = language && *language && strcmp(language, "en") != 0 ? language : 0;
1128   queue_init(&pd.diskusageq);
1129
1130   init_cshash(&pd);
1131   if ((flags & REPO_EXTEND_SOLVABLES) != 0)
1132     {
1133       /* setup join data */
1134       pd.cshash_filled = 1;
1135       fill_cshash_from_repo(&pd);
1136     }
1137
1138   solv_xmlparser_init(&pd.xmlp, stateswitches, &pd, startElement, endElement, errorCallback);
1139   solv_xmlparser_parse(&pd.xmlp, fp);
1140   solv_xmlparser_free(&pd.xmlp);
1141
1142   solv_free(pd.lastdirstr);
1143   join_freemem(&pd.jd);
1144   free_cshash(&pd);
1145   repodata_free_dircache(data);
1146   queue_free(&pd.diskusageq);
1147
1148   if ((flags & REPO_EXTEND_SOLVABLES) != 0)
1149     {
1150       /* is this a filelist extension? */
1151       if (repodata_has_keyname(data, SOLVABLE_FILELIST))
1152         repodata_set_filelisttype(data, REPODATA_FILELIST_EXTENSION);
1153     }
1154   else
1155     {
1156       /* is this a primary with a filtered filelist? */
1157       if (data->end > data->start)
1158         {
1159           repodata_set_filelisttype(data, REPODATA_FILELIST_FILTERED);
1160           repodata_set_void(data, SOLVID_META, REPOSITORY_FILTEREDFILELIST);
1161         }
1162     }
1163
1164   if (!(flags & REPO_NO_INTERNALIZE))
1165     repodata_internalize(data);
1166   POOL_DEBUG(SOLV_DEBUG_STATS, "repo_add_rpmmd took %d ms\n", solv_timems(now));
1167   POOL_DEBUG(SOLV_DEBUG_STATS, "repo size: %d solvables\n", repo->nsolvables);
1168   POOL_DEBUG(SOLV_DEBUG_STATS, "repo memory used: %d K incore, %d K idarray\n", repodata_memused(data)/1024, repo->idarraysize / (int)(1024/sizeof(Id)));
1169   return pd.ret;
1170 }