tools/repo_rpmmd.c

   1 /*
   2  * Copyright (c) 2007, Novell Inc.
   3  *
   4  * This program is licensed under the BSD license, read LICENSE.BSD
   5  * for further information
   6  */
   7
   8 #include <sys/types.h>
   9 #include <limits.h>
  10 #include <fcntl.h>
  11 #include <stdio.h>
  12 #include <stdlib.h>
  13 #include <string.h>
  14 #include <expat.h>
  15
  16 #include "pool.h"
  17 #include "repo.h"
  18 #define DISABLE_SPLIT
  19 #include "tools_util.h"
  20 #include "repo_rpmmd.h"
  21
  22
  23 enum state {
  24   STATE_START,
  25
  26   STATE_SOLVABLE,
  27
  28   STATE_NAME,
  29   STATE_ARCH,
  30   STATE_VERSION,
  31
  32   // package rpm-md
  33   STATE_LOCATION,
  34   STATE_CHECKSUM,
  35   STATE_RPM_GROUP,
  36   STATE_RPM_LICENSE,
  37
  38   /* resobject attributes */
  39   STATE_SUMMARY,
  40   STATE_DESCRIPTION,
  41   STATE_DISTRIBUTION,
  42   STATE_PACKAGER,
  43   STATE_URL,
  44   STATE_INSNOTIFY,
  45   STATE_DELNOTIFY,
  46   STATE_VENDOR,
  47   STATE_SIZE,
  48   STATE_TIME,
  49   STATE_DOWNLOADSIZE,
  50   STATE_INSTALLTIME,
  51   STATE_INSTALLONLY,
  52
  53   /* Novell/SUSE extended attributes */
  54   STATE_EULA,
  55   STATE_KEYWORD,
  56   STATE_DISKUSAGE,
  57   STATE_DIRS,
  58   STATE_DIR,
  59
  60   /* patch */
  61   STATE_ID,
  62   STATE_TIMESTAMP,
  63   STATE_AFFECTSPKG,
  64   STATE_REBOOTNEEDED,
  65
  66   // pattern attributes
  67   STATE_CATEGORY, /* pattern and patches */
  68   STATE_SCRIPT,
  69   STATE_ICON,
  70   STATE_USERVISIBLE,
  71   STATE_DEFAULT,
  72   STATE_INSTALL_TIME,
  73
  74   /* product */
  75   STATE_SHORTNAME,
  76   STATE_DISTNAME, // obsolete
  77   STATE_DISTEDITION, // obsolete
  78   STATE_SOURCE,
  79   STATE_TYPE,
  80   STATE_RELNOTESURL,
  81   STATE_UPDATEURL,
  82   STATE_OPTIONALURL,
  83   STATE_FLAG,
  84
  85   /* rpm-md dependencies inside the
  86      format tag */
  87   STATE_PROVIDES,
  88   STATE_REQUIRES,
  89   STATE_OBSOLETES,
  90   STATE_CONFLICTS,
  91   STATE_RECOMMENDS,
  92   STATE_SUPPLEMENTS,
  93   STATE_SUGGESTS,
  94   STATE_ENHANCES,
  95   STATE_FRESHENS,
  96   STATE_SOURCERPM,
  97   STATE_HEADERRANGE,
  98
  99   STATE_PROVIDESENTRY,
 100   STATE_REQUIRESENTRY,
 101   STATE_OBSOLETESENTRY,
 102   STATE_CONFLICTSENTRY,
 103   STATE_RECOMMENDSENTRY,
 104   STATE_SUPPLEMENTSENTRY,
 105   STATE_SUGGESTSENTRY,
 106   STATE_ENHANCESENTRY,
 107   STATE_FRESHENSENTRY,
 108
 109   STATE_FILE,
 110
 111   // general
 112   NUMSTATES
 113 };
 114
 115 struct stateswitch {
 116   enum state from;
 117   char *ename;
 118   enum state to;
 119   int docontent;
 120 };
 121
 122 static struct stateswitch stateswitches[] = {
 123   /** fake tag used to enclose 2 different xml files in one **/
 124   { STATE_START,       "rpmmd",           STATE_START,    0 },
 125
 126   /** tags for different package data, we just ignore the tag **/
 127   { STATE_START,       "metadata",        STATE_START,    0 },
 128   { STATE_START,       "otherdata",       STATE_START,    0 },
 129   { STATE_START,       "diskusagedata",   STATE_START,    0 },
 130   { STATE_START,       "susedata",        STATE_START,    0 },
 131
 132   { STATE_START,       "product",         STATE_SOLVABLE, 0 },
 133   { STATE_START,       "pattern",         STATE_SOLVABLE, 0 },
 134   { STATE_START,       "patch",           STATE_SOLVABLE, 0 },
 135   { STATE_START,       "package",         STATE_SOLVABLE, 0 },
 136
 137   { STATE_SOLVABLE,    "name",            STATE_NAME, 1 },
 138   { STATE_SOLVABLE,    "arch",            STATE_ARCH, 1 },
 139   { STATE_SOLVABLE,    "version",         STATE_VERSION, 0 },
 140
 141   // package attributes rpm-md
 142   { STATE_SOLVABLE,    "location",        STATE_LOCATION, 0 },
 143   { STATE_SOLVABLE,    "checksum",        STATE_CHECKSUM, 1 },
 144
 145   /* resobject attributes */
 146
 147   { STATE_SOLVABLE,    "summary",         STATE_SUMMARY,      1 },
 148   { STATE_SOLVABLE,    "description",     STATE_DESCRIPTION,  1 },
 149   { STATE_SOLVABLE,    "distribution",    STATE_DISTRIBUTION, 1 },
 150   { STATE_SOLVABLE,    "url",             STATE_URL,          1 },
 151   { STATE_SOLVABLE,    "packager",        STATE_PACKAGER,     1 },
 152   //{ STATE_SOLVABLE,    "???",         STATE_INSNOTIFY, 1 },
 153   //{ STATE_SOLVABLE,    "??",     STATE_DELNOTIFY, 1 },
 154   { STATE_SOLVABLE,    "vendor",          STATE_VENDOR,       1 },
 155   { STATE_SOLVABLE,    "size",            STATE_SIZE,         0 },
 156   { STATE_SOLVABLE,    "archive-size",    STATE_DOWNLOADSIZE, 1 },
 157   { STATE_SOLVABLE,    "install-time",    STATE_INSTALLTIME,  1 },
 158   { STATE_SOLVABLE,    "install-only",    STATE_INSTALLONLY,  1 },
 159   { STATE_SOLVABLE,    "time",            STATE_TIME,         0 },
 160
 161   /* extended Novell/SUSE attributes (susedata.xml) */
 162   { STATE_SOLVABLE,    "eula",            STATE_EULA,         1 },
 163   { STATE_SOLVABLE,    "keyword",         STATE_KEYWORD,      1 },
 164   { STATE_SOLVABLE,    "diskusage",       STATE_DISKUSAGE,    0 },
 165
 166   // pattern attribute
 167   { STATE_SOLVABLE,    "script",          STATE_SCRIPT,        1 },
 168   { STATE_SOLVABLE,    "icon",            STATE_ICON,          1 },
 169   { STATE_SOLVABLE,    "uservisible",     STATE_USERVISIBLE,   1 },
 170   { STATE_SOLVABLE,    "category",        STATE_CATEGORY,      1 },
 171   { STATE_SOLVABLE,    "default",         STATE_DEFAULT,       1 },
 172   { STATE_SOLVABLE,    "install-time",    STATE_INSTALL_TIME,  1 },
 173
 174   /* product attributes */
 175   /* note the product type is an attribute */
 176   { STATE_SOLVABLE,    "release-notes-url", STATE_RELNOTESURL, 1 },
 177   { STATE_SOLVABLE,    "update-url",        STATE_UPDATEURL,   1 },
 178   { STATE_SOLVABLE,    "optional-url",      STATE_OPTIONALURL, 1 },
 179   { STATE_SOLVABLE,    "flag",              STATE_FLAG,        1 },
 180
 181   { STATE_SOLVABLE,      "rpm:vendor",      STATE_VENDOR,      1 },
 182   { STATE_SOLVABLE,      "rpm:group",       STATE_RPM_GROUP,   1 },
 183   { STATE_SOLVABLE,      "rpm:license",     STATE_RPM_LICENSE, 1 },
 184
 185   /* rpm-md dependencies */
 186   { STATE_SOLVABLE,      "rpm:provides",    STATE_PROVIDES,     0 },
 187   { STATE_SOLVABLE,      "rpm:requires",    STATE_REQUIRES,     0 },
 188   { STATE_SOLVABLE,      "rpm:obsoletes",   STATE_OBSOLETES,    0 },
 189   { STATE_SOLVABLE,      "rpm:conflicts",   STATE_CONFLICTS,    0 },
 190   { STATE_SOLVABLE,      "rpm:recommends",  STATE_RECOMMENDS ,  0 },
 191   { STATE_SOLVABLE,      "rpm:supplements", STATE_SUPPLEMENTS,  0 },
 192   { STATE_SOLVABLE,      "rpm:suggests",    STATE_SUGGESTS,     0 },
 193   { STATE_SOLVABLE,      "rpm:enhances",    STATE_ENHANCES,     0 },
 194   { STATE_SOLVABLE,      "rpm:freshens",    STATE_FRESHENS,     0 },
 195   { STATE_SOLVABLE,      "rpm:sourcerpm",   STATE_SOURCERPM,    1 },
 196   { STATE_SOLVABLE,      "rpm:header-range", STATE_HEADERRANGE, 0 },
 197   { STATE_SOLVABLE,      "file",            STATE_FILE, 1 },
 198
 199    /* extended Novell/SUSE diskusage attributes (susedata.xml) */
 200   { STATE_DISKUSAGE,   "dirs",            STATE_DIRS,         0 },
 201   { STATE_DIRS,        "dir",             STATE_DIR,          0 },
 202
 203   { STATE_PROVIDES,    "rpm:entry",       STATE_PROVIDESENTRY, 0 },
 204   { STATE_REQUIRES,    "rpm:entry",       STATE_REQUIRESENTRY, 0 },
 205   { STATE_OBSOLETES,   "rpm:entry",       STATE_OBSOLETESENTRY, 0 },
 206   { STATE_CONFLICTS,   "rpm:entry",       STATE_CONFLICTSENTRY, 0 },
 207   { STATE_RECOMMENDS,  "rpm:entry",       STATE_RECOMMENDSENTRY, 0 },
 208   { STATE_SUPPLEMENTS, "rpm:entry",       STATE_SUPPLEMENTSENTRY, 0 },
 209   { STATE_SUGGESTS,    "rpm:entry",       STATE_SUGGESTSENTRY, 0 },
 210   { STATE_ENHANCES,    "rpm:entry",       STATE_ENHANCESENTRY, 0 },
 211   { STATE_FRESHENS,    "rpm:entry",       STATE_FRESHENSENTRY, 0 },
 212
 213   { NUMSTATES}
 214 };
 215
 216 /* maxmum initial size of
 217    the checksum cache */
 218 #define MAX_CSCACHE 32768
 219 #define CSREALLOC_STEP 1024
 220
 221 struct parsedata {
 222   struct parsedata_common common;
 223   char *kind;
 224   int depth;
 225   enum state state;
 226   int statedepth;
 227   char *content;
 228   int lcontent;
 229   int acontent;
 230   int docontent;
 231   Solvable *solvable;
 232   Offset freshens;
 233   struct stateswitch *swtab[NUMSTATES];
 234   enum state sbtab[NUMSTATES];
 235   /* temporal to store attribute tag language */
 236   const char *tmplang;
 237   const char *capkind;
 238   // used to store tmp attributes
 239   // while the tag ends
 240   const char *tmpattr;
 241   Repodata *data;
 242   Id handle;
 243   XML_Parser *parser;
 244   Id (*dirs)[3]; // dirid, size, nfiles
 245   int ndirs;
 246   Id langcache[ID_NUM_INTERNAL];
 247   /** system language */
 248   const char *language;
 249
 250   /** Hash to maps checksums to solv */
 251   Stringpool cspool;
 252   /** Cache of known checksums to solvable id */
 253   Id *cscache;
 254   /* the current longest index in the table */
 255   int ncscache;
 256 };
 257
 258 static Id
 259 langtag(struct parsedata *pd, Id tag, const char *language)
 260 {
 261   if (language && !language[0])
 262     language = 0;
 263   if (!language || tag >= ID_NUM_INTERNAL)
 264     return pool_id2langid(pd->common.repo->pool, tag, language, 1);
 265   return pool_id2langid(pd->common.repo->pool, tag, language, 1);
 266   if (!pd->langcache[tag])
 267     pd->langcache[tag] = pool_id2langid(pd->common.repo->pool, tag, language, 1);
 268   return pd->langcache[tag];
 269 }
 270
 271 static int
 272 id3_cmp (const void *v1, const void *v2, void *dp)
 273 {
 274   Id *i1 = (Id*)v1;
 275   Id *i2 = (Id*)v2;
 276   return i1[0] - i2[0];
 277 }
 278
 279 static void
 280 commit_diskusage (struct parsedata *pd, unsigned handle)
 281 {
 282   unsigned i;
 283   Dirpool *dp = &pd->data->dirpool;
 284   /* Now sort in dirid order.  This ensures that parents come before
 285      their children.  */
 286   if (pd->ndirs > 1)
 287     sat_sort(pd->dirs, pd->ndirs, sizeof (pd->dirs[0]), id3_cmp, 0);
 288   /* Substract leaf numbers from all parents to make the numbers
 289      non-cumulative.  This must be done post-order (i.e. all leafs
 290      adjusted before parents).  We ensure this by starting at the end of
 291      the array moving to the start, hence seeing leafs before parents.  */
 292   for (i = pd->ndirs; i--;)
 293     {
 294       unsigned p = dirpool_parent(dp, pd->dirs[i][0]);
 295       unsigned j = i;
 296       for (; p; p = dirpool_parent(dp, p))
 297         {
 298           for (; j--;)
 299             if (pd->dirs[j][0] == p)
 300               break;
 301           if (j < pd->ndirs)
 302             {
 303               if (pd->dirs[j][1] < pd->dirs[i][1])
 304                 pd->dirs[j][1] = 0;
 305               else
 306                 pd->dirs[j][1] -= pd->dirs[i][1];
 307               if (pd->dirs[j][2] < pd->dirs[i][2])
 308                 pd->dirs[j][2] = 0;
 309               else
 310                 pd->dirs[j][2] -= pd->dirs[i][2];
 311             }
 312           else
 313             /* Haven't found this parent in the list, look further if
 314                we maybe find the parents parent.  */
 315             j = i;
 316         }
 317     }
 318 #if 0
 319   char sbuf[1024];
 320   char *buf = sbuf;
 321   unsigned slen = sizeof (sbuf);
 322   for (i = 0; i < pd->ndirs; i++)
 323     {
 324       dir2str (attr, pd->dirs[i][0], &buf, &slen);
 325       fprintf (stderr, "have dir %d %d %d %s\n", pd->dirs[i][0], pd->dirs[i][1], pd->dirs[i][2], buf);
 326     }
 327   if (buf != sbuf)
 328     free (buf);
 329 #endif
 330   for (i = 0; i < pd->ndirs; i++)
 331     if (pd->dirs[i][1] || pd->dirs[i][2])
 332       {
 333         repodata_add_dirnumnum(pd->data, handle, SOLVABLE_DISKUSAGE, pd->dirs[i][0], pd->dirs[i][1], pd->dirs[i][2]);
 334       }
 335   pd->ndirs = 0;
 336 }
 337
 338
 339 /*
 340  * makeevr_atts
 341  * parse 'epoch', 'ver' and 'rel', return evr Id
 342  *
 343  */
 344
 345 static Id
 346 makeevr_atts(Pool *pool, struct parsedata *pd, const char **atts)
 347 {
 348   const char *e, *v, *r, *v2;
 349   char *c;
 350   int l;
 351
 352   e = v = r = 0;
 353   for (; *atts; atts += 2)
 354     {
 355       if (!strcmp(*atts, "epoch"))
 356         e = atts[1];
 357       else if (!strcmp(*atts, "ver"))
 358         v = atts[1];
 359       else if (!strcmp(*atts, "rel"))
 360         r = atts[1];
 361     }
 362   if (e && !strcmp(e, "0"))
 363     e = 0;
 364   if (v && !e)
 365     {
 366       for (v2 = v; *v2 >= '0' && *v2 <= '9'; v2++)
 367         ;
 368       if (v2 > v && *v2 == ':')
 369         e = "0";
 370     }
 371   l = 1;
 372   if (e)
 373     l += strlen(e) + 1;
 374   if (v)
 375     l += strlen(v);
 376   if (r)
 377     l += strlen(r) + 1;
 378   if (l > pd->acontent)
 379     {
 380       pd->content = sat_realloc(pd->content, l + 256);
 381       pd->acontent = l + 256;
 382     }
 383   c = pd->content;
 384   if (e)
 385     {
 386       strcpy(c, e);
 387       c += strlen(c);
 388       *c++ = ':';
 389     }
 390   if (v)
 391     {
 392       strcpy(c, v);
 393       c += strlen(c);
 394     }
 395   if (r)
 396     {
 397       *c++ = '-';
 398       strcpy(c, r);
 399       c += strlen(c);
 400     }
 401   *c = 0;
 402   if (!*pd->content)
 403     return 0;
 404 #if 0
 405   fprintf(stderr, "evr: %s\n", pd->content);
 406 #endif
 407   return str2id(pool, pd->content, 1);
 408 }
 409
 410
 411 /*
 412  * find_attr
 413  * find value for xml attribute
 414  * I: txt, name of attribute
 415  * I: atts, list of key/value attributes
 416  * O: pointer to value of matching key, or NULL
 417  *
 418  */
 419
 420 static inline const char *
 421 find_attr(const char *txt, const char **atts)
 422 {
 423   for (; *atts; atts += 2)
 424     {
 425       if (!strcmp(*atts, txt))
 426         return atts[1];
 427     }
 428   return 0;
 429 }
 430
 431
 432 /*
 433  * dependency relations
 434  */
 435
 436 static char *flagtab[] = {
 437   "GT",
 438   "EQ",
 439   "GE",
 440   "LT",
 441   "NE",
 442   "LE"
 443 };
 444
 445
 446 /*
 447  * adddep
 448  * parse attributes to reldep Id
 449  *
 450  */
 451
 452 static unsigned int
 453 adddep(Pool *pool, struct parsedata *pd, unsigned int olddeps, const char **atts, int isreq)
 454 {
 455   Id id, name, marker;
 456   const char *n, *f, *k;
 457   const char **a;
 458
 459   n = f = k = 0;
 460   marker = isreq ? -SOLVABLE_PREREQMARKER : 0;
 461   for (a = atts; *a; a += 2)
 462     {
 463       if (!strcmp(*a, "name"))
 464         n = a[1];
 465       else if (!strcmp(*a, "flags"))
 466         f = a[1];
 467       else if (!strcmp(*a, "kind"))
 468         k = a[1];
 469       else if (isreq && !strcmp(*a, "pre") && a[1][0] == '1')
 470         marker = SOLVABLE_PREREQMARKER;
 471     }
 472   if (!n)
 473     return olddeps;
 474   if (k && !strcmp(k, "package"))
 475     k = 0;
 476   if (k)
 477     {
 478       int l = strlen(k) + 1 + strlen(n) + 1;
 479       if (l > pd->acontent)
 480         {
 481           pd->content = sat_realloc(pd->content, l + 256);
 482           pd->acontent = l + 256;
 483         }
 484       sprintf(pd->content, "%s:%s", k, n);
 485       name = str2id(pool, pd->content, 1);
 486     }
 487   else
 488     name = str2id(pool, (char *)n, 1);
 489   if (f)
 490     {
 491       Id evr = makeevr_atts(pool, pd, atts);
 492       int flags;
 493       for (flags = 0; flags < 6; flags++)
 494         if (!strcmp(f, flagtab[flags]))
 495           break;
 496       flags = flags < 6 ? flags + 1 : 0;
 497       id = rel2id(pool, name, evr, flags, 1);
 498     }
 499   else
 500     id = name;
 501 #if 0
 502   fprintf(stderr, "new dep %s%s%s\n", id2str(pool, d), id2rel(pool, d), id2evr(pool, d));
 503 #endif
 504   return repo_addid_dep(pd->common.repo, olddeps, id, marker);
 505 }
 506
 507
 508 /*
 509  * set_desciption_author
 510  *
 511  */
 512
 513 static void
 514 set_desciption_author(Repodata *data, Id handle, char *str)
 515 {
 516   char *aut, *p;
 517
 518   if (!str || !*str)
 519     return;
 520   for (aut = str; (aut = strchr(aut, '\n')) != 0; aut++)
 521     if (!strncmp(aut, "\nAuthors:\n--------\n", 19))
 522       break;
 523   if (aut)
 524     {
 525       /* oh my, found SUSE special author section */
 526       int l = aut - str;
 527       str[l] = 0;
 528       while (l > 0 && str[l - 1] == '\n')
 529         str[--l] = 0;
 530       if (l)
 531         repodata_set_str(data, handle, SOLVABLE_DESCRIPTION, str);
 532       p = aut + 19;
 533       aut = str;        /* copy over */
 534       while (*p == ' ' || *p == '\n')
 535         p++;
 536       while (*p)
 537         {
 538           if (*p == '\n')
 539             {
 540               *aut++ = *p++;
 541               while (*p == ' ')
 542                 p++;
 543               continue;
 544             }
 545           *aut++ = *p++;
 546         }
 547       while (aut != str && aut[-1] == '\n')
 548         aut--;
 549       *aut = 0;
 550       if (*str)
 551         repodata_set_str(data, handle, SOLVABLE_AUTHORS, str);
 552     }
 553   else if (*str)
 554     repodata_set_str(data, handle, SOLVABLE_DESCRIPTION, str);
 555 }
 556
 557
 558 /*
 559  * set_sourcerpm
 560  *
 561  */
 562
 563 static void
 564 set_sourcerpm(Repodata *data, Solvable *s, Id handle, char *sourcerpm)
 565 {
 566   const char *p, *sevr, *sarch, *name, *evr;
 567   Pool *pool;
 568
 569   p = strrchr(sourcerpm, '.');
 570   if (!p || strcmp(p, ".rpm") != 0)
 571     return;
 572   p--;
 573   while (p > sourcerpm && *p != '.')
 574     p--;
 575   if (*p != '.' || p == sourcerpm)
 576     return;
 577   sarch = p-- + 1;
 578   while (p > sourcerpm && *p != '-')
 579     p--;
 580   if (*p != '-' || p == sourcerpm)
 581     return;
 582   p--;
 583   while (p > sourcerpm && *p != '-')
 584     p--;
 585   if (*p != '-' || p == sourcerpm)
 586     return;
 587   sevr = p + 1;
 588   pool = s->repo->pool;
 589   if (!strcmp(sarch, "src.rpm"))
 590     repodata_set_constantid(data, handle, SOLVABLE_SOURCEARCH, ARCH_SRC);
 591   else if (!strcmp(sarch, "nosrc.rpm"))
 592     repodata_set_constantid(data, handle, SOLVABLE_SOURCEARCH, ARCH_NOSRC);
 593   else
 594     repodata_set_constantid(data, handle, SOLVABLE_SOURCEARCH, strn2id(pool, sarch, strlen(sarch) - 4, 1));
 595   evr = id2str(pool, s->evr);
 596   if (evr && !strncmp(sevr, evr, sarch - sevr - 1) && evr[sarch - sevr - 1] == 0)
 597     repodata_set_void(data, handle, SOLVABLE_SOURCEEVR);
 598   else
 599     repodata_set_id(data, handle, SOLVABLE_SOURCEEVR, strn2id(pool, sevr, sarch - sevr - 1, 1));
 600   name = id2str(pool, s->name);
 601   if (name && !strncmp(sourcerpm, name, sevr - sourcerpm - 1) && name[sevr - sourcerpm - 1] == 0)
 602     repodata_set_void(data, handle, SOLVABLE_SOURCENAME);
 603   else
 604     repodata_set_id(data, handle, SOLVABLE_SOURCENAME, strn2id(pool, sourcerpm, sevr - sourcerpm - 1, 1));
 605 }
 606
 607 /*-----------------------------------------------*/
 608 /* XML callbacks */
 609
 610 /*
 611  * startElement
 612  * XML callback
 613  *
 614  */
 615
 616 static void XMLCALL
 617 startElement(void *userData, const char *name, const char **atts)
 618 {
 619   //fprintf(stderr,"+tag: %s\n", name);
 620   struct parsedata *pd = userData;
 621   Pool *pool = pd->common.pool;
 622   Solvable *s = pd->solvable;
 623   struct stateswitch *sw;
 624   const char *str;
 625   Id handle = pd->handle;
 626
 627   // fprintf(stderr, "into %s, from %d, depth %d, statedepth %d\n", name, pd->state, pd->depth, pd->statedepth);
 628
 629   if (pd->depth != pd->statedepth)
 630     {
 631       pd->depth++;
 632       return;
 633     }
 634
 635   if (pd->state == STATE_START && !strcmp(name, "patterns"))
 636     return;
 637   //if (pd->state == STATE_START && !strcmp(name, "metadata"))
 638   //  return;
 639   if (pd->state == STATE_SOLVABLE && !strcmp(name, "format"))
 640     return;
 641
 642   pd->depth++;
 643   if (!pd->swtab[pd->state])
 644     return;
 645   for (sw = pd->swtab[pd->state]; sw->from == pd->state; sw++)
 646     if (!strcmp(sw->ename, name))
 647       break;
 648   if (sw->from != pd->state)
 649     {
 650 #if 0
 651       fprintf(stderr, "into unknown: %s\n", name);
 652 #endif
 653       return;
 654     }
 655   pd->state = sw->to;
 656   pd->docontent = sw->docontent;
 657   pd->statedepth = pd->depth;
 658   pd->lcontent = 0;
 659   *pd->content = 0;
 660   switch(pd->state)
 661     {
 662     case STATE_SOLVABLE:
 663       pd->kind = 0;
 664       if (name[2] == 't' && name[3] == 't')
 665         pd->kind = "pattern";
 666       else if (name[1] == 'r')
 667         pd->kind = "product";
 668       else if (name[2] == 't' && name[3] == 'c')
 669         pd->kind = "patch";
 670
 671       /* to support extension metadata files like others.xml which
 672          have the following structure:
 673
 674          <otherdata xmlns="http://linux.duke.edu/metadata/other"
 675                     packages="101">
 676            <package pkgid="b78f8664cd90efe42e09a345e272997ef1b53c18"
 677                     name="zaptel-kmp-default"
 678                     arch="i586"><version epoch="0"
 679                     ver="1.2.10_2.6.22_rc4_git6_2" rel="70"/>
 680               ...
 681
 682          we need to check if the pkgid is there and if it matches
 683          an already seen package, that means we don't need to create
 684          a new solvable but just append the attributes to the existing
 685          one.
 686       */
 687       const char *pkgid;
 688       if ((pkgid = find_attr("pkgid", atts)) != NULL)
 689         {
 690           // look at the checksum cache
 691           Id index = stringpool_str2id(&pd->cspool, pkgid, 0);
 692           if (!index || index >= pd->ncscache || !pd->cscache[index])
 693             {
 694               fprintf(stderr, "error, the repository specifies extra information about package with checksum '%s', which does not exist in the repository.\n", pkgid);
 695               exit(1);
 696             }
 697           pd->solvable = pool_id2solvable(pool, pd->cscache[index]);
 698         }
 699        else
 700         {
 701           /* this is a new package */
 702           pd->solvable = pool_id2solvable(pool, repo_add_solvable(pd->common.repo));
 703           pd->freshens = 0;
 704         }
 705       pd->handle = pd->solvable - pool->solvables;
 706 #if 0
 707       fprintf(stderr, "package #%d\n", pd->solvable - pool->solvables);
 708 #endif
 709
 710       break;
 711     case STATE_VERSION:
 712       s->evr = makeevr_atts(pool, pd, atts);
 713       break;
 714     case STATE_PROVIDES:
 715       s->provides = 0;
 716       break;
 717     case STATE_PROVIDESENTRY:
 718       s->provides = adddep(pool, pd, s->provides, atts, 0);
 719       break;
 720     case STATE_REQUIRES:
 721       s->requires = 0;
 722       break;
 723     case STATE_REQUIRESENTRY:
 724       s->requires = adddep(pool, pd, s->requires, atts, 1);
 725       break;
 726     case STATE_OBSOLETES:
 727       s->obsoletes = 0;
 728       break;
 729     case STATE_OBSOLETESENTRY:
 730       s->obsoletes = adddep(pool, pd, s->obsoletes, atts, 0);
 731       break;
 732     case STATE_CONFLICTS:
 733       s->conflicts = 0;
 734       break;
 735     case STATE_CONFLICTSENTRY:
 736       s->conflicts = adddep(pool, pd, s->conflicts, atts, 0);
 737       break;
 738     case STATE_RECOMMENDS:
 739       s->recommends = 0;
 740       break;
 741     case STATE_RECOMMENDSENTRY:
 742       s->recommends = adddep(pool, pd, s->recommends, atts, 0);
 743       break;
 744     case STATE_SUPPLEMENTS:
 745       s->supplements= 0;
 746       break;
 747     case STATE_SUPPLEMENTSENTRY:
 748       s->supplements = adddep(pool, pd, s->supplements, atts, 0);
 749       break;
 750     case STATE_SUGGESTS:
 751       s->suggests = 0;
 752       break;
 753     case STATE_SUGGESTSENTRY:
 754       s->suggests = adddep(pool, pd, s->suggests, atts, 0);
 755       break;
 756     case STATE_ENHANCES:
 757       s->enhances = 0;
 758       break;
 759     case STATE_ENHANCESENTRY:
 760       s->enhances = adddep(pool, pd, s->enhances, atts, 0);
 761       break;
 762     case STATE_FRESHENS:
 763       pd->freshens = 0;
 764       break;
 765     case STATE_FRESHENSENTRY:
 766       pd->freshens = adddep(pool, pd, pd->freshens, atts, 0);
 767       break;
 768     case STATE_SUMMARY:
 769     case STATE_DESCRIPTION:
 770       pd->tmplang = find_attr("lang", atts);
 771       break;
 772     case STATE_LOCATION:
 773       str = find_attr("href", atts);
 774       if (str)
 775         repodata_set_location(pd->data, handle, 0, 0, str);
 776       break;
 777     case STATE_CHECKSUM:
 778       pd->tmpattr = find_attr("type", atts);
 779       break;
 780     case STATE_TIME:
 781       {
 782         unsigned int t;
 783         str = find_attr("build", atts);
 784         if (str && (t = atoi(str)) != 0)
 785           repodata_set_num(pd->data, handle, SOLVABLE_BUILDTIME, t);
 786         break;
 787       }
 788     case STATE_SIZE:
 789       {
 790         unsigned int k;
 791         str = find_attr("installed", atts);
 792         if (str && (k = atoi(str)) != 0)
 793           repodata_set_num(pd->data, handle, SOLVABLE_INSTALLSIZE, (k + 1023) / 1024);
 794         /* XXX the "package" attribute gives the size of the rpm file,
 795            i.e. the download size.  Except on packman, there it seems to be
 796            something else entirely, it has a value near to the other two
 797            values, as if the rpm is uncompressed.  */
 798         str = find_attr("package", atts);
 799         if (str && (k = atoi(str)) != 0)
 800           repodata_set_num(pd->data, handle, SOLVABLE_DOWNLOADSIZE, (k + 1023) / 1024);
 801         break;
 802       }
 803     case STATE_HEADERRANGE:
 804       {
 805         unsigned int end;
 806         str = find_attr("end", atts);
 807         if (str && (end = atoi(str)) != 0)
 808           repodata_set_num(pd->data, handle, SOLVABLE_HEADEREND, end);
 809       }
 810       /*
 811         <diskusage>
 812           <dirs>
 813             <dir name="/" size="56" count="11"/>
 814             <dir name="usr/" size="56" count="11"/>
 815             <dir name="usr/bin/" size="38" count="10"/>
 816             <dir name="usr/share/" size="18" count="1"/>
 817             <dir name="usr/share/doc/" size="18" count="1"/>
 818           </dirs>
 819         </diskusage>
 820       */
 821     case STATE_DISKUSAGE:
 822       {
 823         /* Really, do nothing, wat for <dir> tag */
 824         break;
 825       }
 826     case STATE_DIR:
 827       {
 828         long filesz = 0, filenum = 0;
 829         unsigned dirid;
 830         if ( (str = find_attr("name", atts)) )
 831           {
 832             dirid = repodata_str2dir(pd->data, str, 1);
 833           }
 834         else
 835           {
 836             fprintf( stderr, "<dir .../> tag without 'name' attribute, atts = %p, *atts = %p\n",
 837                     (void *)atts, *atts);
 838             break;
 839           }
 840         if ( (str = find_attr("size", atts)) )
 841           {
 842             filesz = strtol (str, 0, 0);
 843           }
 844         if ( (str = find_attr("count", atts)) )
 845           {
 846             filenum = strtol (str, 0, 0);
 847           }
 848         pd->dirs = sat_extend(pd->dirs, pd->ndirs, 1, sizeof(pd->dirs[0]), 31);
 849         pd->dirs[pd->ndirs][0] = dirid;
 850         pd->dirs[pd->ndirs][1] = filesz;
 851         pd->dirs[pd->ndirs][2] = filenum;
 852         pd->ndirs++;
 853         break;
 854       }
 855     default:
 856       break;
 857     }
 858 }
 859
 860
 861 /*
 862  * endElement
 863  * XML callback
 864  *
 865  */
 866
 867 static void XMLCALL
 868 endElement(void *userData, const char *name)
 869 {
 870   //fprintf(stderr,"-tag: %s\n", name);
 871   struct parsedata *pd = userData;
 872   Pool *pool = pd->common.pool;
 873   Solvable *s = pd->solvable;
 874   Repo *repo = pd->common.repo;
 875   Id handle = pd->handle;
 876   Id id;
 877   char *p;
 878
 879   if (pd->depth != pd->statedepth)
 880     {
 881       pd->depth--;
 882       // printf("back from unknown %d %d %d\n", pd->state, pd->depth, pd->statedepth);
 883       return;
 884     }
 885
 886   /* ignore patterns & metadata */
 887   if (pd->state == STATE_START && !strcmp(name, "patterns"))
 888     return;
 889   //if (pd->state == STATE_START && !strcmp(name, "metadata"))
 890   //  return;
 891   if (pd->state == STATE_SOLVABLE && !strcmp(name, "format"))
 892     return;
 893
 894   pd->depth--;
 895   pd->statedepth--;
 896   switch (pd->state)
 897     {
 898     case STATE_SOLVABLE:
 899       if ( pd->kind && !s->name ) /* add namespace in case of NULL name */
 900         s->name = str2id(pool, join2( pd->kind, ":", ""), 1);
 901       if (!s->arch)
 902         s->arch = ARCH_NOARCH;
 903       if (!s->evr)
 904         s->evr = ID_EMPTY;      /* some patterns have this */
 905       if (s->arch != ARCH_SRC && s->arch != ARCH_NOSRC)
 906         s->provides = repo_addid_dep(repo, s->provides, rel2id(pool, s->name, s->evr, REL_EQ, 1), 0);
 907       s->supplements = repo_fix_supplements(repo, s->provides, s->supplements, pd->freshens);
 908       s->conflicts = repo_fix_conflicts(repo, s->conflicts);
 909       pd->freshens = 0;
 910       pd->kind = 0;
 911       break;
 912     case STATE_NAME:
 913       if ( pd->kind )
 914           s->name = str2id(pool, join2( pd->kind, ":", pd->content), 1);
 915       else
 916           s->name = str2id(pool, pd->content, 1);
 917       break;
 918     case STATE_ARCH:
 919       s->arch = str2id(pool, pd->content, 1);
 920       break;
 921     case STATE_VENDOR:
 922       s->vendor = str2id(pool, pd->content, 1);
 923       break;
 924     case STATE_RPM_GROUP:
 925       repodata_set_poolstr(pd->data, handle, SOLVABLE_GROUP, pd->content);
 926       break;
 927     case STATE_RPM_LICENSE:
 928       repodata_set_poolstr(pd->data, handle, SOLVABLE_LICENSE, pd->content);
 929       break;
 930     case STATE_CHECKSUM:
 931       {
 932         int l;
 933         Id type, index;
 934         if (!strcasecmp (pd->tmpattr, "sha") || !strcasecmp (pd->tmpattr, "sha1"))
 935           l = SIZEOF_SHA1 * 2, type = REPOKEY_TYPE_SHA1;
 936         else if (!strcasecmp (pd->tmpattr, "sha256"))
 937           l = SIZEOF_SHA256 * 2, type = REPOKEY_TYPE_SHA256;
 938         else if (!strcasecmp (pd->tmpattr, "md5"))
 939           l = SIZEOF_MD5 * 2, type = REPOKEY_TYPE_MD5;
 940         else
 941           {
 942             fprintf(stderr, "Unknown checksum type: %d: %s\n", (unsigned int)XML_GetCurrentLineNumber(*pd->parser), pd->tmpattr);
 943             exit(1);
 944           }
 945         if (strlen(pd->content) != l)
 946           {
 947             fprintf(stderr, "Invalid checksum length: %d: for %s\n", (unsigned int)XML_GetCurrentLineNumber(*pd->parser), pd->tmpattr);
 948             exit(1);
 949           }
 950         repodata_set_checksum(pd->data, handle, SOLVABLE_CHECKSUM, type, pd->content);
 951         /* we save the checksum to solvable id relationship for extended
 952            metadata */
 953         index = stringpool_str2id(&pd->cspool, pd->content, 1 /* create it */);
 954         if (index >= pd->ncscache)
 955           {
 956             pd->cscache = sat_zextend(pd->cscache, pd->ncscache, index + 1 - pd->ncscache, sizeof(Id), 255);
 957             pd->ncscache = index + 1;
 958           }
 959         /* add the checksum to the cache */
 960         pd->cscache[index] = s - pool->solvables;
 961         break;
 962       }
 963     case STATE_FILE:
 964 #if 0
 965       id = str2id(pool, pd->content, 1);
 966       s->provides = repo_addid_dep(repo, s->provides, id, SOLVABLE_FILEMARKER);
 967 #endif
 968       if ((p = strrchr(pd->content, '/')) != 0)
 969         {
 970           *p++ = 0;
 971           id = repodata_str2dir(pd->data, pd->content, 1);
 972         }
 973       else
 974         {
 975           p = pd->content;
 976           id = 0;
 977         }
 978       if (!id)
 979         id = repodata_str2dir(pd->data, "/", 1);
 980       repodata_add_dirstr(pd->data, handle, SOLVABLE_FILELIST, id, p);
 981       break;
 982     case STATE_SUMMARY:
 983       pd->tmplang = 0;
 984       repodata_set_str(pd->data, handle, SOLVABLE_SUMMARY, pd->content);
 985       break;
 986     case STATE_DESCRIPTION:
 987       pd->tmplang = 0;
 988       set_desciption_author(pd->data, handle, pd->content);
 989       break;
 990     case STATE_DISTRIBUTION:
 991         repodata_set_poolstr(pd->data, handle, SOLVABLE_DISTRIBUTION, pd->content);
 992         break;
 993     case STATE_URL:
 994       if (pd->content[0])
 995         repodata_set_str(pd->data, handle, SOLVABLE_URL, pd->content);
 996       break;
 997     case STATE_PACKAGER:
 998       if (pd->content[0])
 999         repodata_set_poolstr(pd->data, handle, SOLVABLE_PACKAGER, pd->content);
1000       break;
1001     case STATE_SOURCERPM:
1002       set_sourcerpm(pd->data, s, handle, pd->content);
1003       break;
1004     case STATE_RELNOTESURL:
1005       if (pd->content[0])
1006         {
1007           repodata_add_poolstr_array(pd->data, pd->handle, PRODUCT_URL, pd->content);
1008           repodata_add_idarray(pd->data, pd->handle, PRODUCT_URL_TYPE, str2id(pool, "releasenotes", 1));
1009         }
1010       break;
1011     case STATE_UPDATEURL:
1012       if (pd->content[0])
1013         {
1014           repodata_add_poolstr_array(pd->data, pd->handle, PRODUCT_URL, pd->content);
1015           repodata_add_idarray(pd->data, pd->handle, PRODUCT_URL_TYPE, str2id(pool, "update", 1));
1016         }
1017       break;
1018     case STATE_OPTIONALURL:
1019       if (pd->content[0])
1020         {
1021           repodata_add_poolstr_array(pd->data, pd->handle, PRODUCT_URL, pd->content);
1022           repodata_add_idarray(pd->data, pd->handle, PRODUCT_URL_TYPE, str2id(pool, "optional", 1));
1023         }
1024       break;
1025     case STATE_FLAG:
1026       if (pd->content[0])
1027           repodata_set_poolstr(pd->data, handle, PRODUCT_FLAGS, pd->content);
1028       break;
1029     case STATE_EULA:
1030       if (pd->content[0])
1031         repodata_set_str(pd->data, handle, langtag(pd, SOLVABLE_EULA, pd->language), pd->content);
1032       break;
1033     case STATE_KEYWORD:
1034       if (pd->content[0])
1035         repodata_add_poolstr_array(pd->data, pd->handle, SOLVABLE_KEYWORDS, pd->content);
1036       break;
1037     case STATE_DISKUSAGE:
1038       if (pd->ndirs)
1039         commit_diskusage (pd, pd->handle);
1040       break;
1041     default:
1042       break;
1043     }
1044   pd->state = pd->sbtab[pd->state];
1045   pd->docontent = 0;
1046   // fprintf(stderr, "back from known %d %d %d\n", pd->state, pd->depth, pd->statedepth);
1047 }
1048
1049
1050 /*
1051  * characterData
1052  * XML callback
1053  *
1054  */
1055
1056 static void XMLCALL
1057 characterData(void *userData, const XML_Char *s, int len)
1058 {
1059   struct parsedata *pd = userData;
1060   int l;
1061   char *c;
1062
1063   if (!pd->docontent)
1064     return;
1065   l = pd->lcontent + len + 1;
1066   if (l > pd->acontent)
1067     {
1068       pd->content = sat_realloc(pd->content, l + 256);
1069       pd->acontent = l + 256;
1070     }
1071   c = pd->content + pd->lcontent;
1072   pd->lcontent += len;
1073   while (len-- > 0)
1074     *c++ = *s++;
1075   *c = 0;
1076 }
1077
1078
1079 /*-----------------------------------------------*/
1080 /* 'main' */
1081
1082 #define BUFF_SIZE 8192
1083
1084 /*
1085  * repo_add_rpmmd
1086  * parse rpm-md metadata (primary, others)
1087  *
1088  */
1089
1090 void
1091 repo_add_rpmmd(Repo *repo, FILE *fp, const char *language, int flags)
1092 {
1093   Pool *pool = repo->pool;
1094   struct parsedata pd;
1095   char buf[BUFF_SIZE];
1096   int i, l;
1097   struct stateswitch *sw;
1098   Repodata *data;
1099   unsigned int now;
1100
1101   now = sat_timems(0);
1102   if (!(flags & REPO_REUSE_REPODATA))
1103     data = repo_add_repodata(repo, 0);
1104   else
1105     data = repo_last_repodata(repo);
1106
1107   memset(&pd, 0, sizeof(pd));
1108   for (i = 0, sw = stateswitches; sw->from != NUMSTATES; i++, sw++)
1109     {
1110       if (!pd.swtab[sw->from])
1111         pd.swtab[sw->from] = sw;
1112       pd.sbtab[sw->to] = sw->from;
1113     }
1114   pd.common.pool = pool;
1115   pd.common.repo = repo;
1116
1117   pd.data = data;
1118
1119   pd.content = sat_malloc(256);
1120   pd.acontent = 256;
1121   pd.lcontent = 0;
1122   pd.common.tmp = 0;
1123   pd.common.tmpl = 0;
1124   pd.kind = 0;
1125   pd.language = language;
1126
1127   /* initialize the string pool where we will store
1128      the package checksums we know about, to get an Id
1129      we can use in a cache */
1130   stringpool_init_empty(&pd.cspool);
1131
1132   XML_Parser parser = XML_ParserCreate(NULL);
1133   XML_SetUserData(parser, &pd);
1134   pd.parser = &parser;
1135   XML_SetElementHandler(parser, startElement, endElement);
1136   XML_SetCharacterDataHandler(parser, characterData);
1137   for (;;)
1138     {
1139       l = fread(buf, 1, sizeof(buf), fp);
1140       if (XML_Parse(parser, buf, l, l == 0) == XML_STATUS_ERROR)
1141         {
1142           pool_debug(pool, SAT_FATAL, "repo_rpmmd: %s at line %u:%u\n", XML_ErrorString(XML_GetErrorCode(parser)), (unsigned int)XML_GetCurrentLineNumber(parser), (unsigned int)XML_GetCurrentColumnNumber(parser));
1143           exit(1);
1144         }
1145       if (l == 0)
1146         break;
1147     }
1148   XML_ParserFree(parser);
1149   sat_free(pd.content);
1150   join_freemem();
1151   stringpool_free(&pd.cspool);
1152   sat_free(pd.cscache);
1153   if (!(flags & REPO_NO_INTERNALIZE))
1154     repodata_internalize(data);
1155   POOL_DEBUG(SAT_DEBUG_STATS, "repo_add_rpmmd took %d ms\n", sat_timems(now));
1156   POOL_DEBUG(SAT_DEBUG_STATS, "repo size: %d solvables\n", repo->nsolvables);
1157   POOL_DEBUG(SAT_DEBUG_STATS, "repo memory used: %d K incore, %d K idarray\n", data->incoredatalen/1024, repo->idarraysize / (int)(1024/sizeof(Id)));
1158 }