ext/repo_susetags.c

   1 /*
   2  * Copyright (c) 2007, Novell Inc.
   3  *
   4  * This program is licensed under the BSD license, read LICENSE.BSD
   5  * for further information
   6  */
   7
   8 #include <sys/types.h>
   9 #include <limits.h>
  10 #include <fcntl.h>
  11 #include <stdio.h>
  12 #include <stdlib.h>
  13 #include <string.h>
  14
  15 #include "pool.h"
  16 #include "repo.h"
  17 #include "hash.h"
  18 #include "tools_util.h"
  19 #include "repo_susetags.h"
  20
  21 struct datashare {
  22   Id name;
  23   Id evr;
  24   Id arch;
  25 };
  26 struct parsedata {
  27   char *kind;
  28   Repo *repo;
  29   Repodata *data;
  30   int flags;
  31   struct parsedata_common common;
  32   int last_found_source;
  33   struct datashare *share_with;
  34   int nshare;
  35   Id (*dirs)[3]; // dirid, size, nfiles
  36   int ndirs;
  37   Id langcache[ID_NUM_INTERNAL];
  38   int lineno;
  39 };
  40
  41 static char *flagtab[] = {
  42   ">",
  43   "=",
  44   ">=",
  45   "<",
  46   "!=",
  47   "<="
  48 };
  49
  50
  51 static Id
  52 langtag(struct parsedata *pd, Id tag, const char *language)
  53 {
  54   if (language && !language[0])
  55     language = 0;
  56   if (!language || tag >= ID_NUM_INTERNAL)
  57     return pool_id2langid(pd->repo->pool, tag, language, 1);
  58   return pool_id2langid(pd->repo->pool, tag, language, 1);
  59   if (!pd->langcache[tag])
  60     pd->langcache[tag] = pool_id2langid(pd->repo->pool, tag, language, 1);
  61   return pd->langcache[tag];
  62 }
  63
  64 /*
  65  * adddep
  66  * create and add dependency
  67  */
  68
  69 static unsigned int
  70 adddep(Pool *pool, struct parsedata *pd, unsigned int olddeps, char *line, Id marker, char *kind)
  71 {
  72   int i, flags;
  73   Id id, evrid;
  74   char *sp[4];
  75
  76   if (line[6] == '/')
  77     {
  78       /* A file dependency. Do not try to parse it */
  79       id = str2id(pool, line + 6, 1);
  80     }
  81   else
  82     {
  83       i = split(line + 6, sp, 4); /* name, <op>, evr, ? */
  84       if (i != 1 && i != 3) /* expect either 'name' or 'name' <op> 'evr' */
  85         {
  86           pool_debug(pool, SAT_FATAL, "susetags: bad dependency line: %d: %s\n", pd->lineno, line);
  87           exit(1);
  88         }
  89       if (kind)
  90         id = str2id(pool, join2(kind, ":", sp[0]), 1);
  91       else
  92         id = str2id(pool, sp[0], 1);
  93       if (i == 3)
  94         {
  95           evrid = makeevr(pool, sp[2]);
  96           for (flags = 0; flags < 6; flags++)
  97             if (!strcmp(sp[1], flagtab[flags]))
  98               break;
  99           if (flags == 6)
 100             {
 101               pool_debug(pool, SAT_FATAL, "susetags: unknown relation in %d: '%s'\n", pd->lineno, sp[1]);
 102               exit(1);
 103             }
 104           id = rel2id(pool, id, evrid, flags + 1, 1);
 105         }
 106     }
 107   return repo_addid_dep(pd->repo, olddeps, id, marker);
 108 }
 109
 110
 111 /*
 112  * add_source
 113  *
 114  */
 115
 116 static void
 117 add_source(struct parsedata *pd, char *line, Solvable *s, Id handle)
 118 {
 119   Repo *repo = s->repo;
 120   Pool *pool = repo->pool;
 121   char *sp[5];
 122
 123   if (split(line, sp, 5) != 4)
 124     {
 125       pool_debug(pool, SAT_FATAL, "susetags: bad source line: %d: %s\n", pd->lineno, line);
 126       exit(1);
 127     }
 128
 129   Id name = str2id(pool, sp[0], 1);
 130   Id evr = makeevr(pool, join2(sp[1], "-", sp[2]));
 131   Id arch = str2id(pool, sp[3], 1);
 132   /* XXX: could record a dep here, depends on where we want to store the data */
 133   if (name == s->name)
 134     repodata_set_void(pd->data, handle, SOLVABLE_SOURCENAME);
 135   else
 136     repodata_set_id(pd->data, handle, SOLVABLE_SOURCENAME, name);
 137   if (evr == s->evr)
 138     repodata_set_void(pd->data, handle, SOLVABLE_SOURCEEVR);
 139   else
 140     repodata_set_id(pd->data, handle, SOLVABLE_SOURCEEVR, evr);
 141   repodata_set_constantid(pd->data, handle, SOLVABLE_SOURCEARCH, arch);
 142 }
 143
 144 /*
 145  * add_dirline
 146  * add a line with directory information
 147  *
 148  */
 149
 150 static void
 151 add_dirline(struct parsedata *pd, char *line)
 152 {
 153   char *sp[6];
 154   if (split(line, sp, 6) != 5)
 155     return;
 156   pd->dirs = sat_extend(pd->dirs, pd->ndirs, 1, sizeof(pd->dirs[0]), 31);
 157   long filesz = strtol(sp[1], 0, 0);
 158   filesz += strtol(sp[2], 0, 0);
 159   long filenum = strtol(sp[3], 0, 0);
 160   filenum += strtol(sp[4], 0, 0);
 161   /* hack: we know that there's room for a / */
 162   if (*sp[0] != '/')
 163     *--sp[0] = '/';
 164   unsigned dirid = repodata_str2dir(pd->data, sp[0], 1);
 165 #if 0
 166 fprintf(stderr, "%s -> %d\n", sp[0], dirid);
 167 #endif
 168   pd->dirs[pd->ndirs][0] = dirid;
 169   pd->dirs[pd->ndirs][1] = filesz;
 170   pd->dirs[pd->ndirs][2] = filenum;
 171   pd->ndirs++;
 172 }
 173
 174 static void
 175 set_checksum(struct parsedata *pd, Repodata *data, Id handle, Id keyname, char *line)
 176 {
 177   char *sp[3];
 178   int l;
 179   Id type;
 180   if (split(line, sp, 3) != 2)
 181     {
 182       pool_debug(pd->repo->pool, SAT_FATAL, "susetags: bad checksum line: %d: %s\n", pd->lineno, line);
 183       exit(1);
 184     }
 185   if (!strcasecmp(sp[0], "sha1"))
 186     l = SIZEOF_SHA1 * 2, type = REPOKEY_TYPE_SHA1;
 187   else if (!strcasecmp(sp[0], "sha256"))
 188     l = SIZEOF_SHA256 * 2, type = REPOKEY_TYPE_SHA256;
 189   else if (!strcasecmp(sp[0], "md5"))
 190     l = SIZEOF_MD5 * 2, type = REPOKEY_TYPE_MD5;
 191   else
 192     {
 193       pool_debug(pd->repo->pool, SAT_FATAL, "susetags: unknown checksum type: %d: %s\n", pd->lineno, sp[0]);
 194       exit(1);
 195     }
 196   if (strlen(sp[1]) != l)
 197     {
 198       pool_debug(pd->repo->pool, SAT_FATAL, "susetags: bad checksum length: %d: for %s: %s\n", pd->lineno, sp[0], sp[1]);
 199       exit(1);
 200     }
 201   repodata_set_checksum(data, handle, keyname, type, sp[1]);
 202 }
 203
 204 /*
 205  * id3_cmp
 206  * compare
 207  *
 208  */
 209
 210 static int
 211 id3_cmp(const void *v1, const void *v2, void *dp)
 212 {
 213   Id *i1 = (Id*)v1;
 214   Id *i2 = (Id*)v2;
 215   return i1[0] - i2[0];
 216 }
 217
 218
 219 /*
 220  * commit_diskusage
 221  *
 222  */
 223
 224 static void
 225 commit_diskusage(struct parsedata *pd, Id handle)
 226 {
 227   unsigned i;
 228   Dirpool *dp = &pd->data->dirpool;
 229   /* Now sort in dirid order.  This ensures that parents come before
 230      their children.  */
 231   if (pd->ndirs > 1)
 232     sat_sort(pd->dirs, pd->ndirs, sizeof(pd->dirs[0]), id3_cmp, 0);
 233   /* Substract leaf numbers from all parents to make the numbers
 234      non-cumulative.  This must be done post-order (i.e. all leafs
 235      adjusted before parents).  We ensure this by starting at the end of
 236      the array moving to the start, hence seeing leafs before parents.  */
 237   for (i = pd->ndirs; i--;)
 238     {
 239       unsigned p = dirpool_parent(dp, pd->dirs[i][0]);
 240       unsigned j = i;
 241       for (; p; p = dirpool_parent(dp, p))
 242         {
 243           for (; j--;)
 244             if (pd->dirs[j][0] == p)
 245               break;
 246           if (j < pd->ndirs)
 247             {
 248               if (pd->dirs[j][1] < pd->dirs[i][1])
 249                 pd->dirs[j][1] = 0;
 250               else
 251                 pd->dirs[j][1] -= pd->dirs[i][1];
 252               if (pd->dirs[j][2] < pd->dirs[i][2])
 253                 pd->dirs[j][2] = 0;
 254               else
 255                 pd->dirs[j][2] -= pd->dirs[i][2];
 256             }
 257           else
 258             /* Haven't found this parent in the list, look further if
 259                we maybe find the parents parent.  */
 260             j = i;
 261         }
 262     }
 263 #if 0
 264   char sbuf[1024];
 265   char *buf = sbuf;
 266   unsigned slen = sizeof(sbuf);
 267   for (i = 0; i < pd->ndirs; i++)
 268     {
 269       dir2str(attr, pd->dirs[i][0], &buf, &slen);
 270       fprintf(stderr, "have dir %d %d %d %s\n", pd->dirs[i][0], pd->dirs[i][1], pd->dirs[i][2], buf);
 271     }
 272   if (buf != sbuf)
 273     free (buf);
 274 #endif
 275   for (i = 0; i < pd->ndirs; i++)
 276     if (pd->dirs[i][1] || pd->dirs[i][2])
 277       {
 278         repodata_add_dirnumnum(pd->data, handle, SOLVABLE_DISKUSAGE, pd->dirs[i][0], pd->dirs[i][1], pd->dirs[i][2]);
 279       }
 280   pd->ndirs = 0;
 281 }
 282
 283
 284 /* Unfortunately "a"[0] is no constant expression in the C languages,
 285    so we need to pass the four characters individually :-/  */
 286 #define CTAG(a,b,c,d) ((unsigned)(((unsigned char)a) << 24) \
 287  | ((unsigned char)b << 16) \
 288  | ((unsigned char)c << 8) \
 289  | ((unsigned char)d))
 290
 291 /*
 292  * tag_from_string
 293  *
 294  */
 295
 296 static inline unsigned
 297 tag_from_string(char *cs)
 298 {
 299   unsigned char *s = (unsigned char *)cs;
 300   return ((s[0] << 24) | (s[1] << 16) | (s[2] << 8) | s[3]);
 301 }
 302
 303
 304 /*
 305  * repo_add_susetags
 306  * Parse susetags file passed in fp, fill solvables into repo
 307  *
 308  * susetags is key,value based
 309  *  for short values
 310  *    =key: value
 311  *  is used
 312  *  for long (multi-line) values,
 313  *    +key:
 314  *    value
 315  *    value
 316  *    -key:
 317  *  is used
 318  *
 319  * See http://en.opensuse.org/Standards/YaST2_Repository_Metadata
 320  * and http://en.opensuse.org/Standards/YaST2_Repository_Metadata/packages
 321  * and http://en.opensuse.org/Standards/YaST2_Repository_Metadata/pattern
 322  *
 323  * Assumptions:
 324  *   All keys have 3 characters and end in ':'
 325  */
 326
 327 static void
 328 finish_solvable(struct parsedata *pd, Solvable *s, Id handle, Offset freshens)
 329 {
 330   Pool *pool = pd->repo->pool;
 331
 332 #if 1
 333   /* move file provides to filelist */
 334   /* relies on the fact that rpm inserts self-provides at the end */
 335   if (s->provides && (pd->flags & REPO_EXTEND_SOLVABLES) == 0)
 336     {
 337       Id *p, *lastreal, did;
 338       const char *str, *sp;
 339       lastreal = pd->repo->idarraydata + s->provides;
 340       for (p = lastreal; *p; p++)
 341         if (ISRELDEP(*p))
 342           lastreal = p + 1;
 343       for (p = lastreal; *p; p++)
 344         {
 345           str = id2str(pool, *p);
 346           if (*str != '/')
 347             lastreal = p + 1;
 348         }
 349       if (*lastreal)
 350         {
 351           for (p = lastreal; *p; p++)
 352             {
 353               char fname_buf[128];
 354               const char *fname;
 355               str = id2str(pool, *p);
 356               sp = strrchr(str, '/');
 357               /* Need to copy filename now, before we add string that could
 358                  realloc the stringspace (and hence invalidate str).  */
 359               fname = sp + 1;
 360               if (strlen(fname) >= 128)
 361                 fname = strdup(fname);
 362               else
 363                 {
 364                   memcpy(fname_buf, fname, strlen(fname) + 1);
 365                   fname = fname_buf;
 366                 }
 367               if (sp - str >= 128)
 368                 {
 369                   char *sdup = strdup(str);
 370                   sdup[sp - str] = 0;
 371                   did = repodata_str2dir(pd->data, sdup, 1);
 372                   free(sdup);
 373                 }
 374               else
 375                 {
 376                   char sdup[128];
 377                   strncpy(sdup, str, sp - str);
 378                   sdup[sp - str] = 0;
 379                   did = repodata_str2dir(pd->data, sdup, 1);
 380                 }
 381               if (!did)
 382                 did = repodata_str2dir(pd->data, "/", 1);
 383               repodata_add_dirstr(pd->data, handle, SOLVABLE_FILELIST, did, fname);
 384               if (fname != fname_buf)
 385                 free((char*)fname);
 386               *p = 0;
 387             }
 388         }
 389     }
 390 #endif
 391   /* A self provide, except for source packages.  This is harmless
 392      to do twice (in case we see the same package twice).  */
 393   if (s->name && s->arch != ARCH_SRC && s->arch != ARCH_NOSRC)
 394     s->provides = repo_addid_dep(pd->repo, s->provides,
 395                 rel2id(pool, s->name, s->evr, REL_EQ, 1), 0);
 396   /* XXX This uses repo_addid_dep internally, so should also be
 397      harmless to do twice.  */
 398   s->supplements = repo_fix_supplements(pd->repo, s->provides, s->supplements, freshens);
 399   s->conflicts = repo_fix_conflicts(pd->repo, s->conflicts);
 400   if (pd->ndirs)
 401     commit_diskusage(pd, handle);
 402 }
 403
 404 static Hashtable
 405 joinhash_init(Repo *repo, Hashmask *hmp)
 406 {
 407   Hashmask hm = mkmask(repo->nsolvables);
 408   Hashtable ht = sat_calloc(hm + 1, sizeof(*ht));
 409   Hashval h, hh;
 410   Solvable *s;
 411   int i;
 412
 413   FOR_REPO_SOLVABLES(repo, i, s)
 414     {
 415       hh = HASHCHAIN_START;
 416       h = s->name & hm;
 417       while (ht[h])
 418         h = HASHCHAIN_NEXT(h, hh, hm);
 419       ht[h] = i;
 420     }
 421   *hmp = hm;
 422   return ht;
 423 }
 424
 425 static Solvable *
 426 joinhash_lookup(Repo *repo, Hashtable ht, Hashmask hm, Id name, Id evr, Id arch)
 427 {
 428   Hashval h, hh;
 429
 430   if (!name || !arch || !evr)
 431     return 0;
 432   hh = HASHCHAIN_START;
 433   h = name & hm;
 434   while (ht[h])
 435     {
 436       Solvable *s = repo->pool->solvables + ht[h];
 437       if (s->name == name && s->evr == evr && s->arch == arch)
 438         return s;
 439       h = HASHCHAIN_NEXT(h, hh, hm);
 440     }
 441   return 0;
 442 }
 443
 444 static Id
 445 lookup_shared_id(Repodata *data, Id p, Id keyname, Id voidid, int uninternalized)
 446 {
 447   Id r;
 448   r = repodata_lookup_type(data, p, keyname);
 449   if (r)
 450     {
 451       if (r == REPOKEY_TYPE_VOID)
 452         return voidid;
 453       r = repodata_lookup_id(data, p, keyname);
 454       if (r)
 455         return r;
 456     }
 457   if (uninternalized && data->attrs)
 458     {
 459       Id *ap = data->attrs[p - data->start];
 460       if (ap)
 461         {
 462           for (; *ap; ap += 2)
 463             {
 464               if (data->keys[*ap].name != keyname)
 465                 continue;
 466               if (data->keys[*ap].type == REPOKEY_TYPE_VOID)
 467                 return voidid;
 468               if (data->keys[*ap].type == REPOKEY_TYPE_ID)
 469                 return ap[1];
 470             }
 471         }
 472     }
 473   return 0;
 474 }
 475
 476 /*
 477  * parse susetags
 478  *
 479  * fp: file to read from
 480  * defvendor: default vendor (0 if none)
 481  * language: current language (0 if none)
 482  * flags: flags
 483  */
 484
 485 void
 486 repo_add_susetags(Repo *repo, FILE *fp, Id defvendor, const char *language, int flags)
 487 {
 488   Pool *pool = repo->pool;
 489   char *line, *linep;
 490   int aline;
 491   Solvable *s;
 492   Offset freshens;
 493   int intag = 0;
 494   int cummulate = 0;
 495   int indesc = 0;
 496   int last_found_pack = 0;
 497   char *sp[5];
 498   struct parsedata pd;
 499   Repodata *data = 0;
 500   Id handle = 0;
 501   Hashtable joinhash = 0;
 502   Hashmask joinhashm = 0;
 503   int createdpkgs = 0;
 504
 505   if ((flags & (SUSETAGS_EXTEND|REPO_EXTEND_SOLVABLES)) != 0 && repo->nrepodata)
 506     {
 507       joinhash = joinhash_init(repo, &joinhashm);
 508       indesc = 1;
 509     }
 510
 511   data = repo_add_repodata(repo, flags);
 512
 513   memset(&pd, 0, sizeof(pd));
 514   line = malloc(1024);
 515   aline = 1024;
 516
 517   pd.repo = pd.common.repo = repo;
 518   pd.data = data;
 519   pd.common.pool = pool;
 520   pd.flags = flags;
 521
 522   linep = line;
 523   s = 0;
 524   freshens = 0;
 525
 526   /* if this is a join setup the recorded share data */
 527   if (joinhash)
 528     {
 529       Repodata *sdata;
 530       int i;
 531       for (i = 0, sdata = repo->repodata; i < repo->nrepodata; i++, sdata++)
 532         {
 533           int p;
 534           if (!repodata_has_keyname(sdata, SUSETAGS_SHARE_NAME))
 535             continue;
 536           for (p = sdata->start; p < sdata->end; p++)
 537             {
 538               Id name, evr, arch;
 539               name = lookup_shared_id(sdata, p, SUSETAGS_SHARE_NAME, pool->solvables[p].name, sdata == data);
 540               if (!name)
 541                 continue;
 542               evr = lookup_shared_id(sdata, p, SUSETAGS_SHARE_EVR, pool->solvables[p].evr, sdata == data);
 543               if (!evr)
 544                 continue;
 545               arch = lookup_shared_id(sdata, p, SUSETAGS_SHARE_ARCH, pool->solvables[p].arch, sdata == data);
 546               if (!arch)
 547                 continue;
 548               if (p - repo->start >= pd.nshare)
 549                 {
 550                   pd.share_with = sat_realloc2(pd.share_with, p - repo->start + 256, sizeof(*pd.share_with));
 551                   memset(pd.share_with + pd.nshare, 0, (p - repo->start + 256 - pd.nshare) * sizeof(*pd.share_with));
 552                   pd.nshare = p - repo->start + 256;
 553                 }
 554               pd.share_with[p - repo->start].name = name;
 555               pd.share_with[p - repo->start].evr = evr;
 556               pd.share_with[p - repo->start].arch = arch;
 557             }
 558         }
 559     }
 560
 561   /*
 562    * read complete file
 563    *
 564    * collect values in 'struct parsedata pd'
 565    * then build .solv (and .attr) file
 566    */
 567
 568   for (;;)
 569     {
 570       unsigned tag;
 571       char *olinep; /* old line pointer */
 572       char line_lang[6];
 573       int keylen = 3;
 574       if (linep - line + 16 > aline)              /* (re-)alloc buffer */
 575         {
 576           aline = linep - line;
 577           line = realloc(line, aline + 512);
 578           linep = line + aline;
 579           aline += 512;
 580         }
 581       if (!fgets(linep, aline - (linep - line), fp)) /* read line */
 582         break;
 583       olinep = linep;
 584       linep += strlen(linep);
 585       if (linep == line || linep[-1] != '\n')
 586         continue;
 587       pd.lineno++;
 588       *--linep = 0;
 589       if (linep == olinep)
 590         continue;
 591
 592       if (intag)
 593         {
 594           /* check for multi-line value tags (+Key:/-Key:) */
 595
 596           int is_end = (linep[-intag - keylen + 1] == '-')
 597                       && (linep[-1] == ':')
 598                       && (linep == line + 1 + intag + 1 + 1 + 1 + intag + 1 || linep[-intag - keylen] == '\n');
 599           if (is_end
 600               && strncmp(linep - 1 - intag, line + 1, intag))
 601             {
 602               pool_debug(pool, SAT_ERROR, "susetags: Nonmatching multi-line tags: %d: '%s' '%s' %d\n", pd.lineno, linep - 1 - intag, line + 1, intag);
 603             }
 604           if (cummulate && !is_end)
 605             {
 606               *linep++ = '\n';
 607               continue;
 608             }
 609           if (cummulate && is_end)
 610             {
 611               linep[-intag - keylen + 1] = 0;
 612               if (linep[-intag - keylen] == '\n')
 613                 linep[-intag - keylen] = 0;
 614               linep = line;
 615               intag = 0;
 616             }
 617           if (!cummulate && is_end)
 618             {
 619               intag = 0;
 620               linep = line;
 621               continue;
 622             }
 623           if (!cummulate && !is_end)
 624             linep = line + intag + keylen;
 625         }
 626       else
 627         linep = line;
 628
 629       if (!intag && line[0] == '+' && line[1] && line[1] != ':') /* start of +Key:/-Key: tag */
 630         {
 631           char *tagend = strchr(line, ':');
 632           if (!tagend)
 633             {
 634               pool_debug(pool, SAT_FATAL, "susetags: bad line: %d: %s\n", pd.lineno, line);
 635               exit(1);
 636             }
 637           intag = tagend - (line + 1);
 638           cummulate = 0;
 639           switch (tag_from_string(line))       /* check if accumulation is needed */
 640             {
 641               case CTAG('+', 'D', 'e', 's'):
 642               case CTAG('+', 'E', 'u', 'l'):
 643               case CTAG('+', 'I', 'n', 's'):
 644               case CTAG('+', 'D', 'e', 'l'):
 645               case CTAG('+', 'A', 'u', 't'):
 646                 if (line[4] == ':')
 647                   cummulate = 1;
 648                 break;
 649               default:
 650                 break;
 651             }
 652           line[0] = '=';                       /* handle lines between +Key:/-Key: as =Key: */
 653           line[intag + keylen - 1] = ' ';
 654           linep = line + intag + keylen;
 655           continue;
 656         }
 657       if (*line == '#' || !*line)
 658         continue;
 659       if (! (line[0] && line[1] && line[2] && line[3] && (line[4] == ':' || line[4] == '.')))
 660         continue;
 661       if (line[4] == '.')
 662         {
 663           char *endlang;
 664           endlang = strchr(line + 5, ':');
 665           if (endlang)
 666             {
 667               keylen = endlang - line - 1;
 668               strncpy(line_lang, line + 5, 5);
 669               line_lang[endlang - line - 5] = 0;
 670             }
 671         }
 672       else
 673         line_lang[0] = 0;
 674       tag = tag_from_string(line);
 675
 676
 677       /*
 678        * start of (next) package or pattern
 679        *
 680        * =Pkg: <name> <version> <release> <architecture>
 681        * (=Pat: ...)
 682        */
 683
 684       if ((tag == CTAG('=', 'P', 'k', 'g')
 685            || tag == CTAG('=', 'P', 'a', 't')))
 686         {
 687           /* If we have an old solvable, complete it by filling in some
 688              default stuff.  */
 689           if (s)
 690             finish_solvable(&pd, s, handle, freshens);
 691
 692           /*
 693            * define kind
 694            */
 695
 696           pd.kind = 0;
 697           if (line[3] == 't')
 698             pd.kind = "pattern";
 699
 700           /*
 701            * parse nevra
 702            */
 703
 704           if (split(line + 5, sp, 5) != 4)
 705             {
 706               pool_debug(pool, SAT_FATAL, "susetags: bad line: %d: %s\n", pd.lineno, line);
 707               exit(1);
 708             }
 709           s = 0;
 710           freshens = 0;
 711
 712           if (joinhash)
 713             {
 714               /* data join operation. find solvable matching name/arch/evr and
 715                * add data to it */
 716               Id name, evr, arch;
 717               /* we don't use the create flag here as a simple pre-check for existance */
 718               if (pd.kind)
 719                 name = str2id(pool, join2(pd.kind, ":", sp[0]), 0);
 720               else
 721                 name = str2id(pool, sp[0], 0);
 722               evr = makeevr(pool, join2(sp[1], "-", sp[2]));
 723               arch = str2id(pool, sp[3], 0);
 724               if (name && arch)
 725                 {
 726                   if (repo->start + last_found_pack + 1 < repo->end)
 727                     {
 728                       s = pool->solvables + repo->start + last_found_pack + 1;
 729                       if (s->repo != repo || s->name != name || s->evr != evr || s->arch != arch)
 730                         s = 0;
 731                     }
 732                   if (!s)
 733                     s = joinhash_lookup(repo, joinhash, joinhashm, name, evr, arch);
 734                 }
 735               if (!s && (flags & REPO_EXTEND_SOLVABLES) != 0)
 736                 continue;
 737               /* fallthrough to package creation */
 738             }
 739           if (!s)
 740             {
 741               /* normal operation. create a new solvable. */
 742               s = pool_id2solvable(pool, repo_add_solvable(repo));
 743               if (pd.kind)
 744                 s->name = str2id(pool, join2(pd.kind, ":", sp[0]), 1);
 745               else
 746                 s->name = str2id(pool, sp[0], 1);
 747               s->evr = makeevr(pool, join2(sp[1], "-", sp[2]));
 748               s->arch = str2id(pool, sp[3], 1);
 749               s->vendor = defvendor;
 750               createdpkgs = 1;
 751             }
 752           last_found_pack = (s - pool->solvables) - repo->start;
 753           if (data)
 754             handle = s - pool->solvables;
 755         }
 756
 757       /* If we have no current solvable to add to, ignore all further lines
 758          for it.  Probably invalid input data in the second set of
 759          solvables.  */
 760       if (indesc >= 2 && !s)
 761         {
 762 #if 0
 763           pool_debug(pool, SAT_ERROR, "susetags: huh %d: %s?\n", pd.lineno, line);
 764 #endif
 765           continue;
 766         }
 767       switch (tag)
 768         {
 769           case CTAG('=', 'P', 'r', 'v'):                                        /* provides */
 770             s->provides = adddep(pool, &pd, s->provides, line, 0, pd.kind);
 771             continue;
 772           case CTAG('=', 'R', 'e', 'q'):                                        /* requires */
 773             s->requires = adddep(pool, &pd, s->requires, line, -SOLVABLE_PREREQMARKER, pd.kind);
 774             continue;
 775           case CTAG('=', 'P', 'r', 'q'):                                        /* pre-requires / packages required */
 776             if (pd.kind)
 777               {
 778                 s->requires = adddep(pool, &pd, s->requires, line, 0, 0);           /* patterns: a required package */
 779               }
 780             else
 781               s->requires = adddep(pool, &pd, s->requires, line, SOLVABLE_PREREQMARKER, 0); /* package: pre-requires */
 782             continue;
 783           case CTAG('=', 'O', 'b', 's'):                                        /* obsoletes */
 784             s->obsoletes = adddep(pool, &pd, s->obsoletes, line, 0, pd.kind);
 785             continue;
 786           case CTAG('=', 'C', 'o', 'n'):                                        /* conflicts */
 787             s->conflicts = adddep(pool, &pd, s->conflicts, line, 0, pd.kind);
 788             continue;
 789           case CTAG('=', 'R', 'e', 'c'):                                        /* recommends */
 790             s->recommends = adddep(pool, &pd, s->recommends, line, 0, pd.kind);
 791             continue;
 792           case CTAG('=', 'S', 'u', 'p'):                                        /* supplements */
 793             s->supplements = adddep(pool, &pd, s->supplements, line, 0, pd.kind);
 794             continue;
 795           case CTAG('=', 'E', 'n', 'h'):                                        /* enhances */
 796             s->enhances = adddep(pool, &pd, s->enhances, line, 0, pd.kind);
 797             continue;
 798           case CTAG('=', 'S', 'u', 'g'):                                        /* suggests */
 799             s->suggests = adddep(pool, &pd, s->suggests, line, 0, pd.kind);
 800             continue;
 801           case CTAG('=', 'F', 'r', 'e'):                                        /* freshens */
 802             freshens = adddep(pool, &pd, freshens, line, 0, pd.kind);
 803             continue;
 804           case CTAG('=', 'P', 'r', 'c'):                                        /* packages recommended */
 805             s->recommends = adddep(pool, &pd, s->recommends, line, 0, 0);
 806             continue;
 807           case CTAG('=', 'P', 's', 'g'):                                        /* packages suggested */
 808             s->suggests = adddep(pool, &pd, s->suggests, line, 0, 0);
 809             continue;
 810           case CTAG('=', 'P', 'c', 'n'):                                        /* pattern: package conflicts */
 811             s->conflicts = adddep(pool, &pd, s->conflicts, line, 0, 0);
 812             continue;
 813           case CTAG('=', 'P', 'o', 'b'):                                        /* pattern: package obsoletes */
 814             s->obsoletes = adddep(pool, &pd, s->obsoletes, line, 0, 0);
 815             continue;
 816           case CTAG('=', 'P', 'f', 'r'):                                        /* pattern: package freshens */
 817             freshens = adddep(pool, &pd, freshens, line, 0, 0);
 818             continue;
 819           case CTAG('=', 'P', 's', 'p'):                                        /* pattern: package supplements */
 820             s->supplements = adddep(pool, &pd, s->supplements, line, 0, 0);
 821             continue;
 822           case CTAG('=', 'P', 'e', 'n'):                                        /* pattern: package enhances */
 823             s->enhances = adddep(pool, &pd, s->enhances, line, 0, 0);
 824             continue;
 825           case CTAG('=', 'V', 'e', 'r'):                                        /* - version - */
 826             last_found_pack = 0;
 827             handle = 0;
 828             indesc++;
 829             if (createdpkgs)
 830               {
 831                 sat_free(joinhash);
 832                 joinhash = joinhash_init(repo, &joinhashm);
 833                 createdpkgs = 0;
 834               }
 835             continue;
 836           case CTAG('=', 'V', 'n', 'd'):                                        /* vendor */
 837             s->vendor = str2id(pool, line + 6, 1);
 838             continue;
 839
 840         /* From here it's the attribute tags.  */
 841           case CTAG('=', 'G', 'r', 'p'):
 842             repodata_set_poolstr(data, handle, SOLVABLE_GROUP, line + 6);
 843             continue;
 844           case CTAG('=', 'L', 'i', 'c'):
 845             repodata_set_poolstr(data, handle, SOLVABLE_LICENSE, line + 6);
 846             continue;
 847           case CTAG('=', 'L', 'o', 'c'):
 848             {
 849               int i = split(line + 6, sp, 3);
 850               if (i != 2 && i != 3)
 851                 {
 852                   pool_debug(pool, SAT_FATAL, "susetags: bad location line: %d: %s\n", pd.lineno, line);
 853                   exit(1);
 854                 }
 855               repodata_set_location(data, handle, atoi(sp[0]), i == 3 ? sp[2] : id2str(pool, s->arch), sp[1]);
 856             }
 857             continue;
 858           case CTAG('=', 'S', 'r', 'c'):
 859             add_source(&pd, line + 6, s, handle);
 860             continue;
 861           case CTAG('=', 'S', 'i', 'z'):
 862             if (split(line + 6, sp, 3) == 2)
 863               {
 864                 repodata_set_num(data, handle, SOLVABLE_DOWNLOADSIZE, (unsigned int)(atoi(sp[0]) + 1023) / 1024);
 865                 repodata_set_num(data, handle, SOLVABLE_INSTALLSIZE, (unsigned int)(atoi(sp[1]) + 1023) / 1024);
 866               }
 867             continue;
 868           case CTAG('=', 'T', 'i', 'm'):
 869             {
 870               unsigned int t = atoi(line + 6);
 871               if (t)
 872                 repodata_set_num(data, handle, SOLVABLE_BUILDTIME, t);
 873             }
 874             continue;
 875           case CTAG('=', 'K', 'w', 'd'):
 876             repodata_add_poolstr_array(data, handle, SOLVABLE_KEYWORDS, line + 6);
 877             continue;
 878           case CTAG('=', 'A', 'u', 't'):
 879             repodata_set_str(data, handle, SOLVABLE_AUTHORS, line + 6);
 880             continue;
 881           case CTAG('=', 'S', 'u', 'm'):
 882             repodata_set_str(data, handle, langtag(&pd, SOLVABLE_SUMMARY, language ? language : line_lang), line + 3 + keylen );
 883             continue;
 884           case CTAG('=', 'D', 'e', 's'):
 885             repodata_set_str(data, handle, langtag(&pd, SOLVABLE_DESCRIPTION, language ? language : line_lang), line + 3 + keylen );
 886             continue;
 887           case CTAG('=', 'E', 'u', 'l'):
 888             repodata_set_str(data, handle, langtag(&pd, SOLVABLE_EULA, language), line + 6);
 889             continue;
 890           case CTAG('=', 'I', 'n', 's'):
 891             repodata_set_str(data, handle, langtag(&pd, SOLVABLE_MESSAGEINS, language), line + 6);
 892             continue;
 893           case CTAG('=', 'D', 'e', 'l'):
 894             repodata_set_str(data, handle, langtag(&pd, SOLVABLE_MESSAGEDEL, language), line + 6);
 895             continue;
 896           case CTAG('=', 'V', 'i', 's'):
 897             {
 898               /* Accept numbers and textual bools.  */
 899               unsigned k;
 900               k = atoi(line + 6);
 901               if (k || !strcasecmp(line + 6, "true"))
 902                 repodata_set_void(data, handle, SOLVABLE_ISVISIBLE );
 903             }
 904             continue;
 905           case CTAG('=', 'S', 'h', 'r'):
 906             {
 907               Id name, evr, arch;
 908               if (split(line + 6, sp, 5) != 4)
 909                 {
 910                   pool_debug(pool, SAT_FATAL, "susetags: bad =Shr line: %s\n", line + 6);
 911                   exit(1);
 912                 }
 913               name = str2id(pool, sp[0], 1);
 914               evr = makeevr(pool, join2(sp[1], "-", sp[2]));
 915               arch = str2id(pool, sp[3], 1);
 916               if (last_found_pack >= pd.nshare)
 917                 {
 918                   pd.share_with = sat_realloc2(pd.share_with, last_found_pack + 256, sizeof(*pd.share_with));
 919                   memset(pd.share_with + pd.nshare, 0, (last_found_pack + 256 - pd.nshare) * sizeof(*pd.share_with));
 920                   pd.nshare = last_found_pack + 256;
 921                 }
 922               pd.share_with[last_found_pack].name = name;
 923               pd.share_with[last_found_pack].evr = evr;
 924               pd.share_with[last_found_pack].arch = arch;
 925               if ((flags & SUSETAGS_RECORD_SHARES) != 0)
 926                 {
 927                   if (s->name == name)
 928                     repodata_set_void(data, handle, SUSETAGS_SHARE_NAME);
 929                   else
 930                     repodata_set_id(data, handle, SUSETAGS_SHARE_NAME, name);
 931                   if (s->evr == evr)
 932                     repodata_set_void(data, handle, SUSETAGS_SHARE_EVR);
 933                   else
 934                     repodata_set_id(data, handle, SUSETAGS_SHARE_EVR, evr);
 935                   if (s->arch == arch)
 936                     repodata_set_void(data, handle, SUSETAGS_SHARE_ARCH);
 937                   else
 938                     repodata_set_id(data, handle, SUSETAGS_SHARE_ARCH, arch);
 939                 }
 940               continue;
 941             }
 942           case CTAG('=', 'D', 'i', 'r'):
 943             add_dirline(&pd, line + 6);
 944             continue;
 945           case CTAG('=', 'C', 'a', 't'):
 946             repodata_set_poolstr(data, handle, langtag(&pd, SOLVABLE_CATEGORY, line_lang), line + 3 + keylen);
 947             break;
 948           case CTAG('=', 'O', 'r', 'd'):
 949             /* Order is a string not a number, so we can retroactively insert
 950                new patterns in the middle, i.e. 1 < 15 < 2.  */
 951             repodata_set_str(data, handle, SOLVABLE_ORDER, line + 6);
 952             break;
 953           case CTAG('=', 'I', 'c', 'o'):
 954             repodata_set_str(data, handle, SOLVABLE_ICON, line + 6);
 955             break;
 956           case CTAG('=', 'E', 'x', 't'):
 957             repodata_add_poolstr_array(data, handle, SOLVABLE_EXTENDS, join2("pattern", ":", line + 6));
 958             break;
 959           case CTAG('=', 'I', 'n', 'c'):
 960             repodata_add_poolstr_array(data, handle, SOLVABLE_INCLUDES, join2("pattern", ":", line + 6));
 961             break;
 962           case CTAG('=', 'C', 'k', 's'):
 963             set_checksum(&pd, data, handle, SOLVABLE_CHECKSUM, line + 6);
 964             break;
 965           case CTAG('=', 'L', 'a', 'n'):
 966             language = strdup(line + 6);
 967             break;
 968
 969           case CTAG('=', 'F', 'l', 's'):
 970             {
 971               char *p = strrchr(line + 6, '/');
 972               Id did;
 973               if (p && p != line + 6 && !p[1])
 974                 {
 975                   *p = 0;
 976                   p = strrchr(line + 6, '/');
 977                 }
 978               if (p)
 979                 {
 980                   *p++ = 0;
 981                   did = repodata_str2dir(data, line + 6, 1);
 982                 }
 983               else
 984                 {
 985                   p = line + 6;
 986                   did = 0;
 987                 }
 988               if (!did)
 989                 did = repodata_str2dir(data, "/", 1);
 990               repodata_add_dirstr(data, handle, SOLVABLE_FILELIST, did, p);
 991               break;
 992             }
 993           case CTAG('=', 'H', 'd', 'r'):
 994             /* rpm header range */
 995             if (split(line + 6, sp, 3) == 2)
 996               {
 997                 /* we ignore the start value */
 998                 unsigned int end = (unsigned int)atoi(sp[1]);
 999                 if (end)
1000                   repodata_set_num(data, handle, SOLVABLE_HEADEREND, end);
1001               }
1002             break;
1003
1004           case CTAG('=', 'P', 'a', 't'):
1005           case CTAG('=', 'P', 'k', 'g'):
1006             break;
1007
1008           default:
1009             pool_debug(pool, SAT_ERROR, "susetags: unknown line: %d: %s\n", pd.lineno, line);
1010             break;
1011         }
1012
1013     } /* for(;;) */
1014
1015   if (s)
1016     finish_solvable(&pd, s, handle, freshens);
1017
1018   /* Shared attributes
1019    *  (e.g. multiple binaries built from same source)
1020    */
1021   if (pd.nshare)
1022     {
1023       int i, last_found;
1024       Map keyidmap;
1025
1026       map_init(&keyidmap, data->nkeys);
1027       for (i = 1; i < data->nkeys; i++)
1028         {
1029           Id keyname = data->keys[i].name;
1030           if (keyname == SOLVABLE_INSTALLSIZE || keyname == SOLVABLE_DISKUSAGE || keyname == SOLVABLE_FILELIST)
1031             continue;
1032           if (keyname == SOLVABLE_MEDIADIR || keyname == SOLVABLE_MEDIAFILE || keyname == SOLVABLE_MEDIANR)
1033             continue;
1034           if (keyname == SOLVABLE_DOWNLOADSIZE || keyname == SOLVABLE_CHECKSUM)
1035             continue;
1036           if (keyname == SOLVABLE_SOURCENAME || keyname == SOLVABLE_SOURCEARCH || keyname == SOLVABLE_SOURCEEVR)
1037             continue;
1038           if (keyname == SOLVABLE_PKGID || keyname == SOLVABLE_HDRID || keyname == SOLVABLE_LEADSIGID)
1039             continue;
1040           if (keyname == SUSETAGS_SHARE_NAME || keyname == SUSETAGS_SHARE_EVR || keyname == SUSETAGS_SHARE_ARCH)
1041             continue;
1042           MAPSET(&keyidmap, i);
1043         }
1044       last_found = 0;
1045       for (i = 0; i < pd.nshare; i++)
1046         {
1047           unsigned n, nn;
1048           Solvable *found = 0;
1049           if (!pd.share_with[i].name)
1050             continue;
1051           for (n = repo->start, nn = repo->start + last_found; n < repo->end; n++, nn++)
1052             {
1053               if (nn >= repo->end)
1054                 nn = repo->start;
1055               found = pool->solvables + nn;
1056               if (found->repo == repo
1057                   && found->name == pd.share_with[i].name
1058                   && found->evr == pd.share_with[i].evr
1059                   && found->arch == pd.share_with[i].arch)
1060                 {
1061                   last_found = nn - repo->start;
1062                   break;
1063                 }
1064             }
1065           if (n != repo->end)
1066             repodata_merge_some_attrs(data, repo->start + i, repo->start + last_found, &keyidmap, 0);
1067         }
1068       free(pd.share_with);
1069       map_free(&keyidmap);
1070     }
1071
1072   sat_free(joinhash);
1073   if (!(flags & REPO_NO_INTERNALIZE))
1074     repodata_internalize(data);
1075
1076   if (pd.common.tmp)
1077     free(pd.common.tmp);
1078   free(line);
1079   join_freemem();
1080 }