src/repo_solv.c

   1 /*
   2  * Copyright (c) 2007, Novell Inc.
   3  *
   4  * This program is licensed under the BSD license, read LICENSE.BSD
   5  * for further information
   6  */
   7
   8 /*
   9  * repo_solv.c
  10  *
  11  * Read the binary dump of a Repo and create a Repo * from it
  12  *
  13  *  See
  14  *   Repo *pool_addrepo_solv(Pool *pool, FILE *fp)
  15  * below
  16  *
  17  */
  18
  19
  20
  21 #include <stdio.h>
  22 #include <stdlib.h>
  23 #include <unistd.h>
  24 #include <string.h>
  25
  26 #include "repo_solv.h"
  27 #include "util.h"
  28
  29 #define INTERESTED_START        SOLVABLE_NAME
  30 #define INTERESTED_END          SOLVABLE_FRESHENS
  31
  32 #define SOLV_ERROR_NOT_SOLV     1
  33 #define SOLV_ERROR_UNSUPPORTED  2
  34 #define SOLV_ERROR_EOF          3
  35 #define SOLV_ERROR_ID_RANGE     4
  36 #define SOLV_ERROR_OVERFLOW     5
  37 #define SOLV_ERROR_CORRUPT      6
  38
  39 static Pool *mypool;            /* for pool_debug... */
  40
  41 /*-----------------------------------------------------------------*/
  42 /* .solv read functions */
  43
  44 /*
  45  * read u32
  46  */
  47
  48 static unsigned int
  49 read_u32(Repodata *data)
  50 {
  51   int c, i;
  52   unsigned int x = 0;
  53
  54   if (data->error)
  55     return 0;
  56   for (i = 0; i < 4; i++)
  57     {
  58       c = getc(data->fp);
  59       if (c == EOF)
  60         {
  61           pool_debug(mypool, SAT_ERROR, "unexpected EOF\n");
  62           data->error = SOLV_ERROR_EOF;
  63           return 0;
  64         }
  65       x = (x << 8) | c;
  66     }
  67   return x;
  68 }
  69
  70
  71 /*
  72  * read u8
  73  */
  74
  75 static unsigned int
  76 read_u8(Repodata *data)
  77 {
  78   int c;
  79
  80   if (data->error)
  81     return 0;
  82   c = getc(data->fp);
  83   if (c == EOF)
  84     {
  85       pool_debug(mypool, SAT_ERROR, "unexpected EOF\n");
  86       data->error = SOLV_ERROR_EOF;
  87       return 0;
  88     }
  89   return c;
  90 }
  91
  92
  93 /*
  94  * read Id
  95  */
  96
  97 static Id
  98 read_id(Repodata *data, Id max)
  99 {
 100   unsigned int x = 0;
 101   int c, i;
 102
 103   if (data->error)
 104     return 0;
 105   for (i = 0; i < 5; i++)
 106     {
 107       c = getc(data->fp);
 108       if (c == EOF)
 109         {
 110           pool_debug(mypool, SAT_ERROR, "unexpected EOF\n");
 111           data->error = SOLV_ERROR_EOF;
 112           return 0;
 113         }
 114       if (!(c & 128))
 115         {
 116           x = (x << 7) | c;
 117           if (max && x >= max)
 118             {
 119               pool_debug(mypool, SAT_ERROR, "read_id: id too large (%u/%u)\n", x, max);
 120               data->error = SOLV_ERROR_ID_RANGE;
 121               return 0;
 122             }
 123           return x;
 124         }
 125       x = (x << 7) ^ c ^ 128;
 126     }
 127   pool_debug(mypool, SAT_ERROR, "read_id: id too long\n");
 128   data->error = SOLV_ERROR_CORRUPT;
 129   return 0;
 130 }
 131
 132
 133 /*
 134  * read array of Ids
 135  */
 136
 137 static Id *
 138 read_idarray(Repodata *data, Id max, Id *map, Id *store, Id *end, int relative)
 139 {
 140   unsigned int x = 0;
 141   int c;
 142   Id old = 0;
 143
 144   if (data->error)
 145     return 0;
 146   for (;;)
 147     {
 148       c = getc(data->fp);
 149       if (c == EOF)
 150         {
 151           pool_debug(mypool, SAT_ERROR, "unexpected EOF\n");
 152           data->error = SOLV_ERROR_EOF;
 153           return 0;
 154         }
 155       if ((c & 128) == 0)
 156         {
 157           x = (x << 6) | (c & 63);
 158           if (relative)
 159             {
 160               if (x == 0 && c == 0x40)
 161                 {
 162                   /* prereq hack */
 163                   if (store == end)
 164                     {
 165                       pool_debug(mypool, SAT_ERROR, "read_idarray: array overflow\n");
 166                       data->error = SOLV_ERROR_OVERFLOW;
 167                       return 0;
 168                     }
 169                   *store++ = SOLVABLE_PREREQMARKER;
 170                   old = 0;
 171                   x = 0;
 172                   continue;
 173                 }
 174               x = (x - 1) + old;
 175               old = x;
 176             }
 177           if (max && x >= max)
 178             {
 179               pool_debug(mypool, SAT_ERROR, "read_idarray: id too large (%u/%u)\n", x, max);
 180               data->error = SOLV_ERROR_ID_RANGE;
 181               return 0;
 182             }
 183           if (map)
 184             x = map[x];
 185           if (store == end)
 186             {
 187               pool_debug(mypool, SAT_ERROR, "read_idarray: array overflow\n");
 188               return 0;
 189             }
 190           *store++ = x;
 191           if ((c & 64) == 0)
 192             {
 193               if (x == 0)       /* already have trailing zero? */
 194                 return store;
 195               if (store == end)
 196                 {
 197                   pool_debug(mypool, SAT_ERROR, "read_idarray: array overflow\n");
 198                   data->error = SOLV_ERROR_OVERFLOW;
 199                   return 0;
 200                 }
 201               *store++ = 0;
 202               return store;
 203             }
 204           x = 0;
 205           continue;
 206         }
 207       x = (x << 7) ^ c ^ 128;
 208     }
 209 }
 210
 211 static void
 212 read_str(Repodata *data, char **inbuf, unsigned *len)
 213 {
 214   unsigned char *buf = (unsigned char*)*inbuf;
 215   if (!buf)
 216     {
 217       buf = sat_malloc(1024);
 218       *len = 1024;
 219     }
 220   int c;
 221   unsigned ofs = 0;
 222   while((c = getc(data->fp)) != 0)
 223     {
 224       if (c == EOF)
 225         {
 226           pool_debug (mypool, SAT_ERROR, "unexpected EOF\n");
 227           data->error = SOLV_ERROR_EOF;
 228           return;
 229         }
 230       /* Plus 1 as we also want to add the 0.  */
 231       if (ofs + 1 >= *len)
 232         {
 233           *len += 256;
 234           /* Don't realloc on the inbuf, it might be on the stack.  */
 235           if (buf == (unsigned char*)*inbuf)
 236             {
 237               buf = sat_malloc(*len);
 238               memcpy(buf, *inbuf, *len - 256);
 239             }
 240           else
 241             buf = sat_realloc(buf, *len);
 242         }
 243       buf[ofs++] = c;
 244     }
 245   buf[ofs++] = 0;
 246   *inbuf = (char*)buf;
 247 }
 248
 249 static void
 250 skip_item (Repodata *data, unsigned type, unsigned numid, unsigned numrel)
 251 {
 252   switch (type)
 253     {
 254       case TYPE_VOID:
 255       case TYPE_CONSTANT:
 256         break;
 257       case TYPE_ID:
 258         read_id(data, numid + numrel);          /* just check Id */
 259         break;
 260       case TYPE_DIR:
 261         read_id(data, numid + data->dirpool.ndirs);     /* just check Id */
 262         break;
 263       case TYPE_NUM:
 264         read_id(data, 0);
 265         break;
 266       case TYPE_U32:
 267         read_u32(data);
 268         break;
 269       case TYPE_ATTR_STRING:
 270       case TYPE_STR:
 271         while (read_u8(data) != 0)
 272           ;
 273         break;
 274       case TYPE_IDARRAY:
 275       case TYPE_REL_IDARRAY:
 276       case TYPE_ATTR_INTLIST:
 277         while ((read_u8(data) & 0xc0) != 0)
 278           ;
 279         break;
 280       case TYPE_DIRNUMNUMARRAY:
 281         for (;;)
 282           {
 283             read_id(data, numid + data->dirpool.ndirs); /* just check Id */
 284             read_id(data, 0);
 285             if (!(read_id(data, 0) & 0x40))
 286               break;
 287           }
 288         break;
 289       case TYPE_DIRSTRARRAY:
 290         for (;;)
 291           {
 292             Id id = read_id(data, 0);
 293             while (read_u8(data) != 0)
 294               ;
 295             if (!(id & 0x40))
 296               break;
 297           }
 298         break;
 299       case TYPE_COUNT_NAMED:
 300         {
 301           unsigned count = read_id(data, 0);
 302           while (count--)
 303             {
 304               read_id(data, numid);    /* Name */
 305               unsigned t = read_id(data, TYPE_ATTR_TYPE_MAX + 1);
 306               skip_item(data, t, numid, numrel);
 307             }
 308         }
 309         break;
 310       case TYPE_COUNTED:
 311         {
 312           unsigned count = read_id(data, 0);
 313           unsigned t = read_id(data, TYPE_ATTR_TYPE_MAX + 1);
 314           while (count--)
 315             skip_item(data, t, numid, numrel);
 316         }
 317         break;
 318       case TYPE_ATTR_CHUNK:
 319         read_id(data, 0);
 320         /* Fallthrough.  */
 321       case TYPE_ATTR_INT:
 322         read_id(data, 0);
 323         break;
 324       case TYPE_ATTR_LOCALIDS:
 325         while (read_id(data, 0) != 0)
 326           ;
 327         break;
 328       default:
 329         pool_debug(mypool, SAT_ERROR, "unknown type %d\n", type);
 330         data->error = SOLV_ERROR_CORRUPT;
 331         break;
 332     }
 333 }
 334
 335 static int
 336 key_cmp (const void *pa, const void *pb)
 337 {
 338   Repokey *a = (Repokey *)pa;
 339   Repokey *b = (Repokey *)pb;
 340   return a->name - b->name;
 341 }
 342
 343 static void repodata_load_solv(Repodata *data);
 344
 345 static void
 346 parse_repodata(Repodata *maindata, Id *keyp, Repokey *keys, Id *idmap, unsigned numid, unsigned numrel, Repo *repo)
 347 {
 348   Id key, id;
 349   Id *ida, *ide;
 350   Repodata *data;
 351   int i, n;
 352
 353   repo->repodata = sat_realloc2(repo->repodata, repo->nrepodata + 1, sizeof (*data));
 354   data = repo->repodata + repo->nrepodata++;
 355   memset(data, 0, sizeof(*data));
 356   data->repo = repo;
 357   data->state = REPODATA_STUB;
 358   data->loadcallback = repodata_load_solv;
 359
 360   while ((key = *keyp++) != 0)
 361     {
 362       id = keys[key].name;
 363       switch (keys[key].type)
 364         {
 365         case TYPE_IDVALUEARRAY:
 366           if (id != REPODATA_KEYS)
 367             {
 368               skip_item(maindata, TYPE_IDVALUEARRAY, numid, numrel);
 369               break;
 370             }
 371           /* read_idarray writes a terminating 0, that's why the + 1 */
 372           ida = sat_calloc(keys[key].size + 1, sizeof(Id));
 373           ide = read_idarray(maindata, 0, 0, ida, ida + keys[key].size + 1, 0);
 374           n = ide - ida - 1;
 375           if (n & 1)
 376             {
 377               pool_debug (mypool, SAT_ERROR, "invalid attribute data\n");
 378               data->error = SOLV_ERROR_CORRUPT;
 379               return;
 380             }
 381           data->nkeys = 1 + (n >> 1);
 382           data->keys = sat_malloc2(data->nkeys, sizeof(data->keys[0]));
 383           memset(data->keys, 0, sizeof(Repokey));
 384           for (i = 1, ide = ida; i < data->nkeys; i++)
 385             {
 386               if (*ide >= numid)
 387                 {
 388                   pool_debug (mypool, SAT_ERROR, "invalid attribute data\n");
 389                   data->error = SOLV_ERROR_CORRUPT;
 390                   return;
 391                 }
 392               data->keys[i].name = idmap ? idmap[*ide++] : *ide++;
 393               data->keys[i].type = *ide++;
 394               data->keys[i].size = 0;
 395               data->keys[i].storage = 0;
 396             }
 397           sat_free(ida);
 398           if (data->nkeys > 2)
 399             qsort(data->keys + 1, data->nkeys - 1, sizeof(data->keys[0]), key_cmp);
 400           break;
 401         case TYPE_STR:
 402           if (id != REPODATA_LOCATION)
 403             skip_item(maindata, TYPE_STR, numid, numrel);
 404           else
 405             {
 406               char buf[1024];
 407               unsigned len = sizeof (buf);
 408               char *filename = buf;
 409               read_str(maindata, &filename, &len);
 410               data->location = strdup(filename);
 411               if (filename != buf)
 412                 free(filename);
 413             }
 414           break;
 415         default:
 416           skip_item(maindata, keys[key].type, numid, numrel);
 417           break;
 418         }
 419     }
 420 }
 421
 422 /*-----------------------------------------------------------------*/
 423
 424
 425 static void
 426 skip_schema(Repodata *data, Id *keyp, Repokey *keys, unsigned int numid, unsigned int numrel)
 427 {
 428   Id key;
 429   while ((key = *keyp++) != 0)
 430     skip_item(data, keys[key].type, numid, numrel);
 431 }
 432
 433 /*-----------------------------------------------------------------*/
 434
 435 static void
 436 incore_add_id(Repodata *data, Id x)
 437 {
 438   unsigned char *dp;
 439   /* make sure we have at least 5 bytes free */
 440   if (data->incoredatafree < 5)
 441     {
 442       data->incoredata = sat_realloc(data->incoredata, data->incoredatalen + 1024);
 443       data->incoredatafree = 1024;
 444     }
 445   dp = data->incoredata + data->incoredatalen;
 446   if (x < 0)
 447     abort();
 448   if (x >= (1 << 14))
 449     {
 450       if (x >= (1 << 28))
 451         *dp++ = (x >> 28) | 128;
 452       if (x >= (1 << 21))
 453         *dp++ = (x >> 21) | 128;
 454       *dp++ = (x >> 14) | 128;
 455     }
 456   if (x >= (1 << 7))
 457     *dp++ = (x >> 7) | 128;
 458   *dp++ = x & 127;
 459   data->incoredatafree -= dp - (data->incoredata + data->incoredatalen);
 460   data->incoredatalen = dp - data->incoredata;
 461 }
 462
 463 static void
 464 incore_add_u32(Repodata *data, unsigned int x)
 465 {
 466   unsigned char *dp;
 467   /* make sure we have at least 4 bytes free */
 468   if (data->incoredatafree < 4)
 469     {
 470       data->incoredata = sat_realloc(data->incoredata, data->incoredatalen + 1024);
 471       data->incoredatafree = 1024;
 472     }
 473   dp = data->incoredata + data->incoredatalen;
 474   *dp++ = x >> 24;
 475   *dp++ = x >> 16;
 476   *dp++ = x >> 8;
 477   *dp++ = x;
 478   data->incoredatafree -= 4;
 479   data->incoredatalen += 4;
 480 }
 481
 482 static void
 483 incore_add_u8(Repodata *data, unsigned int x)
 484 {
 485   unsigned char *dp;
 486   /* make sure we have at least 1 byte free */
 487   if (data->incoredatafree < 1)
 488     {
 489       data->incoredata = sat_realloc(data->incoredata, data->incoredatalen + 1024);
 490       data->incoredatafree = 1024;
 491     }
 492   dp = data->incoredata + data->incoredatalen;
 493   *dp++ = x;
 494   data->incoredatafree--;
 495   data->incoredatalen++;
 496 }
 497
 498
 499
 500 // ----------------------------------------------
 501
 502
 503 /*
 504  * read repo from .solv file
 505  *  and add it to pool
 506  */
 507
 508 static int
 509 repo_add_solv_parent(Repo *repo, FILE *fp, Repodata *parent)
 510 {
 511   Pool *pool = repo->pool;
 512   int i, l;
 513   unsigned int numid, numrel, numdir, numsolv;
 514   unsigned int numkeys, numschemata, numinfo;
 515
 516   Offset sizeid;
 517   Offset *str;                         /* map Id -> Offset into string space */
 518   char *strsp;                         /* repo string space */
 519   char *sp;                            /* pointer into string space */
 520   Id *idmap;                           /* map of repo Ids to pool Ids */
 521   Id id;
 522   unsigned int hashmask, h;
 523   int hh;
 524   Id *hashtbl;
 525   Id name, evr, did;
 526   int flags;
 527   Reldep *ran;
 528   unsigned int size_idarray;
 529   Id *idarraydatap, *idarraydataend;
 530   Offset ido;
 531   Solvable *s;
 532   unsigned int solvflags;
 533   unsigned int solvversion;
 534   Repokey *keys;
 535   Id *schemadata, *schemadatap, *schemadataend;
 536   Id *schemata, key;
 537   int have_xdata;
 538   unsigned oldnrepodata;
 539
 540   struct _Stringpool *spool;
 541
 542   Repodata data;
 543
 544   memset(&data, 0, sizeof(data));
 545   data.repo = repo;
 546   data.fp = fp;
 547
 548   mypool = pool;
 549
 550   if (read_u32(&data) != ('S' << 24 | 'O' << 16 | 'L' << 8 | 'V'))
 551     {
 552       pool_debug(pool, SAT_ERROR, "not a SOLV file\n");
 553       return SOLV_ERROR_NOT_SOLV;
 554     }
 555   solvversion = read_u32(&data);
 556   switch (solvversion)
 557     {
 558       case SOLV_VERSION_1:
 559       case SOLV_VERSION_2:
 560       case SOLV_VERSION_3:
 561       case SOLV_VERSION_4:
 562       case SOLV_VERSION_5:
 563       case SOLV_VERSION_6:
 564         break;
 565       default:
 566         pool_debug(pool, SAT_ERROR, "unsupported SOLV version\n");
 567         return SOLV_ERROR_UNSUPPORTED;
 568     }
 569
 570   pool_freeidhashes(pool);
 571
 572   numid = read_u32(&data);
 573   numrel = read_u32(&data);
 574   if (solvversion >= SOLV_VERSION_4)
 575     numdir = read_u32(&data);
 576   else
 577     numdir = 0;
 578   numsolv = read_u32(&data);
 579   numkeys = read_u32(&data);
 580   numschemata = read_u32(&data);
 581   numinfo = read_u32(&data);
 582   solvflags = read_u32(&data);
 583
 584   if (solvversion < SOLV_VERSION_5)
 585     numschemata++;
 586
 587   if (numdir && numdir < 2)
 588     {
 589       pool_debug(pool, SAT_ERROR, "bad number of dirs\n");
 590       return SOLV_ERROR_CORRUPT;
 591     }
 592   if (numinfo && solvversion < SOLV_VERSION_3)
 593     {
 594       pool_debug(pool, SAT_ERROR, "unsupported SOLV format (has info)\n");
 595       return SOLV_ERROR_UNSUPPORTED;
 596     }
 597
 598   if (parent)
 599     {
 600       if (numrel)
 601         {
 602           pool_debug(pool, SAT_ERROR, "relations are forbidden in a store\n");
 603           return SOLV_ERROR_CORRUPT;
 604         }
 605       if (parent->end - parent->start != numsolv)
 606         {
 607           pool_debug(pool, SAT_ERROR, "unequal number of solvables in a store\n");
 608           return SOLV_ERROR_CORRUPT;
 609         }
 610       if (numinfo)
 611         {
 612           pool_debug(pool, SAT_ERROR, "info blocks are forbidden in a store\n");
 613           return SOLV_ERROR_CORRUPT;
 614         }
 615     }
 616
 617   /*******  Part 1: string IDs  *****************************************/
 618
 619   sizeid = read_u32(&data);            /* size of string+Id space */
 620
 621   /*
 622    * read strings and Ids
 623    *
 624    */
 625
 626
 627   /*
 628    * alloc buffers
 629    */
 630
 631   if (!parent)
 632     spool = &pool->ss;
 633   else
 634     {
 635       data.localpool = 1;
 636       spool = &data.spool;
 637       spool->stringspace = sat_malloc(7);
 638       strcpy(spool->stringspace, "<NULL>");
 639       spool->sstrings = 7;
 640       spool->nstrings = 0;
 641     }
 642
 643   /* alloc string buffer */
 644   spool->stringspace = sat_realloc(spool->stringspace, spool->sstrings + sizeid + 1);
 645   /* alloc string offsets (Id -> Offset into string space) */
 646   spool->strings = sat_realloc2(spool->strings, spool->nstrings + numid, sizeof(Offset));
 647
 648   strsp = spool->stringspace;
 649   str = spool->strings;                /* array of offsets into strsp, indexed by Id */
 650
 651   /* point to _BEHIND_ already allocated string/Id space */
 652   strsp += spool->sstrings;
 653
 654
 655   /*
 656    * read new repo at end of pool
 657    */
 658
 659   if ((solvflags & SOLV_FLAG_PREFIX_POOL) == 0)
 660     {
 661       if (sizeid && fread(strsp, sizeid, 1, fp) != 1)
 662         {
 663           pool_debug(pool, SAT_ERROR, "read error while reading strings\n");
 664           return SOLV_ERROR_EOF;
 665         }
 666     }
 667   else
 668     {
 669       unsigned int pfsize = read_u32(&data);
 670       char *prefix = sat_malloc(pfsize);
 671       char *pp = prefix;
 672       char *old_str = 0;
 673       char *dest = strsp;
 674       if (pfsize && fread(prefix, pfsize, 1, fp) != 1)
 675         {
 676           pool_debug(pool, SAT_ERROR, "read error while reading strings\n");
 677           sat_free(prefix);
 678           return SOLV_ERROR_EOF;
 679         }
 680       for (i = 1; i < numid; i++)
 681         {
 682           int same = (unsigned char)*pp++;
 683           size_t len = strlen (pp) + 1;
 684           if (same)
 685             memcpy(dest, old_str, same);
 686           memcpy(dest + same, pp, len);
 687           pp += len;
 688           old_str = dest;
 689           dest += same + len;
 690         }
 691       sat_free(prefix);
 692     }
 693   strsp[sizeid] = 0;                   /* make string space \0 terminated */
 694   sp = strsp;
 695
 696   if (parent)
 697     {
 698       /* no shared pool, thus no idmap and no unification */
 699       idmap = 0;
 700       spool->nstrings = numid;
 701       str[0] = 0;
 702       for (i = 1; i < spool->nstrings; i++)
 703         {
 704           if (sp >= strsp + sizeid)
 705             {
 706               pool_debug(pool, SAT_ERROR, "not enough strings\n");
 707               return SOLV_ERROR_OVERFLOW;
 708             }
 709           str[i] = sp - spool->stringspace;
 710           sp += strlen(sp) + 1;
 711         }
 712       spool->sstrings = sp - spool->stringspace;
 713     }
 714   else
 715     {
 716
 717       /* alloc id map for name and rel Ids. this maps ids in the solv files
 718        * to the ids in our pool */
 719       idmap = sat_calloc(numid + numrel, sizeof(Id));
 720
 721       /*
 722        * build hashes for all read strings
 723        *
 724        */
 725
 726       hashmask = mkmask(spool->nstrings + numid);
 727
 728 #if 0
 729       POOL_DEBUG(SAT_DEBUG_STATS, "read %d strings\n", numid);
 730       POOL_DEBUG(SAT_DEBUG_STATS, "string hash buckets: %d\n", hashmask + 1);
 731 #endif
 732
 733       /*
 734        * create hashtable with strings already in pool
 735        */
 736
 737       hashtbl = sat_calloc(hashmask + 1, sizeof(Id));
 738       for (i = 1; i < spool->nstrings; i++)  /* leave out our dummy zero id */
 739         {
 740           h = strhash(spool->stringspace + spool->strings[i]) & hashmask;
 741           hh = HASHCHAIN_START;
 742           while (hashtbl[h])
 743             h = HASHCHAIN_NEXT(h, hh, hashmask);
 744           hashtbl[h] = i;
 745         }
 746
 747       /*
 748        * run over string space, calculate offsets
 749        *
 750        * build id map (maps solv Id -> pool Id)
 751        */
 752
 753       for (i = 1; i < numid; i++)
 754         {
 755           if (sp >= strsp + sizeid)
 756             {
 757               sat_free(hashtbl);
 758               sat_free(idmap);
 759               pool_debug(pool, SAT_ERROR, "not enough strings\n");
 760               return SOLV_ERROR_OVERFLOW;
 761             }
 762           if (!*sp)                            /* empty string */
 763             {
 764               idmap[i] = ID_EMPTY;
 765               sp++;
 766               continue;
 767             }
 768
 769           /* find hash slot */
 770           h = strhash(sp) & hashmask;
 771           hh = HASHCHAIN_START;
 772           for (;;)
 773             {
 774               id = hashtbl[h];
 775               if (id == 0)
 776                 break;
 777               if (!strcmp(spool->stringspace + spool->strings[id], sp))
 778                 break;                 /* existing string */
 779               h = HASHCHAIN_NEXT(h, hh, hashmask);
 780             }
 781
 782           /* length == offset to next string */
 783           l = strlen(sp) + 1;
 784           if (id == ID_NULL)           /* end of hash chain -> new string */
 785             {
 786               id = spool->nstrings++;
 787               hashtbl[h] = id;
 788               str[id] = spool->sstrings;    /* save Offset */
 789               if (sp != spool->stringspace + spool->sstrings)   /* not at end-of-buffer */
 790                 memmove(spool->stringspace + spool->sstrings, sp, l);   /* append to pool buffer */
 791               spool->sstrings += l;
 792             }
 793           idmap[i] = id;                       /* repo relative -> pool relative */
 794           sp += l;                             /* next string */
 795         }
 796       sat_free(hashtbl);
 797     }
 798   pool_shrink_strings(pool);           /* vacuum */
 799
 800
 801   /*******  Part 2: Relation IDs  ***************************************/
 802
 803   /*
 804    * read RelDeps
 805    *
 806    */
 807
 808   if (numrel)
 809     {
 810       /* extend rels */
 811       pool->rels = sat_realloc2(pool->rels, pool->nrels + numrel, sizeof(Reldep));
 812       ran = pool->rels;
 813
 814       hashmask = mkmask(pool->nrels + numrel);
 815 #if 0
 816       POOL_DEBUG(SAT_DEBUG_STATS, "read %d rels\n", numrel);
 817       POOL_DEBUG(SAT_DEBUG_STATS, "rel hash buckets: %d\n", hashmask + 1);
 818 #endif
 819       /*
 820        * prep hash table with already existing RelDeps
 821        */
 822
 823       hashtbl = sat_calloc(hashmask + 1, sizeof(Id));
 824       for (i = 1; i < pool->nrels; i++)
 825         {
 826           h = relhash(ran[i].name, ran[i].evr, ran[i].flags) & hashmask;
 827           hh = HASHCHAIN_START;
 828           while (hashtbl[h])
 829             h = HASHCHAIN_NEXT(h, hh, hashmask);
 830           hashtbl[h] = i;
 831         }
 832
 833       /*
 834        * read RelDeps from repo
 835        */
 836
 837       for (i = 0; i < numrel; i++)
 838         {
 839           name = read_id(&data, i + numid);     /* read (repo relative) Ids */
 840           evr = read_id(&data, i + numid);
 841           flags = read_u8(&data);
 842           name = idmap[name];           /* map to (pool relative) Ids */
 843           evr = idmap[evr];
 844           h = relhash(name, evr, flags) & hashmask;
 845           hh = HASHCHAIN_START;
 846           for (;;)
 847             {
 848               id = hashtbl[h];
 849               if (id == ID_NULL)        /* end of hash chain */
 850                 break;
 851               if (ran[id].name == name && ran[id].evr == evr && ran[id].flags == flags)
 852                 break;
 853               h = HASHCHAIN_NEXT(h, hh, hashmask);
 854             }
 855           if (id == ID_NULL)            /* new RelDep */
 856             {
 857               id = pool->nrels++;
 858               hashtbl[h] = id;
 859               ran[id].name = name;
 860               ran[id].evr = evr;
 861               ran[id].flags = flags;
 862             }
 863           idmap[i + numid] = MAKERELDEP(id);   /* fill Id map */
 864         }
 865       sat_free(hashtbl);
 866       pool_shrink_rels(pool);           /* vacuum */
 867     }
 868
 869
 870   /*******  Part 3: Dirs  ***********************************************/
 871   if (numdir)
 872     {
 873       data.dirpool.dirs = sat_malloc2(numdir, sizeof(Id));
 874       data.dirpool.ndirs = numdir;
 875       data.dirpool.dirs[0] = 0;         /* dir 0: virtual root */
 876       data.dirpool.dirs[1] = 1;         /* dir 1: / */
 877       for (i = 2; i < numdir; i++)
 878         {
 879           id = read_id(&data, i + numid);
 880           if (id >= numid)
 881             data.dirpool.dirs[i] = -(id - numid);
 882           else if (idmap)
 883             data.dirpool.dirs[i] = idmap[id];
 884           else
 885             data.dirpool.dirs[i] = id;
 886         }
 887     }
 888
 889   /*******  Part 4: Keys  ***********************************************/
 890
 891   keys = sat_calloc(numkeys, sizeof(*keys));
 892   /* keys start at 1 */
 893   for (i = 1; i < numkeys; i++)
 894     {
 895       id = read_id(&data, numid);
 896       if (idmap)
 897         id = idmap[id];
 898       else if (parent)
 899         id = str2id(pool, stringpool_id2str(spool, id), 1);
 900       keys[i].name = id;
 901       keys[i].type = read_id(&data, 0);
 902       keys[i].size = read_id(&data, 0);
 903 #if 0
 904       fprintf (stderr, "key %d %s %d %d\n", i, id2str(pool,id), keys[i].type,
 905                keys[i].size);
 906 #endif
 907       if (solvversion >= SOLV_VERSION_5)
 908         {
 909           keys[i].storage = read_id(&data, 0);
 910           continue;
 911         }
 912       keys[i].storage = KEY_STORAGE_DROPPED;
 913       if (parent)
 914         {
 915           keys[i].storage = KEY_STORAGE_INCORE;
 916           continue;
 917         }
 918       switch (keys[i].type)
 919         {
 920         case TYPE_VOID:
 921         case TYPE_CONSTANT:
 922         case TYPE_STR:
 923         case TYPE_NUM:
 924         case TYPE_DIRNUMNUMARRAY:
 925           keys[i].storage = KEY_STORAGE_INCORE;
 926           break;
 927         case TYPE_ID:
 928           switch(id)
 929             {
 930             case SOLVABLE_NAME:
 931             case SOLVABLE_ARCH:
 932             case SOLVABLE_EVR:
 933             case SOLVABLE_VENDOR:
 934               keys[i].storage = KEY_STORAGE_SOLVABLE;
 935               break;
 936             default:
 937               keys[i].storage = KEY_STORAGE_INCORE;
 938               break;
 939             }
 940           break;
 941         case TYPE_IDARRAY:
 942         case TYPE_REL_IDARRAY:
 943           if (id >= INTERESTED_START && id <= INTERESTED_END)
 944             keys[i].storage = KEY_STORAGE_SOLVABLE;
 945           else
 946             keys[i].storage = KEY_STORAGE_INCORE;
 947           break;
 948         case TYPE_U32:
 949           if (id == RPM_RPMDBID)
 950             keys[i].storage = KEY_STORAGE_SOLVABLE;
 951           else
 952             keys[i].storage = KEY_STORAGE_INCORE;
 953           break;
 954         default:
 955           break;
 956         }
 957     }
 958
 959   have_xdata = parent ? 1 : 0;
 960   for (i = 1; i < numkeys; i++)
 961     if (keys[i].storage == KEY_STORAGE_INCORE || keys[i].storage == KEY_STORAGE_VERTICAL_OFFSET)
 962       have_xdata = 1;
 963
 964   data.keys = keys;
 965   data.nkeys = numkeys;
 966
 967   /*******  Part 5: Schemata ********************************************/
 968
 969   id = read_id(&data, 0);
 970   schemadata = sat_calloc(id + 1, sizeof(Id));
 971   schemadatap = schemadata + 1;
 972   schemadataend = schemadatap + id;
 973   schemata = sat_calloc(numschemata, sizeof(Id));
 974   for (i = 1; i < numschemata; i++)
 975     {
 976       schemata[i] = schemadatap - schemadata;
 977       schemadatap = read_idarray(&data, numid, 0, schemadatap, schemadataend, 0);
 978 #if 0
 979       Id *sp = schemadata + schemata[i];
 980       fprintf (stderr, "schema %d:", i);
 981       for (; *sp; sp++)
 982         fprintf (stderr, " %d", *sp);
 983       fprintf (stderr, "\n");
 984 #endif
 985     }
 986   data.schemata = schemata;
 987   data.nschemata = numschemata;
 988   data.schemadata = schemadata;
 989   data.schemadatalen = schemadataend - data.schemadata;
 990
 991
 992   /*******  Part 6: Info  ***********************************************/
 993   oldnrepodata = repo->nrepodata;
 994   for (i = 0; i < numinfo; i++)
 995     {
 996       /* for now we're just interested in data that starts with
 997        * the repodata_external id
 998        */
 999       Id *keyp;
1000       id = read_id(&data, numschemata);
1001       if (solvversion < SOLV_VERSION_5)
1002         id++;
1003       keyp = schemadata + schemata[id];
1004       key = *keyp;
1005       if (keys[key].name == REPODATA_EXTERNAL && keys[key].type == TYPE_VOID)
1006         {
1007           /* external data for some ids */
1008           parse_repodata(&data, keyp, keys, idmap, numid, numrel, repo);
1009         }
1010       else
1011         skip_schema(&data, keyp, keys, numid, numrel);
1012     }
1013
1014
1015   /*******  Part 7: packed sizes (optional)  ****************************/
1016   char *exists = 0;
1017   if ((solvflags & SOLV_FLAG_PACKEDSIZES) != 0)
1018     {
1019       exists = sat_malloc (numsolv);
1020       for (i = 0; i < numsolv; i++)
1021         exists[i] = read_id(&data, 0) != 0;
1022     }
1023
1024
1025   /*******  Part 8: item data *******************************************/
1026
1027   /* calculate idarray size */
1028   size_idarray = 0;
1029   for (i = 1; i < numkeys; i++)
1030     {
1031       id = keys[i].name;
1032       if ((keys[i].type == TYPE_IDARRAY || keys[i].type == TYPE_REL_IDARRAY)
1033           && id >= INTERESTED_START && id <= INTERESTED_END)
1034         size_idarray += keys[i].size;
1035     }
1036
1037   /* allocate needed space in repo */
1038   if (size_idarray)
1039     {
1040       repo_reserve_ids(repo, 0, size_idarray);
1041       idarraydatap = repo->idarraydata + repo->idarraysize;
1042       repo->idarraysize += size_idarray;
1043       idarraydataend = idarraydatap + size_idarray;
1044       repo->lastoff = 0;
1045     }
1046   else
1047     {
1048       idarraydatap = 0;
1049       idarraydataend = 0;
1050     }
1051
1052   /* read solvables */
1053   if (parent)
1054     {
1055       data.start = parent->start;
1056       data.end = parent->end;
1057       s = pool_id2solvable(pool, data.start);
1058     }
1059   else if (numsolv)
1060     {
1061       s = pool_id2solvable(pool, repo_add_solvable_block(repo, numsolv));
1062       /* store start and end of our id block */
1063       data.start = s - pool->solvables;
1064       data.end = data.start + numsolv;
1065       /* In case we have subfiles, make them refer to our part of the
1066          repository now.  */
1067       for (i = oldnrepodata; i < repo->nrepodata; i++)
1068         {
1069           repo->repodata[i].start = data.start;
1070           repo->repodata[i].end = data.end;
1071         }
1072     }
1073   else
1074     s = 0;
1075
1076   if (have_xdata)
1077     data.incoreoffset = sat_calloc(numsolv, sizeof(Id));
1078   for (i = 0; i < numsolv; i++, s++)
1079     {
1080       Id *keyp;
1081       if (data.error)
1082         break;
1083       if (exists && !exists[i])
1084         continue;
1085       id = read_id(&data, numschemata);
1086       if (solvversion < SOLV_VERSION_5)
1087         id++;
1088       if (have_xdata)
1089         {
1090           data.incoreoffset[i] = data.incoredatalen;
1091           incore_add_id(&data, id);
1092         }
1093       keyp = schemadata + schemata[id];
1094       while ((key = *keyp++) != 0)
1095         {
1096           id = keys[key].name;
1097 #if 0
1098 fprintf(stderr, "solv %d name %d type %d class %d\n", i, id, keys[key].type, keys[key].storage);
1099 #endif
1100           if (keys[key].storage == KEY_STORAGE_VERTICAL_OFFSET)
1101             {
1102               /* copy offset/length into incore */
1103               did = read_id(&data, 0);
1104               incore_add_id(&data, did);
1105               did = read_id(&data, 0);
1106               incore_add_id(&data, did);
1107               continue;
1108             }
1109           switch (keys[key].type)
1110             {
1111             case TYPE_VOID:
1112             case TYPE_CONSTANT:
1113               break;
1114             case TYPE_ID:
1115               did = read_id(&data, numid + numrel);
1116               if (idmap)
1117                 did = idmap[did];
1118               if (id == SOLVABLE_NAME) {
1119                 s->name = did;
1120                 if (s->name) {
1121                   /* Yeah, thats ugly. Better store kind as u8 in .solv files */
1122                   const char *name = id2str(pool, s->name);
1123                   const char *colon = strchr(name, ':');
1124                   if (colon)
1125                     s->kind = colon - name + 1;
1126                 }
1127               }
1128               else if (id == SOLVABLE_ARCH)
1129                 s->arch = did;
1130               else if (id == SOLVABLE_EVR)
1131                 s->evr = did;
1132               else if (id == SOLVABLE_VENDOR)
1133                 s->vendor = did;
1134               else if (keys[key].storage == KEY_STORAGE_INCORE)
1135                 incore_add_id(&data, did);
1136 #if 0
1137               POOL_DEBUG(SAT_DEBUG_STATS, "%s -> %s\n", id2str(pool, id), id2str(pool, did));
1138 #endif
1139               break;
1140             case TYPE_NUM:
1141               did = read_id(&data, 0);
1142               if (keys[key].storage == KEY_STORAGE_INCORE)
1143                 incore_add_id(&data, did);
1144 #if 0
1145               POOL_DEBUG(SAT_DEBUG_STATS, "%s -> %d\n", id2str(pool, id), did);
1146 #endif
1147               break;
1148             case TYPE_U32:
1149               h = read_u32(&data);
1150 #if 0
1151               POOL_DEBUG(SAT_DEBUG_STATS, "%s -> %u\n", id2str(pool, id), h);
1152 #endif
1153               if (id == RPM_RPMDBID)
1154                 {
1155                   if (!repo->rpmdbid)
1156                     repo->rpmdbid = sat_calloc(numsolv, sizeof(Id));
1157                   repo->rpmdbid[i] = h;
1158                 }
1159               else if (keys[key].storage == KEY_STORAGE_INCORE)
1160                 incore_add_u32(&data, h);
1161               break;
1162             case TYPE_STR:
1163               if (keys[key].storage == KEY_STORAGE_INCORE)
1164                 {
1165                   while ((h = read_u8(&data)) != 0)
1166                     incore_add_u8(&data, h);
1167                   incore_add_u8(&data, 0);
1168                 }
1169               else
1170                 {
1171                   while (read_u8(&data) != 0)
1172                     ;
1173                 }
1174               break;
1175             case TYPE_IDARRAY:
1176             case TYPE_REL_IDARRAY:
1177               if (id < INTERESTED_START || id > INTERESTED_END)
1178                 {
1179                   if (keys[key].storage == KEY_STORAGE_INCORE)
1180                     {
1181                       if (idmap)
1182                         {
1183                           Id old = 0, rel = keys[key].type == TYPE_REL_IDARRAY ? SOLVABLE_PREREQMARKER : 0;
1184                           do
1185                             {
1186                               did = read_id(&data, 0);
1187                               h = did & 0x40;
1188                               did = (did & 0x3f) | ((did >> 1) & ~0x3f);
1189                               if (rel)
1190                                 {
1191                                   if (did == 0)
1192                                     {
1193                                       did = rel;
1194                                       old = 0;
1195                                     }
1196                                   else
1197                                     {
1198                                       did += old;
1199                                       old = did;
1200                                     }
1201                                 }
1202                               if (did >= numid + numrel)
1203                                 abort();
1204                               did = idmap[did];
1205                               did = ((did & ~0x3f) << 1) | h;
1206                               incore_add_id(&data, did);
1207                             }
1208                           while (h);
1209                         }
1210                       else
1211                         {
1212                           while (((h = read_u8(&data)) & 0xc0) != 0)
1213                             incore_add_u8(&data, h);
1214                           break;
1215                         }
1216                     }
1217                   else
1218                     {
1219                       while ((read_u8(&data) & 0xc0) != 0)
1220                         ;
1221                       break;
1222                     }
1223                   break;
1224                 }
1225               ido = idarraydatap - repo->idarraydata;
1226               idarraydatap = read_idarray(&data, numid + numrel, idmap, idarraydatap, idarraydataend, keys[key].type == TYPE_REL_IDARRAY);
1227               if (id == SOLVABLE_PROVIDES)
1228                 s->provides = ido;
1229               else if (id == SOLVABLE_OBSOLETES)
1230                 s->obsoletes = ido;
1231               else if (id == SOLVABLE_CONFLICTS)
1232                 s->conflicts = ido;
1233               else if (id == SOLVABLE_REQUIRES)
1234                 s->requires = ido;
1235               else if (id == SOLVABLE_RECOMMENDS)
1236                 s->recommends= ido;
1237               else if (id == SOLVABLE_SUPPLEMENTS)
1238                 s->supplements = ido;
1239               else if (id == SOLVABLE_SUGGESTS)
1240                 s->suggests = ido;
1241               else if (id == SOLVABLE_ENHANCES)
1242                 s->enhances = ido;
1243               else if (id == SOLVABLE_FRESHENS)
1244                 s->freshens = ido;
1245 #if 0
1246               POOL_DEBUG(SAT_DEBUG_STATS, "%s ->\n", id2str(pool, id));
1247               for (; repo->idarraydata[ido]; ido++)
1248                 POOL_DEBUG(SAT_DEBUG_STATS,"  %s\n", dep2str(pool, repo->idarraydata[ido]));
1249 #endif
1250               break;
1251             case TYPE_DIRNUMNUMARRAY:
1252               for (;;)
1253                 {
1254                   Id num, num2;
1255                   did = read_id(&data, numdir);
1256                   num = read_id(&data, 0);
1257                   num2 = read_id(&data, 0);
1258                   if (keys[key].storage == KEY_STORAGE_INCORE)
1259                     {
1260 #if 0
1261                       POOL_DEBUG(SAT_DEBUG_STATS, "%s -> %d %d %d\n", id2str(pool, id), did, num, num2);
1262 #endif
1263                       incore_add_id(&data, did);
1264                       incore_add_id(&data, num);
1265                       incore_add_id(&data, num2);
1266                     }
1267                   if (!(num2 & 0x40))
1268                     break;
1269                 }
1270               break;
1271
1272             default:
1273               skip_item(&data, keys[key].type, numid, numrel);
1274             }
1275         }
1276     }
1277
1278   if (data.error)
1279     {
1280       /* free solvables */
1281       repo_free_solvable_block(repo, data.start, data.end - data.start, 1);
1282       /* free id array */
1283       repo->idarraysize -= size_idarray;
1284       /* free incore data */
1285       data.incoredata = sat_free(data.incoredata);
1286       data.incoredatalen = data.incoredatafree = 0;
1287     }
1288
1289   if (data.incoredatafree)
1290     {
1291       /* shrink excess size */
1292       data.incoredata = sat_realloc(data.incoredata, data.incoredatalen);
1293       data.incoredatafree = 0;
1294     }
1295
1296   for (i = 1; i < numkeys; i++)
1297     if (keys[i].storage == KEY_STORAGE_VERTICAL_OFFSET)
1298       break;
1299   if (i < numkeys && !data.error)
1300     {
1301       Id fileoffset = 0;
1302       unsigned int pagesize;
1303
1304       /* we have vertical data, make it available */
1305       data.verticaloffset = sat_calloc(numkeys, sizeof(Id));
1306       for (i = 1; i < numkeys; i++)
1307         if (keys[i].storage == KEY_STORAGE_VERTICAL_OFFSET)
1308           {
1309             data.verticaloffset[i] = fileoffset;
1310             fileoffset += keys[i].size;
1311           }
1312       data.lastverticaloffset = fileoffset;
1313       pagesize = read_u32(&data);
1314       repodata_read_or_setup_pages(&data, pagesize, fileoffset);
1315     }
1316   else
1317     {
1318       /* no longer needed */
1319       data.fp = 0;
1320     }
1321
1322   if (parent)
1323     {
1324       /* we're a store */
1325       sat_free(parent->schemata);
1326       sat_free(parent->schemadata);
1327       sat_free(parent->keys);
1328       *parent = data;
1329     }
1330   else if (data.incoredatalen || data.fp)
1331     {
1332       /* we got some data, make it available */
1333       repo->repodata = sat_realloc2(repo->repodata, repo->nrepodata + 1, sizeof(data));
1334       repo->repodata[repo->nrepodata++] = data;
1335     }
1336   else
1337     {
1338       /* discard data */
1339       sat_free(data.dirpool.dirs);
1340       sat_free(data.incoreoffset);
1341       sat_free(schemata);
1342       sat_free(schemadata);
1343       sat_free(keys);
1344     }
1345
1346   sat_free(exists);
1347   sat_free(idmap);
1348   mypool = 0;
1349   return data.error;
1350 }
1351
1352 int
1353 repo_add_solv(Repo *repo, FILE *fp)
1354 {
1355   return repo_add_solv_parent(repo, fp, 0);
1356 }
1357
1358 static void
1359 repodata_load_solv(Repodata *data)
1360 {
1361   FILE *fp;
1362   Pool *pool = data->repo->pool;
1363   if (!pool->loadcallback)
1364     {
1365       data->state = REPODATA_ERROR;
1366       return;
1367     }
1368   fp = pool->loadcallback(pool, data, pool->loadcallbackdata);
1369
1370   if (!fp)
1371     {
1372       data->state = REPODATA_ERROR;
1373       return;
1374     }
1375   if (repo_add_solv_parent(data->repo, fp, data))
1376     data->state = REPODATA_ERROR;
1377   else
1378     data->state = REPODATA_AVAILABLE;
1379 }