src/repo_solv.c

   1 /*
   2  * Copyright (c) 2007, Novell Inc.
   3  *
   4  * This program is licensed under the BSD license, read LICENSE.BSD
   5  * for further information
   6  */
   7
   8 /*
   9  * repo_solv.c
  10  *
  11  * Read the binary dump of a Repo and create a Repo * from it
  12  *
  13  *  See
  14  *   Repo *pool_addrepo_solv(Pool *pool, FILE *fp)
  15  * below
  16  *
  17  */
  18
  19
  20
  21 #include <stdio.h>
  22 #include <stdlib.h>
  23 #include <unistd.h>
  24 #include <string.h>
  25
  26 #include "repo_solv.h"
  27 #include "util.h"
  28
  29 #define INTERESTED_START        SOLVABLE_NAME
  30 #define INTERESTED_END          SOLVABLE_FRESHENS
  31
  32 #define SOLV_ERROR_NOT_SOLV     1
  33 #define SOLV_ERROR_UNSUPPORTED  2
  34 #define SOLV_ERROR_EOF          3
  35 #define SOLV_ERROR_ID_RANGE     4
  36 #define SOLV_ERROR_OVERFLOW     5
  37 #define SOLV_ERROR_CORRUPT      6
  38
  39 static Pool *mypool;            /* for pool_debug... */
  40
  41 /*-----------------------------------------------------------------*/
  42 /* .solv read functions */
  43
  44 /*
  45  * read u32
  46  */
  47
  48 static unsigned int
  49 read_u32(Repodata *data)
  50 {
  51   int c, i;
  52   unsigned int x = 0;
  53
  54   if (data->error)
  55     return 0;
  56   for (i = 0; i < 4; i++)
  57     {
  58       c = getc(data->fp);
  59       if (c == EOF)
  60         {
  61           pool_debug(mypool, SAT_ERROR, "unexpected EOF\n");
  62           data->error = SOLV_ERROR_EOF;
  63           return 0;
  64         }
  65       x = (x << 8) | c;
  66     }
  67   return x;
  68 }
  69
  70
  71 /*
  72  * read u8
  73  */
  74
  75 static unsigned int
  76 read_u8(Repodata *data)
  77 {
  78   int c;
  79
  80   if (data->error)
  81     return 0;
  82   c = getc(data->fp);
  83   if (c == EOF)
  84     {
  85       pool_debug(mypool, SAT_ERROR, "unexpected EOF\n");
  86       data->error = SOLV_ERROR_EOF;
  87       return 0;
  88     }
  89   return c;
  90 }
  91
  92
  93 /*
  94  * read Id
  95  */
  96
  97 static Id
  98 read_id(Repodata *data, Id max)
  99 {
 100   unsigned int x = 0;
 101   int c, i;
 102
 103   if (data->error)
 104     return 0;
 105   for (i = 0; i < 5; i++)
 106     {
 107       c = getc(data->fp);
 108       if (c == EOF)
 109         {
 110           pool_debug(mypool, SAT_ERROR, "unexpected EOF\n");
 111           data->error = SOLV_ERROR_EOF;
 112           return 0;
 113         }
 114       if (!(c & 128))
 115         {
 116           x = (x << 7) | c;
 117           if (max && x >= max)
 118             {
 119               pool_debug(mypool, SAT_ERROR, "read_id: id too large (%u/%u)\n", x, max);
 120               data->error = SOLV_ERROR_ID_RANGE;
 121               return 0;
 122             }
 123           return x;
 124         }
 125       x = (x << 7) ^ c ^ 128;
 126     }
 127   pool_debug(mypool, SAT_ERROR, "read_id: id too long\n");
 128   data->error = SOLV_ERROR_CORRUPT;
 129   return 0;
 130 }
 131
 132
 133 /*
 134  * read array of Ids
 135  */
 136
 137 static Id *
 138 read_idarray(Repodata *data, Id max, Id *map, Id *store, Id *end, int relative)
 139 {
 140   unsigned int x = 0;
 141   int c;
 142   Id old = 0;
 143
 144   if (data->error)
 145     return 0;
 146   for (;;)
 147     {
 148       c = getc(data->fp);
 149       if (c == EOF)
 150         {
 151           pool_debug(mypool, SAT_ERROR, "unexpected EOF\n");
 152           data->error = SOLV_ERROR_EOF;
 153           return 0;
 154         }
 155       if ((c & 128) == 0)
 156         {
 157           x = (x << 6) | (c & 63);
 158           if (relative)
 159             {
 160               if (x == 0 && c == 0x40)
 161                 {
 162                   /* prereq hack */
 163                   if (store == end)
 164                     {
 165                       pool_debug(mypool, SAT_ERROR, "read_idarray: array overflow\n");
 166                       data->error = SOLV_ERROR_OVERFLOW;
 167                       return 0;
 168                     }
 169                   *store++ = SOLVABLE_PREREQMARKER;
 170                   old = 0;
 171                   x = 0;
 172                   continue;
 173                 }
 174               x = (x - 1) + old;
 175               old = x;
 176             }
 177           if (max && x >= max)
 178             {
 179               pool_debug(mypool, SAT_ERROR, "read_idarray: id too large (%u/%u)\n", x, max);
 180               data->error = SOLV_ERROR_ID_RANGE;
 181               return 0;
 182             }
 183           if (map)
 184             x = map[x];
 185           if (store == end)
 186             {
 187               pool_debug(mypool, SAT_ERROR, "read_idarray: array overflow\n");
 188               return 0;
 189             }
 190           *store++ = x;
 191           if ((c & 64) == 0)
 192             {
 193               if (x == 0)       /* already have trailing zero? */
 194                 return store;
 195               if (store == end)
 196                 {
 197                   pool_debug(mypool, SAT_ERROR, "read_idarray: array overflow\n");
 198                   data->error = SOLV_ERROR_OVERFLOW;
 199                   return 0;
 200                 }
 201               *store++ = 0;
 202               return store;
 203             }
 204           x = 0;
 205           continue;
 206         }
 207       x = (x << 7) ^ c ^ 128;
 208     }
 209 }
 210
 211 static void
 212 read_str(Repodata *data, char **inbuf, unsigned *len)
 213 {
 214   unsigned char *buf = (unsigned char*)*inbuf;
 215   if (!buf)
 216     {
 217       buf = sat_malloc(1024);
 218       *len = 1024;
 219     }
 220   int c;
 221   unsigned ofs = 0;
 222   while((c = getc(data->fp)) != 0)
 223     {
 224       if (c == EOF)
 225         {
 226           pool_debug (mypool, SAT_ERROR, "unexpected EOF\n");
 227           data->error = SOLV_ERROR_EOF;
 228           return;
 229         }
 230       /* Plus 1 as we also want to add the 0.  */
 231       if (ofs + 1 >= *len)
 232         {
 233           *len += 256;
 234           /* Don't realloc on the inbuf, it might be on the stack.  */
 235           if (buf == (unsigned char*)*inbuf)
 236             {
 237               buf = sat_malloc(*len);
 238               memcpy(buf, *inbuf, *len - 256);
 239             }
 240           else
 241             buf = sat_realloc(buf, *len);
 242         }
 243       buf[ofs++] = c;
 244     }
 245   buf[ofs++] = 0;
 246   *inbuf = (char*)buf;
 247 }
 248
 249 static void
 250 skip_item (Repodata *data, unsigned type, unsigned numid, unsigned numrel)
 251 {
 252   switch (type)
 253     {
 254       case TYPE_VOID:
 255       case TYPE_CONSTANT:
 256         break;
 257       case TYPE_ID:
 258         read_id(data, numid + numrel);          /* just check Id */
 259         break;
 260       case TYPE_DIR:
 261         read_id(data, numid + data->dirpool.ndirs);     /* just check Id */
 262         break;
 263       case TYPE_NUM:
 264         read_id(data, 0);
 265         break;
 266       case TYPE_U32:
 267         read_u32(data);
 268         break;
 269       case TYPE_ATTR_STRING:
 270       case TYPE_STR:
 271         while (read_u8(data) != 0)
 272           ;
 273         break;
 274       case TYPE_IDARRAY:
 275       case TYPE_REL_IDARRAY:
 276       case TYPE_ATTR_INTLIST:
 277         while ((read_u8(data) & 0xc0) != 0)
 278           ;
 279         break;
 280       case TYPE_DIRNUMNUMARRAY:
 281         for (;;)
 282           {
 283             read_id(data, numid + data->dirpool.ndirs); /* just check Id */
 284             read_id(data, 0);
 285             if (!(read_id(data, 0) & 0x40))
 286               break;
 287           }
 288         break;
 289       case TYPE_DIRSTRARRAY:
 290         for (;;)
 291           {
 292             Id id = read_id(data, 0);
 293             while (read_u8(data) != 0)
 294               ;
 295             if (!(id & 0x40))
 296               break;
 297           }
 298         break;
 299       case TYPE_COUNT_NAMED:
 300         {
 301           unsigned count = read_id(data, 0);
 302           while (count--)
 303             {
 304               read_id(data, numid);    /* Name */
 305               unsigned t = read_id(data, TYPE_ATTR_TYPE_MAX + 1);
 306               skip_item(data, t, numid, numrel);
 307             }
 308         }
 309         break;
 310       case TYPE_COUNTED:
 311         {
 312           unsigned count = read_id(data, 0);
 313           unsigned t = read_id(data, TYPE_ATTR_TYPE_MAX + 1);
 314           while (count--)
 315             skip_item(data, t, numid, numrel);
 316         }
 317         break;
 318       case TYPE_ATTR_CHUNK:
 319         read_id(data, 0);
 320         /* Fallthrough.  */
 321       case TYPE_ATTR_INT:
 322         read_id(data, 0);
 323         break;
 324       case TYPE_ATTR_LOCALIDS:
 325         while (read_id(data, 0) != 0)
 326           ;
 327         break;
 328       default:
 329         pool_debug(mypool, SAT_ERROR, "unknown type %d\n", type);
 330         data->error = SOLV_ERROR_CORRUPT;
 331         break;
 332     }
 333 }
 334
 335 static int
 336 key_cmp (const void *pa, const void *pb)
 337 {
 338   Repokey *a = (Repokey *)pa;
 339   Repokey *b = (Repokey *)pb;
 340   return a->name - b->name;
 341 }
 342
 343 static void repodata_load_solv(Repodata *data);
 344
 345 static void
 346 parse_repodata(Repodata *maindata, Id *keyp, Repokey *keys, Id *idmap, unsigned numid, unsigned numrel, Repo *repo)
 347 {
 348   Id key, id;
 349   Id *ida, *ide;
 350   Repodata *data;
 351   int i, n;
 352
 353   repo->repodata = sat_realloc2(repo->repodata, repo->nrepodata + 1, sizeof (*data));
 354   data = repo->repodata + repo->nrepodata++;
 355   memset(data, 0, sizeof(*data));
 356   data->repo = repo;
 357   data->state = REPODATA_STUB;
 358   data->loadcallback = repodata_load_solv;
 359
 360   while ((key = *keyp++) != 0)
 361     {
 362       id = keys[key].name;
 363       switch (keys[key].type)
 364         {
 365         case TYPE_IDVALUEARRAY:
 366           if (id != REPODATA_KEYS)
 367             {
 368               skip_item(maindata, TYPE_IDVALUEARRAY, numid, numrel);
 369               break;
 370             }
 371           /* read_idarray writes a terminating 0, that's why the + 1 */
 372           ida = sat_calloc(keys[key].size + 1, sizeof(Id));
 373           ide = read_idarray(maindata, 0, 0, ida, ida + keys[key].size + 1, 0);
 374           n = ide - ida - 1;
 375           if (n & 1)
 376             {
 377               pool_debug (mypool, SAT_ERROR, "invalid attribute data\n");
 378               data->error = SOLV_ERROR_CORRUPT;
 379               return;
 380             }
 381           data->nkeys = 1 + (n >> 1);
 382           data->keys = sat_malloc2(data->nkeys, sizeof(data->keys[0]));
 383           memset(data->keys, 0, sizeof(Repokey));
 384           for (i = 1, ide = ida; i < data->nkeys; i++)
 385             {
 386               if (*ide >= numid)
 387                 {
 388                   pool_debug (mypool, SAT_ERROR, "invalid attribute data\n");
 389                   data->error = SOLV_ERROR_CORRUPT;
 390                   return;
 391                 }
 392               data->keys[i].name = idmap ? idmap[*ide++] : *ide++;
 393               data->keys[i].type = *ide++;
 394               data->keys[i].size = 0;
 395               data->keys[i].storage = 0;
 396             }
 397           sat_free(ida);
 398           if (data->nkeys > 2)
 399             qsort(data->keys + 1, data->nkeys - 1, sizeof(data->keys[0]), key_cmp);
 400           break;
 401         case TYPE_STR:
 402           if (id != REPODATA_LOCATION)
 403             skip_item(maindata, TYPE_STR, numid, numrel);
 404           else
 405             {
 406               char buf[1024];
 407               unsigned len = sizeof (buf);
 408               char *filename = buf;
 409               read_str(maindata, &filename, &len);
 410               data->location = strdup(filename);
 411               if (filename != buf)
 412                 free(filename);
 413             }
 414           break;
 415         default:
 416           skip_item(maindata, keys[key].type, numid, numrel);
 417           break;
 418         }
 419     }
 420 }
 421
 422 /*-----------------------------------------------------------------*/
 423
 424
 425 static void
 426 skip_schema(Repodata *data, Id *keyp, Repokey *keys, unsigned int numid, unsigned int numrel)
 427 {
 428   Id key;
 429   while ((key = *keyp++) != 0)
 430     skip_item(data, keys[key].type, numid, numrel);
 431 }
 432
 433 /*-----------------------------------------------------------------*/
 434
 435 static void
 436 incore_add_id(Repodata *data, Id x)
 437 {
 438   unsigned char *dp;
 439   /* make sure we have at least 5 bytes free */
 440   if (data->incoredatafree < 5)
 441     {
 442       data->incoredata = sat_realloc(data->incoredata, data->incoredatalen + 1024);
 443       data->incoredatafree = 1024;
 444     }
 445   dp = data->incoredata + data->incoredatalen;
 446   if (x < 0)
 447     abort();
 448   if (x >= (1 << 14))
 449     {
 450       if (x >= (1 << 28))
 451         *dp++ = (x >> 28) | 128;
 452       if (x >= (1 << 21))
 453         *dp++ = (x >> 21) | 128;
 454       *dp++ = (x >> 14) | 128;
 455     }
 456   if (x >= (1 << 7))
 457     *dp++ = (x >> 7) | 128;
 458   *dp++ = x & 127;
 459   data->incoredatafree -= dp - (data->incoredata + data->incoredatalen);
 460   data->incoredatalen = dp - data->incoredata;
 461 }
 462
 463 static void
 464 incore_add_u32(Repodata *data, unsigned int x)
 465 {
 466   unsigned char *dp;
 467   /* make sure we have at least 4 bytes free */
 468   if (data->incoredatafree < 4)
 469     {
 470       data->incoredata = sat_realloc(data->incoredata, data->incoredatalen + 1024);
 471       data->incoredatafree = 1024;
 472     }
 473   dp = data->incoredata + data->incoredatalen;
 474   *dp++ = x >> 24;
 475   *dp++ = x >> 16;
 476   *dp++ = x >> 8;
 477   *dp++ = x;
 478   data->incoredatafree -= 4;
 479   data->incoredatalen += 4;
 480 }
 481
 482 static void
 483 incore_add_u8(Repodata *data, unsigned int x)
 484 {
 485   unsigned char *dp;
 486   /* make sure we have at least 1 byte free */
 487   if (data->incoredatafree < 1)
 488     {
 489       data->incoredata = sat_realloc(data->incoredata, data->incoredatalen + 1024);
 490       data->incoredatafree = 1024;
 491     }
 492   dp = data->incoredata + data->incoredatalen;
 493   *dp++ = x;
 494   data->incoredatafree--;
 495   data->incoredatalen++;
 496 }
 497
 498
 499
 500 // ----------------------------------------------
 501
 502
 503 /*
 504  * read repo from .solv file
 505  *  and add it to pool
 506  */
 507
 508 static int
 509 repo_add_solv_parent(Repo *repo, FILE *fp, Repodata *parent)
 510 {
 511   Pool *pool = repo->pool;
 512   int i, l;
 513   unsigned int numid, numrel, numdir, numsolv;
 514   unsigned int numkeys, numschemata, numinfo;
 515
 516   Offset sizeid;
 517   Offset *str;                         /* map Id -> Offset into string space */
 518   char *strsp;                         /* repo string space */
 519   char *sp;                            /* pointer into string space */
 520   Id *idmap;                           /* map of repo Ids to pool Ids */
 521   Id id;
 522   unsigned int hashmask, h;
 523   int hh;
 524   Id *hashtbl;
 525   Id name, evr, did;
 526   int flags;
 527   Reldep *ran;
 528   unsigned int size_idarray;
 529   Id *idarraydatap, *idarraydataend;
 530   Offset ido;
 531   Solvable *s;
 532   unsigned int solvflags;
 533   unsigned int solvversion;
 534   Repokey *keys;
 535   Id *schemadata, *schemadatap, *schemadataend;
 536   Id *schemata, key;
 537   int have_xdata;
 538   unsigned oldnrepodata;
 539
 540   struct _Stringpool *spool;
 541
 542   Repodata data;
 543
 544   memset(&data, 0, sizeof(data));
 545   data.repo = repo;
 546   data.fp = fp;
 547
 548   mypool = pool;
 549
 550   if (read_u32(&data) != ('S' << 24 | 'O' << 16 | 'L' << 8 | 'V'))
 551     {
 552       pool_debug(pool, SAT_ERROR, "not a SOLV file\n");
 553       return SOLV_ERROR_NOT_SOLV;
 554     }
 555   solvversion = read_u32(&data);
 556   switch (solvversion)
 557     {
 558       case SOLV_VERSION_1:
 559       case SOLV_VERSION_2:
 560       case SOLV_VERSION_3:
 561       case SOLV_VERSION_4:
 562       case SOLV_VERSION_5:
 563         break;
 564       default:
 565         pool_debug(pool, SAT_ERROR, "unsupported SOLV version\n");
 566         return SOLV_ERROR_UNSUPPORTED;
 567     }
 568
 569   pool_freeidhashes(pool);
 570
 571   numid = read_u32(&data);
 572   numrel = read_u32(&data);
 573   if (solvversion >= SOLV_VERSION_4)
 574     numdir = read_u32(&data);
 575   else
 576     numdir = 0;
 577   numsolv = read_u32(&data);
 578   numkeys = read_u32(&data);
 579   numschemata = read_u32(&data);
 580   numinfo = read_u32(&data);
 581   solvflags = read_u32(&data);
 582
 583   if (solvversion < SOLV_VERSION_5)
 584     numschemata++;
 585
 586   if (numdir && numdir < 2)
 587     {
 588       pool_debug(pool, SAT_ERROR, "bad number of dirs\n");
 589       return SOLV_ERROR_CORRUPT;
 590     }
 591   if (numinfo && solvversion < SOLV_VERSION_3)
 592     {
 593       pool_debug(pool, SAT_ERROR, "unsupported SOLV format (has info)\n");
 594       return SOLV_ERROR_UNSUPPORTED;
 595     }
 596
 597   if (parent)
 598     {
 599       if (numrel)
 600         {
 601           pool_debug(pool, SAT_ERROR, "relations are forbidden in a store\n");
 602           return SOLV_ERROR_CORRUPT;
 603         }
 604       if (parent->end - parent->start != numsolv)
 605         {
 606           pool_debug(pool, SAT_ERROR, "unequal number of solvables in a store\n");
 607           return SOLV_ERROR_CORRUPT;
 608         }
 609       if (numinfo)
 610         {
 611           pool_debug(pool, SAT_ERROR, "info blocks are forbidden in a store\n");
 612           return SOLV_ERROR_CORRUPT;
 613         }
 614     }
 615
 616   /*******  Part 1: string IDs  *****************************************/
 617
 618   sizeid = read_u32(&data);            /* size of string+Id space */
 619
 620   /*
 621    * read strings and Ids
 622    *
 623    */
 624
 625
 626   /*
 627    * alloc buffers
 628    */
 629
 630   if (!parent)
 631     spool = &pool->ss;
 632   else
 633     {
 634       data.localpool = 1;
 635       spool = &data.spool;
 636       spool->stringspace = sat_malloc(7);
 637       strcpy(spool->stringspace, "<NULL>");
 638       spool->sstrings = 7;
 639       spool->nstrings = 0;
 640     }
 641
 642   /* alloc string buffer */
 643   spool->stringspace = sat_realloc(spool->stringspace, spool->sstrings + sizeid + 1);
 644   /* alloc string offsets (Id -> Offset into string space) */
 645   spool->strings = sat_realloc2(spool->strings, spool->nstrings + numid, sizeof(Offset));
 646
 647   strsp = spool->stringspace;
 648   str = spool->strings;                /* array of offsets into strsp, indexed by Id */
 649
 650   /* point to _BEHIND_ already allocated string/Id space */
 651   strsp += spool->sstrings;
 652
 653
 654   /*
 655    * read new repo at end of pool
 656    */
 657
 658   if ((solvflags & SOLV_FLAG_PREFIX_POOL) == 0)
 659     {
 660       if (sizeid && fread(strsp, sizeid, 1, fp) != 1)
 661         {
 662           pool_debug(pool, SAT_ERROR, "read error while reading strings\n");
 663           return SOLV_ERROR_EOF;
 664         }
 665     }
 666   else
 667     {
 668       unsigned int pfsize = read_u32(&data);
 669       char *prefix = sat_malloc(pfsize);
 670       char *pp = prefix;
 671       char *old_str = 0;
 672       char *dest = strsp;
 673       if (pfsize && fread(prefix, pfsize, 1, fp) != 1)
 674         {
 675           pool_debug(pool, SAT_ERROR, "read error while reading strings\n");
 676           sat_free(prefix);
 677           return SOLV_ERROR_EOF;
 678         }
 679       for (i = 1; i < numid; i++)
 680         {
 681           int same = (unsigned char)*pp++;
 682           size_t len = strlen (pp) + 1;
 683           if (same)
 684             memcpy(dest, old_str, same);
 685           memcpy(dest + same, pp, len);
 686           pp += len;
 687           old_str = dest;
 688           dest += same + len;
 689         }
 690       sat_free(prefix);
 691     }
 692   strsp[sizeid] = 0;                   /* make string space \0 terminated */
 693   sp = strsp;
 694
 695   if (parent)
 696     {
 697       /* no shared pool, thus no idmap and no unification */
 698       idmap = 0;
 699       spool->nstrings = numid;
 700       str[0] = 0;
 701       for (i = 1; i < spool->nstrings; i++)
 702         {
 703           if (sp >= strsp + sizeid)
 704             {
 705               pool_debug(pool, SAT_ERROR, "not enough strings\n");
 706               return SOLV_ERROR_OVERFLOW;
 707             }
 708           str[i] = sp - spool->stringspace;
 709           sp += strlen(sp) + 1;
 710         }
 711       spool->sstrings = sp - spool->stringspace;
 712     }
 713   else
 714     {
 715
 716       /* alloc id map for name and rel Ids. this maps ids in the solv files
 717        * to the ids in our pool */
 718       idmap = sat_calloc(numid + numrel, sizeof(Id));
 719
 720       /*
 721        * build hashes for all read strings
 722        *
 723        */
 724
 725       hashmask = mkmask(spool->nstrings + numid);
 726
 727 #if 0
 728       POOL_DEBUG(SAT_DEBUG_STATS, "read %d strings\n", numid);
 729       POOL_DEBUG(SAT_DEBUG_STATS, "string hash buckets: %d\n", hashmask + 1);
 730 #endif
 731
 732       /*
 733        * create hashtable with strings already in pool
 734        */
 735
 736       hashtbl = sat_calloc(hashmask + 1, sizeof(Id));
 737       for (i = 1; i < spool->nstrings; i++)  /* leave out our dummy zero id */
 738         {
 739           h = strhash(spool->stringspace + spool->strings[i]) & hashmask;
 740           hh = HASHCHAIN_START;
 741           while (hashtbl[h])
 742             h = HASHCHAIN_NEXT(h, hh, hashmask);
 743           hashtbl[h] = i;
 744         }
 745
 746       /*
 747        * run over string space, calculate offsets
 748        *
 749        * build id map (maps solv Id -> pool Id)
 750        */
 751
 752       for (i = 1; i < numid; i++)
 753         {
 754           if (sp >= strsp + sizeid)
 755             {
 756               sat_free(hashtbl);
 757               sat_free(idmap);
 758               pool_debug(pool, SAT_ERROR, "not enough strings\n");
 759               return SOLV_ERROR_OVERFLOW;
 760             }
 761           if (!*sp)                            /* empty string */
 762             {
 763               idmap[i] = ID_EMPTY;
 764               sp++;
 765               continue;
 766             }
 767
 768           /* find hash slot */
 769           h = strhash(sp) & hashmask;
 770           hh = HASHCHAIN_START;
 771           for (;;)
 772             {
 773               id = hashtbl[h];
 774               if (id == 0)
 775                 break;
 776               if (!strcmp(spool->stringspace + spool->strings[id], sp))
 777                 break;                 /* existing string */
 778               h = HASHCHAIN_NEXT(h, hh, hashmask);
 779             }
 780
 781           /* length == offset to next string */
 782           l = strlen(sp) + 1;
 783           if (id == ID_NULL)           /* end of hash chain -> new string */
 784             {
 785               id = spool->nstrings++;
 786               hashtbl[h] = id;
 787               str[id] = spool->sstrings;    /* save Offset */
 788               if (sp != spool->stringspace + spool->sstrings)   /* not at end-of-buffer */
 789                 memmove(spool->stringspace + spool->sstrings, sp, l);   /* append to pool buffer */
 790               spool->sstrings += l;
 791             }
 792           idmap[i] = id;                       /* repo relative -> pool relative */
 793           sp += l;                             /* next string */
 794         }
 795       sat_free(hashtbl);
 796     }
 797   pool_shrink_strings(pool);           /* vacuum */
 798
 799
 800   /*******  Part 2: Relation IDs  ***************************************/
 801
 802   /*
 803    * read RelDeps
 804    *
 805    */
 806
 807   if (numrel)
 808     {
 809       /* extend rels */
 810       pool->rels = sat_realloc2(pool->rels, pool->nrels + numrel, sizeof(Reldep));
 811       ran = pool->rels;
 812
 813       hashmask = mkmask(pool->nrels + numrel);
 814 #if 0
 815       POOL_DEBUG(SAT_DEBUG_STATS, "read %d rels\n", numrel);
 816       POOL_DEBUG(SAT_DEBUG_STATS, "rel hash buckets: %d\n", hashmask + 1);
 817 #endif
 818       /*
 819        * prep hash table with already existing RelDeps
 820        */
 821
 822       hashtbl = sat_calloc(hashmask + 1, sizeof(Id));
 823       for (i = 1; i < pool->nrels; i++)
 824         {
 825           h = relhash(ran[i].name, ran[i].evr, ran[i].flags) & hashmask;
 826           hh = HASHCHAIN_START;
 827           while (hashtbl[h])
 828             h = HASHCHAIN_NEXT(h, hh, hashmask);
 829           hashtbl[h] = i;
 830         }
 831
 832       /*
 833        * read RelDeps from repo
 834        */
 835
 836       for (i = 0; i < numrel; i++)
 837         {
 838           name = read_id(&data, i + numid);     /* read (repo relative) Ids */
 839           evr = read_id(&data, i + numid);
 840           flags = read_u8(&data);
 841           name = idmap[name];           /* map to (pool relative) Ids */
 842           evr = idmap[evr];
 843           h = relhash(name, evr, flags) & hashmask;
 844           hh = HASHCHAIN_START;
 845           for (;;)
 846             {
 847               id = hashtbl[h];
 848               if (id == ID_NULL)        /* end of hash chain */
 849                 break;
 850               if (ran[id].name == name && ran[id].evr == evr && ran[id].flags == flags)
 851                 break;
 852               h = HASHCHAIN_NEXT(h, hh, hashmask);
 853             }
 854           if (id == ID_NULL)            /* new RelDep */
 855             {
 856               id = pool->nrels++;
 857               hashtbl[h] = id;
 858               ran[id].name = name;
 859               ran[id].evr = evr;
 860               ran[id].flags = flags;
 861             }
 862           idmap[i + numid] = MAKERELDEP(id);   /* fill Id map */
 863         }
 864       sat_free(hashtbl);
 865       pool_shrink_rels(pool);           /* vacuum */
 866     }
 867
 868
 869   /*******  Part 3: Dirs  ***********************************************/
 870   if (numdir)
 871     {
 872       data.dirpool.dirs = sat_malloc2(numdir, sizeof(Id));
 873       data.dirpool.ndirs = numdir;
 874       data.dirpool.dirs[0] = 0;         /* dir 0: virtual root */
 875       data.dirpool.dirs[1] = 1;         /* dir 1: / */
 876       for (i = 2; i < numdir; i++)
 877         {
 878           id = read_id(&data, i + numid);
 879           if (id >= numid)
 880             data.dirpool.dirs[i] = -(id - numid);
 881           else if (idmap)
 882             data.dirpool.dirs[i] = idmap[id];
 883           else
 884             data.dirpool.dirs[i] = id;
 885         }
 886     }
 887
 888   /*******  Part 4: Keys  ***********************************************/
 889
 890   keys = sat_calloc(numkeys, sizeof(*keys));
 891   /* keys start at 1 */
 892   for (i = 1; i < numkeys; i++)
 893     {
 894       id = read_id(&data, numid);
 895       if (idmap)
 896         id = idmap[id];
 897       else if (parent)
 898         id = str2id(pool, stringpool_id2str(spool, id), 1);
 899       keys[i].name = id;
 900       keys[i].type = read_id(&data, 0);
 901       keys[i].size = read_id(&data, 0);
 902 #if 0
 903       fprintf (stderr, "key %d %s %d %d\n", i, id2str(pool,id), keys[i].type,
 904                keys[i].size);
 905 #endif
 906       if (solvversion >= SOLV_VERSION_5)
 907         {
 908           keys[i].storage = read_id(&data, 0);
 909           continue;
 910         }
 911       keys[i].storage = KEY_STORAGE_DROPPED;
 912       if (parent)
 913         {
 914           keys[i].storage = KEY_STORAGE_INCORE;
 915           continue;
 916         }
 917       switch (keys[i].type)
 918         {
 919         case TYPE_VOID:
 920         case TYPE_CONSTANT:
 921         case TYPE_STR:
 922         case TYPE_NUM:
 923         case TYPE_DIRNUMNUMARRAY:
 924           keys[i].storage = KEY_STORAGE_INCORE;
 925           break;
 926         case TYPE_ID:
 927           switch(id)
 928             {
 929             case SOLVABLE_NAME:
 930             case SOLVABLE_ARCH:
 931             case SOLVABLE_EVR:
 932             case SOLVABLE_VENDOR:
 933               keys[i].storage = KEY_STORAGE_SOLVABLE;
 934               break;
 935             default:
 936               keys[i].storage = KEY_STORAGE_INCORE;
 937               break;
 938             }
 939           break;
 940         case TYPE_IDARRAY:
 941         case TYPE_REL_IDARRAY:
 942           if (id >= INTERESTED_START && id <= INTERESTED_END)
 943             keys[i].storage = KEY_STORAGE_SOLVABLE;
 944           else
 945             keys[i].storage = KEY_STORAGE_INCORE;
 946           break;
 947         case TYPE_U32:
 948           if (id == RPM_RPMDBID)
 949             keys[i].storage = KEY_STORAGE_SOLVABLE;
 950           else
 951             keys[i].storage = KEY_STORAGE_INCORE;
 952           break;
 953         default:
 954           break;
 955         }
 956     }
 957
 958   have_xdata = parent ? 1 : 0;
 959   for (i = 1; i < numkeys; i++)
 960     if (keys[i].storage == KEY_STORAGE_INCORE || keys[i].storage == KEY_STORAGE_VERTICAL_OFFSET)
 961       have_xdata = 1;
 962
 963   data.keys = keys;
 964   data.nkeys = numkeys;
 965
 966   /*******  Part 5: Schemata ********************************************/
 967
 968   id = read_id(&data, 0);
 969   schemadata = sat_calloc(id + 1, sizeof(Id));
 970   schemadatap = schemadata + 1;
 971   schemadataend = schemadatap + id;
 972   schemata = sat_calloc(numschemata, sizeof(Id));
 973   for (i = 1; i < numschemata; i++)
 974     {
 975       schemata[i] = schemadatap - schemadata;
 976       schemadatap = read_idarray(&data, numid, 0, schemadatap, schemadataend, 0);
 977 #if 0
 978       Id *sp = schemadata + schemata[i];
 979       fprintf (stderr, "schema %d:", i);
 980       for (; *sp; sp++)
 981         fprintf (stderr, " %d", *sp);
 982       fprintf (stderr, "\n");
 983 #endif
 984     }
 985   data.schemata = schemata;
 986   data.nschemata = numschemata;
 987   data.schemadata = schemadata;
 988   data.schemadatalen = schemadataend - data.schemadata;
 989
 990
 991   /*******  Part 6: Info  ***********************************************/
 992   oldnrepodata = repo->nrepodata;
 993   for (i = 0; i < numinfo; i++)
 994     {
 995       /* for now we're just interested in data that starts with
 996        * the repodata_external id
 997        */
 998       Id *keyp;
 999       id = read_id(&data, numschemata);
1000       if (solvversion < SOLV_VERSION_5)
1001         id++;
1002       keyp = schemadata + schemata[id];
1003       key = *keyp;
1004       if (keys[key].name == REPODATA_EXTERNAL && keys[key].type == TYPE_VOID)
1005         {
1006           /* external data for some ids */
1007           parse_repodata(&data, keyp, keys, idmap, numid, numrel, repo);
1008         }
1009       else
1010         skip_schema(&data, keyp, keys, numid, numrel);
1011     }
1012
1013
1014   /*******  Part 7: packed sizes (optional)  ****************************/
1015   char *exists = 0;
1016   if ((solvflags & SOLV_FLAG_PACKEDSIZES) != 0)
1017     {
1018       exists = sat_malloc (numsolv);
1019       for (i = 0; i < numsolv; i++)
1020         exists[i] = read_id(&data, 0) != 0;
1021     }
1022
1023
1024   /*******  Part 8: item data *******************************************/
1025
1026   /* calculate idarray size */
1027   size_idarray = 0;
1028   for (i = 1; i < numkeys; i++)
1029     {
1030       id = keys[i].name;
1031       if ((keys[i].type == TYPE_IDARRAY || keys[i].type == TYPE_REL_IDARRAY)
1032           && id >= INTERESTED_START && id <= INTERESTED_END)
1033         size_idarray += keys[i].size;
1034     }
1035
1036   /* allocate needed space in repo */
1037   if (size_idarray)
1038     {
1039       repo_reserve_ids(repo, 0, size_idarray);
1040       idarraydatap = repo->idarraydata + repo->idarraysize;
1041       repo->idarraysize += size_idarray;
1042       idarraydataend = idarraydatap + size_idarray;
1043       repo->lastoff = 0;
1044     }
1045   else
1046     {
1047       idarraydatap = 0;
1048       idarraydataend = 0;
1049     }
1050
1051   /* read solvables */
1052   if (parent)
1053     {
1054       data.start = parent->start;
1055       data.end = parent->end;
1056       s = pool_id2solvable(pool, data.start);
1057     }
1058   else if (numsolv)
1059     {
1060       s = pool_id2solvable(pool, repo_add_solvable_block(repo, numsolv));
1061       /* store start and end of our id block */
1062       data.start = s - pool->solvables;
1063       data.end = data.start + numsolv;
1064       /* In case we have subfiles, make them refer to our part of the
1065          repository now.  */
1066       for (i = oldnrepodata; i < repo->nrepodata; i++)
1067         {
1068           repo->repodata[i].start = data.start;
1069           repo->repodata[i].end = data.end;
1070         }
1071     }
1072   else
1073     s = 0;
1074
1075   if (have_xdata)
1076     data.incoreoffset = sat_calloc(numsolv, sizeof(Id));
1077   for (i = 0; i < numsolv; i++, s++)
1078     {
1079       Id *keyp;
1080       if (data.error)
1081         break;
1082       if (exists && !exists[i])
1083         continue;
1084       id = read_id(&data, numschemata);
1085       if (solvversion < SOLV_VERSION_5)
1086         id++;
1087       if (have_xdata)
1088         {
1089           data.incoreoffset[i] = data.incoredatalen;
1090           incore_add_id(&data, id);
1091         }
1092       keyp = schemadata + schemata[id];
1093       while ((key = *keyp++) != 0)
1094         {
1095           id = keys[key].name;
1096 #if 0
1097 fprintf(stderr, "solv %d name %d type %d class %d\n", i, id, keys[key].type, keys[key].storage);
1098 #endif
1099           if (keys[key].storage == KEY_STORAGE_VERTICAL_OFFSET)
1100             {
1101               /* copy offset/length into incore */
1102               did = read_id(&data, 0);
1103               incore_add_id(&data, did);
1104               did = read_id(&data, 0);
1105               incore_add_id(&data, did);
1106               continue;
1107             }
1108           switch (keys[key].type)
1109             {
1110             case TYPE_VOID:
1111             case TYPE_CONSTANT:
1112               break;
1113             case TYPE_ID:
1114               did = read_id(&data, numid + numrel);
1115               if (idmap)
1116                 did = idmap[did];
1117               if (id == SOLVABLE_NAME)
1118                 s->name = did;
1119               else if (id == SOLVABLE_ARCH)
1120                 s->arch = did;
1121               else if (id == SOLVABLE_EVR)
1122                 s->evr = did;
1123               else if (id == SOLVABLE_VENDOR)
1124                 s->vendor = did;
1125               else if (keys[key].storage == KEY_STORAGE_INCORE)
1126                 incore_add_id(&data, did);
1127 #if 0
1128               POOL_DEBUG(SAT_DEBUG_STATS, "%s -> %s\n", id2str(pool, id), id2str(pool, did));
1129 #endif
1130               break;
1131             case TYPE_NUM:
1132               did = read_id(&data, 0);
1133               if (keys[key].storage == KEY_STORAGE_INCORE)
1134                 incore_add_id(&data, did);
1135 #if 0
1136               POOL_DEBUG(SAT_DEBUG_STATS, "%s -> %d\n", id2str(pool, id), did);
1137 #endif
1138               break;
1139             case TYPE_U32:
1140               h = read_u32(&data);
1141 #if 0
1142               POOL_DEBUG(SAT_DEBUG_STATS, "%s -> %u\n", id2str(pool, id), h);
1143 #endif
1144               if (id == RPM_RPMDBID)
1145                 {
1146                   if (!repo->rpmdbid)
1147                     repo->rpmdbid = sat_calloc(numsolv, sizeof(Id));
1148                   repo->rpmdbid[i] = h;
1149                 }
1150               else if (keys[key].storage == KEY_STORAGE_INCORE)
1151                 incore_add_u32(&data, h);
1152               break;
1153             case TYPE_STR:
1154               if (keys[key].storage == KEY_STORAGE_INCORE)
1155                 {
1156                   while ((h = read_u8(&data)) != 0)
1157                     incore_add_u8(&data, h);
1158                   incore_add_u8(&data, 0);
1159                 }
1160               else
1161                 {
1162                   while (read_u8(&data) != 0)
1163                     ;
1164                 }
1165               break;
1166             case TYPE_IDARRAY:
1167             case TYPE_REL_IDARRAY:
1168               if (id < INTERESTED_START || id > INTERESTED_END)
1169                 {
1170                   if (keys[key].storage == KEY_STORAGE_INCORE)
1171                     {
1172                       if (idmap)
1173                         {
1174                           Id old = 0, rel = keys[key].type == TYPE_REL_IDARRAY ? SOLVABLE_PREREQMARKER : 0;
1175                           do
1176                             {
1177                               did = read_id(&data, 0);
1178                               h = did & 0x40;
1179                               did = (did & 0x3f) | ((did >> 1) & ~0x3f);
1180                               if (rel)
1181                                 {
1182                                   if (did == 0)
1183                                     {
1184                                       did = rel;
1185                                       old = 0;
1186                                     }
1187                                   else
1188                                     {
1189                                       did += old;
1190                                       old = did;
1191                                     }
1192                                 }
1193                               if (did >= numid + numrel)
1194                                 abort();
1195                               did = idmap[did];
1196                               did = ((did & ~0x3f) << 1) | h;
1197                               incore_add_id(&data, did);
1198                             }
1199                           while (h);
1200                         }
1201                       else
1202                         {
1203                           while (((h = read_u8(&data)) & 0xc0) != 0)
1204                             incore_add_u8(&data, h);
1205                           break;
1206                         }
1207                     }
1208                   else
1209                     {
1210                       while ((read_u8(&data) & 0xc0) != 0)
1211                         ;
1212                       break;
1213                     }
1214                   break;
1215                 }
1216               ido = idarraydatap - repo->idarraydata;
1217               idarraydatap = read_idarray(&data, numid + numrel, idmap, idarraydatap, idarraydataend, keys[key].type == TYPE_REL_IDARRAY);
1218               if (id == SOLVABLE_PROVIDES)
1219                 s->provides = ido;
1220               else if (id == SOLVABLE_OBSOLETES)
1221                 s->obsoletes = ido;
1222               else if (id == SOLVABLE_CONFLICTS)
1223                 s->conflicts = ido;
1224               else if (id == SOLVABLE_REQUIRES)
1225                 s->requires = ido;
1226               else if (id == SOLVABLE_RECOMMENDS)
1227                 s->recommends= ido;
1228               else if (id == SOLVABLE_SUPPLEMENTS)
1229                 s->supplements = ido;
1230               else if (id == SOLVABLE_SUGGESTS)
1231                 s->suggests = ido;
1232               else if (id == SOLVABLE_ENHANCES)
1233                 s->enhances = ido;
1234               else if (id == SOLVABLE_FRESHENS)
1235                 s->freshens = ido;
1236 #if 0
1237               POOL_DEBUG(SAT_DEBUG_STATS, "%s ->\n", id2str(pool, id));
1238               for (; repo->idarraydata[ido]; ido++)
1239                 POOL_DEBUG(SAT_DEBUG_STATS,"  %s\n", dep2str(pool, repo->idarraydata[ido]));
1240 #endif
1241               break;
1242             case TYPE_DIRNUMNUMARRAY:
1243               for (;;)
1244                 {
1245                   Id num, num2;
1246                   did = read_id(&data, numdir);
1247                   num = read_id(&data, 0);
1248                   num2 = read_id(&data, 0);
1249                   if (keys[key].storage == KEY_STORAGE_INCORE)
1250                     {
1251 #if 0
1252                       POOL_DEBUG(SAT_DEBUG_STATS, "%s -> %d %d %d\n", id2str(pool, id), did, num, num2);
1253 #endif
1254                       incore_add_id(&data, did);
1255                       incore_add_id(&data, num);
1256                       incore_add_id(&data, num2);
1257                     }
1258                   if (!(num2 & 0x40))
1259                     break;
1260                 }
1261               break;
1262
1263             default:
1264               skip_item(&data, keys[key].type, numid, numrel);
1265             }
1266         }
1267     }
1268
1269   if (data.error)
1270     {
1271       /* free solvables */
1272       repo_free_solvable_block(repo, data.start, data.end - data.start, 1);
1273       /* free id array */
1274       repo->idarraysize -= size_idarray;
1275       /* free incore data */
1276       data.incoredata = sat_free(data.incoredata);
1277       data.incoredatalen = data.incoredatafree = 0;
1278     }
1279
1280   if (data.incoredatafree)
1281     {
1282       /* shrink excess size */
1283       data.incoredata = sat_realloc(data.incoredata, data.incoredatalen);
1284       data.incoredatafree = 0;
1285     }
1286
1287   for (i = 1; i < numkeys; i++)
1288     if (keys[i].storage == KEY_STORAGE_VERTICAL_OFFSET)
1289       break;
1290   if (i < numkeys && !data.error)
1291     {
1292       Id fileoffset = 0;
1293       unsigned int pagesize;
1294
1295       /* we have vertical data, make it available */
1296       data.verticaloffset = sat_calloc(numkeys, sizeof(Id));
1297       for (i = 1; i < numkeys; i++)
1298         if (keys[i].storage == KEY_STORAGE_VERTICAL_OFFSET)
1299           {
1300             data.verticaloffset[i] = fileoffset;
1301             fileoffset += keys[i].size;
1302           }
1303       data.lastverticaloffset = fileoffset;
1304       pagesize = read_u32(&data);
1305       repodata_read_or_setup_pages(&data, pagesize, fileoffset);
1306     }
1307   else
1308     {
1309       /* no longer needed */
1310       data.fp = 0;
1311     }
1312
1313   if (parent)
1314     {
1315       /* we're a store */
1316       sat_free(parent->schemata);
1317       sat_free(parent->schemadata);
1318       sat_free(parent->keys);
1319       *parent = data;
1320     }
1321   else if (data.incoredatalen || data.fp)
1322     {
1323       /* we got some data, make it available */
1324       repo->repodata = sat_realloc2(repo->repodata, repo->nrepodata + 1, sizeof(data));
1325       repo->repodata[repo->nrepodata++] = data;
1326     }
1327   else
1328     {
1329       /* discard data */
1330       sat_free(data.dirpool.dirs);
1331       sat_free(data.incoreoffset);
1332       sat_free(schemata);
1333       sat_free(schemadata);
1334       sat_free(keys);
1335     }
1336
1337   sat_free(exists);
1338   sat_free(idmap);
1339   mypool = 0;
1340   return data.error;
1341 }
1342
1343 int
1344 repo_add_solv(Repo *repo, FILE *fp)
1345 {
1346   return repo_add_solv_parent(repo, fp, 0);
1347 }
1348
1349 static void
1350 repodata_load_solv(Repodata *data)
1351 {
1352   FILE *fp;
1353   Pool *pool = data->repo->pool;
1354   if (!pool->loadcallback)
1355     {
1356       data->state = REPODATA_ERROR;
1357       return;
1358     }
1359   fp = pool->loadcallback(pool, data, pool->loadcallbackdata);
1360
1361   if (!fp)
1362     {
1363       data->state = REPODATA_ERROR;
1364       return;
1365     }
1366   if (repo_add_solv_parent(data->repo, fp, data))
1367     data->state = REPODATA_ERROR;
1368   else
1369     data->state = REPODATA_AVAILABLE;
1370 }