src/repo_solv.c

   1 /*
   2  * Copyright (c) 2007, Novell Inc.
   3  *
   4  * This program is licensed under the BSD license, read LICENSE.BSD
   5  * for further information
   6  */
   7
   8 /*
   9  * repo_solv.c
  10  *
  11  * Read the binary dump of a Repo and create a Repo * from it
  12  *
  13  *  See
  14  *   Repo *pool_addrepo_solv(Pool *pool, FILE *fp)
  15  * below
  16  *
  17  */
  18
  19
  20
  21 #include <stdio.h>
  22 #include <stdlib.h>
  23 #include <unistd.h>
  24 #include <string.h>
  25
  26 #include "repo_solv.h"
  27 #include "util.h"
  28
  29 #define INTERESTED_START        SOLVABLE_NAME
  30 #define INTERESTED_END          SOLVABLE_FRESHENS
  31
  32 #define SOLV_ERROR_NOT_SOLV     1
  33 #define SOLV_ERROR_UNSUPPORTED  2
  34 #define SOLV_ERROR_EOF          3
  35 #define SOLV_ERROR_ID_RANGE     4
  36 #define SOLV_ERROR_OVERFLOW     5
  37 #define SOLV_ERROR_CORRUPT      6
  38
  39 static Pool *mypool;            /* for pool_debug... */
  40
  41 /*-----------------------------------------------------------------*/
  42 /* .solv read functions */
  43
  44 /*
  45  * read u32
  46  */
  47
  48 static unsigned int
  49 read_u32(Repodata *data)
  50 {
  51   int c, i;
  52   unsigned int x = 0;
  53
  54   if (data->error)
  55     return 0;
  56   for (i = 0; i < 4; i++)
  57     {
  58       c = getc(data->fp);
  59       if (c == EOF)
  60         {
  61           pool_debug(mypool, SAT_ERROR, "unexpected EOF\n");
  62           data->error = SOLV_ERROR_EOF;
  63           return 0;
  64         }
  65       x = (x << 8) | c;
  66     }
  67   return x;
  68 }
  69
  70
  71 /*
  72  * read u8
  73  */
  74
  75 static unsigned int
  76 read_u8(Repodata *data)
  77 {
  78   int c;
  79
  80   if (data->error)
  81     return 0;
  82   c = getc(data->fp);
  83   if (c == EOF)
  84     {
  85       pool_debug(mypool, SAT_ERROR, "unexpected EOF\n");
  86       data->error = SOLV_ERROR_EOF;
  87       return 0;
  88     }
  89   return c;
  90 }
  91
  92
  93 /*
  94  * read Id
  95  */
  96
  97 static Id
  98 read_id(Repodata *data, Id max)
  99 {
 100   unsigned int x = 0;
 101   int c, i;
 102
 103   if (data->error)
 104     return 0;
 105   for (i = 0; i < 5; i++)
 106     {
 107       c = getc(data->fp);
 108       if (c == EOF)
 109         {
 110           pool_debug(mypool, SAT_ERROR, "unexpected EOF\n");
 111           data->error = SOLV_ERROR_EOF;
 112           return 0;
 113         }
 114       if (!(c & 128))
 115         {
 116           x = (x << 7) | c;
 117           if (max && x >= max)
 118             {
 119               pool_debug(mypool, SAT_ERROR, "read_id: id too large (%u/%u)\n", x, max);
 120               data->error = SOLV_ERROR_ID_RANGE;
 121               return 0;
 122             }
 123           return x;
 124         }
 125       x = (x << 7) ^ c ^ 128;
 126     }
 127   pool_debug(mypool, SAT_ERROR, "read_id: id too long\n");
 128   data->error = SOLV_ERROR_CORRUPT;
 129   return 0;
 130 }
 131
 132
 133 /*
 134  * read array of Ids
 135  */
 136
 137 static Id *
 138 read_idarray(Repodata *data, Id max, Id *map, Id *store, Id *end, int relative)
 139 {
 140   unsigned int x = 0;
 141   int c;
 142   Id old = 0;
 143
 144   if (data->error)
 145     return 0;
 146   for (;;)
 147     {
 148       c = getc(data->fp);
 149       if (c == EOF)
 150         {
 151           pool_debug(mypool, SAT_ERROR, "unexpected EOF\n");
 152           data->error = SOLV_ERROR_EOF;
 153           return 0;
 154         }
 155       if ((c & 128) == 0)
 156         {
 157           x = (x << 6) | (c & 63);
 158           if (relative)
 159             {
 160               if (x == 0 && c == 0x40)
 161                 {
 162                   /* prereq hack */
 163                   if (store == end)
 164                     {
 165                       pool_debug(mypool, SAT_ERROR, "read_idarray: array overflow\n");
 166                       data->error = SOLV_ERROR_OVERFLOW;
 167                       return 0;
 168                     }
 169                   *store++ = SOLVABLE_PREREQMARKER;
 170                   old = 0;
 171                   x = 0;
 172                   continue;
 173                 }
 174               x = (x - 1) + old;
 175               old = x;
 176             }
 177           if (max && x >= max)
 178             {
 179               pool_debug(mypool, SAT_ERROR, "read_idarray: id too large (%u/%u)\n", x, max);
 180               data->error = SOLV_ERROR_ID_RANGE;
 181               return 0;
 182             }
 183           if (map)
 184             x = map[x];
 185           if (store == end)
 186             {
 187               pool_debug(mypool, SAT_ERROR, "read_idarray: array overflow\n");
 188               return 0;
 189             }
 190           *store++ = x;
 191           if ((c & 64) == 0)
 192             {
 193               if (x == 0)       /* already have trailing zero? */
 194                 return store;
 195               if (store == end)
 196                 {
 197                   pool_debug(mypool, SAT_ERROR, "read_idarray: array overflow\n");
 198                   data->error = SOLV_ERROR_OVERFLOW;
 199                   return 0;
 200                 }
 201               *store++ = 0;
 202               return store;
 203             }
 204           x = 0;
 205           continue;
 206         }
 207       x = (x << 7) ^ c ^ 128;
 208     }
 209 }
 210
 211 static void
 212 read_str(Repodata *data, char **inbuf, unsigned *len)
 213 {
 214   unsigned char *buf = (unsigned char*)*inbuf;
 215   if (!buf)
 216     {
 217       buf = sat_malloc(1024);
 218       *len = 1024;
 219     }
 220   int c;
 221   unsigned ofs = 0;
 222   while((c = getc(data->fp)) != 0)
 223     {
 224       if (c == EOF)
 225         {
 226           pool_debug (mypool, SAT_ERROR, "unexpected EOF\n");
 227           data->error = SOLV_ERROR_EOF;
 228           return;
 229         }
 230       /* Plus 1 as we also want to add the 0.  */
 231       if (ofs + 1 >= *len)
 232         {
 233           *len += 256;
 234           /* Don't realloc on the inbuf, it might be on the stack.  */
 235           if (buf == (unsigned char*)*inbuf)
 236             {
 237               buf = sat_malloc(*len);
 238               memcpy(buf, *inbuf, *len - 256);
 239             }
 240           else
 241             buf = sat_realloc(buf, *len);
 242         }
 243       buf[ofs++] = c;
 244     }
 245   buf[ofs++] = 0;
 246   *inbuf = (char*)buf;
 247 }
 248
 249 static void
 250 skip_item (Repodata *data, unsigned type, unsigned numid, unsigned numrel)
 251 {
 252   switch (type)
 253     {
 254       case TYPE_VOID:
 255       case TYPE_CONSTANT:
 256         break;
 257       case TYPE_ID:
 258         read_id(data, numid + numrel);          /* just check Id */
 259         break;
 260       case TYPE_DIR:
 261         read_id(data, numid + data->dirpool.ndirs);     /* just check Id */
 262         break;
 263       case TYPE_NUM:
 264         read_id(data, 0);
 265         break;
 266       case TYPE_U32:
 267         read_u32(data);
 268         break;
 269       case TYPE_ATTR_STRING:
 270       case TYPE_STR:
 271         while (read_u8(data) != 0)
 272           ;
 273         break;
 274       case TYPE_IDARRAY:
 275       case TYPE_REL_IDARRAY:
 276       case TYPE_ATTR_INTLIST:
 277         while ((read_u8(data) & 0xc0) != 0)
 278           ;
 279         break;
 280       case TYPE_DIRNUMNUMARRAY:
 281         for (;;)
 282           {
 283             read_id(data, numid + data->dirpool.ndirs); /* just check Id */
 284             read_id(data, 0);
 285             if (!(read_id(data, 0) & 0x40))
 286               break;
 287           }
 288         break;
 289       case TYPE_DIRSTRARRAY:
 290         for (;;)
 291           {
 292             Id id = read_id(data, 0);
 293             while (read_u8(data) != 0)
 294               ;
 295             if (!(id & 0x40))
 296               break;
 297           }
 298         break;
 299       case TYPE_COUNT_NAMED:
 300         {
 301           unsigned count = read_id(data, 0);
 302           while (count--)
 303             {
 304               read_id(data, numid);    /* Name */
 305               unsigned t = read_id(data, TYPE_ATTR_TYPE_MAX + 1);
 306               skip_item(data, t, numid, numrel);
 307             }
 308         }
 309         break;
 310       case TYPE_COUNTED:
 311         {
 312           unsigned count = read_id(data, 0);
 313           unsigned t = read_id(data, TYPE_ATTR_TYPE_MAX + 1);
 314           while (count--)
 315             skip_item(data, t, numid, numrel);
 316         }
 317         break;
 318       case TYPE_ATTR_CHUNK:
 319         read_id(data, 0);
 320         /* Fallthrough.  */
 321       case TYPE_ATTR_INT:
 322         read_id(data, 0);
 323         break;
 324       case TYPE_ATTR_LOCALIDS:
 325         while (read_id(data, 0) != 0)
 326           ;
 327         break;
 328       default:
 329         pool_debug(mypool, SAT_ERROR, "unknown type %d\n", type);
 330         data->error = SOLV_ERROR_CORRUPT;
 331         break;
 332     }
 333 }
 334
 335 static int
 336 key_cmp (const void *pa, const void *pb)
 337 {
 338   Repokey *a = (Repokey *)pa;
 339   Repokey *b = (Repokey *)pb;
 340   return a->name - b->name;
 341 }
 342
 343 static void repodata_load_solv(Repodata *data);
 344
 345 static void
 346 parse_repodata(Repodata *maindata, Id *keyp, Repokey *keys, Id *idmap, unsigned numid, unsigned numrel, Repo *repo)
 347 {
 348   Id key, id;
 349   Id *ida, *ide;
 350   Repodata *data;
 351   int i, n;
 352
 353   repo->repodata = sat_realloc2(repo->repodata, repo->nrepodata + 1, sizeof (*data));
 354   data = repo->repodata + repo->nrepodata++;
 355   memset(data, 0, sizeof(*data));
 356   data->repo = repo;
 357   data->state = REPODATA_STUB;
 358   data->loadcallback = repodata_load_solv;
 359
 360   while ((key = *keyp++) != 0)
 361     {
 362       id = keys[key].name;
 363       switch (keys[key].type)
 364         {
 365         case TYPE_IDVALUEARRAY:
 366           if (id != REPODATA_KEYS)
 367             {
 368               skip_item(maindata, TYPE_IDVALUEARRAY, numid, numrel);
 369               break;
 370             }
 371           /* read_idarray writes a terminating 0, that's why the + 1 */
 372           ida = sat_calloc(keys[key].size + 1, sizeof(Id));
 373           ide = read_idarray(maindata, 0, 0, ida, ida + keys[key].size + 1, 0);
 374           n = ide - ida - 1;
 375           if (n & 1)
 376             {
 377               pool_debug (mypool, SAT_ERROR, "invalid attribute data\n");
 378               data->error = SOLV_ERROR_CORRUPT;
 379               return;
 380             }
 381           data->nkeys = 1 + (n >> 1);
 382           data->keys = sat_malloc2(data->nkeys, sizeof(data->keys[0]));
 383           memset(data->keys, 0, sizeof(Repokey));
 384           for (i = 1, ide = ida; i < data->nkeys; i++)
 385             {
 386               if (*ide >= numid)
 387                 {
 388                   pool_debug (mypool, SAT_ERROR, "invalid attribute data\n");
 389                   data->error = SOLV_ERROR_CORRUPT;
 390                   return;
 391                 }
 392               data->keys[i].name = idmap ? idmap[*ide++] : *ide++;
 393               data->keys[i].type = *ide++;
 394               data->keys[i].size = 0;
 395               data->keys[i].storage = 0;
 396             }
 397           sat_free(ida);
 398           if (data->nkeys > 2)
 399             qsort(data->keys + 1, data->nkeys - 1, sizeof(data->keys[0]), key_cmp);
 400           break;
 401         case TYPE_STR:
 402           if (id != REPODATA_LOCATION)
 403             skip_item(maindata, TYPE_STR, numid, numrel);
 404           else
 405             {
 406               char buf[1024];
 407               unsigned len = sizeof (buf);
 408               char *filename = buf;
 409               read_str(maindata, &filename, &len);
 410               data->location = strdup(filename);
 411               if (filename != buf)
 412                 free(filename);
 413             }
 414           break;
 415         default:
 416           skip_item(maindata, keys[key].type, numid, numrel);
 417           break;
 418         }
 419     }
 420 }
 421
 422 /*-----------------------------------------------------------------*/
 423
 424
 425 static void
 426 skip_schema(Repodata *data, Id *keyp, Repokey *keys, unsigned int numid, unsigned int numrel)
 427 {
 428   Id key;
 429   while ((key = *keyp++) != 0)
 430     skip_item(data, keys[key].type, numid, numrel);
 431 }
 432
 433 /*-----------------------------------------------------------------*/
 434
 435 static void
 436 incore_add_id(Repodata *data, Id x)
 437 {
 438   unsigned char *dp;
 439   /* make sure we have at least 5 bytes free */
 440   if (data->incoredatafree < 5)
 441     {
 442       data->incoredata = sat_realloc(data->incoredata, data->incoredatalen + 1024);
 443       data->incoredatafree = 1024;
 444     }
 445   dp = data->incoredata + data->incoredatalen;
 446   if (x < 0)
 447     abort();
 448   if (x >= (1 << 14))
 449     {
 450       if (x >= (1 << 28))
 451         *dp++ = (x >> 28) | 128;
 452       if (x >= (1 << 21))
 453         *dp++ = (x >> 21) | 128;
 454       *dp++ = (x >> 14) | 128;
 455     }
 456   if (x >= (1 << 7))
 457     *dp++ = (x >> 7) | 128;
 458   *dp++ = x & 127;
 459   data->incoredatafree -= dp - (data->incoredata + data->incoredatalen);
 460   data->incoredatalen = dp - data->incoredata;
 461 }
 462
 463 static void
 464 incore_add_u32(Repodata *data, unsigned int x)
 465 {
 466   unsigned char *dp;
 467   /* make sure we have at least 4 bytes free */
 468   if (data->incoredatafree < 4)
 469     {
 470       data->incoredata = sat_realloc(data->incoredata, data->incoredatalen + 1024);
 471       data->incoredatafree = 1024;
 472     }
 473   dp = data->incoredata + data->incoredatalen;
 474   *dp++ = x >> 24;
 475   *dp++ = x >> 16;
 476   *dp++ = x >> 8;
 477   *dp++ = x;
 478   data->incoredatafree -= 4;
 479   data->incoredatalen += 4;
 480 }
 481
 482 static void
 483 incore_add_u8(Repodata *data, unsigned int x)
 484 {
 485   unsigned char *dp;
 486   /* make sure we have at least 1 byte free */
 487   if (data->incoredatafree < 1)
 488     {
 489       data->incoredata = sat_realloc(data->incoredata, data->incoredatalen + 1024);
 490       data->incoredatafree = 1024;
 491     }
 492   dp = data->incoredata + data->incoredatalen;
 493   *dp++ = x;
 494   data->incoredatafree--;
 495   data->incoredatalen++;
 496 }
 497
 498
 499
 500 // ----------------------------------------------
 501
 502
 503 /*
 504  * read repo from .solv file
 505  *  and add it to pool
 506  */
 507
 508 static int
 509 repo_add_solv_parent(Repo *repo, FILE *fp, Repodata *parent)
 510 {
 511   Pool *pool = repo->pool;
 512   int i, l;
 513   unsigned int numid, numrel, numdir, numsolv;
 514   unsigned int numkeys, numschemata, numinfo;
 515
 516   Offset sizeid;
 517   Offset *str;                         /* map Id -> Offset into string space */
 518   char *strsp;                         /* repo string space */
 519   char *sp;                            /* pointer into string space */
 520   Id *idmap;                           /* map of repo Ids to pool Ids */
 521   Id id;
 522   unsigned int hashmask, h;
 523   int hh;
 524   Id *hashtbl;
 525   Id name, evr, did;
 526   int flags;
 527   Reldep *ran;
 528   unsigned int size_idarray;
 529   Id *idarraydatap, *idarraydataend;
 530   Offset ido;
 531   Solvable *s;
 532   unsigned int solvflags;
 533   unsigned int solvversion;
 534   Repokey *keys;
 535   Id *schemadata, *schemadatap, *schemadataend;
 536   Id *schemata, key;
 537   int have_xdata;
 538   unsigned oldnrepodata;
 539
 540   struct _Stringpool *spool;
 541
 542   Repodata data;
 543
 544   memset(&data, 0, sizeof(data));
 545   data.repo = repo;
 546   data.fp = fp;
 547
 548   mypool = pool;
 549
 550   if (read_u32(&data) != ('S' << 24 | 'O' << 16 | 'L' << 8 | 'V'))
 551     {
 552       pool_debug(pool, SAT_ERROR, "not a SOLV file\n");
 553       return SOLV_ERROR_NOT_SOLV;
 554     }
 555   solvversion = read_u32(&data);
 556   switch (solvversion)
 557     {
 558       case SOLV_VERSION_1:
 559       case SOLV_VERSION_2:
 560       case SOLV_VERSION_3:
 561       case SOLV_VERSION_4:
 562       case SOLV_VERSION_5:
 563       /* Version 6 existed only intermittantly.  It's equivalent to
 564          version 5.  */
 565       case 6:
 566         break;
 567       default:
 568         pool_debug(pool, SAT_ERROR, "unsupported SOLV version\n");
 569         return SOLV_ERROR_UNSUPPORTED;
 570     }
 571
 572   pool_freeidhashes(pool);
 573
 574   numid = read_u32(&data);
 575   numrel = read_u32(&data);
 576   if (solvversion >= SOLV_VERSION_4)
 577     numdir = read_u32(&data);
 578   else
 579     numdir = 0;
 580   numsolv = read_u32(&data);
 581   numkeys = read_u32(&data);
 582   numschemata = read_u32(&data);
 583   numinfo = read_u32(&data);
 584   solvflags = read_u32(&data);
 585
 586   if (solvversion < SOLV_VERSION_5)
 587     numschemata++;
 588
 589   if (numdir && numdir < 2)
 590     {
 591       pool_debug(pool, SAT_ERROR, "bad number of dirs\n");
 592       return SOLV_ERROR_CORRUPT;
 593     }
 594   if (numinfo && solvversion < SOLV_VERSION_3)
 595     {
 596       pool_debug(pool, SAT_ERROR, "unsupported SOLV format (has info)\n");
 597       return SOLV_ERROR_UNSUPPORTED;
 598     }
 599
 600   if (parent)
 601     {
 602       if (numrel)
 603         {
 604           pool_debug(pool, SAT_ERROR, "relations are forbidden in a store\n");
 605           return SOLV_ERROR_CORRUPT;
 606         }
 607       if (parent->end - parent->start != numsolv)
 608         {
 609           pool_debug(pool, SAT_ERROR, "unequal number of solvables in a store\n");
 610           return SOLV_ERROR_CORRUPT;
 611         }
 612       if (numinfo)
 613         {
 614           pool_debug(pool, SAT_ERROR, "info blocks are forbidden in a store\n");
 615           return SOLV_ERROR_CORRUPT;
 616         }
 617     }
 618
 619   /*******  Part 1: string IDs  *****************************************/
 620
 621   sizeid = read_u32(&data);            /* size of string+Id space */
 622
 623   /*
 624    * read strings and Ids
 625    *
 626    */
 627
 628
 629   /*
 630    * alloc buffers
 631    */
 632
 633   if (!parent)
 634     spool = &pool->ss;
 635   else
 636     {
 637       data.localpool = 1;
 638       spool = &data.spool;
 639       spool->stringspace = sat_malloc(7);
 640       strcpy(spool->stringspace, "<NULL>");
 641       spool->sstrings = 7;
 642       spool->nstrings = 0;
 643     }
 644
 645   /* alloc string buffer */
 646   spool->stringspace = sat_realloc(spool->stringspace, spool->sstrings + sizeid + 1);
 647   /* alloc string offsets (Id -> Offset into string space) */
 648   spool->strings = sat_realloc2(spool->strings, spool->nstrings + numid, sizeof(Offset));
 649
 650   strsp = spool->stringspace;
 651   str = spool->strings;                /* array of offsets into strsp, indexed by Id */
 652
 653   /* point to _BEHIND_ already allocated string/Id space */
 654   strsp += spool->sstrings;
 655
 656
 657   /*
 658    * read new repo at end of pool
 659    */
 660
 661   if ((solvflags & SOLV_FLAG_PREFIX_POOL) == 0)
 662     {
 663       if (sizeid && fread(strsp, sizeid, 1, fp) != 1)
 664         {
 665           pool_debug(pool, SAT_ERROR, "read error while reading strings\n");
 666           return SOLV_ERROR_EOF;
 667         }
 668     }
 669   else
 670     {
 671       unsigned int pfsize = read_u32(&data);
 672       char *prefix = sat_malloc(pfsize);
 673       char *pp = prefix;
 674       char *old_str = 0;
 675       char *dest = strsp;
 676       if (pfsize && fread(prefix, pfsize, 1, fp) != 1)
 677         {
 678           pool_debug(pool, SAT_ERROR, "read error while reading strings\n");
 679           sat_free(prefix);
 680           return SOLV_ERROR_EOF;
 681         }
 682       for (i = 1; i < numid; i++)
 683         {
 684           int same = (unsigned char)*pp++;
 685           size_t len = strlen (pp) + 1;
 686           if (same)
 687             memcpy(dest, old_str, same);
 688           memcpy(dest + same, pp, len);
 689           pp += len;
 690           old_str = dest;
 691           dest += same + len;
 692         }
 693       sat_free(prefix);
 694     }
 695   strsp[sizeid] = 0;                   /* make string space \0 terminated */
 696   sp = strsp;
 697
 698   if (parent)
 699     {
 700       /* no shared pool, thus no idmap and no unification */
 701       idmap = 0;
 702       spool->nstrings = numid;
 703       str[0] = 0;
 704       for (i = 1; i < spool->nstrings; i++)
 705         {
 706           if (sp >= strsp + sizeid)
 707             {
 708               pool_debug(pool, SAT_ERROR, "not enough strings\n");
 709               return SOLV_ERROR_OVERFLOW;
 710             }
 711           str[i] = sp - spool->stringspace;
 712           sp += strlen(sp) + 1;
 713         }
 714       spool->sstrings = sp - spool->stringspace;
 715     }
 716   else
 717     {
 718
 719       /* alloc id map for name and rel Ids. this maps ids in the solv files
 720        * to the ids in our pool */
 721       idmap = sat_calloc(numid + numrel, sizeof(Id));
 722
 723       /*
 724        * build hashes for all read strings
 725        *
 726        */
 727
 728       hashmask = mkmask(spool->nstrings + numid);
 729
 730 #if 0
 731       POOL_DEBUG(SAT_DEBUG_STATS, "read %d strings\n", numid);
 732       POOL_DEBUG(SAT_DEBUG_STATS, "string hash buckets: %d\n", hashmask + 1);
 733 #endif
 734
 735       /*
 736        * create hashtable with strings already in pool
 737        */
 738
 739       hashtbl = sat_calloc(hashmask + 1, sizeof(Id));
 740       for (i = 1; i < spool->nstrings; i++)  /* leave out our dummy zero id */
 741         {
 742           h = strhash(spool->stringspace + spool->strings[i]) & hashmask;
 743           hh = HASHCHAIN_START;
 744           while (hashtbl[h])
 745             h = HASHCHAIN_NEXT(h, hh, hashmask);
 746           hashtbl[h] = i;
 747         }
 748
 749       /*
 750        * run over string space, calculate offsets
 751        *
 752        * build id map (maps solv Id -> pool Id)
 753        */
 754
 755       for (i = 1; i < numid; i++)
 756         {
 757           if (sp >= strsp + sizeid)
 758             {
 759               sat_free(hashtbl);
 760               sat_free(idmap);
 761               pool_debug(pool, SAT_ERROR, "not enough strings\n");
 762               return SOLV_ERROR_OVERFLOW;
 763             }
 764           if (!*sp)                            /* empty string */
 765             {
 766               idmap[i] = ID_EMPTY;
 767               sp++;
 768               continue;
 769             }
 770
 771           /* find hash slot */
 772           h = strhash(sp) & hashmask;
 773           hh = HASHCHAIN_START;
 774           for (;;)
 775             {
 776               id = hashtbl[h];
 777               if (id == 0)
 778                 break;
 779               if (!strcmp(spool->stringspace + spool->strings[id], sp))
 780                 break;                 /* existing string */
 781               h = HASHCHAIN_NEXT(h, hh, hashmask);
 782             }
 783
 784           /* length == offset to next string */
 785           l = strlen(sp) + 1;
 786           if (id == ID_NULL)           /* end of hash chain -> new string */
 787             {
 788               id = spool->nstrings++;
 789               hashtbl[h] = id;
 790               str[id] = spool->sstrings;    /* save Offset */
 791               if (sp != spool->stringspace + spool->sstrings)   /* not at end-of-buffer */
 792                 memmove(spool->stringspace + spool->sstrings, sp, l);   /* append to pool buffer */
 793               spool->sstrings += l;
 794             }
 795           idmap[i] = id;                       /* repo relative -> pool relative */
 796           sp += l;                             /* next string */
 797         }
 798       sat_free(hashtbl);
 799     }
 800   pool_shrink_strings(pool);           /* vacuum */
 801
 802
 803   /*******  Part 2: Relation IDs  ***************************************/
 804
 805   /*
 806    * read RelDeps
 807    *
 808    */
 809
 810   if (numrel)
 811     {
 812       /* extend rels */
 813       pool->rels = sat_realloc2(pool->rels, pool->nrels + numrel, sizeof(Reldep));
 814       ran = pool->rels;
 815
 816       hashmask = mkmask(pool->nrels + numrel);
 817 #if 0
 818       POOL_DEBUG(SAT_DEBUG_STATS, "read %d rels\n", numrel);
 819       POOL_DEBUG(SAT_DEBUG_STATS, "rel hash buckets: %d\n", hashmask + 1);
 820 #endif
 821       /*
 822        * prep hash table with already existing RelDeps
 823        */
 824
 825       hashtbl = sat_calloc(hashmask + 1, sizeof(Id));
 826       for (i = 1; i < pool->nrels; i++)
 827         {
 828           h = relhash(ran[i].name, ran[i].evr, ran[i].flags) & hashmask;
 829           hh = HASHCHAIN_START;
 830           while (hashtbl[h])
 831             h = HASHCHAIN_NEXT(h, hh, hashmask);
 832           hashtbl[h] = i;
 833         }
 834
 835       /*
 836        * read RelDeps from repo
 837        */
 838
 839       for (i = 0; i < numrel; i++)
 840         {
 841           name = read_id(&data, i + numid);     /* read (repo relative) Ids */
 842           evr = read_id(&data, i + numid);
 843           flags = read_u8(&data);
 844           name = idmap[name];           /* map to (pool relative) Ids */
 845           evr = idmap[evr];
 846           h = relhash(name, evr, flags) & hashmask;
 847           hh = HASHCHAIN_START;
 848           for (;;)
 849             {
 850               id = hashtbl[h];
 851               if (id == ID_NULL)        /* end of hash chain */
 852                 break;
 853               if (ran[id].name == name && ran[id].evr == evr && ran[id].flags == flags)
 854                 break;
 855               h = HASHCHAIN_NEXT(h, hh, hashmask);
 856             }
 857           if (id == ID_NULL)            /* new RelDep */
 858             {
 859               id = pool->nrels++;
 860               hashtbl[h] = id;
 861               ran[id].name = name;
 862               ran[id].evr = evr;
 863               ran[id].flags = flags;
 864             }
 865           idmap[i + numid] = MAKERELDEP(id);   /* fill Id map */
 866         }
 867       sat_free(hashtbl);
 868       pool_shrink_rels(pool);           /* vacuum */
 869     }
 870
 871
 872   /*******  Part 3: Dirs  ***********************************************/
 873   if (numdir)
 874     {
 875       data.dirpool.dirs = sat_malloc2(numdir, sizeof(Id));
 876       data.dirpool.ndirs = numdir;
 877       data.dirpool.dirs[0] = 0;         /* dir 0: virtual root */
 878       data.dirpool.dirs[1] = 1;         /* dir 1: / */
 879       for (i = 2; i < numdir; i++)
 880         {
 881           id = read_id(&data, i + numid);
 882           if (id >= numid)
 883             data.dirpool.dirs[i] = -(id - numid);
 884           else if (idmap)
 885             data.dirpool.dirs[i] = idmap[id];
 886           else
 887             data.dirpool.dirs[i] = id;
 888         }
 889     }
 890
 891   /*******  Part 4: Keys  ***********************************************/
 892
 893   keys = sat_calloc(numkeys, sizeof(*keys));
 894   /* keys start at 1 */
 895   for (i = 1; i < numkeys; i++)
 896     {
 897       id = read_id(&data, numid);
 898       if (idmap)
 899         id = idmap[id];
 900       else if (parent)
 901         id = str2id(pool, stringpool_id2str(spool, id), 1);
 902       keys[i].name = id;
 903       keys[i].type = read_id(&data, 0);
 904       keys[i].size = read_id(&data, 0);
 905 #if 0
 906       fprintf (stderr, "key %d %s %d %d\n", i, id2str(pool,id), keys[i].type,
 907                keys[i].size);
 908 #endif
 909       if (solvversion >= SOLV_VERSION_5)
 910         {
 911           keys[i].storage = read_id(&data, 0);
 912           continue;
 913         }
 914       keys[i].storage = KEY_STORAGE_DROPPED;
 915       if (parent)
 916         {
 917           keys[i].storage = KEY_STORAGE_INCORE;
 918           continue;
 919         }
 920       switch (keys[i].type)
 921         {
 922         case TYPE_VOID:
 923         case TYPE_CONSTANT:
 924         case TYPE_STR:
 925         case TYPE_NUM:
 926         case TYPE_DIRNUMNUMARRAY:
 927           keys[i].storage = KEY_STORAGE_INCORE;
 928           break;
 929         case TYPE_ID:
 930           switch(id)
 931             {
 932             case SOLVABLE_NAME:
 933             case SOLVABLE_ARCH:
 934             case SOLVABLE_EVR:
 935             case SOLVABLE_VENDOR:
 936               keys[i].storage = KEY_STORAGE_SOLVABLE;
 937               break;
 938             default:
 939               keys[i].storage = KEY_STORAGE_INCORE;
 940               break;
 941             }
 942           break;
 943         case TYPE_IDARRAY:
 944         case TYPE_REL_IDARRAY:
 945           if (id >= INTERESTED_START && id <= INTERESTED_END)
 946             keys[i].storage = KEY_STORAGE_SOLVABLE;
 947           else
 948             keys[i].storage = KEY_STORAGE_INCORE;
 949           break;
 950         case TYPE_U32:
 951           if (id == RPM_RPMDBID)
 952             keys[i].storage = KEY_STORAGE_SOLVABLE;
 953           else
 954             keys[i].storage = KEY_STORAGE_INCORE;
 955           break;
 956         default:
 957           break;
 958         }
 959     }
 960
 961   have_xdata = parent ? 1 : 0;
 962   for (i = 1; i < numkeys; i++)
 963     if (keys[i].storage == KEY_STORAGE_INCORE || keys[i].storage == KEY_STORAGE_VERTICAL_OFFSET)
 964       have_xdata = 1;
 965
 966   data.keys = keys;
 967   data.nkeys = numkeys;
 968
 969   /*******  Part 5: Schemata ********************************************/
 970
 971   id = read_id(&data, 0);
 972   schemadata = sat_calloc(id + 1, sizeof(Id));
 973   schemadatap = schemadata + 1;
 974   schemadataend = schemadatap + id;
 975   schemata = sat_calloc(numschemata, sizeof(Id));
 976   for (i = 1; i < numschemata; i++)
 977     {
 978       schemata[i] = schemadatap - schemadata;
 979       schemadatap = read_idarray(&data, numid, 0, schemadatap, schemadataend, 0);
 980 #if 0
 981       Id *sp = schemadata + schemata[i];
 982       fprintf (stderr, "schema %d:", i);
 983       for (; *sp; sp++)
 984         fprintf (stderr, " %d", *sp);
 985       fprintf (stderr, "\n");
 986 #endif
 987     }
 988   data.schemata = schemata;
 989   data.nschemata = numschemata;
 990   data.schemadata = schemadata;
 991   data.schemadatalen = schemadataend - data.schemadata;
 992
 993
 994   /*******  Part 6: Info  ***********************************************/
 995   oldnrepodata = repo->nrepodata;
 996   for (i = 0; i < numinfo; i++)
 997     {
 998       /* for now we're just interested in data that starts with
 999        * the repodata_external id
1000        */
1001       Id *keyp;
1002       id = read_id(&data, numschemata);
1003       if (solvversion < SOLV_VERSION_5)
1004         id++;
1005       keyp = schemadata + schemata[id];
1006       key = *keyp;
1007       if (keys[key].name == REPODATA_EXTERNAL && keys[key].type == TYPE_VOID)
1008         {
1009           /* external data for some ids */
1010           parse_repodata(&data, keyp, keys, idmap, numid, numrel, repo);
1011         }
1012       else
1013         skip_schema(&data, keyp, keys, numid, numrel);
1014     }
1015
1016
1017   /*******  Part 7: packed sizes (optional)  ****************************/
1018   char *exists = 0;
1019   if ((solvflags & SOLV_FLAG_PACKEDSIZES) != 0)
1020     {
1021       exists = sat_malloc (numsolv);
1022       for (i = 0; i < numsolv; i++)
1023         exists[i] = read_id(&data, 0) != 0;
1024     }
1025
1026
1027   /*******  Part 8: item data *******************************************/
1028
1029   /* calculate idarray size */
1030   size_idarray = 0;
1031   for (i = 1; i < numkeys; i++)
1032     {
1033       id = keys[i].name;
1034       if ((keys[i].type == TYPE_IDARRAY || keys[i].type == TYPE_REL_IDARRAY)
1035           && id >= INTERESTED_START && id <= INTERESTED_END)
1036         size_idarray += keys[i].size;
1037     }
1038
1039   /* allocate needed space in repo */
1040   if (size_idarray)
1041     {
1042       repo_reserve_ids(repo, 0, size_idarray);
1043       idarraydatap = repo->idarraydata + repo->idarraysize;
1044       repo->idarraysize += size_idarray;
1045       idarraydataend = idarraydatap + size_idarray;
1046       repo->lastoff = 0;
1047     }
1048   else
1049     {
1050       idarraydatap = 0;
1051       idarraydataend = 0;
1052     }
1053
1054   /* read solvables */
1055   if (parent)
1056     {
1057       data.start = parent->start;
1058       data.end = parent->end;
1059       s = pool_id2solvable(pool, data.start);
1060     }
1061   else if (numsolv)
1062     {
1063       s = pool_id2solvable(pool, repo_add_solvable_block(repo, numsolv));
1064       /* store start and end of our id block */
1065       data.start = s - pool->solvables;
1066       data.end = data.start + numsolv;
1067       /* In case we have subfiles, make them refer to our part of the
1068          repository now.  */
1069       for (i = oldnrepodata; i < repo->nrepodata; i++)
1070         {
1071           repo->repodata[i].start = data.start;
1072           repo->repodata[i].end = data.end;
1073         }
1074     }
1075   else
1076     s = 0;
1077
1078   if (have_xdata)
1079     data.incoreoffset = sat_calloc(numsolv, sizeof(Id));
1080   for (i = 0; i < numsolv; i++, s++)
1081     {
1082       Id *keyp;
1083       if (data.error)
1084         break;
1085       if (exists && !exists[i])
1086         continue;
1087       id = read_id(&data, numschemata);
1088       if (solvversion < SOLV_VERSION_5)
1089         id++;
1090       if (have_xdata)
1091         {
1092           data.incoreoffset[i] = data.incoredatalen;
1093           incore_add_id(&data, id);
1094         }
1095       keyp = schemadata + schemata[id];
1096       while ((key = *keyp++) != 0)
1097         {
1098           id = keys[key].name;
1099 #if 0
1100 fprintf(stderr, "solv %d name %d type %d class %d\n", i, id, keys[key].type, keys[key].storage);
1101 #endif
1102           if (keys[key].storage == KEY_STORAGE_VERTICAL_OFFSET)
1103             {
1104               /* copy offset/length into incore */
1105               did = read_id(&data, 0);
1106               incore_add_id(&data, did);
1107               did = read_id(&data, 0);
1108               incore_add_id(&data, did);
1109               continue;
1110             }
1111           switch (keys[key].type)
1112             {
1113             case TYPE_VOID:
1114             case TYPE_CONSTANT:
1115               break;
1116             case TYPE_ID:
1117               did = read_id(&data, numid + numrel);
1118               if (idmap)
1119                 did = idmap[did];
1120               if (id == SOLVABLE_NAME)
1121                 s->name = did;
1122               else if (id == SOLVABLE_ARCH)
1123                 s->arch = did;
1124               else if (id == SOLVABLE_EVR)
1125                 s->evr = did;
1126               else if (id == SOLVABLE_VENDOR)
1127                 s->vendor = did;
1128               else if (keys[key].storage == KEY_STORAGE_INCORE)
1129                 incore_add_id(&data, did);
1130 #if 0
1131               POOL_DEBUG(SAT_DEBUG_STATS, "%s -> %s\n", id2str(pool, id), id2str(pool, did));
1132 #endif
1133               break;
1134             case TYPE_NUM:
1135               did = read_id(&data, 0);
1136               if (keys[key].storage == KEY_STORAGE_INCORE)
1137                 incore_add_id(&data, did);
1138 #if 0
1139               POOL_DEBUG(SAT_DEBUG_STATS, "%s -> %d\n", id2str(pool, id), did);
1140 #endif
1141               break;
1142             case TYPE_U32:
1143               h = read_u32(&data);
1144 #if 0
1145               POOL_DEBUG(SAT_DEBUG_STATS, "%s -> %u\n", id2str(pool, id), h);
1146 #endif
1147               if (id == RPM_RPMDBID)
1148                 {
1149                   if (!repo->rpmdbid)
1150                     repo->rpmdbid = sat_calloc(numsolv, sizeof(Id));
1151                   repo->rpmdbid[i] = h;
1152                 }
1153               else if (keys[key].storage == KEY_STORAGE_INCORE)
1154                 incore_add_u32(&data, h);
1155               break;
1156             case TYPE_STR:
1157               if (keys[key].storage == KEY_STORAGE_INCORE)
1158                 {
1159                   while ((h = read_u8(&data)) != 0)
1160                     incore_add_u8(&data, h);
1161                   incore_add_u8(&data, 0);
1162                 }
1163               else
1164                 {
1165                   while (read_u8(&data) != 0)
1166                     ;
1167                 }
1168               break;
1169             case TYPE_IDARRAY:
1170             case TYPE_REL_IDARRAY:
1171               if (id < INTERESTED_START || id > INTERESTED_END)
1172                 {
1173                   if (keys[key].storage == KEY_STORAGE_INCORE)
1174                     {
1175                       if (idmap)
1176                         {
1177                           Id old = 0, rel = keys[key].type == TYPE_REL_IDARRAY ? SOLVABLE_PREREQMARKER : 0;
1178                           do
1179                             {
1180                               did = read_id(&data, 0);
1181                               h = did & 0x40;
1182                               did = (did & 0x3f) | ((did >> 1) & ~0x3f);
1183                               if (rel)
1184                                 {
1185                                   if (did == 0)
1186                                     {
1187                                       did = rel;
1188                                       old = 0;
1189                                     }
1190                                   else
1191                                     {
1192                                       did += old;
1193                                       old = did;
1194                                     }
1195                                 }
1196                               if (did >= numid + numrel)
1197                                 abort();
1198                               did = idmap[did];
1199                               did = ((did & ~0x3f) << 1) | h;
1200                               incore_add_id(&data, did);
1201                             }
1202                           while (h);
1203                         }
1204                       else
1205                         {
1206                           while (((h = read_u8(&data)) & 0xc0) != 0)
1207                             incore_add_u8(&data, h);
1208                           break;
1209                         }
1210                     }
1211                   else
1212                     {
1213                       while ((read_u8(&data) & 0xc0) != 0)
1214                         ;
1215                       break;
1216                     }
1217                   break;
1218                 }
1219               ido = idarraydatap - repo->idarraydata;
1220               idarraydatap = read_idarray(&data, numid + numrel, idmap, idarraydatap, idarraydataend, keys[key].type == TYPE_REL_IDARRAY);
1221               if (id == SOLVABLE_PROVIDES)
1222                 s->provides = ido;
1223               else if (id == SOLVABLE_OBSOLETES)
1224                 s->obsoletes = ido;
1225               else if (id == SOLVABLE_CONFLICTS)
1226                 s->conflicts = ido;
1227               else if (id == SOLVABLE_REQUIRES)
1228                 s->requires = ido;
1229               else if (id == SOLVABLE_RECOMMENDS)
1230                 s->recommends= ido;
1231               else if (id == SOLVABLE_SUPPLEMENTS)
1232                 s->supplements = ido;
1233               else if (id == SOLVABLE_SUGGESTS)
1234                 s->suggests = ido;
1235               else if (id == SOLVABLE_ENHANCES)
1236                 s->enhances = ido;
1237               else if (id == SOLVABLE_FRESHENS)
1238                 s->freshens = ido;
1239 #if 0
1240               POOL_DEBUG(SAT_DEBUG_STATS, "%s ->\n", id2str(pool, id));
1241               for (; repo->idarraydata[ido]; ido++)
1242                 POOL_DEBUG(SAT_DEBUG_STATS,"  %s\n", dep2str(pool, repo->idarraydata[ido]));
1243 #endif
1244               break;
1245             case TYPE_DIRNUMNUMARRAY:
1246               for (;;)
1247                 {
1248                   Id num, num2;
1249                   did = read_id(&data, numdir);
1250                   num = read_id(&data, 0);
1251                   num2 = read_id(&data, 0);
1252                   if (keys[key].storage == KEY_STORAGE_INCORE)
1253                     {
1254 #if 0
1255                       POOL_DEBUG(SAT_DEBUG_STATS, "%s -> %d %d %d\n", id2str(pool, id), did, num, num2);
1256 #endif
1257                       incore_add_id(&data, did);
1258                       incore_add_id(&data, num);
1259                       incore_add_id(&data, num2);
1260                     }
1261                   if (!(num2 & 0x40))
1262                     break;
1263                 }
1264               break;
1265             case TYPE_DIRSTRARRAY:
1266               for (;;)
1267                 {
1268                   did = read_id(&data, 0);
1269                   if (keys[key].storage == KEY_STORAGE_INCORE)
1270                     {
1271                       incore_add_id(&data, did);
1272                       while ((h = read_u8(&data)) != 0)
1273                         incore_add_u8(&data, h);
1274                       incore_add_u8(&data, 0);
1275                     }
1276                   else
1277                     {
1278                       while (read_u8(&data) != 0)
1279                         ;
1280                     }
1281                   if (!(did & 0x40))
1282                     break;
1283                 }
1284               break;
1285             default:
1286               skip_item(&data, keys[key].type, numid, numrel);
1287             }
1288         }
1289     }
1290
1291   if (data.error)
1292     {
1293       /* free solvables */
1294       repo_free_solvable_block(repo, data.start, data.end - data.start, 1);
1295       /* free id array */
1296       repo->idarraysize -= size_idarray;
1297       /* free incore data */
1298       data.incoredata = sat_free(data.incoredata);
1299       data.incoredatalen = data.incoredatafree = 0;
1300     }
1301
1302   if (data.incoredatafree)
1303     {
1304       /* shrink excess size */
1305       data.incoredata = sat_realloc(data.incoredata, data.incoredatalen);
1306       data.incoredatafree = 0;
1307     }
1308
1309   for (i = 1; i < numkeys; i++)
1310     if (keys[i].storage == KEY_STORAGE_VERTICAL_OFFSET)
1311       break;
1312   if (i < numkeys && !data.error)
1313     {
1314       Id fileoffset = 0;
1315       unsigned int pagesize;
1316
1317       /* we have vertical data, make it available */
1318       data.verticaloffset = sat_calloc(numkeys, sizeof(Id));
1319       for (i = 1; i < numkeys; i++)
1320         if (keys[i].storage == KEY_STORAGE_VERTICAL_OFFSET)
1321           {
1322             data.verticaloffset[i] = fileoffset;
1323             fileoffset += keys[i].size;
1324           }
1325       data.lastverticaloffset = fileoffset;
1326       pagesize = read_u32(&data);
1327       repodata_read_or_setup_pages(&data, pagesize, fileoffset);
1328     }
1329   else
1330     {
1331       /* no longer needed */
1332       data.fp = 0;
1333     }
1334
1335   if (parent)
1336     {
1337       /* we're a store */
1338       sat_free(parent->schemata);
1339       sat_free(parent->schemadata);
1340       sat_free(parent->keys);
1341       *parent = data;
1342     }
1343   else if (data.incoredatalen || data.fp)
1344     {
1345       /* we got some data, make it available */
1346       repo->repodata = sat_realloc2(repo->repodata, repo->nrepodata + 1, sizeof(data));
1347       repo->repodata[repo->nrepodata++] = data;
1348     }
1349   else
1350     {
1351       /* discard data */
1352       sat_free(data.dirpool.dirs);
1353       sat_free(data.incoreoffset);
1354       sat_free(schemata);
1355       sat_free(schemadata);
1356       sat_free(keys);
1357     }
1358
1359   sat_free(exists);
1360   sat_free(idmap);
1361   mypool = 0;
1362   return data.error;
1363 }
1364
1365 int
1366 repo_add_solv(Repo *repo, FILE *fp)
1367 {
1368   return repo_add_solv_parent(repo, fp, 0);
1369 }
1370
1371 static void
1372 repodata_load_solv(Repodata *data)
1373 {
1374   FILE *fp;
1375   Pool *pool = data->repo->pool;
1376   if (!pool->loadcallback)
1377     {
1378       data->state = REPODATA_ERROR;
1379       return;
1380     }
1381   fp = pool->loadcallback(pool, data, pool->loadcallbackdata);
1382
1383   if (!fp)
1384     {
1385       data->state = REPODATA_ERROR;
1386       return;
1387     }
1388   if (repo_add_solv_parent(data->repo, fp, data))
1389     data->state = REPODATA_ERROR;
1390   else
1391     data->state = REPODATA_AVAILABLE;
1392 }