src/repo.c

   1 /*
   2  * Copyright (c) 2007, Novell Inc.
   3  *
   4  * This program is licensed under the BSD license, read LICENSE.BSD
   5  * for further information
   6  */
   7
   8 /*
   9  * repo.c
  10  *
  11  * Manage metadata coming from one repository
  12  *
  13  */
  14
  15 #define _GNU_SOURCE
  16 #include <string.h>
  17 #include <fnmatch.h>
  18
  19 #include <stdio.h>
  20 #include <stdlib.h>
  21
  22
  23
  24 #include "repo.h"
  25 #include "pool.h"
  26 #include "poolid_private.h"
  27 #include "util.h"
  28 #include "chksum.h"
  29
  30 #define IDARRAY_BLOCK     4095
  31
  32
  33 /*
  34  * create empty repo
  35  * and add to pool
  36  */
  37
  38 Repo *
  39 repo_create(Pool *pool, const char *name)
  40 {
  41   Repo *repo;
  42
  43   pool_freewhatprovides(pool);
  44   repo = (Repo *)solv_calloc(1, sizeof(*repo));
  45   if (!pool->nrepos)
  46     {
  47       pool->nrepos = 1; /* start with repoid 1 */
  48       pool->repos = (Repo **)solv_calloc(2, sizeof(Repo *));
  49     }
  50   else
  51     pool->repos = (Repo **)solv_realloc2(pool->repos, pool->nrepos + 1, sizeof(Repo *));
  52   pool->repos[pool->nrepos] = repo;
  53   pool->urepos++;
  54   repo->repoid = pool->nrepos++;
  55   repo->name = name ? solv_strdup(name) : 0;
  56   repo->pool = pool;
  57   repo->start = pool->nsolvables;
  58   repo->end = pool->nsolvables;
  59   repo->nsolvables = 0;
  60   return repo;
  61 }
  62
  63 void
  64 repo_freedata(Repo *repo)
  65 {
  66   int i;
  67   for (i = 1; i < repo->nrepodata; i++)
  68     repodata_freedata(repo->repodata + i);
  69   solv_free(repo->repodata);
  70   solv_free(repo->idarraydata);
  71   solv_free(repo->rpmdbid);
  72   solv_free(repo->lastidhash);
  73   solv_free((char *)repo->name);
  74   solv_free(repo);
  75 }
  76
  77 /* delete all solvables and repodata blocks from this repo */
  78
  79 void
  80 repo_empty(Repo *repo, int reuseids)
  81 {
  82   Pool *pool = repo->pool;
  83   Solvable *s;
  84   int i;
  85
  86   pool_freewhatprovides(pool);
  87   if (reuseids && repo->end == pool->nsolvables)
  88     {
  89       /* it's ok to reuse the ids. As this is the last repo, we can
  90          just shrink the solvable array */
  91       for (i = repo->end - 1, s = pool->solvables + i; i >= repo->start; i--, s--)
  92         if (s->repo != repo)
  93           break;
  94       pool_free_solvable_block(pool, i + 1, repo->end - (i + 1), reuseids);
  95       repo->end = i + 1;
  96     }
  97   /* zero out (i.e. free) solvables belonging to this repo */
  98   for (i = repo->start, s = pool->solvables + i; i < repo->end; i++, s++)
  99     if (s->repo == repo)
 100       memset(s, 0, sizeof(*s));
 101   repo->end = repo->start;
 102   repo->nsolvables = 0;
 103
 104   /* free all data belonging to this repo */
 105   repo->idarraydata = solv_free(repo->idarraydata);
 106   repo->idarraysize = 0;
 107   repo->lastoff = 0;
 108   repo->rpmdbid = solv_free(repo->rpmdbid);
 109   for (i = 1; i < repo->nrepodata; i++)
 110     repodata_freedata(repo->repodata + i);
 111   solv_free(repo->repodata);
 112   repo->repodata = 0;
 113   repo->nrepodata = 0;
 114 }
 115
 116 /*
 117  * remove repo from pool, delete solvables
 118  *
 119  */
 120
 121 void
 122 repo_free(Repo *repo, int reuseids)
 123 {
 124   Pool *pool = repo->pool;
 125   int i;
 126
 127   if (repo == pool->installed)
 128     pool->installed = 0;
 129   repo_empty(repo, reuseids);
 130   for (i = 1; i < pool->nrepos; i++)    /* find repo in pool */
 131     if (pool->repos[i] == repo)
 132       break;
 133   if (i == pool->nrepos)               /* repo not in pool, return */
 134     return;
 135   if (i == pool->nrepos - 1 && reuseids)
 136     pool->nrepos--;
 137   else
 138     pool->repos[i] = 0;
 139   pool->urepos--;
 140   repo_freedata(repo);
 141 }
 142
 143 Id
 144 repo_add_solvable(Repo *repo)
 145 {
 146   Id p = pool_add_solvable(repo->pool);
 147   if (!repo->start || repo->start == repo->end)
 148     repo->start = repo->end = p;
 149   /* warning: sidedata must be extended before adapting start/end */
 150   if (repo->rpmdbid)
 151     repo->rpmdbid = (Id *)repo_sidedata_extend(repo, repo->rpmdbid, sizeof(Id), p, 1);
 152   if (p < repo->start)
 153     repo->start = p;
 154   if (p + 1 > repo->end)
 155     repo->end = p + 1;
 156   repo->nsolvables++;
 157   repo->pool->solvables[p].repo = repo;
 158   return p;
 159 }
 160
 161 Id
 162 repo_add_solvable_block(Repo *repo, int count)
 163 {
 164   Id p;
 165   Solvable *s;
 166   if (!count)
 167     return 0;
 168   p = pool_add_solvable_block(repo->pool, count);
 169   if (!repo->start || repo->start == repo->end)
 170     repo->start = repo->end = p;
 171   /* warning: sidedata must be extended before adapting start/end */
 172   if (repo->rpmdbid)
 173     repo->rpmdbid = (Id *)repo_sidedata_extend(repo, repo->rpmdbid, sizeof(Id), p, count);
 174   if (p < repo->start)
 175     repo->start = p;
 176   if (p + count > repo->end)
 177     repo->end = p + count;
 178   repo->nsolvables += count;
 179   for (s = repo->pool->solvables + p; count--; s++)
 180     s->repo = repo;
 181   return p;
 182 }
 183
 184 void
 185 repo_free_solvable(Repo *repo, Id p, int reuseids)
 186 {
 187   repo_free_solvable_block(repo, p, 1, reuseids);
 188 }
 189
 190 void
 191 repo_free_solvable_block(Repo *repo, Id start, int count, int reuseids)
 192 {
 193   Solvable *s;
 194   Repodata *data;
 195   int i;
 196   if (start + count == repo->end)
 197     repo->end -= count;
 198   repo->nsolvables -= count;
 199   for (s = repo->pool->solvables + start, i = count; i--; s++)
 200     s->repo = 0;
 201   pool_free_solvable_block(repo->pool, start, count, reuseids);
 202   FOR_REPODATAS(repo, i, data)
 203     {
 204       int dstart, dend;
 205       if (data->end > repo->end)
 206         repodata_shrink(data, repo->end);
 207       dstart = data->start > start ? data->start : start;
 208       dend = data->end < start + count ? data->end : start + count;
 209       if (dstart < dend)
 210         {
 211           if (data->attrs)
 212             {
 213               int j;
 214               for (j = dstart; j < dend; j++)
 215                 data->attrs[j - data->start] = solv_free(data->attrs[j - data->start]);
 216             }
 217           if (data->incoreoffset)
 218             memset(data->incoreoffset + (dstart - data->start), 0, (dend - dstart) * sizeof(Id));
 219         }
 220     }
 221 }
 222
 223 /* specialized version of repo_add_solvable_block that inserts the new solvable
 224  * block before the indicated repo, which gets relocated.
 225  * used in repo_add_rpmdb
 226  */
 227 Id
 228 repo_add_solvable_block_before(Repo *repo, int count, Repo *beforerepo)
 229 {
 230   Pool *pool = repo->pool;
 231   Id p;
 232   Solvable *s;
 233   Repodata *data;
 234   int i;
 235
 236   if (!count || !beforerepo || beforerepo->end != pool->nsolvables || beforerepo->start == beforerepo->end)
 237     return repo_add_solvable_block(repo, count);
 238   p = beforerepo->start;
 239   /* make sure all solvables belong to beforerepo */
 240   for (i = p, s = pool->solvables + i; i < beforerepo->end; i++, s++)
 241     if (s->repo && s->repo != beforerepo)
 242       return repo_add_solvable_block(repo, count);
 243   /* now move beforerepo to back */
 244   pool_add_solvable_block(pool, count); /* must return beforerepo->end! */
 245   memmove(pool->solvables + p + count, pool->solvables + p, (beforerepo->end - p) * sizeof(Solvable));
 246   memset(pool->solvables + p, 0, sizeof(Solvable) * count);
 247   /* adapt repodata */
 248   FOR_REPODATAS(beforerepo, i, data)
 249     {
 250       if (data->start < p)
 251         continue;
 252       data->start += count;
 253       data->end += count;
 254     }
 255   beforerepo->start += count;
 256   beforerepo->end += count;
 257   /* we now have count free solvables at id p */
 258   /* warning: sidedata must be extended before adapting start/end */
 259   if (repo->rpmdbid)
 260     repo->rpmdbid = (Id *)repo_sidedata_extend(repo, repo->rpmdbid, sizeof(Id), p, count);
 261   if (p < repo->start)
 262     repo->start = p;
 263   if (p + count > repo->end)
 264     repo->end = p + count;
 265   repo->nsolvables += count;
 266   for (s = pool->solvables + p; count--; s++)
 267     s->repo = repo;
 268   return p;
 269 }
 270
 271
 272 /* repository sidedata is solvable data allocated on demand.
 273  * It is used for data that is normally not present
 274  * in the solvable like the rpmdbid.
 275  * The solvable allocation funcions need to make sure that
 276  * the sidedata gets extended if new solvables get added.
 277  */
 278
 279 #define REPO_SIDEDATA_BLOCK 63
 280
 281 void *
 282 repo_sidedata_create(Repo *repo, size_t size)
 283 {
 284   return solv_calloc_block(repo->end - repo->start, size, REPO_SIDEDATA_BLOCK);
 285 }
 286
 287 void *
 288 repo_sidedata_extend(Repo *repo, void *b, size_t size, Id p, int count)
 289 {
 290   int n = repo->end - repo->start;
 291   if (p < repo->start)
 292     {
 293       int d = repo->start - p;
 294       b = solv_extend(b, n, d, size, REPO_SIDEDATA_BLOCK);
 295       memmove((char *)b + d * size, b, n * size);
 296       memset(b, 0, d * size);
 297       n += d;
 298     }
 299   if (p + count > repo->end)
 300     {
 301       int d = p + count - repo->end;
 302       b = solv_extend(b, n, d, size, REPO_SIDEDATA_BLOCK);
 303       memset((char *)b + n * size, 0, d * size);
 304     }
 305   return b;
 306 }
 307
 308 /*
 309  * add Id to idarraydata used to store dependencies
 310  * olddeps: old array offset to extend
 311  * returns new array offset
 312  */
 313
 314 Offset
 315 repo_addid(Repo *repo, Offset olddeps, Id id)
 316 {
 317   Id *idarray;
 318   int idarraysize;
 319   int i;
 320
 321   idarray = repo->idarraydata;
 322   idarraysize = repo->idarraysize;
 323
 324   if (!idarray)                        /* alloc idarray if not done yet */
 325     {
 326       idarraysize = 1;
 327       idarray = solv_extend_resize(0, 1, sizeof(Id), IDARRAY_BLOCK);
 328       idarray[0] = 0;
 329       repo->lastoff = 0;
 330     }
 331
 332   if (!olddeps)                         /* no deps yet */
 333     {
 334       olddeps = idarraysize;
 335       idarray = solv_extend(idarray, idarraysize, 1, sizeof(Id), IDARRAY_BLOCK);
 336     }
 337   else if (olddeps == repo->lastoff)    /* extend at end */
 338     idarraysize--;
 339   else                                  /* can't extend, copy old */
 340     {
 341       i = olddeps;
 342       olddeps = idarraysize;
 343       for (; idarray[i]; i++)
 344         {
 345           idarray = solv_extend(idarray, idarraysize, 1, sizeof(Id), IDARRAY_BLOCK);
 346           idarray[idarraysize++] = idarray[i];
 347         }
 348       idarray = solv_extend(idarray, idarraysize, 1, sizeof(Id), IDARRAY_BLOCK);
 349     }
 350
 351   idarray[idarraysize++] = id;          /* insert Id into array */
 352   idarray = solv_extend(idarray, idarraysize, 1, sizeof(Id), IDARRAY_BLOCK);
 353   idarray[idarraysize++] = 0;           /* ensure NULL termination */
 354
 355   repo->idarraydata = idarray;
 356   repo->idarraysize = idarraysize;
 357   repo->lastoff = olddeps;
 358
 359   return olddeps;
 360 }
 361
 362 #define REPO_ADDID_DEP_HASHTHRES        64
 363 #define REPO_ADDID_DEP_HASHMIN          128
 364
 365 /*
 366  * Optimization for packages with an excessive amount of provides/requires:
 367  * if the number of deps exceed a threshold, we build a hash of the already
 368  * seen ids.
 369  */
 370 static Offset
 371 repo_addid_dep_hash(Repo *repo, Offset olddeps, Id id, Id marker, int size)
 372 {
 373   Id oid, *oidp;
 374   int before;
 375   Hashval h, hh;
 376   Id hid;
 377
 378   before = 0;
 379   if (marker)
 380     {
 381       if (marker < 0)
 382         {
 383           marker = -marker;
 384           before = 1;
 385         }
 386       if (marker == id)
 387         marker = 0;
 388     }
 389
 390   /* maintain hash and lastmarkerpos */
 391   if (repo->lastidhash_idarraysize != repo->idarraysize || (Hashval)size * 2 > repo->lastidhash_mask || repo->lastmarker != marker)
 392     {
 393       repo->lastmarkerpos = 0;
 394       if ((Hashval)size * 2 > repo->lastidhash_mask)
 395         {
 396           repo->lastidhash_mask = mkmask(size < REPO_ADDID_DEP_HASHMIN ? REPO_ADDID_DEP_HASHMIN : size);
 397           repo->lastidhash = solv_realloc2(repo->lastidhash, repo->lastidhash_mask + 1, sizeof(Id));
 398         }
 399       memset(repo->lastidhash, 0, (repo->lastidhash_mask + 1) * sizeof(Id));
 400       for (oidp = repo->idarraydata + olddeps; (oid = *oidp) != 0; oidp++)
 401         {
 402           h = oid & repo->lastidhash_mask;
 403           hh = HASHCHAIN_START;
 404           while (repo->lastidhash[h] != 0)
 405             h = HASHCHAIN_NEXT(h, hh, repo->lastidhash_mask);
 406           repo->lastidhash[h] = oid;
 407           if (marker && oid == marker)
 408             repo->lastmarkerpos = oidp - repo->idarraydata;
 409         }
 410       repo->lastmarker = marker;
 411       repo->lastidhash_idarraysize = repo->idarraysize;
 412     }
 413
 414   /* check the hash! */
 415   h = id & repo->lastidhash_mask;
 416   hh = HASHCHAIN_START;
 417   while ((hid = repo->lastidhash[h]) != 0 && hid != id)
 418     h = HASHCHAIN_NEXT(h, hh, repo->lastidhash_mask);
 419   /* put new element in hash */
 420   if (!hid)
 421     repo->lastidhash[h] = id;
 422   else if (marker == SOLVABLE_FILEMARKER && (!before || !repo->lastmarkerpos))
 423     return olddeps;
 424   if (marker && !before && !repo->lastmarkerpos)
 425     {
 426       /* we have to add the marker first */
 427       repo->lastmarkerpos = repo->idarraysize - 1;
 428       olddeps = repo_addid(repo, olddeps, marker);
 429       /* now put marker in hash */
 430       h = marker & repo->lastidhash_mask;
 431       hh = HASHCHAIN_START;
 432       while (repo->lastidhash[h] != 0)
 433         h = HASHCHAIN_NEXT(h, hh, repo->lastidhash_mask);
 434       repo->lastidhash[h] = marker;
 435       repo->lastidhash_idarraysize = repo->idarraysize;
 436     }
 437   if (!hid)
 438     {
 439       /* new entry, insert in correct position */
 440       if (marker && before && repo->lastmarkerpos)
 441         {
 442           /* need to add it before the marker */
 443           olddeps = repo_addid(repo, olddeps, id);      /* dummy to make room */
 444           memmove(repo->idarraydata + repo->lastmarkerpos + 1, repo->idarraydata + repo->lastmarkerpos, (repo->idarraysize - repo->lastmarkerpos - 2) * sizeof(Id));
 445           repo->idarraydata[repo->lastmarkerpos++] = id;
 446         }
 447       else
 448         {
 449           /* just append it to the end */
 450           olddeps = repo_addid(repo, olddeps, id);
 451         }
 452       repo->lastidhash_idarraysize = repo->idarraysize;
 453       return olddeps;
 454     }
 455   /* we already have it in the hash */
 456   if (!marker)
 457     return olddeps;
 458   if (marker == SOLVABLE_FILEMARKER)
 459     {
 460       /* check if it is in the wrong half */
 461       /* (we already made sure that "before" and "lastmarkerpos" are set, see above) */
 462       for (oidp = repo->idarraydata + repo->lastmarkerpos + 1; (oid = *oidp) != 0; oidp++)
 463         if (oid == id)
 464           break;
 465       if (!oid)
 466         return olddeps;
 467       /* yes, wrong half. copy it over */
 468       memmove(repo->idarraydata + repo->lastmarkerpos + 1, repo->idarraydata + repo->lastmarkerpos, (oidp - (repo->idarraydata + repo->lastmarkerpos)) * sizeof(Id));
 469       repo->idarraydata[repo->lastmarkerpos++] = id;
 470       return olddeps;
 471     }
 472   if (before)
 473     return olddeps;
 474   /* check if it is in the correct half */
 475   for (oidp = repo->idarraydata + repo->lastmarkerpos + 1; (oid = *oidp) != 0; oidp++)
 476     if (oid == id)
 477       return olddeps;
 478   /* nope, copy it over */
 479   for (oidp = repo->idarraydata + olddeps; (oid = *oidp) != 0; oidp++)
 480     if (oid == id)
 481       break;
 482   if (!oid)
 483     return olddeps;     /* should not happen */
 484   memmove(oidp, oidp + 1, (repo->idarraydata + repo->idarraysize - oidp - 2) * sizeof(Id));
 485   repo->idarraydata[repo->idarraysize - 2] = id;
 486   repo->lastmarkerpos--;        /* marker has been moved */
 487   return olddeps;
 488 }
 489
 490 /*
 491  * add dependency (as Id) to repo, also unifies dependencies
 492  * olddeps = offset into idarraydata
 493  * marker= 0 for normal dep
 494  * marker > 0 add dep after marker
 495  * marker < 0 add dep before -marker
 496  * returns new start of dependency array
 497  */
 498 Offset
 499 repo_addid_dep(Repo *repo, Offset olddeps, Id id, Id marker)
 500 {
 501   Id oid, *oidp, *markerp;
 502   int before;
 503
 504   if (!olddeps)
 505     {
 506       if (marker > 0)
 507         olddeps = repo_addid(repo, olddeps, marker);
 508       return repo_addid(repo, olddeps, id);
 509     }
 510
 511   /* check if we should use the hash optimization */
 512   if (olddeps == repo->lastoff)
 513     {
 514       int size = repo->idarraysize - 1 - repo->lastoff;
 515       if (size >= REPO_ADDID_DEP_HASHTHRES)
 516         return repo_addid_dep_hash(repo, olddeps, id, marker, size);
 517     }
 518
 519   before = 0;
 520   if (marker)
 521     {
 522       if (marker < 0)
 523         {
 524           marker = -marker;
 525           before = 1;
 526         }
 527       if (marker == id)
 528         marker = 0;
 529     }
 530
 531   if (!marker)
 532     {
 533       for (oidp = repo->idarraydata + olddeps; (oid = *oidp) != 0; oidp++)
 534         if (oid == id)
 535           return olddeps;
 536       return repo_addid(repo, olddeps, id);
 537     }
 538
 539   markerp = 0;
 540   for (oidp = repo->idarraydata + olddeps; (oid = *oidp) != 0; oidp++)
 541     {
 542       if (oid == marker)
 543         markerp = oidp;
 544       else if (oid == id)
 545         break;
 546     }
 547
 548   if (oid)
 549     {
 550       if (marker == SOLVABLE_FILEMARKER)
 551         {
 552           if (!markerp || !before)
 553             return olddeps;
 554           /* we found it, but in the second half */
 555           memmove(markerp + 1, markerp, (oidp - markerp) * sizeof(Id));
 556           *markerp = id;
 557           return olddeps;
 558         }
 559       if (markerp || before)
 560         return olddeps;
 561       /* we found it, but in the first half */
 562       markerp = oidp++;
 563       for (; (oid = *oidp) != 0; oidp++)
 564         if (oid == marker)
 565           break;
 566       if (!oid)
 567         {
 568           /* no marker in array yet */
 569           oidp--;
 570           if (markerp < oidp)
 571             memmove(markerp, markerp + 1, (oidp - markerp) * sizeof(Id));
 572           *oidp = marker;
 573           return repo_addid(repo, olddeps, id);
 574         }
 575       while (oidp[1])
 576         oidp++;
 577       memmove(markerp, markerp + 1, (oidp - markerp) * sizeof(Id));
 578       *oidp = id;
 579       return olddeps;
 580     }
 581   /* id not yet in array */
 582   if (!before && !markerp)
 583     olddeps = repo_addid(repo, olddeps, marker);
 584   else if (before && markerp)
 585     {
 586       *markerp++ = id;
 587       id = *--oidp;
 588       if (markerp < oidp)
 589         memmove(markerp + 1, markerp, (oidp - markerp) * sizeof(Id));
 590       *markerp = marker;
 591     }
 592   return repo_addid(repo, olddeps, id);
 593 }
 594
 595 /* return standard marker for the keyname dependency.
 596  * 1: return positive marker, -1: return negative marker
 597  */
 598 Id
 599 solv_depmarker(Id keyname, Id marker)
 600 {
 601   if (marker != 1 && marker != -1)
 602     return marker;
 603   if (keyname == SOLVABLE_PROVIDES)
 604     return marker < 0 ? -SOLVABLE_FILEMARKER : SOLVABLE_FILEMARKER;
 605   if (keyname == SOLVABLE_REQUIRES)
 606     return marker < 0 ? -SOLVABLE_PREREQMARKER : SOLVABLE_PREREQMARKER;
 607   return 0;
 608 }
 609
 610 /*
 611  * reserve Ids
 612  * make space for 'num' more dependencies
 613  * returns new start of dependency array
 614  *
 615  * reserved ids will always begin at offset idarraysize
 616  */
 617 Offset
 618 repo_reserve_ids(Repo *repo, Offset olddeps, int num)
 619 {
 620   num++;        /* room for trailing ID_NULL */
 621
 622   if (!repo->idarraysize)              /* ensure buffer space */
 623     {
 624       repo->idarraysize = 1;
 625       repo->idarraydata = solv_extend_resize(0, 1 + num, sizeof(Id), IDARRAY_BLOCK);
 626       repo->idarraydata[0] = 0;
 627       repo->lastoff = 1;
 628       return 1;
 629     }
 630
 631   if (olddeps && olddeps != repo->lastoff)   /* if not appending */
 632     {
 633       /* can't insert into idarray, this would invalidate all 'larger' offsets
 634        * so create new space at end and move existing deps there.
 635        * Leaving 'hole' at old position.
 636        */
 637
 638       Id *idstart, *idend;
 639       int count;
 640
 641       for (idstart = idend = repo->idarraydata + olddeps; *idend++; )   /* find end */
 642         ;
 643       count = idend - idstart - 1 + num;               /* new size */
 644
 645       repo->idarraydata = solv_extend(repo->idarraydata, repo->idarraysize, count, sizeof(Id), IDARRAY_BLOCK);
 646       /* move old deps to end */
 647       olddeps = repo->lastoff = repo->idarraysize;
 648       memcpy(repo->idarraydata + olddeps, idstart, count - num);
 649       repo->idarraysize = olddeps + count - num;
 650
 651       return olddeps;
 652     }
 653
 654   if (olddeps)                         /* appending */
 655     repo->idarraysize--;
 656
 657   /* make room*/
 658   repo->idarraydata = solv_extend(repo->idarraydata, repo->idarraysize, num, sizeof(Id), IDARRAY_BLOCK);
 659
 660   /* appending or new */
 661   repo->lastoff = olddeps ? olddeps : repo->idarraysize;
 662
 663   return repo->lastoff;
 664 }
 665
 666
 667 /***********************************************************************/
 668
 669 struct matchdata
 670 {
 671   Pool *pool;
 672   int flags;
 673   Datamatcher matcher;
 674   int stop;
 675   Id *keyskip;
 676   int (*callback)(void *cbdata, Solvable *s, Repodata *data, Repokey *key, KeyValue *kv);
 677   void *callback_data;
 678 };
 679
 680 static int
 681 repo_matchvalue(void *cbdata, Solvable *s, Repodata *data, Repokey *key, KeyValue *kv)
 682 {
 683   struct matchdata *md = cbdata;
 684
 685   if (md->matcher.match)
 686     {
 687       const char *str;
 688       if (key->name == SOLVABLE_FILELIST && key->type == REPOKEY_TYPE_DIRSTRARRAY && (md->matcher.flags & SEARCH_FILES) != 0)
 689         if (!datamatcher_checkbasename(&md->matcher, kv->str))
 690           return 0;
 691       if (!(str = repodata_stringify(md->pool, data, key, kv, md->flags)))
 692         return 0;
 693       if (!datamatcher_match(&md->matcher, str))
 694         return 0;
 695     }
 696   else
 697     {
 698       /* stringify filelist if requested */
 699       if (key->name == SOLVABLE_FILELIST && key->type == REPOKEY_TYPE_DIRSTRARRAY && (md->matcher.flags & SEARCH_FILES) != 0)
 700         repodata_stringify(md->pool, data, key, kv, md->flags);
 701     }
 702   md->stop = md->callback(md->callback_data, s, data, key, kv);
 703   return md->stop;
 704 }
 705
 706
 707 /* list of all keys we store in the solvable */
 708 /* also used in the dataiterator code in repodata.c */
 709 Repokey repo_solvablekeys[RPM_RPMDBID - SOLVABLE_NAME + 1] = {
 710   { SOLVABLE_NAME,        REPOKEY_TYPE_ID, 0, KEY_STORAGE_SOLVABLE },
 711   { SOLVABLE_ARCH,        REPOKEY_TYPE_ID, 0, KEY_STORAGE_SOLVABLE },
 712   { SOLVABLE_EVR,         REPOKEY_TYPE_ID, 0, KEY_STORAGE_SOLVABLE },
 713   { SOLVABLE_VENDOR,      REPOKEY_TYPE_ID, 0, KEY_STORAGE_SOLVABLE },
 714   { SOLVABLE_PROVIDES,    REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 715   { SOLVABLE_OBSOLETES,   REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 716   { SOLVABLE_CONFLICTS,   REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 717   { SOLVABLE_REQUIRES,    REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 718   { SOLVABLE_RECOMMENDS,  REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 719   { SOLVABLE_SUGGESTS,    REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 720   { SOLVABLE_SUPPLEMENTS, REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 721   { SOLVABLE_ENHANCES,    REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 722   { RPM_RPMDBID,          REPOKEY_TYPE_NUM, 0, KEY_STORAGE_SOLVABLE },
 723 };
 724
 725 static void
 726 domatch_idarray(Solvable *s, Id keyname, struct matchdata *md, Id *ida)
 727 {
 728   KeyValue kv;
 729   kv.entry = 0;
 730   kv.parent = 0;
 731   for (; *ida && !md->stop; ida++)
 732     {
 733       kv.id = *ida;
 734       kv.eof = ida[1] ? 0 : 1;
 735       repo_matchvalue(md, s, 0, repo_solvablekeys + (keyname - SOLVABLE_NAME), &kv);
 736       kv.entry++;
 737     }
 738 }
 739
 740 static Offset *
 741 solvable_offsetptr(Solvable *s, Id keyname)
 742 {
 743   switch(keyname)
 744   {
 745   case SOLVABLE_PROVIDES:
 746     return &s->provides;
 747   case SOLVABLE_OBSOLETES:
 748     return &s->obsoletes;
 749   case SOLVABLE_CONFLICTS:
 750     return &s->conflicts;
 751   case SOLVABLE_REQUIRES:
 752     return &s->requires;
 753   case SOLVABLE_RECOMMENDS:
 754     return &s->recommends;
 755   case SOLVABLE_SUGGESTS:
 756     return &s->suggests;
 757   case SOLVABLE_SUPPLEMENTS:
 758     return &s->supplements;
 759   case SOLVABLE_ENHANCES:
 760     return &s->enhances;
 761   default:
 762     return 0;
 763   }
 764 }
 765
 766 static void
 767 repo_search_md(Repo *repo, Id p, Id keyname, struct matchdata *md)
 768 {
 769   KeyValue kv;
 770   Pool *pool = repo->pool;
 771   Repodata *data;
 772   int i, flags;
 773   Solvable *s;
 774   Id *keyskip;
 775
 776   kv.parent = 0;
 777   md->stop = 0;
 778   if (!p)
 779     {
 780       for (p = repo->start, s = repo->pool->solvables + p; p < repo->end; p++, s++)
 781         {
 782           if (s->repo == repo)
 783             repo_search_md(repo, p, keyname, md);
 784           if (md->stop > SEARCH_NEXT_SOLVABLE)
 785             break;
 786         }
 787       return;
 788     }
 789   if (p < 0 && p != SOLVID_META)
 790     return;             /* SOLVID_POS not supported yet */
 791   flags = md->flags;
 792   if (p > 0 && !(flags & SEARCH_NO_STORAGE_SOLVABLE))
 793     {
 794       s = pool->solvables + p;
 795       switch(keyname)
 796         {
 797           case 0:
 798           case SOLVABLE_NAME:
 799             if (s->name)
 800               {
 801                 kv.id = s->name;
 802                 repo_matchvalue(md, s, 0, repo_solvablekeys + 0, &kv);
 803               }
 804             if (keyname || md->stop > SEARCH_NEXT_KEY)
 805               return;
 806           case SOLVABLE_ARCH:
 807             if (s->arch)
 808               {
 809                 kv.id = s->arch;
 810                 repo_matchvalue(md, s, 0, repo_solvablekeys + 1, &kv);
 811               }
 812             if (keyname || md->stop > SEARCH_NEXT_KEY)
 813               return;
 814           case SOLVABLE_EVR:
 815             if (s->evr)
 816               {
 817                 kv.id = s->evr;
 818                 repo_matchvalue(md, s, 0, repo_solvablekeys + 2, &kv);
 819               }
 820             if (keyname || md->stop > SEARCH_NEXT_KEY)
 821               return;
 822           case SOLVABLE_VENDOR:
 823             if (s->vendor)
 824               {
 825                 kv.id = s->vendor;
 826                 repo_matchvalue(md, s, 0, repo_solvablekeys + 3, &kv);
 827               }
 828             if (keyname || md->stop > SEARCH_NEXT_KEY)
 829               return;
 830           case SOLVABLE_PROVIDES:
 831             if (s->provides)
 832               domatch_idarray(s, SOLVABLE_PROVIDES, md, repo->idarraydata + s->provides);
 833             if (keyname || md->stop > SEARCH_NEXT_KEY)
 834               return;
 835           case SOLVABLE_OBSOLETES:
 836             if (s->obsoletes)
 837               domatch_idarray(s, SOLVABLE_OBSOLETES, md, repo->idarraydata + s->obsoletes);
 838             if (keyname || md->stop > SEARCH_NEXT_KEY)
 839               return;
 840           case SOLVABLE_CONFLICTS:
 841             if (s->conflicts)
 842               domatch_idarray(s, SOLVABLE_CONFLICTS, md, repo->idarraydata + s->conflicts);
 843             if (keyname || md->stop > SEARCH_NEXT_KEY)
 844               return;
 845           case SOLVABLE_REQUIRES:
 846             if (s->requires)
 847               domatch_idarray(s, SOLVABLE_REQUIRES, md, repo->idarraydata + s->requires);
 848             if (keyname || md->stop > SEARCH_NEXT_KEY)
 849               return;
 850           case SOLVABLE_RECOMMENDS:
 851             if (s->recommends)
 852               domatch_idarray(s, SOLVABLE_RECOMMENDS, md, repo->idarraydata + s->recommends);
 853             if (keyname || md->stop > SEARCH_NEXT_KEY)
 854               return;
 855           case SOLVABLE_SUPPLEMENTS:
 856             if (s->supplements)
 857               domatch_idarray(s, SOLVABLE_SUPPLEMENTS, md, repo->idarraydata + s->supplements);
 858             if (keyname || md->stop > SEARCH_NEXT_KEY)
 859               return;
 860           case SOLVABLE_SUGGESTS:
 861             if (s->suggests)
 862               domatch_idarray(s, SOLVABLE_SUGGESTS, md, repo->idarraydata + s->suggests);
 863             if (keyname || md->stop > SEARCH_NEXT_KEY)
 864               return;
 865           case SOLVABLE_ENHANCES:
 866             if (s->enhances)
 867               domatch_idarray(s, SOLVABLE_ENHANCES, md, repo->idarraydata + s->enhances);
 868             if (keyname || md->stop > SEARCH_NEXT_KEY)
 869               return;
 870           case RPM_RPMDBID:
 871             if (repo->rpmdbid)
 872               {
 873                 kv.num = (unsigned int)repo->rpmdbid[p - repo->start];
 874                 kv.num2 = 0;
 875                 repo_matchvalue(md, s, 0, repo_solvablekeys + (RPM_RPMDBID - SOLVABLE_NAME), &kv);
 876               }
 877             if (keyname || md->stop > SEARCH_NEXT_KEY)
 878               return;
 879             break;
 880           default:
 881             break;
 882         }
 883     }
 884
 885   if (keyname)
 886     {
 887       if (keyname == SOLVABLE_FILELIST)
 888         data = repo_lookup_filelist_repodata(repo, p, &md->matcher);
 889       else
 890         data = repo_lookup_repodata_opt(repo, p, keyname);
 891       if (data)
 892         repodata_search(data, p, keyname, md->flags, repo_matchvalue, md);
 893       return;
 894     }
 895
 896   keyskip = repo_create_keyskip(repo, p, &md->keyskip);
 897   FOR_REPODATAS(repo, i, data)
 898     {
 899       if (p != SOLVID_META && (p < data->start || p >= data->end))
 900         continue;
 901       repodata_search_keyskip(data, p, keyname, md->flags, keyskip, repo_matchvalue, md);
 902       if (md->stop > SEARCH_NEXT_KEY)
 903         break;
 904     }
 905 }
 906
 907 void
 908 repo_search(Repo *repo, Id p, Id keyname, const char *match, int flags, int (*callback)(void *cbdata, Solvable *s, Repodata *data, Repokey *key, KeyValue *kv), void *cbdata)
 909 {
 910   struct matchdata md;
 911
 912   if (repo->disabled && !(flags & SEARCH_DISABLED_REPOS))
 913     return;
 914   memset(&md, 0, sizeof(md));
 915   md.pool = repo->pool;
 916   md.flags = flags;
 917   md.callback = callback;
 918   md.callback_data = cbdata;
 919   if (match)
 920     datamatcher_init(&md.matcher, match, flags);
 921   repo_search_md(repo, p, keyname, &md);
 922   if (match)
 923     datamatcher_free(&md.matcher);
 924   solv_free(md.keyskip);
 925 }
 926
 927 Repodata *
 928 repo_lookup_repodata(Repo *repo, Id entry, Id keyname)
 929 {
 930   Repodata *data;
 931   int rdid;
 932   Id type;
 933
 934   if (entry == SOLVID_POS)
 935     {
 936       Pool *pool = repo->pool;
 937       return pool->pos.repo == repo && pool->pos.repodataid ? pool->pos.repo->repodata + pool->pos.repodataid : 0;
 938     }
 939   for (rdid = repo->nrepodata - 1, data = repo->repodata + rdid; rdid > 0; rdid--, data--)
 940     {
 941       if (entry != SOLVID_META && (entry < data->start || entry >= data->end))
 942         continue;
 943       if (!repodata_precheck_keyname(data, keyname))
 944         continue;
 945       if ((type = repodata_lookup_type(data, entry, keyname)) != 0)
 946         return type == REPOKEY_TYPE_DELETED ? 0 : data;
 947     }
 948   return 0;
 949 }
 950
 951 /* like repo_lookup_repodata, but may return a repodata that contains no match instead of NULL */
 952 Repodata *
 953 repo_lookup_repodata_opt(Repo *repo, Id entry, Id keyname)
 954 {
 955   Repodata *data, *found = 0;
 956   int rdid;
 957   Id type;
 958
 959   if (entry == SOLVID_POS)
 960     {
 961       Pool *pool = repo->pool;
 962       return pool->pos.repo == repo && pool->pos.repodataid ? pool->pos.repo->repodata + pool->pos.repodataid : 0;
 963     }
 964   for (rdid = repo->nrepodata - 1, data = repo->repodata + rdid; rdid > 0; rdid--, data--)
 965     {
 966       if (entry != SOLVID_META && (entry < data->start || entry >= data->end))
 967         continue;
 968       if (!repodata_precheck_keyname(data, keyname))
 969         continue;
 970       if (found && (type = repodata_lookup_type(found, entry, keyname)) != 0)
 971         return type == REPOKEY_TYPE_DELETED ? 0 : found;
 972       found = data;
 973     }
 974   return found;
 975 }
 976
 977 Repodata *
 978 repo_lookup_filelist_repodata(Repo *repo, Id entry, Datamatcher *matcher)
 979 {
 980   Repodata *data;
 981   int haveextension;
 982   int rdid;
 983   Id type;
 984
 985   if (entry <= 0 || !matcher || !matcher->match || ((matcher->flags & (SEARCH_STRINGMASK|SEARCH_NOCASE)) != SEARCH_STRING
 986       && (matcher->flags & (SEARCH_STRINGMASK|SEARCH_NOCASE)) != SEARCH_GLOB))
 987     return repo_lookup_repodata_opt(repo, entry, SOLVABLE_FILELIST);    /* cannot use filtered filelist */
 988
 989   haveextension = 0;
 990   for (rdid = repo->nrepodata - 1, data = repo->repodata + rdid; rdid > 0; rdid--, data--)
 991     {
 992       if (entry < data->start || entry >= data->end)
 993         continue;
 994       if (data->filelisttype == REPODATA_FILELIST_FILTERED)
 995         {
 996           if (data->state != REPODATA_AVAILABLE)
 997             {
 998               if (data->state != REPODATA_STUB)
 999                 continue;
1000               repodata_load(data);
1001               if (data->state != REPODATA_AVAILABLE || entry < data->start || entry >= data->end)
1002                 continue;
1003             }
1004           /* does this contain any data about the solvable we're looking for? */
1005           if (!data->incoreoffset[entry - data->start])
1006             continue;   /* no, ignore */
1007           if (haveextension && repodata_filelistfilter_matches(data, matcher->match))
1008             return data;
1009           break;        /* fall back to normal code */
1010         }
1011       if (!repodata_has_keyname(data, SOLVABLE_FILELIST))
1012         continue;
1013       if (data->filelisttype == REPODATA_FILELIST_EXTENSION)
1014         {
1015           haveextension++;
1016           continue;
1017         }
1018       if ((type = repodata_lookup_type(data, entry, SOLVABLE_FILELIST)) != 0)
1019         {
1020           if (haveextension)
1021             break;              /* need to look in extension */
1022           return type == REPOKEY_TYPE_DELETED ? 0 : data;
1023         }
1024     }
1025   /* cannot use filtered filelist */
1026   return repo_lookup_repodata_opt(repo, entry, SOLVABLE_FILELIST);
1027 }
1028
1029
1030 /* the keyskip array has the following format:
1031  * 0: keyname area size
1032  * 1: repoid base
1033  * 2: repoid end
1034  * 3: entry for keyname 0
1035  * 4: entry for keyname 1
1036  * ...
1037  */
1038 Id *
1039 repo_create_keyskip(Repo *repo, Id entry, Id **oldkeyskip)
1040 {
1041   Repodata *data, *last = 0;
1042   Id *keyskip;
1043   int rdid, cnt = 0;
1044
1045   if (repo->nrepodata <= 2)
1046     return 0;   /* just one repodata, nothing to filter */
1047   keyskip = oldkeyskip ? *oldkeyskip : 0;
1048   if (keyskip)
1049     {
1050       if (keyskip[1] >= 0x10000000)
1051         keyskip = solv_free(keyskip);
1052       else
1053         keyskip[1] = keyskip[2];
1054     }
1055   FOR_REPODATAS(repo, rdid, data)
1056     {
1057       if (entry != SOLVID_META)
1058         {
1059           if (data->state != REPODATA_AVAILABLE && data->state != REPODATA_LOADING)
1060             {
1061               if (data->state != REPODATA_STUB)
1062                 continue;
1063               repodata_load(data);
1064               if (data->state != REPODATA_AVAILABLE)
1065                 continue;
1066             }
1067           if ((entry < data->start || entry >= data->end))
1068             continue;
1069           if (!data->incoreoffset[entry - data->start])
1070             continue;
1071         }
1072       if (last)
1073         keyskip = repodata_fill_keyskip(last, entry, keyskip);
1074       last = data;
1075       cnt++;
1076     }
1077   if (cnt <= 1)
1078     {
1079       if (oldkeyskip)
1080         *oldkeyskip = keyskip;
1081       return 0;
1082     }
1083   keyskip = repodata_fill_keyskip(last, entry, keyskip);
1084   if (keyskip)
1085     keyskip[2] = keyskip[1] + repo->nrepodata;
1086   if (oldkeyskip)
1087     *oldkeyskip = keyskip;
1088   return keyskip;
1089 }
1090
1091 const char *
1092 repo_lookup_str(Repo *repo, Id entry, Id keyname)
1093 {
1094   Repodata *data;
1095
1096   if (entry >= 0)
1097     {
1098       Pool *pool = repo->pool;
1099       switch (keyname)
1100         {
1101         case SOLVABLE_NAME:
1102           return pool_id2str(pool, pool->solvables[entry].name);
1103         case SOLVABLE_ARCH:
1104           return pool_id2str(pool, pool->solvables[entry].arch);
1105         case SOLVABLE_EVR:
1106           return pool_id2str(pool, pool->solvables[entry].evr);
1107         case SOLVABLE_VENDOR:
1108           return pool_id2str(pool, pool->solvables[entry].vendor);
1109         }
1110     }
1111   data = repo_lookup_repodata_opt(repo, entry, keyname);
1112   return data ? repodata_lookup_str(data, entry, keyname) : 0;
1113 }
1114
1115
1116 unsigned long long
1117 repo_lookup_num(Repo *repo, Id entry, Id keyname, unsigned long long notfound)
1118 {
1119   Repodata *data;
1120
1121   if (entry >= 0)
1122     {
1123       if (keyname == RPM_RPMDBID)
1124         {
1125           if (repo->rpmdbid && entry >= repo->start && entry < repo->end)
1126             return (unsigned int)repo->rpmdbid[entry - repo->start];
1127           return notfound;
1128         }
1129     }
1130   data = repo_lookup_repodata_opt(repo, entry, keyname);
1131   return data ? repodata_lookup_num(data, entry, keyname, notfound) : notfound;
1132 }
1133
1134 Id
1135 repo_lookup_id(Repo *repo, Id entry, Id keyname)
1136 {
1137   Repodata *data;
1138   Id id;
1139
1140   if (entry >= 0)
1141     {
1142       switch (keyname)
1143         {
1144         case SOLVABLE_NAME:
1145           return repo->pool->solvables[entry].name;
1146         case SOLVABLE_ARCH:
1147           return repo->pool->solvables[entry].arch;
1148         case SOLVABLE_EVR:
1149           return repo->pool->solvables[entry].evr;
1150         case SOLVABLE_VENDOR:
1151           return repo->pool->solvables[entry].vendor;
1152         }
1153     }
1154   data = repo_lookup_repodata_opt(repo, entry, keyname);
1155   if (data && (id = repodata_lookup_id(data, entry, keyname)) != 0)
1156     return data->localpool ? repodata_globalize_id(data, id, 1) : id;
1157   return 0;
1158 }
1159
1160 int
1161 repo_lookup_idarray(Repo *repo, Id entry, Id keyname, Queue *q)
1162 {
1163   Repodata *data;
1164   int i;
1165   if (entry >= 0)
1166     {
1167       Offset *offp;
1168       switch (keyname)
1169         {
1170         case SOLVABLE_PROVIDES:
1171         case SOLVABLE_OBSOLETES:
1172         case SOLVABLE_CONFLICTS:
1173         case SOLVABLE_REQUIRES:
1174         case SOLVABLE_RECOMMENDS:
1175         case SOLVABLE_SUGGESTS:
1176         case SOLVABLE_SUPPLEMENTS:
1177         case SOLVABLE_ENHANCES:
1178           offp = solvable_offsetptr(repo->pool->solvables + entry, keyname);
1179           if (*offp)
1180             {
1181               Id *p;
1182               for (p = repo->idarraydata + *offp; *p; p++)
1183                 queue_push(q, *p);
1184             }
1185           return 1;
1186         }
1187     }
1188   data = repo_lookup_repodata_opt(repo, entry, keyname);
1189   if (data && repodata_lookup_idarray(data, entry, keyname, q))
1190     {
1191       if (data->localpool)
1192         {
1193           for (i = 0; i < q->count; i++)
1194             q->elements[i] = repodata_globalize_id(data, q->elements[i], 1);
1195         }
1196       return 1;
1197     }
1198   queue_empty(q);
1199   return 0;
1200 }
1201
1202 int
1203 repo_lookup_deparray(Repo *repo, Id entry, Id keyname, Queue *q, Id marker)
1204 {
1205   int r = repo_lookup_idarray(repo, entry, keyname, q);
1206   if (!r)
1207     return 0;
1208   if (marker == -1 || marker == 1)
1209     marker = solv_depmarker(keyname, marker);
1210   if (marker && q->count)
1211     {
1212       int i;
1213       if (marker < 0)
1214         {
1215           marker = -marker;
1216           for (i = 0; i < q->count; i++)
1217             if (q->elements[i] == marker)
1218               {
1219                 queue_truncate(q, i);
1220                 return r;
1221               }
1222         }
1223       else
1224         {
1225           for (i = 0; i < q->count; i++)
1226             if (q->elements[i] == marker)
1227               {
1228                 queue_deleten(q, 0, i + 1);
1229                 return r;
1230               }
1231           queue_empty(q);
1232         }
1233     }
1234   return r;
1235 }
1236
1237 const unsigned char *
1238 repo_lookup_bin_checksum(Repo *repo, Id entry, Id keyname, Id *typep)
1239 {
1240   const unsigned char *chk;
1241   Repodata *data = repo_lookup_repodata_opt(repo, entry, keyname);
1242   if (data && (chk = repodata_lookup_bin_checksum(data, entry, keyname, typep)) != 0)
1243     return chk;
1244   *typep = 0;
1245   return 0;
1246 }
1247
1248 const char *
1249 repo_lookup_checksum(Repo *repo, Id entry, Id keyname, Id *typep)
1250 {
1251   const unsigned char *chk = repo_lookup_bin_checksum(repo, entry, keyname, typep);
1252   return chk ? pool_bin2hex(repo->pool, chk, solv_chksum_len(*typep)) : 0;
1253 }
1254
1255 int
1256 repo_lookup_void(Repo *repo, Id entry, Id keyname)
1257 {
1258   Repodata *data = repo_lookup_repodata_opt(repo, entry, keyname);
1259   if (data)
1260     return repodata_lookup_void(data, entry, keyname);
1261   return 0;
1262 }
1263
1264 Id
1265 repo_lookup_type(Repo *repo, Id entry, Id keyname)
1266 {
1267   Id type;
1268   Repodata *data;
1269   if (keyname >= SOLVABLE_NAME && keyname <= RPM_RPMDBID)
1270     return repo_solvablekeys[keyname - SOLVABLE_NAME].type;
1271   data = repo_lookup_repodata_opt(repo, entry, keyname);
1272   if (data && (type = repodata_lookup_type(data, entry, keyname)) != 0 && type != REPOKEY_TYPE_DELETED)
1273     return type;
1274   return 0;
1275 }
1276
1277 const void *
1278 repo_lookup_binary(Repo *repo, Id entry, Id keyname, int *lenp)
1279 {
1280   const void *bin;
1281   Repodata *data = repo_lookup_repodata_opt(repo, entry, keyname);
1282   if (data && (bin = repodata_lookup_binary(data, entry, keyname, lenp)) != 0)
1283     return bin;
1284   *lenp = 0;
1285   return 0;
1286 }
1287
1288 unsigned int
1289 repo_lookup_count(Repo *repo, Id entry, Id keyname)
1290 {
1291   Repodata *data;
1292   if (keyname >= SOLVABLE_NAME && keyname <= RPM_RPMDBID)
1293   if (entry >= 0 && keyname >= SOLVABLE_NAME && keyname <= RPM_RPMDBID)
1294     {
1295       Id *p;
1296       Offset *offp;
1297       unsigned int cnt;
1298       switch (keyname)
1299         {
1300         case SOLVABLE_PROVIDES:
1301         case SOLVABLE_OBSOLETES:
1302         case SOLVABLE_CONFLICTS:
1303         case SOLVABLE_REQUIRES:
1304         case SOLVABLE_RECOMMENDS:
1305         case SOLVABLE_SUGGESTS:
1306         case SOLVABLE_SUPPLEMENTS:
1307         case SOLVABLE_ENHANCES:
1308           offp = solvable_offsetptr(repo->pool->solvables + entry, keyname);
1309           for (cnt = 0, p = repo->idarraydata + *offp; *p; p++)
1310             cnt++;
1311           return cnt;
1312         }
1313       return 1;
1314     }
1315   data = repo_lookup_repodata_opt(repo, entry, keyname);
1316   return data ? repodata_lookup_count(data, entry, keyname) : 0;
1317 }
1318
1319 /***********************************************************************/
1320
1321 Repodata *
1322 repo_add_repodata(Repo *repo, int flags)
1323 {
1324   Repodata *data;
1325   int i;
1326   if ((flags & REPO_USE_LOADING) != 0)
1327     {
1328       for (i = repo->nrepodata - 1; i > 0; i--)
1329         if (repo->repodata[i].state == REPODATA_LOADING)
1330           {
1331             Repodata *data = repo->repodata + i;
1332             /* re-init */
1333             /* hack: we mis-use REPO_REUSE_REPODATA here */
1334             if (!(flags & REPO_REUSE_REPODATA))
1335               repodata_empty(data, (flags & REPO_LOCALPOOL) ? 1 : 0);
1336             return data;
1337           }
1338       return 0; /* must not create a new repodata! */
1339     }
1340   if ((flags & REPO_REUSE_REPODATA) != 0)
1341     {
1342       for (i = repo->nrepodata - 1; i > 0; i--)
1343         if (repo->repodata[i].state != REPODATA_STUB)
1344           return repo->repodata + i;
1345     }
1346   if (!repo->nrepodata)
1347     {
1348       repo->nrepodata = 2;      /* start with id 1 */
1349       repo->repodata = solv_calloc(repo->nrepodata, sizeof(*data));
1350     }
1351   else
1352     {
1353       repo->nrepodata++;
1354       repo->repodata = solv_realloc2(repo->repodata, repo->nrepodata, sizeof(*data));
1355     }
1356   data = repo->repodata + repo->nrepodata - 1;
1357   repodata_initdata(data, repo, (flags & REPO_LOCALPOOL) ? 1 : 0);
1358   return data;
1359 }
1360
1361 Repodata *
1362 repo_id2repodata(Repo *repo, Id id)
1363 {
1364   return id ? repo->repodata + id : 0;
1365 }
1366
1367 Repodata *
1368 repo_last_repodata(Repo *repo)
1369 {
1370   int i;
1371   for (i = repo->nrepodata - 1; i > 0; i--)
1372     if (repo->repodata[i].state != REPODATA_STUB)
1373       return repo->repodata + i;
1374   return repo_add_repodata(repo, 0);
1375 }
1376
1377 void
1378 repo_set_id(Repo *repo, Id p, Id keyname, Id id)
1379 {
1380   Repodata *data;
1381   if (p >= 0)
1382     {
1383       switch (keyname)
1384         {
1385         case SOLVABLE_NAME:
1386           repo->pool->solvables[p].name = id;
1387           return;
1388         case SOLVABLE_ARCH:
1389           repo->pool->solvables[p].arch = id;
1390           return;
1391         case SOLVABLE_EVR:
1392           repo->pool->solvables[p].evr = id;
1393           return;
1394         case SOLVABLE_VENDOR:
1395           repo->pool->solvables[p].vendor = id;
1396           return;
1397         }
1398     }
1399   data = repo_last_repodata(repo);
1400   if (data->localpool)
1401     id = repodata_localize_id(data, id, 1);
1402   repodata_set_id(data, p, keyname, id);
1403 }
1404
1405 void
1406 repo_set_num(Repo *repo, Id p, Id keyname, unsigned long long num)
1407 {
1408   Repodata *data;
1409   if (p >= 0)
1410     {
1411       if (keyname == RPM_RPMDBID)
1412         {
1413           if (!repo->rpmdbid)
1414             repo->rpmdbid = repo_sidedata_create(repo, sizeof(Id));
1415           repo->rpmdbid[p - repo->start] = (Id)num;
1416           return;
1417         }
1418     }
1419   data = repo_last_repodata(repo);
1420   repodata_set_num(data, p, keyname, num);
1421 }
1422
1423 void
1424 repo_set_str(Repo *repo, Id p, Id keyname, const char *str)
1425 {
1426   Repodata *data;
1427   if (p >= 0)
1428     {
1429       switch (keyname)
1430         {
1431         case SOLVABLE_NAME:
1432         case SOLVABLE_ARCH:
1433         case SOLVABLE_EVR:
1434         case SOLVABLE_VENDOR:
1435           repo_set_id(repo, p, keyname, pool_str2id(repo->pool, str, 1));
1436           return;
1437         }
1438     }
1439   data = repo_last_repodata(repo);
1440   repodata_set_str(data, p, keyname, str);
1441 }
1442
1443 void
1444 repo_set_poolstr(Repo *repo, Id p, Id keyname, const char *str)
1445 {
1446   Repodata *data;
1447   if (p >= 0)
1448     {
1449       switch (keyname)
1450         {
1451         case SOLVABLE_NAME:
1452         case SOLVABLE_ARCH:
1453         case SOLVABLE_EVR:
1454         case SOLVABLE_VENDOR:
1455           repo_set_id(repo, p, keyname, pool_str2id(repo->pool, str, 1));
1456           return;
1457         }
1458     }
1459   data = repo_last_repodata(repo);
1460   repodata_set_poolstr(data, p, keyname, str);
1461 }
1462
1463 void
1464 repo_add_poolstr_array(Repo *repo, Id p, Id keyname, const char *str)
1465 {
1466   Repodata *data = repo_last_repodata(repo);
1467   repodata_add_poolstr_array(data, p, keyname, str);
1468 }
1469
1470 void
1471 repo_add_deparray(Repo *repo, Id p, Id keyname, Id dep, Id marker)
1472 {
1473   Repodata *data;
1474   if (marker == -1 || marker == 1)
1475     marker = solv_depmarker(keyname, marker);
1476   if (p >= 0)
1477     {
1478       Offset *offp;
1479       switch (keyname)
1480         {
1481         case SOLVABLE_PROVIDES:
1482         case SOLVABLE_OBSOLETES:
1483         case SOLVABLE_CONFLICTS:
1484         case SOLVABLE_REQUIRES:
1485         case SOLVABLE_RECOMMENDS:
1486         case SOLVABLE_SUGGESTS:
1487         case SOLVABLE_SUPPLEMENTS:
1488         case SOLVABLE_ENHANCES:
1489           offp = solvable_offsetptr(repo->pool->solvables + p, keyname);
1490           *offp = repo_addid_dep(repo, *offp, dep, marker);
1491           return;
1492         }
1493     }
1494   data = repo_last_repodata(repo);
1495   repodata_add_idarray(data, p, keyname, dep);
1496 }
1497
1498 void
1499 repo_add_idarray(Repo *repo, Id p, Id keyname, Id id)
1500 {
1501   repo_add_deparray(repo, p, keyname, id, 0);
1502 }
1503
1504 void
1505 repo_set_deparray(Repo *repo, Id p, Id keyname, Queue *q, Id marker)
1506 {
1507   Repodata *data;
1508   if (marker == -1 || marker == 1)
1509     marker = solv_depmarker(keyname, marker);
1510   if (marker)
1511     {
1512       /* complex case, splice old and new arrays */
1513       int i;
1514       Queue q2;
1515       queue_init(&q2);
1516       repo_lookup_deparray(repo, p, keyname, &q2, -marker);
1517       if (marker > 0)
1518         {
1519           if (q->count)
1520             {
1521               queue_push(&q2, marker);
1522               for (i = 0; i < q->count; i++)
1523                 queue_push(&q2, q->elements[i]);
1524             }
1525         }
1526       else
1527         {
1528           if (q2.count)
1529             queue_insert(&q2, 0, -marker);
1530           queue_insertn(&q2, 0, q->count, q->elements);
1531         }
1532       repo_set_deparray(repo, p, keyname, &q2, 0);
1533       queue_free(&q2);
1534       return;
1535     }
1536   if (p >= 0)
1537     {
1538       Offset off, *offp;
1539       int i;
1540       switch (keyname)
1541         {
1542         case SOLVABLE_PROVIDES:
1543         case SOLVABLE_OBSOLETES:
1544         case SOLVABLE_CONFLICTS:
1545         case SOLVABLE_REQUIRES:
1546         case SOLVABLE_RECOMMENDS:
1547         case SOLVABLE_SUGGESTS:
1548         case SOLVABLE_SUPPLEMENTS:
1549         case SOLVABLE_ENHANCES:
1550           off = 0;
1551           for (i = 0; i < q->count; i++)
1552             off = repo_addid_dep(repo, off, q->elements[i], 0);
1553           offp = solvable_offsetptr(repo->pool->solvables + p, keyname);
1554           *offp = off;
1555           return;
1556         }
1557     }
1558   data = repo_last_repodata(repo);
1559   repodata_set_idarray(data, p, keyname, q);
1560 }
1561
1562 void
1563 repo_set_idarray(Repo *repo, Id p, Id keyname, Queue *q)
1564 {
1565   repo_set_deparray(repo, p, keyname, q, 0);
1566 }
1567
1568 void
1569 repo_unset(Repo *repo, Id p, Id keyname)
1570 {
1571   Repodata *data;
1572   if (p >= 0)
1573     {
1574       Solvable *s = repo->pool->solvables + p;
1575       switch (keyname)
1576         {
1577         case SOLVABLE_NAME:
1578           s->name = 0;
1579           return;
1580         case SOLVABLE_ARCH:
1581           s->arch = 0;
1582           return;
1583         case SOLVABLE_EVR:
1584           s->evr = 0;
1585           return;
1586         case SOLVABLE_VENDOR:
1587           s->vendor = 0;
1588           return;
1589         case RPM_RPMDBID:
1590           if (repo->rpmdbid)
1591             repo->rpmdbid[p - repo->start] = 0;
1592           return;
1593         case SOLVABLE_PROVIDES:
1594           s->provides = 0;
1595           return;
1596         case SOLVABLE_OBSOLETES:
1597           s->obsoletes = 0;
1598           return;
1599         case SOLVABLE_CONFLICTS:
1600           s->conflicts = 0;
1601           return;
1602         case SOLVABLE_REQUIRES:
1603           s->requires = 0;
1604           return;
1605         case SOLVABLE_RECOMMENDS:
1606           s->recommends = 0;
1607           return;
1608         case SOLVABLE_SUGGESTS:
1609           s->suggests = 0;
1610           return;
1611         case SOLVABLE_SUPPLEMENTS:
1612           s->supplements = 0;
1613         case SOLVABLE_ENHANCES:
1614           s->enhances = 0;
1615           return;
1616         default:
1617           break;
1618         }
1619     }
1620   data = repo_last_repodata(repo);
1621   repodata_unset(data, p, keyname);
1622 }
1623
1624 void
1625 repo_internalize(Repo *repo)
1626 {
1627   int i;
1628   Repodata *data;
1629
1630   FOR_REPODATAS(repo, i, data)
1631     if (data->attrs || data->xattrs)
1632       repodata_internalize(data);
1633 }
1634
1635 void
1636 repo_disable_paging(Repo *repo)
1637 {
1638   int i;
1639   Repodata *data;
1640
1641   FOR_REPODATAS(repo, i, data)
1642     repodata_disable_paging(data);
1643 }
1644