src/repo.c

   1 /*
   2  * Copyright (c) 2007, Novell Inc.
   3  *
   4  * This program is licensed under the BSD license, read LICENSE.BSD
   5  * for further information
   6  */
   7
   8 /*
   9  * repo.c
  10  *
  11  * Manage metadata coming from one repository
  12  *
  13  */
  14
  15 #define _GNU_SOURCE
  16 #include <string.h>
  17 #include <fnmatch.h>
  18
  19 #include <stdio.h>
  20 #include <stdlib.h>
  21
  22
  23
  24 #include "repo.h"
  25 #include "pool.h"
  26 #include "poolid_private.h"
  27 #include "util.h"
  28 #include "chksum.h"
  29
  30 #define IDARRAY_BLOCK     4095
  31
  32
  33 /*
  34  * create empty repo
  35  * and add to pool
  36  */
  37
  38 Repo *
  39 repo_create(Pool *pool, const char *name)
  40 {
  41   Repo *repo;
  42
  43   pool_freewhatprovides(pool);
  44   repo = (Repo *)solv_calloc(1, sizeof(*repo));
  45   if (!pool->nrepos)
  46     {
  47       pool->nrepos = 1; /* start with repoid 1 */
  48       pool->repos = (Repo **)solv_calloc(2, sizeof(Repo *));
  49     }
  50   else
  51     pool->repos = (Repo **)solv_realloc2(pool->repos, pool->nrepos + 1, sizeof(Repo *));
  52   pool->repos[pool->nrepos] = repo;
  53   pool->urepos++;
  54   repo->repoid = pool->nrepos++;
  55   repo->name = name ? solv_strdup(name) : 0;
  56   repo->pool = pool;
  57   repo->start = pool->nsolvables;
  58   repo->end = pool->nsolvables;
  59   repo->nsolvables = 0;
  60   return repo;
  61 }
  62
  63 void
  64 repo_freedata(Repo *repo)
  65 {
  66   int i;
  67   for (i = 1; i < repo->nrepodata; i++)
  68     repodata_freedata(repo->repodata + i);
  69   solv_free(repo->repodata);
  70   solv_free(repo->idarraydata);
  71   solv_free(repo->rpmdbid);
  72   solv_free(repo->lastidhash);
  73   solv_free((char *)repo->name);
  74   solv_free(repo);
  75 }
  76
  77 /* delete all solvables and repodata blocks from this repo */
  78
  79 void
  80 repo_empty(Repo *repo, int reuseids)
  81 {
  82   Pool *pool = repo->pool;
  83   Solvable *s;
  84   int i;
  85
  86   pool_freewhatprovides(pool);
  87   if (reuseids && repo->end == pool->nsolvables)
  88     {
  89       /* it's ok to reuse the ids. As this is the last repo, we can
  90          just shrink the solvable array */
  91       for (i = repo->end - 1, s = pool->solvables + i; i >= repo->start; i--, s--)
  92         if (s->repo != repo)
  93           break;
  94       pool_free_solvable_block(pool, i + 1, repo->end - (i + 1), reuseids);
  95       repo->end = i + 1;
  96     }
  97   /* zero out (i.e. free) solvables belonging to this repo */
  98   for (i = repo->start, s = pool->solvables + i; i < repo->end; i++, s++)
  99     if (s->repo == repo)
 100       memset(s, 0, sizeof(*s));
 101   repo->end = repo->start;
 102   repo->nsolvables = 0;
 103
 104   /* free all data belonging to this repo */
 105   repo->idarraydata = solv_free(repo->idarraydata);
 106   repo->idarraysize = 0;
 107   repo->lastoff = 0;
 108   repo->rpmdbid = solv_free(repo->rpmdbid);
 109   for (i = 1; i < repo->nrepodata; i++)
 110     repodata_freedata(repo->repodata + i);
 111   solv_free(repo->repodata);
 112   repo->repodata = 0;
 113   repo->nrepodata = 0;
 114 }
 115
 116 /*
 117  * remove repo from pool, delete solvables
 118  *
 119  */
 120
 121 void
 122 repo_free(Repo *repo, int reuseids)
 123 {
 124   Pool *pool = repo->pool;
 125   int i;
 126
 127   if (repo == pool->installed)
 128     pool->installed = 0;
 129   repo_empty(repo, reuseids);
 130   for (i = 1; i < pool->nrepos; i++)    /* find repo in pool */
 131     if (pool->repos[i] == repo)
 132       break;
 133   if (i == pool->nrepos)               /* repo not in pool, return */
 134     return;
 135   if (i == pool->nrepos - 1 && reuseids)
 136     pool->nrepos--;
 137   else
 138     pool->repos[i] = 0;
 139   pool->urepos--;
 140   repo_freedata(repo);
 141 }
 142
 143 Id
 144 repo_add_solvable(Repo *repo)
 145 {
 146   Id p = pool_add_solvable(repo->pool);
 147   if (!repo->start || repo->start == repo->end)
 148     repo->start = repo->end = p;
 149   /* warning: sidedata must be extended before adapting start/end */
 150   if (repo->rpmdbid)
 151     repo->rpmdbid = (Id *)repo_sidedata_extend(repo, repo->rpmdbid, sizeof(Id), p, 1);
 152   if (p < repo->start)
 153     repo->start = p;
 154   if (p + 1 > repo->end)
 155     repo->end = p + 1;
 156   repo->nsolvables++;
 157   repo->pool->solvables[p].repo = repo;
 158   return p;
 159 }
 160
 161 Id
 162 repo_add_solvable_block(Repo *repo, int count)
 163 {
 164   Id p;
 165   Solvable *s;
 166   if (!count)
 167     return 0;
 168   p = pool_add_solvable_block(repo->pool, count);
 169   if (!repo->start || repo->start == repo->end)
 170     repo->start = repo->end = p;
 171   /* warning: sidedata must be extended before adapting start/end */
 172   if (repo->rpmdbid)
 173     repo->rpmdbid = (Id *)repo_sidedata_extend(repo, repo->rpmdbid, sizeof(Id), p, count);
 174   if (p < repo->start)
 175     repo->start = p;
 176   if (p + count > repo->end)
 177     repo->end = p + count;
 178   repo->nsolvables += count;
 179   for (s = repo->pool->solvables + p; count--; s++)
 180     s->repo = repo;
 181   return p;
 182 }
 183
 184 void
 185 repo_free_solvable(Repo *repo, Id p, int reuseids)
 186 {
 187   repo_free_solvable_block(repo, p, 1, reuseids);
 188 }
 189
 190 void
 191 repo_free_solvable_block(Repo *repo, Id start, int count, int reuseids)
 192 {
 193   Solvable *s;
 194   Repodata *data;
 195   int i;
 196   if (start + count == repo->end)
 197     repo->end -= count;
 198   repo->nsolvables -= count;
 199   for (s = repo->pool->solvables + start, i = count; i--; s++)
 200     s->repo = 0;
 201   pool_free_solvable_block(repo->pool, start, count, reuseids);
 202   FOR_REPODATAS(repo, i, data)
 203     {
 204       int dstart, dend;
 205       if (data->end > repo->end)
 206         repodata_shrink(data, repo->end);
 207       dstart = data->start > start ? data->start : start;
 208       dend = data->end < start + count ? data->end : start + count;
 209       if (dstart < dend)
 210         {
 211           if (data->attrs)
 212             {
 213               int j;
 214               for (j = dstart; j < dend; j++)
 215                 data->attrs[j - data->start] = solv_free(data->attrs[j - data->start]);
 216             }
 217           if (data->incoreoffset)
 218             memset(data->incoreoffset + (dstart - data->start), 0, (dend - dstart) * sizeof(Id));
 219         }
 220     }
 221 }
 222
 223 /* specialized version of repo_add_solvable_block that inserts the new solvable
 224  * block before the indicated repo, which gets relocated.
 225  * used in repo_add_rpmdb
 226  */
 227 Id
 228 repo_add_solvable_block_before(Repo *repo, int count, Repo *beforerepo)
 229 {
 230   Pool *pool = repo->pool;
 231   Id p;
 232   Solvable *s;
 233   Repodata *data;
 234   int i;
 235
 236   if (!count || !beforerepo || beforerepo->end != pool->nsolvables || beforerepo->start == beforerepo->end)
 237     return repo_add_solvable_block(repo, count);
 238   p = beforerepo->start;
 239   /* make sure all solvables belong to beforerepo */
 240   for (i = p, s = pool->solvables + i; i < beforerepo->end; i++, s++)
 241     if (s->repo && s->repo != beforerepo)
 242       return repo_add_solvable_block(repo, count);
 243   /* now move beforerepo to back */
 244   pool_add_solvable_block(pool, count); /* must return beforerepo->end! */
 245   memmove(pool->solvables + p + count, pool->solvables + p, (beforerepo->end - p) * sizeof(Solvable));
 246   memset(pool->solvables + p, 0, sizeof(Solvable) * count);
 247   /* adapt repodata */
 248   FOR_REPODATAS(beforerepo, i, data)
 249     {
 250       if (data->start < p)
 251         continue;
 252       data->start += count;
 253       data->end += count;
 254     }
 255   beforerepo->start += count;
 256   beforerepo->end += count;
 257   /* we now have count free solvables at id p */
 258   /* warning: sidedata must be extended before adapting start/end */
 259   if (repo->rpmdbid)
 260     repo->rpmdbid = (Id *)repo_sidedata_extend(repo, repo->rpmdbid, sizeof(Id), p, count);
 261   if (p < repo->start)
 262     repo->start = p;
 263   if (p + count > repo->end)
 264     repo->end = p + count;
 265   repo->nsolvables += count;
 266   for (s = pool->solvables + p; count--; s++)
 267     s->repo = repo;
 268   return p;
 269 }
 270
 271
 272 /* repository sidedata is solvable data allocated on demand.
 273  * It is used for data that is normally not present
 274  * in the solvable like the rpmdbid.
 275  * The solvable allocation funcions need to make sure that
 276  * the sidedata gets extended if new solvables get added.
 277  */
 278
 279 #define REPO_SIDEDATA_BLOCK 63
 280
 281 void *
 282 repo_sidedata_create(Repo *repo, size_t size)
 283 {
 284   return solv_calloc_block(repo->end - repo->start, size, REPO_SIDEDATA_BLOCK);
 285 }
 286
 287 void *
 288 repo_sidedata_extend(Repo *repo, void *b, size_t size, Id p, int count)
 289 {
 290   int n = repo->end - repo->start;
 291   if (p < repo->start)
 292     {
 293       int d = repo->start - p;
 294       b = solv_extend(b, n, d, size, REPO_SIDEDATA_BLOCK);
 295       memmove((char *)b + d * size, b, n * size);
 296       memset(b, 0, d * size);
 297       n += d;
 298     }
 299   if (p + count > repo->end)
 300     {
 301       int d = p + count - repo->end;
 302       b = solv_extend(b, n, d, size, REPO_SIDEDATA_BLOCK);
 303       memset((char *)b + n * size, 0, d * size);
 304     }
 305   return b;
 306 }
 307
 308 /*
 309  * add Id to idarraydata used to store dependencies
 310  * olddeps: old array offset to extend
 311  * returns new array offset
 312  */
 313
 314 Offset
 315 repo_addid(Repo *repo, Offset olddeps, Id id)
 316 {
 317   Id *idarray;
 318   int idarraysize;
 319   int i;
 320
 321   idarray = repo->idarraydata;
 322   idarraysize = repo->idarraysize;
 323
 324   if (!idarray)                        /* alloc idarray if not done yet */
 325     {
 326       idarraysize = 1;
 327       idarray = solv_extend_resize(0, 1, sizeof(Id), IDARRAY_BLOCK);
 328       idarray[0] = 0;
 329       repo->lastoff = 0;
 330     }
 331
 332   if (!olddeps)                         /* no deps yet */
 333     {
 334       olddeps = idarraysize;
 335       idarray = solv_extend(idarray, idarraysize, 1, sizeof(Id), IDARRAY_BLOCK);
 336     }
 337   else if (olddeps == repo->lastoff)    /* extend at end */
 338     idarraysize--;
 339   else                                  /* can't extend, copy old */
 340     {
 341       i = olddeps;
 342       olddeps = idarraysize;
 343       for (; idarray[i]; i++)
 344         {
 345           idarray = solv_extend(idarray, idarraysize, 1, sizeof(Id), IDARRAY_BLOCK);
 346           idarray[idarraysize++] = idarray[i];
 347         }
 348       idarray = solv_extend(idarray, idarraysize, 1, sizeof(Id), IDARRAY_BLOCK);
 349     }
 350
 351   idarray[idarraysize++] = id;          /* insert Id into array */
 352   idarray = solv_extend(idarray, idarraysize, 1, sizeof(Id), IDARRAY_BLOCK);
 353   idarray[idarraysize++] = 0;           /* ensure NULL termination */
 354
 355   repo->idarraydata = idarray;
 356   repo->idarraysize = idarraysize;
 357   repo->lastoff = olddeps;
 358
 359   return olddeps;
 360 }
 361
 362 #define REPO_ADDID_DEP_HASHTHRES        64
 363 #define REPO_ADDID_DEP_HASHMIN          128
 364
 365 /*
 366  * Optimization for packages with an excessive amount of provides/requires:
 367  * if the number of deps exceed a threshold, we build a hash of the already
 368  * seen ids.
 369  */
 370 static Offset
 371 repo_addid_dep_hash(Repo *repo, Offset olddeps, Id id, Id marker, int size)
 372 {
 373   Id oid, *oidp;
 374   int before;
 375   Hashval h, hh;
 376   Id hid;
 377
 378   before = 0;
 379   if (marker)
 380     {
 381       if (marker < 0)
 382         {
 383           marker = -marker;
 384           before = 1;
 385         }
 386       if (marker == id)
 387         marker = 0;
 388     }
 389
 390   /* maintain hash and lastmarkerpos */
 391   if (repo->lastidhash_idarraysize != repo->idarraysize || size * 2 > repo->lastidhash_mask || repo->lastmarker != marker)
 392     {
 393       repo->lastmarkerpos = 0;
 394       if (size * 2 > repo->lastidhash_mask)
 395         {
 396           repo->lastidhash_mask = mkmask(size < REPO_ADDID_DEP_HASHMIN ? REPO_ADDID_DEP_HASHMIN : size);
 397           repo->lastidhash = solv_realloc2(repo->lastidhash, repo->lastidhash_mask + 1, sizeof(Id));
 398         }
 399       memset(repo->lastidhash, 0, (repo->lastidhash_mask + 1) * sizeof(Id));
 400       for (oidp = repo->idarraydata + olddeps; (oid = *oidp) != 0; oidp++)
 401         {
 402           h = oid & repo->lastidhash_mask;
 403           hh = HASHCHAIN_START;
 404           while (repo->lastidhash[h] != 0)
 405             h = HASHCHAIN_NEXT(h, hh, repo->lastidhash_mask);
 406           repo->lastidhash[h] = oid;
 407           if (marker && oid == marker)
 408             repo->lastmarkerpos = oidp - repo->idarraydata;
 409         }
 410       repo->lastmarker = marker;
 411       repo->lastidhash_idarraysize = repo->idarraysize;
 412     }
 413
 414   /* check the hash! */
 415   h = id & repo->lastidhash_mask;
 416   hh = HASHCHAIN_START;
 417   while ((hid = repo->lastidhash[h]) != 0 && hid != id)
 418     h = HASHCHAIN_NEXT(h, hh, repo->lastidhash_mask);
 419   /* put new element in hash */
 420   if (!hid)
 421     repo->lastidhash[h] = id;
 422   else if (marker == SOLVABLE_FILEMARKER && (!before || !repo->lastmarkerpos))
 423     return olddeps;
 424   if (marker && !before && !repo->lastmarkerpos)
 425     {
 426       /* we have to add the marker first */
 427       repo->lastmarkerpos = repo->idarraysize - 1;
 428       olddeps = repo_addid(repo, olddeps, marker);
 429       /* now put marker in hash */
 430       h = marker & repo->lastidhash_mask;
 431       hh = HASHCHAIN_START;
 432       while (repo->lastidhash[h] != 0)
 433         h = HASHCHAIN_NEXT(h, hh, repo->lastidhash_mask);
 434       repo->lastidhash[h] = marker;
 435       repo->lastidhash_idarraysize = repo->idarraysize;
 436     }
 437   if (!hid)
 438     {
 439       /* new entry, insert in correct position */
 440       if (marker && before && repo->lastmarkerpos)
 441         {
 442           /* need to add it before the marker */
 443           olddeps = repo_addid(repo, olddeps, id);      /* dummy to make room */
 444           memmove(repo->idarraydata + repo->lastmarkerpos + 1, repo->idarraydata + repo->lastmarkerpos, (repo->idarraysize - repo->lastmarkerpos - 2) * sizeof(Id));
 445           repo->idarraydata[repo->lastmarkerpos++] = id;
 446         }
 447       else
 448         {
 449           /* just append it to the end */
 450           olddeps = repo_addid(repo, olddeps, id);
 451         }
 452       repo->lastidhash_idarraysize = repo->idarraysize;
 453       return olddeps;
 454     }
 455   /* we already have it in the hash */
 456   if (!marker)
 457     return olddeps;
 458   if (marker == SOLVABLE_FILEMARKER)
 459     {
 460       /* check if it is in the wrong half */
 461       /* (we already made sure that "before" and "lastmarkerpos" are set, see above) */
 462       for (oidp = repo->idarraydata + repo->lastmarkerpos + 1; (oid = *oidp) != 0; oidp++)
 463         if (oid == id)
 464           break;
 465       if (!oid)
 466         return olddeps;
 467       /* yes, wrong half. copy it over */
 468       memmove(repo->idarraydata + repo->lastmarkerpos + 1, repo->idarraydata + repo->lastmarkerpos, (oidp - (repo->idarraydata + repo->lastmarkerpos)) * sizeof(Id));
 469       repo->idarraydata[repo->lastmarkerpos++] = id;
 470       return olddeps;
 471     }
 472   if (before)
 473     return olddeps;
 474   /* check if it is in the correct half */
 475   for (oidp = repo->idarraydata + repo->lastmarkerpos + 1; (oid = *oidp) != 0; oidp++)
 476     if (oid == id)
 477       return olddeps;
 478   /* nope, copy it over */
 479   for (oidp = repo->idarraydata + olddeps; (oid = *oidp) != 0; oidp++)
 480     if (oid == id)
 481       break;
 482   if (!oid)
 483     return olddeps;     /* should not happen */
 484   memmove(oidp, oidp + 1, (repo->idarraydata + repo->idarraysize - oidp - 2) * sizeof(Id));
 485   repo->idarraydata[repo->idarraysize - 2] = id;
 486   repo->lastmarkerpos--;        /* marker has been moved */
 487   return olddeps;
 488 }
 489
 490 /*
 491  * add dependency (as Id) to repo, also unifies dependencies
 492  * olddeps = offset into idarraydata
 493  * marker= 0 for normal dep
 494  * marker > 0 add dep after marker
 495  * marker < 0 add dep before -marker
 496  * returns new start of dependency array
 497  */
 498 Offset
 499 repo_addid_dep(Repo *repo, Offset olddeps, Id id, Id marker)
 500 {
 501   Id oid, *oidp, *markerp;
 502   int before;
 503
 504   if (!olddeps)
 505     {
 506       if (marker > 0)
 507         olddeps = repo_addid(repo, olddeps, marker);
 508       return repo_addid(repo, olddeps, id);
 509     }
 510
 511   /* check if we should use the hash optimization */
 512   if (olddeps == repo->lastoff)
 513     {
 514       int size = repo->idarraysize - 1 - repo->lastoff;
 515       if (size >= REPO_ADDID_DEP_HASHTHRES)
 516         return repo_addid_dep_hash(repo, olddeps, id, marker, size);
 517     }
 518
 519   before = 0;
 520   if (marker)
 521     {
 522       if (marker < 0)
 523         {
 524           marker = -marker;
 525           before = 1;
 526         }
 527       if (marker == id)
 528         marker = 0;
 529     }
 530
 531   if (!marker)
 532     {
 533       for (oidp = repo->idarraydata + olddeps; (oid = *oidp) != 0; oidp++)
 534         if (oid == id)
 535           return olddeps;
 536       return repo_addid(repo, olddeps, id);
 537     }
 538
 539   markerp = 0;
 540   for (oidp = repo->idarraydata + olddeps; (oid = *oidp) != 0; oidp++)
 541     {
 542       if (oid == marker)
 543         markerp = oidp;
 544       else if (oid == id)
 545         break;
 546     }
 547
 548   if (oid)
 549     {
 550       if (marker == SOLVABLE_FILEMARKER)
 551         {
 552           if (!markerp || !before)
 553             return olddeps;
 554           /* we found it, but in the second half */
 555           memmove(markerp + 1, markerp, (oidp - markerp) * sizeof(Id));
 556           *markerp = id;
 557           return olddeps;
 558         }
 559       if (markerp || before)
 560         return olddeps;
 561       /* we found it, but in the first half */
 562       markerp = oidp++;
 563       for (; (oid = *oidp) != 0; oidp++)
 564         if (oid == marker)
 565           break;
 566       if (!oid)
 567         {
 568           /* no marker in array yet */
 569           oidp--;
 570           if (markerp < oidp)
 571             memmove(markerp, markerp + 1, (oidp - markerp) * sizeof(Id));
 572           *oidp = marker;
 573           return repo_addid(repo, olddeps, id);
 574         }
 575       while (oidp[1])
 576         oidp++;
 577       memmove(markerp, markerp + 1, (oidp - markerp) * sizeof(Id));
 578       *oidp = id;
 579       return olddeps;
 580     }
 581   /* id not yet in array */
 582   if (!before && !markerp)
 583     olddeps = repo_addid(repo, olddeps, marker);
 584   else if (before && markerp)
 585     {
 586       *markerp++ = id;
 587       id = *--oidp;
 588       if (markerp < oidp)
 589         memmove(markerp + 1, markerp, (oidp - markerp) * sizeof(Id));
 590       *markerp = marker;
 591     }
 592   return repo_addid(repo, olddeps, id);
 593 }
 594
 595 /* return standard marker for the keyname dependency.
 596  * 1: return positive marker, -1: return negative marker
 597  */
 598 Id
 599 solv_depmarker(Id keyname, Id marker)
 600 {
 601   if (marker != 1 && marker != -1)
 602     return marker;
 603   if (keyname == SOLVABLE_PROVIDES)
 604     return marker < 0 ? -SOLVABLE_FILEMARKER : SOLVABLE_FILEMARKER;
 605   if (keyname == SOLVABLE_REQUIRES)
 606     return marker < 0 ? -SOLVABLE_PREREQMARKER : SOLVABLE_PREREQMARKER;
 607   return 0;
 608 }
 609
 610 /*
 611  * reserve Ids
 612  * make space for 'num' more dependencies
 613  * returns new start of dependency array
 614  *
 615  * reserved ids will always begin at offset idarraysize
 616  */
 617 Offset
 618 repo_reserve_ids(Repo *repo, Offset olddeps, int num)
 619 {
 620   num++;        /* room for trailing ID_NULL */
 621
 622   if (!repo->idarraysize)              /* ensure buffer space */
 623     {
 624       repo->idarraysize = 1;
 625       repo->idarraydata = solv_extend_resize(0, 1 + num, sizeof(Id), IDARRAY_BLOCK);
 626       repo->idarraydata[0] = 0;
 627       repo->lastoff = 1;
 628       return 1;
 629     }
 630
 631   if (olddeps && olddeps != repo->lastoff)   /* if not appending */
 632     {
 633       /* can't insert into idarray, this would invalidate all 'larger' offsets
 634        * so create new space at end and move existing deps there.
 635        * Leaving 'hole' at old position.
 636        */
 637
 638       Id *idstart, *idend;
 639       int count;
 640
 641       for (idstart = idend = repo->idarraydata + olddeps; *idend++; )   /* find end */
 642         ;
 643       count = idend - idstart - 1 + num;               /* new size */
 644
 645       repo->idarraydata = solv_extend(repo->idarraydata, repo->idarraysize, count, sizeof(Id), IDARRAY_BLOCK);
 646       /* move old deps to end */
 647       olddeps = repo->lastoff = repo->idarraysize;
 648       memcpy(repo->idarraydata + olddeps, idstart, count - num);
 649       repo->idarraysize = olddeps + count - num;
 650
 651       return olddeps;
 652     }
 653
 654   if (olddeps)                         /* appending */
 655     repo->idarraysize--;
 656
 657   /* make room*/
 658   repo->idarraydata = solv_extend(repo->idarraydata, repo->idarraysize, num, sizeof(Id), IDARRAY_BLOCK);
 659
 660   /* appending or new */
 661   repo->lastoff = olddeps ? olddeps : repo->idarraysize;
 662
 663   return repo->lastoff;
 664 }
 665
 666
 667 /***********************************************************************/
 668
 669 /*
 670  * some SUSE specific fixups, should go into a separate file
 671  */
 672
 673 Offset
 674 repo_fix_supplements(Repo *repo, Offset provides, Offset supplements, Offset freshens)
 675 {
 676   Pool *pool = repo->pool;
 677   Id id, idp, idl;
 678   char buf[1024], *p, *dep;
 679   int i, l;
 680
 681   if (provides)
 682     {
 683       for (i = provides; repo->idarraydata[i]; i++)
 684         {
 685           id = repo->idarraydata[i];
 686           if (ISRELDEP(id))
 687             continue;
 688           dep = (char *)pool_id2str(pool, id);
 689           if (!strncmp(dep, "locale(", 7) && strlen(dep) < sizeof(buf) - 2)
 690             {
 691               idp = 0;
 692               strcpy(buf + 2, dep);
 693               dep = buf + 2 + 7;
 694               if ((p = strchr(dep, ':')) != 0 && p != dep)
 695                 {
 696                   *p++ = 0;
 697                   idp = pool_str2id(pool, dep, 1);
 698                   dep = p;
 699                 }
 700               id = 0;
 701               while ((p = strchr(dep, ';')) != 0)
 702                 {
 703                   if (p == dep)
 704                     {
 705                       dep = p + 1;
 706                       continue;
 707                     }
 708                   *p++ = 0;
 709                   idl = pool_str2id(pool, dep, 1);
 710                   idl = pool_rel2id(pool, NAMESPACE_LANGUAGE, idl, REL_NAMESPACE, 1);
 711                   if (id)
 712                     id = pool_rel2id(pool, id, idl, REL_OR, 1);
 713                   else
 714                     id = idl;
 715                   dep = p;
 716                 }
 717               if (dep[0] && dep[1])
 718                 {
 719                   for (p = dep; *p && *p != ')'; p++)
 720                     ;
 721                   *p = 0;
 722                   idl = pool_str2id(pool, dep, 1);
 723                   idl = pool_rel2id(pool, NAMESPACE_LANGUAGE, idl, REL_NAMESPACE, 1);
 724                   if (id)
 725                     id = pool_rel2id(pool, id, idl, REL_OR, 1);
 726                   else
 727                     id = idl;
 728                 }
 729               if (idp)
 730                 id = pool_rel2id(pool, idp, id, REL_AND, 1);
 731               if (id)
 732                 supplements = repo_addid_dep(repo, supplements, id, 0);
 733             }
 734           else if ((p = strchr(dep, ':')) != 0 && p != dep && p[1] == '/' && strlen(dep) < sizeof(buf))
 735             {
 736               strcpy(buf, dep);
 737               p = buf + (p - dep);
 738               *p++ = 0;
 739               idp = pool_str2id(pool, buf, 1);
 740               /* strip trailing slashes */
 741               l = strlen(p);
 742               while (l > 1 && p[l - 1] == '/')
 743                 p[--l] = 0;
 744               id = pool_str2id(pool, p, 1);
 745               id = pool_rel2id(pool, idp, id, REL_WITH, 1);
 746               id = pool_rel2id(pool, NAMESPACE_SPLITPROVIDES, id, REL_NAMESPACE, 1);
 747               supplements = repo_addid_dep(repo, supplements, id, 0);
 748             }
 749         }
 750     }
 751   if (supplements)
 752     {
 753       for (i = supplements; repo->idarraydata[i]; i++)
 754         {
 755           id = repo->idarraydata[i];
 756           if (ISRELDEP(id))
 757             continue;
 758           dep = (char *)pool_id2str(pool, id);
 759           if (!strncmp(dep, "system:modalias(", 16))
 760             dep += 7;
 761           if (!strncmp(dep, "modalias(", 9) && dep[9] && dep[10] && strlen(dep) < sizeof(buf))
 762             {
 763               strcpy(buf, dep);
 764               p = strchr(buf + 9, ':');
 765               if (p && p != buf + 9 && strchr(p + 1, ':'))
 766                 {
 767                   *p++ = 0;
 768                   idp = pool_str2id(pool, buf + 9, 1);
 769                   p[strlen(p) - 1] = 0;
 770                   id = pool_str2id(pool, p, 1);
 771                   id = pool_rel2id(pool, NAMESPACE_MODALIAS, id, REL_NAMESPACE, 1);
 772                   id = pool_rel2id(pool, idp, id, REL_AND, 1);
 773                 }
 774               else
 775                 {
 776                   p = buf + 9;
 777                   p[strlen(p) - 1] = 0;
 778                   id = pool_str2id(pool, p, 1);
 779                   id = pool_rel2id(pool, NAMESPACE_MODALIAS, id, REL_NAMESPACE, 1);
 780                 }
 781               if (id)
 782                 repo->idarraydata[i] = id;
 783             }
 784           else if (!strncmp(dep, "packageand(", 11) && strlen(dep) < sizeof(buf))
 785             {
 786               strcpy(buf, dep);
 787               id = 0;
 788               dep = buf + 11;
 789               while ((p = strchr(dep, ':')) != 0)
 790                 {
 791                   if (p == dep)
 792                     {
 793                       dep = p + 1;
 794                       continue;
 795                     }
 796                   /* argh, allow pattern: prefix. sigh */
 797                   if (p - dep == 7 && !strncmp(dep, "pattern", 7))
 798                     {
 799                       p = strchr(p + 1, ':');
 800                       if (!p)
 801                         break;
 802                     }
 803                   *p++ = 0;
 804                   idp = pool_str2id(pool, dep, 1);
 805                   if (id)
 806                     id = pool_rel2id(pool, id, idp, REL_AND, 1);
 807                   else
 808                     id = idp;
 809                   dep = p;
 810                 }
 811               if (dep[0] && dep[1])
 812                 {
 813                   dep[strlen(dep) - 1] = 0;
 814                   idp = pool_str2id(pool, dep, 1);
 815                   if (id)
 816                     id = pool_rel2id(pool, id, idp, REL_AND, 1);
 817                   else
 818                     id = idp;
 819                 }
 820               if (id)
 821                 repo->idarraydata[i] = id;
 822             }
 823           else if (!strncmp(dep, "filesystem(", 11) && strlen(dep) < sizeof(buf))
 824             {
 825               strcpy(buf, dep + 11);
 826               if ((p = strrchr(buf, ')')) != 0)
 827                 *p = 0;
 828               id = pool_str2id(pool, buf, 1);
 829               id = pool_rel2id(pool, NAMESPACE_FILESYSTEM, id, REL_NAMESPACE, 1);
 830               repo->idarraydata[i] = id;
 831             }
 832         }
 833     }
 834   if (freshens && repo->idarraydata[freshens])
 835     {
 836       Id idsupp = 0, idfresh = 0;
 837       if (!supplements || !repo->idarraydata[supplements])
 838         return freshens;
 839       for (i = supplements; repo->idarraydata[i]; i++)
 840         {
 841           if (!idsupp)
 842             idsupp = repo->idarraydata[i];
 843           else
 844             idsupp = pool_rel2id(pool, idsupp, repo->idarraydata[i], REL_OR, 1);
 845         }
 846       for (i = freshens; repo->idarraydata[i]; i++)
 847         {
 848           if (!idfresh)
 849             idfresh = repo->idarraydata[i];
 850           else
 851             idfresh = pool_rel2id(pool, idfresh, repo->idarraydata[i], REL_OR, 1);
 852         }
 853       if (!idsupp)
 854         idsupp = idfresh;
 855       else
 856         idsupp = pool_rel2id(pool, idsupp, idfresh, REL_AND, 1);
 857       supplements = repo_addid_dep(repo, 0, idsupp, 0);
 858     }
 859   return supplements;
 860 }
 861
 862 Offset
 863 repo_fix_conflicts(Repo *repo, Offset conflicts)
 864 {
 865   char buf[1024], *p, *dep;
 866   Pool *pool = repo->pool;
 867   Id id;
 868   int i;
 869
 870   if (!conflicts)
 871     return conflicts;
 872   for (i = conflicts; repo->idarraydata[i]; i++)
 873     {
 874       id = repo->idarraydata[i];
 875       if (ISRELDEP(id))
 876         continue;
 877       dep = (char *)pool_id2str(pool, id);
 878       if (!strncmp(dep, "otherproviders(", 15) && strlen(dep) < sizeof(buf) - 2)
 879         {
 880           strcpy(buf, dep + 15);
 881           if ((p = strchr(buf, ')')) != 0)
 882             *p = 0;
 883           id = pool_str2id(pool, buf, 1);
 884           id = pool_rel2id(pool, NAMESPACE_OTHERPROVIDERS, id, REL_NAMESPACE, 1);
 885           repo->idarraydata[i] = id;
 886         }
 887     }
 888   return conflicts;
 889 }
 890
 891 /***********************************************************************/
 892
 893 struct matchdata
 894 {
 895   Pool *pool;
 896   int flags;
 897   Datamatcher matcher;
 898   int stop;
 899   int (*callback)(void *cbdata, Solvable *s, Repodata *data, Repokey *key, KeyValue *kv);
 900   void *callback_data;
 901 };
 902
 903 int
 904 repo_matchvalue(void *cbdata, Solvable *s, Repodata *data, Repokey *key, KeyValue *kv)
 905 {
 906   struct matchdata *md = cbdata;
 907
 908   if (md->matcher.match)
 909     {
 910       if (key->name == SOLVABLE_FILELIST && key->type == REPOKEY_TYPE_DIRSTRARRAY && (md->matcher.flags & SEARCH_FILES) != 0)
 911         if (!datamatcher_checkbasename(&md->matcher, kv->str))
 912           return 0;
 913       if (!repodata_stringify(md->pool, data, key, kv, md->flags))
 914         return 0;
 915       if (!datamatcher_match(&md->matcher, kv->str))
 916         return 0;
 917     }
 918   md->stop = md->callback(md->callback_data, s, data, key, kv);
 919   return md->stop;
 920 }
 921
 922
 923 /* list of all keys we store in the solvable */
 924 /* also used in the dataiterator code in repodata.c */
 925 Repokey repo_solvablekeys[RPM_RPMDBID - SOLVABLE_NAME + 1] = {
 926   { SOLVABLE_NAME,        REPOKEY_TYPE_ID, 0, KEY_STORAGE_SOLVABLE },
 927   { SOLVABLE_ARCH,        REPOKEY_TYPE_ID, 0, KEY_STORAGE_SOLVABLE },
 928   { SOLVABLE_EVR,         REPOKEY_TYPE_ID, 0, KEY_STORAGE_SOLVABLE },
 929   { SOLVABLE_VENDOR,      REPOKEY_TYPE_ID, 0, KEY_STORAGE_SOLVABLE },
 930   { SOLVABLE_PROVIDES,    REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 931   { SOLVABLE_OBSOLETES,   REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 932   { SOLVABLE_CONFLICTS,   REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 933   { SOLVABLE_REQUIRES,    REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 934   { SOLVABLE_RECOMMENDS,  REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 935   { SOLVABLE_SUGGESTS,    REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 936   { SOLVABLE_SUPPLEMENTS, REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 937   { SOLVABLE_ENHANCES,    REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 938   { RPM_RPMDBID,          REPOKEY_TYPE_NUM, 0, KEY_STORAGE_SOLVABLE },
 939 };
 940
 941 static void
 942 domatch_idarray(Solvable *s, Id keyname, struct matchdata *md, Id *ida)
 943 {
 944   KeyValue kv;
 945   kv.entry = 0;
 946   kv.parent = 0;
 947   for (; *ida && !md->stop; ida++)
 948     {
 949       kv.id = *ida;
 950       kv.eof = ida[1] ? 0 : 1;
 951       repo_matchvalue(md, s, 0, repo_solvablekeys + (keyname - SOLVABLE_NAME), &kv);
 952       kv.entry++;
 953     }
 954 }
 955
 956 static void
 957 repo_search_md(Repo *repo, Id p, Id keyname, struct matchdata *md)
 958 {
 959   KeyValue kv;
 960   Pool *pool = repo->pool;
 961   Repodata *data;
 962   int i, j, flags;
 963   Solvable *s;
 964
 965   kv.parent = 0;
 966   md->stop = 0;
 967   if (!p)
 968     {
 969       for (p = repo->start, s = repo->pool->solvables + p; p < repo->end; p++, s++)
 970         {
 971           if (s->repo == repo)
 972             repo_search_md(repo, p, keyname, md);
 973           if (md->stop > SEARCH_NEXT_SOLVABLE)
 974             break;
 975         }
 976       return;
 977     }
 978   else if (p < 0)
 979     /* The callback only supports solvables, so we can't iterate over the
 980        extra things.  */
 981     return;
 982   flags = md->flags;
 983   if (!(flags & SEARCH_NO_STORAGE_SOLVABLE))
 984     {
 985       s = pool->solvables + p;
 986       switch(keyname)
 987         {
 988           case 0:
 989           case SOLVABLE_NAME:
 990             if (s->name)
 991               {
 992                 kv.id = s->name;
 993                 repo_matchvalue(md, s, 0, repo_solvablekeys + 0, &kv);
 994               }
 995             if (keyname || md->stop > SEARCH_NEXT_KEY)
 996               return;
 997           case SOLVABLE_ARCH:
 998             if (s->arch)
 999               {
1000                 kv.id = s->arch;
1001                 repo_matchvalue(md, s, 0, repo_solvablekeys + 1, &kv);
1002               }
1003             if (keyname || md->stop > SEARCH_NEXT_KEY)
1004               return;
1005           case SOLVABLE_EVR:
1006             if (s->evr)
1007               {
1008                 kv.id = s->evr;
1009                 repo_matchvalue(md, s, 0, repo_solvablekeys + 2, &kv);
1010               }
1011             if (keyname || md->stop > SEARCH_NEXT_KEY)
1012               return;
1013           case SOLVABLE_VENDOR:
1014             if (s->vendor)
1015               {
1016                 kv.id = s->vendor;
1017                 repo_matchvalue(md, s, 0, repo_solvablekeys + 3, &kv);
1018               }
1019             if (keyname || md->stop > SEARCH_NEXT_KEY)
1020               return;
1021           case SOLVABLE_PROVIDES:
1022             if (s->provides)
1023               domatch_idarray(s, SOLVABLE_PROVIDES, md, repo->idarraydata + s->provides);
1024             if (keyname || md->stop > SEARCH_NEXT_KEY)
1025               return;
1026           case SOLVABLE_OBSOLETES:
1027             if (s->obsoletes)
1028               domatch_idarray(s, SOLVABLE_OBSOLETES, md, repo->idarraydata + s->obsoletes);
1029             if (keyname || md->stop > SEARCH_NEXT_KEY)
1030               return;
1031           case SOLVABLE_CONFLICTS:
1032             if (s->conflicts)
1033               domatch_idarray(s, SOLVABLE_CONFLICTS, md, repo->idarraydata + s->conflicts);
1034             if (keyname || md->stop > SEARCH_NEXT_KEY)
1035               return;
1036           case SOLVABLE_REQUIRES:
1037             if (s->requires)
1038               domatch_idarray(s, SOLVABLE_REQUIRES, md, repo->idarraydata + s->requires);
1039             if (keyname || md->stop > SEARCH_NEXT_KEY)
1040               return;
1041           case SOLVABLE_RECOMMENDS:
1042             if (s->recommends)
1043               domatch_idarray(s, SOLVABLE_RECOMMENDS, md, repo->idarraydata + s->recommends);
1044             if (keyname || md->stop > SEARCH_NEXT_KEY)
1045               return;
1046           case SOLVABLE_SUPPLEMENTS:
1047             if (s->supplements)
1048               domatch_idarray(s, SOLVABLE_SUPPLEMENTS, md, repo->idarraydata + s->supplements);
1049             if (keyname || md->stop > SEARCH_NEXT_KEY)
1050               return;
1051           case SOLVABLE_SUGGESTS:
1052             if (s->suggests)
1053               domatch_idarray(s, SOLVABLE_SUGGESTS, md, repo->idarraydata + s->suggests);
1054             if (keyname || md->stop > SEARCH_NEXT_KEY)
1055               return;
1056           case SOLVABLE_ENHANCES:
1057             if (s->enhances)
1058               domatch_idarray(s, SOLVABLE_ENHANCES, md, repo->idarraydata + s->enhances);
1059             if (keyname || md->stop > SEARCH_NEXT_KEY)
1060               return;
1061           case RPM_RPMDBID:
1062             if (repo->rpmdbid)
1063               {
1064                 kv.num = repo->rpmdbid[p - repo->start];
1065                 kv.num2 = 0;
1066                 repo_matchvalue(md, s, 0, repo_solvablekeys + (RPM_RPMDBID - SOLVABLE_NAME), &kv);
1067               }
1068             if (keyname || md->stop > SEARCH_NEXT_KEY)
1069               return;
1070             break;
1071           default:
1072             break;
1073         }
1074     }
1075
1076   FOR_REPODATAS(repo, i, data)
1077     {
1078       if (p < data->start || p >= data->end)
1079         continue;
1080       if (keyname && !repodata_precheck_keyname(data, keyname))
1081         continue;
1082       if (keyname == SOLVABLE_FILELIST && !(md->flags & SEARCH_COMPLETE_FILELIST))
1083         {
1084           /* do not search filelist extensions */
1085           if (data->state != REPODATA_AVAILABLE)
1086             continue;
1087           for (j = 1; j < data->nkeys; j++)
1088             if (data->keys[j].name != REPOSITORY_SOLVABLES && data->keys[j].name != SOLVABLE_FILELIST)
1089               break;
1090           if (j == data->nkeys)
1091             continue;
1092         }
1093       if (data->state == REPODATA_STUB)
1094         {
1095           if (keyname)
1096             {
1097               for (j = 1; j < data->nkeys; j++)
1098                 if (keyname == data->keys[j].name)
1099                   break;
1100               if (j == data->nkeys)
1101                 continue;
1102             }
1103           /* load it */
1104           if (data->loadcallback)
1105             data->loadcallback(data);
1106           else
1107             data->state = REPODATA_ERROR;
1108         }
1109       if (data->state == REPODATA_ERROR)
1110         continue;
1111       repodata_search(data, p, keyname, md->flags, repo_matchvalue, md);
1112       if (md->stop > SEARCH_NEXT_KEY)
1113         break;
1114     }
1115 }
1116
1117 void
1118 repo_search(Repo *repo, Id p, Id keyname, const char *match, int flags, int (*callback)(void *cbdata, Solvable *s, Repodata *data, Repokey *key, KeyValue *kv), void *cbdata)
1119 {
1120   struct matchdata md;
1121
1122   if (repo->disabled && !(flags & SEARCH_DISABLED_REPOS))
1123     return;
1124   memset(&md, 0, sizeof(md));
1125   md.pool = repo->pool;
1126   md.flags = flags;
1127   md.callback = callback;
1128   md.callback_data = cbdata;
1129   if (match)
1130     datamatcher_init(&md.matcher, match, flags);
1131   repo_search_md(repo, p, keyname, &md);
1132   if (match)
1133     datamatcher_free(&md.matcher);
1134 }
1135
1136 const char *
1137 repo_lookup_str(Repo *repo, Id entry, Id keyname)
1138 {
1139   Pool *pool = repo->pool;
1140   Repodata *data;
1141   int i;
1142   const char *str;
1143
1144   if (entry >= 0)
1145     {
1146       switch (keyname)
1147         {
1148         case SOLVABLE_NAME:
1149           return pool_id2str(pool, pool->solvables[entry].name);
1150         case SOLVABLE_ARCH:
1151           return pool_id2str(pool, pool->solvables[entry].arch);
1152         case SOLVABLE_EVR:
1153           return pool_id2str(pool, pool->solvables[entry].evr);
1154         case SOLVABLE_VENDOR:
1155           return pool_id2str(pool, pool->solvables[entry].vendor);
1156         }
1157     }
1158   else if (entry == SOLVID_POS && pool->pos.repo == repo && pool->pos.repodataid)
1159     return repodata_lookup_str(pool->pos.repo->repodata + pool->pos.repodataid, entry, keyname);
1160   FOR_REPODATAS(repo, i, data)
1161     {
1162       if (entry != SOLVID_META && (entry < data->start || entry >= data->end))
1163         continue;
1164       if (!repodata_precheck_keyname(data, keyname))
1165         continue;
1166       str = repodata_lookup_str(data, entry, keyname);
1167       if (str)
1168         return str;
1169       if (repodata_lookup_type(data, entry, keyname))
1170         return 0;
1171     }
1172   return 0;
1173 }
1174
1175
1176 unsigned long long
1177 repo_lookup_num(Repo *repo, Id entry, Id keyname, unsigned long long notfound)
1178 {
1179   Pool *pool = repo->pool;
1180   Repodata *data;
1181   int i;
1182   unsigned long long value;
1183
1184   if (entry >= 0)
1185     {
1186       if (keyname == RPM_RPMDBID)
1187         {
1188           if (repo->rpmdbid && entry >= repo->start && entry < repo->end)
1189             return repo->rpmdbid[entry - repo->start];
1190           return notfound;
1191         }
1192     }
1193   else if (entry == SOLVID_POS && pool->pos.repo == repo && pool->pos.repodataid)
1194     return repodata_lookup_num(pool->pos.repo->repodata + pool->pos.repodataid, entry, keyname, &value) ? value : notfound;
1195   FOR_REPODATAS(repo, i, data)
1196     {
1197       if (entry != SOLVID_META && (entry < data->start || entry >= data->end))
1198         continue;
1199       if (!repodata_precheck_keyname(data, keyname))
1200         continue;
1201       if (repodata_lookup_num(data, entry, keyname, &value))
1202         return value;
1203       if (repodata_lookup_type(data, entry, keyname))
1204         return notfound;
1205     }
1206   return notfound;
1207 }
1208
1209 Id
1210 repo_lookup_id(Repo *repo, Id entry, Id keyname)
1211 {
1212   Pool *pool = repo->pool;
1213   Repodata *data;
1214   int i;
1215   Id id;
1216
1217   if (entry >= 0)
1218     {
1219       switch (keyname)
1220         {
1221         case SOLVABLE_NAME:
1222           return repo->pool->solvables[entry].name;
1223         case SOLVABLE_ARCH:
1224           return repo->pool->solvables[entry].arch;
1225         case SOLVABLE_EVR:
1226           return repo->pool->solvables[entry].evr;
1227         case SOLVABLE_VENDOR:
1228           return repo->pool->solvables[entry].vendor;
1229         }
1230     }
1231   else if (entry == SOLVID_POS && pool->pos.repo == repo && pool->pos.repodataid)
1232     {
1233       Repodata *data = pool->pos.repo->repodata + pool->pos.repodataid;
1234       Id id = repodata_lookup_id(data, entry, keyname);
1235       return data->localpool ? repodata_globalize_id(data, id, 1) : id;
1236     }
1237   FOR_REPODATAS(repo, i, data)
1238     {
1239       if (entry != SOLVID_META && (entry < data->start || entry >= data->end))
1240         continue;
1241       if (!repodata_precheck_keyname(data, keyname))
1242         continue;
1243       id = repodata_lookup_id(data, entry, keyname);
1244       if (id)
1245         return data->localpool ? repodata_globalize_id(data, id, 1) : id;
1246       if (repodata_lookup_type(data, entry, keyname))
1247         return 0;
1248     }
1249   return 0;
1250 }
1251
1252 static int
1253 lookup_idarray_solvable(Repo *repo, Offset off, Queue *q)
1254 {
1255   Id *p;
1256
1257   queue_empty(q);
1258   if (off)
1259     for (p = repo->idarraydata + off; *p; p++)
1260       queue_push(q, *p);
1261   return 1;
1262 }
1263
1264 int
1265 repo_lookup_idarray(Repo *repo, Id entry, Id keyname, Queue *q)
1266 {
1267   Pool *pool = repo->pool;
1268   Repodata *data;
1269   int i;
1270   if (entry >= 0)
1271     {
1272       switch (keyname)
1273         {
1274         case SOLVABLE_PROVIDES:
1275           return lookup_idarray_solvable(repo, repo->pool->solvables[entry].provides, q);
1276         case SOLVABLE_OBSOLETES:
1277           return lookup_idarray_solvable(repo, repo->pool->solvables[entry].obsoletes, q);
1278         case SOLVABLE_CONFLICTS:
1279           return lookup_idarray_solvable(repo, repo->pool->solvables[entry].conflicts, q);
1280         case SOLVABLE_REQUIRES:
1281           return lookup_idarray_solvable(repo, repo->pool->solvables[entry].requires, q);
1282         case SOLVABLE_RECOMMENDS:
1283           return lookup_idarray_solvable(repo, repo->pool->solvables[entry].recommends, q);
1284         case SOLVABLE_SUGGESTS:
1285           return lookup_idarray_solvable(repo, repo->pool->solvables[entry].suggests, q);
1286         case SOLVABLE_SUPPLEMENTS:
1287           return lookup_idarray_solvable(repo, repo->pool->solvables[entry].supplements, q);
1288         case SOLVABLE_ENHANCES:
1289           return lookup_idarray_solvable(repo, repo->pool->solvables[entry].enhances, q);
1290         }
1291     }
1292   else if (entry == SOLVID_POS && pool->pos.repo == repo && pool->pos.repodataid)
1293     {
1294       Repodata *data = pool->pos.repo->repodata + pool->pos.repodataid;
1295       if (repodata_lookup_idarray(data, entry, keyname, q))
1296         {
1297           if (data->localpool)
1298             {
1299               for (i = 0; i < q->count; i++)
1300                 q->elements[i] = repodata_globalize_id(data, q->elements[i], 1);
1301             }
1302           return 1;
1303         }
1304     }
1305   FOR_REPODATAS(repo, i, data)
1306     {
1307       if (entry != SOLVID_META && (entry < data->start || entry >= data->end))
1308         continue;
1309       if (!repodata_precheck_keyname(data, keyname))
1310         continue;
1311       if (repodata_lookup_idarray(data, entry, keyname, q))
1312         {
1313           if (data->localpool)
1314             {
1315               for (i = 0; i < q->count; i++)
1316                 q->elements[i] = repodata_globalize_id(data, q->elements[i], 1);
1317             }
1318           return 1;
1319         }
1320       if (repodata_lookup_type(data, entry, keyname))
1321         break;
1322     }
1323   queue_empty(q);
1324   return 0;
1325 }
1326
1327 int
1328 repo_lookup_deparray(Repo *repo, Id entry, Id keyname, Queue *q, Id marker)
1329 {
1330   int r = repo_lookup_idarray(repo, entry, keyname, q);
1331   if (!r)
1332     return 0;
1333   if (marker == -1 || marker == 1)
1334     marker = solv_depmarker(keyname, marker);
1335   if (marker && q->count)
1336     {
1337       int i;
1338       if (marker < 0)
1339         {
1340           marker = -marker;
1341           for (i = 0; i < q->count; i++)
1342             if (q->elements[i] == marker)
1343               {
1344                 queue_truncate(q, i);
1345                 return r;
1346               }
1347         }
1348       else
1349         {
1350           for (i = 0; i < q->count; i++)
1351             if (q->elements[i] == marker)
1352               {
1353                 queue_deleten(q, 0, i + 1);
1354                 return r;
1355               }
1356           queue_empty(q);
1357         }
1358     }
1359   return r;
1360 }
1361
1362 const unsigned char *
1363 repo_lookup_bin_checksum(Repo *repo, Id entry, Id keyname, Id *typep)
1364 {
1365   Pool *pool = repo->pool;
1366   Repodata *data;
1367   int i;
1368   const unsigned char *chk;
1369
1370   if (entry == SOLVID_POS && pool->pos.repo == repo && pool->pos.repodataid)
1371     return repodata_lookup_bin_checksum(pool->pos.repo->repodata + pool->pos.repodataid, entry, keyname, typep);
1372   FOR_REPODATAS(repo, i, data)
1373     {
1374       if (entry != SOLVID_META && (entry < data->start || entry >= data->end))
1375         continue;
1376       if (!repodata_precheck_keyname(data, keyname))
1377         continue;
1378       chk = repodata_lookup_bin_checksum(data, entry, keyname, typep);
1379       if (chk)
1380         return chk;
1381       if (repodata_lookup_type(data, entry, keyname))
1382         return 0;
1383     }
1384   *typep = 0;
1385   return 0;
1386 }
1387
1388 const char *
1389 repo_lookup_checksum(Repo *repo, Id entry, Id keyname, Id *typep)
1390 {
1391   const unsigned char *chk = repo_lookup_bin_checksum(repo, entry, keyname, typep);
1392   return chk ? pool_bin2hex(repo->pool, chk, solv_chksum_len(*typep)) : 0;
1393 }
1394
1395 int
1396 repo_lookup_void(Repo *repo, Id entry, Id keyname)
1397 {
1398   Pool *pool = repo->pool;
1399   Repodata *data;
1400   int i;
1401   Id type;
1402
1403   if (entry == SOLVID_POS && pool->pos.repo == repo && pool->pos.repodataid)
1404     return repodata_lookup_void(pool->pos.repo->repodata + pool->pos.repodataid, entry, keyname);
1405   FOR_REPODATAS(repo, i, data)
1406     {
1407       if (entry != SOLVID_META && (entry < data->start || entry >= data->end))
1408         continue;
1409       if (!repodata_precheck_keyname(data, keyname))
1410         continue;
1411       type = repodata_lookup_type(data, entry, keyname);
1412       if (type)
1413         return type == REPOKEY_TYPE_VOID;
1414     }
1415   return 0;
1416 }
1417
1418 Id
1419 repo_lookup_type(Repo *repo, Id entry, Id keyname)
1420 {
1421   Pool *pool = repo->pool;
1422   Repodata *data;
1423   int i;
1424   Id type;
1425
1426   if (entry == SOLVID_POS && pool->pos.repo == repo && pool->pos.repodataid)
1427     return repodata_lookup_type(pool->pos.repo->repodata + pool->pos.repodataid, entry, keyname);
1428   FOR_REPODATAS(repo, i, data)
1429     {
1430       if (entry != SOLVID_META && (entry < data->start || entry >= data->end))
1431         continue;
1432       if (!repodata_precheck_keyname(data, keyname))
1433         continue;
1434       type = repodata_lookup_type(data, entry, keyname);
1435       if (type)
1436         return type == REPOKEY_TYPE_DELETED ? 0 : type;
1437     }
1438   return 0;
1439 }
1440
1441 const void *
1442 repo_lookup_binary(Repo *repo, Id entry, Id keyname, int *lenp)
1443 {
1444   Pool *pool = repo->pool;
1445   Repodata *data;
1446   int i;
1447   const void *bin;
1448
1449   if (entry == SOLVID_POS && pool->pos.repo == repo && pool->pos.repodataid)
1450     return repodata_lookup_binary(pool->pos.repo->repodata + pool->pos.repodataid, entry, keyname, lenp);
1451   FOR_REPODATAS(repo, i, data)
1452     {
1453       if (entry != SOLVID_META && (entry < data->start || entry >= data->end))
1454         continue;
1455       if (!repodata_precheck_keyname(data, keyname))
1456         continue;
1457       bin = repodata_lookup_binary(data, entry, keyname, lenp);
1458       if (bin)
1459         return bin;
1460     }
1461   *lenp = 0;
1462   return 0;
1463 }
1464
1465 /***********************************************************************/
1466
1467 Repodata *
1468 repo_add_repodata(Repo *repo, int flags)
1469 {
1470   Repodata *data;
1471   int i;
1472   if ((flags & REPO_USE_LOADING) != 0)
1473     {
1474       for (i = repo->nrepodata - 1; i > 0; i--)
1475         if (repo->repodata[i].state == REPODATA_LOADING)
1476           {
1477             Repodata *data = repo->repodata + i;
1478             /* re-init */
1479             /* hack: we mis-use REPO_REUSE_REPODATA here */
1480             if (!(flags & REPO_REUSE_REPODATA))
1481               repodata_empty(data, (flags & REPO_LOCALPOOL) ? 1 : 0);
1482             return data;
1483           }
1484       return 0; /* must not create a new repodata! */
1485     }
1486   if ((flags & REPO_REUSE_REPODATA) != 0)
1487     {
1488       for (i = repo->nrepodata - 1; i > 0; i--)
1489         if (repo->repodata[i].state != REPODATA_STUB)
1490           return repo->repodata + i;
1491     }
1492   if (!repo->nrepodata)
1493     {
1494       repo->nrepodata = 2;      /* start with id 1 */
1495       repo->repodata = solv_calloc(repo->nrepodata, sizeof(*data));
1496     }
1497   else
1498     {
1499       repo->nrepodata++;
1500       repo->repodata = solv_realloc2(repo->repodata, repo->nrepodata, sizeof(*data));
1501     }
1502   data = repo->repodata + repo->nrepodata - 1;
1503   repodata_initdata(data, repo, (flags & REPO_LOCALPOOL) ? 1 : 0);
1504   return data;
1505 }
1506
1507 Repodata *
1508 repo_id2repodata(Repo *repo, Id id)
1509 {
1510   return id ? repo->repodata + id : 0;
1511 }
1512
1513 Repodata *
1514 repo_last_repodata(Repo *repo)
1515 {
1516   int i;
1517   for (i = repo->nrepodata - 1; i > 0; i--)
1518     if (repo->repodata[i].state != REPODATA_STUB)
1519       return repo->repodata + i;
1520   return repo_add_repodata(repo, 0);
1521 }
1522
1523 void
1524 repo_set_id(Repo *repo, Id p, Id keyname, Id id)
1525 {
1526   Repodata *data;
1527   if (p >= 0)
1528     {
1529       switch (keyname)
1530         {
1531         case SOLVABLE_NAME:
1532           repo->pool->solvables[p].name = id;
1533           return;
1534         case SOLVABLE_ARCH:
1535           repo->pool->solvables[p].arch = id;
1536           return;
1537         case SOLVABLE_EVR:
1538           repo->pool->solvables[p].evr = id;
1539           return;
1540         case SOLVABLE_VENDOR:
1541           repo->pool->solvables[p].vendor = id;
1542           return;
1543         }
1544     }
1545   data = repo_last_repodata(repo);
1546   if (data->localpool)
1547     id = repodata_localize_id(data, id, 1);
1548   repodata_set_id(data, p, keyname, id);
1549 }
1550
1551 void
1552 repo_set_num(Repo *repo, Id p, Id keyname, unsigned long long num)
1553 {
1554   Repodata *data;
1555   if (p >= 0)
1556     {
1557       if (keyname == RPM_RPMDBID)
1558         {
1559           if (!repo->rpmdbid)
1560             repo->rpmdbid = repo_sidedata_create(repo, sizeof(Id));
1561           repo->rpmdbid[p - repo->start] = num;
1562           return;
1563         }
1564     }
1565   data = repo_last_repodata(repo);
1566   repodata_set_num(data, p, keyname, num);
1567 }
1568
1569 void
1570 repo_set_str(Repo *repo, Id p, Id keyname, const char *str)
1571 {
1572   Repodata *data;
1573   if (p >= 0)
1574     {
1575       switch (keyname)
1576         {
1577         case SOLVABLE_NAME:
1578         case SOLVABLE_ARCH:
1579         case SOLVABLE_EVR:
1580         case SOLVABLE_VENDOR:
1581           repo_set_id(repo, p, keyname, pool_str2id(repo->pool, str, 1));
1582           return;
1583         }
1584     }
1585   data = repo_last_repodata(repo);
1586   repodata_set_str(data, p, keyname, str);
1587 }
1588
1589 void
1590 repo_set_poolstr(Repo *repo, Id p, Id keyname, const char *str)
1591 {
1592   Repodata *data;
1593   if (p >= 0)
1594     {
1595       switch (keyname)
1596         {
1597         case SOLVABLE_NAME:
1598         case SOLVABLE_ARCH:
1599         case SOLVABLE_EVR:
1600         case SOLVABLE_VENDOR:
1601           repo_set_id(repo, p, keyname, pool_str2id(repo->pool, str, 1));
1602           return;
1603         }
1604     }
1605   data = repo_last_repodata(repo);
1606   repodata_set_poolstr(data, p, keyname, str);
1607 }
1608
1609 void
1610 repo_add_poolstr_array(Repo *repo, Id p, Id keyname, const char *str)
1611 {
1612   Repodata *data = repo_last_repodata(repo);
1613   repodata_add_poolstr_array(data, p, keyname, str);
1614 }
1615
1616 void
1617 repo_add_deparray(Repo *repo, Id p, Id keyname, Id dep, Id marker)
1618 {
1619   Repodata *data;
1620   if (marker == -1 || marker == 1)
1621     marker = solv_depmarker(keyname, marker);
1622   if (p >= 0)
1623     {
1624       Solvable *s = repo->pool->solvables + p;
1625       switch (keyname)
1626         {
1627         case SOLVABLE_PROVIDES:
1628           s->provides = repo_addid_dep(repo, s->provides, dep, marker);
1629           return;
1630         case SOLVABLE_OBSOLETES:
1631           s->obsoletes = repo_addid_dep(repo, s->obsoletes, dep, marker);
1632           return;
1633         case SOLVABLE_CONFLICTS:
1634           s->conflicts = repo_addid_dep(repo, s->conflicts, dep, marker);
1635           return;
1636         case SOLVABLE_REQUIRES:
1637           s->requires = repo_addid_dep(repo, s->requires, dep, marker);
1638           return;
1639         case SOLVABLE_RECOMMENDS:
1640           s->recommends = repo_addid_dep(repo, s->recommends, dep, marker);
1641           return;
1642         case SOLVABLE_SUGGESTS:
1643           s->suggests = repo_addid_dep(repo, s->suggests, dep, marker);
1644           return;
1645         case SOLVABLE_SUPPLEMENTS:
1646           s->supplements = repo_addid_dep(repo, s->supplements, dep, marker);
1647           return;
1648         case SOLVABLE_ENHANCES:
1649           s->enhances = repo_addid_dep(repo, s->enhances, dep, marker);
1650           return;
1651         }
1652     }
1653   data = repo_last_repodata(repo);
1654   repodata_add_idarray(data, p, keyname, dep);
1655 }
1656
1657 void
1658 repo_add_idarray(Repo *repo, Id p, Id keyname, Id id)
1659 {
1660   repo_add_deparray(repo, p, keyname, id, 0);
1661 }
1662
1663 static Offset
1664 repo_set_idarray_solvable(Repo *repo, Queue *q)
1665 {
1666   Offset o = 0;
1667   int i;
1668   for (i = 0; i < q->count; i++)
1669     repo_addid_dep(repo, o, q->elements[i], 0);
1670   return o;
1671 }
1672
1673 void
1674 repo_set_deparray(Repo *repo, Id p, Id keyname, Queue *q, Id marker)
1675 {
1676   Repodata *data;
1677   if (marker == -1 || marker == 1)
1678     marker = solv_depmarker(keyname, marker);
1679   if (marker)
1680     {
1681       /* complex case, splice old and new arrays */
1682       int i;
1683       Queue q2;
1684       queue_init(&q2);
1685       repo_lookup_deparray(repo, p, keyname, &q2, -marker);
1686       if (marker > 0)
1687         {
1688           if (q->count)
1689             {
1690               queue_push(&q2, marker);
1691               for (i = 0; i < q->count; i++)
1692                 queue_push(&q2, q->elements[i]);
1693             }
1694         }
1695       else
1696         {
1697           if (q2.count)
1698             queue_insert(&q2, 0, -marker);
1699           queue_insertn(&q2, 0, q->count, q->elements);
1700         }
1701       repo_set_deparray(repo, p, keyname, &q2, 0);
1702       queue_free(&q2);
1703       return;
1704     }
1705   if (p >= 0)
1706     {
1707       Solvable *s = repo->pool->solvables + p;
1708       switch (keyname)
1709         {
1710         case SOLVABLE_PROVIDES:
1711           s->provides = repo_set_idarray_solvable(repo, q);
1712           return;
1713         case SOLVABLE_OBSOLETES:
1714           s->obsoletes = repo_set_idarray_solvable(repo, q);
1715           return;
1716         case SOLVABLE_CONFLICTS:
1717           s->conflicts = repo_set_idarray_solvable(repo, q);
1718           return;
1719         case SOLVABLE_REQUIRES:
1720           s->requires = repo_set_idarray_solvable(repo, q);
1721           return;
1722         case SOLVABLE_RECOMMENDS:
1723           s->recommends = repo_set_idarray_solvable(repo, q);
1724           return;
1725         case SOLVABLE_SUGGESTS:
1726           s->suggests = repo_set_idarray_solvable(repo, q);
1727           return;
1728         case SOLVABLE_SUPPLEMENTS:
1729           s->supplements = repo_set_idarray_solvable(repo, q);
1730           return;
1731         case SOLVABLE_ENHANCES:
1732           s->enhances = repo_set_idarray_solvable(repo, q);
1733           return;
1734         }
1735     }
1736   data = repo_last_repodata(repo);
1737   repodata_set_idarray(data, p, keyname, q);
1738 }
1739
1740 void
1741 repo_set_idarray(Repo *repo, Id p, Id keyname, Queue *q)
1742 {
1743   repo_set_deparray(repo, p, keyname, q, 0);
1744 }
1745
1746 void
1747 repo_unset(Repo *repo, Id p, Id keyname)
1748 {
1749   Repodata *data;
1750   if (p >= 0)
1751     {
1752       Solvable *s = repo->pool->solvables + p;
1753       switch (keyname)
1754         {
1755         case SOLVABLE_NAME:
1756           s->name = 0;
1757           return;
1758         case SOLVABLE_ARCH:
1759           s->arch = 0;
1760           return;
1761         case SOLVABLE_EVR:
1762           s->evr = 0;
1763           return;
1764         case SOLVABLE_VENDOR:
1765           s->vendor = 0;
1766           return;
1767         case RPM_RPMDBID:
1768           if (repo->rpmdbid)
1769             repo->rpmdbid[p - repo->start] = 0;
1770           return;
1771         case SOLVABLE_PROVIDES:
1772           s->provides = 0;
1773           return;
1774         case SOLVABLE_OBSOLETES:
1775           s->obsoletes = 0;
1776           return;
1777         case SOLVABLE_CONFLICTS:
1778           s->conflicts = 0;
1779           return;
1780         case SOLVABLE_REQUIRES:
1781           s->requires = 0;
1782           return;
1783         case SOLVABLE_RECOMMENDS:
1784           s->recommends = 0;
1785           return;
1786         case SOLVABLE_SUGGESTS:
1787           s->suggests = 0;
1788           return;
1789         case SOLVABLE_SUPPLEMENTS:
1790           s->supplements = 0;
1791         case SOLVABLE_ENHANCES:
1792           s->enhances = 0;
1793           return;
1794         default:
1795           break;
1796         }
1797     }
1798   data = repo_last_repodata(repo);
1799   repodata_unset(data, p, keyname);
1800 }
1801
1802 void
1803 repo_internalize(Repo *repo)
1804 {
1805   int i;
1806   Repodata *data;
1807
1808   FOR_REPODATAS(repo, i, data)
1809     if (data->attrs || data->xattrs)
1810       repodata_internalize(data);
1811 }
1812
1813 void
1814 repo_disable_paging(Repo *repo)
1815 {
1816   int i;
1817   Repodata *data;
1818
1819   FOR_REPODATAS(repo, i, data)
1820     repodata_disable_paging(data);
1821 }
1822