src/repo.c

   1 /*
   2  * Copyright (c) 2007, Novell Inc.
   3  *
   4  * This program is licensed under the BSD license, read LICENSE.BSD
   5  * for further information
   6  */
   7
   8 /*
   9  * repo.c
  10  *
  11  * Manage metadata coming from one repository
  12  *
  13  */
  14
  15 #define _GNU_SOURCE
  16 #include <string.h>
  17 #include <fnmatch.h>
  18
  19 #include <stdio.h>
  20 #include <stdlib.h>
  21
  22
  23
  24 #include "repo.h"
  25 #include "pool.h"
  26 #include "poolid_private.h"
  27 #include "util.h"
  28 #include "chksum.h"
  29
  30 #define IDARRAY_BLOCK     4095
  31
  32
  33 /*
  34  * create empty repo
  35  * and add to pool
  36  */
  37
  38 Repo *
  39 repo_create(Pool *pool, const char *name)
  40 {
  41   Repo *repo;
  42
  43   pool_freewhatprovides(pool);
  44   repo = (Repo *)solv_calloc(1, sizeof(*repo));
  45   if (!pool->nrepos)
  46     {
  47       pool->nrepos = 1; /* start with repoid 1 */
  48       pool->repos = (Repo **)solv_calloc(2, sizeof(Repo *));
  49     }
  50   else
  51     pool->repos = (Repo **)solv_realloc2(pool->repos, pool->nrepos + 1, sizeof(Repo *));
  52   pool->repos[pool->nrepos] = repo;
  53   pool->urepos++;
  54   repo->repoid = pool->nrepos++;
  55   repo->name = name ? solv_strdup(name) : 0;
  56   repo->pool = pool;
  57   repo->start = pool->nsolvables;
  58   repo->end = pool->nsolvables;
  59   repo->nsolvables = 0;
  60   return repo;
  61 }
  62
  63 void
  64 repo_freedata(Repo *repo)
  65 {
  66   int i;
  67   for (i = 1; i < repo->nrepodata; i++)
  68     repodata_freedata(repo->repodata + i);
  69   solv_free(repo->repodata);
  70   solv_free(repo->idarraydata);
  71   solv_free(repo->rpmdbid);
  72   solv_free(repo->lastidhash);
  73   solv_free((char *)repo->name);
  74   solv_free(repo);
  75 }
  76
  77 /* delete all solvables and repodata blocks from this repo */
  78
  79 void
  80 repo_empty(Repo *repo, int reuseids)
  81 {
  82   Pool *pool = repo->pool;
  83   Solvable *s;
  84   int i;
  85
  86   pool_freewhatprovides(pool);
  87   if (reuseids && repo->end == pool->nsolvables)
  88     {
  89       /* it's ok to reuse the ids. As this is the last repo, we can
  90          just shrink the solvable array */
  91       for (i = repo->end - 1, s = pool->solvables + i; i >= repo->start; i--, s--)
  92         if (s->repo != repo)
  93           break;
  94       pool_free_solvable_block(pool, i + 1, repo->end - (i + 1), reuseids);
  95       repo->end = i + 1;
  96     }
  97   /* zero out (i.e. free) solvables belonging to this repo */
  98   for (i = repo->start, s = pool->solvables + i; i < repo->end; i++, s++)
  99     if (s->repo == repo)
 100       memset(s, 0, sizeof(*s));
 101   repo->end = repo->start;
 102   repo->nsolvables = 0;
 103
 104   /* free all data belonging to this repo */
 105   repo->idarraydata = solv_free(repo->idarraydata);
 106   repo->idarraysize = 0;
 107   repo->lastoff = 0;
 108   repo->rpmdbid = solv_free(repo->rpmdbid);
 109   for (i = 1; i < repo->nrepodata; i++)
 110     repodata_freedata(repo->repodata + i);
 111   solv_free(repo->repodata);
 112   repo->repodata = 0;
 113   repo->nrepodata = 0;
 114 }
 115
 116 /*
 117  * remove repo from pool, delete solvables
 118  *
 119  */
 120
 121 void
 122 repo_free(Repo *repo, int reuseids)
 123 {
 124   Pool *pool = repo->pool;
 125   int i;
 126
 127   if (repo == pool->installed)
 128     pool->installed = 0;
 129   repo_empty(repo, reuseids);
 130   for (i = 1; i < pool->nrepos; i++)    /* find repo in pool */
 131     if (pool->repos[i] == repo)
 132       break;
 133   if (i == pool->nrepos)               /* repo not in pool, return */
 134     return;
 135   if (i == pool->nrepos - 1 && reuseids)
 136     pool->nrepos--;
 137   else
 138     pool->repos[i] = 0;
 139   pool->urepos--;
 140   repo_freedata(repo);
 141 }
 142
 143 Id
 144 repo_add_solvable(Repo *repo)
 145 {
 146   Id p = pool_add_solvable(repo->pool);
 147   if (!repo->start || repo->start == repo->end)
 148     repo->start = repo->end = p;
 149   /* warning: sidedata must be extended before adapting start/end */
 150   if (repo->rpmdbid)
 151     repo->rpmdbid = (Id *)repo_sidedata_extend(repo, repo->rpmdbid, sizeof(Id), p, 1);
 152   if (p < repo->start)
 153     repo->start = p;
 154   if (p + 1 > repo->end)
 155     repo->end = p + 1;
 156   repo->nsolvables++;
 157   repo->pool->solvables[p].repo = repo;
 158   return p;
 159 }
 160
 161 Id
 162 repo_add_solvable_block(Repo *repo, int count)
 163 {
 164   Id p;
 165   Solvable *s;
 166   if (!count)
 167     return 0;
 168   p = pool_add_solvable_block(repo->pool, count);
 169   if (!repo->start || repo->start == repo->end)
 170     repo->start = repo->end = p;
 171   /* warning: sidedata must be extended before adapting start/end */
 172   if (repo->rpmdbid)
 173     repo->rpmdbid = (Id *)repo_sidedata_extend(repo, repo->rpmdbid, sizeof(Id), p, count);
 174   if (p < repo->start)
 175     repo->start = p;
 176   if (p + count > repo->end)
 177     repo->end = p + count;
 178   repo->nsolvables += count;
 179   for (s = repo->pool->solvables + p; count--; s++)
 180     s->repo = repo;
 181   return p;
 182 }
 183
 184 void
 185 repo_free_solvable(Repo *repo, Id p, int reuseids)
 186 {
 187   repo_free_solvable_block(repo, p, 1, reuseids);
 188 }
 189
 190 void
 191 repo_free_solvable_block(Repo *repo, Id start, int count, int reuseids)
 192 {
 193   Solvable *s;
 194   Repodata *data;
 195   int i;
 196   if (start + count == repo->end)
 197     repo->end -= count;
 198   repo->nsolvables -= count;
 199   for (s = repo->pool->solvables + start, i = count; i--; s++)
 200     s->repo = 0;
 201   pool_free_solvable_block(repo->pool, start, count, reuseids);
 202   FOR_REPODATAS(repo, i, data)
 203     {
 204       int dstart, dend;
 205       if (data->end > repo->end)
 206         repodata_shrink(data, repo->end);
 207       dstart = data->start > start ? data->start : start;
 208       dend = data->end < start + count ? data->end : start + count;
 209       if (dstart < dend)
 210         {
 211           if (data->attrs)
 212             {
 213               int j;
 214               for (j = dstart; j < dend; j++)
 215                 data->attrs[j - data->start] = solv_free(data->attrs[j - data->start]);
 216             }
 217           if (data->incoreoffset)
 218             memset(data->incoreoffset + (dstart - data->start), 0, (dend - dstart) * sizeof(Id));
 219         }
 220     }
 221 }
 222
 223 /* specialized version of repo_add_solvable_block that inserts the new solvable
 224  * block before the indicated repo, which gets relocated.
 225  * used in repo_add_rpmdb
 226  */
 227 Id
 228 repo_add_solvable_block_before(Repo *repo, int count, Repo *beforerepo)
 229 {
 230   Pool *pool = repo->pool;
 231   Id p;
 232   Solvable *s;
 233   Repodata *data;
 234   int i;
 235
 236   if (!count || !beforerepo || beforerepo->end != pool->nsolvables || beforerepo->start == beforerepo->end)
 237     return repo_add_solvable_block(repo, count);
 238   p = beforerepo->start;
 239   /* make sure all solvables belong to beforerepo */
 240   for (i = p, s = pool->solvables + i; i < beforerepo->end; i++, s++)
 241     if (s->repo && s->repo != beforerepo)
 242       return repo_add_solvable_block(repo, count);
 243   /* now move beforerepo to back */
 244   pool_add_solvable_block(pool, count); /* must return beforerepo->end! */
 245   memmove(pool->solvables + p + count, pool->solvables + p, (beforerepo->end - p) * sizeof(Solvable));
 246   memset(pool->solvables + p, 0, sizeof(Solvable) * count);
 247   /* adapt repodata */
 248   FOR_REPODATAS(beforerepo, i, data)
 249     {
 250       if (data->start < p)
 251         continue;
 252       data->start += count;
 253       data->end += count;
 254     }
 255   beforerepo->start += count;
 256   beforerepo->end += count;
 257   /* we now have count free solvables at id p */
 258   /* warning: sidedata must be extended before adapting start/end */
 259   if (repo->rpmdbid)
 260     repo->rpmdbid = (Id *)repo_sidedata_extend(repo, repo->rpmdbid, sizeof(Id), p, count);
 261   if (p < repo->start)
 262     repo->start = p;
 263   if (p + count > repo->end)
 264     repo->end = p + count;
 265   repo->nsolvables += count;
 266   for (s = pool->solvables + p; count--; s++)
 267     s->repo = repo;
 268   return p;
 269 }
 270
 271
 272 /* repository sidedata is solvable data allocated on demand.
 273  * It is used for data that is normally not present
 274  * in the solvable like the rpmdbid.
 275  * The solvable allocation funcions need to make sure that
 276  * the sidedata gets extended if new solvables get added.
 277  */
 278
 279 #define REPO_SIDEDATA_BLOCK 63
 280
 281 void *
 282 repo_sidedata_create(Repo *repo, size_t size)
 283 {
 284   return solv_calloc_block(repo->end - repo->start, size, REPO_SIDEDATA_BLOCK);
 285 }
 286
 287 void *
 288 repo_sidedata_extend(Repo *repo, void *b, size_t size, Id p, int count)
 289 {
 290   int n = repo->end - repo->start;
 291   if (p < repo->start)
 292     {
 293       int d = repo->start - p;
 294       b = solv_extend(b, n, d, size, REPO_SIDEDATA_BLOCK);
 295       memmove((char *)b + d * size, b, n * size);
 296       memset(b, 0, d * size);
 297       n += d;
 298     }
 299   if (p + count > repo->end)
 300     {
 301       int d = p + count - repo->end;
 302       b = solv_extend(b, n, d, size, REPO_SIDEDATA_BLOCK);
 303       memset((char *)b + n * size, 0, d * size);
 304     }
 305   return b;
 306 }
 307
 308 /*
 309  * add Id to idarraydata used to store dependencies
 310  * olddeps: old array offset to extend
 311  * returns new array offset
 312  */
 313
 314 Offset
 315 repo_addid(Repo *repo, Offset olddeps, Id id)
 316 {
 317   Id *idarray;
 318   int idarraysize;
 319   int i;
 320
 321   idarray = repo->idarraydata;
 322   idarraysize = repo->idarraysize;
 323
 324   if (!idarray)                        /* alloc idarray if not done yet */
 325     {
 326       idarraysize = 1;
 327       idarray = solv_extend_resize(0, 1, sizeof(Id), IDARRAY_BLOCK);
 328       idarray[0] = 0;
 329       repo->lastoff = 0;
 330     }
 331
 332   if (!olddeps)                         /* no deps yet */
 333     {
 334       olddeps = idarraysize;
 335       idarray = solv_extend(idarray, idarraysize, 1, sizeof(Id), IDARRAY_BLOCK);
 336     }
 337   else if (olddeps == repo->lastoff)    /* extend at end */
 338     idarraysize--;
 339   else                                  /* can't extend, copy old */
 340     {
 341       i = olddeps;
 342       olddeps = idarraysize;
 343       for (; idarray[i]; i++)
 344         {
 345           idarray = solv_extend(idarray, idarraysize, 1, sizeof(Id), IDARRAY_BLOCK);
 346           idarray[idarraysize++] = idarray[i];
 347         }
 348       idarray = solv_extend(idarray, idarraysize, 1, sizeof(Id), IDARRAY_BLOCK);
 349     }
 350
 351   idarray[idarraysize++] = id;          /* insert Id into array */
 352   idarray = solv_extend(idarray, idarraysize, 1, sizeof(Id), IDARRAY_BLOCK);
 353   idarray[idarraysize++] = 0;           /* ensure NULL termination */
 354
 355   repo->idarraydata = idarray;
 356   repo->idarraysize = idarraysize;
 357   repo->lastoff = olddeps;
 358
 359   return olddeps;
 360 }
 361
 362 #define REPO_ADDID_DEP_HASHTHRES        64
 363 #define REPO_ADDID_DEP_HASHMIN          128
 364
 365 /*
 366  * Optimization for packages with an excessive amount of provides/requires:
 367  * if the number of deps exceed a threshold, we build a hash of the already
 368  * seen ids.
 369  */
 370 static Offset
 371 repo_addid_dep_hash(Repo *repo, Offset olddeps, Id id, Id marker, int size)
 372 {
 373   Id oid, *oidp;
 374   int before;
 375   Hashval h, hh;
 376   Id hid;
 377
 378   before = 0;
 379   if (marker)
 380     {
 381       if (marker < 0)
 382         {
 383           marker = -marker;
 384           before = 1;
 385         }
 386       if (marker == id)
 387         marker = 0;
 388     }
 389
 390   /* maintain hash and lastmarkerpos */
 391   if (repo->lastidhash_idarraysize != repo->idarraysize || size * 2 > repo->lastidhash_mask || repo->lastmarker != marker)
 392     {
 393       repo->lastmarkerpos = 0;
 394       if (size * 2 > repo->lastidhash_mask)
 395         {
 396           repo->lastidhash_mask = mkmask(size < REPO_ADDID_DEP_HASHMIN ? REPO_ADDID_DEP_HASHMIN : size);
 397           repo->lastidhash = solv_realloc2(repo->lastidhash, repo->lastidhash_mask + 1, sizeof(Id));
 398         }
 399       memset(repo->lastidhash, 0, (repo->lastidhash_mask + 1) * sizeof(Id));
 400       for (oidp = repo->idarraydata + olddeps; (oid = *oidp) != 0; oidp++)
 401         {
 402           h = oid & repo->lastidhash_mask;
 403           hh = HASHCHAIN_START;
 404           while (repo->lastidhash[h] != 0)
 405             h = HASHCHAIN_NEXT(h, hh, repo->lastidhash_mask);
 406           repo->lastidhash[h] = oid;
 407           if (marker && oid == marker)
 408             repo->lastmarkerpos = oidp - repo->idarraydata;
 409         }
 410       repo->lastmarker = marker;
 411       repo->lastidhash_idarraysize = repo->idarraysize;
 412     }
 413
 414   /* check the hash! */
 415   h = id & repo->lastidhash_mask;
 416   hh = HASHCHAIN_START;
 417   while ((hid = repo->lastidhash[h]) != 0 && hid != id)
 418     h = HASHCHAIN_NEXT(h, hh, repo->lastidhash_mask);
 419   /* put new element in hash */
 420   if (!hid)
 421     repo->lastidhash[h] = id;
 422   else if (marker == SOLVABLE_FILEMARKER && (!before || !repo->lastmarkerpos))
 423     return olddeps;
 424   if (marker && !before && !repo->lastmarkerpos)
 425     {
 426       /* we have to add the marker first */
 427       repo->lastmarkerpos = repo->idarraysize - 1;
 428       olddeps = repo_addid(repo, olddeps, marker);
 429       /* now put marker in hash */
 430       h = marker & repo->lastidhash_mask;
 431       hh = HASHCHAIN_START;
 432       while (repo->lastidhash[h] != 0)
 433         h = HASHCHAIN_NEXT(h, hh, repo->lastidhash_mask);
 434       repo->lastidhash[h] = marker;
 435       repo->lastidhash_idarraysize = repo->idarraysize;
 436     }
 437   if (!hid)
 438     {
 439       /* new entry, insert in correct position */
 440       if (marker && before && repo->lastmarkerpos)
 441         {
 442           /* need to add it before the marker */
 443           olddeps = repo_addid(repo, olddeps, id);      /* dummy to make room */
 444           memmove(repo->idarraydata + repo->lastmarkerpos + 1, repo->idarraydata + repo->lastmarkerpos, (repo->idarraysize - repo->lastmarkerpos - 2) * sizeof(Id));
 445           repo->idarraydata[repo->lastmarkerpos++] = id;
 446         }
 447       else
 448         {
 449           /* just append it to the end */
 450           olddeps = repo_addid(repo, olddeps, id);
 451         }
 452       repo->lastidhash_idarraysize = repo->idarraysize;
 453       return olddeps;
 454     }
 455   /* we already have it in the hash */
 456   if (!marker)
 457     return olddeps;
 458   if (marker == SOLVABLE_FILEMARKER)
 459     {
 460       /* check if it is in the wrong half */
 461       /* (we already made sure that "before" and "lastmarkerpos" are set, see above) */
 462       for (oidp = repo->idarraydata + repo->lastmarkerpos + 1; (oid = *oidp) != 0; oidp++)
 463         if (oid == id)
 464           break;
 465       if (!oid)
 466         return olddeps;
 467       /* yes, wrong half. copy it over */
 468       memmove(repo->idarraydata + repo->lastmarkerpos + 1, repo->idarraydata + repo->lastmarkerpos, (oidp - (repo->idarraydata + repo->lastmarkerpos)) * sizeof(Id));
 469       repo->idarraydata[repo->lastmarkerpos++] = id;
 470       return olddeps;
 471     }
 472   if (before)
 473     return olddeps;
 474   /* check if it is in the correct half */
 475   for (oidp = repo->idarraydata + repo->lastmarkerpos + 1; (oid = *oidp) != 0; oidp++)
 476     if (oid == id)
 477       return olddeps;
 478   /* nope, copy it over */
 479   for (oidp = repo->idarraydata + olddeps; (oid = *oidp) != 0; oidp++)
 480     if (oid == id)
 481       break;
 482   if (!oid)
 483     return olddeps;     /* should not happen */
 484   memmove(oidp, oidp + 1, (repo->idarraydata + repo->idarraysize - oidp - 2) * sizeof(Id));
 485   repo->idarraydata[repo->idarraysize - 2] = id;
 486   repo->lastmarkerpos--;        /* marker has been moved */
 487   return olddeps;
 488 }
 489
 490 /*
 491  * add dependency (as Id) to repo, also unifies dependencies
 492  * olddeps = offset into idarraydata
 493  * marker= 0 for normal dep
 494  * marker > 0 add dep after marker
 495  * marker < 0 add dep before -marker
 496  * returns new start of dependency array
 497  */
 498 Offset
 499 repo_addid_dep(Repo *repo, Offset olddeps, Id id, Id marker)
 500 {
 501   Id oid, *oidp, *markerp;
 502   int before;
 503
 504   if (!olddeps)
 505     {
 506       if (marker > 0)
 507         olddeps = repo_addid(repo, olddeps, marker);
 508       return repo_addid(repo, olddeps, id);
 509     }
 510
 511   /* check if we should use the hash optimization */
 512   if (olddeps == repo->lastoff)
 513     {
 514       int size = repo->idarraysize - 1 - repo->lastoff;
 515       if (size >= REPO_ADDID_DEP_HASHTHRES)
 516         return repo_addid_dep_hash(repo, olddeps, id, marker, size);
 517     }
 518
 519   before = 0;
 520   if (marker)
 521     {
 522       if (marker < 0)
 523         {
 524           marker = -marker;
 525           before = 1;
 526         }
 527       if (marker == id)
 528         marker = 0;
 529     }
 530
 531   if (!marker)
 532     {
 533       for (oidp = repo->idarraydata + olddeps; (oid = *oidp) != 0; oidp++)
 534         if (oid == id)
 535           return olddeps;
 536       return repo_addid(repo, olddeps, id);
 537     }
 538
 539   markerp = 0;
 540   for (oidp = repo->idarraydata + olddeps; (oid = *oidp) != 0; oidp++)
 541     {
 542       if (oid == marker)
 543         markerp = oidp;
 544       else if (oid == id)
 545         break;
 546     }
 547
 548   if (oid)
 549     {
 550       if (marker == SOLVABLE_FILEMARKER)
 551         {
 552           if (!markerp || !before)
 553             return olddeps;
 554           /* we found it, but in the second half */
 555           memmove(markerp + 1, markerp, (oidp - markerp) * sizeof(Id));
 556           *markerp = id;
 557           return olddeps;
 558         }
 559       if (markerp || before)
 560         return olddeps;
 561       /* we found it, but in the first half */
 562       markerp = oidp++;
 563       for (; (oid = *oidp) != 0; oidp++)
 564         if (oid == marker)
 565           break;
 566       if (!oid)
 567         {
 568           /* no marker in array yet */
 569           oidp--;
 570           if (markerp < oidp)
 571             memmove(markerp, markerp + 1, (oidp - markerp) * sizeof(Id));
 572           *oidp = marker;
 573           return repo_addid(repo, olddeps, id);
 574         }
 575       while (oidp[1])
 576         oidp++;
 577       memmove(markerp, markerp + 1, (oidp - markerp) * sizeof(Id));
 578       *oidp = id;
 579       return olddeps;
 580     }
 581   /* id not yet in array */
 582   if (!before && !markerp)
 583     olddeps = repo_addid(repo, olddeps, marker);
 584   else if (before && markerp)
 585     {
 586       *markerp++ = id;
 587       id = *--oidp;
 588       if (markerp < oidp)
 589         memmove(markerp + 1, markerp, (oidp - markerp) * sizeof(Id));
 590       *markerp = marker;
 591     }
 592   return repo_addid(repo, olddeps, id);
 593 }
 594
 595 /* return standard marker for the keyname dependency.
 596  * 1: return positive marker, -1: return negative marker
 597  */
 598 Id
 599 solv_depmarker(Id keyname, Id marker)
 600 {
 601   if (marker != 1 && marker != -1)
 602     return marker;
 603   if (keyname == SOLVABLE_PROVIDES)
 604     return marker < 0 ? -SOLVABLE_FILEMARKER : SOLVABLE_FILEMARKER;
 605   if (keyname == SOLVABLE_REQUIRES)
 606     return marker < 0 ? -SOLVABLE_PREREQMARKER : SOLVABLE_PREREQMARKER;
 607   return 0;
 608 }
 609
 610 /*
 611  * reserve Ids
 612  * make space for 'num' more dependencies
 613  * returns new start of dependency array
 614  *
 615  * reserved ids will always begin at offset idarraysize
 616  */
 617 Offset
 618 repo_reserve_ids(Repo *repo, Offset olddeps, int num)
 619 {
 620   num++;        /* room for trailing ID_NULL */
 621
 622   if (!repo->idarraysize)              /* ensure buffer space */
 623     {
 624       repo->idarraysize = 1;
 625       repo->idarraydata = solv_extend_resize(0, 1 + num, sizeof(Id), IDARRAY_BLOCK);
 626       repo->idarraydata[0] = 0;
 627       repo->lastoff = 1;
 628       return 1;
 629     }
 630
 631   if (olddeps && olddeps != repo->lastoff)   /* if not appending */
 632     {
 633       /* can't insert into idarray, this would invalidate all 'larger' offsets
 634        * so create new space at end and move existing deps there.
 635        * Leaving 'hole' at old position.
 636        */
 637
 638       Id *idstart, *idend;
 639       int count;
 640
 641       for (idstart = idend = repo->idarraydata + olddeps; *idend++; )   /* find end */
 642         ;
 643       count = idend - idstart - 1 + num;               /* new size */
 644
 645       repo->idarraydata = solv_extend(repo->idarraydata, repo->idarraysize, count, sizeof(Id), IDARRAY_BLOCK);
 646       /* move old deps to end */
 647       olddeps = repo->lastoff = repo->idarraysize;
 648       memcpy(repo->idarraydata + olddeps, idstart, count - num);
 649       repo->idarraysize = olddeps + count - num;
 650
 651       return olddeps;
 652     }
 653
 654   if (olddeps)                         /* appending */
 655     repo->idarraysize--;
 656
 657   /* make room*/
 658   repo->idarraydata = solv_extend(repo->idarraydata, repo->idarraysize, num, sizeof(Id), IDARRAY_BLOCK);
 659
 660   /* appending or new */
 661   repo->lastoff = olddeps ? olddeps : repo->idarraysize;
 662
 663   return repo->lastoff;
 664 }
 665
 666
 667 /***********************************************************************/
 668
 669 /*
 670  * some SUSE specific fixups, should go into a separate file
 671  */
 672
 673 Offset
 674 repo_fix_supplements(Repo *repo, Offset provides, Offset supplements, Offset freshens)
 675 {
 676   Pool *pool = repo->pool;
 677   Id id, idp, idl;
 678   char buf[1024], *p, *dep;
 679   int i, l;
 680
 681   if (provides)
 682     {
 683       for (i = provides; repo->idarraydata[i]; i++)
 684         {
 685           id = repo->idarraydata[i];
 686           if (ISRELDEP(id))
 687             continue;
 688           dep = (char *)pool_id2str(pool, id);
 689           if (!strncmp(dep, "locale(", 7) && strlen(dep) < sizeof(buf) - 2)
 690             {
 691               idp = 0;
 692               strcpy(buf + 2, dep);
 693               dep = buf + 2 + 7;
 694               if ((p = strchr(dep, ':')) != 0 && p != dep)
 695                 {
 696                   *p++ = 0;
 697                   idp = pool_str2id(pool, dep, 1);
 698                   dep = p;
 699                 }
 700               id = 0;
 701               while ((p = strchr(dep, ';')) != 0)
 702                 {
 703                   if (p == dep)
 704                     {
 705                       dep = p + 1;
 706                       continue;
 707                     }
 708                   *p++ = 0;
 709                   idl = pool_str2id(pool, dep, 1);
 710                   idl = pool_rel2id(pool, NAMESPACE_LANGUAGE, idl, REL_NAMESPACE, 1);
 711                   if (id)
 712                     id = pool_rel2id(pool, id, idl, REL_OR, 1);
 713                   else
 714                     id = idl;
 715                   dep = p;
 716                 }
 717               if (dep[0] && dep[1])
 718                 {
 719                   for (p = dep; *p && *p != ')'; p++)
 720                     ;
 721                   *p = 0;
 722                   idl = pool_str2id(pool, dep, 1);
 723                   idl = pool_rel2id(pool, NAMESPACE_LANGUAGE, idl, REL_NAMESPACE, 1);
 724                   if (id)
 725                     id = pool_rel2id(pool, id, idl, REL_OR, 1);
 726                   else
 727                     id = idl;
 728                 }
 729               if (idp)
 730                 id = pool_rel2id(pool, idp, id, REL_AND, 1);
 731               if (id)
 732                 supplements = repo_addid_dep(repo, supplements, id, 0);
 733             }
 734           else if ((p = strchr(dep, ':')) != 0 && p != dep && p[1] == '/' && strlen(dep) < sizeof(buf))
 735             {
 736               strcpy(buf, dep);
 737               p = buf + (p - dep);
 738               *p++ = 0;
 739               idp = pool_str2id(pool, buf, 1);
 740               /* strip trailing slashes */
 741               l = strlen(p);
 742               while (l > 1 && p[l - 1] == '/')
 743                 p[--l] = 0;
 744               id = pool_str2id(pool, p, 1);
 745               id = pool_rel2id(pool, idp, id, REL_WITH, 1);
 746               id = pool_rel2id(pool, NAMESPACE_SPLITPROVIDES, id, REL_NAMESPACE, 1);
 747               supplements = repo_addid_dep(repo, supplements, id, 0);
 748             }
 749         }
 750     }
 751   if (supplements)
 752     {
 753       for (i = supplements; repo->idarraydata[i]; i++)
 754         {
 755           id = repo->idarraydata[i];
 756           if (ISRELDEP(id))
 757             continue;
 758           dep = (char *)pool_id2str(pool, id);
 759           if (!strncmp(dep, "system:modalias(", 16))
 760             dep += 7;
 761           if (!strncmp(dep, "modalias(", 9) && dep[9] && dep[10] && strlen(dep) < sizeof(buf))
 762             {
 763               strcpy(buf, dep);
 764               p = strchr(buf + 9, ':');
 765               if (p && p != buf + 9 && strchr(p + 1, ':'))
 766                 {
 767                   *p++ = 0;
 768                   idp = pool_str2id(pool, buf + 9, 1);
 769                   p[strlen(p) - 1] = 0;
 770                   id = pool_str2id(pool, p, 1);
 771                   id = pool_rel2id(pool, NAMESPACE_MODALIAS, id, REL_NAMESPACE, 1);
 772                   id = pool_rel2id(pool, idp, id, REL_AND, 1);
 773                 }
 774               else
 775                 {
 776                   p = buf + 9;
 777                   p[strlen(p) - 1] = 0;
 778                   id = pool_str2id(pool, p, 1);
 779                   id = pool_rel2id(pool, NAMESPACE_MODALIAS, id, REL_NAMESPACE, 1);
 780                 }
 781               if (id)
 782                 repo->idarraydata[i] = id;
 783             }
 784           else if (!strncmp(dep, "packageand(", 11) && strlen(dep) < sizeof(buf))
 785             {
 786               strcpy(buf, dep);
 787               id = 0;
 788               dep = buf + 11;
 789               while ((p = strchr(dep, ':')) != 0)
 790                 {
 791                   if (p == dep)
 792                     {
 793                       dep = p + 1;
 794                       continue;
 795                     }
 796                   /* argh, allow pattern: prefix. sigh */
 797                   if (p - dep == 7 && !strncmp(dep, "pattern", 7))
 798                     {
 799                       p = strchr(p + 1, ':');
 800                       if (!p)
 801                         break;
 802                     }
 803                   *p++ = 0;
 804                   idp = pool_str2id(pool, dep, 1);
 805                   if (id)
 806                     id = pool_rel2id(pool, id, idp, REL_AND, 1);
 807                   else
 808                     id = idp;
 809                   dep = p;
 810                 }
 811               if (dep[0] && dep[1])
 812                 {
 813                   dep[strlen(dep) - 1] = 0;
 814                   idp = pool_str2id(pool, dep, 1);
 815                   if (id)
 816                     id = pool_rel2id(pool, id, idp, REL_AND, 1);
 817                   else
 818                     id = idp;
 819                 }
 820               if (id)
 821                 repo->idarraydata[i] = id;
 822             }
 823           else if (!strncmp(dep, "filesystem(", 11) && strlen(dep) < sizeof(buf))
 824             {
 825               strcpy(buf, dep + 11);
 826               if ((p = strrchr(buf, ')')) != 0)
 827                 *p = 0;
 828               id = pool_str2id(pool, buf, 1);
 829               id = pool_rel2id(pool, NAMESPACE_FILESYSTEM, id, REL_NAMESPACE, 1);
 830               repo->idarraydata[i] = id;
 831             }
 832         }
 833     }
 834   if (freshens && repo->idarraydata[freshens])
 835     {
 836       Id idsupp = 0, idfresh = 0;
 837       if (!supplements || !repo->idarraydata[supplements])
 838         return freshens;
 839       for (i = supplements; repo->idarraydata[i]; i++)
 840         {
 841           if (!idsupp)
 842             idsupp = repo->idarraydata[i];
 843           else
 844             idsupp = pool_rel2id(pool, idsupp, repo->idarraydata[i], REL_OR, 1);
 845         }
 846       for (i = freshens; repo->idarraydata[i]; i++)
 847         {
 848           if (!idfresh)
 849             idfresh = repo->idarraydata[i];
 850           else
 851             idfresh = pool_rel2id(pool, idfresh, repo->idarraydata[i], REL_OR, 1);
 852         }
 853       if (!idsupp)
 854         idsupp = idfresh;
 855       else
 856         idsupp = pool_rel2id(pool, idsupp, idfresh, REL_AND, 1);
 857       supplements = repo_addid_dep(repo, 0, idsupp, 0);
 858     }
 859   return supplements;
 860 }
 861
 862 Offset
 863 repo_fix_conflicts(Repo *repo, Offset conflicts)
 864 {
 865   char buf[1024], *p, *dep;
 866   Pool *pool = repo->pool;
 867   Id id;
 868   int i;
 869
 870   if (!conflicts)
 871     return conflicts;
 872   for (i = conflicts; repo->idarraydata[i]; i++)
 873     {
 874       id = repo->idarraydata[i];
 875       if (ISRELDEP(id))
 876         continue;
 877       dep = (char *)pool_id2str(pool, id);
 878       if (!strncmp(dep, "otherproviders(", 15) && strlen(dep) < sizeof(buf) - 2)
 879         {
 880           strcpy(buf, dep + 15);
 881           if ((p = strchr(buf, ')')) != 0)
 882             *p = 0;
 883           id = pool_str2id(pool, buf, 1);
 884           id = pool_rel2id(pool, NAMESPACE_OTHERPROVIDERS, id, REL_NAMESPACE, 1);
 885           repo->idarraydata[i] = id;
 886         }
 887     }
 888   return conflicts;
 889 }
 890
 891 /***********************************************************************/
 892
 893 struct matchdata
 894 {
 895   Pool *pool;
 896   int flags;
 897   Datamatcher matcher;
 898   int stop;
 899   int (*callback)(void *cbdata, Solvable *s, Repodata *data, Repokey *key, KeyValue *kv);
 900   void *callback_data;
 901 };
 902
 903 int
 904 repo_matchvalue(void *cbdata, Solvable *s, Repodata *data, Repokey *key, KeyValue *kv)
 905 {
 906   struct matchdata *md = cbdata;
 907
 908   if (md->matcher.match)
 909     {
 910       const char *str;
 911       if (key->name == SOLVABLE_FILELIST && key->type == REPOKEY_TYPE_DIRSTRARRAY && (md->matcher.flags & SEARCH_FILES) != 0)
 912         if (!datamatcher_checkbasename(&md->matcher, kv->str))
 913           return 0;
 914       if (!(str = repodata_stringify(md->pool, data, key, kv, md->flags)))
 915         return 0;
 916       if (!datamatcher_match(&md->matcher, str))
 917         return 0;
 918     }
 919   md->stop = md->callback(md->callback_data, s, data, key, kv);
 920   return md->stop;
 921 }
 922
 923
 924 /* list of all keys we store in the solvable */
 925 /* also used in the dataiterator code in repodata.c */
 926 Repokey repo_solvablekeys[RPM_RPMDBID - SOLVABLE_NAME + 1] = {
 927   { SOLVABLE_NAME,        REPOKEY_TYPE_ID, 0, KEY_STORAGE_SOLVABLE },
 928   { SOLVABLE_ARCH,        REPOKEY_TYPE_ID, 0, KEY_STORAGE_SOLVABLE },
 929   { SOLVABLE_EVR,         REPOKEY_TYPE_ID, 0, KEY_STORAGE_SOLVABLE },
 930   { SOLVABLE_VENDOR,      REPOKEY_TYPE_ID, 0, KEY_STORAGE_SOLVABLE },
 931   { SOLVABLE_PROVIDES,    REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 932   { SOLVABLE_OBSOLETES,   REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 933   { SOLVABLE_CONFLICTS,   REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 934   { SOLVABLE_REQUIRES,    REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 935   { SOLVABLE_RECOMMENDS,  REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 936   { SOLVABLE_SUGGESTS,    REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 937   { SOLVABLE_SUPPLEMENTS, REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 938   { SOLVABLE_ENHANCES,    REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
 939   { RPM_RPMDBID,          REPOKEY_TYPE_NUM, 0, KEY_STORAGE_SOLVABLE },
 940 };
 941
 942 static void
 943 domatch_idarray(Solvable *s, Id keyname, struct matchdata *md, Id *ida)
 944 {
 945   KeyValue kv;
 946   kv.entry = 0;
 947   kv.parent = 0;
 948   for (; *ida && !md->stop; ida++)
 949     {
 950       kv.id = *ida;
 951       kv.eof = ida[1] ? 0 : 1;
 952       repo_matchvalue(md, s, 0, repo_solvablekeys + (keyname - SOLVABLE_NAME), &kv);
 953       kv.entry++;
 954     }
 955 }
 956
 957 static void
 958 repo_search_md(Repo *repo, Id p, Id keyname, struct matchdata *md)
 959 {
 960   KeyValue kv;
 961   Pool *pool = repo->pool;
 962   Repodata *data;
 963   int i, j, flags;
 964   Solvable *s;
 965
 966   kv.parent = 0;
 967   md->stop = 0;
 968   if (!p)
 969     {
 970       for (p = repo->start, s = repo->pool->solvables + p; p < repo->end; p++, s++)
 971         {
 972           if (s->repo == repo)
 973             repo_search_md(repo, p, keyname, md);
 974           if (md->stop > SEARCH_NEXT_SOLVABLE)
 975             break;
 976         }
 977       return;
 978     }
 979   else if (p < 0)
 980     /* The callback only supports solvables, so we can't iterate over the
 981        extra things.  */
 982     return;
 983   flags = md->flags;
 984   if (!(flags & SEARCH_NO_STORAGE_SOLVABLE))
 985     {
 986       s = pool->solvables + p;
 987       switch(keyname)
 988         {
 989           case 0:
 990           case SOLVABLE_NAME:
 991             if (s->name)
 992               {
 993                 kv.id = s->name;
 994                 repo_matchvalue(md, s, 0, repo_solvablekeys + 0, &kv);
 995               }
 996             if (keyname || md->stop > SEARCH_NEXT_KEY)
 997               return;
 998           case SOLVABLE_ARCH:
 999             if (s->arch)
1000               {
1001                 kv.id = s->arch;
1002                 repo_matchvalue(md, s, 0, repo_solvablekeys + 1, &kv);
1003               }
1004             if (keyname || md->stop > SEARCH_NEXT_KEY)
1005               return;
1006           case SOLVABLE_EVR:
1007             if (s->evr)
1008               {
1009                 kv.id = s->evr;
1010                 repo_matchvalue(md, s, 0, repo_solvablekeys + 2, &kv);
1011               }
1012             if (keyname || md->stop > SEARCH_NEXT_KEY)
1013               return;
1014           case SOLVABLE_VENDOR:
1015             if (s->vendor)
1016               {
1017                 kv.id = s->vendor;
1018                 repo_matchvalue(md, s, 0, repo_solvablekeys + 3, &kv);
1019               }
1020             if (keyname || md->stop > SEARCH_NEXT_KEY)
1021               return;
1022           case SOLVABLE_PROVIDES:
1023             if (s->provides)
1024               domatch_idarray(s, SOLVABLE_PROVIDES, md, repo->idarraydata + s->provides);
1025             if (keyname || md->stop > SEARCH_NEXT_KEY)
1026               return;
1027           case SOLVABLE_OBSOLETES:
1028             if (s->obsoletes)
1029               domatch_idarray(s, SOLVABLE_OBSOLETES, md, repo->idarraydata + s->obsoletes);
1030             if (keyname || md->stop > SEARCH_NEXT_KEY)
1031               return;
1032           case SOLVABLE_CONFLICTS:
1033             if (s->conflicts)
1034               domatch_idarray(s, SOLVABLE_CONFLICTS, md, repo->idarraydata + s->conflicts);
1035             if (keyname || md->stop > SEARCH_NEXT_KEY)
1036               return;
1037           case SOLVABLE_REQUIRES:
1038             if (s->requires)
1039               domatch_idarray(s, SOLVABLE_REQUIRES, md, repo->idarraydata + s->requires);
1040             if (keyname || md->stop > SEARCH_NEXT_KEY)
1041               return;
1042           case SOLVABLE_RECOMMENDS:
1043             if (s->recommends)
1044               domatch_idarray(s, SOLVABLE_RECOMMENDS, md, repo->idarraydata + s->recommends);
1045             if (keyname || md->stop > SEARCH_NEXT_KEY)
1046               return;
1047           case SOLVABLE_SUPPLEMENTS:
1048             if (s->supplements)
1049               domatch_idarray(s, SOLVABLE_SUPPLEMENTS, md, repo->idarraydata + s->supplements);
1050             if (keyname || md->stop > SEARCH_NEXT_KEY)
1051               return;
1052           case SOLVABLE_SUGGESTS:
1053             if (s->suggests)
1054               domatch_idarray(s, SOLVABLE_SUGGESTS, md, repo->idarraydata + s->suggests);
1055             if (keyname || md->stop > SEARCH_NEXT_KEY)
1056               return;
1057           case SOLVABLE_ENHANCES:
1058             if (s->enhances)
1059               domatch_idarray(s, SOLVABLE_ENHANCES, md, repo->idarraydata + s->enhances);
1060             if (keyname || md->stop > SEARCH_NEXT_KEY)
1061               return;
1062           case RPM_RPMDBID:
1063             if (repo->rpmdbid)
1064               {
1065                 kv.num = repo->rpmdbid[p - repo->start];
1066                 kv.num2 = 0;
1067                 repo_matchvalue(md, s, 0, repo_solvablekeys + (RPM_RPMDBID - SOLVABLE_NAME), &kv);
1068               }
1069             if (keyname || md->stop > SEARCH_NEXT_KEY)
1070               return;
1071             break;
1072           default:
1073             break;
1074         }
1075     }
1076
1077   FOR_REPODATAS(repo, i, data)
1078     {
1079       if (p < data->start || p >= data->end)
1080         continue;
1081       if (keyname && !repodata_precheck_keyname(data, keyname))
1082         continue;
1083       if (keyname == SOLVABLE_FILELIST && !(md->flags & SEARCH_COMPLETE_FILELIST))
1084         {
1085           /* do not search filelist extensions */
1086           if (data->state != REPODATA_AVAILABLE)
1087             continue;
1088           for (j = 1; j < data->nkeys; j++)
1089             if (data->keys[j].name != REPOSITORY_SOLVABLES && data->keys[j].name != SOLVABLE_FILELIST)
1090               break;
1091           if (j == data->nkeys)
1092             continue;
1093         }
1094       if (data->state == REPODATA_STUB)
1095         {
1096           if (keyname)
1097             {
1098               for (j = 1; j < data->nkeys; j++)
1099                 if (keyname == data->keys[j].name)
1100                   break;
1101               if (j == data->nkeys)
1102                 continue;
1103             }
1104           /* load it */
1105           if (data->loadcallback)
1106             data->loadcallback(data);
1107           else
1108             data->state = REPODATA_ERROR;
1109         }
1110       if (data->state == REPODATA_ERROR)
1111         continue;
1112       repodata_search(data, p, keyname, md->flags, repo_matchvalue, md);
1113       if (md->stop > SEARCH_NEXT_KEY)
1114         break;
1115     }
1116 }
1117
1118 void
1119 repo_search(Repo *repo, Id p, Id keyname, const char *match, int flags, int (*callback)(void *cbdata, Solvable *s, Repodata *data, Repokey *key, KeyValue *kv), void *cbdata)
1120 {
1121   struct matchdata md;
1122
1123   if (repo->disabled && !(flags & SEARCH_DISABLED_REPOS))
1124     return;
1125   memset(&md, 0, sizeof(md));
1126   md.pool = repo->pool;
1127   md.flags = flags;
1128   md.callback = callback;
1129   md.callback_data = cbdata;
1130   if (match)
1131     datamatcher_init(&md.matcher, match, flags);
1132   repo_search_md(repo, p, keyname, &md);
1133   if (match)
1134     datamatcher_free(&md.matcher);
1135 }
1136
1137 const char *
1138 repo_lookup_str(Repo *repo, Id entry, Id keyname)
1139 {
1140   Pool *pool = repo->pool;
1141   Repodata *data;
1142   int i;
1143   const char *str;
1144
1145   if (entry >= 0)
1146     {
1147       switch (keyname)
1148         {
1149         case SOLVABLE_NAME:
1150           return pool_id2str(pool, pool->solvables[entry].name);
1151         case SOLVABLE_ARCH:
1152           return pool_id2str(pool, pool->solvables[entry].arch);
1153         case SOLVABLE_EVR:
1154           return pool_id2str(pool, pool->solvables[entry].evr);
1155         case SOLVABLE_VENDOR:
1156           return pool_id2str(pool, pool->solvables[entry].vendor);
1157         }
1158     }
1159   else if (entry == SOLVID_POS && pool->pos.repo == repo && pool->pos.repodataid)
1160     return repodata_lookup_str(pool->pos.repo->repodata + pool->pos.repodataid, entry, keyname);
1161   FOR_REPODATAS(repo, i, data)
1162     {
1163       if (entry != SOLVID_META && (entry < data->start || entry >= data->end))
1164         continue;
1165       if (!repodata_precheck_keyname(data, keyname))
1166         continue;
1167       str = repodata_lookup_str(data, entry, keyname);
1168       if (str)
1169         return str;
1170       if (repodata_lookup_type(data, entry, keyname))
1171         return 0;
1172     }
1173   return 0;
1174 }
1175
1176
1177 unsigned long long
1178 repo_lookup_num(Repo *repo, Id entry, Id keyname, unsigned long long notfound)
1179 {
1180   Pool *pool = repo->pool;
1181   Repodata *data;
1182   int i;
1183   unsigned long long value;
1184
1185   if (entry >= 0)
1186     {
1187       if (keyname == RPM_RPMDBID)
1188         {
1189           if (repo->rpmdbid && entry >= repo->start && entry < repo->end)
1190             return repo->rpmdbid[entry - repo->start];
1191           return notfound;
1192         }
1193     }
1194   else if (entry == SOLVID_POS && pool->pos.repo == repo && pool->pos.repodataid)
1195     return repodata_lookup_num(pool->pos.repo->repodata + pool->pos.repodataid, entry, keyname, &value) ? value : notfound;
1196   FOR_REPODATAS(repo, i, data)
1197     {
1198       if (entry != SOLVID_META && (entry < data->start || entry >= data->end))
1199         continue;
1200       if (!repodata_precheck_keyname(data, keyname))
1201         continue;
1202       if (repodata_lookup_num(data, entry, keyname, &value))
1203         return value;
1204       if (repodata_lookup_type(data, entry, keyname))
1205         return notfound;
1206     }
1207   return notfound;
1208 }
1209
1210 Id
1211 repo_lookup_id(Repo *repo, Id entry, Id keyname)
1212 {
1213   Pool *pool = repo->pool;
1214   Repodata *data;
1215   int i;
1216   Id id;
1217
1218   if (entry >= 0)
1219     {
1220       switch (keyname)
1221         {
1222         case SOLVABLE_NAME:
1223           return repo->pool->solvables[entry].name;
1224         case SOLVABLE_ARCH:
1225           return repo->pool->solvables[entry].arch;
1226         case SOLVABLE_EVR:
1227           return repo->pool->solvables[entry].evr;
1228         case SOLVABLE_VENDOR:
1229           return repo->pool->solvables[entry].vendor;
1230         }
1231     }
1232   else if (entry == SOLVID_POS && pool->pos.repo == repo && pool->pos.repodataid)
1233     {
1234       Repodata *data = pool->pos.repo->repodata + pool->pos.repodataid;
1235       Id id = repodata_lookup_id(data, entry, keyname);
1236       return data->localpool ? repodata_globalize_id(data, id, 1) : id;
1237     }
1238   FOR_REPODATAS(repo, i, data)
1239     {
1240       if (entry != SOLVID_META && (entry < data->start || entry >= data->end))
1241         continue;
1242       if (!repodata_precheck_keyname(data, keyname))
1243         continue;
1244       id = repodata_lookup_id(data, entry, keyname);
1245       if (id)
1246         return data->localpool ? repodata_globalize_id(data, id, 1) : id;
1247       if (repodata_lookup_type(data, entry, keyname))
1248         return 0;
1249     }
1250   return 0;
1251 }
1252
1253 static int
1254 lookup_idarray_solvable(Repo *repo, Offset off, Queue *q)
1255 {
1256   Id *p;
1257
1258   queue_empty(q);
1259   if (off)
1260     for (p = repo->idarraydata + off; *p; p++)
1261       queue_push(q, *p);
1262   return 1;
1263 }
1264
1265 int
1266 repo_lookup_idarray(Repo *repo, Id entry, Id keyname, Queue *q)
1267 {
1268   Pool *pool = repo->pool;
1269   Repodata *data;
1270   int i;
1271   if (entry >= 0)
1272     {
1273       switch (keyname)
1274         {
1275         case SOLVABLE_PROVIDES:
1276           return lookup_idarray_solvable(repo, repo->pool->solvables[entry].provides, q);
1277         case SOLVABLE_OBSOLETES:
1278           return lookup_idarray_solvable(repo, repo->pool->solvables[entry].obsoletes, q);
1279         case SOLVABLE_CONFLICTS:
1280           return lookup_idarray_solvable(repo, repo->pool->solvables[entry].conflicts, q);
1281         case SOLVABLE_REQUIRES:
1282           return lookup_idarray_solvable(repo, repo->pool->solvables[entry].requires, q);
1283         case SOLVABLE_RECOMMENDS:
1284           return lookup_idarray_solvable(repo, repo->pool->solvables[entry].recommends, q);
1285         case SOLVABLE_SUGGESTS:
1286           return lookup_idarray_solvable(repo, repo->pool->solvables[entry].suggests, q);
1287         case SOLVABLE_SUPPLEMENTS:
1288           return lookup_idarray_solvable(repo, repo->pool->solvables[entry].supplements, q);
1289         case SOLVABLE_ENHANCES:
1290           return lookup_idarray_solvable(repo, repo->pool->solvables[entry].enhances, q);
1291         }
1292     }
1293   else if (entry == SOLVID_POS && pool->pos.repo == repo && pool->pos.repodataid)
1294     {
1295       Repodata *data = pool->pos.repo->repodata + pool->pos.repodataid;
1296       if (repodata_lookup_idarray(data, entry, keyname, q))
1297         {
1298           if (data->localpool)
1299             {
1300               for (i = 0; i < q->count; i++)
1301                 q->elements[i] = repodata_globalize_id(data, q->elements[i], 1);
1302             }
1303           return 1;
1304         }
1305     }
1306   FOR_REPODATAS(repo, i, data)
1307     {
1308       if (entry != SOLVID_META && (entry < data->start || entry >= data->end))
1309         continue;
1310       if (!repodata_precheck_keyname(data, keyname))
1311         continue;
1312       if (repodata_lookup_idarray(data, entry, keyname, q))
1313         {
1314           if (data->localpool)
1315             {
1316               for (i = 0; i < q->count; i++)
1317                 q->elements[i] = repodata_globalize_id(data, q->elements[i], 1);
1318             }
1319           return 1;
1320         }
1321       if (repodata_lookup_type(data, entry, keyname))
1322         break;
1323     }
1324   queue_empty(q);
1325   return 0;
1326 }
1327
1328 int
1329 repo_lookup_deparray(Repo *repo, Id entry, Id keyname, Queue *q, Id marker)
1330 {
1331   int r = repo_lookup_idarray(repo, entry, keyname, q);
1332   if (!r)
1333     return 0;
1334   if (marker == -1 || marker == 1)
1335     marker = solv_depmarker(keyname, marker);
1336   if (marker && q->count)
1337     {
1338       int i;
1339       if (marker < 0)
1340         {
1341           marker = -marker;
1342           for (i = 0; i < q->count; i++)
1343             if (q->elements[i] == marker)
1344               {
1345                 queue_truncate(q, i);
1346                 return r;
1347               }
1348         }
1349       else
1350         {
1351           for (i = 0; i < q->count; i++)
1352             if (q->elements[i] == marker)
1353               {
1354                 queue_deleten(q, 0, i + 1);
1355                 return r;
1356               }
1357           queue_empty(q);
1358         }
1359     }
1360   return r;
1361 }
1362
1363 const unsigned char *
1364 repo_lookup_bin_checksum(Repo *repo, Id entry, Id keyname, Id *typep)
1365 {
1366   Pool *pool = repo->pool;
1367   Repodata *data;
1368   int i;
1369   const unsigned char *chk;
1370
1371   if (entry == SOLVID_POS && pool->pos.repo == repo && pool->pos.repodataid)
1372     return repodata_lookup_bin_checksum(pool->pos.repo->repodata + pool->pos.repodataid, entry, keyname, typep);
1373   FOR_REPODATAS(repo, i, data)
1374     {
1375       if (entry != SOLVID_META && (entry < data->start || entry >= data->end))
1376         continue;
1377       if (!repodata_precheck_keyname(data, keyname))
1378         continue;
1379       chk = repodata_lookup_bin_checksum(data, entry, keyname, typep);
1380       if (chk)
1381         return chk;
1382       if (repodata_lookup_type(data, entry, keyname))
1383         return 0;
1384     }
1385   *typep = 0;
1386   return 0;
1387 }
1388
1389 const char *
1390 repo_lookup_checksum(Repo *repo, Id entry, Id keyname, Id *typep)
1391 {
1392   const unsigned char *chk = repo_lookup_bin_checksum(repo, entry, keyname, typep);
1393   return chk ? pool_bin2hex(repo->pool, chk, solv_chksum_len(*typep)) : 0;
1394 }
1395
1396 int
1397 repo_lookup_void(Repo *repo, Id entry, Id keyname)
1398 {
1399   Pool *pool = repo->pool;
1400   Repodata *data;
1401   int i;
1402   Id type;
1403
1404   if (entry == SOLVID_POS && pool->pos.repo == repo && pool->pos.repodataid)
1405     return repodata_lookup_void(pool->pos.repo->repodata + pool->pos.repodataid, entry, keyname);
1406   FOR_REPODATAS(repo, i, data)
1407     {
1408       if (entry != SOLVID_META && (entry < data->start || entry >= data->end))
1409         continue;
1410       if (!repodata_precheck_keyname(data, keyname))
1411         continue;
1412       type = repodata_lookup_type(data, entry, keyname);
1413       if (type)
1414         return type == REPOKEY_TYPE_VOID;
1415     }
1416   return 0;
1417 }
1418
1419 Id
1420 repo_lookup_type(Repo *repo, Id entry, Id keyname)
1421 {
1422   Pool *pool = repo->pool;
1423   Repodata *data;
1424   int i;
1425   Id type;
1426
1427   if (entry == SOLVID_POS && pool->pos.repo == repo && pool->pos.repodataid)
1428     return repodata_lookup_type(pool->pos.repo->repodata + pool->pos.repodataid, entry, keyname);
1429   FOR_REPODATAS(repo, i, data)
1430     {
1431       if (entry != SOLVID_META && (entry < data->start || entry >= data->end))
1432         continue;
1433       if (!repodata_precheck_keyname(data, keyname))
1434         continue;
1435       type = repodata_lookup_type(data, entry, keyname);
1436       if (type)
1437         return type == REPOKEY_TYPE_DELETED ? 0 : type;
1438     }
1439   return 0;
1440 }
1441
1442 const void *
1443 repo_lookup_binary(Repo *repo, Id entry, Id keyname, int *lenp)
1444 {
1445   Pool *pool = repo->pool;
1446   Repodata *data;
1447   int i;
1448   const void *bin;
1449
1450   if (entry == SOLVID_POS && pool->pos.repo == repo && pool->pos.repodataid)
1451     return repodata_lookup_binary(pool->pos.repo->repodata + pool->pos.repodataid, entry, keyname, lenp);
1452   FOR_REPODATAS(repo, i, data)
1453     {
1454       if (entry != SOLVID_META && (entry < data->start || entry >= data->end))
1455         continue;
1456       if (!repodata_precheck_keyname(data, keyname))
1457         continue;
1458       bin = repodata_lookup_binary(data, entry, keyname, lenp);
1459       if (bin)
1460         return bin;
1461     }
1462   *lenp = 0;
1463   return 0;
1464 }
1465
1466 /***********************************************************************/
1467
1468 Repodata *
1469 repo_add_repodata(Repo *repo, int flags)
1470 {
1471   Repodata *data;
1472   int i;
1473   if ((flags & REPO_USE_LOADING) != 0)
1474     {
1475       for (i = repo->nrepodata - 1; i > 0; i--)
1476         if (repo->repodata[i].state == REPODATA_LOADING)
1477           {
1478             Repodata *data = repo->repodata + i;
1479             /* re-init */
1480             /* hack: we mis-use REPO_REUSE_REPODATA here */
1481             if (!(flags & REPO_REUSE_REPODATA))
1482               repodata_empty(data, (flags & REPO_LOCALPOOL) ? 1 : 0);
1483             return data;
1484           }
1485       return 0; /* must not create a new repodata! */
1486     }
1487   if ((flags & REPO_REUSE_REPODATA) != 0)
1488     {
1489       for (i = repo->nrepodata - 1; i > 0; i--)
1490         if (repo->repodata[i].state != REPODATA_STUB)
1491           return repo->repodata + i;
1492     }
1493   if (!repo->nrepodata)
1494     {
1495       repo->nrepodata = 2;      /* start with id 1 */
1496       repo->repodata = solv_calloc(repo->nrepodata, sizeof(*data));
1497     }
1498   else
1499     {
1500       repo->nrepodata++;
1501       repo->repodata = solv_realloc2(repo->repodata, repo->nrepodata, sizeof(*data));
1502     }
1503   data = repo->repodata + repo->nrepodata - 1;
1504   repodata_initdata(data, repo, (flags & REPO_LOCALPOOL) ? 1 : 0);
1505   return data;
1506 }
1507
1508 Repodata *
1509 repo_id2repodata(Repo *repo, Id id)
1510 {
1511   return id ? repo->repodata + id : 0;
1512 }
1513
1514 Repodata *
1515 repo_last_repodata(Repo *repo)
1516 {
1517   int i;
1518   for (i = repo->nrepodata - 1; i > 0; i--)
1519     if (repo->repodata[i].state != REPODATA_STUB)
1520       return repo->repodata + i;
1521   return repo_add_repodata(repo, 0);
1522 }
1523
1524 void
1525 repo_set_id(Repo *repo, Id p, Id keyname, Id id)
1526 {
1527   Repodata *data;
1528   if (p >= 0)
1529     {
1530       switch (keyname)
1531         {
1532         case SOLVABLE_NAME:
1533           repo->pool->solvables[p].name = id;
1534           return;
1535         case SOLVABLE_ARCH:
1536           repo->pool->solvables[p].arch = id;
1537           return;
1538         case SOLVABLE_EVR:
1539           repo->pool->solvables[p].evr = id;
1540           return;
1541         case SOLVABLE_VENDOR:
1542           repo->pool->solvables[p].vendor = id;
1543           return;
1544         }
1545     }
1546   data = repo_last_repodata(repo);
1547   if (data->localpool)
1548     id = repodata_localize_id(data, id, 1);
1549   repodata_set_id(data, p, keyname, id);
1550 }
1551
1552 void
1553 repo_set_num(Repo *repo, Id p, Id keyname, unsigned long long num)
1554 {
1555   Repodata *data;
1556   if (p >= 0)
1557     {
1558       if (keyname == RPM_RPMDBID)
1559         {
1560           if (!repo->rpmdbid)
1561             repo->rpmdbid = repo_sidedata_create(repo, sizeof(Id));
1562           repo->rpmdbid[p - repo->start] = num;
1563           return;
1564         }
1565     }
1566   data = repo_last_repodata(repo);
1567   repodata_set_num(data, p, keyname, num);
1568 }
1569
1570 void
1571 repo_set_str(Repo *repo, Id p, Id keyname, const char *str)
1572 {
1573   Repodata *data;
1574   if (p >= 0)
1575     {
1576       switch (keyname)
1577         {
1578         case SOLVABLE_NAME:
1579         case SOLVABLE_ARCH:
1580         case SOLVABLE_EVR:
1581         case SOLVABLE_VENDOR:
1582           repo_set_id(repo, p, keyname, pool_str2id(repo->pool, str, 1));
1583           return;
1584         }
1585     }
1586   data = repo_last_repodata(repo);
1587   repodata_set_str(data, p, keyname, str);
1588 }
1589
1590 void
1591 repo_set_poolstr(Repo *repo, Id p, Id keyname, const char *str)
1592 {
1593   Repodata *data;
1594   if (p >= 0)
1595     {
1596       switch (keyname)
1597         {
1598         case SOLVABLE_NAME:
1599         case SOLVABLE_ARCH:
1600         case SOLVABLE_EVR:
1601         case SOLVABLE_VENDOR:
1602           repo_set_id(repo, p, keyname, pool_str2id(repo->pool, str, 1));
1603           return;
1604         }
1605     }
1606   data = repo_last_repodata(repo);
1607   repodata_set_poolstr(data, p, keyname, str);
1608 }
1609
1610 void
1611 repo_add_poolstr_array(Repo *repo, Id p, Id keyname, const char *str)
1612 {
1613   Repodata *data = repo_last_repodata(repo);
1614   repodata_add_poolstr_array(data, p, keyname, str);
1615 }
1616
1617 void
1618 repo_add_deparray(Repo *repo, Id p, Id keyname, Id dep, Id marker)
1619 {
1620   Repodata *data;
1621   if (marker == -1 || marker == 1)
1622     marker = solv_depmarker(keyname, marker);
1623   if (p >= 0)
1624     {
1625       Solvable *s = repo->pool->solvables + p;
1626       switch (keyname)
1627         {
1628         case SOLVABLE_PROVIDES:
1629           s->provides = repo_addid_dep(repo, s->provides, dep, marker);
1630           return;
1631         case SOLVABLE_OBSOLETES:
1632           s->obsoletes = repo_addid_dep(repo, s->obsoletes, dep, marker);
1633           return;
1634         case SOLVABLE_CONFLICTS:
1635           s->conflicts = repo_addid_dep(repo, s->conflicts, dep, marker);
1636           return;
1637         case SOLVABLE_REQUIRES:
1638           s->requires = repo_addid_dep(repo, s->requires, dep, marker);
1639           return;
1640         case SOLVABLE_RECOMMENDS:
1641           s->recommends = repo_addid_dep(repo, s->recommends, dep, marker);
1642           return;
1643         case SOLVABLE_SUGGESTS:
1644           s->suggests = repo_addid_dep(repo, s->suggests, dep, marker);
1645           return;
1646         case SOLVABLE_SUPPLEMENTS:
1647           s->supplements = repo_addid_dep(repo, s->supplements, dep, marker);
1648           return;
1649         case SOLVABLE_ENHANCES:
1650           s->enhances = repo_addid_dep(repo, s->enhances, dep, marker);
1651           return;
1652         }
1653     }
1654   data = repo_last_repodata(repo);
1655   repodata_add_idarray(data, p, keyname, dep);
1656 }
1657
1658 void
1659 repo_add_idarray(Repo *repo, Id p, Id keyname, Id id)
1660 {
1661   repo_add_deparray(repo, p, keyname, id, 0);
1662 }
1663
1664 static Offset
1665 repo_set_idarray_solvable(Repo *repo, Queue *q)
1666 {
1667   Offset o = 0;
1668   int i;
1669   for (i = 0; i < q->count; i++)
1670     repo_addid_dep(repo, o, q->elements[i], 0);
1671   return o;
1672 }
1673
1674 void
1675 repo_set_deparray(Repo *repo, Id p, Id keyname, Queue *q, Id marker)
1676 {
1677   Repodata *data;
1678   if (marker == -1 || marker == 1)
1679     marker = solv_depmarker(keyname, marker);
1680   if (marker)
1681     {
1682       /* complex case, splice old and new arrays */
1683       int i;
1684       Queue q2;
1685       queue_init(&q2);
1686       repo_lookup_deparray(repo, p, keyname, &q2, -marker);
1687       if (marker > 0)
1688         {
1689           if (q->count)
1690             {
1691               queue_push(&q2, marker);
1692               for (i = 0; i < q->count; i++)
1693                 queue_push(&q2, q->elements[i]);
1694             }
1695         }
1696       else
1697         {
1698           if (q2.count)
1699             queue_insert(&q2, 0, -marker);
1700           queue_insertn(&q2, 0, q->count, q->elements);
1701         }
1702       repo_set_deparray(repo, p, keyname, &q2, 0);
1703       queue_free(&q2);
1704       return;
1705     }
1706   if (p >= 0)
1707     {
1708       Solvable *s = repo->pool->solvables + p;
1709       switch (keyname)
1710         {
1711         case SOLVABLE_PROVIDES:
1712           s->provides = repo_set_idarray_solvable(repo, q);
1713           return;
1714         case SOLVABLE_OBSOLETES:
1715           s->obsoletes = repo_set_idarray_solvable(repo, q);
1716           return;
1717         case SOLVABLE_CONFLICTS:
1718           s->conflicts = repo_set_idarray_solvable(repo, q);
1719           return;
1720         case SOLVABLE_REQUIRES:
1721           s->requires = repo_set_idarray_solvable(repo, q);
1722           return;
1723         case SOLVABLE_RECOMMENDS:
1724           s->recommends = repo_set_idarray_solvable(repo, q);
1725           return;
1726         case SOLVABLE_SUGGESTS:
1727           s->suggests = repo_set_idarray_solvable(repo, q);
1728           return;
1729         case SOLVABLE_SUPPLEMENTS:
1730           s->supplements = repo_set_idarray_solvable(repo, q);
1731           return;
1732         case SOLVABLE_ENHANCES:
1733           s->enhances = repo_set_idarray_solvable(repo, q);
1734           return;
1735         }
1736     }
1737   data = repo_last_repodata(repo);
1738   repodata_set_idarray(data, p, keyname, q);
1739 }
1740
1741 void
1742 repo_set_idarray(Repo *repo, Id p, Id keyname, Queue *q)
1743 {
1744   repo_set_deparray(repo, p, keyname, q, 0);
1745 }
1746
1747 void
1748 repo_unset(Repo *repo, Id p, Id keyname)
1749 {
1750   Repodata *data;
1751   if (p >= 0)
1752     {
1753       Solvable *s = repo->pool->solvables + p;
1754       switch (keyname)
1755         {
1756         case SOLVABLE_NAME:
1757           s->name = 0;
1758           return;
1759         case SOLVABLE_ARCH:
1760           s->arch = 0;
1761           return;
1762         case SOLVABLE_EVR:
1763           s->evr = 0;
1764           return;
1765         case SOLVABLE_VENDOR:
1766           s->vendor = 0;
1767           return;
1768         case RPM_RPMDBID:
1769           if (repo->rpmdbid)
1770             repo->rpmdbid[p - repo->start] = 0;
1771           return;
1772         case SOLVABLE_PROVIDES:
1773           s->provides = 0;
1774           return;
1775         case SOLVABLE_OBSOLETES:
1776           s->obsoletes = 0;
1777           return;
1778         case SOLVABLE_CONFLICTS:
1779           s->conflicts = 0;
1780           return;
1781         case SOLVABLE_REQUIRES:
1782           s->requires = 0;
1783           return;
1784         case SOLVABLE_RECOMMENDS:
1785           s->recommends = 0;
1786           return;
1787         case SOLVABLE_SUGGESTS:
1788           s->suggests = 0;
1789           return;
1790         case SOLVABLE_SUPPLEMENTS:
1791           s->supplements = 0;
1792         case SOLVABLE_ENHANCES:
1793           s->enhances = 0;
1794           return;
1795         default:
1796           break;
1797         }
1798     }
1799   data = repo_last_repodata(repo);
1800   repodata_unset(data, p, keyname);
1801 }
1802
1803 void
1804 repo_internalize(Repo *repo)
1805 {
1806   int i;
1807   Repodata *data;
1808
1809   FOR_REPODATAS(repo, i, data)
1810     if (data->attrs || data->xattrs)
1811       repodata_internalize(data);
1812 }
1813
1814 void
1815 repo_disable_paging(Repo *repo)
1816 {
1817   int i;
1818   Repodata *data;
1819
1820   FOR_REPODATAS(repo, i, data)
1821     repodata_disable_paging(data);
1822 }
1823