src/pool.c

   1 /*
   2  * Copyright (c) 2007, Novell Inc.
   3  *
   4  * This program is licensed under the BSD license, read LICENSE.BSD
   5  * for further information
   6  */
   7
   8 /*
   9  * pool.c
  10  *
  11  * The pool contains information about solvables
  12  * stored optimized for memory consumption and fast retrieval.
  13  */
  14
  15 #include <stdio.h>
  16 #include <stdlib.h>
  17 #include <stdarg.h>
  18 #include <unistd.h>
  19 #include <string.h>
  20
  21 #include "pool.h"
  22 #include "repo.h"
  23 #include "poolid.h"
  24 #include "poolid_private.h"
  25 #include "poolarch.h"
  26 #include "util.h"
  27 #include "bitmap.h"
  28 #include "evr.h"
  29
  30 #define SOLVABLE_BLOCK  255
  31
  32 #define KNOWNID_INITIALIZE
  33 #include "knownid.h"
  34 #undef KNOWNID_INITIALIZE
  35
  36 /* create pool */
  37 Pool *
  38 pool_create(void)
  39 {
  40   Pool *pool;
  41   Solvable *s;
  42
  43   pool = (Pool *)sat_calloc(1, sizeof(*pool));
  44
  45   stringpool_init (&pool->ss, initpool_data);
  46
  47   /* alloc space for RelDep 0 */
  48   pool->rels = sat_extend_resize(0, 1, sizeof(Reldep), REL_BLOCK);
  49   pool->nrels = 1;
  50   memset(pool->rels, 0, sizeof(Reldep));
  51
  52   /* alloc space for Solvable 0 and system solvable */
  53   pool->solvables = sat_extend_resize(0, 2, sizeof(Solvable), SOLVABLE_BLOCK);
  54   pool->nsolvables = 2;
  55   memset(pool->solvables, 0, 2 * sizeof(Solvable));
  56   s = pool->solvables + SYSTEMSOLVABLE;
  57   s->name = SYSTEM_SYSTEM;
  58   s->arch = ARCH_NOARCH;
  59   s->evr = ID_EMPTY;
  60
  61   queue_init(&pool->vendormap);
  62
  63   pool->debugmask = SAT_DEBUG_RESULT;   /* FIXME */
  64   return pool;
  65 }
  66
  67
  68 /* free all the resources of our pool */
  69 void
  70 pool_free(Pool *pool)
  71 {
  72   int i;
  73
  74   pool_freewhatprovides(pool);
  75   pool_freeidhashes(pool);
  76   repo_freeallrepos(pool, 1);
  77   sat_free(pool->id2arch);
  78   sat_free(pool->solvables);
  79   sat_free(pool->ss.stringspace);
  80   sat_free(pool->ss.strings);
  81   sat_free(pool->rels);
  82   queue_free(&pool->vendormap);
  83   for (i = 0; i < POOL_TMPSPACEBUF; i++)
  84     sat_free(pool->tmpspacebuf[i]);
  85   for (i = 0; i < pool->nlanguages; i++)
  86     free((char *)pool->languages[i]);
  87   sat_free(pool->languages);
  88   sat_free(pool->languagecache);
  89   sat_free(pool);
  90 }
  91
  92 Id
  93 pool_add_solvable(Pool *pool)
  94 {
  95   pool->solvables = sat_extend(pool->solvables, pool->nsolvables, 1, sizeof(Solvable), SOLVABLE_BLOCK);
  96   memset(pool->solvables + pool->nsolvables, 0, sizeof(Solvable));
  97   return pool->nsolvables++;
  98 }
  99
 100 Id
 101 pool_add_solvable_block(Pool *pool, int count)
 102 {
 103   Id nsolvables = pool->nsolvables;
 104   if (!count)
 105     return nsolvables;
 106   pool->solvables = sat_extend(pool->solvables, pool->nsolvables, count, sizeof(Solvable), SOLVABLE_BLOCK);
 107   memset(pool->solvables + nsolvables, 0, sizeof(Solvable) * count);
 108   pool->nsolvables += count;
 109   return nsolvables;
 110 }
 111
 112 void
 113 pool_free_solvable_block(Pool *pool, Id start, int count, int reuseids)
 114 {
 115   if (!count)
 116     return;
 117   if (reuseids && start + count == pool->nsolvables)
 118     {
 119       /* might want to shrink solvable array */
 120       pool->nsolvables = start;
 121       return;
 122     }
 123   memset(pool->solvables + start, 0, sizeof(Solvable) * count);
 124 }
 125
 126
 127 static Pool *pool_shrink_whatprovides_sortcmp_data;
 128
 129 static int
 130 pool_shrink_whatprovides_sortcmp(const void *ap, const void *bp)
 131 {
 132   int r;
 133   Pool *pool = pool_shrink_whatprovides_sortcmp_data;
 134   Id oa, ob, *da, *db;
 135   oa = pool->whatprovides[*(Id *)ap];
 136   ob = pool->whatprovides[*(Id *)bp];
 137   if (oa == ob)
 138     return *(Id *)ap - *(Id *)bp;
 139   if (!oa)
 140     return -1;
 141   if (!ob)
 142     return 1;
 143   da = pool->whatprovidesdata + oa;
 144   db = pool->whatprovidesdata + ob;
 145   while (*db)
 146     if ((r = (*da++ - *db++)) != 0)
 147       return r;
 148   if (*da)
 149     return *da;
 150   return *(Id *)ap - *(Id *)bp;
 151 }
 152
 153 /*
 154  * pool_shrink_whatprovides  - unify whatprovides data
 155  *
 156  * whatprovides_rel must be empty for this to work!
 157  *
 158  */
 159 static void
 160 pool_shrink_whatprovides(Pool *pool)
 161 {
 162   Id i, id;
 163   Id *sorted;
 164   Id lastid, *last, *dp, *lp;
 165   Offset o;
 166   int r;
 167
 168   if (pool->ss.nstrings < 3)
 169     return;
 170   sorted = sat_malloc2(pool->ss.nstrings, sizeof(Id));
 171   for (id = 0; id < pool->ss.nstrings; id++)
 172     sorted[id] = id;
 173   pool_shrink_whatprovides_sortcmp_data = pool;
 174   qsort(sorted + 1, pool->ss.nstrings - 1, sizeof(Id), pool_shrink_whatprovides_sortcmp);
 175   last = 0;
 176   lastid = 0;
 177   for (i = 1; i < pool->ss.nstrings; i++)
 178     {
 179       id = sorted[i];
 180       o = pool->whatprovides[id];
 181       if (o == 0 || o == 1)
 182         continue;
 183       dp = pool->whatprovidesdata + o;
 184       if (last)
 185         {
 186           lp = last;
 187           while (*dp)
 188             if (*dp++ != *lp++)
 189               {
 190                 last = 0;
 191                 break;
 192               }
 193           if (last && *lp)
 194             last = 0;
 195           if (last)
 196             {
 197               pool->whatprovides[id] = -lastid;
 198               continue;
 199             }
 200         }
 201       last = pool->whatprovidesdata + o;
 202       lastid = id;
 203     }
 204   sat_free(sorted);
 205   dp = pool->whatprovidesdata + 2;
 206   for (id = 1; id < pool->ss.nstrings; id++)
 207     {
 208       o = pool->whatprovides[id];
 209       if (o == 0 || o == 1)
 210         continue;
 211       if ((Id)o < 0)
 212         {
 213           i = -(Id)o;
 214           if (i >= id)
 215             abort();
 216           pool->whatprovides[id] = pool->whatprovides[i];
 217           continue;
 218         }
 219       lp = pool->whatprovidesdata + o;
 220       if (lp < dp)
 221         abort();
 222       pool->whatprovides[id] = dp - pool->whatprovidesdata;
 223       while ((*dp++ = *lp++) != 0)
 224         ;
 225     }
 226   o = dp - pool->whatprovidesdata;
 227   POOL_DEBUG(SAT_DEBUG_STATS, "shrunk whatprovidesdata from %d to %d\n", pool->whatprovidesdataoff, o);
 228   if (pool->whatprovidesdataoff == o)
 229     return;
 230   r = pool->whatprovidesdataoff - o;
 231   pool->whatprovidesdataoff = o;
 232   pool->whatprovidesdata = sat_realloc(pool->whatprovidesdata, (o + pool->whatprovidesdataleft) * sizeof(Id));
 233   if (r > pool->whatprovidesdataleft)
 234     r = pool->whatprovidesdataleft;
 235   memset(pool->whatprovidesdata + o, 0, r * sizeof(Id));
 236 }
 237
 238
 239 /*
 240  * pool_createwhatprovides()
 241  *
 242  * create hashes over pool of solvables to ease provide lookups
 243  *
 244  */
 245 void
 246 pool_createwhatprovides(Pool *pool)
 247 {
 248   int i, num, np, extra;
 249   Offset off;
 250   Solvable *s;
 251   Id id;
 252   Offset *idp, n;
 253   Offset *whatprovides;
 254   Id *whatprovidesdata, *d;
 255
 256   POOL_DEBUG(SAT_DEBUG_STATS, "number of solvables: %d\n", pool->nsolvables);
 257   POOL_DEBUG(SAT_DEBUG_STATS, "number of ids: %d + %d\n", pool->ss.nstrings, pool->nrels);
 258
 259   pool_freeidhashes(pool);      /* XXX: should not be here! */
 260   pool_freewhatprovides(pool);
 261   num = pool->ss.nstrings;
 262   pool->whatprovides = whatprovides = sat_calloc_block(num, sizeof(Offset), WHATPROVIDES_BLOCK);
 263   pool->whatprovides_rel = sat_calloc_block(pool->nrels, sizeof(Offset), WHATPROVIDES_BLOCK);
 264
 265   /* count providers for each name */
 266   for (i = 1; i < pool->nsolvables; i++)
 267     {
 268       Id *pp;
 269       s = pool->solvables + i;
 270       if (!s->provides)
 271         continue;
 272       if (!pool_installable(pool, s))
 273         continue;
 274       pp = s->repo->idarraydata + s->provides;
 275       while ((id = *pp++) != ID_NULL)
 276         {
 277           while (ISRELDEP(id))
 278             {
 279               Reldep *rd = GETRELDEP(pool, id);
 280               id = rd->name;
 281             }
 282           whatprovides[id]++;          /* inc count of providers */
 283         }
 284     }
 285
 286   off = 2;      /* first entry is undef, second is empty list */
 287   idp = whatprovides;
 288   np = 0;                              /* number of names provided */
 289   for (i = 0; i < num; i++, idp++)
 290     {
 291       n = *idp;
 292       if (!n)                          /* no providers */
 293         continue;
 294       *idp = off;                      /* move from counts to offsets into whatprovidesdata */
 295       off += n + 1;                    /* make space for all providers + terminating ID_NULL */
 296       np++;                            /* inc # of provider 'slots' */
 297     }
 298
 299   POOL_DEBUG(SAT_DEBUG_STATS, "provide ids: %d\n", np);
 300
 301   /* reserve some space for relation data */
 302   extra = 2 * pool->nrels;
 303   if (extra < 256)
 304     extra = 256;
 305
 306   POOL_DEBUG(SAT_DEBUG_STATS, "provide space needed: %d + %d\n", off, extra);
 307
 308   /* alloc space for all providers + extra */
 309   whatprovidesdata = sat_calloc(off + extra, sizeof(Id));
 310
 311   /* now fill data for all provides */
 312   for (i = 1; i < pool->nsolvables; i++)
 313     {
 314       Id *pp;
 315       s = pool->solvables + i;
 316       if (!s->provides)
 317         continue;
 318       if (!pool_installable(pool, s))
 319         continue;
 320
 321       /* for all provides of this solvable */
 322       pp = s->repo->idarraydata + s->provides;
 323       while ((id = *pp++) != 0)
 324         {
 325           while (ISRELDEP(id))
 326             {
 327               Reldep *rd = GETRELDEP(pool, id);
 328               id = rd->name;
 329             }
 330           d = whatprovidesdata + whatprovides[id];   /* offset into whatprovidesdata */
 331           if (*d)
 332             {
 333               d++;
 334               while (*d)               /* find free slot */
 335                 d++;
 336               if (d[-1] == i)
 337                 continue;
 338             }
 339           *d = i;                      /* put solvable Id into data */
 340         }
 341     }
 342   pool->whatprovidesdata = whatprovidesdata;
 343   pool->whatprovidesdataoff = off;
 344   pool->whatprovidesdataleft = extra;
 345   pool_shrink_whatprovides(pool);
 346 }
 347
 348 /*
 349  * free all of our whatprovides data
 350  * be careful, everything internalized with pool_queuetowhatprovides is gone, too
 351  */
 352 void
 353 pool_freewhatprovides(Pool *pool)
 354 {
 355   pool->whatprovides = sat_free(pool->whatprovides);
 356   pool->whatprovides_rel = sat_free(pool->whatprovides_rel);
 357   pool->whatprovidesdata = sat_free(pool->whatprovidesdata);
 358   pool->whatprovidesdataoff = 0;
 359   pool->whatprovidesdataleft = 0;
 360 }
 361
 362
 363 /******************************************************************************/
 364
 365 /*
 366  * pool_queuetowhatprovides  - add queue contents to whatprovidesdata
 367  *
 368  * on-demand filling of provider information
 369  * move queue data into whatprovidesdata
 370  * q: queue of Ids
 371  * returns: Offset into whatprovides
 372  *
 373  */
 374 Id
 375 pool_queuetowhatprovides(Pool *pool, Queue *q)
 376 {
 377   Offset off;
 378   int count = q->count;
 379
 380   if (count == 0)                      /* queue empty -> ID_EMPTY */
 381     return ID_EMPTY;
 382
 383   /* extend whatprovidesdata if needed, +1 for ID_NULL-termination */
 384   if (pool->whatprovidesdataleft < count + 1)
 385     {
 386       POOL_DEBUG(SAT_DEBUG_STATS, "growing provides hash data...\n");
 387       pool->whatprovidesdata = sat_realloc(pool->whatprovidesdata, (pool->whatprovidesdataoff + count + 4096) * sizeof(Id));
 388       pool->whatprovidesdataleft = count + 4096;
 389     }
 390
 391   /* copy queue to next free slot */
 392   off = pool->whatprovidesdataoff;
 393   memcpy(pool->whatprovidesdata + pool->whatprovidesdataoff, q->elements, count * sizeof(Id));
 394
 395   /* adapt count and ID_NULL-terminate */
 396   pool->whatprovidesdataoff += count;
 397   pool->whatprovidesdata[pool->whatprovidesdataoff++] = ID_NULL;
 398   pool->whatprovidesdataleft -= count + 1;
 399
 400   return (Id)off;
 401 }
 402
 403
 404 /*************************************************************************/
 405
 406 /*
 407  * addrelproviders
 408  *
 409  * add packages fulfilling the relation to whatprovides array
 410  * no exact providers, do range match
 411  *
 412  */
 413
 414 Id *
 415 pool_addrelproviders(Pool *pool, Id d)
 416 {
 417   Reldep *rd = GETRELDEP(pool, d);
 418   Reldep *prd;
 419   Queue plist;
 420   Id buf[16];
 421   Id name = rd->name;
 422   Id evr = rd->evr;
 423   int flags = rd->flags;
 424   Id pid, *pidp;
 425   Id p, *pp, *pp2, *pp3;
 426
 427   d = GETRELID(d);
 428   queue_init_buffer(&plist, buf, sizeof(buf)/sizeof(*buf));
 429   switch (flags)
 430     {
 431     case REL_AND:
 432     case REL_WITH:
 433       pp = pool_whatprovides(pool, name);
 434       pp2 = pool_whatprovides(pool, evr);
 435       while ((p = *pp++) != 0)
 436         {
 437           for (pp3 = pp2; *pp3;)
 438             if (*pp3++ == p)
 439               {
 440                 queue_push(&plist, p);
 441                 break;
 442               }
 443         }
 444       break;
 445     case REL_OR:
 446       pp = pool_whatprovides(pool, name);
 447       while ((p = *pp++) != 0)
 448         queue_push(&plist, p);
 449       pp = pool_whatprovides(pool, evr);
 450       while ((p = *pp++) != 0)
 451         queue_pushunique(&plist, p);
 452       break;
 453     case REL_NAMESPACE:
 454       if (pool->nscallback)
 455         {
 456           p = pool->nscallback(pool, pool->nscallbackdata, name, evr);
 457           if (p > 1)
 458             {
 459               queue_free(&plist);
 460               pool->whatprovides_rel[d] = p;
 461               return pool->whatprovidesdata + p;
 462             }
 463           if (p == 1)
 464             queue_push(&plist, SYSTEMSOLVABLE);
 465         }
 466       break;
 467     default:
 468       break;
 469     }
 470
 471   /* convert to whatprovides id */
 472 #if 0
 473   POOL_DEBUG(SAT_DEBUG_STATS, "addrelproviders: what provides %s?\n", dep2str(pool, name));
 474 #endif
 475   if (flags && flags < 8)
 476     {
 477       FOR_PROVIDES(p, pp, name)
 478         {
 479 #if 0
 480           POOL_DEBUG(DEBUG_1, "addrelproviders: checking package %s\n", id2str(pool, pool->p[p].name));
 481 #endif
 482           /* solvable p provides name in some rels */
 483           pidp = pool->solvables[p].repo->idarraydata + pool->solvables[p].provides;
 484           while ((pid = *pidp++) != 0)
 485             {
 486               int pflags;
 487               Id pevr;
 488
 489               if (pid == name)
 490                 {
 491 #ifdef DEBIAN_SEMANTICS
 492                   continue;             /* unversioned provides can
 493                                          * never match versioned deps */
 494 #else
 495                   break;                /* yes, provides all versions */
 496 #endif
 497                 }
 498               if (!ISRELDEP(pid))
 499                 continue;               /* wrong provides name */
 500               prd = GETRELDEP(pool, pid);
 501               if (prd->name != name)
 502                 continue;               /* wrong provides name */
 503               /* right package, both deps are rels */
 504               pflags = prd->flags;
 505               if (!pflags)
 506                 continue;
 507               if (flags == 7 || pflags == 7)
 508                 break; /* included */
 509               if ((pflags & flags & 5) != 0)
 510                 break; /* same direction, match */
 511               pevr = prd->evr;
 512               if (pevr == evr)
 513                 {
 514                   if ((pflags & flags & 2) != 0)
 515                     break; /* both have =, match */
 516                 }
 517               else
 518                 {
 519                   int f = flags == 5 ? 5 : flags == 2 ? pflags : (flags ^ 5) & (pflags | 5);
 520                   if ((f & (1 << (1 + evrcmp(pool, pevr, evr, EVRCMP_MATCH_RELEASE)))) != 0)
 521                     break;
 522                 }
 523             }
 524           if (!pid)
 525             continue;   /* no rel match */
 526           queue_push(&plist, p);
 527         }
 528       /* make our system solvable provide all unknown rpmlib() stuff */
 529       if (plist.count == 0 && !strncmp(id2str(pool, name), "rpmlib(", 7))
 530         queue_push(&plist, SYSTEMSOLVABLE);
 531     }
 532   /* add providers to whatprovides */
 533 #if 0
 534   POOL_DEBUG(SAT_DEBUG_STATS, "addrelproviders: adding %d packages to %d\n", plist.count, d);
 535 #endif
 536   pool->whatprovides_rel[d] = pool_queuetowhatprovides(pool, &plist);
 537   queue_free(&plist);
 538
 539   return pool->whatprovidesdata + pool->whatprovides_rel[d];
 540 }
 541
 542 /*************************************************************************/
 543
 544 void
 545 pool_debug(Pool *pool, int type, const char *format, ...)
 546 {
 547   va_list args;
 548   char buf[1024];
 549
 550   if ((type & (SAT_FATAL|SAT_ERROR)) == 0)
 551     {
 552       if ((pool->debugmask & type) == 0)
 553         return;
 554     }
 555   va_start(args, format);
 556   if (!pool->debugcallback)
 557     {
 558       if ((type & (SAT_FATAL|SAT_ERROR)) == 0)
 559         vprintf(format, args);
 560       else
 561         vfprintf(stderr, format, args);
 562       return;
 563     }
 564   vsnprintf(buf, sizeof(buf), format, args);
 565   pool->debugcallback(pool, pool->debugcallbackdata, type, buf);
 566 }
 567
 568 void
 569 pool_setdebuglevel(Pool *pool, int level)
 570 {
 571   int mask = SAT_DEBUG_RESULT;
 572   if (level > 0)
 573     mask |= SAT_DEBUG_STATS|SAT_DEBUG_ANALYZE|SAT_DEBUG_UNSOLVABLE;
 574   if (level > 1)
 575     mask |= SAT_DEBUG_JOB|SAT_DEBUG_SOLUTIONS|SAT_DEBUG_POLICY;
 576   if (level > 2)
 577     mask |= SAT_DEBUG_PROPAGATE;
 578   if (level > 3)
 579     mask |= SAT_DEBUG_RULE_CREATION;
 580   if (level > 4)
 581     mask |= SAT_DEBUG_SCHUBI;
 582   pool->debugmask = mask;
 583 }
 584
 585 /*************************************************************************/
 586
 587 struct searchfiles {
 588   Id *ids;
 589   char **dirs;
 590   char **names;
 591   int nfiles;
 592   Map seen;
 593 };
 594
 595 #define SEARCHFILES_BLOCK 127
 596
 597 static void
 598 pool_addfileprovides_dep(Pool *pool, Id *ida, struct searchfiles *sf, struct searchfiles *isf)
 599 {
 600   Id dep, sid;
 601   const char *s, *sr;
 602   struct searchfiles *csf;
 603
 604   while ((dep = *ida++) != 0)
 605     {
 606       csf = sf;
 607       while (ISRELDEP(dep))
 608         {
 609           Reldep *rd;
 610           sid = pool->ss.nstrings + GETRELID(dep);
 611           if (MAPTST(&csf->seen, sid))
 612             {
 613               dep = 0;
 614               break;
 615             }
 616           MAPSET(&csf->seen, sid);
 617           rd = GETRELDEP(pool, dep);
 618           if (rd->flags < 8)
 619             dep = rd->name;
 620           else if (rd->flags == REL_NAMESPACE)
 621             {
 622               if (rd->name == NAMESPACE_INSTALLED || rd->name == NAMESPACE_SPLITPROVIDES)
 623                 {
 624                   csf = isf;
 625                   if (!csf || MAPTST(&csf->seen, sid))
 626                     {
 627                       dep = 0;
 628                       break;
 629                     }
 630                   MAPSET(&csf->seen, sid);
 631                 }
 632               dep = rd->evr;
 633             }
 634           else
 635             {
 636               Id ids[2];
 637               ids[0] = rd->name;
 638               ids[1] = 0;
 639               pool_addfileprovides_dep(pool, ids, csf, isf);
 640               dep = rd->evr;
 641             }
 642         }
 643       if (!dep)
 644         continue;
 645       if (MAPTST(&csf->seen, dep))
 646         continue;
 647       MAPSET(&csf->seen, dep);
 648       s = id2str(pool, dep);
 649       if (*s != '/')
 650         continue;
 651       csf->ids = sat_extend(csf->ids, csf->nfiles, 1, sizeof(Id), SEARCHFILES_BLOCK);
 652       csf->dirs = sat_extend(csf->dirs, csf->nfiles, 1, sizeof(const char *), SEARCHFILES_BLOCK);
 653       csf->names = sat_extend(csf->names, csf->nfiles, 1, sizeof(const char *), SEARCHFILES_BLOCK);
 654       csf->ids[csf->nfiles] = dep;
 655       sr = strrchr(s, '/');
 656       csf->names[csf->nfiles] = strdup(sr + 1);
 657       csf->dirs[csf->nfiles] = sat_malloc(sr - s + 1);
 658       if (sr != s)
 659         strncpy(csf->dirs[csf->nfiles], s, sr - s);
 660       csf->dirs[csf->nfiles][sr - s] = 0;
 661       csf->nfiles++;
 662     }
 663 }
 664
 665 struct addfileprovides_cbdata {
 666   int nfiles;
 667   Id *ids;
 668   char **dirs;
 669   char **names;
 670
 671   Repodata *olddata;
 672   Id *dids;
 673   Map useddirs;
 674 };
 675
 676 static int
 677 addfileprovides_cb(void *cbdata, Solvable *s, Repodata *data, Repokey *key, KeyValue *value)
 678 {
 679   struct addfileprovides_cbdata *cbd = cbdata;
 680   int i;
 681
 682   if (data != cbd->olddata)
 683     {
 684       map_free(&cbd->useddirs);
 685       map_init(&cbd->useddirs, data->dirpool.ndirs);
 686       for (i = 0; i < cbd->nfiles; i++)
 687         {
 688           Id did = repodata_str2dir(data, cbd->dirs[i], 0);
 689           cbd->dids[i] = did;
 690           if (did)
 691             MAPSET(&cbd->useddirs, did);
 692         }
 693       cbd->olddata = data;
 694     }
 695   if (!MAPTST(&cbd->useddirs, value->id))
 696     return 0;
 697   for (i = 0; i < cbd->nfiles; i++)
 698     {
 699       if (cbd->dids[i] != value->id)
 700         continue;
 701       if (!strcmp(cbd->names[i], value->str))
 702         break;
 703     }
 704   if (i == cbd->nfiles)
 705     return 0;
 706   s->provides = repo_addid_dep(s->repo, s->provides, cbd->ids[i], SOLVABLE_FILEMARKER);
 707   return 0;
 708 }
 709
 710
 711 static void
 712 pool_addfileprovides_search(Pool *pool, struct addfileprovides_cbdata *cbd, struct searchfiles *sf, Repo *repoonly)
 713 {
 714   Id p, start, end, *idp;
 715   Solvable *s;
 716   Repodata *data = 0, *nextdata;
 717   Repo *oldrepo = 0;
 718   int dataincludes = 0;
 719   int i;
 720   Map providedids;
 721
 722   cbd->nfiles = sf->nfiles;
 723   cbd->ids = sf->ids;
 724   cbd->dirs = sf->dirs;
 725   cbd->names = sf->names;
 726   cbd->olddata = 0;
 727   cbd->dids = sat_realloc2(cbd->dids, sf->nfiles, sizeof(Id));
 728   if (repoonly)
 729     {
 730       start = repoonly->start;
 731       end = repoonly->end;
 732     }
 733   else
 734     {
 735       start = 2;        /* skip system solvable */
 736       end = pool->nsolvables;
 737     }
 738   for (p = start, s = pool->solvables + p; p < end; p++, s++)
 739     {
 740       if (!s->repo || (repoonly && s->repo != repoonly))
 741         continue;
 742       if (s->repo != oldrepo || (data && p >= data->end))
 743         {
 744           data = 0;
 745           oldrepo = 0;
 746         }
 747       if (oldrepo == 0)
 748         {
 749           nextdata = 0;
 750           for (i = 0, data = s->repo->repodata; i < s->repo->nrepodata; i++, data++)
 751             {
 752               if (!data->addedfileprovides || p >= data->end)
 753                 continue;
 754               if (!nextdata || nextdata->start > data->start)
 755                 nextdata = data;
 756               if (p >= data->start)
 757                 break;
 758             }
 759           if (i == s->repo->nrepodata)
 760             data = nextdata;
 761           if (data)
 762             {
 763               map_init(&providedids, pool->ss.nstrings);
 764               for (idp = data->addedfileprovides; *idp; idp++)
 765                 MAPSET(&providedids, *idp);
 766               for (i = 0; i < cbd->nfiles; i++)
 767                 if (!MAPTST(&providedids, cbd->ids[i]))
 768                   {
 769                     break;
 770                   }
 771               map_free(&providedids);
 772               dataincludes = i == cbd->nfiles;
 773             }
 774           oldrepo = s->repo;
 775         }
 776       if (data && p >= data->start && dataincludes)
 777         continue;
 778       repo_search(s->repo, p, SOLVABLE_FILELIST, 0, 0, addfileprovides_cb, cbd);
 779     }
 780 }
 781
 782 void
 783 pool_addfileprovides_ids(Pool *pool, Repo *installed, Id **idp)
 784 {
 785   Solvable *s;
 786   Repo *repo;
 787   struct searchfiles sf, isf, *isfp;
 788   struct addfileprovides_cbdata cbd;
 789   int i;
 790
 791   memset(&sf, 0, sizeof(sf));
 792   map_init(&sf.seen, pool->ss.nstrings + pool->nrels);
 793   memset(&isf, 0, sizeof(isf));
 794   map_init(&isf.seen, pool->ss.nstrings + pool->nrels);
 795
 796   isfp = installed ? &isf : 0;
 797   for (i = 1, s = pool->solvables + i; i < pool->nsolvables; i++, s++)
 798     {
 799       repo = s->repo;
 800       if (!repo)
 801         continue;
 802       if (s->obsoletes)
 803         pool_addfileprovides_dep(pool, repo->idarraydata + s->obsoletes, &sf, isfp);
 804       if (s->conflicts)
 805         pool_addfileprovides_dep(pool, repo->idarraydata + s->conflicts, &sf, isfp);
 806       if (s->requires)
 807         pool_addfileprovides_dep(pool, repo->idarraydata + s->requires, &sf, isfp);
 808       if (s->recommends)
 809         pool_addfileprovides_dep(pool, repo->idarraydata + s->recommends, &sf, isfp);
 810       if (s->suggests)
 811         pool_addfileprovides_dep(pool, repo->idarraydata + s->suggests, &sf, isfp);
 812       if (s->supplements)
 813         pool_addfileprovides_dep(pool, repo->idarraydata + s->supplements, &sf, isfp);
 814       if (s->enhances)
 815         pool_addfileprovides_dep(pool, repo->idarraydata + s->enhances, &sf, isfp);
 816       if (s->freshens)
 817         pool_addfileprovides_dep(pool, repo->idarraydata + s->freshens, &sf, isfp);
 818     }
 819   map_free(&sf.seen);
 820   map_free(&isf.seen);
 821   POOL_DEBUG(SAT_DEBUG_STATS, "found %d file dependencies\n", sf.nfiles);
 822   POOL_DEBUG(SAT_DEBUG_STATS, "found %d installed file dependencies\n", isf.nfiles);
 823   cbd.dids = 0;
 824   map_init(&cbd.useddirs, 1);
 825   if (idp)
 826     *idp = 0;
 827   if (sf.nfiles)
 828     {
 829 #if 0
 830       for (i = 0; i < sf.nfiles; i++)
 831         POOL_DEBUG(SAT_DEBUG_STATS, "looking up %s in filelist\n", id2str(pool, sf.ids[i]));
 832 #endif
 833       pool_addfileprovides_search(pool, &cbd, &sf, 0);
 834       if (idp)
 835         {
 836           sf.ids = sat_extend(sf.ids, sf.nfiles, 1, sizeof(Id), SEARCHFILES_BLOCK);
 837           sf.ids[sf.nfiles] = 0;
 838           *idp = sf.ids;
 839           sf.ids = 0;
 840         }
 841       sat_free(sf.ids);
 842       for (i = 0; i < sf.nfiles; i++)
 843         {
 844           sat_free(sf.dirs[i]);
 845           sat_free(sf.names[i]);
 846         }
 847       sat_free(sf.dirs);
 848       sat_free(sf.names);
 849     }
 850   if (isf.nfiles)
 851     {
 852 #if 0
 853       for (i = 0; i < isf.nfiles; i++)
 854         POOL_DEBUG(SAT_DEBUG_STATS, "looking up %s in installed filelist\n", id2str(pool, isf.ids[i]));
 855 #endif
 856       if (installed)
 857         pool_addfileprovides_search(pool, &cbd, &isf, installed);
 858       sat_free(isf.ids);
 859       for (i = 0; i < isf.nfiles; i++)
 860         {
 861           sat_free(isf.dirs[i]);
 862           sat_free(isf.names[i]);
 863         }
 864       sat_free(isf.dirs);
 865       sat_free(isf.names);
 866     }
 867   map_free(&cbd.useddirs);
 868   sat_free(cbd.dids);
 869   pool_freewhatprovides(pool);  /* as we have added provides */
 870 }
 871
 872 void
 873 pool_addfileprovides(Pool *pool, Repo *installed)
 874 {
 875   pool_addfileprovides_ids(pool, installed, 0);
 876 }
 877
 878 void
 879 pool_search(Pool *pool, Id p, Id key, const char *match, int flags, int (*callback)(void *cbdata, Solvable *s, struct _Repodata *data, struct _Repokey *key, struct _KeyValue *kv), void *cbdata)
 880 {
 881   if (p)
 882     {
 883       if (pool->solvables[p].repo)
 884         repo_search(pool->solvables[p].repo, p, key, match, flags, callback, cbdata);
 885       return;
 886     }
 887   /* FIXME: obey callback return value! */
 888   for (p = 1; p < pool->nsolvables; p++)
 889     if (pool->solvables[p].repo)
 890       repo_search(pool->solvables[p].repo, p, key, match, flags, callback, cbdata);
 891 }
 892
 893
 894 void
 895 pool_set_languages(Pool *pool, const char **languages, int nlanguages)
 896 {
 897   int i;
 898
 899   pool->languagecache = sat_free(pool->languagecache);
 900   pool->languagecacheother = 0;
 901   if (pool->nlanguages)
 902     {
 903       for (i = 0; i < pool->nlanguages; i++)
 904         free((char *)pool->languages[i]);
 905       free(pool->languages);
 906     }
 907   pool->nlanguages = nlanguages;
 908   if (!nlanguages)
 909     return;
 910   pool->languages = sat_calloc(nlanguages, sizeof(const char **));
 911   for (i = 0; i < pool->nlanguages; i++)
 912     pool->languages[i] = strdup(languages[i]);
 913 }
 914
 915 char *
 916 pool_alloctmpspace(Pool *pool, int len)
 917 {
 918   int n = pool->tmpspacen;
 919   if (!len)
 920     return 0;
 921   if (len > pool->tmpspacelen[n])
 922     {
 923       pool->tmpspacebuf[n] = sat_realloc(pool->tmpspacebuf[n], len + 32);
 924       pool->tmpspacelen[n] = len + 32;
 925     }
 926   pool->tmpspacen = (n + 1) % POOL_TMPSPACEBUF;
 927   return pool->tmpspacebuf[n];
 928 }
 929
 930 /*******************************************************************/
 931
 932 struct mptree {
 933   Id sibling;
 934   Id child;
 935   const char *comp;
 936   int compl;
 937   Id mountpoint;
 938 };
 939
 940 struct ducbdata {
 941   DUChanges *mps;
 942   struct mptree *mptree;
 943   int addsub;
 944
 945   Id *dirmap;
 946   int nmap;
 947   Repodata *olddata;
 948 };
 949
 950
 951 static int
 952 solver_fill_DU_cb(void *cbdata, Solvable *s, Repodata *data, Repokey *key, KeyValue *value)
 953 {
 954   struct ducbdata *cbd = cbdata;
 955   Id mp;
 956
 957   if (data != cbd->olddata)
 958     {
 959       Id dn, mp, comp, *dirmap, *dirs;
 960       int i, compl;
 961       const char *compstr;
 962       struct mptree *mptree;
 963
 964       /* create map from dir to mptree */
 965       cbd->dirmap = sat_free(cbd->dirmap);
 966       cbd->nmap = 0;
 967       dirmap = sat_calloc(data->dirpool.ndirs, sizeof(Id));
 968       mptree = cbd->mptree;
 969       mp = 0;
 970       for (dn = 2, dirs = data->dirpool.dirs + dn; dn < data->dirpool.ndirs; dn++)
 971         {
 972           comp = *dirs++;
 973           if (comp <= 0)
 974             {
 975               mp = dirmap[-comp];
 976               continue;
 977             }
 978           if (mp < 0)
 979             {
 980               /* unconnected */
 981               dirmap[dn] = mp;
 982               continue;
 983             }
 984           if (!mptree[mp].child)
 985             {
 986               dirmap[dn] = -mp;
 987               continue;
 988             }
 989           if (data->localpool)
 990             compstr = stringpool_id2str(&data->spool, comp);
 991           else
 992             compstr = id2str(data->repo->pool, comp);
 993           compl = strlen(compstr);
 994           for (i = mptree[mp].child; i; i = mptree[i].sibling)
 995             if (mptree[i].compl == compl && !strncmp(mptree[i].comp, compstr, compl))
 996               break;
 997           dirmap[dn] = i ? i : -mp;
 998         }
 999       /* change dirmap to point to mountpoint instead of mptree */
1000       for (dn = 0; dn < data->dirpool.ndirs; dn++)
1001         {
1002           mp = dirmap[dn];
1003           dirmap[dn] = mptree[mp > 0 ? mp : -mp].mountpoint;
1004         }
1005       cbd->dirmap = dirmap;
1006       cbd->nmap = data->dirpool.ndirs;
1007       cbd->olddata = data;
1008     }
1009   if (value->id < 0 || value->id >= cbd->nmap)
1010     return 0;
1011   mp = cbd->dirmap[value->id];
1012   if (mp < 0)
1013     return 0;
1014   if (cbd->addsub > 0)
1015     {
1016       cbd->mps[mp].kbytes += value->num;
1017       cbd->mps[mp].files += value->num2;
1018     }
1019   else
1020     {
1021       cbd->mps[mp].kbytes -= value->num;
1022       cbd->mps[mp].files -= value->num2;
1023     }
1024   return 0;
1025 }
1026
1027 static void
1028 propagate_mountpoints(struct mptree *mptree, int pos, Id mountpoint)
1029 {
1030   int i;
1031   if (mptree[pos].mountpoint == -1)
1032     mptree[pos].mountpoint = mountpoint;
1033   else
1034     mountpoint = mptree[pos].mountpoint;
1035   for (i = mptree[pos].child; i; i = mptree[i].sibling)
1036     propagate_mountpoints(mptree, i, mountpoint);
1037 }
1038
1039 #define MPTREE_BLOCK 15
1040
1041 void
1042 pool_calc_duchanges(Pool *pool, Queue *pkgs, DUChanges *mps, int nmps)
1043 {
1044   char *p;
1045   const char *path, *compstr;
1046   struct mptree *mptree;
1047   int i, nmptree;
1048   int pos, compl;
1049   int mp;
1050   struct ducbdata cbd;
1051
1052   cbd.mps = mps;
1053   cbd.addsub = 0;
1054   cbd.dirmap = 0;
1055   cbd.nmap = 0;
1056   cbd.olddata = 0;
1057
1058   mptree = sat_extend_resize(0, 1, sizeof(struct mptree), MPTREE_BLOCK);
1059
1060   /* our root node */
1061   mptree[0].sibling = 0;
1062   mptree[0].child = 0;
1063   mptree[0].comp = 0;
1064   mptree[0].compl = 0;
1065   mptree[0].mountpoint = -1;
1066   nmptree = 1;
1067
1068   /* create component tree */
1069   for (mp = 0; mp < nmps; mp++)
1070     {
1071       mps[mp].kbytes = 0;
1072       mps[mp].files = 0;
1073       pos = 0;
1074       path = mps[mp].path;
1075       while(*path == '/')
1076         path++;
1077       while (*path)
1078         {
1079           if ((p = strchr(path, '/')) == 0)
1080             {
1081               compstr = path;
1082               compl = strlen(compstr);
1083               path += compl;
1084             }
1085           else
1086             {
1087               compstr = path;
1088               compl = p - path;
1089               path = p + 1;
1090               while(*path == '/')
1091                 path++;
1092             }
1093           for (i = mptree[pos].child; i; i = mptree[i].sibling)
1094             if (mptree[i].compl == compl && !strncmp(mptree[i].comp, compstr, compl))
1095               break;
1096           if (!i)
1097             {
1098               /* create new node */
1099               mptree = sat_extend(mptree, nmptree, 1, sizeof(struct mptree), MPTREE_BLOCK);
1100               i = nmptree++;
1101               mptree[i].sibling = mptree[pos].child;
1102               mptree[i].child = 0;
1103               mptree[i].comp = compstr;
1104               mptree[i].compl = compl;
1105               mptree[i].mountpoint = -1;
1106               mptree[pos].child = i;
1107             }
1108           pos = i;
1109         }
1110       mptree[pos].mountpoint = mp;
1111     }
1112
1113   propagate_mountpoints(mptree, 0, mptree[0].mountpoint);
1114
1115 #if 0
1116   for (i = 0; i < nmptree; i++)
1117     {
1118       printf("#%d sibling: %d\n", i, mptree[i].sibling);
1119       printf("#%d child: %d\n", i, mptree[i].child);
1120       printf("#%d comp: %s\n", i, mptree[i].comp);
1121       printf("#%d compl: %d\n", i, mptree[i].compl);
1122       printf("#%d mountpont: %d\n", i, mptree[i].mountpoint);
1123     }
1124 #endif
1125
1126   cbd.mptree = mptree;
1127   cbd.addsub = 1;
1128   for (i = 0; i < pkgs->count; i++)
1129     {
1130       Id sp = pkgs->elements[i];
1131       if (sp > 0)
1132         repo_search(pool->solvables[sp].repo, sp, SOLVABLE_DISKUSAGE, 0, 0, solver_fill_DU_cb, &cbd);
1133     }
1134   cbd.addsub = -1;
1135   for (i = 0; i < pkgs->count; i++)
1136     {
1137       Id sp = pkgs->elements[i];
1138       if (sp < 0)
1139         repo_search(pool->solvables[-sp].repo, -sp, SOLVABLE_DISKUSAGE, 0, 0, solver_fill_DU_cb, &cbd);
1140     }
1141   sat_free(cbd.dirmap);
1142   sat_free(mptree);
1143 }
1144
1145 int
1146 pool_calc_installsizechange(Pool *pool, Queue *pkgs)
1147 {
1148   int i, change;
1149
1150   change = 0;
1151   for (i = 0; i < pkgs->count; i++)
1152     {
1153       Id sp = pkgs->elements[i];
1154       if (sp > 0)
1155         change += repo_lookup_num(pool->solvables + sp, SOLVABLE_INSTALLSIZE);
1156       else if (sp < 0)
1157         change -= repo_lookup_num(pool->solvables - sp, SOLVABLE_INSTALLSIZE);
1158     }
1159   return change;
1160 }
1161
1162 // EOF