src/pool.c

   1 /*
   2  * Copyright (c) 2007, Novell Inc.
   3  *
   4  * This program is licensed under the BSD license, read LICENSE.BSD
   5  * for further information
   6  */
   7
   8 /*
   9  * pool.c
  10  *
  11  * The pool contains information about solvables
  12  * stored optimized for memory consumption and fast retrieval.
  13  */
  14
  15 #include <stdio.h>
  16 #include <stdlib.h>
  17 #include <stdarg.h>
  18 #include <unistd.h>
  19 #include <string.h>
  20
  21 #include "pool.h"
  22 #include "repo.h"
  23 #include "poolid.h"
  24 #include "poolid_private.h"
  25 #include "poolarch.h"
  26 #include "util.h"
  27 #include "bitmap.h"
  28 #include "evr.h"
  29
  30 #define SOLVABLE_BLOCK  255
  31
  32 #define KNOWNID_INITIALIZE
  33 #include "knownid.h"
  34 #undef KNOWNID_INITIALIZE
  35
  36 /* create pool */
  37 Pool *
  38 pool_create(void)
  39 {
  40   Pool *pool;
  41   Solvable *s;
  42
  43   pool = (Pool *)sat_calloc(1, sizeof(*pool));
  44
  45   stringpool_init (&pool->ss, initpool_data);
  46
  47   /* alloc space for RelDep 0 */
  48   pool->rels = sat_extend_resize(0, 1, sizeof(Reldep), REL_BLOCK);
  49   pool->nrels = 1;
  50   memset(pool->rels, 0, sizeof(Reldep));
  51
  52   /* alloc space for Solvable 0 and system solvable */
  53   pool->solvables = sat_extend_resize(0, 2, sizeof(Solvable), SOLVABLE_BLOCK);
  54   pool->nsolvables = 2;
  55   memset(pool->solvables, 0, 2 * sizeof(Solvable));
  56   s = pool->solvables + SYSTEMSOLVABLE;
  57   s->name = SYSTEM_SYSTEM;
  58   s->arch = ARCH_NOARCH;
  59   s->evr = ID_EMPTY;
  60
  61   queue_init(&pool->vendormap);
  62
  63   pool->debugmask = SAT_DEBUG_RESULT;   /* FIXME */
  64   return pool;
  65 }
  66
  67
  68 /* free all the resources of our pool */
  69 void
  70 pool_free(Pool *pool)
  71 {
  72   int i;
  73
  74   pool_freewhatprovides(pool);
  75   pool_freeidhashes(pool);
  76   repo_freeallrepos(pool, 1);
  77   sat_free(pool->id2arch);
  78   sat_free(pool->solvables);
  79   sat_free(pool->ss.stringspace);
  80   sat_free(pool->ss.strings);
  81   sat_free(pool->rels);
  82   queue_free(&pool->vendormap);
  83   for (i = 0; i < POOL_TMPSPACEBUF; i++)
  84     sat_free(pool->tmpspacebuf[i]);
  85   for (i = 0; i < pool->nlanguages; i++)
  86     free((char *)pool->languages[i]);
  87   sat_free(pool->languages);
  88   sat_free(pool->languagecache);
  89   sat_free(pool);
  90 }
  91
  92 Id
  93 pool_add_solvable(Pool *pool)
  94 {
  95   pool->solvables = sat_extend(pool->solvables, pool->nsolvables, 1, sizeof(Solvable), SOLVABLE_BLOCK);
  96   memset(pool->solvables + pool->nsolvables, 0, sizeof(Solvable));
  97   return pool->nsolvables++;
  98 }
  99
 100 Id
 101 pool_add_solvable_block(Pool *pool, int count)
 102 {
 103   Id nsolvables = pool->nsolvables;
 104   if (!count)
 105     return nsolvables;
 106   pool->solvables = sat_extend(pool->solvables, pool->nsolvables, count, sizeof(Solvable), SOLVABLE_BLOCK);
 107   memset(pool->solvables + nsolvables, 0, sizeof(Solvable) * count);
 108   pool->nsolvables += count;
 109   return nsolvables;
 110 }
 111
 112 void
 113 pool_free_solvable_block(Pool *pool, Id start, int count, int reuseids)
 114 {
 115   if (!count)
 116     return;
 117   if (reuseids && start + count == pool->nsolvables)
 118     {
 119       /* might want to shrink solvable array */
 120       pool->nsolvables = start;
 121       return;
 122     }
 123   memset(pool->solvables + start, 0, sizeof(Solvable) * count);
 124 }
 125
 126
 127 static Pool *pool_shrink_whatprovides_sortcmp_data;
 128
 129 static int
 130 pool_shrink_whatprovides_sortcmp(const void *ap, const void *bp)
 131 {
 132   int r;
 133   Pool *pool = pool_shrink_whatprovides_sortcmp_data;
 134   Id oa, ob, *da, *db;
 135   oa = pool->whatprovides[*(Id *)ap];
 136   ob = pool->whatprovides[*(Id *)bp];
 137   if (oa == ob)
 138     return *(Id *)ap - *(Id *)bp;
 139   if (!oa)
 140     return -1;
 141   if (!ob)
 142     return 1;
 143   da = pool->whatprovidesdata + oa;
 144   db = pool->whatprovidesdata + ob;
 145   while (*db)
 146     if ((r = (*da++ - *db++)) != 0)
 147       return r;
 148   if (*da)
 149     return *da;
 150   return *(Id *)ap - *(Id *)bp;
 151 }
 152
 153 /*
 154  * pool_shrink_whatprovides  - unify whatprovides data
 155  *
 156  * whatprovides_rel must be empty for this to work!
 157  *
 158  */
 159 static void
 160 pool_shrink_whatprovides(Pool *pool)
 161 {
 162   Id i, id;
 163   Id *sorted;
 164   Id lastid, *last, *dp, *lp;
 165   Offset o;
 166   int r;
 167
 168   if (pool->ss.nstrings < 3)
 169     return;
 170   sorted = sat_malloc2(pool->ss.nstrings, sizeof(Id));
 171   for (id = 0; id < pool->ss.nstrings; id++)
 172     sorted[id] = id;
 173   pool_shrink_whatprovides_sortcmp_data = pool;
 174   qsort(sorted + 1, pool->ss.nstrings - 1, sizeof(Id), pool_shrink_whatprovides_sortcmp);
 175   last = 0;
 176   lastid = 0;
 177   for (i = 1; i < pool->ss.nstrings; i++)
 178     {
 179       id = sorted[i];
 180       o = pool->whatprovides[id];
 181       if (o == 0 || o == 1)
 182         continue;
 183       dp = pool->whatprovidesdata + o;
 184       if (last)
 185         {
 186           lp = last;
 187           while (*dp)
 188             if (*dp++ != *lp++)
 189               {
 190                 last = 0;
 191                 break;
 192               }
 193           if (last && *lp)
 194             last = 0;
 195           if (last)
 196             {
 197               pool->whatprovides[id] = -lastid;
 198               continue;
 199             }
 200         }
 201       last = pool->whatprovidesdata + o;
 202       lastid = id;
 203     }
 204   sat_free(sorted);
 205   dp = pool->whatprovidesdata + 2;
 206   for (id = 1; id < pool->ss.nstrings; id++)
 207     {
 208       o = pool->whatprovides[id];
 209       if (o == 0 || o == 1)
 210         continue;
 211       if ((Id)o < 0)
 212         {
 213           i = -(Id)o;
 214           if (i >= id)
 215             abort();
 216           pool->whatprovides[id] = pool->whatprovides[i];
 217           continue;
 218         }
 219       lp = pool->whatprovidesdata + o;
 220       if (lp < dp)
 221         abort();
 222       pool->whatprovides[id] = dp - pool->whatprovidesdata;
 223       while ((*dp++ = *lp++) != 0)
 224         ;
 225     }
 226   o = dp - pool->whatprovidesdata;
 227   POOL_DEBUG(SAT_DEBUG_STATS, "shrunk whatprovidesdata from %d to %d\n", pool->whatprovidesdataoff, o);
 228   if (pool->whatprovidesdataoff == o)
 229     return;
 230   r = pool->whatprovidesdataoff - o;
 231   pool->whatprovidesdataoff = o;
 232   pool->whatprovidesdata = sat_realloc(pool->whatprovidesdata, (o + pool->whatprovidesdataleft) * sizeof(Id));
 233   if (r > pool->whatprovidesdataleft)
 234     r = pool->whatprovidesdataleft;
 235   memset(pool->whatprovidesdata + o, 0, r * sizeof(Id));
 236 }
 237
 238
 239 /*
 240  * pool_createwhatprovides()
 241  *
 242  * create hashes over pool of solvables to ease provide lookups
 243  *
 244  */
 245 void
 246 pool_createwhatprovides(Pool *pool)
 247 {
 248   int i, num, np, extra;
 249   Offset off;
 250   Solvable *s;
 251   Id id;
 252   Offset *idp, n;
 253   Offset *whatprovides;
 254   Id *whatprovidesdata, *d;
 255
 256   POOL_DEBUG(SAT_DEBUG_STATS, "number of solvables: %d\n", pool->nsolvables);
 257   POOL_DEBUG(SAT_DEBUG_STATS, "number of ids: %d + %d\n", pool->ss.nstrings, pool->nrels);
 258
 259   pool_freeidhashes(pool);      /* XXX: should not be here! */
 260   pool_freewhatprovides(pool);
 261   num = pool->ss.nstrings;
 262   pool->whatprovides = whatprovides = sat_calloc_block(num, sizeof(Offset), WHATPROVIDES_BLOCK);
 263   pool->whatprovides_rel = sat_calloc_block(pool->nrels, sizeof(Offset), WHATPROVIDES_BLOCK);
 264
 265   /* count providers for each name */
 266   for (i = 1; i < pool->nsolvables; i++)
 267     {
 268       Id *pp;
 269       s = pool->solvables + i;
 270       if (!s->provides)
 271         continue;
 272       if (!pool_installable(pool, s))
 273         continue;
 274       pp = s->repo->idarraydata + s->provides;
 275       while ((id = *pp++) != ID_NULL)
 276         {
 277           while (ISRELDEP(id))
 278             {
 279               Reldep *rd = GETRELDEP(pool, id);
 280               id = rd->name;
 281             }
 282           whatprovides[id]++;          /* inc count of providers */
 283         }
 284     }
 285
 286   off = 2;      /* first entry is undef, second is empty list */
 287   idp = whatprovides;
 288   np = 0;                              /* number of names provided */
 289   for (i = 0; i < num; i++, idp++)
 290     {
 291       n = *idp;
 292       if (!n)                          /* no providers */
 293         continue;
 294       *idp = off;                      /* move from counts to offsets into whatprovidesdata */
 295       off += n + 1;                    /* make space for all providers + terminating ID_NULL */
 296       np++;                            /* inc # of provider 'slots' */
 297     }
 298
 299   POOL_DEBUG(SAT_DEBUG_STATS, "provide ids: %d\n", np);
 300
 301   /* reserve some space for relation data */
 302   extra = 2 * pool->nrels;
 303   if (extra < 256)
 304     extra = 256;
 305
 306   POOL_DEBUG(SAT_DEBUG_STATS, "provide space needed: %d + %d\n", off, extra);
 307
 308   /* alloc space for all providers + extra */
 309   whatprovidesdata = sat_calloc(off + extra, sizeof(Id));
 310
 311   /* now fill data for all provides */
 312   for (i = 1; i < pool->nsolvables; i++)
 313     {
 314       Id *pp;
 315       s = pool->solvables + i;
 316       if (!s->provides)
 317         continue;
 318       if (!pool_installable(pool, s))
 319         continue;
 320
 321       /* for all provides of this solvable */
 322       pp = s->repo->idarraydata + s->provides;
 323       while ((id = *pp++) != 0)
 324         {
 325           while (ISRELDEP(id))
 326             {
 327               Reldep *rd = GETRELDEP(pool, id);
 328               id = rd->name;
 329             }
 330           d = whatprovidesdata + whatprovides[id];   /* offset into whatprovidesdata */
 331           if (*d)
 332             {
 333               d++;
 334               while (*d)               /* find free slot */
 335                 d++;
 336               if (d[-1] == i)
 337                 continue;
 338             }
 339           *d = i;                      /* put solvable Id into data */
 340         }
 341     }
 342   pool->whatprovidesdata = whatprovidesdata;
 343   pool->whatprovidesdataoff = off;
 344   pool->whatprovidesdataleft = extra;
 345   pool_shrink_whatprovides(pool);
 346 }
 347
 348 /*
 349  * free all of our whatprovides data
 350  * be careful, everything internalized with pool_queuetowhatprovides is gone, too
 351  */
 352 void
 353 pool_freewhatprovides(Pool *pool)
 354 {
 355   pool->whatprovides = sat_free(pool->whatprovides);
 356   pool->whatprovides_rel = sat_free(pool->whatprovides_rel);
 357   pool->whatprovidesdata = sat_free(pool->whatprovidesdata);
 358   pool->whatprovidesdataoff = 0;
 359   pool->whatprovidesdataleft = 0;
 360 }
 361
 362
 363 /******************************************************************************/
 364
 365 /*
 366  * pool_queuetowhatprovides  - add queue contents to whatprovidesdata
 367  *
 368  * on-demand filling of provider information
 369  * move queue data into whatprovidesdata
 370  * q: queue of Ids
 371  * returns: Offset into whatprovides
 372  *
 373  */
 374 Id
 375 pool_queuetowhatprovides(Pool *pool, Queue *q)
 376 {
 377   Offset off;
 378   int count = q->count;
 379
 380   if (count == 0)                      /* queue empty -> ID_EMPTY */
 381     return ID_EMPTY;
 382
 383   /* extend whatprovidesdata if needed, +1 for ID_NULL-termination */
 384   if (pool->whatprovidesdataleft < count + 1)
 385     {
 386       POOL_DEBUG(SAT_DEBUG_STATS, "growing provides hash data...\n");
 387       pool->whatprovidesdata = sat_realloc(pool->whatprovidesdata, (pool->whatprovidesdataoff + count + 4096) * sizeof(Id));
 388       pool->whatprovidesdataleft = count + 4096;
 389     }
 390
 391   /* copy queue to next free slot */
 392   off = pool->whatprovidesdataoff;
 393   memcpy(pool->whatprovidesdata + pool->whatprovidesdataoff, q->elements, count * sizeof(Id));
 394
 395   /* adapt count and ID_NULL-terminate */
 396   pool->whatprovidesdataoff += count;
 397   pool->whatprovidesdata[pool->whatprovidesdataoff++] = ID_NULL;
 398   pool->whatprovidesdataleft -= count + 1;
 399
 400   return (Id)off;
 401 }
 402
 403
 404 /*************************************************************************/
 405
 406 /*
 407  * addrelproviders
 408  *
 409  * add packages fulfilling the relation to whatprovides array
 410  * no exact providers, do range match
 411  *
 412  */
 413
 414 Id *
 415 pool_addrelproviders(Pool *pool, Id d)
 416 {
 417   Reldep *rd = GETRELDEP(pool, d);
 418   Reldep *prd;
 419   Queue plist;
 420   Id buf[16];
 421   Id name = rd->name;
 422   Id evr = rd->evr;
 423   int flags = rd->flags;
 424   Id pid, *pidp;
 425   Id p, *pp, *pp2, *pp3;
 426   int i;
 427
 428   d = GETRELID(d);
 429   queue_init_buffer(&plist, buf, sizeof(buf)/sizeof(*buf));
 430   switch (flags)
 431     {
 432     case REL_AND:
 433     case REL_WITH:
 434       pp = pool_whatprovides(pool, name);
 435       pp2 = pool_whatprovides(pool, evr);
 436       while ((p = *pp++) != 0)
 437         {
 438           for (pp3 = pp2; *pp3;)
 439             if (*pp3++ == p)
 440               {
 441                 queue_push(&plist, p);
 442                 break;
 443               }
 444         }
 445       break;
 446     case REL_OR:
 447       pp = pool_whatprovides(pool, name);
 448       while ((p = *pp++) != 0)
 449         queue_push(&plist, p);
 450       pp = pool_whatprovides(pool, evr);
 451       while ((p = *pp++) != 0)
 452         queue_pushunique(&plist, p);
 453       break;
 454     case REL_NAMESPACE:
 455       if (pool->nscallback)
 456         {
 457           /* ask callback which packages provide the dependency
 458            * 0:  none
 459            * 1:  the system (aka SYSTEMSOLVABLE)
 460            * >1: a set of packages, stored as offset on whatprovidesdata
 461            */
 462           p = pool->nscallback(pool, pool->nscallbackdata, name, evr);
 463           if (p > 1)
 464             {
 465               queue_free(&plist);
 466               pool->whatprovides_rel[d] = p;
 467               return pool->whatprovidesdata + p;
 468             }
 469           if (p == 1)
 470             queue_push(&plist, SYSTEMSOLVABLE);
 471         }
 472       break;
 473     case REL_ARCH:
 474       pp = pool_whatprovides(pool, name);
 475       i = 0;
 476       while ((p = *pp++) != 0)
 477         {
 478           Solvable *s = pool->solvables + p;
 479           if (s->arch == evr)
 480             queue_push(&plist, p);
 481           else
 482             i = 1;
 483         }
 484       if (i == 0)
 485         return pp;
 486       break;
 487     default:
 488       break;
 489     }
 490
 491   /* convert to whatprovides id */
 492 #if 0
 493   POOL_DEBUG(SAT_DEBUG_STATS, "addrelproviders: what provides %s?\n", dep2str(pool, name));
 494 #endif
 495   if (flags && flags < 8)
 496     {
 497       pp = pool_whatprovides(pool, name);
 498       while (ISRELDEP(name))
 499         {
 500           rd = GETRELDEP(pool, name);
 501           name = rd->name;
 502         }
 503       while ((p = *pp++) != 0)
 504         {
 505 #if 0
 506           POOL_DEBUG(DEBUG_1, "addrelproviders: checking package %s\n", id2str(pool, pool->p[p].name));
 507 #endif
 508           /* solvable p provides name in some rels */
 509           pidp = pool->solvables[p].repo->idarraydata + pool->solvables[p].provides;
 510           while ((pid = *pidp++) != 0)
 511             {
 512               int pflags;
 513               Id pevr;
 514
 515               if (pid == name)
 516                 {
 517 #ifdef DEBIAN_SEMANTICS
 518                   continue;             /* unversioned provides can
 519                                          * never match versioned deps */
 520 #else
 521                   break;                /* yes, provides all versions */
 522 #endif
 523                 }
 524               if (!ISRELDEP(pid))
 525                 continue;               /* wrong provides name */
 526               prd = GETRELDEP(pool, pid);
 527               if (prd->name != name)
 528                 continue;               /* wrong provides name */
 529               /* right package, both deps are rels */
 530               pflags = prd->flags;
 531               if (!pflags)
 532                 continue;
 533               if (flags == 7 || pflags == 7)
 534                 break; /* included */
 535               if ((pflags & flags & 5) != 0)
 536                 break; /* same direction, match */
 537               pevr = prd->evr;
 538               if (pevr == evr)
 539                 {
 540                   if ((pflags & flags & 2) != 0)
 541                     break; /* both have =, match */
 542                 }
 543               else
 544                 {
 545                   int f = flags == 5 ? 5 : flags == 2 ? pflags : (flags ^ 5) & (pflags | 5);
 546                   if ((f & (1 << (1 + evrcmp(pool, pevr, evr, EVRCMP_MATCH_RELEASE)))) != 0)
 547                     break;
 548                 }
 549             }
 550           if (!pid)
 551             continue;   /* no rel match */
 552           queue_push(&plist, p);
 553         }
 554       /* make our system solvable provide all unknown rpmlib() stuff */
 555       if (plist.count == 0 && !strncmp(id2str(pool, name), "rpmlib(", 7))
 556         queue_push(&plist, SYSTEMSOLVABLE);
 557     }
 558   /* add providers to whatprovides */
 559 #if 0
 560   POOL_DEBUG(SAT_DEBUG_STATS, "addrelproviders: adding %d packages to %d\n", plist.count, d);
 561 #endif
 562   pool->whatprovides_rel[d] = pool_queuetowhatprovides(pool, &plist);
 563   queue_free(&plist);
 564
 565   return pool->whatprovidesdata + pool->whatprovides_rel[d];
 566 }
 567
 568 /*************************************************************************/
 569
 570 void
 571 pool_debug(Pool *pool, int type, const char *format, ...)
 572 {
 573   va_list args;
 574   char buf[1024];
 575
 576   if ((type & (SAT_FATAL|SAT_ERROR)) == 0)
 577     {
 578       if ((pool->debugmask & type) == 0)
 579         return;
 580     }
 581   va_start(args, format);
 582   if (!pool->debugcallback)
 583     {
 584       if ((type & (SAT_FATAL|SAT_ERROR)) == 0)
 585         vprintf(format, args);
 586       else
 587         vfprintf(stderr, format, args);
 588       return;
 589     }
 590   vsnprintf(buf, sizeof(buf), format, args);
 591   pool->debugcallback(pool, pool->debugcallbackdata, type, buf);
 592 }
 593
 594 void
 595 pool_setdebuglevel(Pool *pool, int level)
 596 {
 597   int mask = SAT_DEBUG_RESULT;
 598   if (level > 0)
 599     mask |= SAT_DEBUG_STATS|SAT_DEBUG_ANALYZE|SAT_DEBUG_UNSOLVABLE;
 600   if (level > 1)
 601     mask |= SAT_DEBUG_JOB|SAT_DEBUG_SOLUTIONS|SAT_DEBUG_POLICY;
 602   if (level > 2)
 603     mask |= SAT_DEBUG_PROPAGATE;
 604   if (level > 3)
 605     mask |= SAT_DEBUG_RULE_CREATION;
 606   if (level > 4)
 607     mask |= SAT_DEBUG_SCHUBI;
 608   pool->debugmask = mask;
 609 }
 610
 611 /*************************************************************************/
 612
 613 struct searchfiles {
 614   Id *ids;
 615   char **dirs;
 616   char **names;
 617   int nfiles;
 618   Map seen;
 619 };
 620
 621 #define SEARCHFILES_BLOCK 127
 622
 623 static void
 624 pool_addfileprovides_dep(Pool *pool, Id *ida, struct searchfiles *sf, struct searchfiles *isf)
 625 {
 626   Id dep, sid;
 627   const char *s, *sr;
 628   struct searchfiles *csf;
 629
 630   while ((dep = *ida++) != 0)
 631     {
 632       csf = sf;
 633       while (ISRELDEP(dep))
 634         {
 635           Reldep *rd;
 636           sid = pool->ss.nstrings + GETRELID(dep);
 637           if (MAPTST(&csf->seen, sid))
 638             {
 639               dep = 0;
 640               break;
 641             }
 642           MAPSET(&csf->seen, sid);
 643           rd = GETRELDEP(pool, dep);
 644           if (rd->flags < 8)
 645             dep = rd->name;
 646           else if (rd->flags == REL_NAMESPACE)
 647             {
 648               if (rd->name == NAMESPACE_INSTALLED || rd->name == NAMESPACE_SPLITPROVIDES)
 649                 {
 650                   csf = isf;
 651                   if (!csf || MAPTST(&csf->seen, sid))
 652                     {
 653                       dep = 0;
 654                       break;
 655                     }
 656                   MAPSET(&csf->seen, sid);
 657                 }
 658               dep = rd->evr;
 659             }
 660           else
 661             {
 662               Id ids[2];
 663               ids[0] = rd->name;
 664               ids[1] = 0;
 665               pool_addfileprovides_dep(pool, ids, csf, isf);
 666               dep = rd->evr;
 667             }
 668         }
 669       if (!dep)
 670         continue;
 671       if (MAPTST(&csf->seen, dep))
 672         continue;
 673       MAPSET(&csf->seen, dep);
 674       s = id2str(pool, dep);
 675       if (*s != '/')
 676         continue;
 677       csf->ids = sat_extend(csf->ids, csf->nfiles, 1, sizeof(Id), SEARCHFILES_BLOCK);
 678       csf->dirs = sat_extend(csf->dirs, csf->nfiles, 1, sizeof(const char *), SEARCHFILES_BLOCK);
 679       csf->names = sat_extend(csf->names, csf->nfiles, 1, sizeof(const char *), SEARCHFILES_BLOCK);
 680       csf->ids[csf->nfiles] = dep;
 681       sr = strrchr(s, '/');
 682       csf->names[csf->nfiles] = strdup(sr + 1);
 683       csf->dirs[csf->nfiles] = sat_malloc(sr - s + 1);
 684       if (sr != s)
 685         strncpy(csf->dirs[csf->nfiles], s, sr - s);
 686       csf->dirs[csf->nfiles][sr - s] = 0;
 687       csf->nfiles++;
 688     }
 689 }
 690
 691 struct addfileprovides_cbdata {
 692   int nfiles;
 693   Id *ids;
 694   char **dirs;
 695   char **names;
 696
 697   Repodata *olddata;
 698   Id *dids;
 699   Map useddirs;
 700 };
 701
 702 static int
 703 addfileprovides_cb(void *cbdata, Solvable *s, Repodata *data, Repokey *key, KeyValue *value)
 704 {
 705   struct addfileprovides_cbdata *cbd = cbdata;
 706   int i;
 707
 708   if (data != cbd->olddata)
 709     {
 710       map_free(&cbd->useddirs);
 711       map_init(&cbd->useddirs, data->dirpool.ndirs);
 712       for (i = 0; i < cbd->nfiles; i++)
 713         {
 714           Id did = repodata_str2dir(data, cbd->dirs[i], 0);
 715           cbd->dids[i] = did;
 716           if (did)
 717             MAPSET(&cbd->useddirs, did);
 718         }
 719       cbd->olddata = data;
 720     }
 721   if (!MAPTST(&cbd->useddirs, value->id))
 722     return 0;
 723   for (i = 0; i < cbd->nfiles; i++)
 724     {
 725       if (cbd->dids[i] != value->id)
 726         continue;
 727       if (!strcmp(cbd->names[i], value->str))
 728         break;
 729     }
 730   if (i == cbd->nfiles)
 731     return 0;
 732   s->provides = repo_addid_dep(s->repo, s->provides, cbd->ids[i], SOLVABLE_FILEMARKER);
 733   return 0;
 734 }
 735
 736
 737 static void
 738 pool_addfileprovides_search(Pool *pool, struct addfileprovides_cbdata *cbd, struct searchfiles *sf, Repo *repoonly)
 739 {
 740   Id p, start, end, *idp;
 741   Solvable *s;
 742   Repodata *data = 0, *nextdata;
 743   Repo *oldrepo = 0;
 744   int dataincludes = 0;
 745   int i;
 746   Map providedids;
 747
 748   cbd->nfiles = sf->nfiles;
 749   cbd->ids = sf->ids;
 750   cbd->dirs = sf->dirs;
 751   cbd->names = sf->names;
 752   cbd->olddata = 0;
 753   cbd->dids = sat_realloc2(cbd->dids, sf->nfiles, sizeof(Id));
 754   if (repoonly)
 755     {
 756       start = repoonly->start;
 757       end = repoonly->end;
 758     }
 759   else
 760     {
 761       start = 2;        /* skip system solvable */
 762       end = pool->nsolvables;
 763     }
 764   for (p = start, s = pool->solvables + p; p < end; p++, s++)
 765     {
 766       if (!s->repo || (repoonly && s->repo != repoonly))
 767         continue;
 768       if (s->repo != oldrepo || (data && p >= data->end))
 769         {
 770           data = 0;
 771           oldrepo = 0;
 772         }
 773       if (oldrepo == 0)
 774         {
 775           nextdata = 0;
 776           for (i = 0, data = s->repo->repodata; i < s->repo->nrepodata; i++, data++)
 777             {
 778               if (!data->addedfileprovides || p >= data->end)
 779                 continue;
 780               if (!nextdata || nextdata->start > data->start)
 781                 nextdata = data;
 782               if (p >= data->start)
 783                 break;
 784             }
 785           if (i == s->repo->nrepodata)
 786             data = nextdata;
 787           if (data)
 788             {
 789               map_init(&providedids, pool->ss.nstrings);
 790               for (idp = data->addedfileprovides; *idp; idp++)
 791                 MAPSET(&providedids, *idp);
 792               for (i = 0; i < cbd->nfiles; i++)
 793                 if (!MAPTST(&providedids, cbd->ids[i]))
 794                   {
 795                     break;
 796                   }
 797               map_free(&providedids);
 798               dataincludes = i == cbd->nfiles;
 799             }
 800           oldrepo = s->repo;
 801         }
 802       if (data && p >= data->start && dataincludes)
 803         continue;
 804       repo_search(s->repo, p, SOLVABLE_FILELIST, 0, 0, addfileprovides_cb, cbd);
 805     }
 806 }
 807
 808 void
 809 pool_addfileprovides_ids(Pool *pool, Repo *installed, Id **idp)
 810 {
 811   Solvable *s;
 812   Repo *repo;
 813   struct searchfiles sf, isf, *isfp;
 814   struct addfileprovides_cbdata cbd;
 815   int i;
 816
 817   memset(&sf, 0, sizeof(sf));
 818   map_init(&sf.seen, pool->ss.nstrings + pool->nrels);
 819   memset(&isf, 0, sizeof(isf));
 820   map_init(&isf.seen, pool->ss.nstrings + pool->nrels);
 821
 822   isfp = installed ? &isf : 0;
 823   for (i = 1, s = pool->solvables + i; i < pool->nsolvables; i++, s++)
 824     {
 825       repo = s->repo;
 826       if (!repo)
 827         continue;
 828       if (s->obsoletes)
 829         pool_addfileprovides_dep(pool, repo->idarraydata + s->obsoletes, &sf, isfp);
 830       if (s->conflicts)
 831         pool_addfileprovides_dep(pool, repo->idarraydata + s->conflicts, &sf, isfp);
 832       if (s->requires)
 833         pool_addfileprovides_dep(pool, repo->idarraydata + s->requires, &sf, isfp);
 834       if (s->recommends)
 835         pool_addfileprovides_dep(pool, repo->idarraydata + s->recommends, &sf, isfp);
 836       if (s->suggests)
 837         pool_addfileprovides_dep(pool, repo->idarraydata + s->suggests, &sf, isfp);
 838       if (s->supplements)
 839         pool_addfileprovides_dep(pool, repo->idarraydata + s->supplements, &sf, isfp);
 840       if (s->enhances)
 841         pool_addfileprovides_dep(pool, repo->idarraydata + s->enhances, &sf, isfp);
 842       if (s->freshens)
 843         pool_addfileprovides_dep(pool, repo->idarraydata + s->freshens, &sf, isfp);
 844     }
 845   map_free(&sf.seen);
 846   map_free(&isf.seen);
 847   POOL_DEBUG(SAT_DEBUG_STATS, "found %d file dependencies\n", sf.nfiles);
 848   POOL_DEBUG(SAT_DEBUG_STATS, "found %d installed file dependencies\n", isf.nfiles);
 849   cbd.dids = 0;
 850   map_init(&cbd.useddirs, 1);
 851   if (idp)
 852     *idp = 0;
 853   if (sf.nfiles)
 854     {
 855 #if 0
 856       for (i = 0; i < sf.nfiles; i++)
 857         POOL_DEBUG(SAT_DEBUG_STATS, "looking up %s in filelist\n", id2str(pool, sf.ids[i]));
 858 #endif
 859       pool_addfileprovides_search(pool, &cbd, &sf, 0);
 860       if (idp)
 861         {
 862           sf.ids = sat_extend(sf.ids, sf.nfiles, 1, sizeof(Id), SEARCHFILES_BLOCK);
 863           sf.ids[sf.nfiles] = 0;
 864           *idp = sf.ids;
 865           sf.ids = 0;
 866         }
 867       sat_free(sf.ids);
 868       for (i = 0; i < sf.nfiles; i++)
 869         {
 870           sat_free(sf.dirs[i]);
 871           sat_free(sf.names[i]);
 872         }
 873       sat_free(sf.dirs);
 874       sat_free(sf.names);
 875     }
 876   if (isf.nfiles)
 877     {
 878 #if 0
 879       for (i = 0; i < isf.nfiles; i++)
 880         POOL_DEBUG(SAT_DEBUG_STATS, "looking up %s in installed filelist\n", id2str(pool, isf.ids[i]));
 881 #endif
 882       if (installed)
 883         pool_addfileprovides_search(pool, &cbd, &isf, installed);
 884       sat_free(isf.ids);
 885       for (i = 0; i < isf.nfiles; i++)
 886         {
 887           sat_free(isf.dirs[i]);
 888           sat_free(isf.names[i]);
 889         }
 890       sat_free(isf.dirs);
 891       sat_free(isf.names);
 892     }
 893   map_free(&cbd.useddirs);
 894   sat_free(cbd.dids);
 895   pool_freewhatprovides(pool);  /* as we have added provides */
 896 }
 897
 898 void
 899 pool_addfileprovides(Pool *pool, Repo *installed)
 900 {
 901   pool_addfileprovides_ids(pool, installed, 0);
 902 }
 903
 904 void
 905 pool_search(Pool *pool, Id p, Id key, const char *match, int flags, int (*callback)(void *cbdata, Solvable *s, struct _Repodata *data, struct _Repokey *key, struct _KeyValue *kv), void *cbdata)
 906 {
 907   if (p)
 908     {
 909       if (pool->solvables[p].repo)
 910         repo_search(pool->solvables[p].repo, p, key, match, flags, callback, cbdata);
 911       return;
 912     }
 913   /* FIXME: obey callback return value! */
 914   for (p = 1; p < pool->nsolvables; p++)
 915     if (pool->solvables[p].repo)
 916       repo_search(pool->solvables[p].repo, p, key, match, flags, callback, cbdata);
 917 }
 918
 919
 920 void
 921 pool_set_languages(Pool *pool, const char **languages, int nlanguages)
 922 {
 923   int i;
 924
 925   pool->languagecache = sat_free(pool->languagecache);
 926   pool->languagecacheother = 0;
 927   if (pool->nlanguages)
 928     {
 929       for (i = 0; i < pool->nlanguages; i++)
 930         free((char *)pool->languages[i]);
 931       free(pool->languages);
 932     }
 933   pool->nlanguages = nlanguages;
 934   if (!nlanguages)
 935     return;
 936   pool->languages = sat_calloc(nlanguages, sizeof(const char **));
 937   for (i = 0; i < pool->nlanguages; i++)
 938     pool->languages[i] = strdup(languages[i]);
 939 }
 940
 941 char *
 942 pool_alloctmpspace(Pool *pool, int len)
 943 {
 944   int n = pool->tmpspacen;
 945   if (!len)
 946     return 0;
 947   if (len > pool->tmpspacelen[n])
 948     {
 949       pool->tmpspacebuf[n] = sat_realloc(pool->tmpspacebuf[n], len + 32);
 950       pool->tmpspacelen[n] = len + 32;
 951     }
 952   pool->tmpspacen = (n + 1) % POOL_TMPSPACEBUF;
 953   return pool->tmpspacebuf[n];
 954 }
 955
 956 /*******************************************************************/
 957
 958 struct mptree {
 959   Id sibling;
 960   Id child;
 961   const char *comp;
 962   int compl;
 963   Id mountpoint;
 964 };
 965
 966 struct ducbdata {
 967   DUChanges *mps;
 968   struct mptree *mptree;
 969   int addsub;
 970
 971   Id *dirmap;
 972   int nmap;
 973   Repodata *olddata;
 974 };
 975
 976
 977 static int
 978 solver_fill_DU_cb(void *cbdata, Solvable *s, Repodata *data, Repokey *key, KeyValue *value)
 979 {
 980   struct ducbdata *cbd = cbdata;
 981   Id mp;
 982
 983   if (data != cbd->olddata)
 984     {
 985       Id dn, mp, comp, *dirmap, *dirs;
 986       int i, compl;
 987       const char *compstr;
 988       struct mptree *mptree;
 989
 990       /* create map from dir to mptree */
 991       cbd->dirmap = sat_free(cbd->dirmap);
 992       cbd->nmap = 0;
 993       dirmap = sat_calloc(data->dirpool.ndirs, sizeof(Id));
 994       mptree = cbd->mptree;
 995       mp = 0;
 996       for (dn = 2, dirs = data->dirpool.dirs + dn; dn < data->dirpool.ndirs; dn++)
 997         {
 998           comp = *dirs++;
 999           if (comp <= 0)
1000             {
1001               mp = dirmap[-comp];
1002               continue;
1003             }
1004           if (mp < 0)
1005             {
1006               /* unconnected */
1007               dirmap[dn] = mp;
1008               continue;
1009             }
1010           if (!mptree[mp].child)
1011             {
1012               dirmap[dn] = -mp;
1013               continue;
1014             }
1015           if (data->localpool)
1016             compstr = stringpool_id2str(&data->spool, comp);
1017           else
1018             compstr = id2str(data->repo->pool, comp);
1019           compl = strlen(compstr);
1020           for (i = mptree[mp].child; i; i = mptree[i].sibling)
1021             if (mptree[i].compl == compl && !strncmp(mptree[i].comp, compstr, compl))
1022               break;
1023           dirmap[dn] = i ? i : -mp;
1024         }
1025       /* change dirmap to point to mountpoint instead of mptree */
1026       for (dn = 0; dn < data->dirpool.ndirs; dn++)
1027         {
1028           mp = dirmap[dn];
1029           dirmap[dn] = mptree[mp > 0 ? mp : -mp].mountpoint;
1030         }
1031       cbd->dirmap = dirmap;
1032       cbd->nmap = data->dirpool.ndirs;
1033       cbd->olddata = data;
1034     }
1035   if (value->id < 0 || value->id >= cbd->nmap)
1036     return 0;
1037   mp = cbd->dirmap[value->id];
1038   if (mp < 0)
1039     return 0;
1040   if (cbd->addsub > 0)
1041     {
1042       cbd->mps[mp].kbytes += value->num;
1043       cbd->mps[mp].files += value->num2;
1044     }
1045   else
1046     {
1047       cbd->mps[mp].kbytes -= value->num;
1048       cbd->mps[mp].files -= value->num2;
1049     }
1050   return 0;
1051 }
1052
1053 static void
1054 propagate_mountpoints(struct mptree *mptree, int pos, Id mountpoint)
1055 {
1056   int i;
1057   if (mptree[pos].mountpoint == -1)
1058     mptree[pos].mountpoint = mountpoint;
1059   else
1060     mountpoint = mptree[pos].mountpoint;
1061   for (i = mptree[pos].child; i; i = mptree[i].sibling)
1062     propagate_mountpoints(mptree, i, mountpoint);
1063 }
1064
1065 #define MPTREE_BLOCK 15
1066
1067 void
1068 pool_calc_duchanges(Pool *pool, Queue *pkgs, DUChanges *mps, int nmps)
1069 {
1070   char *p;
1071   const char *path, *compstr;
1072   struct mptree *mptree;
1073   int i, nmptree;
1074   int pos, compl;
1075   int mp;
1076   struct ducbdata cbd;
1077
1078   cbd.mps = mps;
1079   cbd.addsub = 0;
1080   cbd.dirmap = 0;
1081   cbd.nmap = 0;
1082   cbd.olddata = 0;
1083
1084   mptree = sat_extend_resize(0, 1, sizeof(struct mptree), MPTREE_BLOCK);
1085
1086   /* our root node */
1087   mptree[0].sibling = 0;
1088   mptree[0].child = 0;
1089   mptree[0].comp = 0;
1090   mptree[0].compl = 0;
1091   mptree[0].mountpoint = -1;
1092   nmptree = 1;
1093
1094   /* create component tree */
1095   for (mp = 0; mp < nmps; mp++)
1096     {
1097       mps[mp].kbytes = 0;
1098       mps[mp].files = 0;
1099       pos = 0;
1100       path = mps[mp].path;
1101       while(*path == '/')
1102         path++;
1103       while (*path)
1104         {
1105           if ((p = strchr(path, '/')) == 0)
1106             {
1107               compstr = path;
1108               compl = strlen(compstr);
1109               path += compl;
1110             }
1111           else
1112             {
1113               compstr = path;
1114               compl = p - path;
1115               path = p + 1;
1116               while(*path == '/')
1117                 path++;
1118             }
1119           for (i = mptree[pos].child; i; i = mptree[i].sibling)
1120             if (mptree[i].compl == compl && !strncmp(mptree[i].comp, compstr, compl))
1121               break;
1122           if (!i)
1123             {
1124               /* create new node */
1125               mptree = sat_extend(mptree, nmptree, 1, sizeof(struct mptree), MPTREE_BLOCK);
1126               i = nmptree++;
1127               mptree[i].sibling = mptree[pos].child;
1128               mptree[i].child = 0;
1129               mptree[i].comp = compstr;
1130               mptree[i].compl = compl;
1131               mptree[i].mountpoint = -1;
1132               mptree[pos].child = i;
1133             }
1134           pos = i;
1135         }
1136       mptree[pos].mountpoint = mp;
1137     }
1138
1139   propagate_mountpoints(mptree, 0, mptree[0].mountpoint);
1140
1141 #if 0
1142   for (i = 0; i < nmptree; i++)
1143     {
1144       printf("#%d sibling: %d\n", i, mptree[i].sibling);
1145       printf("#%d child: %d\n", i, mptree[i].child);
1146       printf("#%d comp: %s\n", i, mptree[i].comp);
1147       printf("#%d compl: %d\n", i, mptree[i].compl);
1148       printf("#%d mountpont: %d\n", i, mptree[i].mountpoint);
1149     }
1150 #endif
1151
1152   cbd.mptree = mptree;
1153   cbd.addsub = 1;
1154   for (i = 0; i < pkgs->count; i++)
1155     {
1156       Id sp = pkgs->elements[i];
1157       if (sp > 0)
1158         repo_search(pool->solvables[sp].repo, sp, SOLVABLE_DISKUSAGE, 0, 0, solver_fill_DU_cb, &cbd);
1159     }
1160   cbd.addsub = -1;
1161   for (i = 0; i < pkgs->count; i++)
1162     {
1163       Id sp = pkgs->elements[i];
1164       if (sp < 0)
1165         repo_search(pool->solvables[-sp].repo, -sp, SOLVABLE_DISKUSAGE, 0, 0, solver_fill_DU_cb, &cbd);
1166     }
1167   sat_free(cbd.dirmap);
1168   sat_free(mptree);
1169 }
1170
1171 int
1172 pool_calc_installsizechange(Pool *pool, Queue *pkgs)
1173 {
1174   int i, change;
1175
1176   change = 0;
1177   for (i = 0; i < pkgs->count; i++)
1178     {
1179       Id sp = pkgs->elements[i];
1180       if (sp > 0)
1181         change += repo_lookup_num(pool->solvables + sp, SOLVABLE_INSTALLSIZE);
1182       else if (sp < 0)
1183         change -= repo_lookup_num(pool->solvables - sp, SOLVABLE_INSTALLSIZE);
1184     }
1185   return change;
1186 }
1187
1188 // EOF