- add pool_match_nevr() to match a single solvable's nevr against
[platform/upstream/libsolv.git] / src / pool.c
1 /*
2  * Copyright (c) 2007, Novell Inc.
3  *
4  * This program is licensed under the BSD license, read LICENSE.BSD
5  * for further information
6  */
7
8 /*
9  * pool.c
10  * 
11  * The pool contains information about solvables
12  * stored optimized for memory consumption and fast retrieval.
13  */
14
15 #include <stdio.h>
16 #include <stdlib.h>
17 #include <stdarg.h>
18 #include <unistd.h>
19 #include <string.h>
20
21 #include "pool.h"
22 #include "repo.h"
23 #include "poolid.h"
24 #include "poolid_private.h"
25 #include "poolarch.h"
26 #include "util.h"
27 #include "bitmap.h"
28 #include "evr.h"
29
30 #define SOLVABLE_BLOCK  255
31
32 #define KNOWNID_INITIALIZE
33 #include "knownid.h"
34 #undef KNOWNID_INITIALIZE
35
36 /* create pool */
37 Pool *
38 pool_create(void)
39 {
40   Pool *pool;
41   Solvable *s;
42
43   pool = (Pool *)sat_calloc(1, sizeof(*pool));
44
45   stringpool_init (&pool->ss, initpool_data);
46
47   /* alloc space for RelDep 0 */
48   pool->rels = sat_extend_resize(0, 1, sizeof(Reldep), REL_BLOCK);
49   pool->nrels = 1;
50   memset(pool->rels, 0, sizeof(Reldep));
51
52   /* alloc space for Solvable 0 and system solvable */
53   pool->solvables = sat_extend_resize(0, 2, sizeof(Solvable), SOLVABLE_BLOCK);
54   pool->nsolvables = 2;
55   memset(pool->solvables, 0, 2 * sizeof(Solvable));
56   s = pool->solvables + SYSTEMSOLVABLE;
57   s->name = SYSTEM_SYSTEM;
58   s->arch = ARCH_NOARCH;
59   s->evr = ID_EMPTY;
60
61   queue_init(&pool->vendormap);
62
63   pool->debugmask = SAT_DEBUG_RESULT;   /* FIXME */
64   return pool;
65 }
66
67
68 /* free all the resources of our pool */
69 void
70 pool_free(Pool *pool)
71 {
72   int i;
73
74   pool_freewhatprovides(pool);
75   pool_freeidhashes(pool);
76   repo_freeallrepos(pool, 1);
77   sat_free(pool->id2arch);
78   sat_free(pool->solvables);
79   sat_free(pool->ss.stringspace);
80   sat_free(pool->ss.strings);
81   sat_free(pool->rels);
82   queue_free(&pool->vendormap);
83   for (i = 0; i < POOL_TMPSPACEBUF; i++)
84     sat_free(pool->tmpspacebuf[i]);
85   for (i = 0; i < pool->nlanguages; i++)
86     free((char *)pool->languages[i]);
87   sat_free(pool->languages);
88   sat_free(pool->languagecache);
89   sat_free(pool);
90 }
91
92 Id
93 pool_add_solvable(Pool *pool)
94 {
95   pool->solvables = sat_extend(pool->solvables, pool->nsolvables, 1, sizeof(Solvable), SOLVABLE_BLOCK);
96   memset(pool->solvables + pool->nsolvables, 0, sizeof(Solvable));
97   return pool->nsolvables++;
98 }
99
100 Id
101 pool_add_solvable_block(Pool *pool, int count)
102 {
103   Id nsolvables = pool->nsolvables;
104   if (!count)
105     return nsolvables;
106   pool->solvables = sat_extend(pool->solvables, pool->nsolvables, count, sizeof(Solvable), SOLVABLE_BLOCK);
107   memset(pool->solvables + nsolvables, 0, sizeof(Solvable) * count);
108   pool->nsolvables += count;
109   return nsolvables;
110 }
111
112 void
113 pool_free_solvable_block(Pool *pool, Id start, int count, int reuseids)
114 {
115   if (!count)
116     return;
117   if (reuseids && start + count == pool->nsolvables)
118     {
119       /* might want to shrink solvable array */
120       pool->nsolvables = start;
121       return;
122     }
123   memset(pool->solvables + start, 0, sizeof(Solvable) * count);
124 }
125
126
127 static Pool *pool_shrink_whatprovides_sortcmp_data;
128
129 static int
130 pool_shrink_whatprovides_sortcmp(const void *ap, const void *bp)
131 {
132   int r;
133   Pool *pool = pool_shrink_whatprovides_sortcmp_data;
134   Id oa, ob, *da, *db;
135   oa = pool->whatprovides[*(Id *)ap];
136   ob = pool->whatprovides[*(Id *)bp];
137   if (oa == ob)
138     return *(Id *)ap - *(Id *)bp;
139   if (!oa)
140     return -1;
141   if (!ob)
142     return 1;
143   da = pool->whatprovidesdata + oa;
144   db = pool->whatprovidesdata + ob;
145   while (*db)
146     if ((r = (*da++ - *db++)) != 0)
147       return r;
148   if (*da)
149     return *da;
150   return *(Id *)ap - *(Id *)bp;
151 }
152
153 /*
154  * pool_shrink_whatprovides  - unify whatprovides data
155  *
156  * whatprovides_rel must be empty for this to work!
157  *
158  */
159 static void
160 pool_shrink_whatprovides(Pool *pool)
161 {
162   Id i, id;
163   Id *sorted;
164   Id lastid, *last, *dp, *lp;
165   Offset o;
166   int r;
167
168   if (pool->ss.nstrings < 3)
169     return;
170   sorted = sat_malloc2(pool->ss.nstrings, sizeof(Id));
171   for (id = 0; id < pool->ss.nstrings; id++)
172     sorted[id] = id;
173   pool_shrink_whatprovides_sortcmp_data = pool;
174   qsort(sorted + 1, pool->ss.nstrings - 1, sizeof(Id), pool_shrink_whatprovides_sortcmp);
175   last = 0;
176   lastid = 0;
177   for (i = 1; i < pool->ss.nstrings; i++)
178     {
179       id = sorted[i];
180       o = pool->whatprovides[id];
181       if (o == 0 || o == 1)
182         continue;
183       dp = pool->whatprovidesdata + o;
184       if (last)
185         {
186           lp = last;
187           while (*dp)   
188             if (*dp++ != *lp++)
189               {
190                 last = 0;
191                 break;
192               }
193           if (last && *lp)
194             last = 0;
195           if (last)
196             {
197               pool->whatprovides[id] = -lastid;
198               continue;
199             }
200         }
201       last = pool->whatprovidesdata + o;
202       lastid = id;
203     }
204   sat_free(sorted);
205   dp = pool->whatprovidesdata + 2;
206   for (id = 1; id < pool->ss.nstrings; id++)
207     {
208       o = pool->whatprovides[id];
209       if (o == 0 || o == 1)
210         continue;
211       if ((Id)o < 0)
212         {
213           i = -(Id)o;
214           if (i >= id)
215             abort();
216           pool->whatprovides[id] = pool->whatprovides[i];
217           continue;
218         }
219       lp = pool->whatprovidesdata + o;
220       if (lp < dp)
221         abort();
222       pool->whatprovides[id] = dp - pool->whatprovidesdata;
223       while ((*dp++ = *lp++) != 0)
224         ;
225     }
226   o = dp - pool->whatprovidesdata;
227   POOL_DEBUG(SAT_DEBUG_STATS, "shrunk whatprovidesdata from %d to %d\n", pool->whatprovidesdataoff, o);
228   if (pool->whatprovidesdataoff == o)
229     return;
230   r = pool->whatprovidesdataoff - o;
231   pool->whatprovidesdataoff = o;
232   pool->whatprovidesdata = sat_realloc(pool->whatprovidesdata, (o + pool->whatprovidesdataleft) * sizeof(Id));
233   if (r > pool->whatprovidesdataleft)
234     r = pool->whatprovidesdataleft;
235   memset(pool->whatprovidesdata + o, 0, r * sizeof(Id));
236 }
237
238
239 /*
240  * pool_createwhatprovides()
241  * 
242  * create hashes over pool of solvables to ease provide lookups
243  * 
244  */
245 void
246 pool_createwhatprovides(Pool *pool)
247 {
248   int i, num, np, extra;
249   Offset off;
250   Solvable *s;
251   Id id;
252   Offset *idp, n;
253   Offset *whatprovides;
254   Id *whatprovidesdata, *d;
255
256   POOL_DEBUG(SAT_DEBUG_STATS, "number of solvables: %d\n", pool->nsolvables);
257   POOL_DEBUG(SAT_DEBUG_STATS, "number of ids: %d + %d\n", pool->ss.nstrings, pool->nrels);
258
259   pool_freeidhashes(pool);      /* XXX: should not be here! */
260   pool_freewhatprovides(pool);
261   num = pool->ss.nstrings;
262   pool->whatprovides = whatprovides = sat_calloc_block(num, sizeof(Offset), WHATPROVIDES_BLOCK);
263   pool->whatprovides_rel = sat_calloc_block(pool->nrels, sizeof(Offset), WHATPROVIDES_BLOCK);
264
265   /* count providers for each name */
266   for (i = 1; i < pool->nsolvables; i++)
267     {
268       Id *pp;
269       s = pool->solvables + i;
270       if (!s->provides)
271         continue;
272       if (!pool_installable(pool, s))
273         continue;
274       pp = s->repo->idarraydata + s->provides;
275       while ((id = *pp++) != ID_NULL)
276         {
277           while (ISRELDEP(id))
278             {
279               Reldep *rd = GETRELDEP(pool, id);
280               id = rd->name;
281             }
282           whatprovides[id]++;          /* inc count of providers */
283         }
284     }
285
286   off = 2;      /* first entry is undef, second is empty list */
287   idp = whatprovides;
288   np = 0;                              /* number of names provided */
289   for (i = 0; i < num; i++, idp++)
290     {
291       n = *idp;
292       if (!n)                          /* no providers */
293         continue;
294       *idp = off;                      /* move from counts to offsets into whatprovidesdata */
295       off += n + 1;                    /* make space for all providers + terminating ID_NULL */
296       np++;                            /* inc # of provider 'slots' */
297     }
298
299   POOL_DEBUG(SAT_DEBUG_STATS, "provide ids: %d\n", np);
300
301   /* reserve some space for relation data */
302   extra = 2 * pool->nrels;
303   if (extra < 256)
304     extra = 256;
305
306   POOL_DEBUG(SAT_DEBUG_STATS, "provide space needed: %d + %d\n", off, extra);
307
308   /* alloc space for all providers + extra */
309   whatprovidesdata = sat_calloc(off + extra, sizeof(Id));
310
311   /* now fill data for all provides */
312   for (i = 1; i < pool->nsolvables; i++)
313     {
314       Id *pp;
315       s = pool->solvables + i;
316       if (!s->provides)
317         continue;
318       if (!pool_installable(pool, s))
319         continue;
320
321       /* for all provides of this solvable */
322       pp = s->repo->idarraydata + s->provides;
323       while ((id = *pp++) != 0)
324         {
325           while (ISRELDEP(id))
326             {
327               Reldep *rd = GETRELDEP(pool, id);
328               id = rd->name;
329             }
330           d = whatprovidesdata + whatprovides[id];   /* offset into whatprovidesdata */
331           if (*d)
332             {
333               d++;
334               while (*d)               /* find free slot */
335                 d++;
336               if (d[-1] == i)          /* solvable already tacked at end ? */
337                 continue;              /* Y: skip, on to next provides */
338             }
339           *d = i;                      /* put solvable Id into data */
340         }
341     }
342   pool->whatprovidesdata = whatprovidesdata;
343   pool->whatprovidesdataoff = off;
344   pool->whatprovidesdataleft = extra;
345   pool_shrink_whatprovides(pool);
346 }
347
348 /*
349  * free all of our whatprovides data
350  * be careful, everything internalized with pool_queuetowhatprovides is gone, too
351  */
352 void
353 pool_freewhatprovides(Pool *pool)
354 {
355   pool->whatprovides = sat_free(pool->whatprovides);
356   pool->whatprovides_rel = sat_free(pool->whatprovides_rel);
357   pool->whatprovidesdata = sat_free(pool->whatprovidesdata);
358   pool->whatprovidesdataoff = 0;
359   pool->whatprovidesdataleft = 0;
360 }
361
362
363 /******************************************************************************/
364
365 /*
366  * pool_queuetowhatprovides  - add queue contents to whatprovidesdata
367  * 
368  * on-demand filling of provider information
369  * move queue data into whatprovidesdata
370  * q: queue of Ids
371  * returns: Offset into whatprovides
372  *
373  */
374 Id
375 pool_queuetowhatprovides(Pool *pool, Queue *q)
376 {
377   Offset off;
378   int count = q->count;
379
380   if (count == 0)                      /* queue empty -> ID_EMPTY */
381     return ID_EMPTY;
382
383   /* extend whatprovidesdata if needed, +1 for ID_NULL-termination */
384   if (pool->whatprovidesdataleft < count + 1)
385     {
386       POOL_DEBUG(SAT_DEBUG_STATS, "growing provides hash data...\n");
387       pool->whatprovidesdata = sat_realloc(pool->whatprovidesdata, (pool->whatprovidesdataoff + count + 4096) * sizeof(Id));
388       pool->whatprovidesdataleft = count + 4096;
389     }
390
391   /* copy queue to next free slot */
392   off = pool->whatprovidesdataoff;
393   memcpy(pool->whatprovidesdata + pool->whatprovidesdataoff, q->elements, count * sizeof(Id));
394
395   /* adapt count and ID_NULL-terminate */
396   pool->whatprovidesdataoff += count;
397   pool->whatprovidesdata[pool->whatprovidesdataoff++] = ID_NULL;
398   pool->whatprovidesdataleft -= count + 1;
399
400   return (Id)off;
401 }
402
403
404 /*************************************************************************/
405
406 /* check if a package's nevr matches a dependency */
407
408 int
409 pool_match_nevr_rel(Pool *pool, Solvable *s, Id d)
410 {
411   Reldep *rd = GETRELDEP(pool, d);
412   Id name = rd->name;
413   Id evr = rd->evr;
414   int flags = rd->flags;
415
416   if (flags > 7)
417     {
418       switch (flags)
419         {
420         case REL_ARCH:
421           if (s->arch != evr)
422             return 0;
423           return pool_match_nevr(pool, s, name);
424         case REL_OR:
425           if (pool_match_nevr(pool, s, name))
426             return 1;
427           return pool_match_nevr(pool, s, evr);
428         case REL_AND:
429         case REL_WITH:
430           if (!pool_match_nevr(pool, s, name))
431             return 0;
432           return pool_match_nevr(pool, s, evr);
433         default:
434           return 0;
435         }
436     }
437   if (!pool_match_nevr(pool, s, name))
438     return 0;
439   if (evr == s->evr)
440     return flags & 2 ? 1 : 0;
441   if (!flags)
442     return 0;
443   if (flags == 7)
444     return 1;
445   if (flags != 2 && flags != 5)
446     flags ^= 5;
447   if ((flags & (1 << (1 + evrcmp(pool, s->evr, evr, EVRCMP_MATCH_RELEASE)))) != 0)
448     return 1;
449   return 0;
450 }
451
452 /*
453  * addrelproviders
454  * 
455  * add packages fulfilling the relation to whatprovides array
456  * no exact providers, do range match
457  * 
458  */
459
460 Id *
461 pool_addrelproviders(Pool *pool, Id d)
462 {
463   Reldep *rd = GETRELDEP(pool, d);
464   Reldep *prd;
465   Queue plist;
466   Id buf[16];
467   Id name = rd->name;
468   Id evr = rd->evr;
469   int flags = rd->flags;
470   Id pid, *pidp;
471   Id p, *pp, *pp2, *pp3;
472
473   d = GETRELID(d);
474   queue_init_buffer(&plist, buf, sizeof(buf)/sizeof(*buf));
475   switch (flags)
476     {
477     case REL_AND:
478     case REL_WITH:
479       pp = pool_whatprovides(pool, name);
480       pp2 = pool_whatprovides(pool, evr);
481       while ((p = *pp++) != 0)
482         {
483           for (pp3 = pp2; *pp3;)
484             if (*pp3++ == p)
485               {
486                 queue_push(&plist, p);
487                 break;
488               }
489         }
490       break;
491     case REL_OR:
492       pp = pool_whatprovides(pool, name);
493       while ((p = *pp++) != 0)
494         queue_push(&plist, p);
495       pp = pool_whatprovides(pool, evr);
496       while ((p = *pp++) != 0)
497         queue_pushunique(&plist, p);
498       break;
499     case REL_NAMESPACE:
500       if (pool->nscallback)
501         {
502           /* ask callback which packages provide the dependency
503            * 0:  none
504            * 1:  the system (aka SYSTEMSOLVABLE)
505            * >1: a set of packages, stored as offset on whatprovidesdata
506            */
507           p = pool->nscallback(pool, pool->nscallbackdata, name, evr);
508           if (p > 1)
509             {
510               queue_free(&plist);
511               pool->whatprovides_rel[d] = p;
512               return pool->whatprovidesdata + p;
513             }
514           if (p == 1)
515             queue_push(&plist, SYSTEMSOLVABLE);
516         }
517       break;
518     case REL_ARCH:
519       pp = pp2 = pool_whatprovides(pool, name);
520       while ((p = *pp++) != 0)
521         {
522           Solvable *s = pool->solvables + p;
523           if (s->arch == evr)
524             queue_push(&plist, p);
525           else
526             pp2 = 0;
527         }
528       if (pp2)
529         return pp2;
530       break;
531     default:
532       break;
533     }
534
535   /* convert to whatprovides id */
536 #if 0
537   POOL_DEBUG(SAT_DEBUG_STATS, "addrelproviders: what provides %s?\n", dep2str(pool, name));
538 #endif
539   if (flags && flags < 8)
540     {
541       pp = pool_whatprovides(pool, name);
542       while (ISRELDEP(name))
543         {
544           rd = GETRELDEP(pool, name);
545           name = rd->name;
546         }
547       while ((p = *pp++) != 0)
548         {
549 #if 0
550           POOL_DEBUG(DEBUG_1, "addrelproviders: checking package %s\n", id2str(pool, pool->p[p].name));
551 #endif
552           /* solvable p provides name in some rels */
553           pidp = pool->solvables[p].repo->idarraydata + pool->solvables[p].provides;
554           while ((pid = *pidp++) != 0)
555             {
556               int pflags;
557               Id pevr;
558
559               if (pid == name)
560                 {
561 #ifdef DEBIAN_SEMANTICS
562                   continue;             /* unversioned provides can
563                                          * never match versioned deps */
564 #else
565                   break;                /* yes, provides all versions */
566 #endif
567                 }
568               if (!ISRELDEP(pid))
569                 continue;               /* wrong provides name */
570               prd = GETRELDEP(pool, pid);
571               if (prd->name != name)
572                 continue;               /* wrong provides name */
573               /* right package, both deps are rels */
574               pflags = prd->flags;
575               if (!pflags)
576                 continue;
577               if (flags == 7 || pflags == 7)
578                 break; /* included */
579               if ((pflags & flags & 5) != 0)
580                 break; /* same direction, match */
581               pevr = prd->evr;
582               if (pevr == evr)
583                 {
584                   if ((pflags & flags & 2) != 0)
585                     break; /* both have =, match */
586                 }
587               else
588                 {
589                   int f = flags == 5 ? 5 : flags == 2 ? pflags : (flags ^ 5) & (pflags | 5);
590                   if ((f & (1 << (1 + evrcmp(pool, pevr, evr, EVRCMP_MATCH_RELEASE)))) != 0)
591                     break;
592                 }
593             }
594           if (!pid)
595             continue;   /* no rel match */
596           queue_push(&plist, p);
597         }
598       /* make our system solvable provide all unknown rpmlib() stuff */
599       if (plist.count == 0 && !strncmp(id2str(pool, name), "rpmlib(", 7))
600         queue_push(&plist, SYSTEMSOLVABLE);
601     }
602   /* add providers to whatprovides */
603 #if 0
604   POOL_DEBUG(SAT_DEBUG_STATS, "addrelproviders: adding %d packages to %d\n", plist.count, d);
605 #endif
606   pool->whatprovides_rel[d] = pool_queuetowhatprovides(pool, &plist);
607   queue_free(&plist);
608
609   return pool->whatprovidesdata + pool->whatprovides_rel[d];
610 }
611
612 /*************************************************************************/
613
614 void
615 pool_debug(Pool *pool, int type, const char *format, ...)
616 {
617   va_list args;
618   char buf[1024];
619
620   if ((type & (SAT_FATAL|SAT_ERROR)) == 0)
621     {
622       if ((pool->debugmask & type) == 0)
623         return;
624     }
625   va_start(args, format);
626   if (!pool->debugcallback)
627     {
628       if ((type & (SAT_FATAL|SAT_ERROR)) == 0)
629         vprintf(format, args);
630       else
631         vfprintf(stderr, format, args);
632       return;
633     }
634   vsnprintf(buf, sizeof(buf), format, args);
635   pool->debugcallback(pool, pool->debugcallbackdata, type, buf);
636 }
637
638 void
639 pool_setdebuglevel(Pool *pool, int level)
640 {
641   int mask = SAT_DEBUG_RESULT;
642   if (level > 0)
643     mask |= SAT_DEBUG_STATS|SAT_DEBUG_ANALYZE|SAT_DEBUG_UNSOLVABLE;
644   if (level > 1)
645     mask |= SAT_DEBUG_JOB|SAT_DEBUG_SOLUTIONS|SAT_DEBUG_POLICY;
646   if (level > 2)
647     mask |= SAT_DEBUG_PROPAGATE;
648   if (level > 3)
649     mask |= SAT_DEBUG_RULE_CREATION;
650   if (level > 4)
651     mask |= SAT_DEBUG_SCHUBI;
652   pool->debugmask = mask;
653 }
654
655 /*************************************************************************/
656
657 struct searchfiles {
658   Id *ids;
659   char **dirs;
660   char **names;
661   int nfiles;
662   Map seen;
663 };
664
665 #define SEARCHFILES_BLOCK 127
666
667 static void
668 pool_addfileprovides_dep(Pool *pool, Id *ida, struct searchfiles *sf, struct searchfiles *isf)
669 {
670   Id dep, sid;
671   const char *s, *sr;
672   struct searchfiles *csf;
673
674   while ((dep = *ida++) != 0)
675     {
676       csf = sf;
677       while (ISRELDEP(dep))
678         {
679           Reldep *rd;
680           sid = pool->ss.nstrings + GETRELID(dep);
681           if (MAPTST(&csf->seen, sid))
682             {
683               dep = 0;
684               break;
685             }
686           MAPSET(&csf->seen, sid);
687           rd = GETRELDEP(pool, dep);
688           if (rd->flags < 8)
689             dep = rd->name;
690           else if (rd->flags == REL_NAMESPACE)
691             {
692               if (rd->name == NAMESPACE_INSTALLED || rd->name == NAMESPACE_SPLITPROVIDES)
693                 {
694                   csf = isf;
695                   if (!csf || MAPTST(&csf->seen, sid))
696                     {
697                       dep = 0;
698                       break;
699                     }
700                   MAPSET(&csf->seen, sid);
701                 }
702               dep = rd->evr;
703             }
704           else
705             {
706               Id ids[2];
707               ids[0] = rd->name;
708               ids[1] = 0;
709               pool_addfileprovides_dep(pool, ids, csf, isf);
710               dep = rd->evr;
711             }
712         }
713       if (!dep)
714         continue;
715       if (MAPTST(&csf->seen, dep))
716         continue;
717       MAPSET(&csf->seen, dep);
718       s = id2str(pool, dep);
719       if (*s != '/')
720         continue;
721       csf->ids = sat_extend(csf->ids, csf->nfiles, 1, sizeof(Id), SEARCHFILES_BLOCK);
722       csf->dirs = sat_extend(csf->dirs, csf->nfiles, 1, sizeof(const char *), SEARCHFILES_BLOCK);
723       csf->names = sat_extend(csf->names, csf->nfiles, 1, sizeof(const char *), SEARCHFILES_BLOCK);
724       csf->ids[csf->nfiles] = dep;
725       sr = strrchr(s, '/');
726       csf->names[csf->nfiles] = strdup(sr + 1);
727       csf->dirs[csf->nfiles] = sat_malloc(sr - s + 1);
728       if (sr != s)
729         strncpy(csf->dirs[csf->nfiles], s, sr - s);
730       csf->dirs[csf->nfiles][sr - s] = 0;
731       csf->nfiles++;
732     }
733 }
734
735 struct addfileprovides_cbdata {
736   int nfiles;
737   Id *ids;
738   char **dirs;
739   char **names;
740
741   Repodata *olddata;
742   Id *dids;
743   Map useddirs;
744 };
745
746 static int
747 addfileprovides_cb(void *cbdata, Solvable *s, Repodata *data, Repokey *key, KeyValue *value)
748 {
749   struct addfileprovides_cbdata *cbd = cbdata;
750   int i;
751
752   if (data != cbd->olddata)
753     {
754       map_free(&cbd->useddirs);
755       map_init(&cbd->useddirs, data->dirpool.ndirs);
756       for (i = 0; i < cbd->nfiles; i++)
757         {
758           Id did = repodata_str2dir(data, cbd->dirs[i], 0);
759           cbd->dids[i] = did;
760           if (did)
761             MAPSET(&cbd->useddirs, did);
762         }
763       cbd->olddata = data;
764     }
765   if (!MAPTST(&cbd->useddirs, value->id))
766     return 0;
767   for (i = 0; i < cbd->nfiles; i++)
768     {
769       if (cbd->dids[i] != value->id)
770         continue;
771       if (!strcmp(cbd->names[i], value->str))
772         break;
773     }
774   if (i == cbd->nfiles)
775     return 0;
776   s->provides = repo_addid_dep(s->repo, s->provides, cbd->ids[i], SOLVABLE_FILEMARKER);
777   return 0;
778 }
779
780
781 static void
782 pool_addfileprovides_search(Pool *pool, struct addfileprovides_cbdata *cbd, struct searchfiles *sf, Repo *repoonly)
783 {
784   Id p, start, end, *idp;
785   Solvable *s;
786   Repodata *data = 0, *nextdata;
787   Repo *oldrepo = 0;
788   int dataincludes = 0;
789   int i;
790   Map providedids;
791
792   cbd->nfiles = sf->nfiles;
793   cbd->ids = sf->ids;
794   cbd->dirs = sf->dirs;
795   cbd->names = sf->names;
796   cbd->olddata = 0;
797   cbd->dids = sat_realloc2(cbd->dids, sf->nfiles, sizeof(Id));
798   if (repoonly)
799     {
800       start = repoonly->start;
801       end = repoonly->end;
802     }
803   else
804     {
805       start = 2;        /* skip system solvable */
806       end = pool->nsolvables;
807     }
808   for (p = start, s = pool->solvables + p; p < end; p++, s++)
809     {
810       if (!s->repo || (repoonly && s->repo != repoonly))
811         continue;
812       if (s->repo != oldrepo || (data && p >= data->end))
813         {
814           data = 0;
815           oldrepo = 0;
816         }
817       if (oldrepo == 0)
818         {
819           nextdata = 0;
820           for (i = 0, data = s->repo->repodata; i < s->repo->nrepodata; i++, data++)
821             {
822               if (!data->addedfileprovides || p >= data->end)
823                 continue;
824               if (!nextdata || nextdata->start > data->start)
825                 nextdata = data;
826               if (p >= data->start)
827                 break;
828             }
829           if (i == s->repo->nrepodata)
830             data = nextdata;
831           if (data)
832             {
833               map_init(&providedids, pool->ss.nstrings);
834               for (idp = data->addedfileprovides; *idp; idp++)
835                 MAPSET(&providedids, *idp);
836               for (i = 0; i < cbd->nfiles; i++)
837                 if (!MAPTST(&providedids, cbd->ids[i]))
838                   {
839                     break;
840                   }
841               map_free(&providedids);
842               dataincludes = i == cbd->nfiles;
843             }
844           oldrepo = s->repo;
845         }
846       if (data && p >= data->start && dataincludes)
847         continue;
848       repo_search(s->repo, p, SOLVABLE_FILELIST, 0, 0, addfileprovides_cb, cbd);
849     }
850 }
851
852 void
853 pool_addfileprovides_ids(Pool *pool, Repo *installed, Id **idp)
854 {
855   Solvable *s;
856   Repo *repo;
857   struct searchfiles sf, isf, *isfp;
858   struct addfileprovides_cbdata cbd;
859   int i;
860
861   memset(&sf, 0, sizeof(sf));
862   map_init(&sf.seen, pool->ss.nstrings + pool->nrels);
863   memset(&isf, 0, sizeof(isf));
864   map_init(&isf.seen, pool->ss.nstrings + pool->nrels);
865
866   isfp = installed ? &isf : 0;
867   for (i = 1, s = pool->solvables + i; i < pool->nsolvables; i++, s++)
868     {
869       repo = s->repo;
870       if (!repo)
871         continue;
872       if (s->obsoletes)
873         pool_addfileprovides_dep(pool, repo->idarraydata + s->obsoletes, &sf, isfp);
874       if (s->conflicts)
875         pool_addfileprovides_dep(pool, repo->idarraydata + s->conflicts, &sf, isfp);
876       if (s->requires)
877         pool_addfileprovides_dep(pool, repo->idarraydata + s->requires, &sf, isfp);
878       if (s->recommends)
879         pool_addfileprovides_dep(pool, repo->idarraydata + s->recommends, &sf, isfp);
880       if (s->suggests)
881         pool_addfileprovides_dep(pool, repo->idarraydata + s->suggests, &sf, isfp);
882       if (s->supplements)
883         pool_addfileprovides_dep(pool, repo->idarraydata + s->supplements, &sf, isfp);
884       if (s->enhances)
885         pool_addfileprovides_dep(pool, repo->idarraydata + s->enhances, &sf, isfp);
886       if (s->freshens)
887         pool_addfileprovides_dep(pool, repo->idarraydata + s->freshens, &sf, isfp);
888     }
889   map_free(&sf.seen);
890   map_free(&isf.seen);
891   POOL_DEBUG(SAT_DEBUG_STATS, "found %d file dependencies\n", sf.nfiles);
892   POOL_DEBUG(SAT_DEBUG_STATS, "found %d installed file dependencies\n", isf.nfiles);
893   cbd.dids = 0;
894   map_init(&cbd.useddirs, 1);
895   if (idp)
896     *idp = 0;
897   if (sf.nfiles)
898     {
899 #if 0
900       for (i = 0; i < sf.nfiles; i++)
901         POOL_DEBUG(SAT_DEBUG_STATS, "looking up %s in filelist\n", id2str(pool, sf.ids[i]));
902 #endif
903       pool_addfileprovides_search(pool, &cbd, &sf, 0);
904       if (idp)
905         {
906           sf.ids = sat_extend(sf.ids, sf.nfiles, 1, sizeof(Id), SEARCHFILES_BLOCK);
907           sf.ids[sf.nfiles] = 0;
908           *idp = sf.ids;
909           sf.ids = 0;
910         }
911       sat_free(sf.ids);
912       for (i = 0; i < sf.nfiles; i++)
913         {
914           sat_free(sf.dirs[i]);
915           sat_free(sf.names[i]);
916         }
917       sat_free(sf.dirs);
918       sat_free(sf.names);
919     }
920   if (isf.nfiles)
921     {
922 #if 0
923       for (i = 0; i < isf.nfiles; i++)
924         POOL_DEBUG(SAT_DEBUG_STATS, "looking up %s in installed filelist\n", id2str(pool, isf.ids[i]));
925 #endif
926       if (installed)
927         pool_addfileprovides_search(pool, &cbd, &isf, installed);
928       sat_free(isf.ids);
929       for (i = 0; i < isf.nfiles; i++)
930         {
931           sat_free(isf.dirs[i]);
932           sat_free(isf.names[i]);
933         }
934       sat_free(isf.dirs);
935       sat_free(isf.names);
936     }
937   map_free(&cbd.useddirs);
938   sat_free(cbd.dids);
939   pool_freewhatprovides(pool);  /* as we have added provides */
940 }
941
942 void
943 pool_addfileprovides(Pool *pool, Repo *installed)
944 {
945   pool_addfileprovides_ids(pool, installed, 0);
946 }
947
948 void
949 pool_search(Pool *pool, Id p, Id key, const char *match, int flags, int (*callback)(void *cbdata, Solvable *s, struct _Repodata *data, struct _Repokey *key, struct _KeyValue *kv), void *cbdata)
950 {
951   if (p)
952     {
953       if (pool->solvables[p].repo)
954         repo_search(pool->solvables[p].repo, p, key, match, flags, callback, cbdata);
955       return;
956     }
957   /* FIXME: obey callback return value! */
958   for (p = 1; p < pool->nsolvables; p++)
959     if (pool->solvables[p].repo)
960       repo_search(pool->solvables[p].repo, p, key, match, flags, callback, cbdata);
961 }
962
963
964 void
965 pool_set_languages(Pool *pool, const char **languages, int nlanguages)
966 {
967   int i;
968
969   pool->languagecache = sat_free(pool->languagecache);
970   pool->languagecacheother = 0;
971   if (pool->nlanguages)
972     {
973       for (i = 0; i < pool->nlanguages; i++)
974         free((char *)pool->languages[i]);
975       free(pool->languages);
976     }
977   pool->nlanguages = nlanguages;
978   if (!nlanguages)
979     return;
980   pool->languages = sat_calloc(nlanguages, sizeof(const char **));
981   for (i = 0; i < pool->nlanguages; i++)
982     pool->languages[i] = strdup(languages[i]);
983 }
984
985 char *
986 pool_alloctmpspace(Pool *pool, int len)
987 {
988   int n = pool->tmpspacen;
989   if (!len)
990     return 0;
991   if (len > pool->tmpspacelen[n])
992     {
993       pool->tmpspacebuf[n] = sat_realloc(pool->tmpspacebuf[n], len + 32);
994       pool->tmpspacelen[n] = len + 32;
995     }
996   pool->tmpspacen = (n + 1) % POOL_TMPSPACEBUF;
997   return pool->tmpspacebuf[n];
998 }
999
1000 /*******************************************************************/
1001
1002 struct mptree {
1003   Id sibling;
1004   Id child;
1005   const char *comp;
1006   int compl;
1007   Id mountpoint;
1008 };
1009
1010 struct ducbdata {
1011   DUChanges *mps;
1012   struct mptree *mptree;
1013   int addsub;
1014   int hasdu;
1015
1016   Id *dirmap;
1017   int nmap;
1018   Repodata *olddata;
1019 };
1020
1021
1022 static int
1023 solver_fill_DU_cb(void *cbdata, Solvable *s, Repodata *data, Repokey *key, KeyValue *value)
1024 {
1025   struct ducbdata *cbd = cbdata;
1026   Id mp;
1027
1028   if (data != cbd->olddata)
1029     {
1030       Id dn, mp, comp, *dirmap, *dirs;
1031       int i, compl;
1032       const char *compstr;
1033       struct mptree *mptree;
1034
1035       /* create map from dir to mptree */
1036       cbd->dirmap = sat_free(cbd->dirmap);
1037       cbd->nmap = 0;
1038       dirmap = sat_calloc(data->dirpool.ndirs, sizeof(Id));
1039       mptree = cbd->mptree;
1040       mp = 0;
1041       for (dn = 2, dirs = data->dirpool.dirs + dn; dn < data->dirpool.ndirs; dn++)
1042         {
1043           comp = *dirs++;
1044           if (comp <= 0)
1045             {
1046               mp = dirmap[-comp];
1047               continue;
1048             }
1049           if (mp < 0)
1050             {
1051               /* unconnected */
1052               dirmap[dn] = mp;
1053               continue;
1054             }
1055           if (!mptree[mp].child)
1056             {
1057               dirmap[dn] = -mp;
1058               continue;
1059             }
1060           if (data->localpool)
1061             compstr = stringpool_id2str(&data->spool, comp);
1062           else
1063             compstr = id2str(data->repo->pool, comp);
1064           compl = strlen(compstr);
1065           for (i = mptree[mp].child; i; i = mptree[i].sibling)
1066             if (mptree[i].compl == compl && !strncmp(mptree[i].comp, compstr, compl))
1067               break;
1068           dirmap[dn] = i ? i : -mp;
1069         }
1070       /* change dirmap to point to mountpoint instead of mptree */
1071       for (dn = 0; dn < data->dirpool.ndirs; dn++)
1072         {
1073           mp = dirmap[dn];
1074           dirmap[dn] = mptree[mp > 0 ? mp : -mp].mountpoint;
1075         }
1076       cbd->dirmap = dirmap;
1077       cbd->nmap = data->dirpool.ndirs;
1078       cbd->olddata = data;
1079     }
1080   cbd->hasdu = 1;
1081   if (value->id < 0 || value->id >= cbd->nmap)
1082     return 0;
1083   mp = cbd->dirmap[value->id];
1084   if (mp < 0)
1085     return 0;
1086   if (cbd->addsub > 0)
1087     {
1088       cbd->mps[mp].kbytes += value->num;
1089       cbd->mps[mp].files += value->num2;
1090     }
1091   else
1092     {
1093       cbd->mps[mp].kbytes -= value->num;
1094       cbd->mps[mp].files -= value->num2;
1095     }
1096   return 0;
1097 }
1098
1099 static void
1100 propagate_mountpoints(struct mptree *mptree, int pos, Id mountpoint)
1101 {
1102   int i;
1103   if (mptree[pos].mountpoint == -1)
1104     mptree[pos].mountpoint = mountpoint;
1105   else
1106     mountpoint = mptree[pos].mountpoint;
1107   for (i = mptree[pos].child; i; i = mptree[i].sibling)
1108     propagate_mountpoints(mptree, i, mountpoint);
1109 }
1110
1111 #define MPTREE_BLOCK 15
1112
1113 void
1114 pool_calc_duchanges(Pool *pool, Repo *oldinstalled, Map *installedmap, DUChanges *mps, int nmps)
1115 {
1116   char *p;
1117   const char *path, *compstr;
1118   struct mptree *mptree;
1119   int i, nmptree;
1120   int pos, compl;
1121   int mp;
1122   struct ducbdata cbd;
1123   Solvable *s;
1124   Id sp;
1125   Map ignoredu;
1126
1127   memset(&ignoredu, 0, sizeof(ignoredu));
1128   cbd.mps = mps;
1129   cbd.addsub = 0;
1130   cbd.dirmap = 0;
1131   cbd.nmap = 0;
1132   cbd.olddata = 0;
1133
1134   mptree = sat_extend_resize(0, 1, sizeof(struct mptree), MPTREE_BLOCK);
1135
1136   /* our root node */
1137   mptree[0].sibling = 0;
1138   mptree[0].child = 0;
1139   mptree[0].comp = 0;
1140   mptree[0].compl = 0;
1141   mptree[0].mountpoint = -1;
1142   nmptree = 1;
1143   
1144   /* create component tree */
1145   for (mp = 0; mp < nmps; mp++)
1146     {
1147       mps[mp].kbytes = 0;
1148       mps[mp].files = 0;
1149       pos = 0;
1150       path = mps[mp].path;
1151       while(*path == '/')
1152         path++;
1153       while (*path)
1154         {
1155           if ((p = strchr(path, '/')) == 0)
1156             {
1157               compstr = path;
1158               compl = strlen(compstr);
1159               path += compl;
1160             }
1161           else
1162             {
1163               compstr = path;
1164               compl = p - path;
1165               path = p + 1;
1166               while(*path == '/')
1167                 path++;
1168             }
1169           for (i = mptree[pos].child; i; i = mptree[i].sibling)
1170             if (mptree[i].compl == compl && !strncmp(mptree[i].comp, compstr, compl))
1171               break;
1172           if (!i)
1173             {
1174               /* create new node */
1175               mptree = sat_extend(mptree, nmptree, 1, sizeof(struct mptree), MPTREE_BLOCK);
1176               i = nmptree++;
1177               mptree[i].sibling = mptree[pos].child;
1178               mptree[i].child = 0;
1179               mptree[i].comp = compstr;
1180               mptree[i].compl = compl;
1181               mptree[i].mountpoint = -1;
1182               mptree[pos].child = i;
1183             }
1184           pos = i;
1185         }
1186       mptree[pos].mountpoint = mp;
1187     }
1188
1189   propagate_mountpoints(mptree, 0, mptree[0].mountpoint);
1190
1191 #if 0
1192   for (i = 0; i < nmptree; i++)
1193     {
1194       printf("#%d sibling: %d\n", i, mptree[i].sibling);
1195       printf("#%d child: %d\n", i, mptree[i].child);
1196       printf("#%d comp: %s\n", i, mptree[i].comp);
1197       printf("#%d compl: %d\n", i, mptree[i].compl);
1198       printf("#%d mountpont: %d\n", i, mptree[i].mountpoint);
1199     }
1200 #endif
1201
1202   cbd.mptree = mptree;
1203   cbd.addsub = 1;
1204   for (sp = 1, s = pool->solvables + sp; sp < pool->nsolvables; sp++, s++)
1205     {
1206       if (!s->repo || (oldinstalled && s->repo == oldinstalled))
1207         continue;
1208       if (!MAPTST(installedmap, sp))
1209         continue;
1210       cbd.hasdu = 0;
1211       repo_search(s->repo, sp, SOLVABLE_DISKUSAGE, 0, 0, solver_fill_DU_cb, &cbd);
1212       if (!cbd.hasdu && oldinstalled)
1213         {
1214           Id op, *opp;
1215           /* no du data available, ignore data of all installed solvables we obsolete */
1216           if (!ignoredu.map)
1217             map_init(&ignoredu, oldinstalled->end - oldinstalled->start);
1218           if (s->obsoletes)
1219             {
1220               Id obs, *obsp = s->repo->idarraydata + s->obsoletes;
1221               while ((obs = *obsp++) != 0)
1222                 FOR_PROVIDES(op, opp, obs)
1223                   if (op >= oldinstalled->start && op < oldinstalled->end)
1224                     MAPSET(&ignoredu, op - oldinstalled->start);
1225             }
1226           FOR_PROVIDES(op, opp, s->name)
1227             if (pool->solvables[op].name == s->name)
1228               if (op >= oldinstalled->start && op < oldinstalled->end)
1229                 MAPSET(&ignoredu, op - oldinstalled->start);
1230         }
1231     }
1232   cbd.addsub = -1;
1233   if (oldinstalled)
1234     {
1235       /* assumes we allways have du data for installed solvables */
1236       FOR_REPO_SOLVABLES(oldinstalled, sp, s)
1237         {
1238           if (MAPTST(installedmap, sp))
1239             continue;
1240           if (ignoredu.map && MAPTST(&ignoredu, sp - oldinstalled->start))
1241             continue;
1242           repo_search(oldinstalled, sp, SOLVABLE_DISKUSAGE, 0, 0, solver_fill_DU_cb, &cbd);
1243         }
1244     }
1245   if (ignoredu.map)
1246     map_free(&ignoredu);
1247   sat_free(cbd.dirmap);
1248   sat_free(mptree);
1249 }
1250
1251 int
1252 pool_calc_installsizechange(Pool *pool, Repo *oldinstalled, Map *installedmap)
1253 {
1254   Id sp;
1255   Solvable *s;
1256   int change = 0;
1257
1258   for (sp = 1, s = pool->solvables + sp; sp < pool->nsolvables; sp++, s++)
1259     {
1260       if (!s->repo || (oldinstalled && s->repo == oldinstalled))
1261         continue;
1262       if (!MAPTST(installedmap, sp))
1263         continue;
1264       change += repo_lookup_num(s, SOLVABLE_INSTALLSIZE);
1265     }
1266   if (oldinstalled)
1267     {
1268       FOR_REPO_SOLVABLES(oldinstalled, sp, s)
1269         {
1270           if (MAPTST(installedmap, sp))
1271             continue;
1272           change -= repo_lookup_num(s, SOLVABLE_INSTALLSIZE);
1273         }
1274     }
1275   return change;
1276 }
1277
1278 /* map:
1279  *  1: installed
1280  *  2: conflicts with installed
1281  *  8: interesting (only true if installed)
1282  * 16: undecided
1283  */
1284  
1285 static inline Id dep2name(Pool *pool, Id dep)
1286 {
1287   while (ISRELDEP(dep))
1288     {
1289       Reldep *rd = rd = GETRELDEP(pool, dep);
1290       dep = rd->name;
1291     }
1292   return dep;
1293 }
1294
1295 static inline int providedbyinstalled(Pool *pool, unsigned char *map, Id dep)
1296 {
1297   Id p, *pp;
1298   int r = 0;
1299   FOR_PROVIDES(p, pp, dep)
1300     {
1301       if (p == SYSTEMSOLVABLE)
1302         return 1;       /* always boring, as never constraining */
1303       if ((map[p] & 9) == 9)
1304         return 9;
1305       r |= map[p] & 17;
1306     }
1307   return r;
1308 }
1309
1310 /*
1311  * pool_trivial_installable - calculate if a set of solvables is
1312  * trivial installable without any other installs/deinstalls of
1313  * packages not belonging to the set.
1314  *
1315  * the state is returned in the result queue:
1316  * 1:  solvable is installable without any other package changes
1317  * 0:  solvable is not installable
1318  * -1: solvable is installable, but doesn't constrain any installed packages
1319  */
1320
1321 void
1322 pool_trivial_installable(Pool *pool, Repo *oldinstalled, Map *installedmap, Queue *pkgs, Queue *res)
1323 {
1324   int i, r, m, did;
1325   Id p, *dp, con, *conp, req, *reqp, obs, *obsp, *pp;
1326   unsigned char *map;
1327   Solvable *s;
1328
1329   map = sat_calloc(pool->nsolvables, 1);
1330   for (p = 0; p < pool->nsolvables; p++)
1331     {
1332       if (!MAPTST(installedmap, p))
1333         continue;
1334       map[p] |= 9;
1335       s = pool->solvables + p;
1336       if (!s->conflicts)
1337         continue;
1338       conp = s->repo->idarraydata + s->conflicts;
1339       while ((con = *conp++) != 0)
1340         {
1341           dp = pool_whatprovides(pool, con);
1342           for (; *dp; dp++)
1343             map[p] |= 2;        /* XXX: self conflict ? */
1344         }
1345     }
1346   for (i = 0; i < pkgs->count; i++)
1347     map[pkgs->elements[i]] = 16;
1348
1349   for (i = 0, did = 0; did < pkgs->count; i++, did++)
1350     {
1351       if (i == pkgs->count)
1352         i = 0;
1353       p = pkgs->elements[i];
1354       if ((map[p] & 16) == 0)
1355         continue;
1356       if ((map[p] & 2) != 0)
1357         {
1358           map[p] = 2;
1359           continue;
1360         }
1361       s = pool->solvables + p;
1362       m = 1;
1363       if (s->requires)
1364         {
1365           reqp = s->repo->idarraydata + s->requires;
1366           while ((req = *reqp++) != 0)
1367             {
1368               if (req == SOLVABLE_PREREQMARKER)
1369                 continue;
1370               r = providedbyinstalled(pool, map, req);
1371               if (!r)
1372                 {
1373                   /* decided and miss */
1374                   map[p] = 2;
1375                   break;
1376                 }
1377               m |= r;   /* 1 | 9 | 16 | 17 */
1378             }
1379           if (req)
1380             continue;
1381           if ((m & 9) == 9)
1382             m = 9;
1383         }
1384       if (s->conflicts)
1385         {
1386           conp = s->repo->idarraydata + s->conflicts;
1387           while ((con = *conp++) != 0)
1388             {
1389               if ((providedbyinstalled(pool, map, con) & 1) != 0)
1390                 {
1391                   map[p] = 2;
1392                   break;
1393                 }
1394               if ((m == 1 || m == 17) && ISRELDEP(con))
1395                 {
1396                   con = dep2name(pool, con);
1397                   if ((providedbyinstalled(pool, map, con) & 1) != 0)
1398                     m = 9;
1399                 }
1400             }
1401           if (con)
1402             continue;   /* found a conflict */
1403         }
1404       if (s->repo && s->repo != oldinstalled)
1405         {
1406           Id p2;
1407           Solvable *s2;
1408           if (s->obsoletes)
1409             {
1410               obsp = s->repo->idarraydata + s->obsoletes;
1411               while ((obs = *obsp++) != 0)
1412                 {
1413                   if ((providedbyinstalled(pool, map, obs) & 1) != 0)
1414                     {
1415                       map[p] = 2;
1416                       break;
1417                     }
1418                 }
1419               if (obs)
1420                 continue;
1421             }
1422           FOR_PROVIDES(p2, pp, s->name)
1423             {
1424               s2 = pool->solvables + p2;
1425               if (s2->name == s->name && (map[p2] & 1) != 0)
1426                 {
1427                   map[p] = 2;
1428                   break;
1429                 }
1430             }
1431           if (p2)
1432             continue;
1433         }
1434       if (m != map[p])
1435         {
1436           map[p] = m;
1437           did = 0;
1438         }
1439     }
1440   queue_free(res);
1441   queue_clone(res, pkgs);
1442   for (i = 0; i < pkgs->count; i++)
1443     {
1444       m = map[pkgs->elements[i]];
1445       if ((m & 9) == 9)
1446         r = 1;
1447       else if (m & 1)
1448         r = -1;
1449       else
1450         r = 0;
1451       res->elements[i] = r;
1452     }
1453   free(map);
1454 }
1455
1456 // EOF