split ugly pubkey handling into separate repo_rpmdb_pubkey.c
[platform/upstream/libsolv.git] / examples / solv.c
1 /*
2  * Copyright (c) 2009-2013, Novell Inc.
3  *
4  * This program is licensed under the BSD license, read LICENSE.BSD
5  * for further information
6  */
7
8 /* solv, a little software installer demoing the sat solver library */
9
10 /* things it does:
11  * - understands globs for package names / dependencies
12  * - understands .arch suffix
13  * - installation of commandline packages
14  * - repository data caching
15  * - on demand loading of secondary repository data
16  * - gpg and checksum verification
17  * - file conflicts
18  * - deltarpm support
19  * - fastestmirror implementation
20  *
21  * things available in the library but missing from solv:
22  * - vendor policy loading
23  * - soft locks file handling
24  * - multi version handling
25  */
26
27 #define _GNU_SOURCE
28
29 #include <stdio.h>
30 #include <stdlib.h>
31 #include <dirent.h>
32 #include <fnmatch.h>
33 #include <unistd.h>
34 #include <zlib.h>
35 #include <fcntl.h>
36 #include <assert.h>
37 #include <sys/utsname.h>
38 #include <sys/types.h>
39 #include <sys/wait.h>
40 #include <time.h>
41 #include <sys/time.h>
42 #include <sys/dir.h>
43 #include <sys/stat.h>
44
45 #include <sys/socket.h>
46 #include <netdb.h>
47 #include <poll.h>
48 #include <errno.h>
49
50 #include "pool.h"
51 #include "poolarch.h"
52 #include "repo.h"
53 #include "evr.h"
54 #include "policy.h"
55 #include "util.h"
56 #include "solver.h"
57 #include "solverdebug.h"
58 #include "chksum.h"
59 #include "repo_solv.h"
60 #include "selection.h"
61
62 #include "repo_write.h"
63 #ifdef ENABLE_RPMDB
64 #include "repo_rpmdb.h"
65 #include "pool_fileconflicts.h"
66 #endif
67 #ifdef ENABLE_RPMDB_PUBKEY
68 #include "repo_rpmdb_pubkey.h"
69 #endif
70 #ifdef ENABLE_DEBIAN
71 #include "repo_deb.h"
72 #endif
73 #ifdef ENABLE_RPMMD
74 #include "repo_rpmmd.h"
75 #include "repo_repomdxml.h"
76 #include "repo_updateinfoxml.h"
77 #include "repo_deltainfoxml.h"
78 #endif
79 #ifdef ENABLE_SUSEREPO
80 #include "repo_products.h"
81 #include "repo_susetags.h"
82 #include "repo_content.h"
83 #endif
84 #include "solv_xfopen.h"
85
86 #ifdef FEDORA
87 # define REPOINFO_PATH "/etc/yum.repos.d"
88 #endif
89 #ifdef SUSE
90 # define REPOINFO_PATH "/etc/zypp/repos.d"
91 # define PRODUCTS_PATH "/etc/products.d"
92 # define SOFTLOCKS_PATH "/var/lib/zypp/SoftLocks"
93 #endif
94
95 #define SOLVCACHE_PATH "/var/cache/solv"
96
97 #define METADATA_EXPIRE (60 * 15)
98
99 struct repoinfo {
100   Repo *repo;
101
102   char *alias;
103   char *name;
104   int enabled;
105   int autorefresh;
106   char *baseurl;
107   char *metalink;
108   char *mirrorlist;
109   char *path;
110   int type;
111   int pkgs_gpgcheck;
112   int repo_gpgcheck;
113   int priority;
114   int keeppackages;
115   int metadata_expire;
116   char **components;
117   int ncomponents;
118
119   unsigned char cookie[32];
120   unsigned char extcookie[32];
121   int incomplete;
122 };
123
124 #ifdef FEDORA
125 char *
126 yum_substitute(Pool *pool, char *line)
127 {
128   char *p, *p2;
129   static char *releaseevr;
130   static char *basearch;
131
132   if (!line)
133     {
134       solv_free(releaseevr);
135       releaseevr = 0;
136       solv_free(basearch);
137       basearch = 0;
138       return 0;
139     }
140   p = line;
141   while ((p2 = strchr(p, '$')) != 0)
142     {
143       if (!strncmp(p2, "$releasever", 11))
144         {
145           if (!releaseevr)
146             {
147               void *rpmstate;
148               Queue q;
149         
150               queue_init(&q);
151               rpmstate = rpm_state_create(pool, pool_get_rootdir(pool));
152               rpm_installedrpmdbids(rpmstate, "Providename", "redhat-release", &q);
153               if (q.count)
154                 {
155                   void *handle;
156                   char *p;
157                   handle = rpm_byrpmdbid(rpmstate, q.elements[0]);
158                   releaseevr = handle ? rpm_query(handle, SOLVABLE_EVR) : 0;
159                   if (releaseevr && (p = strchr(releaseevr, '-')) != 0)
160                     *p = 0;
161                 }
162               rpm_state_free(rpmstate);
163               queue_free(&q);
164               if (!releaseevr)
165                 {
166                   fprintf(stderr, "no installed package provides 'redhat-release', cannot determine $releasever\n");
167                   exit(1);
168                 }
169             }
170           *p2 = 0;
171           p = pool_tmpjoin(pool, line, releaseevr, p2 + 11);
172           p2 = p + (p2 - line);
173           line = p;
174           p = p2 + strlen(releaseevr);
175           continue;
176         }
177       if (!strncmp(p2, "$basearch", 9))
178         {
179           if (!basearch)
180             {
181               struct utsname un;
182               if (uname(&un))
183                 {
184                   perror("uname");
185                   exit(1);
186                 }
187               basearch = strdup(un.machine);
188               if (basearch[0] == 'i' && basearch[1] && !strcmp(basearch + 2, "86"))
189                 basearch[1] = '3';
190             }
191           *p2 = 0;
192           p = pool_tmpjoin(pool, line, basearch, p2 + 9);
193           p2 = p + (p2 - line);
194           line = p;
195           p = p2 + strlen(basearch);
196           continue;
197         }
198       p = p2 + 1;
199     }
200   return line;
201 }
202 #endif
203
204 #define TYPE_UNKNOWN    0
205 #define TYPE_SUSETAGS   1
206 #define TYPE_RPMMD      2
207 #define TYPE_PLAINDIR   3
208 #define TYPE_DEBIAN     4
209
210 #ifndef NOSYSTEM
211 static int
212 read_repoinfos_sort(const void *ap, const void *bp)
213 {
214   const struct repoinfo *a = ap;
215   const struct repoinfo *b = bp;
216   return strcmp(a->alias, b->alias);
217 }
218 #endif
219
220 #if defined(SUSE) || defined(FEDORA)
221
222 struct repoinfo *
223 read_repoinfos(Pool *pool, int *nrepoinfosp)
224 {
225   const char *reposdir = REPOINFO_PATH;
226   char buf[4096];
227   char buf2[4096], *kp, *vp, *kpe;
228   DIR *dir;
229   FILE *fp;
230   struct dirent *ent;
231   int l, rdlen;
232   struct repoinfo *repoinfos = 0, *cinfo;
233   int nrepoinfos = 0;
234
235   rdlen = strlen(reposdir);
236   dir = opendir(reposdir);
237   if (!dir)
238     {
239       *nrepoinfosp = 0;
240       return 0;
241     }
242   while ((ent = readdir(dir)) != 0)
243     {
244       if (ent->d_name[0] == '.')
245         continue;
246       l = strlen(ent->d_name);
247       if (l < 6 || rdlen + 2 + l >= sizeof(buf) || strcmp(ent->d_name + l - 5, ".repo") != 0)
248         continue;
249       snprintf(buf, sizeof(buf), "%s/%s", reposdir, ent->d_name);
250       if ((fp = fopen(buf, "r")) == 0)
251         {
252           perror(buf);
253           continue;
254         }
255       cinfo = 0;
256       while(fgets(buf2, sizeof(buf2), fp))
257         {
258           l = strlen(buf2);
259           if (l == 0)
260             continue;
261           while (l && (buf2[l - 1] == '\n' || buf2[l - 1] == ' ' || buf2[l - 1] == '\t'))
262             buf2[--l] = 0;
263           kp = buf2;
264           while (*kp == ' ' || *kp == '\t')
265             kp++;
266           if (!*kp || *kp == '#')
267             continue;
268 #ifdef FEDORA
269           if (strchr(kp, '$'))
270             kp = yum_substitute(pool, kp);
271 #endif
272           if (*kp == '[')
273             {
274               vp = strrchr(kp, ']');
275               if (!vp)
276                 continue;
277               *vp = 0;
278               repoinfos = solv_extend(repoinfos, nrepoinfos, 1, sizeof(*repoinfos), 15);
279               cinfo = repoinfos + nrepoinfos++;
280               memset(cinfo, 0, sizeof(*cinfo));
281               cinfo->alias = strdup(kp + 1);
282               cinfo->type = TYPE_RPMMD;
283               cinfo->autorefresh = 1;
284               cinfo->priority = 99;
285 #ifndef FEDORA
286               cinfo->repo_gpgcheck = 1;
287 #endif
288               cinfo->metadata_expire = METADATA_EXPIRE;
289               continue;
290             }
291           if (!cinfo)
292             continue;
293           vp = strchr(kp, '=');
294           if (!vp)
295             continue;
296           for (kpe = vp - 1; kpe >= kp; kpe--)
297             if (*kpe != ' ' && *kpe != '\t')
298               break;
299           if (kpe == kp)
300             continue;
301           vp++;
302           while (*vp == ' ' || *vp == '\t')
303             vp++;
304           kpe[1] = 0;
305           if (!strcmp(kp, "name"))
306             cinfo->name = strdup(vp);
307           else if (!strcmp(kp, "enabled"))
308             cinfo->enabled = *vp == '0' ? 0 : 1;
309           else if (!strcmp(kp, "autorefresh"))
310             cinfo->autorefresh = *vp == '0' ? 0 : 1;
311           else if (!strcmp(kp, "gpgcheck"))
312             cinfo->pkgs_gpgcheck = *vp == '0' ? 0 : 1;
313           else if (!strcmp(kp, "repo_gpgcheck"))
314             cinfo->repo_gpgcheck = *vp == '0' ? 0 : 1;
315           else if (!strcmp(kp, "baseurl"))
316             cinfo->baseurl = strdup(vp);
317           else if (!strcmp(kp, "mirrorlist"))
318             {
319               if (strstr(vp, "metalink"))
320                 cinfo->metalink = strdup(vp);
321               else
322                 cinfo->mirrorlist = strdup(vp);
323             }
324           else if (!strcmp(kp, "path"))
325             {
326               if (vp && strcmp(vp, "/") != 0)
327                 cinfo->path = strdup(vp);
328             }
329           else if (!strcmp(kp, "type"))
330             {
331               if (!strcmp(vp, "yast2"))
332                 cinfo->type = TYPE_SUSETAGS;
333               else if (!strcmp(vp, "rpm-md"))
334                 cinfo->type = TYPE_RPMMD;
335               else if (!strcmp(vp, "plaindir"))
336                 cinfo->type = TYPE_PLAINDIR;
337               else
338                 cinfo->type = TYPE_UNKNOWN;
339             }
340           else if (!strcmp(kp, "priority"))
341             cinfo->priority = atoi(vp);
342           else if (!strcmp(kp, "keeppackages"))
343             cinfo->keeppackages = *vp == '0' ? 0 : 1;
344         }
345       fclose(fp);
346       cinfo = 0;
347     }
348   closedir(dir);
349   qsort(repoinfos, nrepoinfos, sizeof(*repoinfos), read_repoinfos_sort);
350   *nrepoinfosp = nrepoinfos;
351   return repoinfos;
352 }
353
354 #endif
355
356 #ifdef DEBIAN
357
358 struct repoinfo *
359 read_repoinfos(Pool *pool, int *nrepoinfosp)
360 {
361   FILE *fp;
362   char buf[4096];
363   char buf2[4096];
364   int l;
365   char *kp, *url, *distro;
366   struct repoinfo *repoinfos = 0, *cinfo;
367   int nrepoinfos = 0;
368   DIR *dir = 0;
369   struct dirent *ent;
370
371   fp = fopen("/etc/apt/sources.list", "r");
372   while (1)
373     {
374       if (!fp)
375         {
376           if (!dir)
377             {
378               dir = opendir("/etc/apt/sources.list.d");
379               if (!dir)
380                 break;
381             }
382           if ((ent = readdir(dir)) == 0)
383             {
384               closedir(dir);
385               break;
386             }
387           if (ent->d_name[0] == '.')
388             continue;
389           l = strlen(ent->d_name);
390           if (l < 5 || strcmp(ent->d_name + l - 5, ".list") != 0)
391             continue;
392           snprintf(buf, sizeof(buf), "%s/%s", "/etc/apt/sources.list.d", ent->d_name);
393           if (!(fp = fopen(buf, "r")))
394             continue;
395         }
396       while(fgets(buf2, sizeof(buf2), fp))
397         {
398           l = strlen(buf2);
399           if (l == 0)
400             continue;
401           while (l && (buf2[l - 1] == '\n' || buf2[l - 1] == ' ' || buf2[l - 1] == '\t'))
402             buf2[--l] = 0;
403           kp = buf2;
404           while (*kp == ' ' || *kp == '\t')
405             kp++;
406           if (!*kp || *kp == '#')
407             continue;
408           if (strncmp(kp, "deb", 3) != 0)
409             continue;
410           kp += 3;
411           if (*kp != ' ' && *kp != '\t')
412             continue;
413           while (*kp == ' ' || *kp == '\t')
414             kp++;
415           if (!*kp)
416             continue;
417           url = kp;
418           while (*kp && *kp != ' ' && *kp != '\t')
419             kp++;
420           if (*kp)
421             *kp++ = 0;
422           while (*kp == ' ' || *kp == '\t')
423             kp++;
424           if (!*kp)
425             continue;
426           distro = kp;
427           while (*kp && *kp != ' ' && *kp != '\t')
428             kp++;
429           if (*kp)
430             *kp++ = 0;
431           while (*kp == ' ' || *kp == '\t')
432             kp++;
433           if (!*kp)
434             continue;
435           repoinfos = solv_extend(repoinfos, nrepoinfos, 1, sizeof(*repoinfos), 15);
436           cinfo = repoinfos + nrepoinfos++;
437           memset(cinfo, 0, sizeof(*cinfo));
438           cinfo->baseurl = strdup(url);
439           cinfo->alias = solv_dupjoin(url, "/", distro);
440           cinfo->name = strdup(distro);
441           cinfo->type = TYPE_DEBIAN;
442           cinfo->enabled = 1;
443           cinfo->autorefresh = 1;
444           cinfo->repo_gpgcheck = 1;
445           cinfo->metadata_expire = METADATA_EXPIRE;
446           while (*kp)
447             {
448               char *compo;
449               while (*kp == ' ' || *kp == '\t')
450                 kp++;
451               if (!*kp)
452                 break;
453               compo = kp;
454               while (*kp && *kp != ' ' && *kp != '\t')
455                 kp++;
456               if (*kp)
457                 *kp++ = 0;
458               cinfo->components = solv_extend(cinfo->components, cinfo->ncomponents, 1, sizeof(*cinfo->components), 15);
459               cinfo->components[cinfo->ncomponents++] = strdup(compo);
460             }
461         }
462       fclose(fp);
463       fp = 0;
464     }
465   qsort(repoinfos, nrepoinfos, sizeof(*repoinfos), read_repoinfos_sort);
466   *nrepoinfosp = nrepoinfos;
467   return repoinfos;
468 }
469
470 #endif
471
472 #ifdef NOSYSTEM
473 struct repoinfo *
474 read_repoinfos(Pool *pool, int *nrepoinfosp)
475 {
476   *nrepoinfosp = 0;
477   return 0;
478 }
479 #endif
480
481
482 void
483 free_repoinfos(struct repoinfo *repoinfos, int nrepoinfos)
484 {
485   int i, j;
486   for (i = 0; i < nrepoinfos; i++)
487     {
488       struct repoinfo *cinfo = repoinfos + i;
489       solv_free(cinfo->name);
490       solv_free(cinfo->alias);
491       solv_free(cinfo->path);
492       solv_free(cinfo->metalink);
493       solv_free(cinfo->mirrorlist);
494       solv_free(cinfo->baseurl);
495       for (j = 0; j < cinfo->ncomponents; j++)
496         solv_free(cinfo->components[j]);
497       solv_free(cinfo->components);
498     }
499   solv_free(repoinfos);
500 }
501
502 static inline int
503 opentmpfile()
504 {
505   char tmpl[100];
506   int fd;
507
508   strcpy(tmpl, "/var/tmp/solvXXXXXX");
509   fd = mkstemp(tmpl);
510   if (fd < 0)
511     {
512       perror("mkstemp");
513       exit(1);
514     }
515   unlink(tmpl);
516   return fd;
517 }
518
519 static int
520 verify_checksum(int fd, const char *file, const unsigned char *chksum, Id chksumtype)
521 {
522   char buf[1024];
523   const unsigned char *sum;
524   void *h;
525   int l;
526
527   h = solv_chksum_create(chksumtype);
528   if (!h)
529     {
530       printf("%s: unknown checksum type\n", file);
531       return 0;
532     }
533   while ((l = read(fd, buf, sizeof(buf))) > 0)
534     solv_chksum_add(h, buf, l);
535   lseek(fd, 0, SEEK_SET);
536   l = 0;
537   sum = solv_chksum_get(h, &l);
538   if (memcmp(sum, chksum, l))
539     {
540       printf("%s: checksum mismatch\n", file);
541       solv_chksum_free(h, 0);
542       return 0;
543     }
544   solv_chksum_free(h, 0);
545   return 1;
546 }
547
548 void
549 findfastest(char **urls, int nurls)
550 {
551   int i, j, port;
552   int *socks, qc;
553   struct pollfd *fds;
554   char *p, *p2, *q;
555   char portstr[16];
556   struct addrinfo hints, *result;;
557
558   fds = solv_calloc(nurls, sizeof(*fds));
559   socks = solv_calloc(nurls, sizeof(*socks));
560   for (i = 0; i < nurls; i++)
561     {
562       socks[i] = -1;
563       p = strchr(urls[i], '/');
564       if (!p)
565         continue;
566       if (p[1] != '/')
567         continue;
568       p += 2;
569       q = strchr(p, '/');
570       qc = 0;
571       if (q)
572         {
573           qc = *q;
574           *q = 0;
575         }
576       if ((p2 = strchr(p, '@')) != 0)
577         p = p2 + 1;
578       port = 80;
579       if (!strncmp("https:", urls[i], 6))
580         port = 443;
581       else if (!strncmp("ftp:", urls[i], 4))
582         port = 21;
583       if ((p2 = strrchr(p, ':')) != 0)
584         {
585           port = atoi(p2 + 1);
586           if (q)
587             *q = qc;
588           q = p2;
589           qc = *q;
590           *q = 0;
591         }
592       sprintf(portstr, "%d", port);
593       memset(&hints, 0, sizeof(struct addrinfo));
594       hints.ai_family = AF_UNSPEC;
595       hints.ai_socktype = SOCK_STREAM;
596       hints.ai_flags = AI_NUMERICSERV;
597       result = 0;
598       if (!getaddrinfo(p, portstr, &hints, &result))
599         {
600           socks[i] = socket(result->ai_family, result->ai_socktype, result->ai_protocol);
601           if (socks[i] >= 0)
602             {
603               fcntl(socks[i], F_SETFL, O_NONBLOCK);
604               if (connect(socks[i], result->ai_addr, result->ai_addrlen) == -1)
605                 {
606                   if (errno != EINPROGRESS)
607                     {
608                       close(socks[i]);
609                       socks[i] = -1;
610                     }
611                 }
612             }
613           freeaddrinfo(result);
614         }
615       if (q)
616         *q = qc;
617     }
618   for (;;)
619     {
620       for (i = j = 0; i < nurls; i++)
621         {
622           if (socks[i] < 0)
623             continue;
624           fds[j].fd = socks[i];
625           fds[j].events = POLLOUT;
626           j++;
627         }
628       if (j < 2)
629         {
630           i = j - 1;
631           break;
632         }
633       if (poll(fds, j, 10000) <= 0)
634         {
635           i = -1;       /* something is wrong */
636           break;
637         }
638       for (i = 0; i < j; i++)
639         if ((fds[i].revents & POLLOUT) != 0)
640           {
641             int soe = 0;
642             socklen_t soel = sizeof(int);
643             if (getsockopt(fds[i].fd, SOL_SOCKET, SO_ERROR, &soe, &soel) == -1 || soe != 0)
644               {
645                 /* connect failed, kill socket */
646                 for (j = 0; j < nurls; j++)
647                   if (socks[j] == fds[i].fd)
648                     {
649                       close(socks[j]);
650                       socks[j] = -1;
651                     }
652                 i = j + 1;
653                 break;
654               }
655             break;      /* horray! */
656           }
657       if (i == j + 1)
658         continue;
659       if (i == j)
660         i = -1;         /* something is wrong, no bit was set */
661       break;
662     }
663   /* now i contains the fastest fd index */
664   if (i >= 0)
665     {
666       for (j = 0; j < nurls; j++)
667         if (socks[j] == fds[i].fd)
668           break;
669       if (j != 0)
670         {
671           char *url0 = urls[0];
672           urls[0] = urls[j];
673           urls[j] = url0;
674         }
675     }
676   for (i = j = 0; i < nurls; i++)
677     if (socks[i] >= 0)
678       close(socks[i]);
679   free(socks);
680   free(fds);
681 }
682
683 char *
684 findmetalinkurl(FILE *fp, unsigned char *chksump, Id *chksumtypep)
685 {
686   char buf[4096], *bp, *ep;
687   char **urls = 0;
688   int nurls = 0;
689   int i;
690
691   if (chksumtypep)
692     *chksumtypep = 0;
693   while((bp = fgets(buf, sizeof(buf), fp)) != 0)
694     {
695       while (*bp == ' ' || *bp == '\t')
696         bp++;
697       if (chksumtypep && !*chksumtypep && !strncmp(bp, "<hash type=\"sha256\">", 20))
698         {
699           bp += 20;
700           if (solv_hex2bin((const char **)&bp, chksump, 32) == 32)
701             *chksumtypep = REPOKEY_TYPE_SHA256;
702           continue;
703         }
704       if (strncmp(bp, "<url", 4))
705         continue;
706       bp = strchr(bp, '>');
707       if (!bp)
708         continue;
709       bp++;
710       ep = strstr(bp, "repodata/repomd.xml</url>");
711       if (!ep)
712         continue;
713       *ep = 0;
714       if (strncmp(bp, "http", 4))
715         continue;
716       urls = solv_extend(urls, nurls, 1, sizeof(*urls), 15);
717       urls[nurls++] = strdup(bp);
718     }
719   if (nurls)
720     {
721       if (nurls > 1)
722         findfastest(urls, nurls > 5 ? 5 : nurls);
723       bp = urls[0];
724       urls[0] = 0;
725       for (i = 0; i < nurls; i++)
726         solv_free(urls[i]);
727       solv_free(urls);
728       ep = strchr(bp, '/');
729       if ((ep = strchr(ep + 2, '/')) != 0)
730         {
731           *ep = 0;
732           printf("[using mirror %s]\n", bp);
733           *ep = '/';
734         }
735       return bp;
736     }
737   return 0;
738 }
739
740 char *
741 findmirrorlisturl(FILE *fp)
742 {
743   char buf[4096], *bp, *ep;
744   int i, l;
745   char **urls = 0;
746   int nurls = 0;
747
748   while((bp = fgets(buf, sizeof(buf), fp)) != 0)
749     {
750       while (*bp == ' ' || *bp == '\t')
751         bp++;
752       if (!*bp || *bp == '#')
753         continue;
754       l = strlen(bp);
755       while (l > 0 && (bp[l - 1] == ' ' || bp[l - 1] == '\t' || bp[l - 1] == '\n'))
756         bp[--l] = 0;
757       urls = solv_extend(urls, nurls, 1, sizeof(*urls), 15);
758       urls[nurls++] = strdup(bp);
759     }
760   if (nurls)
761     {
762       if (nurls > 1)
763         findfastest(urls, nurls > 5 ? 5 : nurls);
764       bp = urls[0];
765       urls[0] = 0;
766       for (i = 0; i < nurls; i++)
767         solv_free(urls[i]);
768       solv_free(urls);
769       ep = strchr(bp, '/');
770       if ((ep = strchr(ep + 2, '/')) != 0)
771         {
772           *ep = 0;
773           printf("[using mirror %s]\n", bp);
774           *ep = '/';
775         }
776       return bp;
777     }
778   return 0;
779 }
780
781 static inline int
782 iscompressed(const char *name)
783 {
784   return solv_xfopen_iscompressed(name) != 0;
785 }
786
787 FILE *
788 curlfopen(struct repoinfo *cinfo, const char *file, int uncompress, const unsigned char *chksum, Id chksumtype, int markincomplete)
789 {
790   FILE *fp;
791   pid_t pid;
792   int fd, l;
793   int status;
794   char url[4096];
795   const char *baseurl = cinfo->baseurl;
796
797   if (!baseurl)
798     {
799       if (!cinfo->metalink && !cinfo->mirrorlist)
800         return 0;
801       if (file != cinfo->metalink && file != cinfo->mirrorlist)
802         {
803           unsigned char mlchksum[32];
804           Id mlchksumtype;
805           fp = curlfopen(cinfo, cinfo->metalink ? cinfo->metalink : cinfo->mirrorlist, 0, 0, 0, 0);
806           mlchksumtype = 0;
807           if (!fp)
808             return 0;
809           if (cinfo->metalink)
810             cinfo->baseurl = findmetalinkurl(fp, mlchksum, &mlchksumtype);
811           else
812             cinfo->baseurl = findmirrorlisturl(fp);
813           fclose(fp);
814           if (!cinfo->baseurl)
815             return 0;
816 #ifdef FEDORA
817           if (strchr(cinfo->baseurl, '$'))
818             {
819               char *b = yum_substitute(cinfo->repo->pool, cinfo->baseurl);
820               free(cinfo->baseurl);
821               cinfo->baseurl = strdup(b);
822             }
823 #endif
824           if (!chksumtype && mlchksumtype && !strcmp(file, "repodata/repomd.xml"))
825             {
826               chksumtype = mlchksumtype;
827               chksum = mlchksum;
828             }
829           return curlfopen(cinfo, file, uncompress, chksum, chksumtype, markincomplete);
830         }
831       snprintf(url, sizeof(url), "%s", file);
832     }
833   else
834     {
835       l = strlen(baseurl);
836       if (l && baseurl[l - 1] == '/')
837         snprintf(url, sizeof(url), "%s%s", baseurl, file);
838       else
839         snprintf(url, sizeof(url), "%s/%s", baseurl, file);
840     }
841   fd = opentmpfile();
842   // printf("url: %s\n", url);
843   if ((pid = fork()) == (pid_t)-1)
844     {
845       perror("fork");
846       exit(1);
847     }
848   if (pid == 0)
849     {
850       if (fd != 1)
851         {
852           dup2(fd, 1);
853           close(fd);
854         }
855       execlp("curl", "curl", "-f", "-s", "-L", url, (char *)0);
856       perror("curl");
857       _exit(0);
858     }
859   status = 0;
860   while (waitpid(pid, &status, 0) != pid)
861     ;
862   if (lseek(fd, 0, SEEK_END) == 0 && (!status || !chksumtype))
863     {
864       /* empty file */
865       close(fd);
866       return 0;
867     }
868   lseek(fd, 0, SEEK_SET);
869   if (status)
870     {
871       printf("%s: download error %d\n", file, status >> 8 ? status >> 8 : status);
872       if (markincomplete)
873         cinfo->incomplete = 1;
874       close(fd);
875       return 0;
876     }
877   if (chksumtype && !verify_checksum(fd, file, chksum, chksumtype))
878     {
879       if (markincomplete)
880         cinfo->incomplete = 1;
881       close(fd);
882       return 0;
883     }
884   fcntl(fd, F_SETFD, FD_CLOEXEC);
885   if (uncompress)
886     {
887       if (solv_xfopen_iscompressed(file) < 0)
888         {
889           printf("%s: unsupported compression\n", file);
890           if (markincomplete)
891             cinfo->incomplete = 1;
892           close(fd);
893           return 0;
894         }
895       fp = solv_xfopen_fd(file, fd, "r");
896     }
897   else
898     fp = fdopen(fd, "r");
899   if (!fp)
900     close(fd);
901   return fp;
902 }
903
904 #ifndef DEBIAN
905
906 static void
907 cleanupgpg(char *gpgdir)
908 {
909   char cmd[256];
910   snprintf(cmd, sizeof(cmd), "%s/pubring.gpg", gpgdir);
911   unlink(cmd);
912   snprintf(cmd, sizeof(cmd), "%s/pubring.gpg~", gpgdir);
913   unlink(cmd);
914   snprintf(cmd, sizeof(cmd), "%s/secring.gpg", gpgdir);
915   unlink(cmd);
916   snprintf(cmd, sizeof(cmd), "%s/trustdb.gpg", gpgdir);
917   unlink(cmd);
918   snprintf(cmd, sizeof(cmd), "%s/keys", gpgdir);
919   unlink(cmd);
920   rmdir(gpgdir);
921 }
922
923 int
924 checksig(Pool *sigpool, FILE *fp, FILE *sigfp)
925 {
926   char *gpgdir;
927   char *keysfile;
928   const char *pubkey;
929   char cmd[256];
930   FILE *kfp;
931   Solvable *s;
932   Id p;
933   off_t posfp, possigfp;
934   int r, nkeys;
935
936   gpgdir = mkdtemp(pool_tmpjoin(sigpool, "/var/tmp/solvgpg.XXXXXX", 0, 0));
937   if (!gpgdir)
938     return 0;
939   keysfile = pool_tmpjoin(sigpool, gpgdir, "/keys", 0);
940   if (!(kfp = fopen(keysfile, "w")) )
941     {
942       cleanupgpg(gpgdir);
943       return 0;
944     }
945   nkeys = 0;
946   for (p = 1, s = sigpool->solvables + p; p < sigpool->nsolvables; p++, s++)
947     {
948       if (!s->repo)
949         continue;
950       pubkey = solvable_lookup_str(s, SOLVABLE_DESCRIPTION);
951       if (!pubkey || !*pubkey)
952         continue;
953       if (fwrite(pubkey, strlen(pubkey), 1, kfp) != 1)
954         break;
955       if (fputc('\n', kfp) == EOF)      /* Just in case... */
956         break;
957       nkeys++;
958     }
959   if (fclose(kfp) || !nkeys)
960     {
961       cleanupgpg(gpgdir);
962       return 0;
963     }
964   snprintf(cmd, sizeof(cmd), "gpg2 -q --homedir %s --import %s", gpgdir, keysfile);
965   if (system(cmd))
966     {
967       fprintf(stderr, "key import error\n");
968       cleanupgpg(gpgdir);
969       return 0;
970     }
971   unlink(keysfile);
972   posfp = lseek(fileno(fp), 0, SEEK_CUR);
973   lseek(fileno(fp), 0, SEEK_SET);
974   possigfp = lseek(fileno(sigfp), 0, SEEK_CUR);
975   lseek(fileno(sigfp), 0, SEEK_SET);
976   snprintf(cmd, sizeof(cmd), "gpg -q --homedir %s --verify /dev/fd/%d /dev/fd/%d >/dev/null 2>&1", gpgdir, fileno(sigfp), fileno(fp));
977   fcntl(fileno(fp), F_SETFD, 0);        /* clear CLOEXEC */
978   fcntl(fileno(sigfp), F_SETFD, 0);     /* clear CLOEXEC */
979   r = system(cmd);
980   lseek(fileno(sigfp), possigfp, SEEK_SET);
981   lseek(fileno(fp), posfp, SEEK_SET);
982   fcntl(fileno(fp), F_SETFD, FD_CLOEXEC);
983   fcntl(fileno(sigfp), F_SETFD, FD_CLOEXEC);
984   cleanupgpg(gpgdir);
985   return r == 0 ? 1 : 0;
986 }
987
988 #else
989
990 static int
991 checksig(Pool *sigpool, FILE *fp, FILE *sigfp)
992 {
993   char cmd[256];
994   int r;
995
996   snprintf(cmd, sizeof(cmd), "gpgv -q --keyring /etc/apt/trusted.gpg /dev/fd/%d /dev/fd/%d >/dev/null 2>&1", fileno(sigfp), fileno(fp));
997   fcntl(fileno(fp), F_SETFD, 0);        /* clear CLOEXEC */
998   fcntl(fileno(sigfp), F_SETFD, 0);     /* clear CLOEXEC */
999   r = system(cmd);
1000   fcntl(fileno(fp), F_SETFD, FD_CLOEXEC);
1001   fcntl(fileno(sigfp), F_SETFD, FD_CLOEXEC);
1002   return r == 0 ? 1 : 0;
1003 }
1004
1005 #endif
1006
1007 static Pool *
1008 read_sigs()
1009 {
1010   Pool *sigpool = pool_create();
1011 #if defined(ENABLE_RPMDB_PUBKEY)
1012   Repo *repo = repo_create(sigpool, "rpmdbkeys");
1013   repo_add_rpmdb_pubkeys(repo, 0);
1014 #endif
1015   return sigpool;
1016 }
1017
1018 static int
1019 downloadchecksig(struct repoinfo *cinfo, FILE *fp, const char *sigurl, Pool **sigpool)
1020 {
1021   FILE *sigfp;
1022   sigfp = curlfopen(cinfo, sigurl, 0, 0, 0, 0);
1023   if (!sigfp)
1024     {
1025       printf(" unsigned, skipped\n");
1026       return 0;
1027     }
1028   if (!*sigpool)
1029     *sigpool = read_sigs();
1030   if (!checksig(*sigpool, fp, sigfp))
1031     {
1032       printf(" checksig failed, skipped\n");
1033       fclose(sigfp);
1034       return 0;
1035     }
1036   fclose(sigfp);
1037   return 1;
1038 }
1039
1040 #define CHKSUM_IDENT "1.1"
1041
1042 void
1043 calc_checksum_fp(FILE *fp, Id chktype, unsigned char *out)
1044 {
1045   char buf[4096];
1046   void *h = solv_chksum_create(chktype);
1047   int l;
1048
1049   solv_chksum_add(h, CHKSUM_IDENT, strlen(CHKSUM_IDENT));
1050   while ((l = fread(buf, 1, sizeof(buf), fp)) > 0)
1051     solv_chksum_add(h, buf, l);
1052   rewind(fp);
1053   solv_chksum_free(h, out);
1054 }
1055
1056 void
1057 calc_checksum_stat(struct stat *stb, Id chktype, unsigned char *cookie, unsigned char *out)
1058 {
1059   void *h = solv_chksum_create(chktype);
1060   solv_chksum_add(h, CHKSUM_IDENT, strlen(CHKSUM_IDENT));
1061   if (cookie)
1062     solv_chksum_add(h, cookie, 32);
1063   solv_chksum_add(h, &stb->st_dev, sizeof(stb->st_dev));
1064   solv_chksum_add(h, &stb->st_ino, sizeof(stb->st_ino));
1065   solv_chksum_add(h, &stb->st_size, sizeof(stb->st_size));
1066   solv_chksum_add(h, &stb->st_mtime, sizeof(stb->st_mtime));
1067   solv_chksum_free(h, out);
1068 }
1069
1070 void
1071 setarch(Pool *pool)
1072 {
1073   struct utsname un;
1074   if (uname(&un))
1075     {
1076       perror("uname");
1077       exit(1);
1078     }
1079   pool_setarch(pool, un.machine);
1080 }
1081
1082 char *
1083 calccachepath(Repo *repo, const char *repoext)
1084 {
1085   char *q, *p = pool_tmpjoin(repo->pool, SOLVCACHE_PATH, "/", repo->name);
1086   if (repoext)
1087     {
1088       p = pool_tmpappend(repo->pool, p, "_", repoext);
1089       p = pool_tmpappend(repo->pool, p, ".solvx", 0);
1090     }
1091   else
1092     p = pool_tmpappend(repo->pool, p, ".solv", 0);
1093   q = p + strlen(SOLVCACHE_PATH) + 1;
1094   if (*q == '.')
1095     *q = '_';
1096   for (; *q; q++)
1097     if (*q == '/')
1098       *q = '_';
1099   return p;
1100 }
1101
1102 int
1103 usecachedrepo(Repo *repo, const char *repoext, unsigned char *cookie, int mark)
1104 {
1105   FILE *fp;
1106   unsigned char mycookie[32];
1107   unsigned char myextcookie[32];
1108   struct repoinfo *cinfo;
1109   int flags;
1110
1111   cinfo = repo->appdata;
1112   if (!(fp = fopen(calccachepath(repo, repoext), "r")))
1113     return 0;
1114   if (fseek(fp, -sizeof(mycookie), SEEK_END) || fread(mycookie, sizeof(mycookie), 1, fp) != 1)
1115     {
1116       fclose(fp);
1117       return 0;
1118     }
1119   if (cookie && memcmp(cookie, mycookie, sizeof(mycookie)))
1120     {
1121       fclose(fp);
1122       return 0;
1123     }
1124   if (cinfo && !repoext)
1125     {
1126       if (fseek(fp, -sizeof(mycookie) * 2, SEEK_END) || fread(myextcookie, sizeof(myextcookie), 1, fp) != 1)
1127         {
1128           fclose(fp);
1129           return 0;
1130         }
1131     }
1132   rewind(fp);
1133
1134   flags = 0;
1135   if (repoext)
1136     {
1137       flags = REPO_USE_LOADING|REPO_EXTEND_SOLVABLES;
1138       if (strcmp(repoext, "DL") != 0)
1139         flags |= REPO_LOCALPOOL;        /* no local pool for DL so that we can compare IDs */
1140     }
1141
1142   if (repo_add_solv(repo, fp, flags))
1143     {
1144       fclose(fp);
1145       return 0;
1146     }
1147   if (cinfo && !repoext)
1148     {
1149       memcpy(cinfo->cookie, mycookie, sizeof(mycookie));
1150       memcpy(cinfo->extcookie, myextcookie, sizeof(myextcookie));
1151     }
1152   if (mark)
1153     futimens(fileno(fp), 0);    /* try to set modification time */
1154   fclose(fp);
1155   return 1;
1156 }
1157
1158 void
1159 writecachedrepo(Repo *repo, Repodata *info, const char *repoext, unsigned char *cookie)
1160 {
1161   FILE *fp;
1162   int i, fd;
1163   char *tmpl;
1164   struct repoinfo *cinfo;
1165   int onepiece;
1166
1167   cinfo = repo->appdata;
1168   if (cinfo && cinfo->incomplete)
1169     return;
1170   mkdir(SOLVCACHE_PATH, 0755);
1171   /* use dupjoin instead of tmpjoin because tmpl must survive repo_write */
1172   tmpl = solv_dupjoin(SOLVCACHE_PATH, "/", ".newsolv-XXXXXX");
1173   fd = mkstemp(tmpl);
1174   if (fd < 0)
1175     {
1176       free(tmpl);
1177       return;
1178     }
1179   fchmod(fd, 0444);
1180   if (!(fp = fdopen(fd, "w")))
1181     {
1182       close(fd);
1183       unlink(tmpl);
1184       free(tmpl);
1185       return;
1186     }
1187
1188   onepiece = 1;
1189   for (i = repo->start; i < repo->end; i++)
1190    if (repo->pool->solvables[i].repo != repo)
1191      break;
1192   if (i < repo->end)
1193     onepiece = 0;
1194
1195   if (!info)
1196     repo_write(repo, fp);
1197   else if (repoext)
1198     repodata_write(info, fp);
1199   else
1200     {
1201       int oldnrepodata = repo->nrepodata;
1202       repo->nrepodata = oldnrepodata > 2 ? 2 : oldnrepodata;    /* XXX: do this right */
1203       repo_write(repo, fp);
1204       repo->nrepodata = oldnrepodata;
1205       onepiece = 0;
1206     }
1207
1208   if (!repoext && cinfo)
1209     {
1210       if (!cinfo->extcookie[0])
1211         {
1212           /* create the ext cookie and append it */
1213           /* we just need some unique ID */
1214           struct stat stb;
1215           if (!fstat(fileno(fp), &stb))
1216             memset(&stb, 0, sizeof(stb));
1217           calc_checksum_stat(&stb, REPOKEY_TYPE_SHA256, cookie, cinfo->extcookie);
1218           if (cinfo->extcookie[0] == 0)
1219             cinfo->extcookie[0] = 1;
1220         }
1221       if (fwrite(cinfo->extcookie, 32, 1, fp) != 1)
1222         {
1223           fclose(fp);
1224           unlink(tmpl);
1225           free(tmpl);
1226           return;
1227         }
1228     }
1229   /* append our cookie describing the metadata state */
1230   if (fwrite(cookie, 32, 1, fp) != 1)
1231     {
1232       fclose(fp);
1233       unlink(tmpl);
1234       free(tmpl);
1235       return;
1236     }
1237   if (fclose(fp))
1238     {
1239       unlink(tmpl);
1240       free(tmpl);
1241       return;
1242     }
1243   if (onepiece)
1244     {
1245       /* switch to just saved repo to activate paging and save memory */
1246       FILE *fp = fopen(tmpl, "r");
1247       if (fp)
1248         {
1249           if (!repoext)
1250             {
1251               /* main repo */
1252               repo_empty(repo, 1);
1253               if (repo_add_solv(repo, fp, SOLV_ADD_NO_STUBS))
1254                 {
1255                   /* oops, no way to recover from here */
1256                   fprintf(stderr, "internal error\n");
1257                   exit(1);
1258                 }
1259             }
1260           else
1261             {
1262               int flags = REPO_USE_LOADING|REPO_EXTEND_SOLVABLES;
1263               /* make sure repodata contains complete repo */
1264               /* (this is how repodata_write saves it) */
1265               repodata_extend_block(info, repo->start, repo->end - repo->start);
1266               info->state = REPODATA_LOADING;
1267               if (strcmp(repoext, "DL") != 0)
1268                 flags |= REPO_LOCALPOOL;
1269               repo_add_solv(repo, fp, flags);
1270               info->state = REPODATA_AVAILABLE; /* in case the load failed */
1271             }
1272           fclose(fp);
1273         }
1274     }
1275   if (!rename(tmpl, calccachepath(repo, repoext)))
1276     unlink(tmpl);
1277   free(tmpl);
1278 }
1279
1280
1281 #ifdef ENABLE_RPMMD
1282 /* repomd helpers */
1283
1284 static inline const char *
1285 repomd_find(Repo *repo, const char *what, const unsigned char **chksump, Id *chksumtypep)
1286 {
1287   Pool *pool = repo->pool;
1288   Dataiterator di;
1289   const char *filename;
1290
1291   filename = 0;
1292   *chksump = 0;
1293   *chksumtypep = 0;
1294   dataiterator_init(&di, pool, repo, SOLVID_META, REPOSITORY_REPOMD_TYPE, what, SEARCH_STRING);
1295   dataiterator_prepend_keyname(&di, REPOSITORY_REPOMD);
1296   if (dataiterator_step(&di))
1297     {
1298       dataiterator_setpos_parent(&di);
1299       filename = pool_lookup_str(pool, SOLVID_POS, REPOSITORY_REPOMD_LOCATION);
1300       *chksump = pool_lookup_bin_checksum(pool, SOLVID_POS, REPOSITORY_REPOMD_CHECKSUM, chksumtypep);
1301     }
1302   dataiterator_free(&di);
1303   if (filename && !*chksumtypep)
1304     {
1305       printf("no %s file checksum!\n", what);
1306       filename = 0;
1307     }
1308   return filename;
1309 }
1310
1311 int
1312 repomd_add_ext(Repo *repo, Repodata *data, const char *what)
1313 {
1314   Id chksumtype, handle;
1315   const unsigned char *chksum;
1316   const char *filename;
1317
1318   filename = repomd_find(repo, what, &chksum, &chksumtype);
1319   if (!filename)
1320     return 0;
1321   if (!strcmp(what, "prestodelta"))
1322     what = "deltainfo";
1323   handle = repodata_new_handle(data);
1324   repodata_set_poolstr(data, handle, REPOSITORY_REPOMD_TYPE, what);
1325   repodata_set_str(data, handle, REPOSITORY_REPOMD_LOCATION, filename);
1326   repodata_set_bin_checksum(data, handle, REPOSITORY_REPOMD_CHECKSUM, chksumtype, chksum);
1327   if (!strcmp(what, "deltainfo"))
1328     {
1329       repodata_add_idarray(data, handle, REPOSITORY_KEYS, REPOSITORY_DELTAINFO);
1330       repodata_add_idarray(data, handle, REPOSITORY_KEYS, REPOKEY_TYPE_FLEXARRAY);
1331     }
1332   if (!strcmp(what, "filelists"))
1333     {
1334       repodata_add_idarray(data, handle, REPOSITORY_KEYS, SOLVABLE_FILELIST);
1335       repodata_add_idarray(data, handle, REPOSITORY_KEYS, REPOKEY_TYPE_DIRSTRARRAY);
1336     }
1337   repodata_add_flexarray(data, SOLVID_META, REPOSITORY_EXTERNAL, handle);
1338   return 1;
1339 }
1340
1341 int
1342 repomd_load_ext(Repo *repo, Repodata *data)
1343 {
1344   const char *filename, *repomdtype;
1345   char ext[3];
1346   FILE *fp;
1347   struct repoinfo *cinfo;
1348   const unsigned char *filechksum;
1349   Id filechksumtype;
1350   int r = 0;
1351
1352   cinfo = repo->appdata;
1353   repomdtype = repodata_lookup_str(data, SOLVID_META, REPOSITORY_REPOMD_TYPE);
1354   if (!repomdtype)
1355     return 0;
1356   if (!strcmp(repomdtype, "filelists"))
1357     strcpy(ext, "FL");
1358   else if (!strcmp(repomdtype, "deltainfo"))
1359     strcpy(ext, "DL");
1360   else
1361     return 0;
1362   printf("[%s:%s", repo->name, ext);
1363   if (usecachedrepo(repo, ext, cinfo->extcookie, 0))
1364     {
1365       printf(" cached]\n"); fflush(stdout);
1366       return 1;
1367     }
1368   printf(" fetching]\n"); fflush(stdout);
1369   filename = repodata_lookup_str(data, SOLVID_META, REPOSITORY_REPOMD_LOCATION);
1370   filechksumtype = 0;
1371   filechksum = repodata_lookup_bin_checksum(data, SOLVID_META, REPOSITORY_REPOMD_CHECKSUM, &filechksumtype);
1372   if ((fp = curlfopen(cinfo, filename, iscompressed(filename), filechksum, filechksumtype, 0)) == 0)
1373     return 0;
1374   if (!strcmp(ext, "FL"))
1375     r = repo_add_rpmmd(repo, fp, ext, REPO_USE_LOADING|REPO_EXTEND_SOLVABLES|REPO_LOCALPOOL);
1376   else if (!strcmp(ext, "DL"))
1377     r = repo_add_deltainfoxml(repo, fp, REPO_USE_LOADING);
1378   fclose(fp);
1379   if (r)
1380     {
1381       printf("%s\n", pool_errstr(repo->pool));
1382       return 0;
1383     }
1384   writecachedrepo(repo, data, ext, cinfo->extcookie);
1385   return 1;
1386 }
1387
1388 #endif
1389
1390
1391 #ifdef ENABLE_SUSEREPO
1392 /* susetags helpers */
1393
1394 static inline const char *
1395 susetags_find(Repo *repo, const char *what, const unsigned char **chksump, Id *chksumtypep)
1396 {
1397   Pool *pool = repo->pool;
1398   Dataiterator di;
1399   const char *filename;
1400
1401   filename = 0;
1402   *chksump = 0;
1403   *chksumtypep = 0;
1404   dataiterator_init(&di, pool, repo, SOLVID_META, SUSETAGS_FILE_NAME, what, SEARCH_STRING);
1405   dataiterator_prepend_keyname(&di, SUSETAGS_FILE);
1406   if (dataiterator_step(&di))
1407     {
1408       dataiterator_setpos_parent(&di);
1409       *chksump = pool_lookup_bin_checksum(pool, SOLVID_POS, SUSETAGS_FILE_CHECKSUM, chksumtypep);
1410       filename = what;
1411     }
1412   dataiterator_free(&di);
1413   if (filename && !*chksumtypep)
1414     {
1415       printf("no %s file checksum!\n", what);
1416       filename = 0;
1417     }
1418   return filename;
1419 }
1420
1421 static Id susetags_langtags[] = {
1422   SOLVABLE_SUMMARY, REPOKEY_TYPE_STR,
1423   SOLVABLE_DESCRIPTION, REPOKEY_TYPE_STR,
1424   SOLVABLE_EULA, REPOKEY_TYPE_STR,
1425   SOLVABLE_MESSAGEINS, REPOKEY_TYPE_STR,
1426   SOLVABLE_MESSAGEDEL, REPOKEY_TYPE_STR,
1427   SOLVABLE_CATEGORY, REPOKEY_TYPE_ID,
1428   0, 0
1429 };
1430
1431 void
1432 susetags_add_ext(Repo *repo, Repodata *data)
1433 {
1434   Pool *pool = repo->pool;
1435   Dataiterator di;
1436   char ext[3];
1437   Id handle, filechksumtype;
1438   const unsigned char *filechksum;
1439   int i;
1440
1441   dataiterator_init(&di, pool, repo, SOLVID_META, SUSETAGS_FILE_NAME, 0, 0);
1442   dataiterator_prepend_keyname(&di, SUSETAGS_FILE);
1443   while (dataiterator_step(&di))
1444     {
1445       if (strncmp(di.kv.str, "packages.", 9) != 0)
1446         continue;
1447       if (!strcmp(di.kv.str + 9, "gz"))
1448         continue;
1449       if (!di.kv.str[9] || !di.kv.str[10] || (di.kv.str[11] && di.kv.str[11] != '.'))
1450         continue;
1451       ext[0] = di.kv.str[9];
1452       ext[1] = di.kv.str[10];
1453       ext[2] = 0;
1454       if (!strcmp(ext, "en"))
1455         continue;
1456       if (!susetags_find(repo, di.kv.str, &filechksum, &filechksumtype))
1457         continue;
1458       handle = repodata_new_handle(data);
1459       repodata_set_str(data, handle, SUSETAGS_FILE_NAME, di.kv.str);
1460       if (filechksumtype)
1461         repodata_set_bin_checksum(data, handle, SUSETAGS_FILE_CHECKSUM, filechksumtype, filechksum);
1462       if (!strcmp(ext, "DU"))
1463         {
1464           repodata_add_idarray(data, handle, REPOSITORY_KEYS, SOLVABLE_DISKUSAGE);
1465           repodata_add_idarray(data, handle, REPOSITORY_KEYS, REPOKEY_TYPE_DIRNUMNUMARRAY);
1466         }
1467       else if (!strcmp(ext, "FL"))
1468         {
1469           repodata_add_idarray(data, handle, REPOSITORY_KEYS, SOLVABLE_FILELIST);
1470           repodata_add_idarray(data, handle, REPOSITORY_KEYS, REPOKEY_TYPE_DIRSTRARRAY);
1471         }
1472       else
1473         {
1474           for (i = 0; susetags_langtags[i]; i += 2)
1475             {
1476               repodata_add_idarray(data, handle, REPOSITORY_KEYS, pool_id2langid(pool, susetags_langtags[i], ext, 1));
1477               repodata_add_idarray(data, handle, REPOSITORY_KEYS, susetags_langtags[i + 1]);
1478             }
1479         }
1480       repodata_add_flexarray(data, SOLVID_META, REPOSITORY_EXTERNAL, handle);
1481     }
1482   dataiterator_free(&di);
1483 }
1484
1485 int
1486 susetags_load_ext(Repo *repo, Repodata *data)
1487 {
1488   const char *filename, *descrdir;
1489   Id defvendor;
1490   char ext[3];
1491   FILE *fp;
1492   struct repoinfo *cinfo;
1493   const unsigned char *filechksum;
1494   Id filechksumtype;
1495   int flags;
1496
1497   cinfo = repo->appdata;
1498   filename = repodata_lookup_str(data, SOLVID_META, SUSETAGS_FILE_NAME);
1499   if (!filename)
1500     return 0;
1501   /* susetags load */
1502   ext[0] = filename[9];
1503   ext[1] = filename[10];
1504   ext[2] = 0;
1505   printf("[%s:%s", repo->name, ext);
1506   if (usecachedrepo(repo, ext, cinfo->extcookie, 0))
1507     {
1508       printf(" cached]\n"); fflush(stdout);
1509       return 1;
1510     }
1511   printf(" fetching]\n"); fflush(stdout);
1512   defvendor = repo_lookup_id(repo, SOLVID_META, SUSETAGS_DEFAULTVENDOR);
1513   descrdir = repo_lookup_str(repo, SOLVID_META, SUSETAGS_DESCRDIR);
1514   if (!descrdir)
1515     descrdir = "suse/setup/descr";
1516   filechksumtype = 0;
1517   filechksum = repodata_lookup_bin_checksum(data, SOLVID_META, SUSETAGS_FILE_CHECKSUM, &filechksumtype);
1518   if ((fp = curlfopen(cinfo, pool_tmpjoin(repo->pool, descrdir, "/", filename), iscompressed(filename), filechksum, filechksumtype, 0)) == 0)
1519     return 0;
1520   flags = REPO_USE_LOADING|REPO_EXTEND_SOLVABLES;
1521   if (strcmp(ext, "DL") != 0)
1522     flags |= REPO_LOCALPOOL;
1523   if (repo_add_susetags(repo, fp, defvendor, ext, flags))
1524     {
1525       fclose(fp);
1526       printf("%s\n", pool_errstr(repo->pool));
1527       return 0;
1528     }
1529   fclose(fp);
1530   writecachedrepo(repo, data, ext, cinfo->extcookie);
1531   return 1;
1532 }
1533 #endif
1534
1535
1536
1537 /* load callback */
1538
1539 int
1540 load_stub(Pool *pool, Repodata *data, void *dp)
1541 {
1542   struct repoinfo *cinfo = data->repo->appdata;
1543   switch (cinfo->type)
1544     {
1545 #ifdef ENABLE_SUSEREPO
1546     case TYPE_SUSETAGS:
1547       return susetags_load_ext(data->repo, data);
1548 #endif
1549 #ifdef ENABLE_RPMMD
1550     case TYPE_RPMMD:
1551       return repomd_load_ext(data->repo, data);
1552 #endif
1553     default:
1554       return 0;
1555     }
1556 }
1557
1558 static unsigned char installedcookie[32];
1559
1560 #ifdef ENABLE_DEBIAN
1561
1562 const char *
1563 debian_find_component(struct repoinfo *cinfo, FILE *fp, char *comp, const unsigned char **chksump, Id *chksumtypep)
1564 {
1565   char buf[4096];
1566   Id chksumtype;
1567   unsigned char *chksum;
1568   Id curchksumtype;
1569   int l, compl;
1570   char *ch, *fn, *bp;
1571   char *filename;
1572   static char *basearch;
1573   char *binarydir;
1574   int lbinarydir;
1575
1576   if (!basearch)
1577     {
1578       struct utsname un;
1579       if (uname(&un))
1580         {
1581           perror("uname");
1582           exit(1);
1583         }
1584       basearch = strdup(un.machine);
1585       if (basearch[0] == 'i' && basearch[1] && !strcmp(basearch + 2, "86"))
1586         basearch[1] = '3';
1587     }
1588   binarydir = solv_dupjoin("binary-", basearch, "/");
1589   lbinarydir = strlen(binarydir);
1590   compl = strlen(comp);
1591   rewind(fp);
1592   curchksumtype = 0;
1593   filename = 0;
1594   chksum = solv_malloc(32);
1595   chksumtype = 0;
1596   while(fgets(buf, sizeof(buf), fp))
1597     {
1598       l = strlen(buf);
1599       if (l == 0)
1600         continue;
1601       while (l && (buf[l - 1] == '\n' || buf[l - 1] == ' ' || buf[l - 1] == '\t'))
1602         buf[--l] = 0;
1603       if (!strncasecmp(buf, "MD5Sum:", 7))
1604         {
1605           curchksumtype = REPOKEY_TYPE_MD5;
1606           continue;
1607         }
1608       if (!strncasecmp(buf, "SHA1:", 5))
1609         {
1610           curchksumtype = REPOKEY_TYPE_SHA1;
1611           continue;
1612         }
1613       if (!strncasecmp(buf, "SHA256:", 7))
1614         {
1615           curchksumtype = REPOKEY_TYPE_SHA256;
1616           continue;
1617         }
1618       if (!curchksumtype)
1619         continue;
1620       bp = buf;
1621       if (*bp++ != ' ')
1622         {
1623           curchksumtype = 0;
1624           continue;
1625         }
1626       ch = bp;
1627       while (*bp && *bp != ' ' && *bp != '\t')
1628         bp++;
1629       if (!*bp)
1630         continue;
1631       *bp++ = 0;
1632       while (*bp == ' ' || *bp == '\t')
1633         bp++;
1634       while (*bp && *bp != ' ' && *bp != '\t')
1635         bp++;
1636       if (!*bp)
1637         continue;
1638       while (*bp == ' ' || *bp == '\t')
1639         bp++;
1640       fn = bp;
1641       if (strncmp(fn, comp, compl) != 0 || fn[compl] != '/')
1642         continue;
1643       bp += compl + 1;
1644       if (strncmp(bp, binarydir, lbinarydir))
1645         continue;
1646       bp += lbinarydir;
1647       if (!strcmp(bp, "Packages") || !strcmp(bp, "Packages.gz"))
1648         {
1649           unsigned char curchksum[32];
1650           int curl;
1651           if (filename && !strcmp(bp, "Packages"))
1652             continue;
1653           curl = solv_chksum_len(curchksumtype);
1654           if (!curl || (chksumtype && solv_chksum_len(chksumtype) > curl))
1655             continue;
1656           if (solv_hex2bin((const char **)&ch, curchksum, sizeof(curchksum)) != curl)
1657             continue;
1658           solv_free(filename);
1659           filename = strdup(fn);
1660           chksumtype = curchksumtype;
1661           memcpy(chksum, curchksum, curl);
1662         }
1663     }
1664   free(binarydir);
1665   if (filename)
1666     {
1667       fn = solv_dupjoin("/", filename, 0);
1668       solv_free(filename);
1669       filename = solv_dupjoin("dists/", cinfo->name, fn);
1670       solv_free(fn);
1671     }
1672   if (!chksumtype)
1673     chksum = solv_free(chksum);
1674   *chksump = chksum;
1675   *chksumtypep = chksumtype;
1676   return filename;
1677 }
1678 #endif
1679
1680 void
1681 read_repos(Pool *pool, struct repoinfo *repoinfos, int nrepoinfos)
1682 {
1683   Repo *repo;
1684   struct repoinfo *cinfo;
1685   int i;
1686   FILE *fp;
1687   const char *filename;
1688   const unsigned char *filechksum;
1689   Id filechksumtype;
1690 #ifdef ENABLE_SUSEREPO
1691   const char *descrdir;
1692   int defvendor;
1693 #endif
1694   struct stat stb;
1695   Pool *sigpool = 0;
1696 #if defined(ENABLE_SUSEREPO) || defined(ENABLE_RPMMD)
1697   Repodata *data;
1698 #endif
1699   int dorefresh;
1700 #if defined(ENABLE_DEBIAN)
1701   FILE *fpr;
1702   int j;
1703 #endif
1704
1705   repo = repo_create(pool, "@System");
1706 #if defined(ENABLE_RPMDB) && (defined(SUSE) || defined(FEDORA))
1707   printf("rpm database:");
1708   if (stat(pool_prepend_rootdir_tmp(pool, "/var/lib/rpm/Packages"), &stb))
1709     memset(&stb, 0, sizeof(stb));
1710 #endif
1711 #if defined(ENABLE_DEBIAN) && defined(DEBIAN)
1712   printf("dpgk database:");
1713   if (stat(pool_prepend_rootdir_tmp(pool, "/var/lib/dpkg/status"), &stb))
1714     memset(&stb, 0, sizeof(stb));
1715 #endif
1716 #ifdef NOSYSTEM
1717   printf("no installed database:");
1718   memset(&stb, 0, sizeof(stb));
1719 #endif
1720   calc_checksum_stat(&stb, REPOKEY_TYPE_SHA256, 0, installedcookie);
1721   if (usecachedrepo(repo, 0, installedcookie, 0))
1722     printf(" cached\n");
1723   else
1724     {
1725 #if defined(ENABLE_RPMDB) && (defined(SUSE) || defined(FEDORA))
1726       FILE *ofp;
1727       Repo *ref = 0;
1728 #endif
1729       printf(" reading\n");
1730
1731 #if defined(ENABLE_RPMDB) && (defined(SUSE) || defined(FEDORA))
1732 # if defined(ENABLE_SUSEREPO) && defined(PRODUCTS_PATH)
1733       if (repo_add_products(repo, PRODUCTS_PATH, REPO_NO_INTERNALIZE | REPO_USE_ROOTDIR))
1734         {
1735           fprintf(stderr, "product reading failed: %s\n", pool_errstr(pool));
1736           exit(1);
1737         }
1738 # endif
1739       if ((ofp = fopen(calccachepath(repo, 0), "r")) != 0)
1740         {
1741           ref = repo_create(pool, "@System.old");
1742           if (repo_add_solv(ref, ofp, 0))
1743             {
1744               repo_free(ref, 1);
1745               ref = 0;
1746             }
1747           fclose(ofp);
1748         }
1749       if (repo_add_rpmdb(repo, ref, REPO_REUSE_REPODATA | REPO_USE_ROOTDIR))
1750         {
1751           fprintf(stderr, "installed db: %s\n", pool_errstr(pool));
1752           exit(1);
1753         }
1754       if (ref)
1755         repo_free(ref, 1);
1756 #endif
1757 #if defined(ENABLE_DEBIAN) && defined(DEBIAN)
1758       if (repo_add_debdb(repo, REPO_REUSE_REPODATA | REPO_USE_ROOTDIR))
1759         {
1760           fprintf(stderr, "installed db: %s\n", pool_errstr(pool));
1761           exit(1);
1762         }
1763 #endif
1764       writecachedrepo(repo, 0, 0, installedcookie);
1765     }
1766   pool_set_installed(pool, repo);
1767
1768   for (i = 0; i < nrepoinfos; i++)
1769     {
1770       cinfo = repoinfos + i;
1771       if (!cinfo->enabled)
1772         continue;
1773
1774       repo = repo_create(pool, cinfo->alias);
1775       cinfo->repo = repo;
1776       repo->appdata = cinfo;
1777       repo->priority = 99 - cinfo->priority;
1778
1779       dorefresh = cinfo->autorefresh;
1780       if (dorefresh && cinfo->metadata_expire && stat(calccachepath(repo, 0), &stb) == 0)
1781         {
1782           if (cinfo->metadata_expire == -1 || time(0) - stb.st_mtime < cinfo->metadata_expire)
1783             dorefresh = 0;
1784         }
1785       if (!dorefresh && usecachedrepo(repo, 0, 0, 0))
1786         {
1787           printf("repo '%s':", cinfo->alias);
1788           printf(" cached\n");
1789           continue;
1790         }
1791       switch (cinfo->type)
1792         {
1793 #ifdef ENABLE_RPMMD
1794         case TYPE_RPMMD:
1795           printf("rpmmd repo '%s':", cinfo->alias);
1796           fflush(stdout);
1797           if ((fp = curlfopen(cinfo, "repodata/repomd.xml", 0, 0, 0, 0)) == 0)
1798             {
1799               printf(" no repomd.xml file, skipped\n");
1800               repo_free(repo, 1);
1801               cinfo->repo = 0;
1802               break;
1803             }
1804           calc_checksum_fp(fp, REPOKEY_TYPE_SHA256, cinfo->cookie);
1805           if (usecachedrepo(repo, 0, cinfo->cookie, 1))
1806             {
1807               printf(" cached\n");
1808               fclose(fp);
1809               break;
1810             }
1811           if (cinfo->repo_gpgcheck && !downloadchecksig(cinfo, fp, "repodata/repomd.xml.asc", &sigpool))
1812             {
1813               fclose(fp);
1814               break;
1815             }
1816           if (repo_add_repomdxml(repo, fp, 0))
1817             {
1818               printf("repomd.xml: %s\n", pool_errstr(pool));
1819               fclose(fp);
1820               break;    /* hopeless */
1821             }
1822           fclose(fp);
1823           printf(" fetching\n");
1824           filename = repomd_find(repo, "primary", &filechksum, &filechksumtype);
1825           if (filename && (fp = curlfopen(cinfo, filename, iscompressed(filename), filechksum, filechksumtype, 1)) != 0)
1826             {
1827               if (repo_add_rpmmd(repo, fp, 0, 0))
1828                 {
1829                   printf("primary: %s\n", pool_errstr(pool));
1830                   cinfo->incomplete = 1;
1831                 }
1832               fclose(fp);
1833             }
1834           if (cinfo->incomplete)
1835             break;      /* hopeless */
1836
1837           filename = repomd_find(repo, "updateinfo", &filechksum, &filechksumtype);
1838           if (filename && (fp = curlfopen(cinfo, filename, iscompressed(filename), filechksum, filechksumtype, 1)) != 0)
1839             {
1840               if (repo_add_updateinfoxml(repo, fp, 0))
1841                 {
1842                   printf("updateinfo: %s\n", pool_errstr(pool));
1843                   cinfo->incomplete = 1;
1844                 }
1845               fclose(fp);
1846             }
1847
1848           data = repo_add_repodata(repo, 0);
1849           if (!repomd_add_ext(repo, data, "deltainfo"))
1850             repomd_add_ext(repo, data, "prestodelta");
1851           repomd_add_ext(repo, data, "filelists");
1852           repodata_internalize(data);
1853           if (!cinfo->incomplete)
1854             writecachedrepo(repo, 0, 0, cinfo->cookie);
1855           repodata_create_stubs(repo_last_repodata(repo));
1856           break;
1857 #endif
1858
1859 #ifdef ENABLE_SUSEREPO
1860         case TYPE_SUSETAGS:
1861           printf("susetags repo '%s':", cinfo->alias);
1862           fflush(stdout);
1863           descrdir = 0;
1864           defvendor = 0;
1865           if ((fp = curlfopen(cinfo, "content", 0, 0, 0, 0)) == 0)
1866             {
1867               printf(" no content file, skipped\n");
1868               repo_free(repo, 1);
1869               cinfo->repo = 0;
1870               break;
1871             }
1872           calc_checksum_fp(fp, REPOKEY_TYPE_SHA256, cinfo->cookie);
1873           if (usecachedrepo(repo, 0, cinfo->cookie, 1))
1874             {
1875               printf(" cached\n");
1876               fclose(fp);
1877               break;
1878             }
1879           if (cinfo->repo_gpgcheck && !downloadchecksig(cinfo, fp, "content.asc", &sigpool))
1880             {
1881               fclose(fp);
1882               break;
1883             }
1884           if (repo_add_content(repo, fp, 0))
1885             {
1886               printf("content: %s\n", pool_errstr(pool));
1887               fclose(fp);
1888               break;    /* hopeless */
1889             }
1890           fclose(fp);
1891           defvendor = repo_lookup_id(repo, SOLVID_META, SUSETAGS_DEFAULTVENDOR);
1892           descrdir = repo_lookup_str(repo, SOLVID_META, SUSETAGS_DESCRDIR);
1893           if (!descrdir)
1894             descrdir = "suse/setup/descr";
1895           filename = susetags_find(repo, "packages.gz", &filechksum, &filechksumtype);
1896           if (!filename)
1897             filename = susetags_find(repo, "packages", &filechksum, &filechksumtype);
1898           if (!filename)
1899             {
1900               printf(" no packages file entry, skipped\n");
1901               break;
1902             }
1903           printf(" fetching\n");
1904           if ((fp = curlfopen(cinfo, pool_tmpjoin(pool, descrdir, "/", filename), iscompressed(filename), filechksum, filechksumtype, 1)) == 0)
1905             break;      /* hopeless */
1906           if (repo_add_susetags(repo, fp, defvendor, 0, REPO_NO_INTERNALIZE|SUSETAGS_RECORD_SHARES))
1907             {
1908               printf("packages: %s\n", pool_errstr(pool));
1909               fclose(fp);
1910               cinfo->incomplete = 1;
1911               break;    /* hopeless */
1912             }
1913           fclose(fp);
1914           /* add default language */
1915           filename = susetags_find(repo, "packages.en.gz", &filechksum, &filechksumtype);
1916           if (!filename)
1917             filename = susetags_find(repo, "packages.en", &filechksum, &filechksumtype);
1918           if (filename)
1919             {
1920               if ((fp = curlfopen(cinfo, pool_tmpjoin(pool, descrdir, "/", filename), iscompressed(filename), filechksum, filechksumtype, 1)) != 0)
1921                 {
1922                   if (repo_add_susetags(repo, fp, defvendor, 0, REPO_NO_INTERNALIZE|REPO_REUSE_REPODATA|REPO_EXTEND_SOLVABLES))
1923                     {
1924                       printf("packages.en: %s\n", pool_errstr(pool));
1925                       cinfo->incomplete = 1;
1926                     }
1927                   fclose(fp);
1928                 }
1929             }
1930           filename = susetags_find(repo, "patterns", &filechksum, &filechksumtype);
1931           if (filename)
1932             {
1933               if ((fp = curlfopen(cinfo, pool_tmpjoin(pool, descrdir, "/", filename), iscompressed(filename), filechksum, filechksumtype, 1)) != 0)
1934                 {
1935                   char pbuf[256];
1936                   while (fgets(pbuf, sizeof(pbuf), fp))
1937                     {
1938                       int l = strlen(pbuf);
1939                       FILE *fp2;
1940                       if (l && pbuf[l - 1] == '\n')
1941                         pbuf[--l] = 0;
1942                       if (!*pbuf || *pbuf == '.' || strchr(pbuf, '/') != 0)
1943                         continue;
1944                       filename = susetags_find(repo, pbuf, &filechksum, &filechksumtype);
1945                       if (filename && (fp2 = curlfopen(cinfo, pool_tmpjoin(pool, descrdir, "/", filename), iscompressed(filename), filechksum, filechksumtype, 1)) != 0)
1946                         {
1947                           if (repo_add_susetags(repo, fp2, defvendor, 0, REPO_NO_INTERNALIZE))
1948                             {
1949                               printf("%s: %s\n", pbuf, pool_errstr(pool));
1950                               cinfo->incomplete = 1;
1951                             }
1952                           fclose(fp2);
1953                         }
1954                     }
1955                   fclose(fp);
1956                 }
1957             }
1958           repo_internalize(repo);
1959           data = repo_add_repodata(repo, 0);
1960           susetags_add_ext(repo, data);
1961           repodata_internalize(data);
1962           if (!cinfo->incomplete)
1963             writecachedrepo(repo, 0, 0, cinfo->cookie);
1964           repodata_create_stubs(repo_last_repodata(repo));
1965           break;
1966 #endif
1967
1968 #if defined(ENABLE_DEBIAN)
1969         case TYPE_DEBIAN:
1970           printf("debian repo '%s':", cinfo->alias);
1971           fflush(stdout);
1972           filename = solv_dupjoin("dists/", cinfo->name, "/Release");
1973           if ((fpr = curlfopen(cinfo, filename, 0, 0, 0, 0)) == 0)
1974             {
1975               printf(" no Release file, skipped\n");
1976               repo_free(repo, 1);
1977               cinfo->repo = 0;
1978               free((char *)filename);
1979               break;
1980             }
1981           solv_free((char *)filename);
1982           if (cinfo->repo_gpgcheck)
1983             {
1984               filename = solv_dupjoin("dists/", cinfo->name, "/Release.gpg");
1985               if (!downloadchecksig(cinfo, fpr, filename, &sigpool))
1986                 {
1987                   fclose(fpr);
1988                   solv_free((char *)filename);
1989                   break;
1990                 }
1991               solv_free((char *)filename);
1992             }
1993           calc_checksum_fp(fpr, REPOKEY_TYPE_SHA256, cinfo->cookie);
1994           if (usecachedrepo(repo, 0, cinfo->cookie, 1))
1995             {
1996               printf(" cached\n");
1997               fclose(fpr);
1998               break;
1999             }
2000           printf(" fetching\n");
2001           for (j = 0; j < cinfo->ncomponents; j++)
2002             {
2003               if (!(filename = debian_find_component(cinfo, fpr, cinfo->components[j], &filechksum, &filechksumtype)))
2004                 {
2005                   printf("[component %s not found]\n", cinfo->components[j]);
2006                   continue;
2007                 }
2008               if ((fp = curlfopen(cinfo, filename, iscompressed(filename), filechksum, filechksumtype, 1)) != 0)
2009                 {
2010                   if (repo_add_debpackages(repo, fp, 0))
2011                     {
2012                       printf("component %s: %s\n", cinfo->components[j], pool_errstr(pool));
2013                       cinfo->incomplete = 1;
2014                     }
2015                   fclose(fp);
2016                 }
2017               solv_free((char *)filechksum);
2018               solv_free((char *)filename);
2019             }
2020           fclose(fpr);
2021           if (!cinfo->incomplete)
2022             writecachedrepo(repo, 0, 0, cinfo->cookie);
2023           break;
2024 #endif
2025
2026         default:
2027           printf("unsupported repo '%s': skipped\n", cinfo->alias);
2028           repo_free(repo, 1);
2029           cinfo->repo = 0;
2030           break;
2031         }
2032     }
2033   if (sigpool)
2034     pool_free(sigpool);
2035 }
2036
2037 int
2038 yesno(const char *str)
2039 {
2040   char inbuf[128], *ip;
2041
2042   for (;;)
2043     {
2044       printf("%s", str);
2045       fflush(stdout);
2046       *inbuf = 0;
2047       if (!(ip = fgets(inbuf, sizeof(inbuf), stdin)))
2048         {
2049           printf("Abort.\n");
2050           exit(1);
2051         }
2052       while (*ip == ' ' || *ip == '\t')
2053         ip++;
2054       if (*ip == 'q')
2055         {
2056           printf("Abort.\n");
2057           exit(1);
2058         }
2059       if (*ip == 'y' || *ip == 'n')
2060         return *ip == 'y' ? 1 : 0;
2061     }
2062 }
2063
2064 #if defined(ENABLE_RPMDB) && (defined(SUSE) || defined(FEDORA))
2065
2066 struct fcstate {
2067   FILE **newpkgsfps;
2068   Queue *checkq;
2069   int newpkgscnt;
2070   void *rpmstate;
2071 };
2072
2073 static void *
2074 fileconflict_cb(Pool *pool, Id p, void *cbdata)
2075 {
2076   struct fcstate *fcstate = cbdata;
2077   Solvable *s;
2078   Id rpmdbid;
2079   int i;
2080   FILE *fp;
2081
2082   s = pool_id2solvable(pool, p);
2083   if (pool->installed && s->repo == pool->installed)
2084     {
2085       if (!s->repo->rpmdbid)
2086         return 0;
2087       rpmdbid = s->repo->rpmdbid[p - s->repo->start];
2088       if (!rpmdbid)
2089         return 0;
2090       return rpm_byrpmdbid(fcstate->rpmstate, rpmdbid);
2091     }
2092   for (i = 0; i < fcstate->newpkgscnt; i++)
2093     if (fcstate->checkq->elements[i] == p)
2094       break;
2095   if (i == fcstate->newpkgscnt)
2096     return 0;
2097   fp = fcstate->newpkgsfps[i];
2098   if (!fp)
2099     return 0;
2100   rewind(fp);
2101   return rpm_byfp(fcstate->rpmstate, fp, pool_solvable2str(pool, s));
2102 }
2103
2104
2105 void
2106 runrpm(const char *arg, const char *name, int dupfd3, const char *rootdir)
2107 {
2108   pid_t pid;
2109   int status;
2110
2111   if ((pid = fork()) == (pid_t)-1)
2112     {
2113       perror("fork");
2114       exit(1);
2115     }
2116   if (pid == 0)
2117     {
2118       if (!rootdir)
2119         rootdir = "/";
2120       if (dupfd3 != -1 && dupfd3 != 3)
2121         {
2122           dup2(dupfd3, 3);
2123           close(dupfd3);
2124         }
2125       if (dupfd3 != -1)
2126         fcntl(3, F_SETFD, 0);   /* clear CLOEXEC */
2127       if (strcmp(arg, "-e") == 0)
2128         execlp("rpm", "rpm", arg, "--nodeps", "--nodigest", "--nosignature", "--root", rootdir, name, (char *)0);
2129       else
2130         execlp("rpm", "rpm", arg, "--force", "--nodeps", "--nodigest", "--nosignature", "--root", rootdir, name, (char *)0);
2131       perror("rpm");
2132       _exit(0);
2133     }
2134   while (waitpid(pid, &status, 0) != pid)
2135     ;
2136   if (status)
2137     {
2138       printf("rpm failed\n");
2139       exit(1);
2140     }
2141 }
2142
2143 #endif
2144
2145 #if defined(ENABLE_DEBIAN) && defined(DEBIAN)
2146
2147 void
2148 rundpkg(const char *arg, const char *name, int dupfd3, const char *rootdir)
2149 {
2150   pid_t pid;
2151   int status;
2152
2153   if ((pid = fork()) == (pid_t)-1)
2154     {
2155       perror("fork");
2156       exit(1);
2157     }
2158   if (pid == 0)
2159     {
2160       if (!rootdir)
2161         rootdir = "/";
2162       if (dupfd3 != -1 && dupfd3 != 3)
2163         {
2164           dup2(dupfd3, 3);
2165           close(dupfd3);
2166         }
2167       if (dupfd3 != -1)
2168         fcntl(3, F_SETFD, 0);   /* clear CLOEXEC */
2169       if (strcmp(arg, "--install") == 0)
2170         execlp("dpkg", "dpkg", "--install", "--root", rootdir, "--force", "all", name, (char *)0);
2171       else
2172         execlp("dpkg", "dpkg", "--remove", "--root", rootdir, "--force", "all", name, (char *)0);
2173       perror("dpkg");
2174       _exit(0);
2175     }
2176   while (waitpid(pid, &status, 0) != pid)
2177     ;
2178   if (status)
2179     {
2180       printf("dpkg failed\n");
2181       exit(1);
2182     }
2183 }
2184
2185 #endif
2186
2187 #ifdef SUSE
2188 static Id
2189 nscallback(Pool *pool, void *data, Id name, Id evr)
2190 {
2191   if (name == NAMESPACE_PRODUCTBUDDY)
2192     {
2193       /* SUSE specific hack: each product has an associated rpm */
2194       Solvable *s = pool->solvables + evr;
2195       Id p, pp, cap;
2196       Id bestp = 0;
2197
2198       cap = pool_str2id(pool, pool_tmpjoin(pool, "product(", pool_id2str(pool, s->name) + 8, ")"), 0);
2199       if (!cap)
2200         return 0;
2201       cap = pool_rel2id(pool, cap, s->evr, REL_EQ, 0);
2202       if (!cap)
2203         return 0;
2204       FOR_PROVIDES(p, pp, cap)
2205         {
2206           Solvable *ps = pool->solvables + p;
2207           if (ps->repo == s->repo && ps->arch == s->arch)
2208             if (!bestp || pool_evrcmp(pool, pool->solvables[bestp].evr, ps->evr, EVRCMP_COMPARE) < 0)
2209               bestp = p;
2210         }
2211       return bestp;
2212     }
2213 #if 0
2214   if (name == NAMESPACE_LANGUAGE)
2215     {
2216       if (!strcmp(pool_id2str(pool, evr), "ja"))
2217         return 1;
2218       if (!strcmp(pool_id2str(pool, evr), "de"))
2219         return 1;
2220       if (!strcmp(pool_id2str(pool, evr), "en"))
2221         return 1;
2222       if (!strcmp(pool_id2str(pool, evr), "en_US"))
2223         return 1;
2224     }
2225 #endif
2226   return 0;
2227 }
2228 #endif
2229
2230 #ifdef SOFTLOCKS_PATH
2231 void
2232 addsoftlocks(Pool *pool, Queue *job)
2233 {
2234   FILE *fp;
2235   Id type, id, p, pp;
2236   char *bp, *ep, buf[4096];
2237
2238   if ((fp = fopen(SOFTLOCKS_PATH, "r")) == 0)
2239     return;
2240   while((bp = fgets(buf, sizeof(buf), fp)) != 0)
2241     {
2242       while (*bp == ' ' || *bp == '\t')
2243         bp++;
2244       if (!*bp || *bp == '#')
2245         continue;
2246       for (ep = bp; *ep; ep++)
2247         if (*ep == ' ' || *ep == '\t' || *ep == '\n')
2248           break;
2249       *ep = 0;
2250       type = SOLVER_SOLVABLE_NAME;
2251       if (!strncmp(bp, "provides:", 9) && bp[9])
2252         {
2253           type = SOLVER_SOLVABLE_PROVIDES;
2254           bp += 9;
2255         }
2256       id = pool_str2id(pool, bp, 1);
2257       if (pool->installed)
2258         {
2259           FOR_JOB_SELECT(p, pp, type, id)
2260             if (pool->solvables[p].repo == pool->installed)
2261               break;
2262           if (p)
2263             continue;   /* ignore, as it is already installed */
2264         }
2265       queue_push2(job, SOLVER_LOCK|SOLVER_WEAK|type, id);
2266     }
2267   fclose(fp);
2268 }
2269 #endif
2270
2271
2272 #if defined(ENABLE_RPMDB)
2273
2274 static void
2275 rewrite_repos(Pool *pool, Queue *addedfileprovides, Queue *addedfileprovides_inst)
2276 {
2277   Repo *repo;
2278   Repodata *data;
2279   Map providedids;
2280   Queue fileprovidesq;
2281   int i, j, n;
2282   struct repoinfo *cinfo;
2283
2284   map_init(&providedids, pool->ss.nstrings);
2285   queue_init(&fileprovidesq);
2286   for (i = 0; i < addedfileprovides->count; i++)
2287     MAPSET(&providedids, addedfileprovides->elements[i]);
2288   FOR_REPOS(i, repo)
2289     {
2290       /* make sure all repodatas but the first are extensions */
2291       if (repo->nrepodata < 2)
2292         continue;
2293       cinfo = repo->appdata;
2294       if (cinfo && cinfo->incomplete)
2295         continue;
2296       data = repo_id2repodata(repo, 1);
2297       if (data->loadcallback)
2298         continue;
2299       for (j = 2; j < repo->nrepodata; j++)
2300         {
2301           Repodata *edata = repo_id2repodata(repo, j);
2302           if (!edata->loadcallback)
2303             break;
2304         }
2305       if (j < repo->nrepodata)
2306         continue;       /* found a non-externsion repodata, can't rewrite  */
2307       if (repodata_lookup_idarray(data, SOLVID_META, REPOSITORY_ADDEDFILEPROVIDES, &fileprovidesq))
2308         {
2309           if (repo == pool->installed && addedfileprovides_inst)
2310             {
2311               for (j = 0; j < addedfileprovides->count; j++)
2312                 MAPCLR(&providedids, addedfileprovides->elements[j]);
2313               for (j = 0; j < addedfileprovides_inst->count; j++)
2314                 MAPSET(&providedids, addedfileprovides_inst->elements[j]);
2315             }
2316           n = 0;
2317           for (j = 0; j < fileprovidesq.count; j++)
2318             if (MAPTST(&providedids, fileprovidesq.elements[j]))
2319               n++;
2320           if (repo == pool->installed && addedfileprovides_inst)
2321             {
2322               for (j = 0; j < addedfileprovides_inst->count; j++)
2323                 MAPCLR(&providedids, addedfileprovides_inst->elements[j]);
2324               for (j = 0; j < addedfileprovides->count; j++)
2325                 MAPSET(&providedids, addedfileprovides->elements[j]);
2326               if (n == addedfileprovides_inst->count)
2327                 continue;       /* nothing new added */
2328             }
2329           else if (n == addedfileprovides->count)
2330             continue;   /* nothing new added */
2331         }
2332       repodata_set_idarray(data, SOLVID_META, REPOSITORY_ADDEDFILEPROVIDES, repo == pool->installed && addedfileprovides_inst ? addedfileprovides_inst : addedfileprovides);
2333       repodata_internalize(data);
2334       writecachedrepo(repo, data, 0, cinfo ? cinfo->cookie : installedcookie);
2335     }
2336   queue_free(&fileprovidesq);
2337   map_free(&providedids);
2338 }
2339
2340 static void
2341 addfileprovides(Pool *pool)
2342 {
2343   Queue addedfileprovides;
2344   Queue addedfileprovides_inst;
2345
2346   queue_init(&addedfileprovides);
2347   queue_init(&addedfileprovides_inst);
2348   pool_addfileprovides_queue(pool, &addedfileprovides, &addedfileprovides_inst);
2349   if (addedfileprovides.count || addedfileprovides_inst.count)
2350     rewrite_repos(pool, &addedfileprovides, &addedfileprovides_inst);
2351   queue_free(&addedfileprovides);
2352   queue_free(&addedfileprovides_inst);
2353 }
2354
2355 #endif
2356
2357 #if defined(SUSE) || defined(FEDORA)
2358 static void
2359 add_patchjobs(Pool *pool, Queue *job)
2360 {
2361   Id p, pp;
2362   int pruneyou = 0;
2363   Map installedmap, multiversionmap;
2364   Solvable *s;
2365
2366   map_init(&multiversionmap, 0);
2367   map_init(&installedmap, pool->nsolvables);
2368   solver_calculate_multiversionmap(pool, job, &multiversionmap);
2369   if (pool->installed)
2370     FOR_REPO_SOLVABLES(pool->installed, p, s)
2371       MAPSET(&installedmap, p);
2372
2373   /* install all patches */
2374   for (p = 1; p < pool->nsolvables; p++)
2375     {
2376       const char *type;
2377       int r;
2378       Id p2;
2379
2380       s = pool->solvables + p;
2381       if (strncmp(pool_id2str(pool, s->name), "patch:", 6) != 0)
2382         continue;
2383       FOR_PROVIDES(p2, pp, s->name)
2384         {
2385           Solvable *s2 = pool->solvables + p2;
2386           if (s2->name != s->name)
2387             continue;
2388           r = pool_evrcmp(pool, s->evr, s2->evr, EVRCMP_COMPARE);
2389           if (r < 0 || (r == 0 && p > p2))
2390             break;
2391         }
2392       if (p2)
2393         continue;
2394       type = solvable_lookup_str(s, SOLVABLE_PATCHCATEGORY);
2395       if (type && !strcmp(type, "optional"))
2396         continue;
2397       r = solvable_trivial_installable_map(s, &installedmap, 0, &multiversionmap);
2398       if (r == -1)
2399         continue;
2400       if (solvable_lookup_bool(s, UPDATE_RESTART) && r == 0)
2401         {
2402           if (!pruneyou++)
2403             queue_empty(job);
2404         }
2405       else if (pruneyou)
2406         continue;
2407       queue_push2(job, SOLVER_SOLVABLE, p);
2408     }
2409   map_free(&installedmap);
2410   map_free(&multiversionmap);
2411 }
2412 #endif
2413
2414 #ifdef SUSE
2415 static void
2416 showdiskusagechanges(Transaction *trans)
2417 {
2418   DUChanges duc[4];
2419   int i;
2420
2421   /* XXX: use mountpoints here */
2422   duc[0].path = "/";
2423   duc[1].path = "/usr/share/man";
2424   duc[2].path = "/sbin";
2425   duc[3].path = "/etc";
2426   transaction_calc_duchanges(trans, duc, 4);
2427   for (i = 0; i < 4; i++)
2428     printf("duchanges %s: %d K  %d inodes\n", duc[i].path, duc[i].kbytes, duc[i].files);
2429 }
2430 #endif
2431
2432 #if defined(ENABLE_RPMDB)
2433 static FILE *
2434 trydeltadownload(Solvable *s, struct repoinfo *cinfo, const char *loc)
2435 {
2436   Pool *pool = s->repo->pool;
2437   Dataiterator di;
2438   Id pp;
2439   const unsigned char *chksum;
2440   Id chksumtype;
2441   FILE *retfp = 0;
2442   char *matchname = strdup(pool_id2str(pool, s->name));
2443
2444   dataiterator_init(&di, pool, s->repo, SOLVID_META, DELTA_PACKAGE_NAME, matchname, SEARCH_STRING);
2445   dataiterator_prepend_keyname(&di, REPOSITORY_DELTAINFO);
2446   while (dataiterator_step(&di))
2447     {
2448       Id baseevr, op;
2449
2450       dataiterator_setpos_parent(&di);
2451       if (pool_lookup_id(pool, SOLVID_POS, DELTA_PACKAGE_EVR) != s->evr ||
2452           pool_lookup_id(pool, SOLVID_POS, DELTA_PACKAGE_ARCH) != s->arch)
2453         continue;
2454       baseevr = pool_lookup_id(pool, SOLVID_POS, DELTA_BASE_EVR);
2455       FOR_PROVIDES(op, pp, s->name)
2456         {
2457           Solvable *os = pool->solvables + op;
2458           if (os->repo == pool->installed && os->name == s->name && os->arch == s->arch && os->evr == baseevr)
2459             break;
2460         }
2461       if (op && access("/usr/bin/applydeltarpm", X_OK) == 0)
2462         {
2463           /* base is installed, run sequence check */
2464           const char *seq;
2465           const char *dloc;
2466           const char *archstr;
2467           FILE *fp;
2468           char cmd[128];
2469           int newfd;
2470
2471           archstr = pool_id2str(pool, s->arch);
2472           if (strlen(archstr) > 10 || strchr(archstr, '\'') != 0)
2473             continue;
2474
2475           seq = pool_tmpjoin(pool, pool_lookup_str(pool, SOLVID_POS, DELTA_SEQ_NAME), "-", pool_lookup_str(pool, SOLVID_POS, DELTA_SEQ_EVR));
2476           seq = pool_tmpappend(pool, seq, "-", pool_lookup_str(pool, SOLVID_POS, DELTA_SEQ_NUM));
2477           if (strchr(seq, '\'') != 0)
2478             continue;
2479 #ifdef FEDORA
2480           sprintf(cmd, "/usr/bin/applydeltarpm -a '%s' -c -s '", archstr);
2481 #else
2482           sprintf(cmd, "/usr/bin/applydeltarpm -c -s '");
2483 #endif
2484           if (system(pool_tmpjoin(pool, cmd, seq, "'")) != 0)
2485             continue;   /* didn't match */
2486           /* looks good, download delta */
2487           chksumtype = 0;
2488           chksum = pool_lookup_bin_checksum(pool, SOLVID_POS, DELTA_CHECKSUM, &chksumtype);
2489           if (!chksumtype)
2490             continue;   /* no way! */
2491           dloc = pool_lookup_deltalocation(pool, SOLVID_POS, 0);
2492           if (!dloc)
2493             continue;
2494 #ifdef ENABLE_SUSEREPO
2495           if (cinfo->type == TYPE_SUSETAGS)
2496             {
2497               const char *datadir = repo_lookup_str(cinfo->repo, SOLVID_META, SUSETAGS_DATADIR);
2498               dloc = pool_tmpjoin(pool, datadir ? datadir : "suse", "/", dloc);
2499             }
2500 #endif
2501           if ((fp = curlfopen(cinfo, dloc, 0, chksum, chksumtype, 0)) == 0)
2502             continue;
2503           /* got it, now reconstruct */
2504           newfd = opentmpfile();
2505 #ifdef FEDORA
2506           sprintf(cmd, "applydeltarpm -a '%s' /dev/fd/%d /dev/fd/%d", archstr, fileno(fp), newfd);
2507 #else
2508           sprintf(cmd, "applydeltarpm /dev/fd/%d /dev/fd/%d", fileno(fp), newfd);
2509 #endif
2510           fcntl(fileno(fp), F_SETFD, 0);
2511           if (system(cmd))
2512             {
2513               close(newfd);
2514               fclose(fp);
2515               continue;
2516             }
2517           lseek(newfd, 0, SEEK_SET);
2518           chksumtype = 0;
2519           chksum = solvable_lookup_bin_checksum(s, SOLVABLE_CHECKSUM, &chksumtype);
2520           if (chksumtype && !verify_checksum(newfd, loc, chksum, chksumtype))
2521             {
2522               close(newfd);
2523               fclose(fp);
2524               continue;
2525             }
2526           retfp = fdopen(newfd, "r");
2527           fclose(fp);
2528           break;
2529         }
2530     }
2531   dataiterator_free(&di);
2532   solv_free(matchname);
2533   return retfp;
2534 }
2535 #endif
2536
2537
2538 #define MODE_LIST        0
2539 #define MODE_INSTALL     1
2540 #define MODE_ERASE       2
2541 #define MODE_UPDATE      3
2542 #define MODE_DISTUPGRADE 4
2543 #define MODE_VERIFY      5
2544 #define MODE_PATCH       6
2545 #define MODE_INFO        7
2546 #define MODE_REPOLIST    8
2547 #define MODE_SEARCH      9
2548
2549 void
2550 usage(int r)
2551 {
2552   fprintf(stderr, "Usage: solv COMMAND <select>\n");
2553   fprintf(stderr, "\n");
2554   fprintf(stderr, "    dist-upgrade: replace installed packages with\n");
2555   fprintf(stderr, "                  versions from the repositories\n");
2556   fprintf(stderr, "    erase:        erase installed packages\n");
2557   fprintf(stderr, "    info:         display package information\n");
2558   fprintf(stderr, "    install:      install packages\n");
2559   fprintf(stderr, "    list:         list packages\n");
2560   fprintf(stderr, "    repos:        list enabled repositories\n");
2561   fprintf(stderr, "    search:       search name/summary/description\n");
2562   fprintf(stderr, "    update:       update installed packages\n");
2563   fprintf(stderr, "    verify:       check dependencies of installed packages\n");
2564 #if defined(SUSE) || defined(FEDORA)
2565   fprintf(stderr, "    patch:        install newest patches\n");
2566 #endif
2567   fprintf(stderr, "\n");
2568   exit(r);
2569 }
2570
2571 int
2572 main(int argc, char **argv)
2573 {
2574   Pool *pool;
2575   Repo *commandlinerepo = 0;
2576   Id *commandlinepkgs = 0;
2577   Id p;
2578   struct repoinfo *repoinfos;
2579   int nrepoinfos = 0;
2580   int mainmode = 0, mode = 0;
2581   int i, newpkgs;
2582   Queue job, checkq;
2583   Solver *solv = 0;
2584   Transaction *trans;
2585   FILE **newpkgsfps;
2586   Queue repofilter;
2587   int cleandeps = 0;
2588   int forcebest = 0;
2589   char *rootdir = 0;
2590
2591   argc--;
2592   argv++;
2593   if (!argv[0])
2594     usage(1);
2595   if (!strcmp(argv[0], "install") || !strcmp(argv[0], "in"))
2596     {
2597       mainmode = MODE_INSTALL;
2598       mode = SOLVER_INSTALL;
2599     }
2600 #if defined(SUSE) || defined(FEDORA)
2601   else if (!strcmp(argv[0], "patch"))
2602     {
2603       mainmode = MODE_PATCH;
2604       mode = SOLVER_INSTALL;
2605     }
2606 #endif
2607   else if (!strcmp(argv[0], "erase") || !strcmp(argv[0], "rm"))
2608     {
2609       mainmode = MODE_ERASE;
2610       mode = SOLVER_ERASE;
2611     }
2612   else if (!strcmp(argv[0], "list"))
2613     {
2614       mainmode = MODE_LIST;
2615       mode = 0;
2616     }
2617   else if (!strcmp(argv[0], "info"))
2618     {
2619       mainmode = MODE_INFO;
2620       mode = 0;
2621     }
2622   else if (!strcmp(argv[0], "search") || !strcmp(argv[0], "se"))
2623     {
2624       mainmode = MODE_SEARCH;
2625       mode = 0;
2626     }
2627   else if (!strcmp(argv[0], "verify"))
2628     {
2629       mainmode = MODE_VERIFY;
2630       mode = SOLVER_VERIFY;
2631     }
2632   else if (!strcmp(argv[0], "update") || !strcmp(argv[0], "up"))
2633     {
2634       mainmode = MODE_UPDATE;
2635       mode = SOLVER_UPDATE;
2636     }
2637   else if (!strcmp(argv[0], "dist-upgrade") || !strcmp(argv[0], "dup"))
2638     {
2639       mainmode = MODE_DISTUPGRADE;
2640       mode = SOLVER_DISTUPGRADE;
2641     }
2642   else if (!strcmp(argv[0], "repos") || !strcmp(argv[0], "repolist") || !strcmp(argv[0], "lr"))
2643     {
2644       mainmode = MODE_REPOLIST;
2645       mode = 0;
2646     }
2647   else
2648     usage(1);
2649
2650   for (;;)
2651     {
2652       if (argc > 2 && !strcmp(argv[1], "--root"))
2653         {
2654           rootdir = argv[2];
2655           argc -= 2;
2656           argv += 2;
2657         }
2658
2659       else if (argc > 1 && !strcmp(argv[1], "--clean"))
2660         {
2661           cleandeps = 1;
2662           argc--;
2663           argv++;
2664         }
2665       else if (argc > 1 && !strcmp(argv[1], "--best"))
2666         {
2667           forcebest = 1;
2668           argc--;
2669           argv++;
2670         }
2671       else
2672         break;
2673     }
2674
2675   pool = pool_create();
2676   pool_set_rootdir(pool, rootdir);
2677
2678 #if 0
2679   {
2680     const char *langs[] = {"de_DE", "de", "en"};
2681     pool_set_languages(pool, langs, sizeof(langs)/sizeof(*langs));
2682   }
2683 #endif
2684
2685   pool_setloadcallback(pool, load_stub, 0);
2686 #ifdef SUSE
2687   pool->nscallback = nscallback;
2688 #endif
2689   // pool_setdebuglevel(pool, 2);
2690   setarch(pool);
2691   repoinfos = read_repoinfos(pool, &nrepoinfos);
2692
2693   if (mainmode == MODE_REPOLIST)
2694     {
2695       int j = 1;
2696       for (i = 0; i < nrepoinfos; i++)
2697         {
2698           struct repoinfo *cinfo = repoinfos + i;
2699           if (!cinfo->enabled)
2700             continue;
2701           printf("%d: %-20s %s (prio %d)\n", j++, cinfo->alias, cinfo->name, cinfo->priority);
2702         }
2703       exit(0);
2704     }
2705
2706   read_repos(pool, repoinfos, nrepoinfos);
2707
2708   /* setup repofilter */
2709   queue_init(&repofilter);
2710   while (argc > 2 && !strcmp(argv[1], "-r"))
2711     {
2712       const char *rname = argv[2], *rp;
2713       Id repoid = 0;
2714       for (rp = rname; *rp; rp++)
2715         if (*rp <= '0' || *rp >= '9')
2716           break;
2717       if (!*rp)
2718         {
2719           /* repo specified by number */
2720           int rnum = atoi(rname);
2721           for (i = 0; i < nrepoinfos; i++)
2722             {
2723               struct repoinfo *cinfo = repoinfos + i;
2724               if (!cinfo->enabled)
2725                 continue;
2726               if (--rnum == 0)
2727                 repoid = cinfo->repo->repoid;
2728             }
2729         }
2730       else
2731         {
2732           /* repo specified by alias */
2733           Repo *repo;
2734           FOR_REPOS(i, repo)
2735             {
2736               if (!strcasecmp(rname, repo->name))
2737                 repoid = repo->repoid;
2738             }
2739         }
2740       if (!repoid)
2741         {
2742           fprintf(stderr, "%s: no such repo\n", rname);
2743           exit(1);
2744         }
2745       /* SETVENDOR is actually wrong but useful */
2746       queue_push2(&repofilter, SOLVER_SOLVABLE_REPO | SOLVER_SETREPO | SOLVER_SETVENDOR, repoid);
2747       argc -= 2;
2748       argv += 2;
2749     }
2750
2751   if (mainmode == MODE_SEARCH)
2752     {
2753       Queue sel, q;
2754       Dataiterator di;
2755       if (argc != 2)
2756         usage(1);
2757       pool_createwhatprovides(pool);
2758       queue_init(&sel);
2759       dataiterator_init(&di, pool, 0, 0, 0, argv[1], SEARCH_SUBSTRING|SEARCH_NOCASE);
2760       dataiterator_set_keyname(&di, SOLVABLE_NAME);
2761       dataiterator_set_search(&di, 0, 0);
2762       while (dataiterator_step(&di))
2763         queue_push2(&sel, SOLVER_SOLVABLE, di.solvid);
2764       dataiterator_set_keyname(&di, SOLVABLE_SUMMARY);
2765       dataiterator_set_search(&di, 0, 0);
2766       while (dataiterator_step(&di))
2767         queue_push2(&sel, SOLVER_SOLVABLE, di.solvid);
2768       dataiterator_set_keyname(&di, SOLVABLE_DESCRIPTION);
2769       dataiterator_set_search(&di, 0, 0);
2770       while (dataiterator_step(&di))
2771         queue_push2(&sel, SOLVER_SOLVABLE, di.solvid);
2772       dataiterator_free(&di);
2773       if (repofilter.count)
2774         selection_filter(pool, &sel, &repofilter);
2775         
2776       queue_init(&q);
2777       selection_solvables(pool, &sel, &q);
2778       queue_free(&sel);
2779       for (i = 0; i < q.count; i++)
2780         {
2781           Solvable *s = pool_id2solvable(pool, q.elements[i]);
2782           printf("  - %s [%s]: %s\n", pool_solvable2str(pool, s), s->repo->name, solvable_lookup_str(s, SOLVABLE_SUMMARY));
2783         }
2784       queue_free(&q);
2785       exit(0);
2786     }
2787
2788   /* process command line packages */
2789   if (mainmode == MODE_LIST || mainmode == MODE_INSTALL)
2790     {
2791       for (i = 1; i < argc; i++)
2792         {
2793           int l;
2794           l = strlen(argv[i]);
2795 #if defined(ENABLE_RPMDB) && (defined(SUSE) || defined(FEDORA))
2796           if (l <= 4 || strcmp(argv[i] + l - 4, ".rpm"))
2797             continue;
2798 #endif
2799 #if defined(ENABLE_DEBIAN) && defined(DEBIAN)
2800           if (l <= 4 || strcmp(argv[i] + l - 4, ".deb"))
2801             continue;
2802 #endif
2803           if (access(argv[i], R_OK))
2804             {
2805               perror(argv[i]);
2806               exit(1);
2807             }
2808           if (!commandlinepkgs)
2809             commandlinepkgs = solv_calloc(argc, sizeof(Id));
2810           if (!commandlinerepo)
2811             commandlinerepo = repo_create(pool, "@commandline");
2812           p = 0;
2813 #if defined(ENABLE_RPMDB) && (defined(SUSE) || defined(FEDORA))
2814           p = repo_add_rpm(commandlinerepo, (const char *)argv[i], REPO_REUSE_REPODATA|REPO_NO_INTERNALIZE);
2815 #endif
2816 #if defined(ENABLE_DEBIAN) && defined(DEBIAN)
2817           p = repo_add_deb(commandlinerepo, (const char *)argv[i], REPO_REUSE_REPODATA|REPO_NO_INTERNALIZE);
2818 #endif
2819           if (!p)
2820             {
2821               fprintf(stderr, "could not add '%s'\n", argv[i]);
2822               exit(1);
2823             }
2824           commandlinepkgs[i] = p;
2825         }
2826       if (commandlinerepo)
2827         repo_internalize(commandlinerepo);
2828     }
2829
2830   // FOR_REPOS(i, repo)
2831   //   printf("%s: %d solvables\n", repo->name, repo->nsolvables);
2832
2833 #if defined(ENABLE_RPMDB)
2834   addfileprovides(pool);
2835 #endif
2836   pool_createwhatprovides(pool);
2837
2838   queue_init(&job);
2839   for (i = 1; i < argc; i++)
2840     {
2841       Queue job2;
2842       int j, flags, rflags;
2843
2844       if (commandlinepkgs && commandlinepkgs[i])
2845         {
2846           queue_push2(&job, SOLVER_SOLVABLE, commandlinepkgs[i]);
2847           continue;
2848         }
2849       queue_init(&job2);
2850       flags = SELECTION_NAME|SELECTION_PROVIDES|SELECTION_GLOB;
2851       flags |= SELECTION_CANON|SELECTION_DOTARCH|SELECTION_REL;
2852       if (mode == MODE_LIST)
2853         flags |= SELECTION_WITH_SOURCE;
2854       if (argv[i][0] == '/')
2855         flags |= SELECTION_FILELIST | (mode == MODE_ERASE ? SELECTION_INSTALLED_ONLY : 0);
2856       rflags = selection_make(pool, &job2, argv[i], flags);
2857       if (repofilter.count)
2858         selection_filter(pool, &job2, &repofilter);
2859       if (!job2.count)
2860         {
2861           flags |= SELECTION_NOCASE;
2862           rflags = selection_make(pool, &job2, argv[i], flags);
2863           if (repofilter.count)
2864             selection_filter(pool, &job2, &repofilter);
2865           if (job2.count)
2866             printf("[ignoring case for '%s']\n", argv[i]);
2867         }
2868       if (!job2.count)
2869         {
2870           fprintf(stderr, "nothing matches '%s'\n", argv[i]);
2871           exit(1);
2872         }
2873       if (rflags & SELECTION_FILELIST)
2874         printf("[using file list match for '%s']\n", argv[i]);
2875       if (rflags & SELECTION_PROVIDES)
2876         printf("[using capability match for '%s']\n", argv[i]);
2877       for (j = 0; j < job2.count; j++)
2878         queue_push(&job, job2.elements[j]);
2879       queue_free(&job2);
2880     }
2881
2882   if (!job.count && (mainmode == MODE_UPDATE || mainmode == MODE_DISTUPGRADE || mainmode == MODE_VERIFY || repofilter.count))
2883     {
2884       queue_push2(&job, SOLVER_SOLVABLE_ALL, 0);
2885       if (repofilter.count)
2886         selection_filter(pool, &job, &repofilter);
2887     }
2888   queue_free(&repofilter);
2889
2890   if (!job.count && mainmode != MODE_PATCH)
2891     {
2892       printf("no package matched\n");
2893       exit(1);
2894     }
2895
2896   if (mainmode == MODE_LIST || mainmode == MODE_INFO)
2897     {
2898       /* list mode, no solver needed */
2899       Queue q;
2900       queue_init(&q);
2901       for (i = 0; i < job.count; i += 2)
2902         {
2903           int j;
2904           queue_empty(&q);
2905           pool_job2solvables(pool, &q, job.elements[i], job.elements[i + 1]);
2906           for (j = 0; j < q.count; j++)
2907             {
2908               Solvable *s = pool_id2solvable(pool, q.elements[j]);
2909               if (mainmode == MODE_INFO)
2910                 {
2911                   const char *str;
2912                   printf("Name:        %s\n", pool_solvable2str(pool, s));
2913                   printf("Repo:        %s\n", s->repo->name);
2914                   printf("Summary:     %s\n", solvable_lookup_str(s, SOLVABLE_SUMMARY));
2915                   str = solvable_lookup_str(s, SOLVABLE_URL);
2916                   if (str)
2917                     printf("Url:         %s\n", str);
2918                   str = solvable_lookup_str(s, SOLVABLE_LICENSE);
2919                   if (str)
2920                     printf("License:     %s\n", str);
2921                   printf("Description:\n%s\n", solvable_lookup_str(s, SOLVABLE_DESCRIPTION));
2922                   printf("\n");
2923                 }
2924               else
2925                 {
2926 #if 1
2927                   const char *sum = solvable_lookup_str_lang(s, SOLVABLE_SUMMARY, "de", 1);
2928 #else
2929                   const char *sum = solvable_lookup_str_poollang(s, SOLVABLE_SUMMARY);
2930 #endif
2931                   printf("  - %s [%s]\n", pool_solvable2str(pool, s), s->repo->name);
2932                   if (sum)
2933                     printf("    %s\n", sum);
2934                 }
2935             }
2936         }
2937       queue_free(&q);
2938       queue_free(&job);
2939       pool_free(pool);
2940       free_repoinfos(repoinfos, nrepoinfos);
2941       solv_free(commandlinepkgs);
2942 #ifdef FEDORA
2943       yum_substitute(pool, 0);
2944 #endif
2945       exit(0);
2946     }
2947
2948 #if defined(SUSE) || defined(FEDORA)
2949   if (mainmode == MODE_PATCH)
2950     add_patchjobs(pool, &job);
2951 #endif
2952
2953   // add mode
2954   for (i = 0; i < job.count; i += 2)
2955     {
2956       job.elements[i] |= mode;
2957       if (mode == SOLVER_UPDATE && pool_isemptyupdatejob(pool, job.elements[i], job.elements[i + 1]))
2958         job.elements[i] ^= SOLVER_UPDATE ^ SOLVER_INSTALL;
2959       if (cleandeps)
2960         job.elements[i] |= SOLVER_CLEANDEPS;
2961       if (forcebest)
2962         job.elements[i] |= SOLVER_FORCEBEST;
2963     }
2964
2965   // multiversion test
2966   // queue_push2(&job, SOLVER_MULTIVERSION|SOLVER_SOLVABLE_NAME, pool_str2id(pool, "kernel-pae", 1));
2967   // queue_push2(&job, SOLVER_MULTIVERSION|SOLVER_SOLVABLE_NAME, pool_str2id(pool, "kernel-pae-base", 1));
2968   // queue_push2(&job, SOLVER_MULTIVERSION|SOLVER_SOLVABLE_NAME, pool_str2id(pool, "kernel-pae-extra", 1));
2969 #if 0
2970   queue_push2(&job, SOLVER_INSTALL|SOLVER_SOLVABLE_PROVIDES, pool_rel2id(pool, NAMESPACE_LANGUAGE, 0, REL_NAMESPACE, 1));
2971   queue_push2(&job, SOLVER_ERASE|SOLVER_CLEANDEPS|SOLVER_SOLVABLE_PROVIDES, pool_rel2id(pool, NAMESPACE_LANGUAGE, 0, REL_NAMESPACE, 1));
2972 #endif
2973
2974 #ifdef SOFTLOCKS_PATH
2975   addsoftlocks(pool, &job);
2976 #endif
2977
2978 #if defined(ENABLE_RPMDB) && (defined(SUSE) || defined(FEDORA))
2979 rerunsolver:
2980 #endif
2981   solv = solver_create(pool);
2982   solver_set_flag(solv, SOLVER_FLAG_SPLITPROVIDES, 1);
2983 #ifdef FEDORA
2984   solver_set_flag(solv, SOLVER_FLAG_ALLOW_VENDORCHANGE, 1);
2985 #endif
2986   if (mainmode == MODE_ERASE)
2987     solver_set_flag(solv, SOLVER_FLAG_ALLOW_UNINSTALL, 1);      /* don't nag */
2988   solver_set_flag(solv, SOLVER_FLAG_BEST_OBEY_POLICY, 1);
2989
2990   for (;;)
2991     {
2992       Id problem, solution;
2993       int pcnt, scnt;
2994
2995       if (!solver_solve(solv, &job))
2996         break;
2997       pcnt = solver_problem_count(solv);
2998       printf("Found %d problems:\n", pcnt);
2999       for (problem = 1; problem <= pcnt; problem++)
3000         {
3001           int take = 0;
3002           printf("Problem %d/%d:\n", problem, pcnt);
3003           solver_printprobleminfo(solv, problem);
3004           printf("\n");
3005           scnt = solver_solution_count(solv, problem);
3006           for (solution = 1; solution <= scnt; solution++)
3007             {
3008               printf("Solution %d:\n", solution);
3009               solver_printsolution(solv, problem, solution);
3010               printf("\n");
3011             }
3012           for (;;)
3013             {
3014               char inbuf[128], *ip;
3015               printf("Please choose a solution: ");
3016               fflush(stdout);
3017               *inbuf = 0;
3018               if (!(ip = fgets(inbuf, sizeof(inbuf), stdin)))
3019                 {
3020                   printf("Abort.\n");
3021                   exit(1);
3022                 }
3023               while (*ip == ' ' || *ip == '\t')
3024                 ip++;
3025               if (*ip >= '0' && *ip <= '9')
3026                 {
3027                   take = atoi(ip);
3028                   if (take >= 1 && take <= scnt)
3029                     break;
3030                 }
3031               if (*ip == 's')
3032                 {
3033                   take = 0;
3034                   break;
3035                 }
3036               if (*ip == 'q')
3037                 {
3038                   printf("Abort.\n");
3039                   exit(1);
3040                 }
3041             }
3042           if (!take)
3043             continue;
3044           solver_take_solution(solv, problem, take, &job);
3045         }
3046     }
3047
3048   trans = solver_create_transaction(solv);
3049   if (!trans->steps.count)
3050     {
3051       printf("Nothing to do.\n");
3052       transaction_free(trans);
3053       solver_free(solv);
3054       queue_free(&job);
3055       pool_free(pool);
3056       free_repoinfos(repoinfos, nrepoinfos);
3057       solv_free(commandlinepkgs);
3058 #ifdef FEDORA
3059       yum_substitute(pool, 0);
3060 #endif
3061       exit(1);
3062     }
3063
3064   /* display transaction to the user and ask for confirmation */
3065   printf("\n");
3066   printf("Transaction summary:\n\n");
3067   transaction_print(trans);
3068 #if defined(SUSE)
3069   showdiskusagechanges(trans);
3070 #endif
3071   printf("install size change: %d K\n", transaction_calc_installsizechange(trans));
3072   printf("\n");
3073
3074   if (!yesno("OK to continue (y/n)? "))
3075     {
3076       printf("Abort.\n");
3077       transaction_free(trans);
3078       solver_free(solv);
3079       queue_free(&job);
3080       pool_free(pool);
3081       free_repoinfos(repoinfos, nrepoinfos);
3082       solv_free(commandlinepkgs);
3083 #ifdef FEDORA
3084       yum_substitute(pool, 0);
3085 #endif
3086       exit(1);
3087     }
3088
3089   /* download all new packages */
3090   queue_init(&checkq);
3091   newpkgs = transaction_installedresult(trans, &checkq);
3092   newpkgsfps = 0;
3093   if (newpkgs)
3094     {
3095       int downloadsize = 0;
3096       for (i = 0; i < newpkgs; i++)
3097         {
3098           Solvable *s;
3099
3100           p = checkq.elements[i];
3101           s = pool_id2solvable(pool, p);
3102           downloadsize += solvable_lookup_sizek(s, SOLVABLE_DOWNLOADSIZE, 0);
3103         }
3104       printf("Downloading %d packages, %d K\n", newpkgs, downloadsize);
3105       newpkgsfps = solv_calloc(newpkgs, sizeof(*newpkgsfps));
3106       for (i = 0; i < newpkgs; i++)
3107         {
3108           unsigned int medianr;
3109           const char *loc;
3110           Solvable *s;
3111           struct repoinfo *cinfo;
3112           const unsigned char *chksum;
3113           Id chksumtype;
3114
3115           p = checkq.elements[i];
3116           s = pool_id2solvable(pool, p);
3117           if (s->repo == commandlinerepo)
3118             {
3119               loc = solvable_lookup_location(s, &medianr);
3120               if (!(newpkgsfps[i] = fopen(loc, "r")))
3121                 {
3122                   perror(loc);
3123                   exit(1);
3124                 }
3125               putchar('.');
3126               continue;
3127             }
3128           cinfo = s->repo->appdata;
3129           if (!cinfo)
3130             {
3131               printf("%s: no repository information\n", s->repo->name);
3132               exit(1);
3133             }
3134           loc = solvable_lookup_location(s, &medianr);
3135           if (!loc)
3136              continue;
3137 #if defined(ENABLE_RPMDB)
3138           if (pool->installed && pool->installed->nsolvables)
3139             {
3140               if ((newpkgsfps[i] = trydeltadownload(s, cinfo, loc)) != 0)
3141                 {
3142                   putchar('d');
3143                   fflush(stdout);
3144                   continue;             /* delta worked! */
3145                 }
3146             }
3147 #endif
3148 #ifdef ENABLE_SUSEREPO
3149           if (cinfo->type == TYPE_SUSETAGS)
3150             {
3151               const char *datadir = repo_lookup_str(cinfo->repo, SOLVID_META, SUSETAGS_DATADIR);
3152               loc = pool_tmpjoin(pool, datadir ? datadir : "suse", "/", loc);
3153             }
3154 #endif
3155           chksumtype = 0;
3156           chksum = solvable_lookup_bin_checksum(s, SOLVABLE_CHECKSUM, &chksumtype);
3157           if ((newpkgsfps[i] = curlfopen(cinfo, loc, 0, chksum, chksumtype, 0)) == 0)
3158             {
3159               printf("\n%s: %s not found in repository\n", s->repo->name, loc);
3160               exit(1);
3161             }
3162           putchar('.');
3163           fflush(stdout);
3164         }
3165       putchar('\n');
3166     }
3167
3168 #if defined(ENABLE_RPMDB) && (defined(SUSE) || defined(FEDORA))
3169   /* check for file conflicts */
3170   if (newpkgs)
3171     {
3172       Queue conflicts;
3173       struct fcstate fcstate;
3174
3175       printf("Searching for file conflicts\n");
3176       queue_init(&conflicts);
3177       fcstate.rpmstate = rpm_state_create(pool, rootdir);
3178       fcstate.newpkgscnt = newpkgs;
3179       fcstate.checkq = &checkq;
3180       fcstate.newpkgsfps = newpkgsfps;
3181       pool_findfileconflicts(pool, &checkq, newpkgs, &conflicts, FINDFILECONFLICTS_USE_SOLVABLEFILELIST | FINDFILECONFLICTS_CHECK_DIRALIASING | FINDFILECONFLICTS_USE_ROOTDIR, &fileconflict_cb, &fcstate);
3182       fcstate.rpmstate = rpm_state_free(fcstate.rpmstate);
3183       if (conflicts.count)
3184         {
3185           printf("\n");
3186           for (i = 0; i < conflicts.count; i += 6)
3187             printf("file %s of package %s conflicts with package %s\n", pool_id2str(pool, conflicts.elements[i]), pool_solvid2str(pool, conflicts.elements[i + 1]), pool_solvid2str(pool, conflicts.elements[i + 4]));
3188           printf("\n");
3189           if (yesno("Re-run solver (y/n/q)? "))
3190             {
3191               for (i = 0; i < newpkgs; i++)
3192                 if (newpkgsfps[i])
3193                   fclose(newpkgsfps[i]);
3194               newpkgsfps = solv_free(newpkgsfps);
3195               solver_free(solv);
3196               solv = 0;
3197               pool_add_fileconflicts_deps(pool, &conflicts);
3198               goto rerunsolver;
3199             }
3200         }
3201       queue_free(&conflicts);
3202     }
3203 #endif
3204
3205   /* and finally commit the transaction */
3206   printf("Committing transaction:\n\n");
3207   transaction_order(trans, 0);
3208   for (i = 0; i < trans->steps.count; i++)
3209     {
3210 #if defined(ENABLE_RPMDB) && (defined(SUSE) || defined(FEDORA))
3211       const char *evr, *evrp, *nvra;
3212 #endif
3213       Solvable *s;
3214       int j;
3215       FILE *fp;
3216       Id type;
3217
3218       p = trans->steps.elements[i];
3219       s = pool_id2solvable(pool, p);
3220       type = transaction_type(trans, p, SOLVER_TRANSACTION_RPM_ONLY);
3221       switch(type)
3222         {
3223         case SOLVER_TRANSACTION_ERASE:
3224           printf("erase %s\n", pool_solvid2str(pool, p));
3225 #if defined(ENABLE_RPMDB) && (defined(SUSE) || defined(FEDORA))
3226           if (!s->repo->rpmdbid || !s->repo->rpmdbid[p - s->repo->start])
3227             continue;
3228           /* strip epoch from evr */
3229           evr = evrp = pool_id2str(pool, s->evr);
3230           while (*evrp >= '0' && *evrp <= '9')
3231             evrp++;
3232           if (evrp > evr && evrp[0] == ':' && evrp[1])
3233             evr = evrp + 1;
3234           nvra = pool_tmpjoin(pool, pool_id2str(pool, s->name), "-", evr);
3235           nvra = pool_tmpappend(pool, nvra, ".", pool_id2str(pool, s->arch));
3236           runrpm("-e", nvra, -1, rootdir);      /* too bad that --querybynumber doesn't work */
3237 #endif
3238 #if defined(ENABLE_DEBIAN) && defined(DEBIAN)
3239           rundpkg("--remove", pool_id2str(pool, s->name), 0, rootdir);
3240 #endif
3241           break;
3242         case SOLVER_TRANSACTION_INSTALL:
3243         case SOLVER_TRANSACTION_MULTIINSTALL:
3244           printf("install %s\n", pool_solvid2str(pool, p));
3245           for (j = 0; j < newpkgs; j++)
3246             if (checkq.elements[j] == p)
3247               break;
3248           fp = j < newpkgs ? newpkgsfps[j] : 0;
3249           if (!fp)
3250             continue;
3251           rewind(fp);
3252           lseek(fileno(fp), 0, SEEK_SET);
3253 #if defined(ENABLE_RPMDB) && (defined(SUSE) || defined(FEDORA))
3254           runrpm(type == SOLVER_TRANSACTION_MULTIINSTALL ? "-i" : "-U", "/dev/fd/3", fileno(fp), rootdir);
3255 #endif
3256 #if defined(ENABLE_DEBIAN) && defined(DEBIAN)
3257           rundpkg("--install", "/dev/fd/3", fileno(fp), rootdir);
3258 #endif
3259           fclose(fp);
3260           newpkgsfps[j] = 0;
3261           break;
3262         default:
3263           break;
3264         }
3265     }
3266
3267   for (i = 0; i < newpkgs; i++)
3268     if (newpkgsfps[i])
3269       fclose(newpkgsfps[i]);
3270   solv_free(newpkgsfps);
3271   queue_free(&checkq);
3272   transaction_free(trans);
3273   solver_free(solv);
3274   queue_free(&job);
3275   pool_free(pool);
3276   free_repoinfos(repoinfos, nrepoinfos);
3277   solv_free(commandlinepkgs);
3278 #ifdef FEDORA
3279   yum_substitute(pool, 0);
3280 #endif
3281   exit(0);
3282 }