Eliminate ill-indented block obfuscating the code
[platform/upstream/rpm.git] / lib / rpmdb.c
1 /** \ingroup rpmdb dbi
2  * \file lib/rpmdb.c
3  */
4
5 #include "system.h"
6
7 #define _USE_COPY_LOAD  /* XXX don't use DB_DBT_MALLOC (yet) */
8
9 #include <sys/file.h>
10
11 #ifndef DYING   /* XXX already in "system.h" */
12 #include <fnmatch.h>
13 #endif
14
15 #include <regex.h>
16
17 #include <rpm/rpmtypes.h>
18 #include <rpm/rpmurl.h>
19 #include <rpm/rpmpgp.h>
20 #include <rpm/rpmpgp.h>
21 #include <rpm/rpmmacro.h>
22 #include <rpm/rpmsq.h>
23 #include <rpm/rpmstring.h>
24 #include <rpm/rpmfileutil.h>
25 #include <rpm/rpmds.h>                  /* XXX isInstallPreReq macro only */
26 #include <rpm/rpmlog.h>
27 #include <rpm/rpmdb.h>
28 #include <rpm/argv.h>
29
30 #include "lib/rpmdb_internal.h"
31 #include "lib/fprint.h"
32 #include "lib/header_internal.h"        /* XXX for HEADERFLAG_ALLOCATED */
33 #include "debug.h"
34
35 int _rpmdb_debug = 0;
36
37 static int _rebuildinprogress = 0;
38 static int _db_filter_dups = 0;
39
40 #define _DBI_FLAGS      0
41 #define _DBI_PERMS      0644
42 #define _DBI_MAJOR      -1
43
44 struct dbiTags_s {
45     rpmTag * tags;
46     rpmTag max;
47     int nlink;
48 };
49
50 /* XXX should dbitags be per-db instead? */
51 static struct dbiTags_s dbiTags = { NULL, 0, 0 };
52
53 /* Bit mask macros. */
54 typedef unsigned int __pbm_bits;
55 #define __PBM_NBITS             (8 * sizeof (__pbm_bits))
56 #define __PBM_IX(d)             ((d) / __PBM_NBITS)
57 #define __PBM_MASK(d)           ((__pbm_bits) 1 << (((unsigned)(d)) % __PBM_NBITS))
58 typedef struct {
59     __pbm_bits bits[1];
60 } pbm_set;
61 #define __PBM_BITS(set) ((set)->bits)
62
63 #define PBM_FREE(s)     _free(s);
64 #define PBM_SET(d, s)   (__PBM_BITS (s)[__PBM_IX (d)] |= __PBM_MASK (d))
65 #define PBM_CLR(d, s)   (__PBM_BITS (s)[__PBM_IX (d)] &= ~__PBM_MASK (d))
66 #define PBM_ISSET(d, s) ((__PBM_BITS (s)[__PBM_IX (d)] & __PBM_MASK (d)) != 0)
67
68 #define PBM_ALLOC(d)    xcalloc(__PBM_IX (d) + 1, sizeof(__pbm_bits))
69
70 /**
71  * Reallocate a bit map.
72  * @retval sp           address of bit map pointer
73  * @retval odp          no. of bits in map
74  * @param nd            desired no. of bits
75  */
76 static inline pbm_set * PBM_REALLOC(pbm_set ** sp, int * odp, int nd)
77 {
78     int i, nb;
79
80     if (nd > (*odp)) {
81         nd *= 2;
82         nb = __PBM_IX(nd) + 1;
83         *sp = xrealloc(*sp, nb * sizeof(__pbm_bits));
84         for (i = __PBM_IX(*odp) + 1; i < nb; i++)
85             __PBM_BITS(*sp)[i] = 0;
86         *odp = nd;
87     }
88     return *sp;
89 }
90
91 /**
92  * Return dbi index used for rpm tag.
93  * @param rpmtag        rpm header tag
94  * @return              dbi index, -1 on error
95  */
96 static int dbiTagToDbix(rpmTag rpmtag)
97 {
98     int dbix;
99
100     if (dbiTags.tags != NULL)
101     for (dbix = 0; dbix < dbiTags.max; dbix++) {
102         if (rpmtag == dbiTags.tags[dbix])
103             return dbix;
104     }
105     return -1;
106 }
107
108 /**
109  * Initialize database (index, tag) tuple from configuration.
110  */
111 static void dbiTagsInit(void)
112 {
113     static const char * const _dbiTagStr_default =
114         "Packages:Name:Basenames:Group:Requirename:Providename:Conflictname:Triggername:Dirnames:Requireversion:Provideversion:Installtid:Sigmd5:Sha1header:Filemd5s:Depends:Pubkeys";
115     char * dbiTagStr = NULL;
116     char * o, * oe;
117     rpmTag rpmtag;
118
119     dbiTags.nlink++;
120     if (dbiTags.tags != NULL && dbiTags.max > 0) {
121         return;
122     }
123
124     dbiTagStr = rpmExpand("%{?_dbi_tags}", NULL);
125     if (!(dbiTagStr && *dbiTagStr)) {
126         dbiTagStr = _free(dbiTagStr);
127         dbiTagStr = xstrdup(_dbiTagStr_default);
128     }
129
130     /* Discard previous values. */
131     dbiTags.tags = _free(dbiTags.tags);
132     dbiTags.max = 0;
133
134     /* Always allocate package index */
135     dbiTags.tags = xcalloc(1, sizeof(*dbiTags.tags));
136     dbiTags.tags[dbiTags.max++] = RPMDBI_PACKAGES;
137
138     for (o = dbiTagStr; o && *o; o = oe) {
139         while (*o && risspace(*o))
140             o++;
141         if (*o == '\0')
142             break;
143         for (oe = o; oe && *oe; oe++) {
144             if (risspace(*oe))
145                 break;
146             if (oe[0] == ':' && !(oe[1] == '/' && oe[2] == '/'))
147                 break;
148         }
149         if (oe && *oe)
150             *oe++ = '\0';
151         rpmtag = rpmTagGetValue(o);
152         if (rpmtag == RPMTAG_NOT_FOUND) {
153             rpmlog(RPMLOG_WARNING,
154                 _("dbiTagsInit: unrecognized tag name: \"%s\" ignored\n"), o);
155             continue;
156         }
157         if (dbiTagToDbix(rpmtag) >= 0)
158             continue;
159
160         dbiTags.tags = xrealloc(dbiTags.tags, (dbiTags.max + 1) * sizeof(*dbiTags.tags)); /* XXX memory leak */
161         dbiTags.tags[dbiTags.max++] = rpmtag;
162     }
163
164     dbiTagStr = _free(dbiTagStr);
165 }
166
167 static void dbiTagsFree(void)
168 {
169     if (--dbiTags.nlink > 0) {
170         return;
171     }
172     dbiTags.tags = _free(dbiTags.tags);
173     dbiTags.max = 0;
174 }
175
176 #define DB1vec          NULL
177 #define DB2vec          NULL
178
179 #ifdef HAVE_DB_H
180 extern struct _dbiVec db3vec;
181 #define DB3vec          &db3vec
182 #else
183 #define DB3vec          NULL
184 #endif
185
186 #ifdef HAVE_SQLITE3_H
187 extern struct _dbiVec sqlitevec;
188 #define SQLITEvec       &sqlitevec
189 #else
190 #define SQLITEvec       NULL
191 #endif
192
193 static struct _dbiVec * const mydbvecs[] = {
194     DB1vec, DB1vec, DB2vec, DB3vec, SQLITEvec, NULL
195 };
196
197 dbiIndex dbiOpen(rpmdb db, rpmTag rpmtag, unsigned int flags)
198 {
199     int dbix;
200     dbiIndex dbi = NULL;
201     int _dbapi, _dbapi_rebuild, _dbapi_wanted;
202     int rc = 0;
203
204     if (db == NULL)
205         return NULL;
206
207     dbix = dbiTagToDbix(rpmtag);
208     if (dbix < 0 || dbix >= dbiTags.max)
209         return NULL;
210
211     /* Is this index already open ? */
212     /* FIX: db->_dbi may be NULL */
213     if ((dbi = db->_dbi[dbix]) != NULL)
214         return dbi;
215
216     _dbapi_rebuild = rpmExpandNumeric("%{_dbapi_rebuild}");
217     if (_dbapi_rebuild < 1 || _dbapi_rebuild > 4)
218         _dbapi_rebuild = 4;
219 /*    _dbapi_wanted = (_rebuildinprogress ? -1 : db->db_api); */
220     _dbapi_wanted = (_rebuildinprogress ? _dbapi_rebuild : db->db_api);
221
222     switch (_dbapi_wanted) {
223     default:
224         _dbapi = _dbapi_wanted;
225         if (_dbapi < 0 || _dbapi >= 5 || mydbvecs[_dbapi] == NULL) {
226             rpmlog(RPMLOG_ERR, _("dbiOpen: dbapi %d not available\n"), _dbapi);
227             return NULL;
228         }
229         errno = 0;
230         dbi = NULL;
231         rc = (*mydbvecs[_dbapi]->open) (db, rpmtag, &dbi);
232         if (rc) {
233             static int _printed[32];
234             if (!_printed[dbix & 0x1f]++)
235                 rpmlog(RPMLOG_ERR,
236                         _("cannot open %s index using db%d - %s (%d)\n"),
237                         rpmTagGetName(rpmtag), _dbapi,
238                         (rc > 0 ? strerror(rc) : ""), rc);
239             _dbapi = -1;
240         }
241         break;
242     case -1:
243         _dbapi = 5;
244         while (_dbapi-- > 1) {
245             if (mydbvecs[_dbapi] == NULL)
246                 continue;
247             errno = 0;
248             dbi = NULL;
249             rc = (*mydbvecs[_dbapi]->open) (db, rpmtag, &dbi);
250             if (rc == 0 && dbi)
251                 break;
252         }
253         if (_dbapi <= 0) {
254             static int _printed[32];
255             if (!_printed[dbix & 0x1f]++)
256                 rpmlog(RPMLOG_ERR, _("cannot open %s index\n"),
257                         rpmTagGetName(rpmtag));
258             rc = 1;
259             goto exit;
260         }
261         if (db->db_api == -1 && _dbapi > 0)
262             db->db_api = _dbapi;
263         break;
264     }
265
266 /* We don't ever _REQUIRE_ conversion... */
267 #define SQLITE_HACK
268 #ifdef  SQLITE_HACK_XXX
269     /* Require conversion. */
270     if (rc && _dbapi_wanted >= 0 && _dbapi != _dbapi_wanted && _dbapi_wanted == _dbapi_rebuild) {
271         rc = (_rebuildinprogress ? 0 : 1);
272         goto exit;
273     }
274
275     /* Suggest possible configuration */
276     if (_dbapi_wanted >= 0 && _dbapi != _dbapi_wanted) {
277         rc = 1;
278         goto exit;
279     }
280
281     /* Suggest possible configuration */
282     if (_dbapi_wanted < 0 && _dbapi != _dbapi_rebuild) {
283         rc = (_rebuildinprogress ? 0 : 1);
284         goto exit;
285     }
286 #endif
287
288 exit:
289     if (dbi != NULL && rc == 0) {
290         db->_dbi[dbix] = dbi;
291         if (rpmtag == RPMDBI_PACKAGES && db->db_bits == NULL) {
292             db->db_nbits = 1024;
293             if (!dbiStat(dbi, DB_FAST_STAT)) {
294                 DB_HASH_STAT * hash = (DB_HASH_STAT *)dbi->dbi_stats;
295                 if (hash)
296                     db->db_nbits += hash->hash_nkeys;
297             }
298             db->db_bits = PBM_ALLOC(db->db_nbits);
299         }
300     }
301 #ifdef HAVE_DB_H
302       else
303         dbi = db3Free(dbi);
304 #endif
305
306 /* FIX: db->_dbi may be NULL */
307     return dbi;
308 }
309
310 /**
311  * Create and initialize item for index database set.
312  * @param hdrNum        header instance in db
313  * @param tagNum        tag index in header
314  * @return              new item
315  */
316 static dbiIndexItem dbiIndexNewItem(unsigned int hdrNum, unsigned int tagNum)
317 {
318     dbiIndexItem rec = xcalloc(1, sizeof(*rec));
319     rec->hdrNum = hdrNum;
320     rec->tagNum = tagNum;
321     return rec;
322 }
323
324 union _dbswap {
325     unsigned int ui;
326     unsigned char uc[4];
327 };
328
329 #define _DBSWAP(_a) \
330 \
331   { unsigned char _b, *_c = (_a).uc; \
332     _b = _c[3]; _c[3] = _c[0]; _c[0] = _b; \
333     _b = _c[2]; _c[2] = _c[1]; _c[1] = _b; \
334 \
335   }
336
337 /**
338  * Convert retrieved data to index set.
339  * @param dbi           index database handle
340  * @param data          retrieved data
341  * @retval setp         (malloc'ed) index set
342  * @return              0 on success
343  */
344 static int dbt2set(dbiIndex dbi, DBT * data, dbiIndexSet * setp)
345 {
346     int _dbbyteswapped = dbiByteSwapped(dbi);
347     const char * sdbir;
348     dbiIndexSet set;
349     int i;
350
351     if (dbi == NULL || data == NULL || setp == NULL)
352         return -1;
353
354     if ((sdbir = data->data) == NULL) {
355         *setp = NULL;
356         return 0;
357     }
358
359     set = xmalloc(sizeof(*set));
360     set->count = data->size / dbi->dbi_jlen;
361     set->recs = xmalloc(set->count * sizeof(*(set->recs)));
362
363     switch (dbi->dbi_jlen) {
364     default:
365     case 2*sizeof(int32_t):
366         for (i = 0; i < set->count; i++) {
367             union _dbswap hdrNum, tagNum;
368
369             memcpy(&hdrNum.ui, sdbir, sizeof(hdrNum.ui));
370             sdbir += sizeof(hdrNum.ui);
371             memcpy(&tagNum.ui, sdbir, sizeof(tagNum.ui));
372             sdbir += sizeof(tagNum.ui);
373             if (_dbbyteswapped) {
374                 _DBSWAP(hdrNum);
375                 _DBSWAP(tagNum);
376             }
377             set->recs[i].hdrNum = hdrNum.ui;
378             set->recs[i].tagNum = tagNum.ui;
379             set->recs[i].fpNum = 0;
380         }
381         break;
382     case 1*sizeof(int32_t):
383         for (i = 0; i < set->count; i++) {
384             union _dbswap hdrNum;
385
386             memcpy(&hdrNum.ui, sdbir, sizeof(hdrNum.ui));
387             sdbir += sizeof(hdrNum.ui);
388             if (_dbbyteswapped) {
389                 _DBSWAP(hdrNum);
390             }
391             set->recs[i].hdrNum = hdrNum.ui;
392             set->recs[i].tagNum = 0;
393             set->recs[i].fpNum = 0;
394         }
395         break;
396     }
397     *setp = set;
398     return 0;
399 }
400
401 /**
402  * Convert index set to database representation.
403  * @param dbi           index database handle
404  * @param data          retrieved data
405  * @param set           index set
406  * @return              0 on success
407  */
408 static int set2dbt(dbiIndex dbi, DBT * data, dbiIndexSet set)
409 {
410     int _dbbyteswapped = dbiByteSwapped(dbi);
411     char * tdbir;
412     int i;
413
414     if (dbi == NULL || data == NULL || set == NULL)
415         return -1;
416
417     data->size = set->count * (dbi->dbi_jlen);
418     if (data->size == 0) {
419         data->data = NULL;
420         return 0;
421     }
422     tdbir = data->data = xmalloc(data->size);
423
424     switch (dbi->dbi_jlen) {
425     default:
426     case 2*sizeof(int32_t):
427         for (i = 0; i < set->count; i++) {
428             union _dbswap hdrNum, tagNum;
429
430             memset(&hdrNum, 0, sizeof(hdrNum));
431             memset(&tagNum, 0, sizeof(tagNum));
432             hdrNum.ui = set->recs[i].hdrNum;
433             tagNum.ui = set->recs[i].tagNum;
434             if (_dbbyteswapped) {
435                 _DBSWAP(hdrNum);
436                 _DBSWAP(tagNum);
437             }
438             memcpy(tdbir, &hdrNum.ui, sizeof(hdrNum.ui));
439             tdbir += sizeof(hdrNum.ui);
440             memcpy(tdbir, &tagNum.ui, sizeof(tagNum.ui));
441             tdbir += sizeof(tagNum.ui);
442         }
443         break;
444     case 1*sizeof(int32_t):
445         for (i = 0; i < set->count; i++) {
446             union _dbswap hdrNum;
447
448             memset(&hdrNum, 0, sizeof(hdrNum));
449             hdrNum.ui = set->recs[i].hdrNum;
450             if (_dbbyteswapped) {
451                 _DBSWAP(hdrNum);
452             }
453             memcpy(tdbir, &hdrNum.ui, sizeof(hdrNum.ui));
454             tdbir += sizeof(hdrNum.ui);
455         }
456         break;
457     }
458
459     return 0;
460 }
461
462 /* XXX assumes hdrNum is first int in dbiIndexItem */
463 static int hdrNumCmp(const void * one, const void * two)
464 {
465     const int * a = one, * b = two;
466     return (*a - *b);
467 }
468
469 /**
470  * Append element(s) to set of index database items.
471  * @param set           set of index database items
472  * @param recs          array of items to append to set
473  * @param nrecs         number of items
474  * @param recsize       size of an array item
475  * @param sortset       should resulting set be sorted?
476  * @return              0 success, 1 failure (bad args)
477  */
478 static int dbiAppendSet(dbiIndexSet set, const void * recs,
479         int nrecs, size_t recsize, int sortset)
480 {
481     const char * rptr = recs;
482     size_t rlen = (recsize < sizeof(*(set->recs)))
483                 ? recsize : sizeof(*(set->recs));
484
485     if (set == NULL || recs == NULL || nrecs <= 0 || recsize == 0)
486         return 1;
487
488     set->recs = xrealloc(set->recs,
489                         (set->count + nrecs) * sizeof(*(set->recs)));
490
491     memset(set->recs + set->count, 0, nrecs * sizeof(*(set->recs)));
492
493     while (nrecs-- > 0) {
494         memcpy(set->recs + set->count, rptr, rlen);
495         rptr += recsize;
496         set->count++;
497     }
498
499     if (sortset && set->count > 1)
500         qsort(set->recs, set->count, sizeof(*(set->recs)), hdrNumCmp);
501
502     return 0;
503 }
504
505 /**
506  * Remove element(s) from set of index database items.
507  * @param set           set of index database items
508  * @param recs          array of items to remove from set
509  * @param nrecs         number of items
510  * @param recsize       size of an array item
511  * @param sorted        array is already sorted?
512  * @return              0 success, 1 failure (no items found)
513  */
514 static int dbiPruneSet(dbiIndexSet set, void * recs, int nrecs,
515                 size_t recsize, int sorted)
516 {
517     int from;
518     int to = 0;
519     int num = set->count;
520     int numCopied = 0;
521
522     assert(set->count > 0);
523     if (nrecs > 1 && !sorted)
524         qsort(recs, nrecs, recsize, hdrNumCmp);
525
526     for (from = 0; from < num; from++) {
527         if (bsearch(&set->recs[from], recs, nrecs, recsize, hdrNumCmp)) {
528             set->count--;
529             continue;
530         }
531         if (from != to)
532             set->recs[to] = set->recs[from]; /* structure assignment */
533         to++;
534         numCopied++;
535     }
536     return (numCopied == num);
537 }
538
539 /* XXX transaction.c */
540 unsigned int dbiIndexSetCount(dbiIndexSet set) {
541     return set->count;
542 }
543
544 /* XXX transaction.c */
545 unsigned int dbiIndexRecordOffset(dbiIndexSet set, int recno) {
546     return set->recs[recno].hdrNum;
547 }
548
549 /* XXX transaction.c */
550 unsigned int dbiIndexRecordFileNumber(dbiIndexSet set, int recno) {
551     return set->recs[recno].tagNum;
552 }
553
554 /* XXX transaction.c */
555 dbiIndexSet dbiFreeIndexSet(dbiIndexSet set) {
556     if (set) {
557         set->recs = _free(set->recs);
558         set = _free(set);
559     }
560     return set;
561 }
562
563 typedef struct miRE_s {
564     rpmTag              tag;            /*!< header tag */
565     rpmMireMode         mode;           /*!< pattern match mode */
566     char *              pattern;        /*!< pattern string */
567     int                 notmatch;       /*!< like "grep -v" */
568     regex_t *           preg;           /*!< regex compiled pattern buffer */
569     int                 cflags;         /*!< regcomp(3) flags */
570     int                 eflags;         /*!< regexec(3) flags */
571     int                 fnflags;        /*!< fnmatch(3) flags */
572 } * miRE;
573
574 struct rpmdbMatchIterator_s {
575     rpmdbMatchIterator  mi_next;
576     void *              mi_keyp;
577     size_t              mi_keylen;
578     rpmdb               mi_db;
579     rpmTag              mi_rpmtag;
580     dbiIndexSet         mi_set;
581     DBC *               mi_dbc;
582     DBT                 mi_key;
583     DBT                 mi_data;
584     int                 mi_setx;
585     Header              mi_h;
586     int                 mi_sorted;
587     int                 mi_cflags;
588     int                 mi_modified;
589     unsigned int        mi_prevoffset;  /* header instance (native endian) */
590     unsigned int        mi_offset;      /* header instance (native endian) */
591     unsigned int        mi_filenum;     /* tag element (native endian) */
592     int                 mi_nre;
593     miRE                mi_re;
594     rpmts               mi_ts;
595     rpmRC (*mi_hdrchk) (rpmts ts, const void * uh, size_t uc, char ** msg);
596
597 };
598
599 static rpmdb rpmdbRock;
600
601 static rpmdbMatchIterator rpmmiRock;
602
603 int rpmdbCheckTerminate(int terminate)
604 {
605     sigset_t newMask, oldMask;
606     static int terminating = 0;
607
608     if (terminating) return 0;
609
610     (void) sigfillset(&newMask);                /* block all signals */
611     (void) sigprocmask(SIG_BLOCK, &newMask, &oldMask);
612
613     if (sigismember(&rpmsqCaught, SIGINT)
614      || sigismember(&rpmsqCaught, SIGQUIT)
615      || sigismember(&rpmsqCaught, SIGHUP)
616      || sigismember(&rpmsqCaught, SIGTERM)
617      || sigismember(&rpmsqCaught, SIGPIPE)
618      || terminate)
619         terminating = 1;
620
621     if (terminating) {
622         rpmdb db;
623         rpmdbMatchIterator mi;
624
625         while ((mi = rpmmiRock) != NULL) {
626             rpmmiRock = mi->mi_next;
627             mi->mi_next = NULL;
628             mi = rpmdbFreeIterator(mi);
629         }
630
631         while ((db = rpmdbRock) != NULL) {
632             rpmdbRock = db->db_next;
633             db->db_next = NULL;
634             (void) rpmdbClose(db);
635         }
636     }
637     sigprocmask(SIG_SETMASK, &oldMask, NULL);
638     return terminating;
639 }
640
641 int rpmdbCheckSignals(void)
642 {
643     if (rpmdbCheckTerminate(0)) {
644         /* sigset_t is abstract type */
645         rpmlog(RPMLOG_DEBUG, "Exiting on signal(0x%lx) ...\n", 
646                 *((unsigned long *)&rpmsqCaught));
647         exit(EXIT_FAILURE);
648     }
649     return 0;
650 }
651
652 /**
653  * Block all signals, returning previous signal mask.
654  */
655 static int blockSignals(sigset_t * oldMask)
656 {
657     sigset_t newMask;
658
659     (void) sigfillset(&newMask);                /* block all signals */
660     (void) sigprocmask(SIG_BLOCK, &newMask, oldMask);
661     (void) sigdelset(&newMask, SIGINT);
662     (void) sigdelset(&newMask, SIGQUIT);
663     (void) sigdelset(&newMask, SIGHUP);
664     (void) sigdelset(&newMask, SIGTERM);
665     (void) sigdelset(&newMask, SIGPIPE);
666     return sigprocmask(SIG_BLOCK, &newMask, NULL);
667 }
668
669 /**
670  * Restore signal mask.
671  */
672 static int unblockSignals(sigset_t * oldMask)
673 {
674     (void) rpmdbCheckSignals();
675     return sigprocmask(SIG_SETMASK, oldMask, NULL);
676 }
677
678 #define _DB_ROOT        "/"
679 #define _DB_HOME        "%{_dbpath}"
680 #define _DB_FLAGS       0
681 #define _DB_MODE        0
682 #define _DB_PERMS       0644
683
684 #define _DB_MAJOR       -1
685 #define _DB_ERRPFX      "rpmdb"
686
687 static struct rpmdb_s const dbTemplate = {
688     _DB_ROOT,   _DB_HOME, _DB_FLAGS, _DB_MODE, _DB_PERMS,
689     _DB_MAJOR,  _DB_ERRPFX
690 };
691
692 static int isTemporaryDB(rpmTag rpmtag) 
693 {
694     int rc = 0;
695     switch (rpmtag) {
696     case RPMDBI_AVAILABLE:
697     case RPMDBI_ADDED:
698     case RPMDBI_REMOVED:
699     case RPMDBI_DEPENDS:
700         rc = 1;
701         break;
702     default:
703         break;
704     }
705     return rc;
706 }
707
708 rpmop rpmdbOp(rpmdb rpmdb, rpmdbOpX opx)
709 {
710     rpmop op = NULL;
711     switch (opx) {
712     case RPMDB_OP_DBGET:
713         op = &rpmdb->db_getops;
714         break;
715     case RPMDB_OP_DBPUT:
716         op = &rpmdb->db_putops;
717         break;
718     case RPMDB_OP_DBDEL:
719         op = &rpmdb->db_delops;
720         break;
721     default:
722         break;
723     }
724     return op;
725 }
726
727 int rpmdbSetChrootDone(rpmdb db, int chrootDone)
728 {
729     int ochrootDone = 0;
730     if (db != NULL) {
731         ochrootDone = db->db_chrootDone;
732         db->db_chrootDone = chrootDone;
733     }
734     return ochrootDone;
735 }
736
737 int rpmdbOpenAll(rpmdb db)
738 {
739     int dbix;
740     int rc = 0;
741
742     if (db == NULL) return -2;
743
744     if (dbiTags.tags != NULL)
745     for (dbix = 0; dbix < dbiTags.max; dbix++) {
746         if (db->_dbi[dbix] != NULL)
747             continue;
748         /* Filter out temporary databases */
749         if (isTemporaryDB(dbiTags.tags[dbix])) 
750             continue;
751         (void) dbiOpen(db, dbiTags.tags[dbix], db->db_flags);
752     }
753     return rc;
754 }
755
756 int rpmdbCloseDBI(rpmdb db, rpmTag rpmtag)
757 {
758     int dbix;
759     int rc = 0;
760
761     if (db == NULL || db->_dbi == NULL || dbiTags.tags == NULL)
762         return 0;
763
764     for (dbix = 0; dbix < dbiTags.max; dbix++) {
765         if (dbiTags.tags[dbix] != rpmtag)
766             continue;
767         if (db->_dbi[dbix] != NULL) {
768             int xx;
769                         /* FIX: double indirection. */
770             xx = dbiClose(db->_dbi[dbix], 0);
771             if (xx && rc == 0) rc = xx;
772             db->_dbi[dbix] = NULL;
773         }
774         break;
775     }
776     return rc;
777 }
778
779 /* XXX query.c, rpminstall.c, verify.c */
780 int rpmdbClose(rpmdb db)
781 {
782     rpmdb * prev, next;
783     int dbix;
784     int rc = 0;
785
786     if (db == NULL)
787         goto exit;
788
789     (void) rpmdbUnlink(db, RPMDBG_M("rpmdbClose"));
790
791     if (db->nrefs > 0)
792         goto exit;
793
794     if (db->_dbi)
795     for (dbix = db->db_ndbi; --dbix >= 0; ) {
796         int xx;
797         if (db->_dbi[dbix] == NULL)
798             continue;
799         xx = dbiClose(db->_dbi[dbix], 0);
800         if (xx && rc == 0) rc = xx;
801         db->_dbi[dbix] = NULL;
802     }
803     db->db_errpfx = _free(db->db_errpfx);
804     db->db_root = _free(db->db_root);
805     db->db_home = _free(db->db_home);
806     db->db_bits = PBM_FREE(db->db_bits);
807     db->_dbi = _free(db->_dbi);
808
809     prev = &rpmdbRock;
810     while ((next = *prev) != NULL && next != db)
811         prev = &next->db_next;
812     if (next) {
813         *prev = next->db_next;
814         next->db_next = NULL;
815     }
816
817     db = _free(db);
818
819     dbiTagsFree();
820
821 exit:
822     (void) rpmsqEnable(-SIGHUP, NULL);
823     (void) rpmsqEnable(-SIGINT, NULL);
824     (void) rpmsqEnable(-SIGTERM,NULL);
825     (void) rpmsqEnable(-SIGQUIT,NULL);
826     (void) rpmsqEnable(-SIGPIPE,NULL);
827     return rc;
828 }
829
830 int rpmdbSync(rpmdb db)
831 {
832     int dbix;
833     int rc = 0;
834
835     if (db == NULL) return 0;
836     for (dbix = 0; dbix < db->db_ndbi; dbix++) {
837         int xx;
838         if (db->_dbi[dbix] == NULL)
839             continue;
840         if (db->_dbi[dbix]->dbi_no_dbsync)
841             continue;
842         xx = dbiSync(db->_dbi[dbix], 0);
843         if (xx && rc == 0) rc = xx;
844     }
845     return rc;
846 }
847
848 /* FIX: dbTemplate structure assignment */
849 static
850 rpmdb newRpmdb(const char * root,
851                 const char * home,
852                 int mode, int perms, int flags)
853 {
854     rpmdb db = xcalloc(sizeof(*db), 1);
855     const char * epfx = _DB_ERRPFX;
856     static int _initialized = 0;
857
858     if (!_initialized) {
859         _db_filter_dups = rpmExpandNumeric("%{_filterdbdups}");
860         _initialized = 1;
861     }
862
863     *db = dbTemplate;   /* structure assignment */
864
865     db->_dbi = NULL;
866
867     if (!(perms & 0600)) perms = 0644;  /* XXX sanity */
868
869     if (mode >= 0)      db->db_mode = mode;
870     if (perms >= 0)     db->db_perms = perms;
871     if (flags >= 0)     db->db_flags = flags;
872
873     if (root && *root) {
874         db->db_root = rpmGetPath(root, NULL);
875     } else
876         db->db_root = rpmGetPath(_DB_ROOT, NULL);
877
878     db->db_home = rpmGetPath( (home && *home ? home : _DB_HOME), NULL);
879     if (!(db->db_home && db->db_home[0] != '%')) {
880         rpmlog(RPMLOG_ERR, _("no dbpath has been set\n"));
881         db->db_root = _free(db->db_root);
882         db->db_home = _free(db->db_home);
883         db = _free(db);
884         return NULL;
885     }
886     db->db_errpfx = rpmExpand( (epfx && *epfx ? epfx : _DB_ERRPFX), NULL);
887     db->db_remove_env = 0;
888     db->db_filter_dups = _db_filter_dups;
889     db->db_ndbi = dbiTags.max;
890     db->_dbi = xcalloc(db->db_ndbi, sizeof(*db->_dbi));
891     db->nrefs = 0;
892     return rpmdbLink(db, RPMDBG_M("rpmdbCreate"));
893 }
894
895 static int openDatabase(const char * prefix,
896                 const char * dbpath,
897                 int _dbapi, rpmdb *dbp,
898                 int mode, int perms, int flags)
899 {
900     rpmdb db;
901     int rc, xx;
902     int justCheck = flags & RPMDB_FLAG_JUSTCHECK;
903     int minimal = flags & RPMDB_FLAG_MINIMAL;
904
905     dbiTagsInit();
906
907     /* Insure that _dbapi has one of -1, 1, 2, or 3 */
908     if (_dbapi < -1 || _dbapi > 4)
909         _dbapi = -1;
910     if (_dbapi == 0)
911         _dbapi = 1;
912
913     if (dbp)
914         *dbp = NULL;
915     if (mode & O_WRONLY) 
916         return 1;
917
918     db = newRpmdb(prefix, dbpath, mode, perms, flags);
919     if (db == NULL)
920         return 1;
921
922     (void) rpmsqEnable(SIGHUP,  NULL);
923     (void) rpmsqEnable(SIGINT,  NULL);
924     (void) rpmsqEnable(SIGTERM,NULL);
925     (void) rpmsqEnable(SIGQUIT,NULL);
926     (void) rpmsqEnable(SIGPIPE,NULL);
927
928     db->db_api = _dbapi;
929
930     {   int dbix;
931
932         rc = 0;
933         if (dbiTags.tags != NULL)
934         for (dbix = 0; rc == 0 && dbix < dbiTags.max; dbix++) {
935             dbiIndex dbi;
936             rpmTag rpmtag;
937
938             /* Filter out temporary databases */
939             if (isTemporaryDB((rpmtag = dbiTags.tags[dbix])))
940                 continue;
941
942             dbi = dbiOpen(db, rpmtag, 0);
943             if (dbi == NULL) {
944                 rc = -2;
945                 break;
946             }
947
948             switch (rpmtag) {
949             case RPMDBI_PACKAGES:
950                 if (dbi == NULL) rc |= 1;
951 #if 0
952                 /* XXX open only Packages, indices created on the fly. */
953                 if (db->db_api == 3)
954 #endif
955                     goto exit;
956                 break;
957             case RPMTAG_NAME:
958                 if (dbi == NULL) rc |= 1;
959                 if (minimal)
960                     goto exit;
961                 break;
962             default:
963                 break;
964             }
965         }
966     }
967
968 exit:
969     if (rc || justCheck || dbp == NULL)
970         xx = rpmdbClose(db);
971     else {
972         db->db_next = rpmdbRock;
973         rpmdbRock = db;
974         *dbp = db;
975     }
976
977     return rc;
978 }
979
980 rpmdb rpmdbUnlink(rpmdb db, const char * msg)
981 {
982 if (_rpmdb_debug)
983 fprintf(stderr, "--> db %p -- %d %s\n", db, db->nrefs, msg);
984     db->nrefs--;
985     return NULL;
986 }
987
988 rpmdb rpmdbLink(rpmdb db, const char * msg)
989 {
990     db->nrefs++;
991 if (_rpmdb_debug)
992 fprintf(stderr, "--> db %p ++ %d %s\n", db, db->nrefs, msg);
993     return db;
994 }
995
996 /* XXX python/rpmmodule.c */
997 int rpmdbOpen (const char * prefix, rpmdb *dbp, int mode, int perms)
998 {
999     int _dbapi = rpmExpandNumeric("%{_dbapi}");
1000     return openDatabase(prefix, NULL, _dbapi, dbp, mode, perms, 0);
1001 }
1002
1003 int rpmdbInit (const char * prefix, int perms)
1004 {
1005     rpmdb db = NULL;
1006     int _dbapi = rpmExpandNumeric("%{_dbapi}");
1007     int rc;
1008
1009     rc = openDatabase(prefix, NULL, _dbapi, &db, (O_CREAT | O_RDWR),
1010                 perms, RPMDB_FLAG_JUSTCHECK);
1011     if (db != NULL) {
1012         int xx;
1013         xx = rpmdbOpenAll(db);
1014         if (xx && rc == 0) rc = xx;
1015         xx = rpmdbClose(db);
1016         if (xx && rc == 0) rc = xx;
1017         db = NULL;
1018     }
1019     return rc;
1020 }
1021
1022 int rpmdbVerify(const char * prefix)
1023 {
1024     rpmdb db = NULL;
1025     int _dbapi = rpmExpandNumeric("%{_dbapi}");
1026     int rc = 0;
1027
1028     rc = openDatabase(prefix, NULL, _dbapi, &db, O_RDONLY, 0644, 0);
1029
1030     if (db != NULL) {
1031         int dbix;
1032         int xx;
1033         rc = rpmdbOpenAll(db);
1034
1035         for (dbix = db->db_ndbi; --dbix >= 0; ) {
1036             if (db->_dbi[dbix] == NULL)
1037                 continue;
1038                         /* FIX: double indirection. */
1039             xx = dbiVerify(db->_dbi[dbix], 0);
1040             if (xx && rc == 0) rc = xx;
1041             db->_dbi[dbix] = NULL;
1042         }
1043
1044         /* FIX: db->_dbi[] may be NULL. */
1045         xx = rpmdbClose(db);
1046         if (xx && rc == 0) rc = xx;
1047         db = NULL;
1048     }
1049     return rc;
1050 }
1051
1052 /**
1053  * Find file matches in database.
1054  * @param db            rpm database
1055  * @param filespec
1056  * @param key
1057  * @param data
1058  * @param matches
1059  * @return              0 on success, 1 on not found, -2 on error
1060  */
1061 static int rpmdbFindByFile(rpmdb db, const char * filespec,
1062                 DBT * key, DBT * data, dbiIndexSet * matches)
1063 {
1064     char * dirName;
1065     const char * baseName;
1066     fingerPrintCache fpc;
1067     fingerPrint fp1;
1068     dbiIndex dbi = NULL;
1069     DBC * dbcursor;
1070     dbiIndexSet allMatches = NULL;
1071     dbiIndexItem rec = NULL;
1072     int i;
1073     int rc;
1074     int xx;
1075
1076     *matches = NULL;
1077     if (filespec == NULL) return -2;
1078
1079     if ((baseName = strrchr(filespec, '/')) != NULL) {
1080         size_t len = baseName - filespec + 1;
1081         dirName = strncpy(xmalloc(len + 1), filespec, len);
1082         dirName[len] = '\0';
1083         baseName++;
1084     } else {
1085         dirName = xstrdup("");
1086         baseName = filespec;
1087     }
1088     if (baseName == NULL)
1089         return -2;
1090
1091     fpc = fpCacheCreate(20);
1092     fp1 = fpLookup(fpc, dirName, baseName, 1);
1093     free(dirName);
1094
1095     dbi = dbiOpen(db, RPMTAG_BASENAMES, 0);
1096     if (dbi != NULL) {
1097         dbcursor = NULL;
1098         xx = dbiCopen(dbi, dbi->dbi_txnid, &dbcursor, 0);
1099
1100         key->data = (void *) baseName;
1101         key->size = strlen(baseName);
1102         if (key->size == 0) 
1103             key->size++;        /* XXX "/" fixup. */
1104
1105         rc = dbiGet(dbi, dbcursor, key, data, DB_SET);
1106         if (rc > 0) {
1107             rpmlog(RPMLOG_ERR,
1108                 _("error(%d) getting \"%s\" records from %s index\n"),
1109                 rc, (char*)key->data, rpmTagGetName(dbi->dbi_rpmtag));
1110         }
1111
1112         if (rc == 0)
1113             (void) dbt2set(dbi, data, &allMatches);
1114
1115         xx = dbiCclose(dbi, dbcursor, 0);
1116         dbcursor = NULL;
1117     } else
1118         rc = -2;
1119
1120     if (rc) {
1121         allMatches = dbiFreeIndexSet(allMatches);
1122         fpc = fpCacheFree(fpc);
1123         return rc;
1124     }
1125
1126     *matches = xcalloc(1, sizeof(**matches));
1127     rec = dbiIndexNewItem(0, 0);
1128     i = 0;
1129     if (allMatches != NULL)
1130     while (i < allMatches->count) {
1131         struct rpmtd_s bn, dn, di;
1132         const char ** baseNames, ** dirNames;
1133         uint32_t * dirIndexes;
1134         unsigned int offset = dbiIndexRecordOffset(allMatches, i);
1135         unsigned int prevoff;
1136         Header h;
1137
1138         {   rpmdbMatchIterator mi;
1139             mi = rpmdbInitIterator(db, RPMDBI_PACKAGES, &offset, sizeof(offset));
1140             h = rpmdbNextIterator(mi);
1141             if (h)
1142                 h = headerLink(h);
1143             mi = rpmdbFreeIterator(mi);
1144         }
1145
1146         if (h == NULL) {
1147             i++;
1148             continue;
1149         }
1150
1151         headerGet(h, RPMTAG_BASENAMES, &bn, HEADERGET_MINMEM);
1152         headerGet(h, RPMTAG_DIRNAMES, &dn, HEADERGET_MINMEM);
1153         headerGet(h, RPMTAG_DIRINDEXES, &di, HEADERGET_MINMEM);
1154         baseNames = bn.data;
1155         dirNames = dn.data;
1156         dirIndexes = di.data;
1157
1158         do {
1159             fingerPrint fp2;
1160             int num = dbiIndexRecordFileNumber(allMatches, i);
1161
1162             fp2 = fpLookup(fpc, dirNames[dirIndexes[num]], baseNames[num], 1);
1163             if (FP_EQUAL(fp1, fp2)) {
1164                 rec->hdrNum = dbiIndexRecordOffset(allMatches, i);
1165                 rec->tagNum = dbiIndexRecordFileNumber(allMatches, i);
1166                 xx = dbiAppendSet(*matches, rec, 1, sizeof(*rec), 0);
1167             }
1168
1169             prevoff = offset;
1170             i++;
1171             if (i < allMatches->count)
1172                 offset = dbiIndexRecordOffset(allMatches, i);
1173         } while (i < allMatches->count && offset == prevoff);
1174
1175         rpmtdFreeData(&bn);
1176         rpmtdFreeData(&dn);
1177         rpmtdFreeData(&di);
1178         h = headerFree(h);
1179     }
1180
1181     rec = _free(rec);
1182     allMatches = dbiFreeIndexSet(allMatches);
1183
1184     fpc = fpCacheFree(fpc);
1185
1186     if ((*matches)->count == 0) {
1187         *matches = dbiFreeIndexSet(*matches);
1188         return 1;
1189     }
1190
1191     return 0;
1192 }
1193
1194 /* XXX python/upgrade.c, install.c, uninstall.c */
1195 int rpmdbCountPackages(rpmdb db, const char * name)
1196 {
1197     DBC * dbcursor = NULL;
1198     DBT key; 
1199     DBT data; 
1200     dbiIndex dbi;
1201     int rc;
1202     int xx;
1203
1204     if (db == NULL)
1205         return 0;
1206
1207     memset(&key, 0, sizeof(key));
1208     memset(&data, 0, sizeof(data));
1209
1210     dbi = dbiOpen(db, RPMTAG_NAME, 0);
1211     if (dbi == NULL)
1212         return 0;
1213
1214     key.data = (void *) name;
1215     key.size = strlen(name);
1216
1217     xx = dbiCopen(dbi, dbi->dbi_txnid, &dbcursor, 0);
1218     rc = dbiGet(dbi, dbcursor, &key, &data, DB_SET);
1219 #ifndef SQLITE_HACK
1220     xx = dbiCclose(dbi, dbcursor, 0);
1221     dbcursor = NULL;
1222 #endif
1223
1224     if (rc == 0) {              /* success */
1225         dbiIndexSet matches;
1226         /* FIX: matches might be NULL */
1227         matches = NULL;
1228         (void) dbt2set(dbi, &data, &matches);
1229         if (matches) {
1230             rc = dbiIndexSetCount(matches);
1231             matches = dbiFreeIndexSet(matches);
1232         }
1233     } else
1234     if (rc == DB_NOTFOUND) {    /* not found */
1235         rc = 0;
1236     } else {                    /* error */
1237         rpmlog(RPMLOG_ERR,
1238                 _("error(%d) getting \"%s\" records from %s index\n"),
1239                 rc, (char*)key.data, rpmTagGetName(dbi->dbi_rpmtag));
1240         rc = -1;
1241     }
1242
1243 #ifdef  SQLITE_HACK
1244     xx = dbiCclose(dbi, dbcursor, 0);
1245     dbcursor = NULL;
1246 #endif
1247
1248     return rc;
1249 }
1250
1251 /**
1252  * Attempt partial matches on name[-version[-release]] strings.
1253  * @param dbi           index database handle (always RPMTAG_NAME)
1254  * @param dbcursor      index database cursor
1255  * @param key           search key/length/flags
1256  * @param data          search data/length/flags
1257  * @param name          package name
1258  * @param version       package version (can be a pattern)
1259  * @param release       package release (can be a pattern)
1260  * @retval matches      set of header instances that match
1261  * @return              RPMRC_OK on match, RPMRC_NOMATCH or RPMRC_FAIL
1262  */
1263 static rpmRC dbiFindMatches(dbiIndex dbi, DBC * dbcursor,
1264                 DBT * key, DBT * data,
1265                 const char * name,
1266                 const char * version,
1267                 const char * release,
1268                 dbiIndexSet * matches)
1269 {
1270     int gotMatches = 0;
1271     int rc;
1272     int i;
1273
1274     key->data = (void *) name;
1275     key->size = strlen(name);
1276
1277     rc = dbiGet(dbi, dbcursor, key, data, DB_SET);
1278
1279     if (rc == 0) {              /* success */
1280         (void) dbt2set(dbi, data, matches);
1281         if (version == NULL && release == NULL)
1282             return RPMRC_OK;
1283     } else
1284     if (rc == DB_NOTFOUND) {    /* not found */
1285         return RPMRC_NOTFOUND;
1286     } else {                    /* error */
1287         rpmlog(RPMLOG_ERR,
1288                 _("error(%d) getting \"%s\" records from %s index\n"),
1289                 rc, (char*)key->data, rpmTagGetName(dbi->dbi_rpmtag));
1290         return RPMRC_FAIL;
1291     }
1292
1293     /* Make sure the version and release match. */
1294     for (i = 0; i < dbiIndexSetCount(*matches); i++) {
1295         unsigned int recoff = dbiIndexRecordOffset(*matches, i);
1296         rpmdbMatchIterator mi;
1297         Header h;
1298
1299         if (recoff == 0)
1300             continue;
1301
1302         mi = rpmdbInitIterator(dbi->dbi_rpmdb,
1303                         RPMDBI_PACKAGES, &recoff, sizeof(recoff));
1304
1305         /* Set iterator selectors for version/release if available. */
1306         if (version &&
1307             rpmdbSetIteratorRE(mi, RPMTAG_VERSION, RPMMIRE_DEFAULT, version))
1308         {
1309             rc = RPMRC_FAIL;
1310             goto exit;
1311         }
1312         if (release &&
1313             rpmdbSetIteratorRE(mi, RPMTAG_RELEASE, RPMMIRE_DEFAULT, release))
1314         {
1315             rc = RPMRC_FAIL;
1316             goto exit;
1317         }
1318
1319         h = rpmdbNextIterator(mi);
1320         if (h)
1321             (*matches)->recs[gotMatches++] = (*matches)->recs[i];
1322         else
1323             (*matches)->recs[i].hdrNum = 0;
1324         mi = rpmdbFreeIterator(mi);
1325     }
1326
1327     if (gotMatches) {
1328         (*matches)->count = gotMatches;
1329         rc = RPMRC_OK;
1330     } else
1331         rc = RPMRC_NOTFOUND;
1332
1333 exit:
1334 /* FIX: double indirection */
1335     if (rc && matches && *matches)
1336         *matches = dbiFreeIndexSet(*matches);
1337     return rc;
1338 }
1339
1340 /**
1341  * Lookup by name, name-version, and finally by name-version-release.
1342  * Both version and release can be patterns.
1343  * @todo Name must be an exact match, as name is a db key.
1344  * @param dbi           index database handle (always RPMTAG_NAME)
1345  * @param dbcursor      index database cursor
1346  * @param key           search key/length/flags
1347  * @param data          search data/length/flags
1348  * @param arg           name[-version[-release]] string
1349  * @retval matches      set of header instances that match
1350  * @return              RPMRC_OK on match, RPMRC_NOMATCH or RPMRC_FAIL
1351  */
1352 static rpmRC dbiFindByLabel(dbiIndex dbi, DBC * dbcursor, DBT * key, DBT * data,
1353                 const char * arg, dbiIndexSet * matches)
1354 {
1355     const char * release;
1356     char * localarg;
1357     char * s;
1358     char c;
1359     int brackets;
1360     rpmRC rc;
1361  
1362     if (arg == NULL || strlen(arg) == 0) return RPMRC_NOTFOUND;
1363
1364     /* did they give us just a name? */
1365     rc = dbiFindMatches(dbi, dbcursor, key, data, arg, NULL, NULL, matches);
1366     if (rc != RPMRC_NOTFOUND) return rc;
1367
1368     /* FIX: double indirection */
1369     *matches = dbiFreeIndexSet(*matches);
1370
1371     /* maybe a name and a release */
1372     localarg = xmalloc(strlen(arg) + 1);
1373     s = stpcpy(localarg, arg);
1374
1375     c = '\0';
1376     brackets = 0;
1377     for (s -= 1; s > localarg; s--) {
1378         switch (*s) {
1379         case '[':
1380             brackets = 1;
1381             break;
1382         case ']':
1383             if (c != '[') brackets = 0;
1384             break;
1385         }
1386         c = *s;
1387         if (!brackets && *s == '-')
1388             break;
1389     }
1390
1391         /* FIX: *matches may be NULL. */
1392     if (s == localarg) {
1393         rc = RPMRC_NOTFOUND;
1394         goto exit;
1395     }
1396
1397     *s = '\0';
1398     rc = dbiFindMatches(dbi, dbcursor, key, data, localarg, s + 1, NULL, matches);
1399     if (rc != RPMRC_NOTFOUND) goto exit;
1400
1401     /* FIX: double indirection */
1402     *matches = dbiFreeIndexSet(*matches);
1403     
1404     /* how about name-version-release? */
1405
1406     release = s + 1;
1407
1408     c = '\0';
1409     brackets = 0;
1410     for (; s > localarg; s--) {
1411         switch (*s) {
1412         case '[':
1413             brackets = 1;
1414             break;
1415         case ']':
1416             if (c != '[') brackets = 0;
1417             break;
1418         }
1419         c = *s;
1420         if (!brackets && *s == '-')
1421             break;
1422     }
1423
1424     if (s == localarg) {
1425         rc = RPMRC_NOTFOUND;
1426         goto exit;
1427     }
1428
1429     *s = '\0';
1430         /* FIX: *matches may be NULL. */
1431     rc = dbiFindMatches(dbi, dbcursor, key, data, localarg, s + 1, release, matches);
1432 exit:
1433     free(localarg);
1434     return rc;
1435 }
1436
1437 /**
1438  * Rewrite a header into packages (if necessary) and free the header.
1439  *   Note: this is called from a markReplacedFiles iteration, and *must*
1440  *   preserve the "join key" (i.e. offset) for the header.
1441  * @param mi            database iterator
1442  * @param dbi           index database handle
1443  * @return              0 on success
1444  */
1445 static int miFreeHeader(rpmdbMatchIterator mi, dbiIndex dbi)
1446 {
1447     int rc = 0;
1448
1449     if (mi == NULL || mi->mi_h == NULL)
1450         return 0;
1451
1452     if (dbi && mi->mi_dbc && mi->mi_modified && mi->mi_prevoffset) {
1453         DBT * key = &mi->mi_key;
1454         DBT * data = &mi->mi_data;
1455         sigset_t signalMask;
1456         rpmRC rpmrc = RPMRC_NOTFOUND;
1457         int xx;
1458
1459         key->data = (void *) &mi->mi_prevoffset;
1460         key->size = sizeof(mi->mi_prevoffset);
1461         data->data = headerUnload(mi->mi_h);
1462         data->size = headerSizeof(mi->mi_h, HEADER_MAGIC_NO);
1463
1464         /* Check header digest/signature on blob export (if requested). */
1465         if (mi->mi_hdrchk && mi->mi_ts) {
1466             char * msg = NULL;
1467             int lvl;
1468
1469             rpmrc = (*mi->mi_hdrchk) (mi->mi_ts, data->data, data->size, &msg);
1470             lvl = (rpmrc == RPMRC_FAIL ? RPMLOG_ERR : RPMLOG_DEBUG);
1471             rpmlog(lvl, "%s h#%8u %s",
1472                 (rpmrc == RPMRC_FAIL ? _("miFreeHeader: skipping") : "write"),
1473                         mi->mi_prevoffset, (msg ? msg : "\n"));
1474             msg = _free(msg);
1475         }
1476
1477         if (data->data != NULL && rpmrc != RPMRC_FAIL) {
1478             (void) blockSignals(&signalMask);
1479             rc = dbiPut(dbi, mi->mi_dbc, key, data, DB_KEYLAST);
1480             if (rc) {
1481                 rpmlog(RPMLOG_ERR,
1482                         _("error(%d) storing record #%d into %s\n"),
1483                         rc, mi->mi_prevoffset, rpmTagGetName(dbi->dbi_rpmtag));
1484             }
1485             xx = dbiSync(dbi, 0);
1486             (void) unblockSignals(&signalMask);
1487         }
1488         data->data = _free(data->data);
1489         data->size = 0;
1490     }
1491
1492     mi->mi_h = headerFree(mi->mi_h);
1493
1494     return rc;
1495 }
1496
1497 rpmdbMatchIterator rpmdbFreeIterator(rpmdbMatchIterator mi)
1498 {
1499     rpmdbMatchIterator * prev, next;
1500     dbiIndex dbi;
1501     int xx;
1502     int i;
1503
1504     if (mi == NULL)
1505         return NULL;
1506
1507     prev = &rpmmiRock;
1508     while ((next = *prev) != NULL && next != mi)
1509         prev = &next->mi_next;
1510     if (next) {
1511         *prev = next->mi_next;
1512         next->mi_next = NULL;
1513     }
1514
1515     dbi = dbiOpen(mi->mi_db, RPMDBI_PACKAGES, 0);
1516     if (dbi == NULL)    /* XXX can't happen */
1517         return NULL;
1518
1519     xx = miFreeHeader(mi, dbi);
1520
1521     if (mi->mi_dbc)
1522         xx = dbiCclose(dbi, mi->mi_dbc, 0);
1523     mi->mi_dbc = NULL;
1524
1525     if (mi->mi_re != NULL)
1526     for (i = 0; i < mi->mi_nre; i++) {
1527         miRE mire = mi->mi_re + i;
1528         mire->pattern = _free(mire->pattern);
1529         if (mire->preg != NULL) {
1530             regfree(mire->preg);
1531             /* LCL: regfree has bogus only */
1532             mire->preg = _free(mire->preg);
1533         }
1534     }
1535     mi->mi_re = _free(mi->mi_re);
1536
1537     mi->mi_set = dbiFreeIndexSet(mi->mi_set);
1538     mi->mi_keyp = _free(mi->mi_keyp);
1539     mi->mi_db = rpmdbUnlink(mi->mi_db, RPMDBG_M("matchIterator"));
1540
1541     mi = _free(mi);
1542
1543     (void) rpmdbCheckSignals();
1544
1545     return mi;
1546 }
1547
1548 unsigned int rpmdbGetIteratorOffset(rpmdbMatchIterator mi) {
1549     return (mi ? mi->mi_offset : 0);
1550 }
1551
1552 unsigned int rpmdbGetIteratorFileNum(rpmdbMatchIterator mi) {
1553     return (mi ? mi->mi_filenum : 0);
1554 }
1555
1556 int rpmdbGetIteratorCount(rpmdbMatchIterator mi) {
1557     return (mi && mi->mi_set ?  mi->mi_set->count : 0);
1558 }
1559
1560 /**
1561  * Return pattern match.
1562  * @param mire          match iterator regex
1563  * @param val           value to match
1564  * @return              0 if pattern matches, >0 on nomatch, <0 on error
1565  */
1566 static int miregexec(miRE mire, const char * val)
1567 {
1568     int rc = 0;
1569
1570     switch (mire->mode) {
1571     case RPMMIRE_STRCMP:
1572         rc = strcmp(mire->pattern, val);
1573         if (rc) rc = 1;
1574         break;
1575     case RPMMIRE_DEFAULT:
1576     case RPMMIRE_REGEX:
1577         rc = regexec(mire->preg, val, 0, NULL, mire->eflags);
1578         if (rc && rc != REG_NOMATCH) {
1579             char msg[256];
1580             (void) regerror(rc, mire->preg, msg, sizeof(msg)-1);
1581             msg[sizeof(msg)-1] = '\0';
1582             rpmlog(RPMLOG_ERR, _("%s: regexec failed: %s\n"),
1583                         mire->pattern, msg);
1584             rc = -1;
1585         }
1586         break;
1587     case RPMMIRE_GLOB:
1588         rc = fnmatch(mire->pattern, val, mire->fnflags);
1589         if (rc && rc != FNM_NOMATCH)
1590             rc = -1;
1591         break;
1592     default:
1593         rc = -1;
1594         break;
1595     }
1596
1597     return rc;
1598 }
1599
1600 /**
1601  * Compare iterator selectors by rpm tag (qsort/bsearch).
1602  * @param a             1st iterator selector
1603  * @param b             2nd iterator selector
1604  * @return              result of comparison
1605  */
1606 static int mireCmp(const void * a, const void * b)
1607 {
1608     const miRE mireA = (const miRE) a;
1609     const miRE mireB = (const miRE) b;
1610     return (mireA->tag - mireB->tag);
1611 }
1612
1613 /**
1614  * Copy pattern, escaping for appropriate mode.
1615  * @param tag           rpm tag
1616  * @retval modep        type of pattern match
1617  * @param pattern       pattern to duplicate
1618  * @return              duplicated pattern
1619  */
1620 static char * mireDup(rpmTag tag, rpmMireMode *modep,
1621                         const char * pattern)
1622 {
1623     const char * s;
1624     char * pat;
1625     char * t;
1626     int brackets;
1627     size_t nb;
1628     int c;
1629
1630     switch (*modep) {
1631     default:
1632     case RPMMIRE_DEFAULT:
1633         if (tag == RPMTAG_DIRNAMES || tag == RPMTAG_BASENAMES) {
1634             *modep = RPMMIRE_GLOB;
1635             pat = xstrdup(pattern);
1636             break;
1637         }
1638
1639         nb = strlen(pattern) + sizeof("^$");
1640
1641         /* Find no. of bytes needed for pattern. */
1642         /* periods and plusses are escaped, splats become '.*' */
1643         c = '\0';
1644         brackets = 0;
1645         for (s = pattern; *s != '\0'; s++) {
1646             switch (*s) {
1647             case '.':
1648             case '+':
1649             case '*':
1650                 if (!brackets) nb++;
1651                 break;
1652             case '\\':
1653                 s++;
1654                 break;
1655             case '[':
1656                 brackets = 1;
1657                 break;
1658             case ']':
1659                 if (c != '[') brackets = 0;
1660                 break;
1661             }
1662             c = *s;
1663         }
1664
1665         pat = t = xmalloc(nb);
1666
1667         if (pattern[0] != '^') *t++ = '^';
1668
1669         /* Copy pattern, escaping periods, prefixing splats with period. */
1670         c = '\0';
1671         brackets = 0;
1672         for (s = pattern; *s != '\0'; s++, t++) {
1673             switch (*s) {
1674             case '.':
1675             case '+':
1676                 if (!brackets) *t++ = '\\';
1677                 break;
1678             case '*':
1679                 if (!brackets) *t++ = '.';
1680                 break;
1681             case '\\':
1682                 *t++ = *s++;
1683                 break;
1684             case '[':
1685                 brackets = 1;
1686                 break;
1687             case ']':
1688                 if (c != '[') brackets = 0;
1689                 break;
1690             }
1691             c = *t = *s;
1692         }
1693
1694         if (s > pattern && s[-1] != '$') *t++ = '$';
1695         *t = '\0';
1696         *modep = RPMMIRE_REGEX;
1697         break;
1698     case RPMMIRE_STRCMP:
1699     case RPMMIRE_REGEX:
1700     case RPMMIRE_GLOB:
1701         pat = xstrdup(pattern);
1702         break;
1703     }
1704
1705     return pat;
1706 }
1707
1708 int rpmdbSetIteratorRE(rpmdbMatchIterator mi, rpmTag tag,
1709                 rpmMireMode mode, const char * pattern)
1710 {
1711     static rpmMireMode defmode = (rpmMireMode)-1;
1712     miRE mire = NULL;
1713     char * allpat = NULL;
1714     int notmatch = 0;
1715     regex_t * preg = NULL;
1716     int cflags = 0;
1717     int eflags = 0;
1718     int fnflags = 0;
1719     int rc = 0;
1720
1721     if (defmode == (rpmMireMode)-1) {
1722         char *t = rpmExpand("%{?_query_selector_match}", NULL);
1723
1724         if (*t == '\0' || !strcmp(t, "default"))
1725             defmode = RPMMIRE_DEFAULT;
1726         else if (!strcmp(t, "strcmp"))
1727             defmode = RPMMIRE_STRCMP;
1728         else if (!strcmp(t, "regex"))
1729             defmode = RPMMIRE_REGEX;
1730         else if (!strcmp(t, "glob"))
1731             defmode = RPMMIRE_GLOB;
1732         else
1733             defmode = RPMMIRE_DEFAULT;
1734         t = _free(t);
1735      }
1736
1737     if (mi == NULL || pattern == NULL)
1738         return rc;
1739
1740     /* Leading '!' inverts pattern match sense, like "grep -v". */
1741     if (*pattern == '!') {
1742         notmatch = 1;
1743         pattern++;
1744     }
1745
1746     allpat = mireDup(tag, &mode, pattern);
1747
1748     if (mode == RPMMIRE_DEFAULT)
1749         mode = defmode;
1750
1751     switch (mode) {
1752     case RPMMIRE_DEFAULT:
1753     case RPMMIRE_STRCMP:
1754         break;
1755     case RPMMIRE_REGEX:
1756         preg = xcalloc(1, sizeof(*preg));
1757         cflags = (REG_EXTENDED | REG_NOSUB);
1758         rc = regcomp(preg, allpat, cflags);
1759         if (rc) {
1760             char msg[256];
1761             (void) regerror(rc, preg, msg, sizeof(msg)-1);
1762             msg[sizeof(msg)-1] = '\0';
1763             rpmlog(RPMLOG_ERR, _("%s: regcomp failed: %s\n"), allpat, msg);
1764         }
1765         break;
1766     case RPMMIRE_GLOB:
1767         fnflags = FNM_PATHNAME | FNM_PERIOD;
1768         break;
1769     default:
1770         rc = -1;
1771         break;
1772     }
1773
1774     if (rc) {
1775         /* FIX: mire has kept values */
1776         allpat = _free(allpat);
1777         if (preg) {
1778             regfree(preg);
1779             /* LCL: regfree has bogus only */
1780             preg = _free(preg);
1781         }
1782         return rc;
1783     }
1784
1785     mi->mi_re = xrealloc(mi->mi_re, (mi->mi_nre + 1) * sizeof(*mi->mi_re));
1786     mire = mi->mi_re + mi->mi_nre;
1787     mi->mi_nre++;
1788     
1789     mire->tag = tag;
1790     mire->mode = mode;
1791     mire->pattern = allpat;
1792     mire->notmatch = notmatch;
1793     mire->preg = preg;
1794     mire->cflags = cflags;
1795     mire->eflags = eflags;
1796     mire->fnflags = fnflags;
1797
1798     if (mi->mi_nre > 1)
1799         qsort(mi->mi_re, mi->mi_nre, sizeof(*mi->mi_re), mireCmp);
1800
1801     return rc;
1802 }
1803
1804 /**
1805  * Return iterator selector match.
1806  * @param mi            rpm database iterator
1807  * @return              1 if header should be skipped
1808  */
1809 static int mireSkip (const rpmdbMatchIterator mi)
1810 {
1811     miRE mire;
1812     static int32_t zero = 0;
1813     int ntags = 0;
1814     int nmatches = 0;
1815     int rc;
1816
1817     if (mi->mi_h == NULL)       /* XXX can't happen */
1818         return 0;
1819
1820     /*
1821      * Apply tag tests, implicitly "||" for multiple patterns/values of a
1822      * single tag, implicitly "&&" between multiple tag patterns.
1823      */
1824     if ((mire = mi->mi_re) != NULL)
1825     for (int i = 0; i < mi->mi_nre; i++, mire++) {
1826         int anymatch;
1827         struct rpmtd_s td;
1828
1829         if (!headerGet(mi->mi_h, mire->tag, &td, HEADERGET_MINMEM)) {
1830             if (mire->tag != RPMTAG_EPOCH) {
1831                 ntags++;
1832                 continue;
1833             }
1834             /* "is package already installed" checks rely on this behavior */
1835             td.count = 1;
1836             td.type = RPM_INT32_TYPE;
1837             td.data = &zero;
1838         }
1839
1840         anymatch = 0;           /* no matches yet */
1841         while (1) {
1842             rpmtdInit(&td);
1843             while (rpmtdNext(&td) >= 0) {
1844                 char *str = rpmtdFormat(&td, RPMTD_FORMAT_STRING, NULL);
1845                 if (str) {
1846                     rc = miregexec(mire, str);
1847                     if ((!rc && !mire->notmatch) || (rc && mire->notmatch))
1848                         anymatch++;
1849                     free(str);
1850                 }
1851             }
1852             if ((i+1) < mi->mi_nre && mire[0].tag == mire[1].tag) {
1853                 i++;
1854                 mire++;
1855                 continue;
1856             }
1857             break;
1858         }
1859         rpmtdFreeData(&td);
1860
1861         ntags++;
1862         if (anymatch)
1863             nmatches++;
1864     }
1865
1866     return (ntags == nmatches ? 0 : 1);
1867 }
1868
1869 int rpmdbSetIteratorRewrite(rpmdbMatchIterator mi, int rewrite)
1870 {
1871     int rc;
1872     if (mi == NULL)
1873         return 0;
1874     rc = (mi->mi_cflags & DB_WRITECURSOR) ? 1 : 0;
1875     if (rewrite)
1876         mi->mi_cflags |= DB_WRITECURSOR;
1877     else
1878         mi->mi_cflags &= ~DB_WRITECURSOR;
1879     return rc;
1880 }
1881
1882 int rpmdbSetIteratorModified(rpmdbMatchIterator mi, int modified)
1883 {
1884     int rc;
1885     if (mi == NULL)
1886         return 0;
1887     rc = mi->mi_modified;
1888     mi->mi_modified = modified;
1889     return rc;
1890 }
1891
1892 int rpmdbSetHdrChk(rpmdbMatchIterator mi, rpmts ts,
1893         rpmRC (*hdrchk) (rpmts ts, const void *uh, size_t uc, char ** msg))
1894 {
1895     int rc = 0;
1896     if (mi == NULL)
1897         return 0;
1898     /* XXX forward linkage prevents rpmtsLink */
1899     mi->mi_ts = ts;
1900     mi->mi_hdrchk = hdrchk;
1901     return rc;
1902 }
1903
1904
1905 /* FIX: mi->mi_key.data may be NULL */
1906 Header rpmdbNextIterator(rpmdbMatchIterator mi)
1907 {
1908     dbiIndex dbi;
1909     void * uh;
1910     size_t uhlen;
1911     DBT * key;
1912     DBT * data;
1913     void * keyp;
1914     size_t keylen;
1915     int rc;
1916     int xx;
1917
1918     if (mi == NULL)
1919         return NULL;
1920
1921     dbi = dbiOpen(mi->mi_db, RPMDBI_PACKAGES, 0);
1922     if (dbi == NULL)
1923         return NULL;
1924
1925     /*
1926      * Cursors are per-iterator, not per-dbi, so get a cursor for the
1927      * iterator on 1st call. If the iteration is to rewrite headers, and the
1928      * CDB model is used for the database, then the cursor needs to
1929      * marked with DB_WRITECURSOR as well.
1930      */
1931     if (mi->mi_dbc == NULL)
1932         xx = dbiCopen(dbi, dbi->dbi_txnid, &mi->mi_dbc, mi->mi_cflags);
1933
1934     key = &mi->mi_key;
1935     memset(key, 0, sizeof(*key));
1936     data = &mi->mi_data;
1937     memset(data, 0, sizeof(*data));
1938
1939 top:
1940     uh = NULL;
1941     uhlen = 0;
1942
1943     do {
1944         union _dbswap mi_offset;
1945
1946         if (mi->mi_set) {
1947             if (!(mi->mi_setx < mi->mi_set->count))
1948                 return NULL;
1949             mi->mi_offset = dbiIndexRecordOffset(mi->mi_set, mi->mi_setx);
1950             mi->mi_filenum = dbiIndexRecordFileNumber(mi->mi_set, mi->mi_setx);
1951             mi_offset.ui = mi->mi_offset;
1952             if (dbiByteSwapped(dbi) == 1)
1953                 _DBSWAP(mi_offset);
1954             keyp = &mi_offset;
1955             keylen = sizeof(mi_offset.ui);
1956         } else {
1957
1958             key->data = keyp = (void *)mi->mi_keyp;
1959             key->size = keylen = mi->mi_keylen;
1960             data->data = uh;
1961             data->size = uhlen;
1962 #if !defined(_USE_COPY_LOAD)
1963             data->flags |= DB_DBT_MALLOC;
1964 #endif
1965             rc = dbiGet(dbi, mi->mi_dbc, key, data,
1966                         (key->data == NULL ? DB_NEXT : DB_SET));
1967             data->flags = 0;
1968             keyp = key->data;
1969             keylen = key->size;
1970             uh = data->data;
1971             uhlen = data->size;
1972
1973             /*
1974              * If we got the next key, save the header instance number.
1975              *
1976              * For db3 Packages, instance 0 (i.e. mi->mi_setx == 0) is the
1977              * largest header instance in the database, and should be
1978              * skipped.
1979              */
1980             if (keyp && mi->mi_setx && rc == 0) {
1981                 memcpy(&mi_offset, keyp, sizeof(mi_offset.ui));
1982             if (dbiByteSwapped(dbi) == 1)
1983                 _DBSWAP(mi_offset);
1984                 mi->mi_offset = mi_offset.ui;
1985             }
1986
1987             /* Terminate on error or end of keys */
1988             if (rc || (mi->mi_setx && mi->mi_offset == 0))
1989                 return NULL;
1990         }
1991         mi->mi_setx++;
1992     } while (mi->mi_offset == 0);
1993
1994     /* If next header is identical, return it now. */
1995     if (mi->mi_prevoffset && mi->mi_offset == mi->mi_prevoffset)
1996         return mi->mi_h;
1997
1998     /* Retrieve next header blob for index iterator. */
1999     if (uh == NULL) {
2000         key->data = keyp;
2001         key->size = keylen;
2002 #if !defined(_USE_COPY_LOAD)
2003         data->flags |= DB_DBT_MALLOC;
2004 #endif
2005         rc = dbiGet(dbi, mi->mi_dbc, key, data, DB_SET);
2006         data->flags = 0;
2007         keyp = key->data;
2008         keylen = key->size;
2009         uh = data->data;
2010         uhlen = data->size;
2011         if (rc)
2012             return NULL;
2013     }
2014
2015     /* Rewrite current header (if necessary) and unlink. */
2016     xx = miFreeHeader(mi, dbi);
2017
2018     /* Is this the end of the iteration? */
2019     if (uh == NULL)
2020         return NULL;
2021
2022     /* Check header digest/signature once (if requested). */
2023     if (mi->mi_hdrchk && mi->mi_ts) {
2024         rpmRC rpmrc = RPMRC_NOTFOUND;
2025
2026         /* Don't bother re-checking a previously read header. */
2027         if (mi->mi_db->db_bits) {
2028             pbm_set * set;
2029
2030             set = PBM_REALLOC((pbm_set **)&mi->mi_db->db_bits,
2031                         &mi->mi_db->db_nbits, mi->mi_offset);
2032             if (PBM_ISSET(mi->mi_offset, set))
2033                 rpmrc = RPMRC_OK;
2034         }
2035
2036         /* If blob is unchecked, check blob import consistency now. */
2037         if (rpmrc != RPMRC_OK) {
2038             char * msg = NULL;
2039             int lvl;
2040
2041             rpmrc = (*mi->mi_hdrchk) (mi->mi_ts, uh, uhlen, &msg);
2042             lvl = (rpmrc == RPMRC_FAIL ? RPMLOG_ERR : RPMLOG_DEBUG);
2043             rpmlog(lvl, "%s h#%8u %s",
2044                 (rpmrc == RPMRC_FAIL ? _("rpmdbNextIterator: skipping") : " read"),
2045                         mi->mi_offset, (msg ? msg : "\n"));
2046             msg = _free(msg);
2047
2048             /* Mark header checked. */
2049             if (mi->mi_db && mi->mi_db->db_bits && rpmrc == RPMRC_OK) {
2050                 pbm_set * set;
2051
2052                 set = PBM_REALLOC((pbm_set **)&mi->mi_db->db_bits,
2053                         &mi->mi_db->db_nbits, mi->mi_offset);
2054                 PBM_SET(mi->mi_offset, set);
2055             }
2056
2057             /* Skip damaged and inconsistent headers. */
2058             if (rpmrc == RPMRC_FAIL)
2059                 goto top;
2060         }
2061     }
2062
2063     /* Did the header blob load correctly? */
2064 #if !defined(_USE_COPY_LOAD)
2065     mi->mi_h = headerLoad(uh);
2066     if (mi->mi_h)
2067         mi->mi_h->flags |= HEADERFLAG_ALLOCATED;
2068 #else
2069     mi->mi_h = headerCopyLoad(uh);
2070 #endif
2071     if (mi->mi_h == NULL || !headerIsEntry(mi->mi_h, RPMTAG_NAME)) {
2072         rpmlog(RPMLOG_ERR,
2073                 _("rpmdb: damaged header #%u retrieved -- skipping.\n"),
2074                 mi->mi_offset);
2075         goto top;
2076     }
2077
2078     /*
2079      * Skip this header if iterator selector (if any) doesn't match.
2080      */
2081     if (mireSkip(mi)) {
2082         /* XXX hack, can't restart with Packages locked on single instance. */
2083         if (mi->mi_set || mi->mi_keyp == NULL)
2084             goto top;
2085         return NULL;
2086     }
2087
2088     mi->mi_prevoffset = mi->mi_offset;
2089     mi->mi_modified = 0;
2090
2091     return mi->mi_h;
2092 }
2093
2094 static void rpmdbSortIterator(rpmdbMatchIterator mi)
2095 {
2096     if (mi && mi->mi_set && mi->mi_set->recs && mi->mi_set->count > 0) {
2097     /*
2098      * mergesort is much (~10x with lots of identical basenames) faster
2099      * than pure quicksort, but glibc uses msort_with_tmp() on stack.
2100      */
2101 #if defined(__GLIBC__)
2102         qsort(mi->mi_set->recs, mi->mi_set->count,
2103                 sizeof(*mi->mi_set->recs), hdrNumCmp);
2104 #else
2105         mergesort(mi->mi_set->recs, mi->mi_set->count,
2106                 sizeof(*mi->mi_set->recs), hdrNumCmp);
2107 #endif
2108         mi->mi_sorted = 1;
2109     }
2110 }
2111
2112 /* LCL: segfault */
2113 static int rpmdbGrowIterator(rpmdbMatchIterator mi, int fpNum)
2114 {
2115     DBC * dbcursor;
2116     DBT * key;
2117     DBT * data;
2118     dbiIndex dbi = NULL;
2119     dbiIndexSet set;
2120     int rc;
2121     int xx;
2122     int i;
2123
2124     if (mi == NULL)
2125         return 1;
2126
2127     dbcursor = mi->mi_dbc;
2128     key = &mi->mi_key;
2129     data = &mi->mi_data;
2130     if (key->data == NULL)
2131         return 1;
2132
2133     dbi = dbiOpen(mi->mi_db, mi->mi_rpmtag, 0);
2134     if (dbi == NULL)
2135         return 1;
2136
2137     xx = dbiCopen(dbi, dbi->dbi_txnid, &dbcursor, 0);
2138     rc = dbiGet(dbi, dbcursor, key, data, DB_SET);
2139 #ifndef SQLITE_HACK
2140     xx = dbiCclose(dbi, dbcursor, 0);
2141     dbcursor = NULL;
2142 #endif
2143
2144     if (rc) {                   /* error/not found */
2145         if (rc != DB_NOTFOUND)
2146             rpmlog(RPMLOG_ERR,
2147                 _("error(%d) getting \"%s\" records from %s index\n"),
2148                 rc, (char*)key->data, rpmTagGetName(dbi->dbi_rpmtag));
2149 #ifdef  SQLITE_HACK
2150         xx = dbiCclose(dbi, dbcursor, 0);
2151         dbcursor = NULL;
2152 #endif
2153         return rc;
2154     }
2155
2156     set = NULL;
2157     (void) dbt2set(dbi, data, &set);
2158     for (i = 0; i < set->count; i++)
2159         set->recs[i].fpNum = fpNum;
2160
2161 #ifdef  SQLITE_HACK
2162     xx = dbiCclose(dbi, dbcursor, 0);
2163     dbcursor = NULL;
2164 #endif
2165
2166     if (mi->mi_set == NULL) {
2167         mi->mi_set = set;
2168     } else {
2169 #if 0
2170 fprintf(stderr, "+++ %d = %d + %d\t\"%s\"\n", (mi->mi_set->count + set->count), mi->mi_set->count, set->count, ((char *)key->data));
2171 #endif
2172         mi->mi_set->recs = xrealloc(mi->mi_set->recs,
2173                 (mi->mi_set->count + set->count) * sizeof(*(mi->mi_set->recs)));
2174         memcpy(mi->mi_set->recs + mi->mi_set->count, set->recs,
2175                 set->count * sizeof(*(mi->mi_set->recs)));
2176         mi->mi_set->count += set->count;
2177         set = dbiFreeIndexSet(set);
2178     }
2179
2180     return rc;
2181 }
2182
2183 int rpmdbPruneIterator(rpmdbMatchIterator mi, int * hdrNums,
2184         int nHdrNums, int sorted)
2185 {
2186     if (mi == NULL || hdrNums == NULL || nHdrNums <= 0)
2187         return 1;
2188
2189     if (mi->mi_set)
2190         (void) dbiPruneSet(mi->mi_set, hdrNums, nHdrNums, sizeof(*hdrNums), sorted);
2191     return 0;
2192 }
2193
2194 int rpmdbAppendIterator(rpmdbMatchIterator mi, const int * hdrNums, int nHdrNums)
2195 {
2196     if (mi == NULL || hdrNums == NULL || nHdrNums <= 0)
2197         return 1;
2198
2199     if (mi->mi_set == NULL)
2200         mi->mi_set = xcalloc(1, sizeof(*mi->mi_set));
2201     (void) dbiAppendSet(mi->mi_set, hdrNums, nHdrNums, sizeof(*hdrNums), 0);
2202     return 0;
2203 }
2204
2205 rpmdbMatchIterator rpmdbInitIterator(rpmdb db, rpmTag rpmtag,
2206                 const void * keyp, size_t keylen)
2207 {
2208     rpmdbMatchIterator mi;
2209     DBT * key;
2210     DBT * data;
2211     dbiIndexSet set = NULL;
2212     dbiIndex dbi;
2213     void * mi_keyp = NULL;
2214     int isLabel = 0;
2215
2216     if (db == NULL)
2217         return NULL;
2218
2219     (void) rpmdbCheckSignals();
2220
2221     /* XXX HACK to remove rpmdbFindByLabel/findMatches from the API */
2222     if (rpmtag == RPMDBI_LABEL) {
2223         rpmtag = RPMTAG_NAME;
2224         isLabel = 1;
2225     }
2226
2227     dbi = dbiOpen(db, rpmtag, 0);
2228     if (dbi == NULL)
2229         return NULL;
2230
2231     /* Chain cursors for teardown on abnormal exit. */
2232     mi = xcalloc(1, sizeof(*mi));
2233     mi->mi_next = rpmmiRock;
2234     rpmmiRock = mi;
2235
2236     key = &mi->mi_key;
2237     data = &mi->mi_data;
2238
2239     /*
2240      * Handle label and file name special cases.
2241      * Otherwise, retrieve join keys for secondary lookup.
2242      */
2243     if (rpmtag != RPMDBI_PACKAGES && keyp) {
2244         DBC * dbcursor = NULL;
2245         int rc;
2246         int xx;
2247
2248         if (isLabel) {
2249             xx = dbiCopen(dbi, dbi->dbi_txnid, &dbcursor, 0);
2250             rc = dbiFindByLabel(dbi, dbcursor, key, data, keyp, &set);
2251             xx = dbiCclose(dbi, dbcursor, 0);
2252             dbcursor = NULL;
2253         } else if (rpmtag == RPMTAG_BASENAMES) {
2254             rc = rpmdbFindByFile(db, keyp, key, data, &set);
2255         } else {
2256             xx = dbiCopen(dbi, dbi->dbi_txnid, &dbcursor, 0);
2257
2258         key->data = (void *) keyp;
2259         key->size = keylen;
2260         if (key->data && key->size == 0) 
2261             key->size = strlen((char *)key->data);
2262         if (key->data && key->size == 0) 
2263             key->size++;        /* XXX "/" fixup. */
2264
2265             rc = dbiGet(dbi, dbcursor, key, data, DB_SET);
2266             if (rc > 0) {
2267                 rpmlog(RPMLOG_ERR,
2268                         _("error(%d) getting \"%s\" records from %s index\n"),
2269                         rc, (key->data ? (char *)key->data : "???"), 
2270                         rpmTagGetName(dbi->dbi_rpmtag));
2271             }
2272
2273             /* Join keys need to be native endian internally. */
2274             if (rc == 0)
2275                 (void) dbt2set(dbi, data, &set);
2276
2277             xx = dbiCclose(dbi, dbcursor, 0);
2278             dbcursor = NULL;
2279         }
2280         if (rc) {       /* error/not found */
2281             set = dbiFreeIndexSet(set);
2282             rpmmiRock = mi->mi_next;
2283             mi->mi_next = NULL;
2284             mi = _free(mi);
2285             return NULL;
2286         }
2287     }
2288
2289     /* Copy the retrieval key, byte swapping header instance if necessary. */
2290     if (keyp) {
2291         switch (rpmtag) {
2292         case RPMDBI_PACKAGES:
2293           { union _dbswap *k;
2294
2295             assert(keylen == sizeof(k->ui));    /* xxx programmer error */
2296             k = xmalloc(sizeof(*k));
2297             memcpy(k, keyp, keylen);
2298             if (dbiByteSwapped(dbi) == 1)
2299                 _DBSWAP(*k);
2300             mi_keyp = k;
2301           } break;
2302         default:
2303           { char * k;
2304             if (keylen == 0)
2305                 keylen = strlen(keyp);
2306             k = xmalloc(keylen + 1);
2307             memcpy(k, keyp, keylen);
2308             k[keylen] = '\0';   /* XXX assumes strings */
2309             mi_keyp = k;
2310           } break;
2311         }
2312     }
2313
2314     mi->mi_keyp = mi_keyp;
2315     mi->mi_keylen = keylen;
2316
2317     mi->mi_db = rpmdbLink(db, RPMDBG_M("matchIterator"));
2318     mi->mi_rpmtag = rpmtag;
2319
2320     mi->mi_dbc = NULL;
2321     mi->mi_set = set;
2322     mi->mi_setx = 0;
2323     mi->mi_h = NULL;
2324     mi->mi_sorted = 0;
2325     mi->mi_cflags = 0;
2326     mi->mi_modified = 0;
2327     mi->mi_prevoffset = 0;
2328     mi->mi_offset = 0;
2329     mi->mi_filenum = 0;
2330     mi->mi_nre = 0;
2331     mi->mi_re = NULL;
2332
2333     mi->mi_ts = NULL;
2334     mi->mi_hdrchk = NULL;
2335
2336     return mi;
2337 }
2338
2339 /*
2340  * Convert
2341  * Return 0 to signal this item should be discarded (ie continue)
2342  */
2343 static int td2key(rpmtd tagdata, DBT *key) 
2344 {
2345     static uint8_t bin[32]; /* yuck, eliminate static */
2346     const char *str = NULL;
2347
2348     switch (rpmtdType(tagdata)) {
2349     case RPM_CHAR_TYPE:
2350     case RPM_INT8_TYPE:
2351         key->size = sizeof(uint8_t);
2352         key->data = rpmtdGetChar(tagdata);
2353         break;
2354     case RPM_INT16_TYPE:
2355         key->size = sizeof(uint16_t);
2356         key->data = rpmtdGetUint16(tagdata);
2357         break;
2358     case RPM_INT32_TYPE:
2359         key->size = sizeof(uint32_t);
2360         key->data = rpmtdGetUint32(tagdata);
2361         break;
2362     case RPM_BIN_TYPE:
2363         key->size = tagdata->count;
2364         key->data = tagdata->data;
2365         break;
2366     case RPM_STRING_TYPE:
2367     case RPM_I18NSTRING_TYPE:
2368     case RPM_STRING_ARRAY_TYPE:
2369         str = rpmtdGetString(tagdata);
2370         if (rpmtdTag(tagdata) == RPMTAG_FILEMD5S) {
2371             uint8_t * t = bin;
2372             /* Filter out empty MD5 strings. */
2373             if (!(str && *str != '\0'))
2374                 return 0;
2375
2376             /* Convert from hex to binary. */
2377             for (int j = 0; j < 16; j++, t++, str += 2)
2378                 *t = (rnibble(str[0]) << 4) | rnibble(str[1]);
2379             key->data = bin;
2380             key->size = 16;
2381             break;
2382         } else if (rpmtdTag(tagdata) == RPMTAG_PUBKEYS) {
2383             /* Extract the pubkey id from the base64 blob. */
2384             int nbin = pgpExtractPubkeyFingerprint(str, bin);
2385             if (nbin <= 0)
2386                 return 0;
2387             key->data = bin;
2388             key->size = nbin;
2389             break;
2390         } else {
2391             /* fallthrough */;
2392         }
2393     default:
2394         str = rpmtdGetString(tagdata);
2395         key->data = (char *) str; /* XXX discards const */
2396         key->size = strlen(str);
2397         break;
2398     }
2399     return 1;
2400 }
2401
2402 static void logAddRemove(int removing, rpmtd tagdata)
2403 {
2404     rpm_count_t c = rpmtdCount(tagdata);
2405     if (c == 1 && rpmtdType(tagdata) == RPM_STRING_TYPE) {
2406         rpmlog(RPMLOG_DEBUG, "%s \"%s\" %s %s index.\n",
2407                 removing ? "removing" : "adding", rpmtdGetString(tagdata), 
2408                 removing ? "from" : "to", 
2409                 rpmTagGetName(rpmtdTag(tagdata)));
2410     } else if (c > 0) {
2411         rpmlog(RPMLOG_DEBUG, "%s %d entries %s %s index.\n",
2412                 removing ? "removing" : "adding", c, 
2413                 removing ? "from" : "to", 
2414                 rpmTagGetName(rpmtdTag(tagdata)));
2415     }
2416 }
2417
2418 /* XXX psm.c */
2419 int rpmdbRemove(rpmdb db, int rid, unsigned int hdrNum,
2420                 rpmts ts,
2421                 rpmRC (*hdrchk) (rpmts ts, const void *uh, size_t uc, char ** msg))
2422 {
2423     DBC * dbcursor = NULL;
2424     DBT key;
2425     DBT data;
2426     union _dbswap mi_offset;
2427     Header h;
2428     sigset_t signalMask;
2429     int ret = 0;
2430     int rc = 0;
2431
2432     if (db == NULL)
2433         return 0;
2434
2435     memset(&key, 0, sizeof(key));
2436     memset(&data, 0, sizeof(data));
2437
2438     {   rpmdbMatchIterator mi;
2439         mi = rpmdbInitIterator(db, RPMDBI_PACKAGES, &hdrNum, sizeof(hdrNum));
2440         h = rpmdbNextIterator(mi);
2441         if (h)
2442             h = headerLink(h);
2443         mi = rpmdbFreeIterator(mi);
2444     }
2445
2446     if (h == NULL) {
2447         rpmlog(RPMLOG_ERR, _("%s: cannot read header at 0x%x\n"),
2448               "rpmdbRemove", hdrNum);
2449         return 1;
2450     }
2451
2452     {   
2453         char *nevra = headerGetNEVRA(h, NULL);
2454         rpmlog(RPMLOG_DEBUG, "  --- h#%8u %s\n", hdrNum, nevra);
2455         free(nevra);
2456     }
2457
2458     (void) blockSignals(&signalMask);
2459
2460         /* FIX: rpmvals heartburn */
2461     {   int dbix;
2462         dbiIndexItem rec = dbiIndexNewItem(hdrNum, 0);
2463
2464         if (dbiTags.tags != NULL)
2465         for (dbix = 0; dbix < dbiTags.max; dbix++) {
2466             dbiIndex dbi;
2467             rpmTag rpmtag;
2468             int xx = 0;
2469             struct rpmtd_s tagdata;
2470
2471             dbi = NULL;
2472             rpmtag = dbiTags.tags[dbix];
2473
2474             /* Filter out temporary databases */
2475             if (isTemporaryDB(rpmtag)) 
2476                 continue;
2477
2478             if (rpmtag == RPMDBI_PACKAGES) {
2479                 dbi = dbiOpen(db, rpmtag, 0);
2480                 if (dbi == NULL)        /* XXX shouldn't happen */
2481                     continue;
2482               
2483                 mi_offset.ui = hdrNum;
2484                 if (dbiByteSwapped(dbi) == 1)
2485                     _DBSWAP(mi_offset);
2486                 key.data = &mi_offset;
2487                 key.size = sizeof(mi_offset.ui);
2488
2489                 rc = dbiCopen(dbi, dbi->dbi_txnid, &dbcursor, DB_WRITECURSOR);
2490                 rc = dbiGet(dbi, dbcursor, &key, &data, DB_SET);
2491                 if (rc) {
2492                     rpmlog(RPMLOG_ERR,
2493                         _("error(%d) setting header #%d record for %s removal\n"),
2494                         rc, hdrNum, rpmTagGetName(dbi->dbi_rpmtag));
2495                 } else
2496                     rc = dbiDel(dbi, dbcursor, &key, &data, 0);
2497                 xx = dbiCclose(dbi, dbcursor, DB_WRITECURSOR);
2498                 dbcursor = NULL;
2499                 if (!dbi->dbi_no_dbsync)
2500                     xx = dbiSync(dbi, 0);
2501                 continue;
2502             }
2503         
2504             if (!headerGet(h, rpmtag, &tagdata, HEADERGET_MINMEM))
2505                 continue;
2506
2507             if (!(dbi = dbiOpen(db, rpmtag, 0))) {
2508                 rpmtdFreeData(&tagdata);
2509                 continue;
2510             }
2511         
2512             xx = dbiCopen(dbi, dbi->dbi_txnid, &dbcursor, DB_WRITECURSOR);
2513             rpmtdInit(&tagdata);
2514
2515             logAddRemove(1, &tagdata);
2516
2517             while (rpmtdNext(&tagdata) >= 0) {
2518                 dbiIndexSet set;
2519
2520                 if (!td2key(&tagdata, &key)) {
2521                     continue;
2522                 }
2523
2524                 /* XXX
2525                  * This is almost right, but, if there are duplicate tag
2526                  * values, there will be duplicate attempts to remove
2527                  * the header instance. It's faster to just ignore errors
2528                  * than to do things correctly.
2529                  */
2530
2531                 /* 
2532                  * XXX with duplicates, an accurate data value and 
2533                  * DB_GET_BOTH is needed. 
2534                  * */
2535                 set = NULL;
2536
2537                 if (key.size == 0) 
2538                     key.size = strlen((char *)key.data);
2539                 if (key.size == 0) 
2540                     key.size++; /* XXX "/" fixup. */
2541  
2542                 rc = dbiGet(dbi, dbcursor, &key, &data, DB_SET);
2543                 if (rc == 0) {                  /* success */
2544                     (void) dbt2set(dbi, &data, &set);
2545                 } else if (rc == DB_NOTFOUND) { /* not found */
2546                     continue;
2547                 } else {                        /* error */
2548                     rpmlog(RPMLOG_ERR,
2549                         _("error(%d) setting \"%s\" records from %s index\n"),
2550                         rc, (char*)key.data, rpmTagGetName(dbi->dbi_rpmtag));
2551                     ret += 1;
2552                     continue;
2553                 }
2554
2555                 rc = dbiPruneSet(set, rec, 1, sizeof(*rec), 1);
2556
2557                 /* If nothing was pruned, then don't bother updating. */
2558                 if (rc) {
2559                     set = dbiFreeIndexSet(set);
2560                     continue;
2561                 }
2562
2563                 if (set->count > 0) {
2564                     (void) set2dbt(dbi, &data, set);
2565                     rc = dbiPut(dbi, dbcursor, &key, &data, DB_KEYLAST);
2566                     if (rc) {
2567                         rpmlog(RPMLOG_ERR,
2568                                 _("error(%d) storing record \"%s\" into %s\n"),
2569                                 rc, (char*)key.data, rpmTagGetName(dbi->dbi_rpmtag));
2570                         ret += 1;
2571                     }
2572                     data.data = _free(data.data);
2573                     data.size = 0;
2574                 } else {
2575                     rc = dbiDel(dbi, dbcursor, &key, &data, 0);
2576                     if (rc) {
2577                         rpmlog(RPMLOG_ERR,
2578                                 _("error(%d) removing record \"%s\" from %s\n"),
2579                                 rc, (char*)key.data, rpmTagGetName(dbi->dbi_rpmtag));
2580                         ret += 1;
2581                     }
2582                 }
2583                 set = dbiFreeIndexSet(set);
2584             }
2585
2586             xx = dbiCclose(dbi, dbcursor, DB_WRITECURSOR);
2587             dbcursor = NULL;
2588
2589             if (!dbi->dbi_no_dbsync)
2590                 xx = dbiSync(dbi, 0);
2591
2592             rpmtdFreeData(&tagdata);
2593         }
2594
2595         rec = _free(rec);
2596     }
2597
2598     (void) unblockSignals(&signalMask);
2599
2600     h = headerFree(h);
2601
2602     /* XXX return ret; */
2603     return 0;
2604 }
2605
2606 /* XXX install.c */
2607 int rpmdbAdd(rpmdb db, int iid, Header h,
2608              rpmts ts,
2609              rpmRC (*hdrchk) (rpmts ts, const void *uh, size_t uc, char ** msg))
2610 {
2611     DBC * dbcursor = NULL;
2612     DBT key;
2613     DBT data;
2614     sigset_t signalMask;
2615     dbiIndex dbi;
2616     int dbix;
2617     union _dbswap mi_offset;
2618     unsigned int hdrNum = 0;
2619     int ret = 0;
2620     int rc;
2621     int xx;
2622
2623     if (db == NULL)
2624         return 0;
2625
2626     memset(&key, 0, sizeof(key));
2627     memset(&data, 0, sizeof(data));
2628
2629 #ifdef  NOTYET  /* XXX headerRemoveEntry() broken on dribbles. */
2630     xx = headerRemoveEntry(h, RPMTAG_REMOVETID);
2631 #endif
2632     if (iid != 0 && iid != -1) {
2633         rpm_tid_t tid = iid;
2634         if (!headerIsEntry(h, RPMTAG_INSTALLTID))
2635            xx = headerAddEntry(h, RPMTAG_INSTALLTID, RPM_INT32_TYPE, &tid, 1);
2636     }
2637
2638     (void) blockSignals(&signalMask);
2639
2640     {
2641         unsigned int firstkey = 0;
2642         void * keyp = &firstkey;
2643         size_t keylen = sizeof(firstkey);
2644         void * datap = NULL;
2645         size_t datalen = 0;
2646
2647       dbi = dbiOpen(db, RPMDBI_PACKAGES, 0);
2648       if (dbi != NULL) {
2649
2650         /* XXX db0: hack to pass sizeof header to fadAlloc */
2651         datap = h;
2652         datalen = headerSizeof(h, HEADER_MAGIC_NO);
2653
2654         xx = dbiCopen(dbi, dbi->dbi_txnid, &dbcursor, DB_WRITECURSOR);
2655
2656         /* Retrieve join key for next header instance. */
2657
2658         key.data = keyp;
2659         key.size = keylen;
2660         data.data = datap;
2661         data.size = datalen;
2662         ret = dbiGet(dbi, dbcursor, &key, &data, DB_SET);
2663         keyp = key.data;
2664         keylen = key.size;
2665         datap = data.data;
2666         datalen = data.size;
2667
2668         hdrNum = 0;
2669         if (ret == 0 && datap) {
2670             memcpy(&mi_offset, datap, sizeof(mi_offset.ui));
2671             if (dbiByteSwapped(dbi) == 1)
2672                 _DBSWAP(mi_offset);
2673             hdrNum = mi_offset.ui;
2674         }
2675         ++hdrNum;
2676         mi_offset.ui = hdrNum;
2677         if (dbiByteSwapped(dbi) == 1)
2678             _DBSWAP(mi_offset);
2679         if (ret == 0 && datap) {
2680             memcpy(datap, &mi_offset, sizeof(mi_offset.ui));
2681         } else {
2682             datap = &mi_offset;
2683             datalen = sizeof(mi_offset.ui);
2684         }
2685
2686         key.data = keyp;
2687         key.size = keylen;
2688         data.data = datap;
2689         data.size = datalen;
2690
2691         ret = dbiPut(dbi, dbcursor, &key, &data, DB_KEYLAST);
2692         xx = dbiSync(dbi, 0);
2693
2694         xx = dbiCclose(dbi, dbcursor, DB_WRITECURSOR);
2695         dbcursor = NULL;
2696       }
2697
2698     }
2699
2700     if (ret) {
2701         rpmlog(RPMLOG_ERR,
2702                 _("error(%d) allocating new package instance\n"), ret);
2703         goto exit;
2704     }
2705
2706     /* Now update the indexes */
2707
2708     if (hdrNum)
2709     {   
2710         dbiIndexItem rec = dbiIndexNewItem(hdrNum, 0);
2711
2712         if (dbiTags.tags != NULL)
2713         for (dbix = 0; dbix < dbiTags.max; dbix++) {
2714             rpmTag rpmtag;
2715             rpmRC rpmrc;
2716             int j;
2717             struct rpmtd_s tagdata, reqflags;
2718
2719             rpmrc = RPMRC_NOTFOUND;
2720             dbi = NULL;
2721             rpmtag = dbiTags.tags[dbix];
2722
2723             /* Filter out temporary databases */
2724             if (isTemporaryDB(rpmtag)) 
2725                 continue;
2726
2727             switch (rpmtag) {
2728             case RPMDBI_PACKAGES:
2729                 dbi = dbiOpen(db, rpmtag, 0);
2730                 if (dbi == NULL)        /* XXX shouldn't happen */
2731                     continue;
2732                 xx = dbiCopen(dbi, dbi->dbi_txnid, &dbcursor, DB_WRITECURSOR);
2733
2734                 mi_offset.ui = hdrNum;
2735                 if (dbiByteSwapped(dbi) == 1)
2736                     _DBSWAP(mi_offset);
2737                 key.data = (void *) &mi_offset;
2738                 key.size = sizeof(mi_offset.ui);
2739                 data.data = headerUnload(h);
2740                 data.size = headerSizeof(h, HEADER_MAGIC_NO);
2741
2742                 /* Check header digest/signature on blob export. */
2743                 if (hdrchk && ts) {
2744                     char * msg = NULL;
2745                     int lvl;
2746
2747                     rpmrc = (*hdrchk) (ts, data.data, data.size, &msg);
2748                     lvl = (rpmrc == RPMRC_FAIL ? RPMLOG_ERR : RPMLOG_DEBUG);
2749                     rpmlog(lvl, "%s h#%8u %s",
2750                         (rpmrc == RPMRC_FAIL ? _("rpmdbAdd: skipping") : "  +++"),
2751                                 hdrNum, (msg ? msg : "\n"));
2752                     msg = _free(msg);
2753                 }
2754
2755                 if (data.data != NULL && rpmrc != RPMRC_FAIL) {
2756                     xx = dbiPut(dbi, dbcursor, &key, &data, DB_KEYLAST);
2757                     xx = dbiSync(dbi, 0);
2758                 }
2759                 data.data = _free(data.data);
2760                 data.size = 0;
2761                 xx = dbiCclose(dbi, dbcursor, DB_WRITECURSOR);
2762                 dbcursor = NULL;
2763                 if (!dbi->dbi_no_dbsync)
2764                     xx = dbiSync(dbi, 0);
2765                 continue;
2766                 break;
2767             case RPMTAG_REQUIRENAME:
2768                 headerGet(h, rpmtag, &tagdata, HEADERGET_MINMEM);
2769                 headerGet(h, RPMTAG_REQUIREFLAGS, &reqflags, HEADERGET_MINMEM);
2770                 break;
2771             default:
2772                 headerGet(h, rpmtag, &tagdata, HEADERGET_MINMEM);
2773                 break;
2774             }
2775
2776             if (rpmtdCount(&tagdata) == 0) {
2777                 if (rpmtag != RPMTAG_GROUP)
2778                     continue;
2779
2780                 /* XXX preserve legacy behavior */
2781                 tagdata.type = RPM_STRING_TYPE;
2782                 tagdata.data = (const char **) "Unknown";
2783                 tagdata.count = 1;
2784             }
2785
2786             if (!(dbi = dbiOpen(db, rpmtag, 0))) {
2787                 rpmtdFreeData(&tagdata);
2788                 continue;
2789             }
2790             xx = dbiCopen(dbi, dbi->dbi_txnid, &dbcursor, DB_WRITECURSOR);
2791
2792             logAddRemove(0, &tagdata);
2793             while (rpmtdNext(&tagdata) >= 0) {
2794                 dbiIndexSet set;
2795                 int i;
2796
2797                 /*
2798                  * Include the tagNum in all indices. rpm-3.0.4 and earlier
2799                  * included the tagNum only for files.
2800                  */
2801                 i = rec->tagNum = rpmtdGetIndex(&tagdata);
2802                 switch (rpmtag) {
2803                 case RPMTAG_REQUIRENAME: {
2804                     /* Filter out install prerequisites. */
2805                     rpm_flag_t *rflag = rpmtdNextUint32(&reqflags);
2806                     if (rflag && isInstallPreReq(*rflag))
2807                         continue;
2808                     break;
2809                     }
2810                 case RPMTAG_TRIGGERNAME:
2811                     if (i > 0) {        /* don't add duplicates */
2812                         const char **tnames = tagdata.data;
2813                         const char *str = rpmtdGetString(&tagdata);
2814                         for (j = 0; j < i; j++) {
2815                             if (!strcmp(str, tnames[j]))
2816                                 break;
2817                         }
2818                         if (j < i)
2819                             continue;
2820                     }
2821                     break;
2822                 default:
2823                     break;
2824                 }
2825
2826                 if (!td2key(&tagdata, &key)) {
2827                     continue;
2828                 }
2829
2830                 /* 
2831                  * XXX with duplicates, an accurate data value and 
2832                  * DB_GET_BOTH is needed. 
2833                  */
2834
2835                 set = NULL;
2836
2837                 if (key.size == 0) 
2838                     key.size = strlen((char *)key.data);
2839                 if (key.size == 0) 
2840                     key.size++; /* XXX "/" fixup. */
2841
2842                 rc = dbiGet(dbi, dbcursor, &key, &data, DB_SET);
2843                 if (rc == 0) {                  /* success */
2844                 /* With duplicates, cursor is positioned, discard the record. */
2845                     if (!dbi->dbi_permit_dups)
2846                         (void) dbt2set(dbi, &data, &set);
2847                 } else if (rc != DB_NOTFOUND) { /* error */
2848                     rpmlog(RPMLOG_ERR,
2849                         _("error(%d) getting \"%s\" records from %s index\n"),
2850                         rc, (char*)key.data, rpmTagGetName(dbi->dbi_rpmtag));
2851                     ret += 1;
2852                     continue;
2853                 }
2854
2855                 if (set == NULL)                /* not found or duplicate */
2856                     set = xcalloc(1, sizeof(*set));
2857
2858                 (void) dbiAppendSet(set, rec, 1, sizeof(*rec), 0);
2859
2860                 (void) set2dbt(dbi, &data, set);
2861                 rc = dbiPut(dbi, dbcursor, &key, &data, DB_KEYLAST);
2862
2863                 if (rc) {
2864                     rpmlog(RPMLOG_ERR,
2865                                 _("error(%d) storing record %s into %s\n"),
2866                                 rc, (char*)key.data, rpmTagGetName(dbi->dbi_rpmtag));
2867                     ret += 1;
2868                 }
2869                 data.data = _free(data.data);
2870                 data.size = 0;
2871                 set = dbiFreeIndexSet(set);
2872             }
2873
2874             xx = dbiCclose(dbi, dbcursor, DB_WRITECURSOR);
2875             dbcursor = NULL;
2876
2877             if (!dbi->dbi_no_dbsync)
2878                 xx = dbiSync(dbi, 0);
2879
2880             rpmtdFreeData(&tagdata);
2881         }
2882
2883         rec = _free(rec);
2884     }
2885
2886 exit:
2887     (void) unblockSignals(&signalMask);
2888
2889     return ret;
2890 }
2891
2892 #define _skip(_dn)      { sizeof(_dn)-1, (_dn) }
2893
2894 static struct skipDir_s {
2895     int dnlen;
2896     const char * dn;
2897 } skipDirs[] = {
2898     { 0, NULL }
2899 };
2900
2901 static int skipDir(const char * dn)
2902 {
2903     struct skipDir_s * sd = skipDirs;
2904     int dnlen;
2905
2906     dnlen = strlen(dn);
2907     for (sd = skipDirs; sd->dn != NULL; sd++) {
2908         if (dnlen < sd->dnlen)
2909             continue;
2910         if (strncmp(dn, sd->dn, sd->dnlen))
2911             continue;
2912         return 1;
2913     }
2914     return 0;
2915 }
2916
2917 /* XXX transaction.c */
2918 int rpmdbFindFpList(rpmdb db, fingerPrint * fpList, dbiIndexSet * matchList, 
2919                     int numItems)
2920 {
2921     DBT * key;
2922     DBT * data;
2923     HGE_t hge = (HGE_t)headerGetEntryMinMemory;
2924     HFD_t hfd = headerFreeData;
2925     rpmdbMatchIterator mi;
2926     fingerPrintCache fpc;
2927     Header h;
2928     int i, xx;
2929
2930     if (db == NULL) return 1;
2931
2932     mi = rpmdbInitIterator(db, RPMTAG_BASENAMES, NULL, 0);
2933     if (mi == NULL)     /* XXX should  never happen */
2934         return 1;
2935
2936     key = &mi->mi_key;
2937     data = &mi->mi_data;
2938
2939     /* Gather all installed headers with matching basename's. */
2940     for (i = 0; i < numItems; i++) {
2941
2942         matchList[i] = xcalloc(1, sizeof(*(matchList[i])));
2943
2944         key->data = (void *) fpList[i].baseName;
2945         key->size = strlen((char *)key->data);
2946         if (key->size == 0) 
2947             key->size++;        /* XXX "/" fixup. */
2948
2949         if (skipDir(fpList[i].entry->dirName))
2950             continue;
2951
2952         xx = rpmdbGrowIterator(mi, i);
2953
2954     }
2955
2956     if ((i = rpmdbGetIteratorCount(mi)) == 0) {
2957         mi = rpmdbFreeIterator(mi);
2958         return 0;
2959     }
2960     fpc = fpCacheCreate(i);
2961
2962     rpmdbSortIterator(mi);
2963     /* iterator is now sorted by (recnum, filenum) */
2964
2965     /* For all installed headers with matching basename's ... */
2966     if (mi != NULL)
2967     while ((h = rpmdbNextIterator(mi)) != NULL) {
2968         const char ** dirNames;
2969         const char ** baseNames;
2970         const char ** fullBaseNames;
2971         rpmTagType bnt, dnt;
2972         uint32_t * dirIndexes;
2973         uint32_t * fullDirIndexes;
2974         fingerPrint * fps;
2975         dbiIndexItem im;
2976         int start;
2977         int num;
2978         int end;
2979
2980         start = mi->mi_setx - 1;
2981         im = mi->mi_set->recs + start;
2982
2983         /* Find the end of the set of matched basename's in this package. */
2984         for (end = start + 1; end < mi->mi_set->count; end++) {
2985             if (im->hdrNum != mi->mi_set->recs[end].hdrNum)
2986                 break;
2987         }
2988         num = end - start;
2989
2990         /* Compute fingerprints for this installed header's matches */
2991         xx = hge(h, RPMTAG_BASENAMES, &bnt, (rpm_data_t *) &fullBaseNames, NULL);
2992         xx = hge(h, RPMTAG_DIRNAMES, &dnt, (rpm_data_t *) &dirNames, NULL);
2993         xx = hge(h, RPMTAG_DIRINDEXES, NULL, (rpm_data_t *) &fullDirIndexes, NULL);
2994
2995         baseNames = xcalloc(num, sizeof(*baseNames));
2996         dirIndexes = xcalloc(num, sizeof(*dirIndexes));
2997         for (i = 0; i < num; i++) {
2998             baseNames[i] = fullBaseNames[im[i].tagNum];
2999             dirIndexes[i] = fullDirIndexes[im[i].tagNum];
3000         }
3001
3002         fps = xcalloc(num, sizeof(*fps));
3003         fpLookupList(fpc, dirNames, baseNames, dirIndexes, num, fps);
3004
3005         /* Add db (recnum,filenum) to list for fingerprint matches. */
3006         for (i = 0; i < num; i++, im++) {
3007             /* FIX: fpList[].subDir may be NULL */
3008             if (!FP_EQUAL(fps[i], fpList[im->fpNum]))
3009                 continue;
3010             xx = dbiAppendSet(matchList[im->fpNum], im, 1, sizeof(*im), 0);
3011         }
3012
3013         fps = _free(fps);
3014         dirNames = hfd(dirNames, dnt);
3015         fullBaseNames = hfd(fullBaseNames, bnt);
3016         baseNames = _free(baseNames);
3017         dirIndexes = _free(dirIndexes);
3018
3019         mi->mi_setx = end;
3020     }
3021
3022     mi = rpmdbFreeIterator(mi);
3023
3024     fpc = fpCacheFree(fpc);
3025
3026     return 0;
3027
3028 }
3029
3030 /*
3031  * Remove DB4 environment (and lock), ie the equivalent of 
3032  * rm -f <prefix>/<dbpath>/__db.???
3033  * Environment files not existing is not an error, failure to unlink is,
3034  * return zero on success.
3035  * Only useful for BDB, dbapi 3 and 4.  
3036  * TODO/FIX: push this down to db3.c where it belongs
3037  */
3038 static int cleanDbenv(const char *prefix, const char *dbpath)
3039 {
3040     ARGV_t paths = NULL, p;
3041     int rc = 0; 
3042     char *pattern = rpmGetPath(prefix, "/", dbpath, "/__db.???", NULL);
3043
3044     if (rpmGlob(pattern, NULL, &paths) == 0) {
3045         for (p = paths; *p; p++) {
3046             rc += unlink(*p);
3047         }
3048         argvFree(paths);
3049     }
3050     free(pattern);
3051     return rc;
3052 }
3053
3054 static int rpmdbRemoveDatabase(const char * prefix,
3055                 const char * dbpath, int _dbapi)
3056
3057     int i;
3058     char *path;
3059     int xx;
3060
3061     switch (_dbapi) {
3062     case 4:
3063     case 3:
3064         if (dbiTags.tags != NULL)
3065         for (i = 0; i < dbiTags.max; i++) {
3066             const char * base = rpmTagGetName(dbiTags.tags[i]);
3067             path = rpmGetPath(prefix, "/", dbpath, "/", base, NULL);
3068             if (access(path, F_OK) == 0)
3069                 xx = unlink(path);
3070             free(path);
3071         }
3072         cleanDbenv(prefix, dbpath);
3073         break;
3074     case 2:
3075     case 1:
3076     case 0:
3077         break;
3078     }
3079
3080     path = rpmGetPath(prefix, "/", dbpath, NULL);
3081     xx = rmdir(path);
3082     free(path);
3083
3084     return 0;
3085 }
3086
3087 static int rpmdbMoveDatabase(const char * prefix,
3088                 const char * olddbpath, int _olddbapi,
3089                 const char * newdbpath, int _newdbapi)
3090 {
3091     int i;
3092     struct stat st;
3093     int rc = 0;
3094     int xx;
3095     int selinux = is_selinux_enabled() && (matchpathcon_init(NULL) != -1);
3096     sigset_t sigMask;
3097
3098     blockSignals(&sigMask);
3099     switch (_olddbapi) {
3100     case 4:
3101         /* Fall through */
3102     case 3:
3103         if (dbiTags.tags != NULL)
3104         for (i = 0; i < dbiTags.max; i++) {
3105             const char * base;
3106             char *src, *dest;
3107             rpmTag rpmtag;
3108
3109             /* Filter out temporary databases */
3110             if (isTemporaryDB((rpmtag = dbiTags.tags[i])))
3111                 continue;
3112
3113             base = rpmTagGetName(rpmtag);
3114             src = rpmGetPath(prefix, "/", olddbpath, "/", base, NULL);
3115             dest = rpmGetPath(prefix, "/", newdbpath, "/", base, NULL);
3116
3117             if (access(src, F_OK) != 0)
3118                 goto cont;
3119
3120             /*
3121              * Restore uid/gid/mode/mtime/security context if possible.
3122              */
3123             if (stat(dest, &st) < 0)
3124                 if (stat(src, &st) < 0)
3125                     goto cont;
3126
3127             if ((xx = rename(src, dest)) != 0) {
3128                 rc = 1;
3129                 goto cont;
3130             }
3131             xx = chown(dest, st.st_uid, st.st_gid);
3132             xx = chmod(dest, (st.st_mode & 07777));
3133             {   struct utimbuf stamp;
3134                 stamp.actime = st.st_atime;
3135                 stamp.modtime = st.st_mtime;
3136                 xx = utime(dest, &stamp);
3137             }
3138
3139             if (selinux) {
3140                 security_context_t scon = NULL;
3141                 if (matchpathcon(dest, st.st_mode, &scon) != -1) {
3142                     (void) setfilecon(dest, scon);
3143                     freecon(scon);
3144                 }
3145             }
3146                 
3147 cont:
3148             free(src);
3149             free(dest);
3150         }
3151
3152         cleanDbenv(prefix, olddbpath);
3153         cleanDbenv(prefix, newdbpath);
3154         break;
3155     case 2:
3156     case 1:
3157     case 0:
3158         break;
3159     }
3160     unblockSignals(&sigMask);
3161
3162 #ifdef  SQLITE_HACK_XXX
3163     if (rc || _olddbapi == _newdbapi)
3164         return rc;
3165
3166     rc = rpmdbRemoveDatabase(prefix, newdbpath, _newdbapi);
3167
3168 #endif
3169     if (selinux) {
3170         (void) matchpathcon_fini();
3171     }
3172     return rc;
3173 }
3174
3175 int rpmdbRebuild(const char * prefix, rpmts ts,
3176                 rpmRC (*hdrchk) (rpmts ts, const void *uh, size_t uc, char ** msg))
3177 {
3178     rpmdb olddb;
3179     char * dbpath = NULL;
3180     char * rootdbpath = NULL;
3181     rpmdb newdb;
3182     char * newdbpath = NULL;
3183     char * newrootdbpath = NULL;
3184     char * tfn;
3185     int nocleanup = 1;
3186     int failed = 0;
3187     int removedir = 0;
3188     int rc = 0, xx;
3189     int _dbapi;
3190     int _dbapi_rebuild;
3191
3192     if (prefix == NULL) prefix = "/";
3193
3194     _dbapi = rpmExpandNumeric("%{_dbapi}");
3195     _dbapi_rebuild = rpmExpandNumeric("%{_dbapi_rebuild}");
3196
3197     tfn = rpmGetPath("%{?_dbpath}", NULL);
3198     if (!(tfn && tfn[0] != '\0'))
3199     {
3200         rpmlog(RPMLOG_ERR, _("no dbpath has been set"));
3201         rc = 1;
3202         goto exit;
3203     }
3204     dbpath = rootdbpath = rpmGetPath(prefix, tfn, NULL);
3205     if (!(prefix[0] == '/' && prefix[1] == '\0'))
3206         dbpath += strlen(prefix) - 1;
3207     tfn = _free(tfn);
3208
3209     tfn = rpmGetPath("%{?_dbpath_rebuild}", NULL);
3210     if (!(tfn && tfn[0] != '\0' && strcmp(tfn, dbpath)))
3211     {
3212         tfn = _free(tfn);
3213         rasprintf(&tfn, "%srebuilddb.%d", dbpath, (int) getpid());
3214         nocleanup = 0;
3215     }
3216     newdbpath = newrootdbpath = rpmGetPath(prefix, tfn, NULL);
3217     if (!(prefix[0] == '/' && prefix[1] == '\0'))
3218         newdbpath += strlen(prefix) - 1;
3219     tfn = _free(tfn);
3220
3221     rpmlog(RPMLOG_DEBUG, "rebuilding database %s into %s\n",
3222         rootdbpath, newrootdbpath);
3223
3224     if (!access(newrootdbpath, F_OK)) {
3225         rpmlog(RPMLOG_ERR, _("temporary database %s already exists\n"),
3226               newrootdbpath);
3227         rc = 1;
3228         goto exit;
3229     }
3230
3231     rpmlog(RPMLOG_DEBUG, "creating directory %s\n", newrootdbpath);
3232     if (mkdir(newrootdbpath, 0755)) {
3233         rpmlog(RPMLOG_ERR, _("failed to create directory %s: %s\n"),
3234               newrootdbpath, strerror(errno));
3235         rc = 1;
3236         goto exit;
3237     }
3238     removedir = 1;
3239
3240     _rebuildinprogress = 0;
3241
3242     rpmlog(RPMLOG_DEBUG, "opening old database with dbapi %d\n",
3243                 _dbapi);
3244     if (openDatabase(prefix, dbpath, _dbapi, &olddb, O_RDONLY, 0644, 
3245                      RPMDB_FLAG_MINIMAL)) {
3246         rc = 1;
3247         goto exit;
3248     }
3249     _dbapi = olddb->db_api;
3250     _rebuildinprogress = 1;
3251     rpmlog(RPMLOG_DEBUG, "opening new database with dbapi %d\n",
3252                 _dbapi_rebuild);
3253     (void) rpmDefineMacro(NULL, "_rpmdb_rebuild %{nil}", -1);
3254     if (openDatabase(prefix, newdbpath, _dbapi_rebuild, &newdb, O_RDWR | O_CREAT, 0644, 0)) {
3255         rc = 1;
3256         goto exit;
3257     }
3258
3259     _rebuildinprogress = 0;
3260
3261     _dbapi_rebuild = newdb->db_api;
3262     
3263     {   Header h = NULL;
3264         rpmdbMatchIterator mi;
3265 #define _RECNUM rpmdbGetIteratorOffset(mi)
3266
3267         mi = rpmdbInitIterator(olddb, RPMDBI_PACKAGES, NULL, 0);
3268         if (ts && hdrchk)
3269             (void) rpmdbSetHdrChk(mi, ts, hdrchk);
3270
3271         while ((h = rpmdbNextIterator(mi)) != NULL) {
3272
3273             /* let's sanity check this record a bit, otherwise just skip it */
3274             if (!(headerIsEntry(h, RPMTAG_NAME) &&
3275                 headerIsEntry(h, RPMTAG_VERSION) &&
3276                 headerIsEntry(h, RPMTAG_RELEASE) &&
3277                 headerIsEntry(h, RPMTAG_BUILDTIME)))
3278             {
3279                 rpmlog(RPMLOG_ERR,
3280                         _("header #%u in the database is bad -- skipping.\n"),
3281                         _RECNUM);
3282                 continue;
3283             }
3284
3285             /* Filter duplicate entries ? (bug in pre rpm-3.0.4) */
3286             if (_db_filter_dups || newdb->db_filter_dups) {
3287                 const char * name, * version, * release;
3288                 int skip = 0;
3289
3290                 (void) headerNVR(h, &name, &version, &release);
3291
3292                 {   rpmdbMatchIterator mi;
3293                     mi = rpmdbInitIterator(newdb, RPMTAG_NAME, name, 0);
3294                     (void) rpmdbSetIteratorRE(mi, RPMTAG_VERSION,
3295                                 RPMMIRE_DEFAULT, version);
3296                     (void) rpmdbSetIteratorRE(mi, RPMTAG_RELEASE,
3297                                 RPMMIRE_DEFAULT, release);
3298                     while (rpmdbNextIterator(mi)) {
3299                         skip = 1;
3300                         break;
3301                     }
3302                     mi = rpmdbFreeIterator(mi);
3303                 }
3304
3305                 if (skip)
3306                     continue;
3307             }
3308
3309             /* Deleted entries are eliminated in legacy headers by copy. */
3310             {   Header nh = (headerIsEntry(h, RPMTAG_HEADERIMAGE)
3311                                 ? headerCopy(h) : NULL);
3312                 rc = rpmdbAdd(newdb, -1, (nh ? nh : h), ts, hdrchk);
3313                 nh = headerFree(nh);
3314             }
3315
3316             if (rc) {
3317                 rpmlog(RPMLOG_ERR,
3318                         _("cannot add record originally at %u\n"), _RECNUM);
3319                 failed = 1;
3320                 break;
3321             }
3322         }
3323
3324         mi = rpmdbFreeIterator(mi);
3325
3326     }
3327
3328     xx = rpmdbClose(olddb);
3329     xx = rpmdbClose(newdb);
3330
3331     if (failed) {
3332         rpmlog(RPMLOG_NOTICE, _("failed to rebuild database: original database "
3333                 "remains in place\n"));
3334
3335         xx = rpmdbRemoveDatabase(prefix, newdbpath, _dbapi_rebuild);
3336         rc = 1;
3337         goto exit;
3338     } else if (!nocleanup) {
3339         if (rpmdbMoveDatabase(prefix, newdbpath, _dbapi_rebuild, dbpath, _dbapi)) {
3340             rpmlog(RPMLOG_ERR, _("failed to replace old database with new "
3341                         "database!\n"));
3342             rpmlog(RPMLOG_ERR, _("replace files in %s with files from %s "
3343                         "to recover"), dbpath, newdbpath);
3344             rc = 1;
3345             goto exit;
3346         }
3347     }
3348     rc = 0;
3349
3350 exit:
3351     if (removedir && !(rc == 0 && nocleanup)) {
3352         rpmlog(RPMLOG_DEBUG, "removing directory %s\n", newrootdbpath);
3353         if (rmdir(newrootdbpath))
3354             rpmlog(RPMLOG_ERR, _("failed to remove directory %s: %s\n"),
3355                         newrootdbpath, strerror(errno));
3356     }
3357     newrootdbpath = _free(newrootdbpath);
3358     rootdbpath = _free(rootdbpath);
3359
3360     return rc;
3361 }