add repodata_set_deltalocation and use it in the parsers
[platform/upstream/libsolv.git] / src / repodata.c
index 7231c03..a812ba8 100644 (file)
 #include "repopack.h"
 #include "repopage.h"
 
-extern unsigned int compress_buf (const unsigned char *in, unsigned int in_len,
-                                 unsigned char *out, unsigned int out_len);
-extern unsigned int unchecked_decompress_buf (const unsigned char *in,
-                                             unsigned int in_len,
-                                             unsigned char *out,
-                                             unsigned int out_len);
-
 #define REPODATA_BLOCK 255
 
+static unsigned char *data_skip_key(Repodata *data, unsigned char *dp, Repokey *key);
 
 void
 repodata_initdata(Repodata *data, Repo *repo, int localpool)
 {
   memset(data, 0, sizeof (*data));
+  data->repodataid = data - repo->repodata;
   data->repo = repo;
   data->localpool = localpool;
   if (localpool)
     stringpool_init_empty(&data->spool);
   /* dirpool_init(&data->dirpool);     just zeros out again */
-  data->keys = sat_calloc(1, sizeof(Repokey));
+  data->keys = solv_calloc(1, sizeof(Repokey));
   data->nkeys = 1;
-  data->schemata = sat_calloc(1, sizeof(Id));
-  data->schemadata = sat_calloc(1, sizeof(Id));
+  data->schemata = solv_calloc(1, sizeof(Id));
+  data->schemadata = solv_calloc(1, sizeof(Id));
   data->nschemata = 1;
   data->schemadatalen = 1;
   repopagestore_init(&data->store);
@@ -67,47 +62,38 @@ repodata_freedata(Repodata *data)
 {
   int i;
 
-  sat_free(data->keys);
+  solv_free(data->keys);
 
-  sat_free(data->schemata);
-  sat_free(data->schemadata);
-  sat_free(data->schematahash);
+  solv_free(data->schemata);
+  solv_free(data->schemadata);
+  solv_free(data->schematahash);
 
   stringpool_free(&data->spool);
   dirpool_free(&data->dirpool);
 
-  sat_free(data->mainschemaoffsets);
-  sat_free(data->incoredata);
-  sat_free(data->incoreoffset);
-  sat_free(data->verticaloffset);
+  solv_free(data->mainschemaoffsets);
+  solv_free(data->incoredata);
+  solv_free(data->incoreoffset);
+  solv_free(data->verticaloffset);
 
   repopagestore_free(&data->store);
 
-  sat_free(data->vincore);
+  solv_free(data->vincore);
 
   if (data->attrs)
     for (i = 0; i < data->end - data->start; i++)
-      sat_free(data->attrs[i]);
-  sat_free(data->attrs);
+      solv_free(data->attrs[i]);
+  solv_free(data->attrs);
   if (data->xattrs)
     for (i = 0; i < data->nxattrs; i++)
-      sat_free(data->xattrs[i]);
-  sat_free(data->xattrs);
-
-  sat_free(data->attrdata);
-  sat_free(data->attriddata);
-}
+      solv_free(data->xattrs[i]);
+  solv_free(data->xattrs);
 
-Repodata *
-repodata_create(Repo *repo, int localpool)
-{
-  Repodata *data;
+  solv_free(data->attrdata);
+  solv_free(data->attriddata);
+  solv_free(data->attrnum64data);
 
-  repo->nrepodata++;
-  repo->repodata = sat_realloc2(repo->repodata, repo->nrepodata, sizeof(*data));
-  data = repo->repodata + repo->nrepodata - 1;
-  repodata_initdata(data, repo, localpool);
-  return data;
+  solv_free(data->dircache);
 }
 
 void
@@ -115,10 +101,22 @@ repodata_free(Repodata *data)
 {
   Repo *repo = data->repo;
   int i = data - repo->repodata;
+  if (i == 0)
+    return;
   repodata_freedata(data);
   if (i < repo->nrepodata - 1)
-    memmove(repo->repodata + i, repo->repodata + i + 1, (repo->nrepodata - 1 - i) * sizeof(Repodata));
+    {
+      /* whoa! this changes the repodataids! */
+      memmove(repo->repodata + i, repo->repodata + i + 1, (repo->nrepodata - 1 - i) * sizeof(Repodata));
+      for (; i < repo->nrepodata - 1; i++)
+       repo->repodata[i].repodataid = i;
+    }
   repo->nrepodata--;
+  if (repo->nrepodata == 1)
+    {
+      repo->repodata = solv_free(repo->repodata);
+      repo->nrepodata = 0;
+    }
 }
 
 void
@@ -156,11 +154,11 @@ repodata_key2id(Repodata *data, Repokey *key, int create)
       if (!create)
        return 0;
       /* allocate new key */
-      data->keys = sat_realloc2(data->keys, data->nkeys + 1, sizeof(Repokey));
+      data->keys = solv_realloc2(data->keys, data->nkeys + 1, sizeof(Repokey));
       data->keys[data->nkeys++] = *key;
       if (data->verticaloffset)
         {
-          data->verticaloffset = sat_realloc2(data->verticaloffset, data->nkeys, sizeof(Id));
+          data->verticaloffset = solv_realloc2(data->verticaloffset, data->nkeys, sizeof(Id));
           data->verticaloffset[data->nkeys - 1] = 0;
         }
       data->keybits[(key->name >> 3) & (sizeof(data->keybits) - 1)] |= 1 << (key->name & 7);
@@ -187,7 +185,7 @@ repodata_schema2id(Repodata *data, Id *schema, int create)
     return 0;  /* XXX: allow empty schema? */
   if ((schematahash = data->schematahash) == 0)
     {
-      data->schematahash = schematahash = sat_calloc(256, sizeof(Id));
+      data->schematahash = schematahash = solv_calloc(256, sizeof(Id));
       for (i = 1; i < data->nschemata; i++)
        {
          for (sp = data->schemadata + data->schemata[i], h = 0; *sp; len++)
@@ -195,8 +193,8 @@ repodata_schema2id(Repodata *data, Id *schema, int create)
          h &= 255;
          schematahash[h] = i;
        }
-      data->schemadata = sat_extend_resize(data->schemadata, data->schemadatalen, sizeof(Id), SCHEMATADATA_BLOCK);
-      data->schemata = sat_extend_resize(data->schemata, data->nschemata, sizeof(Id), SCHEMATA_BLOCK);
+      data->schemadata = solv_extend_resize(data->schemadata, data->schemadatalen, sizeof(Id), SCHEMATADATA_BLOCK);
+      data->schemata = solv_extend_resize(data->schemata, data->nschemata, sizeof(Id), SCHEMATA_BLOCK);
     }
 
   for (sp = schema, len = 0, h = 0; *sp; len++)
@@ -217,8 +215,8 @@ repodata_schema2id(Repodata *data, Id *schema, int create)
   /* a new one */
   if (!create)
     return 0;
-  data->schemadata = sat_extend(data->schemadata, data->schemadatalen, len, sizeof(Id), SCHEMATADATA_BLOCK);
-  data->schemata = sat_extend(data->schemata, data->nschemata, 1, sizeof(Id), SCHEMATA_BLOCK);
+  data->schemadata = solv_extend(data->schemadata, data->schemadatalen, len, sizeof(Id), SCHEMATADATA_BLOCK);
+  data->schemata = solv_extend(data->schemata, data->nschemata, 1, sizeof(Id), SCHEMATA_BLOCK);
   /* add schema */
   memcpy(data->schemadata + data->schemadatalen, schema, len * sizeof(Id));
   data->schemata[data->nschemata] = data->schemadatalen;
@@ -233,10 +231,10 @@ fprintf(stderr, "schema2id: new schema\n");
 void
 repodata_free_schemahash(Repodata *data)
 {
-  data->schematahash = sat_free(data->schematahash);
+  data->schematahash = solv_free(data->schematahash);
   /* shrink arrays */
-  data->schemata = sat_realloc2(data->schemata, data->nschemata, sizeof(Id));
-  data->schemadata = sat_realloc2(data->schemadata, data->schemadatalen, sizeof(Id));
+  data->schemata = solv_realloc2(data->schemata, data->nschemata, sizeof(Id));
+  data->schemadata = solv_realloc2(data->schemadata, data->schemadatalen, sizeof(Id));
 }
 
 
@@ -252,13 +250,27 @@ static inline const char *strchrnul(const char *str, char x)
 }
 #endif
 
+#define DIRCACHE_SIZE 41       /* < 1k */
+
+#ifdef DIRCACHE_SIZE
+struct dircache {
+  Id ids[DIRCACHE_SIZE];
+  char str[(DIRCACHE_SIZE * (DIRCACHE_SIZE - 1)) / 2];
+};
+#endif
+
 Id
 repodata_str2dir(Repodata *data, const char *dir, int create)
 {
   Id id, parent;
+#ifdef DIRCACHE_SIZE
+  const char *dirs;
+#endif
   const char *dire;
 
   parent = 0;
+  if (!*dir)
+    return 0;
   while (*dir == '/' && dir[1] == '/')
     dir++;
   if (*dir == '/' && !dir[1])
@@ -267,18 +279,56 @@ repodata_str2dir(Repodata *data, const char *dir, int create)
         return 1;
       return dirpool_add_dir(&data->dirpool, 0, 1, create);
     }
+#ifdef DIRCACHE_SIZE
+  dirs = dir;
+  if (data->dircache)
+    {
+      int l;
+      struct dircache *dircache = data->dircache;
+      l = strlen(dir);
+      while (l > 0)
+       {
+         if (l < DIRCACHE_SIZE && dircache->ids[l] && !memcmp(dircache->str + l * (l - 1) / 2, dir, l))
+           {
+             parent = dircache->ids[l];
+             dir += l;
+             if (!*dir)
+               return parent;
+             while (*dir == '/')
+               dir++;
+             break;
+           }
+         while (--l)
+           if (dir[l] == '/')
+             break;
+       }
+    }
+#endif
   while (*dir)
     {
       dire = strchrnul(dir, '/');
       if (data->localpool)
         id = stringpool_strn2id(&data->spool, dir, dire - dir, create);
       else
-       id = strn2id(data->repo->pool, dir, dire - dir, create);
+       id = pool_strn2id(data->repo->pool, dir, dire - dir, create);
       if (!id)
        return 0;
       parent = dirpool_add_dir(&data->dirpool, parent, id, create);
       if (!parent)
        return 0;
+#ifdef DIRCACHE_SIZE
+      if (!data->dircache)
+       data->dircache = solv_calloc(1, sizeof(struct dircache));
+      if (data->dircache)
+       {
+         int l = dire - dirs;
+         if (l < DIRCACHE_SIZE)
+           {
+             data->dircache->ids[l] = parent;
+             memcpy(data->dircache->str + l * (l - 1) / 2, dirs, l);
+           }
+       }
+#endif
       if (!*dire)
        break;
       dir = dire + 1;
@@ -288,6 +338,12 @@ repodata_str2dir(Repodata *data, const char *dir, int create)
   return parent;
 }
 
+void
+repodata_free_dircache(Repodata *data)
+{
+  data->dircache = solv_free(data->dircache);
+}
+
 const char *
 repodata_dir2str(Repodata *data, Id did, const char *suf)
 {
@@ -348,7 +404,7 @@ data_skip_schema(Repodata *data, unsigned char *dp, Id schema)
   return dp;
 }
 
-unsigned char *
+static unsigned char *
 data_skip_key(Repodata *data, unsigned char *dp, Repokey *key)
 {
   int nentries, schema;
@@ -431,10 +487,10 @@ get_vertical_data(Repodata *data, Repokey *key, Id off, Id len)
     return 0;
   /* we now have the offset, go into vertical */
   off += data->verticaloffset[key - data->keys];
-  /* fprintf(stderr, "key %d page %d\n", key->name, off / BLOB_PAGESIZE); */
-  dp = repopagestore_load_page_range(&data->store, off / BLOB_PAGESIZE, (off + len - 1) / BLOB_PAGESIZE);
+  /* fprintf(stderr, "key %d page %d\n", key->name, off / REPOPAGE_BLOBSIZE); */
+  dp = repopagestore_load_page_range(&data->store, off / REPOPAGE_BLOBSIZE, (off + len - 1) / REPOPAGE_BLOBSIZE);
   if (dp)
-    dp += off % BLOB_PAGESIZE;
+    dp += off % REPOPAGE_BLOBSIZE;
   return dp;
 }
 
@@ -487,7 +543,7 @@ maybe_load_repodata(Repodata *data, Id keyname)
       if (keyname)
        {
          int i;
-         for (i = 0; i < data->nkeys; i++)
+         for (i = 1; i < data->nkeys; i++)
            if (keyname == data->keys[i].name)
              break;
          if (i == data->nkeys)
@@ -618,29 +674,36 @@ repodata_lookup_str(Repodata *data, Id solvid, Id keyname)
     return 0;
   if (data->localpool)
     return stringpool_id2str(&data->spool, id);
-  return id2str(data->repo->pool, id);
+  return pool_id2str(data->repo->pool, id);
 }
 
 int
-repodata_lookup_num(Repodata *data, Id solvid, Id keyname, unsigned int *value)
+repodata_lookup_num(Repodata *data, Id solvid, Id keyname, unsigned long long *value)
 {
   unsigned char *dp;
   Repokey *key;
-  KeyValue kv;
+  unsigned int high, low;
 
   *value = 0;
   dp = find_key_data(data, solvid, keyname, &key);
   if (!dp)
     return 0;
-  if (key->type == REPOKEY_TYPE_NUM
-      || key->type == REPOKEY_TYPE_U32
-      || key->type == REPOKEY_TYPE_CONSTANT)
+  switch (key->type)
     {
-      dp = data_fetch(dp, &kv, key);
-      *value = kv.num;
+    case REPOKEY_TYPE_NUM:
+      data_read_num64(dp, &low, &high);
+      *value = (unsigned long long)high << 32 | low;
+      return 1;
+    case REPOKEY_TYPE_U32:
+      data_read_u32(dp, &low);
+      *value = low;
       return 1;
+    case REPOKEY_TYPE_CONSTANT:
+      *value = key->size;
+      return 1;
+    default:
+      return 0;
     }
-  return 0;
 }
 
 int
@@ -671,6 +734,8 @@ repodata_lookup_bin_checksum(Repodata *data, Id solvid, Id keyname, Id *typep)
   dp = find_key_data(data, solvid, keyname, &key);
   if (!dp)
     return 0;
+  if (!(key->type == REPOKEY_TYPE_MD5 || key->type == REPOKEY_TYPE_SHA1 || key->type == REPOKEY_TYPE_SHA256))
+    return 0;
   *typep = key->type;
   return dp;
 }
@@ -704,7 +769,7 @@ repodata_globalize_id(Repodata *data, Id id, int create)
 {
   if (!id || !data || !data->localpool)
     return id;
-  return str2id(data->repo->pool, stringpool_id2str(&data->spool, id), create);
+  return pool_str2id(data->repo->pool, stringpool_id2str(&data->spool, id), create);
 }
 
 Id
@@ -712,7 +777,29 @@ repodata_localize_id(Repodata *data, Id id, int create)
 {
   if (!id || !data || !data->localpool)
     return id;
-  return stringpool_str2id(&data->spool, id2str(data->repo->pool, id), create);
+  return stringpool_str2id(&data->spool, pool_id2str(data->repo->pool, id), create);
+}
+
+Id
+repodata_lookup_id_uninternalized(Repodata *data, Id solvid, Id keyname, Id voidid)
+{
+  Id *ap;
+  if (!data->attrs)
+    return 0;
+  ap = data->attrs[solvid - data->start];
+  if (!ap)
+    return 0;
+  for (; *ap; ap += 2)
+    {
+      if (data->keys[*ap].name != keyname)
+       continue;
+      if (data->keys[*ap].type == REPOKEY_TYPE_VOID)
+       return voidid;
+      if (data->keys[*ap].type == REPOKEY_TYPE_ID)
+       return ap[1];
+      return 0;
+    }
+  return 0;
 }
 
 
@@ -732,7 +819,7 @@ repodata_stringify(Pool *pool, Repodata *data, Repokey *key, KeyValue *kv, int f
       if (data && data->localpool)
        kv->str = stringpool_id2str(&data->spool, kv->id);
       else
-       kv->str = id2str(pool, kv->id);
+       kv->str = pool_id2str(pool, kv->id);
       if ((flags & SEARCH_SKIP_KIND) != 0 && key->storage == KEY_STORAGE_SOLVABLE)
        {
          const char *s;
@@ -907,22 +994,6 @@ repodata_setpos_kv(Repodata *data, KeyValue *kv)
  * data iterator functions
  */
 
-static Repokey solvablekeys[RPM_RPMDBID - SOLVABLE_NAME + 1] = {
-  { SOLVABLE_NAME,        REPOKEY_TYPE_ID, 0, KEY_STORAGE_SOLVABLE },
-  { SOLVABLE_ARCH,        REPOKEY_TYPE_ID, 0, KEY_STORAGE_SOLVABLE },
-  { SOLVABLE_EVR,         REPOKEY_TYPE_ID, 0, KEY_STORAGE_SOLVABLE },
-  { SOLVABLE_VENDOR,      REPOKEY_TYPE_ID, 0, KEY_STORAGE_SOLVABLE },
-  { SOLVABLE_PROVIDES,    REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
-  { SOLVABLE_OBSOLETES,   REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
-  { SOLVABLE_CONFLICTS,   REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
-  { SOLVABLE_REQUIRES,    REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
-  { SOLVABLE_RECOMMENDS,  REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
-  { SOLVABLE_SUGGESTS,    REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
-  { SOLVABLE_SUPPLEMENTS, REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
-  { SOLVABLE_ENHANCES,    REPOKEY_TYPE_IDARRAY, 0, KEY_STORAGE_SOLVABLE },
-  { RPM_RPMDBID,          REPOKEY_TYPE_U32, 0, KEY_STORAGE_SOLVABLE },
-};
-
 static inline Id *
 solvabledata_fetch(Solvable *s, KeyValue *kv, Id keyname)
 {
@@ -982,11 +1053,11 @@ datamatcher_init(Datamatcher *ma, const char *match, int flags)
   ma->matchdata = 0;
   if ((flags & SEARCH_STRINGMASK) == SEARCH_REGEX)
     {
-      ma->matchdata = sat_calloc(1, sizeof(regex_t));
+      ma->matchdata = solv_calloc(1, sizeof(regex_t));
       ma->error = regcomp((regex_t *)ma->matchdata, match, REG_EXTENDED | REG_NOSUB | REG_NEWLINE | ((flags & SEARCH_NOCASE) ? REG_ICASE : 0));
       if (ma->error)
        {
-         sat_free(ma->matchdata);
+         solv_free(ma->matchdata);
          ma->flags = (flags & ~SEARCH_STRINGMASK) | SEARCH_ERROR;
        }
     }
@@ -999,7 +1070,7 @@ datamatcher_free(Datamatcher *ma)
   if ((ma->flags & SEARCH_STRINGMASK) == SEARCH_REGEX && ma->matchdata)
     {
       regfree(ma->matchdata);
-      ma->matchdata = sat_free(ma->matchdata);
+      ma->matchdata = solv_free(ma->matchdata);
     }
 }
 
@@ -1110,12 +1181,12 @@ enum {
   di_entersub,
   di_leavesub,
 
-  di_nextsolvableattr,
   di_nextsolvablekey,
-  di_entersolvablekey
+  di_entersolvablekey,
+  di_nextsolvableattr
 };
 
-/* see repo.h for documentation */
+/* see dataiterator.h for documentation */
 int
 dataiterator_init(Dataiterator *di, Pool *pool, Repo *repo, Id p, Id keyname, const char *match, int flags)
 {
@@ -1181,20 +1252,20 @@ void
 dataiterator_set_search(Dataiterator *di, Repo *repo, Id p)
 {
   di->repo = repo;
-  di->repoid = -1;
+  di->repoid = 0;
   di->flags &= ~SEARCH_THISSOLVID;
   di->nparents = 0;
   di->rootlevel = 0;
-  di->repodataid = 0;
-  if (!di->pool->nrepos)
+  di->repodataid = 1;
+  if (!di->pool->urepos)
     {
       di->state = di_bye;
       return;
     }
   if (!repo)
     {
-      di->repoid = 0;
-      di->repo = di->pool->repos[0];
+      di->repoid = 1;
+      di->repo = di->pool->repos[di->repoid];
     }
   di->state = di_enterrepo;
   if (p)
@@ -1282,9 +1353,7 @@ dataiterator_step(Dataiterator *di)
       switch (di->state)
        {
        case di_enterrepo: di_enterrepo:
-         if (!di->repo)
-           goto di_bye;
-         if (di->repo->disabled && !(di->flags & SEARCH_DISABLED_REPOS))
+         if (!di->repo || (di->repo->disabled && !(di->flags & SEARCH_DISABLED_REPOS)))
            goto di_nextrepo;
          if (!(di->flags & SEARCH_THISSOLVID))
            {
@@ -1294,12 +1363,14 @@ dataiterator_step(Dataiterator *di)
          /* FALLTHROUGH */
 
        case di_entersolvable: di_entersolvable:
-         if (di->repodataid >= 0)
+         if (di->repodataid)
            {
-             di->repodataid = 0;       /* reset repodata iterator */
+             di->repodataid = 1;       /* reset repodata iterator */
              if (di->solvid > 0 && !(di->flags & SEARCH_NO_STORAGE_SOLVABLE) && (!di->keyname || (di->keyname >= SOLVABLE_NAME && di->keyname <= RPM_RPMDBID)) && di->nparents - di->rootlevel == di->nkeynames)
                {
-                 di->key = solvablekeys + (di->keyname ? di->keyname - SOLVABLE_NAME : 0);
+                 extern Repokey repo_solvablekeys[RPM_RPMDBID - SOLVABLE_NAME + 1];
+
+                 di->key = repo_solvablekeys + (di->keyname ? di->keyname - SOLVABLE_NAME : 0);
                  di->data = 0;
                  goto di_entersolvablekey;
                }
@@ -1307,13 +1378,13 @@ dataiterator_step(Dataiterator *di)
          /* FALLTHROUGH */
 
        case di_enterrepodata: di_enterrepodata:
-         if (di->repodataid >= 0)
+         if (di->repodataid)
            {
              if (di->repodataid >= di->repo->nrepodata)
                goto di_nextsolvable;
              di->data = di->repo->repodata + di->repodataid;
            }
-         if (di->repodataid >= 0 && di->keyname == SOLVABLE_FILELIST && !dataiterator_filelistcheck(di))
+         if (di->repodataid && di->keyname == SOLVABLE_FILELIST && !dataiterator_filelistcheck(di))
            goto di_nextrepodata;
          if (!maybe_load_repodata(di->data, di->keyname))
            goto di_nextrepodata;
@@ -1368,7 +1439,7 @@ dataiterator_step(Dataiterator *di)
          /* FALLTHROUGH */
 
        case di_nextrepodata: di_nextrepodata:
-         if (di->repodataid >= 0 && ++di->repodataid < di->repo->nrepodata)
+         if (di->repodataid && ++di->repodataid < di->repo->nrepodata)
              goto di_enterrepodata;
          /* FALLTHROUGH */
 
@@ -1388,10 +1459,10 @@ dataiterator_step(Dataiterator *di)
          /* FALLTHROUGH */
 
        case di_nextrepo: di_nextrepo:
-         if (di->repoid >= 0)
+         if (di->repoid > 0)
            {
              di->repoid++;
-             di->repodataid = 0;
+             di->repodataid = 1;
              if (di->repoid < di->pool->nrepos)
                {
                  di->repo = di->pool->repos[di->repoid];
@@ -1407,7 +1478,7 @@ dataiterator_step(Dataiterator *di)
        case di_enterarray: di_enterarray:
          if (di->key->name == REPOSITORY_SOLVABLES)
            goto di_nextkey;
-         di->ddp = data_read_id(di->ddp, &di->kv.num);
+         di->ddp = data_read_id(di->ddp, (Id *)&di->kv.num);
          di->kv.eof = 0;
          di->kv.entry = -1;
          /* FALLTHROUGH */
@@ -1468,16 +1539,6 @@ dataiterator_step(Dataiterator *di)
 
         /* special solvable attr handling follows */
 
-       case di_nextsolvableattr:
-         di->kv.id = *di->idp++;
-          di->kv.entry++;
-         if (!*di->idp)
-           {
-             di->kv.eof = 1;
-             di->state = di_nextsolvablekey;
-           }
-         break;
-
        case di_nextsolvablekey: di_nextsolvablekey:
          if (di->keyname || di->key->name == RPM_RPMDBID)
            goto di_enterrepodata;
@@ -1486,19 +1547,32 @@ dataiterator_step(Dataiterator *di)
 
        case di_entersolvablekey: di_entersolvablekey:
          di->idp = solvabledata_fetch(di->pool->solvables + di->solvid, &di->kv, di->key->name);
-         if (!di->idp || !di->idp[0])
+         if (!di->idp || !*di->idp)
            goto di_nextsolvablekey;
-         di->kv.id = di->idp[0];
-         di->kv.num = di->idp[0];
-         di->idp++;
-         if (!di->kv.eof && !di->idp[0])
-           di->kv.eof = 1;
-         di->kv.entry = 0;
          if (di->kv.eof)
-           di->state = di_nextsolvablekey;
-         else
-           di->state = di_nextsolvableattr;
+           {
+             /* not an array */
+             di->kv.id = *di->idp;
+             di->kv.num = *di->idp;    /* for rpmdbid */
+             di->kv.num2 = 0;          /* for rpmdbid */
+             di->kv.entry = 0;
+             di->state = di_nextsolvablekey;
+             break;
+           }
+         di->kv.entry = -1;
+         /* FALLTHROUGH */
+
+       case di_nextsolvableattr:
+         di->state = di_nextsolvableattr;
+         di->kv.id = *di->idp++;
+         di->kv.entry++;
+         if (!*di->idp)
+           {
+             di->kv.eof = 1;
+             di->state = di_nextsolvablekey;
+           }
          break;
+
        }
 
       if (di->matcher.match)
@@ -1519,6 +1593,11 @@ dataiterator_step(Dataiterator *di)
          if (!datamatcher_match(&di->matcher, di->kv.str))
            continue;
        }
+      else
+       {
+         if (di->keyname == SOLVABLE_FILELIST && di->key->type == REPOKEY_TYPE_DIRSTRARRAY && (di->flags & SEARCH_FILES) != 0)
+           repodata_stringify(di->pool, di->data, di->key, &di->kv, di->flags);
+       }
       /* found something! */
       return 1;
     }
@@ -1681,9 +1760,9 @@ dataiterator_jump_to_solvid(Dataiterator *di, Id solvid)
          di->state = di_bye;
          return;
        }
-      di->repoid = -1;
+      di->repoid = 0;
       di->data = di->repo->repodata + di->pool->pos.repodataid;
-      di->repodataid = -1;
+      di->repodataid = 0;
       di->solvid = solvid;
       di->state = di_enterrepo;
       di->flags |= SEARCH_THISSOLVID;
@@ -1692,19 +1771,19 @@ dataiterator_jump_to_solvid(Dataiterator *di, Id solvid)
   if (solvid > 0)
     {
       di->repo = di->pool->solvables[solvid].repo;
-      di->repoid = -1;
+      di->repoid = 0;
     }
-  else if (di->repoid >= 0)
+  else if (di->repoid > 0)
     {
-      if (!di->pool->nrepos)
+      if (!di->pool->urepos)
        {
          di->state = di_bye;
          return;
        }
-      di->repo = di->pool->repos[0];
-      di->repoid = 0;
+      di->repoid = 1;
+      di->repo = di->pool->repos[di->repoid];
     }
-  di->repodataid = 0;
+  di->repodataid = 1;
   di->solvid = solvid;
   if (solvid)
     di->flags |= SEARCH_THISSOLVID;
@@ -1718,8 +1797,8 @@ dataiterator_jump_to_repo(Dataiterator *di, Repo *repo)
   di->kv.parent = 0;
   di->rootlevel = 0;
   di->repo = repo;
-  di->repoid = -1;
-  di->repodataid = 0;
+  di->repoid = 0;      /* 0 means stay at repo */
+  di->repodataid = 1;
   di->solvid = 0;
   di->flags &= ~SEARCH_THISSOLVID;
   di->state = di_enterrepo;
@@ -1751,10 +1830,10 @@ repodata_extend(Repodata *data, Id p)
       int new = p - data->end + 1;
       if (data->attrs)
        {
-         data->attrs = sat_extend(data->attrs, old, new, sizeof(Id *), REPODATA_BLOCK);
+         data->attrs = solv_extend(data->attrs, old, new, sizeof(Id *), REPODATA_BLOCK);
          memset(data->attrs + old, 0, new * sizeof(Id *));
        }
-      data->incoreoffset = sat_extend(data->incoreoffset, old, new, sizeof(Id), REPODATA_BLOCK);
+      data->incoreoffset = solv_extend(data->incoreoffset, old, new, sizeof(Id), REPODATA_BLOCK);
       memset(data->incoreoffset + old, 0, new * sizeof(Id));
       data->end = p + 1;
     }
@@ -1764,11 +1843,11 @@ repodata_extend(Repodata *data, Id p)
       int new = data->start - p;
       if (data->attrs)
        {
-         data->attrs = sat_extend_resize(data->attrs, old + new, sizeof(Id *), REPODATA_BLOCK);
+         data->attrs = solv_extend_resize(data->attrs, old + new, sizeof(Id *), REPODATA_BLOCK);
          memmove(data->attrs + new, data->attrs, old * sizeof(Id *));
          memset(data->attrs, 0, new * sizeof(Id *));
        }
-      data->incoreoffset = sat_extend_resize(data->incoreoffset, old + new, sizeof(Id), REPODATA_BLOCK);
+      data->incoreoffset = solv_extend_resize(data->incoreoffset, old + new, sizeof(Id), REPODATA_BLOCK);
       memmove(data->incoreoffset + new, data->incoreoffset, old * sizeof(Id));
       memset(data->incoreoffset, 0, new * sizeof(Id));
       data->start = p;
@@ -1788,21 +1867,21 @@ repodata_shrink(Repodata *data, int end)
       if (data->attrs)
        {
          for (i = 0; i < data->end - data->start; i++)
-           sat_free(data->attrs[i]);
-          data->attrs = sat_free(data->attrs);
+           solv_free(data->attrs[i]);
+          data->attrs = solv_free(data->attrs);
        }
-      data->incoreoffset = sat_free(data->incoreoffset);
+      data->incoreoffset = solv_free(data->incoreoffset);
       data->start = data->end = 0;
       return;
     }
   if (data->attrs)
     {
       for (i = end; i < data->end; i++)
-       sat_free(data->attrs[i - data->start]);
-      data->attrs = sat_extend_resize(data->attrs, end - data->start, sizeof(Id *), REPODATA_BLOCK);
+       solv_free(data->attrs[i - data->start]);
+      data->attrs = solv_extend_resize(data->attrs, end - data->start, sizeof(Id *), REPODATA_BLOCK);
     }
   if (data->incoreoffset)
-    data->incoreoffset = sat_extend_resize(data->incoreoffset, end - data->start, sizeof(Id), REPODATA_BLOCK);
+    data->incoreoffset = solv_extend_resize(data->incoreoffset, end - data->start, sizeof(Id), REPODATA_BLOCK);
   data->end = end;
 }
 
@@ -1814,7 +1893,7 @@ repodata_extend_block(Repodata *data, Id start, Id num)
     return;
   if (!data->incoreoffset)
     {
-      data->incoreoffset = sat_calloc_block(num, sizeof(Id), REPODATA_BLOCK);
+      data->incoreoffset = solv_calloc_block(num, sizeof(Id), REPODATA_BLOCK);
       data->start = start;
       data->end = start + num;
       return;
@@ -1830,6 +1909,7 @@ repodata_extend_block(Repodata *data, Id start, Id num)
 #define REPODATA_ATTRS_BLOCK 31
 #define REPODATA_ATTRDATA_BLOCK 1023
 #define REPODATA_ATTRIDDATA_BLOCK 63
+#define REPODATA_ATTRNUM64DATA_BLOCK 15
 
 
 Id
@@ -1837,10 +1917,10 @@ repodata_new_handle(Repodata *data)
 {
   if (!data->nxattrs)
     {
-      data->xattrs = sat_calloc_block(1, sizeof(Id *), REPODATA_BLOCK);
+      data->xattrs = solv_calloc_block(1, sizeof(Id *), REPODATA_BLOCK);
       data->nxattrs = 2;       /* -1: SOLVID_META */
     }
-  data->xattrs = sat_extend(data->xattrs, data->nxattrs, 1, sizeof(Id *), REPODATA_BLOCK);
+  data->xattrs = solv_extend(data->xattrs, data->nxattrs, 1, sizeof(Id *), REPODATA_BLOCK);
   data->xattrs[data->nxattrs] = 0;
   return -(data->nxattrs++);
 }
@@ -1852,7 +1932,7 @@ repodata_get_attrp(Repodata *data, Id handle)
     {
       if (handle == SOLVID_META && !data->xattrs)
        {
-         data->xattrs = sat_calloc_block(1, sizeof(Id *), REPODATA_BLOCK);
+         data->xattrs = solv_calloc_block(1, sizeof(Id *), REPODATA_BLOCK);
           data->nxattrs = 2;
        }
       return data->xattrs - handle;
@@ -1860,7 +1940,7 @@ repodata_get_attrp(Repodata *data, Id handle)
   if (handle < data->start || handle >= data->end)
     repodata_extend(data, handle);
   if (!data->attrs)
-    data->attrs = sat_calloc_block(data->end - data->start, sizeof(Id *), REPODATA_BLOCK);
+    data->attrs = solv_calloc_block(data->end - data->start, sizeof(Id *), REPODATA_BLOCK);
   return data->attrs + (handle - data->start);
 }
 
@@ -1892,7 +1972,7 @@ repodata_insert_keyid(Repodata *data, Id handle, Id keyid, Id val, int overwrite
         }
       i = pp - ap;
     }
-  ap = sat_extend(ap, i, 3, sizeof(Id), REPODATA_ATTRS_BLOCK);
+  ap = solv_extend(ap, i, 3, sizeof(Id), REPODATA_ATTRS_BLOCK);
   *app = ap;
   pp = ap + i;
   *pp++ = keyid;
@@ -1922,13 +2002,19 @@ repodata_set_id(Repodata *data, Id solvid, Id keyname, Id id)
 }
 
 void
-repodata_set_num(Repodata *data, Id solvid, Id keyname, unsigned int num)
+repodata_set_num(Repodata *data, Id solvid, Id keyname, unsigned long long num)
 {
   Repokey key;
   key.name = keyname;
   key.type = REPOKEY_TYPE_NUM;
   key.size = 0;
   key.storage = KEY_STORAGE_INCORE;
+  if (num >= 0x80000000)
+    {
+      data->attrnum64data = solv_extend(data->attrnum64data, data->attrnum64datalen, 1, sizeof(unsigned long long), REPODATA_ATTRNUM64DATA_BLOCK);
+      data->attrnum64data[data->attrnum64datalen] = num;
+      num = 0x80000000 | data->attrnum64datalen++;
+    }
   repodata_set(data, solvid, &key, (Id)num);
 }
 
@@ -1940,7 +2026,7 @@ repodata_set_poolstr(Repodata *data, Id solvid, Id keyname, const char *str)
   if (data->localpool)
     id = stringpool_str2id(&data->spool, str, 1);
   else
-    id = str2id(data->repo->pool, str, 1);
+    id = pool_str2id(data->repo->pool, str, 1);
   key.name = keyname;
   key.type = REPOKEY_TYPE_ID;
   key.size = 0;
@@ -1992,7 +2078,7 @@ repodata_set_str(Repodata *data, Id solvid, Id keyname, const char *str)
   key.type = REPOKEY_TYPE_STR;
   key.size = 0;
   key.storage = KEY_STORAGE_INCORE;
-  data->attrdata = sat_extend(data->attrdata, data->attrdatalen, l, 1, REPODATA_ATTRDATA_BLOCK);
+  data->attrdata = solv_extend(data->attrdata, data->attrdatalen, l, 1, REPODATA_ATTRDATA_BLOCK);
   memcpy(data->attrdata + data->attrdatalen, str, l);
   repodata_set(data, solvid, &key, data->attrdatalen);
   data->attrdatalen += l;
@@ -2004,11 +2090,13 @@ repodata_set_binary(Repodata *data, Id solvid, Id keyname, void *buf, int len)
   Repokey key;
   unsigned char *dp;
 
+  if (len < 0)
+    return;
   key.name = keyname;
   key.type = REPOKEY_TYPE_BINARY;
   key.size = 0;
   key.storage = KEY_STORAGE_INCORE;
-  data->attrdata = sat_extend(data->attrdata, data->attrdatalen, len + 5, 1, REPODATA_ATTRDATA_BLOCK);
+  data->attrdata = solv_extend(data->attrdata, data->attrdatalen, len + 5, 1, REPODATA_ATTRDATA_BLOCK);
   dp = data->attrdata + data->attrdatalen;
   if (len >= (1 << 14))
     {
@@ -2039,7 +2127,7 @@ repodata_add_array(Repodata *data, Id handle, Id keyname, Id keytype, int entrys
   if (handle == data->lasthandle && data->keys[data->lastkey].name == keyname && data->keys[data->lastkey].type == keytype && data->attriddatalen == data->lastdatalen)
     {
       /* great! just append the new data */
-      data->attriddata = sat_extend(data->attriddata, data->attriddatalen, entrysize, sizeof(Id), REPODATA_ATTRIDDATA_BLOCK);
+      data->attriddata = solv_extend(data->attriddata, data->attriddatalen, entrysize, sizeof(Id), REPODATA_ATTRIDDATA_BLOCK);
       data->attriddatalen--;   /* overwrite terminating 0  */
       data->lastdatalen += entrysize;
       return;
@@ -2062,7 +2150,7 @@ repodata_add_array(Repodata *data, Id handle, Id keyname, Id keytype, int entrys
       key.type = keytype;
       key.size = 0;
       key.storage = KEY_STORAGE_INCORE;
-      data->attriddata = sat_extend(data->attriddata, data->attriddatalen, entrysize + 1, sizeof(Id), REPODATA_ATTRIDDATA_BLOCK);
+      data->attriddata = solv_extend(data->attriddata, data->attriddatalen, entrysize + 1, sizeof(Id), REPODATA_ATTRIDDATA_BLOCK);
       keyid = repodata_key2id(data, &key, 1);
       repodata_insert_keyid(data, handle, keyid, data->attriddatalen, 1);
       data->lasthandle = handle;
@@ -2076,13 +2164,13 @@ repodata_add_array(Repodata *data, Id handle, Id keyname, Id keytype, int entrys
   if (ida + 1 == data->attriddata + data->attriddatalen)
     {
       /* this was the last entry, just append it */
-      data->attriddata = sat_extend(data->attriddata, data->attriddatalen, entrysize, sizeof(Id), REPODATA_ATTRIDDATA_BLOCK);
+      data->attriddata = solv_extend(data->attriddata, data->attriddatalen, entrysize, sizeof(Id), REPODATA_ATTRIDDATA_BLOCK);
       data->attriddatalen--;   /* overwrite terminating 0  */
     }
   else
     {
       /* too bad. move to back. */
-      data->attriddata = sat_extend(data->attriddata, data->attriddatalen,  oldsize + entrysize + 1, sizeof(Id), REPODATA_ATTRIDDATA_BLOCK);
+      data->attriddata = solv_extend(data->attriddata, data->attriddatalen,  oldsize + entrysize + 1, sizeof(Id), REPODATA_ATTRIDDATA_BLOCK);
       memcpy(data->attriddata + data->attriddatalen, data->attriddata + pp[1], oldsize * sizeof(Id));
       pp[1] = data->attriddatalen;
       data->attriddatalen += oldsize;
@@ -2099,13 +2187,13 @@ repodata_set_bin_checksum(Repodata *data, Id solvid, Id keyname, Id type,
   Repokey key;
   int l;
 
-  if (!(l = sat_chksum_len(type)))
+  if (!(l = solv_chksum_len(type)))
     return;
   key.name = keyname;
   key.type = type;
   key.size = 0;
   key.storage = KEY_STORAGE_INCORE;
-  data->attrdata = sat_extend(data->attrdata, data->attrdatalen, l, 1, REPODATA_ATTRDATA_BLOCK);
+  data->attrdata = solv_extend(data->attrdata, data->attrdatalen, l, 1, REPODATA_ATTRDATA_BLOCK);
   memcpy(data->attrdata + data->attrdatalen, str, l);
   repodata_set(data, solvid, &key, data->attrdatalen);
   data->attrdatalen += l;
@@ -2118,9 +2206,9 @@ repodata_set_checksum(Repodata *data, Id solvid, Id keyname, Id type,
   unsigned char buf[64];
   int l;
 
-  if (!(l = sat_chksum_len(type)))
+  if (!(l = solv_chksum_len(type)))
     return;
-  if (l > sizeof(buf) || sat_hex2bin(&str, buf, l) != l)
+  if (l > sizeof(buf) || solv_hex2bin(&str, buf, l) != l)
     return;
   repodata_set_bin_checksum(data, solvid, keyname, type, buf);
 }
@@ -2130,7 +2218,7 @@ repodata_chk2str(Repodata *data, Id type, const unsigned char *buf)
 {
   int l;
 
-  if (!(l = sat_chksum_len(type)))
+  if (!(l = solv_chksum_len(type)))
     return "";
   return pool_bin2hex(data->repo->pool, buf, l);
 }
@@ -2139,12 +2227,12 @@ repodata_chk2str(Repodata *data, Id type, const unsigned char *buf)
 static inline const char *
 evrid2vrstr(Pool *pool, Id evrid)
 {
-  const char *p, *evr = id2str(pool, evrid);
+  const char *p, *evr = pool_id2str(pool, evrid);
   if (!evr)
     return evr;
   for (p = evr; *p >= '0' && *p <= '9'; p++)
     ;
-  return p != evr && *p == ':' ? p + 1 : evr;
+  return p != evr && *p == ':' && p[1] ? p + 1 : evr;
 }
 
 void
@@ -2180,21 +2268,21 @@ repodata_set_location(Repodata *data, Id solvid, int medianr, const char *dir, c
   s = pool->solvables + solvid;
   if (dir && l)
     {
-      str = id2str(pool, s->arch);
+      str = pool_id2str(pool, s->arch);
       if (!strncmp(dir, str, l) && !str[l])
        repodata_set_void(data, solvid, SOLVABLE_MEDIADIR);
       else if (!dir[l])
        repodata_set_str(data, solvid, SOLVABLE_MEDIADIR, dir);
       else
        {
-         char *dir2 = strdup(dir);
+         char *dir2 = solv_strdup(dir);
          dir2[l] = 0;
          repodata_set_str(data, solvid, SOLVABLE_MEDIADIR, dir2);
          free(dir2);
        }
     }
   fp = file;
-  str = id2str(pool, s->name);
+  str = pool_id2str(pool, s->name);
   l = strlen(str);
   if ((!l || !strncmp(fp, str, l)) && fp[l] == '-')
     {
@@ -2204,7 +2292,7 @@ repodata_set_location(Repodata *data, Id solvid, int medianr, const char *dir, c
       if ((!l || !strncmp(fp, str, l)) && fp[l] == '.')
        {
          fp += l + 1;
-         str = id2str(pool, s->arch);
+         str = pool_id2str(pool, s->arch);
          l = strlen(str);
          if ((!l || !strncmp(fp, str, l)) && !strcmp(fp + l, ".rpm"))
            {
@@ -2216,6 +2304,138 @@ repodata_set_location(Repodata *data, Id solvid, int medianr, const char *dir, c
   repodata_set_str(data, solvid, SOLVABLE_MEDIAFILE, file);
 }
 
+static inline void repodata_set_poolstrn(Repodata *data, Id solvid, Id keyname, const char *str, int l)
+{
+  Id id;
+  if (data->localpool)
+    id = stringpool_strn2id(&data->spool, str, l, 1);
+  else
+    id = pool_strn2id(data->repo->pool, str, l, 1);
+  repodata_set_id(data, solvid, keyname, id);
+}
+
+/* XXX: medianr is currently not stored */
+void
+repodata_set_deltalocation(Repodata *data, Id handle, int medianr, const char *dir, const char *file)
+{
+  int l = 0;
+  const char *evr, *suf, *s;
+
+  if (!dir)
+    {
+      if ((dir = strrchr(file, '/')) != 0)
+       {
+          l = dir - file;
+         dir = file;
+         file = dir + l + 1;
+         if (!l)
+           l++;
+       }
+    }
+  else
+    l = strlen(dir);
+  if (l >= 2 && dir[0] == '.' && dir[1] == '/' && (l == 2 || dir[2] != '/'))
+    {
+      dir += 2;
+      l -= 2;
+    }
+  if (l == 1 && dir[0] == '.')
+    l = 0;
+  if (dir && l)
+    repodata_set_poolstrn(data, handle, DELTA_LOCATION_DIR, dir, l);
+  evr = strchr(file, '-');
+  if (evr)
+    {
+      for (s = evr - 1; s > file; s--)
+       if (*s == '-')
+         {
+           evr = s;
+           break;
+         }
+    }
+  suf = strrchr(file, '.');
+  if (suf)
+    {
+      for (s = suf - 1; s > file; s--)
+       if (*s == '.')
+         {
+           suf = s;
+           break;
+         }
+      if (!strcmp(suf, ".delta.rpm") || !strcmp(suf, ".patch.rpm"))
+       {
+         /* We accept one more item as suffix.  */
+         for (s = suf - 1; s > file; s--)
+           if (*s == '.')
+             {
+               suf = s;
+               break;
+             }
+       }
+    }
+  if (!evr)
+    suf = 0;
+  if (suf && evr && suf < evr)
+    suf = 0;
+  repodata_set_poolstrn(data, handle, DELTA_LOCATION_NAME, file, evr ? evr - file : strlen(file));
+  if (evr)
+    repodata_set_poolstrn(data, handle, DELTA_LOCATION_EVR, evr + 1, suf ? suf - evr - 1: strlen(evr + 1));
+  if (suf)
+    repodata_set_poolstr(data, handle, DELTA_LOCATION_SUFFIX, suf + 1);
+}
+
+void
+repodata_set_sourcepkg(Repodata *data, Id solvid, const char *sourcepkg)
+{
+  Pool *pool = data->repo->pool;
+  Solvable *s = pool->solvables + solvid;
+  const char *p, *sevr, *sarch, *name, *evr;
+
+  p = strrchr(sourcepkg, '.');
+  if (!p || strcmp(p, ".rpm") != 0)
+    {
+      if (*sourcepkg)
+        repodata_set_str(data, solvid, SOLVABLE_SOURCENAME, sourcepkg);
+      return;
+    }
+  p--;
+  while (p > sourcepkg && *p != '.')
+    p--;
+  if (*p != '.' || p == sourcepkg)
+    return;
+  sarch = p-- + 1;
+  while (p > sourcepkg && *p != '-')
+    p--;
+  if (*p != '-' || p == sourcepkg)
+    return;
+  p--;
+  while (p > sourcepkg && *p != '-')
+    p--;
+  if (*p != '-' || p == sourcepkg)
+    return;
+  sevr = p + 1;
+  pool = s->repo->pool;
+
+  name = pool_id2str(pool, s->name);
+  if (name && !strncmp(sourcepkg, name, sevr - sourcepkg - 1) && name[sevr - sourcepkg - 1] == 0)
+    repodata_set_void(data, solvid, SOLVABLE_SOURCENAME);
+  else
+    repodata_set_id(data, solvid, SOLVABLE_SOURCENAME, pool_strn2id(pool, sourcepkg, sevr - sourcepkg - 1, 1));
+
+  evr = evrid2vrstr(pool, s->evr);
+  if (evr && !strncmp(sevr, evr, sarch - sevr - 1) && evr[sarch - sevr - 1] == 0)
+    repodata_set_void(data, solvid, SOLVABLE_SOURCEEVR);
+  else
+    repodata_set_id(data, solvid, SOLVABLE_SOURCEEVR, pool_strn2id(pool, sevr, sarch - sevr - 1, 1));
+
+  if (!strcmp(sarch, "src.rpm"))
+    repodata_set_constantid(data, solvid, SOLVABLE_SOURCEARCH, ARCH_SRC);
+  else if (!strcmp(sarch, "nosrc.rpm"))
+    repodata_set_constantid(data, solvid, SOLVABLE_SOURCEARCH, ARCH_NOSRC);
+  else
+    repodata_set_constantid(data, solvid, SOLVABLE_SOURCEARCH, pool_strn2id(pool, sarch, strlen(sarch) - 4, 1));
+}
+
 void
 repodata_set_idarray(Repodata *data, Id solvid, Id keyname, Queue *q)
 {
@@ -2227,7 +2447,7 @@ repodata_set_idarray(Repodata *data, Id solvid, Id keyname, Queue *q)
   key.size = 0;
   key.storage = KEY_STORAGE_INCORE;
   repodata_set(data, solvid, &key, data->attriddatalen);
-  data->attriddata = sat_extend(data->attriddata, data->attriddatalen, q->count + 1, sizeof(Id), REPODATA_ATTRIDDATA_BLOCK);
+  data->attriddata = solv_extend(data->attriddata, data->attriddatalen, q->count + 1, sizeof(Id), REPODATA_ATTRIDDATA_BLOCK);
   for (i = 0; i < q->count; i++)
     data->attriddata[data->attriddatalen++] = q->elements[i];
   data->attriddata[data->attriddatalen++] = 0;
@@ -2255,7 +2475,7 @@ repodata_add_dirstr(Repodata *data, Id solvid, Id keyname, Id dir, const char *s
 
   assert(dir);
   l = strlen(str) + 1;
-  data->attrdata = sat_extend(data->attrdata, data->attrdatalen, l, 1, REPODATA_ATTRDATA_BLOCK);
+  data->attrdata = solv_extend(data->attrdata, data->attrdatalen, l, 1, REPODATA_ATTRDATA_BLOCK);
   memcpy(data->attrdata + data->attrdatalen, str, l);
   stroff = data->attrdatalen;
   data->attrdatalen += l;
@@ -2288,7 +2508,7 @@ repodata_add_poolstr_array(Repodata *data, Id solvid, Id keyname,
   if (data->localpool)
     id = stringpool_str2id(&data->spool, str, 1);
   else
-    id = str2id(data->repo->pool, str, 1);
+    id = pool_str2id(data->repo->pool, str, 1);
   repodata_add_idarray(data, solvid, keyname, id);
 }
 
@@ -2309,7 +2529,7 @@ repodata_add_flexarray(Repodata *data, Id solvid, Id keyname, Id ghandle)
 }
 
 void
-repodata_delete_uninternalized(Repodata *data, Id solvid, Id keyname)
+repodata_set_deleted_uninternalized(Repodata *data, Id solvid, Id keyname)
 {
   Id *pp, *ap, **app;
   app = repodata_get_attrp(data, solvid);
@@ -2335,7 +2555,7 @@ repodata_delete_uninternalized(Repodata *data, Id solvid, Id keyname)
 
 /* XXX: does not work correctly, needs fix in iterators! */
 void
-repodata_delete(Repodata *data, Id solvid, Id keyname)
+repodata_set_deleted(Repodata *data, Id solvid, Id keyname)
 {
   Repokey key;
   key.name = keyname;
@@ -2350,7 +2570,7 @@ void
 repodata_merge_attrs(Repodata *data, Id dest, Id src)
 {
   Id *keyp;
-  if (dest == src || !(keyp = data->attrs[src - data->start]))
+  if (dest == src || !data->attrs || !(keyp = data->attrs[src - data->start]))
     return;
   for (; *keyp; keyp += 2)
     repodata_insert_keyid(data, dest, keyp[0], keyp[1], 0);
@@ -2361,13 +2581,24 @@ void
 repodata_merge_some_attrs(Repodata *data, Id dest, Id src, Map *keyidmap, int overwrite)
 {
   Id *keyp;
-  if (dest == src || !(keyp = data->attrs[src - data->start]))
+  if (dest == src || !data->attrs || !(keyp = data->attrs[src - data->start]))
     return;
   for (; *keyp; keyp += 2)
     if (!keyidmap || MAPTST(keyidmap, keyp[0]))
       repodata_insert_keyid(data, dest, keyp[0], keyp[1], overwrite);
 }
 
+/* swap (uninternalized) attrs from src and dest */
+void
+repodata_swap_attrs(Repodata *data, Id dest, Id src)
+{
+  Id *tmpattrs;
+  if (!data->attrs || dest == src)
+    return;
+  tmpattrs = data->attrs[dest - data->start];
+  data->attrs[dest - data->start] = data->attrs[src - data->start];
+  data->attrs[src - data->start] = tmpattrs;
+}
 
 
 /**********************************************************************/
@@ -2382,11 +2613,12 @@ struct extdata {
 };
 
 static void
-data_addid(struct extdata *xd, Id x)
+data_addid(struct extdata *xd, Id sx)
 {
+  unsigned int x = (unsigned int)sx;
   unsigned char *dp;
 
-  xd->buf = sat_extend(xd->buf, xd->len, 5, 1, EXTDATA_BLOCK);
+  xd->buf = solv_extend(xd->buf, xd->len, 5, 1, EXTDATA_BLOCK);
   dp = xd->buf + xd->len;
 
   if (x >= (1 << 14))
@@ -2404,17 +2636,49 @@ data_addid(struct extdata *xd, Id x)
 }
 
 static void
-data_addideof(struct extdata *xd, Id x, int eof)
+data_addid64(struct extdata *xd, unsigned long long x)
 {
-  if (x >= 64)
-    x = (x & 63) | ((x & ~63) << 1);
-  data_addid(xd, (eof ? x : x | 64));
+  if (x >= 0x100000000)
+    {
+      if ((x >> 35) != 0)
+       {
+         data_addid(xd, (Id)(x >> 35));
+         xd->buf[xd->len - 1] |= 128;
+       }
+      data_addid(xd, (Id)((unsigned int)x | 0x80000000));
+      xd->buf[xd->len - 5] = (x >> 28) | 128;
+    }
+  else
+    data_addid(xd, (Id)x);
+}
+
+static void
+data_addideof(struct extdata *xd, Id sx, int eof)
+{
+  unsigned int x = (unsigned int)sx;
+  unsigned char *dp;
+
+  xd->buf = solv_extend(xd->buf, xd->len, 5, 1, EXTDATA_BLOCK);
+  dp = xd->buf + xd->len;
+
+  if (x >= (1 << 13))
+    {
+      if (x >= (1 << 27))
+        *dp++ = (x >> 27) | 128;
+      if (x >= (1 << 20))
+        *dp++ = (x >> 20) | 128;
+      *dp++ = (x >> 13) | 128;
+    }
+  if (x >= (1 << 6))
+    *dp++ = (x >> 6) | 128;
+  *dp++ = eof ? (x & 63) : (x & 63) | 64;
+  xd->len = dp - xd->buf;
 }
 
 static void
 data_addblob(struct extdata *xd, unsigned char *blob, int len)
 {
-  xd->buf = sat_extend(xd->buf, xd->len, len, 1, EXTDATA_BLOCK);
+  xd->buf = solv_extend(xd->buf, xd->len, len, 1, EXTDATA_BLOCK);
   memcpy(xd->buf + xd->len, blob, len);
   xd->len += len;
 }
@@ -2458,8 +2722,14 @@ repodata_serialize_key(Repodata *data, struct extdata *newincore,
     case REPOKEY_TYPE_SHA256:
       data_addblob(xd, data->attrdata + val, SIZEOF_SHA256);
       break;
-    case REPOKEY_TYPE_ID:
     case REPOKEY_TYPE_NUM:
+      if (val & 0x80000000)
+       {
+         data_addid64(xd, data->attrnum64data[val ^ 0x80000000]);
+         break;
+       }
+      /* FALLTHROUGH */
+    case REPOKEY_TYPE_ID:
     case REPOKEY_TYPE_DIR:
       data_addid(xd, val);
       break;
@@ -2467,7 +2737,7 @@ repodata_serialize_key(Repodata *data, struct extdata *newincore,
       {
        Id len;
        unsigned char *dp = data_read_id(data->attrdata + val, &len);
-       dp += len;
+       dp += (unsigned int)len;
        data_addblob(xd, data->attrdata + val, dp - (data->attrdata + val));
       }
       break;
@@ -2496,8 +2766,9 @@ repodata_serialize_key(Repodata *data, struct extdata *newincore,
        schemaid = 0;
        for (ida = data->attriddata + val; *ida; ida++)
          {
+           Id *kp;
            sp = schema;
-           Id *kp = data->xattrs[-*ida];
+           kp = data->xattrs[-*ida];
            if (!kp)
              continue;
            num++;
@@ -2508,7 +2779,7 @@ repodata_serialize_key(Repodata *data, struct extdata *newincore,
              schemaid = repodata_schema2id(data, schema, 1);
            else if (schemaid != repodata_schema2id(data, schema, 0))
              {
-               pool_debug(data->repo->pool, SAT_FATAL, "fixarray substructs with different schemas\n");
+               pool_debug(data->repo->pool, SOLV_FATAL, "fixarray substructs with different schemas\n");
                exit(1);
              }
          }
@@ -2553,7 +2824,7 @@ repodata_serialize_key(Repodata *data, struct extdata *newincore,
        break;
       }
     default:
-      pool_debug(data->repo->pool, SAT_FATAL, "don't know how to handle type %d\n", key->type);
+      pool_debug(data->repo->pool, SOLV_FATAL, "don't know how to handle type %d\n", key->type);
       exit(1);
     }
   if (key->storage == KEY_STORAGE_VERTICAL_OFFSET)
@@ -2591,8 +2862,8 @@ repodata_internalize(Repodata *data)
   solvkey.storage = KEY_STORAGE_INCORE;
   solvkeyid = repodata_key2id(data, &solvkey, data->end != data->start ? 1 : 0);
 
-  schema = sat_malloc2(data->nkeys, sizeof(Id));
-  seen = sat_malloc2(data->nkeys, sizeof(Id));
+  schema = solv_malloc2(data->nkeys, sizeof(Id));
+  seen = solv_malloc2(data->nkeys, sizeof(Id));
 
   /* Merge the data already existing (in data->schemata, ->incoredata and
      friends) with the new attributes in data->attrs[].  */
@@ -2601,7 +2872,7 @@ repodata_internalize(Repodata *data)
   data_addid(&newincore, 0);   /* start data at offset 1 */
 
   data->mainschema = 0;
-  data->mainschemaoffsets = sat_free(data->mainschemaoffsets);
+  data->mainschemaoffsets = solv_free(data->mainschemaoffsets);
 
   /* join entry data */
   /* we start with the meta data, entry -1 */
@@ -2628,7 +2899,7 @@ fprintf(stderr, "schemadata %p\n", data->schemadata);
        {
          if (seen[*keyp])
            {
-             pool_debug(data->repo->pool, SAT_FATAL, "Inconsistent old data (key occured twice).\n");
+             pool_debug(data->repo->pool, SOLV_FATAL, "Inconsistent old data (key occured twice).\n");
              exit(1);
            }
          seen[*keyp] = -1;
@@ -2690,7 +2961,7 @@ fprintf(stderr, "schemadata %p\n", data->schemadata);
       if (entry == -1)
        {
          data->mainschema = schemaid;
-         data->mainschemaoffsets = sat_calloc(sp - schema, sizeof(Id));
+         data->mainschemaoffsets = solv_calloc(sp - schema, sizeof(Id));
        }
       keypstart = data->schemadata + data->schemata[schemaid];
       for (keyp = keypstart; *keyp; keyp++)
@@ -2705,7 +2976,7 @@ fprintf(stderr, "schemadata %p\n", data->schemadata);
            }
          key = data->keys + *keyp;
 #if 0
-         fprintf(stderr, "internalize %d(%d):%s:%s\n", entry, entry + data->start, id2str(data->repo->pool, key->name), id2str(data->repo->pool, key->type));
+         fprintf(stderr, "internalize %d(%d):%s:%s\n", entry, entry + data->start, pool_id2str(data->repo->pool, key->name), pool_id2str(data->repo->pool, key->type));
 #endif
          ndp = dp;
          if (oldcount)
@@ -2739,36 +3010,38 @@ fprintf(stderr, "schemadata %p\n", data->schemadata);
          dp = ndp;
        }
       if (entry >= 0 && data->attrs && data->attrs[entry])
-       data->attrs[entry] = sat_free(data->attrs[entry]);
+       data->attrs[entry] = solv_free(data->attrs[entry]);
     }
   /* free all xattrs */
   for (entry = 0; entry < data->nxattrs; entry++)
     if (data->xattrs[entry])
-      sat_free(data->xattrs[entry]);
-  data->xattrs = sat_free(data->xattrs);
+      solv_free(data->xattrs[entry]);
+  data->xattrs = solv_free(data->xattrs);
   data->nxattrs = 0;
 
   data->lasthandle = 0;
   data->lastkey = 0;
   data->lastdatalen = 0;
-  sat_free(schema);
-  sat_free(seen);
+  solv_free(schema);
+  solv_free(seen);
   repodata_free_schemahash(data);
 
-  sat_free(data->incoredata);
+  solv_free(data->incoredata);
   data->incoredata = newincore.buf;
   data->incoredatalen = newincore.len;
   data->incoredatafree = 0;
 
-  sat_free(data->vincore);
+  solv_free(data->vincore);
   data->vincore = newvincore.buf;
   data->vincorelen = newvincore.len;
 
-  data->attrs = sat_free(data->attrs);
-  data->attrdata = sat_free(data->attrdata);
-  data->attriddata = sat_free(data->attriddata);
+  data->attrs = solv_free(data->attrs);
+  data->attrdata = solv_free(data->attrdata);
+  data->attriddata = solv_free(data->attriddata);
+  data->attrnum64data = solv_free(data->attrnum64data);
   data->attrdatalen = 0;
   data->attriddatalen = 0;
+  data->attrnum64datalen = 0;
 }
 
 void
@@ -2801,7 +3074,7 @@ repodata_load_stub(Repodata *data)
 
   /* restore tmp space */
   for (i = 0; i < POOL_TMPSPACEBUF; i++)
-    sat_free(pool->tmpspace.buf[i]);
+    solv_free(pool->tmpspace.buf[i]);
   pool->tmpspace = oldtmpspace;
 
   data->state = r ? REPODATA_AVAILABLE : REPODATA_ERROR;
@@ -2833,7 +3106,7 @@ repodata_create_stubs(Repodata *data)
   dataiterator_free(&di);
   if (!cnt)
     return;
-  stubdataids = sat_calloc(cnt, sizeof(*stubdataids));
+  stubdataids = solv_calloc(cnt, sizeof(*stubdataids));
   for (i = 0; i < cnt; i++)
     {
       sdata = repo_add_repodata(repo, 0);
@@ -2872,7 +3145,7 @@ repodata_create_stubs(Repodata *data)
          repodata_set_void(sdata, SOLVID_META, di.key->name);
          break;
        case REPOKEY_TYPE_NUM:
-         repodata_set_num(sdata, SOLVID_META, di.key->name, di.kv.num);
+         repodata_set_num(sdata, SOLVID_META, di.key->name, SOLV_KV_NUM64(&di.kv));
          break;
        case REPOKEY_TYPE_MD5:
        case REPOKEY_TYPE_SHA1:
@@ -2894,7 +3167,7 @@ repodata_create_stubs(Repodata *data)
              xkey.name = xkeyname;
               xkey.type = di.kv.id;
               xkey.storage = KEY_STORAGE_INCORE;
-              xkey.size = 0; 
+              xkey.size = 0;
               repodata_key2id(sdata, &xkey, 1);
               xkeyname = 0;
            }
@@ -2905,7 +3178,13 @@ repodata_create_stubs(Repodata *data)
   dataiterator_free(&di);
   for (i = 0; i < cnt; i++)
     repodata_internalize(repo->repodata + stubdataids[i]);
-  sat_free(stubdataids);
+  solv_free(stubdataids);
+}
+
+unsigned int
+repodata_memused(Repodata *data)
+{
+  return data->incoredatalen + data->vincorelen;
 }
 
 /*