src/repodata.h

   1 /*
   2  * Copyright (c) 2007, Novell Inc.
   3  *
   4  * This program is licensed under the BSD license, read LICENSE.BSD
   5  * for further information
   6  */
   7
   8 /*
   9  * repodata.h
  10  *
  11  */
  12
  13 #ifndef LIBSOLV_REPODATA_H
  14 #define LIBSOLV_REPODATA_H
  15
  16 #include <stdio.h>
  17
  18 #include "pooltypes.h"
  19 #include "pool.h"
  20 #include "dirpool.h"
  21
  22 #ifdef LIBSOLV_INTERNAL
  23 #include "repopage.h"
  24 #endif
  25
  26 #ifdef __cplusplus
  27 extern "C" {
  28 #endif
  29
  30 #define SIZEOF_MD5      16
  31 #define SIZEOF_SHA1     20
  32 #define SIZEOF_SHA224   28
  33 #define SIZEOF_SHA256   32
  34 #define SIZEOF_SHA384   48
  35 #define SIZEOF_SHA512   64
  36
  37 struct s_Repo;
  38 struct s_KeyValue;
  39
  40 typedef struct s_Repokey {
  41   Id name;
  42   Id type;                      /* REPOKEY_TYPE_xxx */
  43   unsigned int size;
  44   unsigned int storage;         /* KEY_STORAGE_xxx */
  45 } Repokey;
  46
  47 #define KEY_STORAGE_DROPPED             0
  48 #define KEY_STORAGE_SOLVABLE            1
  49 #define KEY_STORAGE_INCORE              2
  50 #define KEY_STORAGE_VERTICAL_OFFSET     3
  51 #define KEY_STORAGE_IDARRAYBLOCK        4
  52
  53 #ifdef LIBSOLV_INTERNAL
  54 struct dircache;
  55 #endif
  56
  57 /* repodata states */
  58 #define REPODATA_AVAILABLE      0
  59 #define REPODATA_STUB           1
  60 #define REPODATA_ERROR          2
  61 #define REPODATA_STORE          3
  62 #define REPODATA_LOADING        4
  63
  64 /* repodata filelist types */
  65 /* note that FILELIST_FILTERED means that the data contains a filtered
  66  * filelist *AND* that it is authoritative for all included solvables. */
  67 #define REPODATA_FILELIST_FILTERED      1
  68 #define REPODATA_FILELIST_EXTENSION     2
  69
  70 typedef struct s_Repodata {
  71   Id repodataid;                /* our id */
  72   struct s_Repo *repo;          /* back pointer to repo */
  73
  74   int state;                    /* available, stub or error */
  75
  76   void (*loadcallback)(struct s_Repodata *);
  77
  78   int start;                    /* start of solvables this repodata is valid for */
  79   int end;                      /* last solvable + 1 of this repodata */
  80
  81   Repokey *keys;                /* keys, first entry is always zero */
  82   int nkeys;                    /* length of keys array */
  83   unsigned char keybits[32];    /* keyname hash */
  84
  85   Id *schemata;                 /* schema -> offset into schemadata */
  86   int nschemata;                /* number of schemata */
  87   Id *schemadata;               /* schema storage */
  88
  89   Stringpool spool;             /* local string pool */
  90   int localpool;                /* is local string pool used */
  91
  92   Dirpool dirpool;              /* local dir pool */
  93
  94 #ifdef LIBSOLV_INTERNAL
  95   FILE *fp;                     /* file pointer of solv file */
  96   int error;                    /* corrupt solv file */
  97
  98   int filelisttype;             /* type of filelist */
  99   Id *filelistfilter;           /* filelist filter used */
 100   char *filelistfilterdata;     /* filelist filter string space */
 101
 102   unsigned int schemadatalen;   /* schema storage size */
 103   Id *schematahash;             /* unification helper */
 104
 105   unsigned char *incoredata;    /* in-core data */
 106   unsigned int incoredatalen;   /* in-core data used */
 107   unsigned int incoredatafree;  /* free data len */
 108
 109   Id mainschema;                /* SOLVID_META schema */
 110   Id *mainschemaoffsets;        /* SOLVID_META offsets into incoredata */
 111
 112   Id *incoreoffset;             /* offset for all entries */
 113
 114   Id *verticaloffset;           /* offset for all verticals, nkeys elements */
 115   Id lastverticaloffset;        /* end of verticals */
 116
 117   Repopagestore store;          /* our page store */
 118   Id storestate;                /* incremented every time the store might change */
 119
 120   unsigned char *vincore;       /* internal vertical data */
 121   unsigned int vincorelen;      /* data size */
 122
 123   Id **attrs;                   /* un-internalized attributes */
 124   Id **xattrs;                  /* anonymous handles */
 125   int nxattrs;                  /* number of handles */
 126
 127   unsigned char *attrdata;      /* their string data space */
 128   unsigned int attrdatalen;     /* its len */
 129   Id *attriddata;               /* their id space */
 130   unsigned int attriddatalen;   /* its len */
 131   unsigned long long *attrnum64data;    /* their 64bit num data space */
 132   unsigned int attrnum64datalen;        /* its len */
 133
 134   /* array cache to speed up repodata_add functions*/
 135   Id lasthandle;
 136   Id lastkey;
 137   Id lastdatalen;
 138
 139   /* directory cache to speed up repodata_str2dir */
 140   struct dircache *dircache;
 141 #endif
 142
 143 } Repodata;
 144
 145 #define SOLVID_META             -1
 146 #define SOLVID_POS              -2
 147
 148
 149 /*-----
 150  * management functions
 151  */
 152 void repodata_initdata(Repodata *data, struct s_Repo *repo, int localpool);
 153 void repodata_freedata(Repodata *data);
 154
 155 void repodata_free(Repodata *data);
 156 void repodata_empty(Repodata *data, int localpool);
 157
 158 void repodata_load(Repodata *data);
 159
 160 /*
 161  * key management functions
 162  */
 163 Id repodata_key2id(Repodata *data, Repokey *key, int create);
 164
 165 static inline Repokey *
 166 repodata_id2key(Repodata *data, Id keyid)
 167 {
 168   return data->keys + keyid;
 169 }
 170
 171 /*
 172  * schema management functions
 173  */
 174 Id repodata_schema2id(Repodata *data, Id *schema, int create);
 175 void repodata_free_schemahash(Repodata *data);
 176
 177 static inline Id *
 178 repodata_id2schema(Repodata *data, Id schemaid)
 179 {
 180   return data->schemadata + data->schemata[schemaid];
 181 }
 182
 183 /*
 184  * data search and access
 185  */
 186
 187 /* check if there is a chance that the repodata contains data for
 188  * the specified keyname */
 189 static inline int
 190 repodata_precheck_keyname(Repodata *data, Id keyname)
 191 {
 192   unsigned char x = data->keybits[(keyname >> 3) & (sizeof(data->keybits) - 1)];
 193   return x && (x & (1 << (keyname & 7))) ? 1 : 0;
 194 }
 195
 196 /* check if the repodata contains data for the specified keyname */
 197 static inline int
 198 repodata_has_keyname(Repodata *data, Id keyname)
 199 {
 200   int i;
 201   if (!repodata_precheck_keyname(data, keyname))
 202     return 0;
 203   for (i = 1; i < data->nkeys; i++)
 204     if (data->keys[i].name == keyname)
 205       return 1;
 206   return 0;
 207 }
 208
 209 /* search key <keyname> (all keys, if keyname == 0) for Id <solvid>
 210  * Call <callback> for each match */
 211 void repodata_search(Repodata *data, Id solvid, Id keyname, int flags, int (*callback)(void *cbdata, Solvable *s, Repodata *data, Repokey *key, struct s_KeyValue *kv), void *cbdata);
 212 void repodata_search_keyskip(Repodata *data, Id solvid, Id keyname, int flags, Id *keyskip, int (*callback)(void *cbdata, Solvable *s, Repodata *data, Repokey *key, struct s_KeyValue *kv), void *cbdata);
 213 void repodata_search_arrayelement(Repodata *data, Id solvid, Id keyname, int flags, struct s_KeyValue *kv, int (*callback)(void *cbdata, Solvable *s, Repodata *data, Repokey *key, struct s_KeyValue *kv), void *cbdata);
 214
 215 /* Make sure the found KeyValue has the "str" field set. Return "str"
 216  * if valid, NULL if not possible */
 217 const char *repodata_stringify(Pool *pool, Repodata *data, Repokey *key, struct s_KeyValue *kv, int flags);
 218
 219 /* filelist filter support */
 220 void repodata_set_filelisttype(Repodata *data, int filelisttype);
 221 int repodata_filelistfilter_matches(Repodata *data, const char *str);
 222 void repodata_free_filelistfilter(Repodata *data);
 223
 224 /* lookup functions */
 225 Id repodata_lookup_type(Repodata *data, Id solvid, Id keyname);
 226 Id repodata_lookup_id(Repodata *data, Id solvid, Id keyname);
 227 const char *repodata_lookup_str(Repodata *data, Id solvid, Id keyname);
 228 unsigned long long repodata_lookup_num(Repodata *data, Id solvid, Id keyname, unsigned long long notfound);
 229 int repodata_lookup_void(Repodata *data, Id solvid, Id keyname);
 230 const unsigned char *repodata_lookup_bin_checksum(Repodata *data, Id solvid, Id keyname, Id *typep);
 231 int repodata_lookup_idarray(Repodata *data, Id solvid, Id keyname, Queue *q);
 232 const void *repodata_lookup_binary(Repodata *data, Id solvid, Id keyname, int *lenp);
 233 unsigned int repodata_lookup_count(Repodata *data, Id solvid, Id keyname);      /* internal */
 234
 235 /* internal, used in fileprovides code */
 236 const unsigned char *repodata_lookup_packed_dirstrarray(Repodata *data, Id solvid, Id keyname);
 237
 238 /* internal, fill keyskip array with data */
 239 Id *repodata_fill_keyskip(Repodata *data, Id solvid, Id *keyskip);
 240
 241 /*-----
 242  * data assignment functions
 243  */
 244
 245 /*
 246  * extend the data so that it contains the specified solvables
 247  * (no longer needed, as the repodata_set functions autoextend)
 248  */
 249 void repodata_extend(Repodata *data, Id p);
 250 void repodata_extend_block(Repodata *data, Id p, int num);
 251 void repodata_shrink(Repodata *data, int end);
 252
 253 /* internalize freshly set data, so that it is found by the search
 254  * functions and written out */
 255 void repodata_internalize(Repodata *data);
 256
 257 /* create an anonymous handle. useful for substructures like
 258  * fixarray/flexarray  */
 259 Id repodata_new_handle(Repodata *data);
 260
 261 /* basic types: void, num, string, Id */
 262 void repodata_set_void(Repodata *data, Id solvid, Id keyname);
 263 void repodata_set_num(Repodata *data, Id solvid, Id keyname, unsigned long long num);
 264 void repodata_set_id(Repodata *data, Id solvid, Id keyname, Id id);
 265 void repodata_set_str(Repodata *data, Id solvid, Id keyname, const char *str);
 266 void repodata_set_binary(Repodata *data, Id solvid, Id keyname, void *buf, int len);
 267 /* create id from string, then set_id */
 268 void repodata_set_poolstr(Repodata *data, Id solvid, Id keyname, const char *str);
 269
 270 /* set numeric constant */
 271 void repodata_set_constant(Repodata *data, Id solvid, Id keyname, unsigned int constant);
 272
 273 /* set Id constant */
 274 void repodata_set_constantid(Repodata *data, Id solvid, Id keyname, Id id);
 275
 276 /* checksum */
 277 void repodata_set_bin_checksum(Repodata *data, Id solvid, Id keyname, Id type,
 278                                const unsigned char *buf);
 279 void repodata_set_checksum(Repodata *data, Id solvid, Id keyname, Id type,
 280                            const char *str);
 281 void repodata_set_idarray(Repodata *data, Id solvid, Id keyname, Queue *q);
 282
 283 /* directory (for package file list) */
 284 void repodata_add_dirnumnum(Repodata *data, Id solvid, Id keyname, Id dir, Id num, Id num2);
 285 void repodata_add_dirstr(Repodata *data, Id solvid, Id keyname, Id dir, const char *str);
 286 void repodata_free_dircache(Repodata *data);
 287
 288
 289 /* arrays */
 290 void repodata_add_idarray(Repodata *data, Id solvid, Id keyname, Id id);
 291 void repodata_add_poolstr_array(Repodata *data, Id solvid, Id keyname, const char *str);
 292 void repodata_add_fixarray(Repodata *data, Id solvid, Id keyname, Id ghandle);
 293 void repodata_add_flexarray(Repodata *data, Id solvid, Id keyname, Id ghandle);
 294
 295 /* generic */
 296 void repodata_set_kv(Repodata *data, Id solvid, Id keyname, Id keytype, struct s_KeyValue *kv);
 297 void repodata_unset(Repodata *data, Id solvid, Id keyname);
 298 void repodata_unset_uninternalized(Repodata *data, Id solvid, Id keyname);
 299
 300 /*
 301  merge/swap attributes from one solvable to another
 302  works only if the data is not yet internalized
 303 */
 304 void repodata_merge_attrs(Repodata *data, Id dest, Id src);
 305 void repodata_merge_some_attrs(Repodata *data, Id dest, Id src, Map *keyidmap, int overwrite);
 306 void repodata_swap_attrs(Repodata *data, Id dest, Id src);
 307
 308 Repodata *repodata_create_stubs(Repodata *data);
 309
 310 /*
 311  * load all paged data, used to speed up copying in repo_rpmdb
 312  */
 313 void repodata_disable_paging(Repodata *data);
 314
 315 /* helper functions */
 316 Id repodata_globalize_id(Repodata *data, Id id, int create);
 317 Id repodata_localize_id(Repodata *data, Id id, int create);
 318 Id repodata_translate_id(Repodata *data, Repodata *fromdata, Id id, int create);
 319 Id repodata_translate_dir_slow(Repodata *data, Repodata *fromdata, Id dir, int create, Id *cache);
 320
 321 Id repodata_str2dir(Repodata *data, const char *dir, int create);
 322 const char *repodata_dir2str(Repodata *data, Id did, const char *suf);
 323 const char *repodata_chk2str(Repodata *data, Id type, const unsigned char *buf);
 324 void repodata_set_location(Repodata *data, Id solvid, int medianr, const char *dir, const char *file);
 325 void repodata_set_deltalocation(Repodata *data, Id handle, int medianr, const char *dir, const char *file);
 326 void repodata_set_sourcepkg(Repodata *data, Id solvid, const char *sourcepkg);
 327
 328 /* uninternalized data lookup / search */
 329 Repokey *repodata_lookup_kv_uninternalized(Repodata *data, Id solvid, Id keyname, struct s_KeyValue *kv);
 330 void repodata_search_uninternalized(Repodata *data, Id solvid, Id keyname, int flags, int (*callback)(void *cbdata, Solvable *s, Repodata *data, Repokey *key, struct s_KeyValue *kv), void *cbdata);
 331
 332 /* stats */
 333 unsigned int repodata_memused(Repodata *data);
 334
 335 static inline Id
 336 repodata_translate_dir(Repodata *data, Repodata *fromdata, Id dir, int create, Id *cache)
 337 {
 338   if (cache && dir && cache[(dir & 255) * 2] == dir)
 339     return cache[(dir & 255) * 2 + 1];
 340   return repodata_translate_dir_slow(data, fromdata, dir, create, cache);
 341 }
 342
 343 static inline Id *
 344 repodata_create_dirtranscache(Repodata *data)
 345 {
 346   return (Id *)solv_calloc(256, sizeof(Id) * 2);
 347 }
 348
 349 static inline Id *
 350 repodata_free_dirtranscache(Id *cache)
 351 {
 352   return (Id *)solv_free(cache);
 353 }
 354
 355
 356 #ifdef __cplusplus
 357 }
 358 #endif
 359
 360 #endif /* LIBSOLV_REPODATA_H */