ext/repo_products.c

   1 /*
   2  * repo_products.c
   3  *
   4  * Parses all files below 'proddir'
   5  * See http://en.opensuse.org/Product_Management/Code11
   6  *
   7  *
   8  * Copyright (c) 2008, Novell Inc.
   9  *
  10  * This program is licensed under the BSD license, read LICENSE.BSD
  11  * for further information
  12  */
  13
  14 #include <sys/types.h>
  15 #include <sys/stat.h>
  16 #include <unistd.h>
  17 #include <limits.h>
  18 #include <fcntl.h>
  19 #include <ctype.h>
  20 #include <stdio.h>
  21 #include <stdlib.h>
  22 #include <string.h>
  23 #include <assert.h>
  24 #include <dirent.h>
  25 #include <expat.h>
  26
  27 #include "pool.h"
  28 #include "repo.h"
  29 #include "util.h"
  30 #define DISABLE_SPLIT
  31 #include "tools_util.h"
  32 #include "repo_content.h"
  33 #include "repo_zyppdb.h"
  34 #include "repo_releasefile_products.h"
  35
  36
  37 //#define DUMPOUT 0
  38
  39 enum state {
  40   STATE_START,           // 0
  41   STATE_PRODUCT,         // 1
  42   STATE_VENDOR,          // 2
  43   STATE_NAME,            // 3
  44   STATE_VERSION,         // 4
  45   STATE_RELEASE,         // 5
  46   STATE_ARCH,            // 6
  47   STATE_SUMMARY,         // 7
  48   STATE_SHORTSUMMARY,
  49   STATE_DESCRIPTION,     // 8
  50   STATE_UPDATEREPOKEY,   // 9 should go away
  51   STATE_CPEID,         // 9
  52   STATE_URLS,            // 10
  53   STATE_URL,             // 11
  54   STATE_RUNTIMECONFIG,   // 12
  55   STATE_LINGUAS,         // 13
  56   STATE_LANG,            // 14
  57   STATE_REGISTER,        // 15
  58   STATE_TARGET,          // 16
  59   STATE_REGRELEASE,      // 18
  60   STATE_PRODUCTLINE,     // 19
  61   NUMSTATES              // 0
  62 };
  63
  64 struct stateswitch {
  65   enum state from;
  66   char *ename;
  67   enum state to;
  68   int docontent;
  69 };
  70
  71 /* !! must be sorted by first column !! */
  72 static struct stateswitch stateswitches[] = {
  73   { STATE_START,     "product",       STATE_PRODUCT,       0 },
  74   { STATE_PRODUCT,   "vendor",        STATE_VENDOR,        1 },
  75   { STATE_PRODUCT,   "name",          STATE_NAME,          1 },
  76   { STATE_PRODUCT,   "version",       STATE_VERSION,       1 },
  77   { STATE_PRODUCT,   "release",       STATE_RELEASE,       1 },
  78   { STATE_PRODUCT,   "arch",          STATE_ARCH,          1 },
  79   { STATE_PRODUCT,   "productline",   STATE_PRODUCTLINE,   1 },
  80   { STATE_PRODUCT,   "summary",       STATE_SUMMARY,       1 },
  81   { STATE_PRODUCT,   "shortsummary",  STATE_SHORTSUMMARY,  1 },
  82   { STATE_PRODUCT,   "description",   STATE_DESCRIPTION,   1 },
  83   { STATE_PRODUCT,   "register",      STATE_REGISTER,      0 },
  84   { STATE_PRODUCT,   "urls",          STATE_URLS,          0 },
  85   { STATE_PRODUCT,   "runtimeconfig", STATE_RUNTIMECONFIG, 0 },
  86   { STATE_PRODUCT,   "linguas",       STATE_LINGUAS,       0 },
  87   { STATE_PRODUCT,   "updaterepokey", STATE_UPDATEREPOKEY, 1 },
  88   { STATE_PRODUCT,   "cpeid",         STATE_CPEID,         1 },
  89   { STATE_URLS,      "url",           STATE_URL,           1 },
  90   { STATE_LINGUAS,   "lang",          STATE_LANG,          0 },
  91   { STATE_REGISTER,  "target",        STATE_TARGET,        1 },
  92   { STATE_REGISTER,  "release",       STATE_REGRELEASE,    1 },
  93   { NUMSTATES }
  94 };
  95
  96 struct parsedata {
  97   const char *filename;
  98   const char *basename;
  99   int depth;
 100   enum state state;
 101   int statedepth;
 102   char *content;
 103   int lcontent;
 104   int acontent;
 105   int docontent;
 106   Pool *pool;
 107   Repo *repo;
 108   Repodata *data;
 109
 110   struct stateswitch *swtab[NUMSTATES];
 111   enum state sbtab[NUMSTATES];
 112
 113   const char *tmplang;
 114
 115   const char *tmpvers;
 116   const char *tmprel;
 117   const char *tmpurltype;
 118
 119   unsigned int ctime;
 120
 121   Solvable *solvable;
 122   Id handle;
 123
 124   ino_t baseproduct;
 125   ino_t currentproduct;
 126   int productscheme;
 127
 128   Id langcache[ID_NUM_INTERNAL];
 129 };
 130
 131
 132 /*
 133  * find_attr
 134  * find value for xml attribute
 135  * I: txt, name of attribute
 136  * I: atts, list of key/value attributes
 137  * I: dup, strdup it
 138  * O: pointer to value of matching key, or NULL
 139  *
 140  */
 141
 142 static inline const char *
 143 find_attr(const char *txt, const char **atts, int dup)
 144 {
 145   for (; *atts; atts += 2)
 146     {
 147       if (!strcmp(*atts, txt))
 148         return dup ? solv_strdup(atts[1]) : atts[1];
 149     }
 150   return 0;
 151 }
 152
 153
 154 /*
 155  * create localized tag
 156  */
 157
 158 static Id
 159 langtag(struct parsedata *pd, Id tag, const char *language)
 160 {
 161   if (language && !language[0])
 162     language = 0;
 163   if (!language || tag >= ID_NUM_INTERNAL)
 164     return pool_id2langid(pd->repo->pool, tag, language, 1);
 165   if (!pd->langcache[tag])
 166     pd->langcache[tag] = pool_id2langid(pd->repo->pool, tag, language, 1);
 167   return pd->langcache[tag];
 168 }
 169
 170
 171 /*
 172  * XML callback: startElement
 173  */
 174
 175 static void XMLCALL
 176 startElement(void *userData, const char *name, const char **atts)
 177 {
 178   struct parsedata *pd = userData;
 179   Pool *pool = pd->pool;
 180   Solvable *s = pd->solvable;
 181   struct stateswitch *sw;
 182
 183 #if 0
 184       fprintf(stderr, "start: [%d]%s\n", pd->state, name);
 185 #endif
 186   if (pd->depth != pd->statedepth)
 187     {
 188       pd->depth++;
 189       return;
 190     }
 191
 192   pd->depth++;
 193   if (!pd->swtab[pd->state])    /* no statetable -> no substates */
 194     {
 195 #if 0
 196       fprintf(stderr, "into unknown: %s (from: %d)\n", name, pd->state);
 197 #endif
 198       return;
 199     }
 200   for (sw = pd->swtab[pd->state]; sw->from == pd->state; sw++)  /* find name in statetable */
 201     if (!strcmp(sw->ename, name))
 202       break;
 203
 204   if (sw->from != pd->state)
 205     {
 206 #if 0
 207       fprintf(stderr, "into unknown: %s (from: %d)\n", name, pd->state);
 208 #endif
 209       return;
 210     }
 211   pd->state = sw->to;
 212   pd->docontent = sw->docontent;
 213   pd->statedepth = pd->depth;
 214   pd->lcontent = 0;
 215   *pd->content = 0;
 216
 217   switch(pd->state)
 218     {
 219     case STATE_PRODUCT:
 220       /* parse 'schemeversion' and store in global variable */
 221       {
 222         const char * scheme = find_attr("schemeversion", atts, 0);
 223         pd->productscheme = (scheme && *scheme) ? atoi(scheme) : -1;
 224       }
 225       if (!s)
 226         {
 227           s = pd->solvable = pool_id2solvable(pool, repo_add_solvable(pd->repo));
 228           pd->handle = s - pool->solvables;
 229         }
 230       break;
 231
 232       /* <summary lang="xy">... */
 233     case STATE_SUMMARY:
 234       pd->tmplang = find_attr("lang", atts, 1);
 235       break;
 236     case STATE_DESCRIPTION:
 237       pd->tmplang = find_attr("lang", atts, 1);
 238       break;
 239     case STATE_URL:
 240       pd->tmpurltype = find_attr("name", atts, 1);
 241       break;
 242     default:
 243       break;
 244     }
 245 }
 246
 247
 248 static void XMLCALL
 249 endElement(void *userData, const char *name)
 250 {
 251   struct parsedata *pd = userData;
 252   Solvable *s = pd->solvable;
 253
 254 #if 0
 255       fprintf(stderr, "end: [%d]%s\n", pd->state, name);
 256 #endif
 257   if (pd->depth != pd->statedepth)
 258     {
 259       pd->depth--;
 260 #if 0
 261       fprintf(stderr, "back from unknown %d %d %d\n", pd->state, pd->depth, pd->statedepth);
 262 #endif
 263       return;
 264     }
 265
 266   pd->depth--;
 267   pd->statedepth--;
 268
 269   switch (pd->state)
 270     {
 271     case STATE_PRODUCT:
 272       /* product done, finish solvable */
 273       if (pd->ctime)
 274         repodata_set_num(pd->data, pd->handle, SOLVABLE_INSTALLTIME, pd->ctime);
 275
 276       if (pd->basename)
 277         repodata_set_str(pd->data, pd->handle, PRODUCT_REFERENCEFILE, pd->basename);
 278
 279       /* this is where <productsdir>/baseproduct points to */
 280       if (pd->currentproduct == pd->baseproduct)
 281         repodata_set_str(pd->data, pd->handle, PRODUCT_TYPE, "base");
 282
 283       if (pd->tmprel)
 284         {
 285           if (pd->tmpvers)
 286             s->evr = makeevr(pd->pool, join2(pd->tmpvers, "-", pd->tmprel));
 287           else
 288             {
 289               fprintf(stderr, "Seen <release> but no <version>\n");
 290             }
 291         }
 292       else if (pd->tmpvers)
 293         s->evr = makeevr(pd->pool, pd->tmpvers); /* just version, no release */
 294       pd->tmpvers = solv_free((void *)pd->tmpvers);
 295       pd->tmprel = solv_free((void *)pd->tmprel);
 296       if (!s->arch)
 297         s->arch = ARCH_NOARCH;
 298       if (!s->evr)
 299         s->evr = ID_EMPTY;
 300       if (s->name && s->arch != ARCH_SRC && s->arch != ARCH_NOSRC)
 301         s->provides = repo_addid_dep(pd->repo, s->provides, pool_rel2id(pd->pool, s->name, s->evr, REL_EQ, 1), 0);
 302       pd->solvable = 0;
 303       break;
 304     case STATE_VENDOR:
 305       s->vendor = pool_str2id(pd->pool, pd->content, 1);
 306       break;
 307     case STATE_NAME:
 308       s->name = pool_str2id(pd->pool, join2("product", ":", pd->content), 1);
 309       break;
 310     case STATE_VERSION:
 311       pd->tmpvers = solv_strdup(pd->content);
 312       break;
 313     case STATE_RELEASE:
 314       pd->tmprel = solv_strdup(pd->content);
 315       break;
 316     case STATE_ARCH:
 317       s->arch = pool_str2id(pd->pool, pd->content, 1);
 318       break;
 319     case STATE_PRODUCTLINE:
 320       repodata_set_str(pd->data, pd->handle, PRODUCT_PRODUCTLINE, pd->content);
 321     break;
 322     case STATE_UPDATEREPOKEY:
 323       /** obsolete **/
 324       break;
 325     case STATE_SUMMARY:
 326       repodata_set_str(pd->data, pd->handle, langtag(pd, SOLVABLE_SUMMARY, pd->tmplang), pd->content);
 327       pd->tmplang = solv_free((void *)pd->tmplang);
 328       break;
 329     case STATE_SHORTSUMMARY:
 330       repodata_set_str(pd->data, pd->handle, PRODUCT_SHORTLABEL, pd->content);
 331       break;
 332     case STATE_DESCRIPTION:
 333       repodata_set_str(pd->data, pd->handle, langtag(pd, SOLVABLE_DESCRIPTION, pd->tmplang), pd->content );
 334       pd->tmplang = solv_free((void *)pd->tmplang);
 335       break;
 336     case STATE_URL:
 337       if (pd->tmpurltype)
 338         {
 339           repodata_add_poolstr_array(pd->data, pd->handle, PRODUCT_URL, pd->content);
 340           repodata_add_idarray(pd->data, pd->handle, PRODUCT_URL_TYPE, pool_str2id(pd->pool, pd->tmpurltype, 1));
 341         }
 342       pd->tmpurltype = solv_free((void *)pd->tmpurltype);
 343       break;
 344     case STATE_TARGET:
 345       repodata_set_str(pd->data, pd->handle, PRODUCT_REGISTER_TARGET, pd->content);
 346       break;
 347     case STATE_REGRELEASE:
 348       repodata_set_str(pd->data, pd->handle, PRODUCT_REGISTER_RELEASE, pd->content);
 349       break;
 350     case STATE_CPEID:
 351       if (pd->content)
 352         repodata_set_str(pd->data, pd->handle, SOLVABLE_CPEID, pd->content);
 353     default:
 354       break;
 355     }
 356
 357   pd->state = pd->sbtab[pd->state];
 358   pd->docontent = 0;
 359
 360 #if 0
 361       fprintf(stderr, "end: [%s] -> %d\n", name, pd->state);
 362 #endif
 363 }
 364
 365
 366 static void XMLCALL
 367 characterData(void *userData, const XML_Char *s, int len)
 368 {
 369   struct parsedata *pd = userData;
 370   int l;
 371   char *c;
 372   if (!pd->docontent)
 373     return;
 374   l = pd->lcontent + len + 1;
 375   if (l > pd->acontent)
 376     {
 377       pd->content = solv_realloc(pd->content, l + 256);
 378       pd->acontent = l + 256;
 379     }
 380   c = pd->content + pd->lcontent;
 381   pd->lcontent += len;
 382   while (len-- > 0)
 383     *c++ = *s++;
 384   *c = 0;
 385 }
 386
 387 #define BUFF_SIZE 8192
 388
 389
 390 /*
 391  * add single product to repo
 392  *
 393  */
 394
 395 static void
 396 add_code11_product(struct parsedata *pd, FILE *fp)
 397 {
 398   char buf[BUFF_SIZE];
 399   int l;
 400   struct stat st;
 401   XML_Parser parser;
 402
 403   if (!fstat(fileno(fp), &st))
 404     {
 405       pd->currentproduct = st.st_ino;
 406       pd->ctime = (unsigned int)st.st_ctime;
 407     }
 408   else
 409     {
 410       pd->currentproduct = pd->baseproduct + 1; /* make it != baseproduct if stat fails */
 411       perror("fstat");
 412       pd->ctime = 0;
 413     }
 414
 415   parser = XML_ParserCreate(NULL);
 416   XML_SetUserData(parser, pd);
 417   XML_SetElementHandler(parser, startElement, endElement);
 418   XML_SetCharacterDataHandler(parser, characterData);
 419
 420   for (;;)
 421     {
 422       l = fread(buf, 1, sizeof(buf), fp);
 423       if (XML_Parse(parser, buf, l, l == 0) == XML_STATUS_ERROR)
 424         {
 425           pool_debug(pd->pool, SOLV_ERROR, "%s: %s at line %u:%u\n", pd->filename, XML_ErrorString(XML_GetErrorCode(parser)), (unsigned int)XML_GetCurrentLineNumber(parser), (unsigned int)XML_GetCurrentColumnNumber(parser));
 426           pool_debug(pd->pool, SOLV_ERROR, "skipping this product\n");
 427           XML_ParserFree(parser);
 428           return;
 429         }
 430       if (l == 0)
 431         break;
 432     }
 433   XML_ParserFree(parser);
 434 }
 435
 436
 437 void
 438 repo_add_code11_products(Repo *repo, const char *dirpath, int flags)
 439 {
 440   Repodata *data;
 441   struct parsedata pd;
 442   struct stateswitch *sw;
 443   DIR *dir;
 444   int i;
 445
 446   data = repo_add_repodata(repo, flags);
 447
 448   memset(&pd, 0, sizeof(pd));
 449   pd.repo = repo;
 450   pd.pool = repo->pool;
 451   pd.data = data;
 452
 453   pd.content = solv_malloc(256);
 454   pd.acontent = 256;
 455
 456   for (i = 0, sw = stateswitches; sw->from != NUMSTATES; i++, sw++)
 457     {
 458       if (!pd.swtab[sw->from])
 459         pd.swtab[sw->from] = sw;
 460       pd.sbtab[sw->to] = sw->from;
 461     }
 462
 463   dir = opendir(dirpath);
 464   if (dir)
 465     {
 466       struct dirent *entry;
 467       struct stat st;
 468       char *fullpath;
 469
 470       /* check for <productsdir>/baseproduct on code11 and remember its target inode */
 471       if (stat(join2(dirpath, "/", "baseproduct"), &st) == 0) /* follow symlink */
 472         pd.baseproduct = st.st_ino;
 473       else
 474         pd.baseproduct = 0;
 475
 476       while ((entry = readdir(dir)))
 477         {
 478           int len = strlen(entry->d_name);
 479           FILE *fp;
 480           if (len <= 5 || strcmp(entry->d_name + len - 5, ".prod") != 0)
 481             continue;
 482           fullpath = join2(dirpath, "/", entry->d_name);
 483           fp = fopen(fullpath, "r");
 484           if (!fp)
 485             {
 486               perror(fullpath);
 487               continue;
 488             }
 489           pd.filename = fullpath;
 490           pd.basename = entry->d_name;
 491           add_code11_product(&pd, fp);
 492           fclose(fp);
 493         }
 494       closedir(dir);
 495     }
 496   solv_free((void *)pd.tmplang);
 497   solv_free(pd.content);
 498   join_freemem();
 499
 500   if (!(flags & REPO_NO_INTERNALIZE))
 501     repodata_internalize(data);
 502 }
 503
 504
 505 /******************************************************************************************/
 506
 507
 508 /*
 509  * read all installed products
 510  *
 511  * try proddir (reading all .xml files from this directory) first
 512  * if not available, assume non-code11 layout and parse /etc/xyz-release
 513  *
 514  * parse each one as a product
 515  */
 516
 517 /* Oh joy! Three parsers for the price of one! */
 518
 519 void
 520 repo_add_products(Repo *repo, const char *proddir, const char *root, int flags)
 521 {
 522   const char *fullpath;
 523   DIR *dir;
 524
 525   dir = opendir(proddir);
 526   if (dir)
 527     {
 528       /* assume code11 stype products */
 529       closedir(dir);
 530       repo_add_code11_products(repo, proddir, flags);
 531       return;
 532     }
 533
 534   /* code11 didn't work, try old zyppdb */
 535   fullpath = root ? join2(root, "", "/var/lib/zypp/db/products") : "/var/lib/zypp/db/products";
 536   dir = opendir(fullpath);
 537   if (dir)
 538     {
 539       closedir(dir);
 540       /* assume code10 style products */
 541       repo_add_zyppdb_products(repo, fullpath, flags);
 542       join_freemem();
 543       return;
 544     }
 545
 546   /* code11 didn't work, try -release files parsing */
 547   fullpath = root ? join2(root, "", "/etc") : "/etc";
 548   dir = opendir(fullpath);
 549   if (dir)
 550     {
 551       closedir(dir);
 552       repo_add_releasefile_products(repo, fullpath, flags);
 553       join_freemem();
 554       return;
 555     }
 556
 557   /* no luck. print an error message in case the root argument is wrong */
 558   perror(fullpath);
 559   join_freemem();
 560
 561   /* the least we can do... */
 562   if (!(flags & REPO_NO_INTERNALIZE) && (flags & REPO_REUSE_REPODATA) != 0)
 563     repodata_internalize(repo_last_repodata(repo));
 564 }
 565
 566 /* EOF */