ext/repo_comps.c

   1 /*
   2  * repo_comps.c
   3  *
   4  * Parses RedHat comps format
   5  *
   6  * Copyright (c) 2012, Novell Inc.
   7  *
   8  * This program is licensed under the BSD license, read LICENSE.BSD
   9  * for further information
  10  */
  11
  12 #include <sys/types.h>
  13 #include <sys/stat.h>
  14 #include <unistd.h>
  15 #include <limits.h>
  16 #include <fcntl.h>
  17 #include <ctype.h>
  18 #include <stdio.h>
  19 #include <stdlib.h>
  20 #include <string.h>
  21 #include <assert.h>
  22 #include <dirent.h>
  23 #include <expat.h>
  24
  25 #include "pool.h"
  26 #include "repo.h"
  27 #include "util.h"
  28 #define DISABLE_SPLIT
  29 #include "tools_util.h"
  30 #include "repo_comps.h"
  31
  32 /*
  33  * TODO:
  34  *
  35  * what's the difference between group/category?
  36  * handle "default" and "langonly".
  37  *
  38  * maybe handle REL_COND in solver recommends handling?
  39  */
  40
  41 enum state {
  42   STATE_START,
  43   STATE_COMPS,
  44   STATE_GROUP,
  45   STATE_ID,
  46   STATE_NAME,
  47   STATE_DESCRIPTION,
  48   STATE_DISPLAY_ORDER,
  49   STATE_DEFAULT,
  50   STATE_LANGONLY,
  51   STATE_LANG_ONLY,
  52   STATE_USERVISIBLE,
  53   STATE_PACKAGELIST,
  54   STATE_PACKAGEREQ,
  55   STATE_CATEGORY,
  56   STATE_CID,
  57   STATE_CNAME,
  58   STATE_CDESCRIPTION,
  59   STATE_CDISPLAY_ORDER,
  60   STATE_GROUPLIST,
  61   STATE_GROUPID,
  62   NUMSTATES
  63 };
  64
  65 struct stateswitch {
  66   enum state from;
  67   char *ename;
  68   enum state to;
  69   int docontent;
  70 };
  71
  72 /* must be sorted by first column */
  73 static struct stateswitch stateswitches[] = {
  74   { STATE_START,       "comps",         STATE_COMPS,         0 },
  75   { STATE_COMPS,       "group",         STATE_GROUP,         0 },
  76   { STATE_COMPS,       "category",      STATE_CATEGORY,      0 },
  77   { STATE_GROUP,       "id",            STATE_ID,            1 },
  78   { STATE_GROUP,       "name",          STATE_NAME,          1 },
  79   { STATE_GROUP,       "description",   STATE_DESCRIPTION,   1 },
  80   { STATE_GROUP,       "uservisible",   STATE_USERVISIBLE,   1 },
  81   { STATE_GROUP,       "display_order", STATE_DISPLAY_ORDER, 1 },
  82   { STATE_GROUP,       "default",       STATE_DEFAULT,       1 },
  83   { STATE_GROUP,       "langonly",      STATE_LANGONLY,      1 },
  84   { STATE_GROUP,       "lang_only",     STATE_LANG_ONLY,     1 },
  85   { STATE_GROUP,       "packagelist",   STATE_PACKAGELIST,   0 },
  86   { STATE_PACKAGELIST, "packagereq",    STATE_PACKAGEREQ,    1 },
  87   { STATE_CATEGORY,    "id",            STATE_CID,           1 },
  88   { STATE_CATEGORY,    "name",          STATE_CNAME,         1 },
  89   { STATE_CATEGORY,    "description",   STATE_CDESCRIPTION,  1 },
  90   { STATE_CATEGORY ,   "grouplist",     STATE_GROUPLIST,     0 },
  91   { STATE_CATEGORY ,   "display_order", STATE_CDISPLAY_ORDER, 1 },
  92   { STATE_GROUPLIST,   "groupid",       STATE_GROUPID,       1 },
  93   { NUMSTATES }
  94 };
  95
  96 struct parsedata {
  97   const char *filename;
  98   const char *basename;
  99   int depth;
 100   enum state state;
 101   int statedepth;
 102   char *content;
 103   int lcontent;
 104   int acontent;
 105   int docontent;
 106   Pool *pool;
 107   Repo *repo;
 108   Repodata *data;
 109
 110   struct stateswitch *swtab[NUMSTATES];
 111   enum state sbtab[NUMSTATES];
 112
 113   const char *tmplang;
 114   Id reqtype;
 115   Id condreq;
 116
 117   Solvable *solvable;
 118   Id handle;
 119
 120   Id langcache[ID_NUM_INTERNAL];
 121 };
 122
 123
 124 /*
 125  * find_attr
 126  * find value for xml attribute
 127  * I: txt, name of attribute
 128  * I: atts, list of key/value attributes
 129  * I: dup, strdup it
 130  * O: pointer to value of matching key, or NULL
 131  *
 132  */
 133
 134 static inline const char *
 135 find_attr(const char *txt, const char **atts, int dup)
 136 {
 137   for (; *atts; atts += 2)
 138     {
 139       if (!strcmp(*atts, txt))
 140         return dup ? solv_strdup(atts[1]) : atts[1];
 141     }
 142   return 0;
 143 }
 144
 145
 146 /*
 147  * create localized tag
 148  */
 149
 150 static Id
 151 langtag(struct parsedata *pd, Id tag, const char *language)
 152 {
 153   if (language && !language[0])
 154     language = 0;
 155   if (!language || tag >= ID_NUM_INTERNAL || 1)
 156     return pool_id2langid(pd->repo->pool, tag, language, 1);
 157   if (!pd->langcache[tag])
 158     pd->langcache[tag] = pool_id2langid(pd->repo->pool, tag, language, 1);
 159   return pd->langcache[tag];
 160 }
 161
 162
 163 /*
 164  * XML callback: startElement
 165  */
 166
 167 static void XMLCALL
 168 startElement(void *userData, const char *name, const char **atts)
 169 {
 170   struct parsedata *pd = userData;
 171   Pool *pool = pd->pool;
 172   Solvable *s = pd->solvable;
 173   struct stateswitch *sw;
 174
 175 #if 0
 176       fprintf(stderr, "start: [%d]%s\n", pd->state, name);
 177 #endif
 178   if (pd->depth != pd->statedepth)
 179     {
 180       pd->depth++;
 181       return;
 182     }
 183
 184   pd->depth++;
 185   if (!pd->swtab[pd->state])    /* no statetable -> no substates */
 186     {
 187 #if 0
 188       fprintf(stderr, "into unknown: %s (from: %d)\n", name, pd->state);
 189 #endif
 190       return;
 191     }
 192   for (sw = pd->swtab[pd->state]; sw->from == pd->state; sw++)  /* find name in statetable */
 193     if (!strcmp(sw->ename, name))
 194       break;
 195
 196   if (sw->from != pd->state)
 197     {
 198 #if 0
 199       fprintf(stderr, "into unknown: %s (from: %d)\n", name, pd->state);
 200 #endif
 201       return;
 202     }
 203   pd->state = sw->to;
 204   pd->docontent = sw->docontent;
 205   pd->statedepth = pd->depth;
 206   pd->lcontent = 0;
 207   *pd->content = 0;
 208
 209   switch(pd->state)
 210     {
 211     case STATE_GROUP:
 212     case STATE_CATEGORY:
 213       s = pd->solvable = pool_id2solvable(pool, repo_add_solvable(pd->repo));
 214       pd->handle = s - pool->solvables;
 215       break;
 216
 217     case STATE_NAME:
 218     case STATE_CNAME:
 219     case STATE_DESCRIPTION:
 220     case STATE_CDESCRIPTION:
 221       pd->tmplang = find_attr("xml:lang", atts, 1);
 222       break;
 223
 224     case STATE_PACKAGEREQ:
 225       {
 226         const char *type = find_attr("type", atts, 0);
 227         pd->condreq = 0;
 228         pd->reqtype = SOLVABLE_RECOMMENDS;
 229         if (type && !strcmp(type, "conditional"))
 230           {
 231             const char *requires = find_attr("requires", atts, 0);
 232             if (requires && *requires)
 233               pd->condreq = pool_str2id(pool, requires, 1);
 234           }
 235         else if (type && !strcmp(type, "mandatory"))
 236           pd->reqtype = SOLVABLE_REQUIRES;
 237         else if (type && !strcmp(type, "optional"))
 238           pd->reqtype = SOLVABLE_SUGGESTS;
 239         break;
 240       }
 241
 242     default:
 243       break;
 244     }
 245 }
 246
 247
 248 static void XMLCALL
 249 endElement(void *userData, const char *name)
 250 {
 251   struct parsedata *pd = userData;
 252   Solvable *s = pd->solvable;
 253   Id id;
 254
 255 #if 0
 256       fprintf(stderr, "end: [%d]%s\n", pd->state, name);
 257 #endif
 258   if (pd->depth != pd->statedepth)
 259     {
 260       pd->depth--;
 261 #if 0
 262       fprintf(stderr, "back from unknown %d %d %d\n", pd->state, pd->depth, pd->statedepth);
 263 #endif
 264       return;
 265     }
 266
 267   pd->depth--;
 268   pd->statedepth--;
 269
 270   switch (pd->state)
 271     {
 272     case STATE_GROUP:
 273     case STATE_CATEGORY:
 274       if (!s->arch)
 275         s->arch = ARCH_NOARCH;
 276       if (!s->evr)
 277         s->evr = ID_EMPTY;
 278       if (s->name && s->arch != ARCH_SRC && s->arch != ARCH_NOSRC)
 279         s->provides = repo_addid_dep(pd->repo, s->provides, pool_rel2id(pd->pool, s->name, s->evr, REL_EQ, 1), 0);
 280       pd->solvable = 0;
 281       break;
 282
 283     case STATE_ID:
 284     case STATE_CID:
 285       s->name = pool_str2id(pd->pool, join2("pattern", ":", pd->content), 1);
 286       break;
 287
 288     case STATE_NAME:
 289     case STATE_CNAME:
 290       repodata_set_str(pd->data, pd->handle, langtag(pd, SOLVABLE_SUMMARY, pd->tmplang), pd->content);
 291       pd->tmplang = solv_free((void *)pd->tmplang);
 292       break;
 293
 294     case STATE_DESCRIPTION:
 295     case STATE_CDESCRIPTION:
 296       repodata_set_str(pd->data, pd->handle, langtag(pd, SOLVABLE_DESCRIPTION, pd->tmplang), pd->content);
 297       pd->tmplang = solv_free((void *)pd->tmplang);
 298       break;
 299
 300     case STATE_PACKAGEREQ:
 301       id = pool_str2id(pd->pool, pd->content, 1);
 302       if (pd->condreq)
 303         id = pool_rel2id(pd->pool, id, pd->condreq, REL_COND, 1);
 304       repo_add_idarray(pd->repo, pd->handle, pd->reqtype, id);
 305       break;
 306
 307     case STATE_GROUPID:
 308       id = pool_str2id(pd->pool, join2("pattern", ":", pd->content), 1);
 309       s->requires = repo_addid_dep(pd->repo, s->requires, id, 0);
 310       break;
 311
 312     case STATE_USERVISIBLE:
 313       repodata_set_void(pd->data, pd->handle, SOLVABLE_ISVISIBLE);
 314       break;
 315
 316     case STATE_DISPLAY_ORDER:
 317     case STATE_CDISPLAY_ORDER:
 318       repodata_set_str(pd->data, pd->handle, SOLVABLE_ORDER, pd->content);
 319       break;
 320
 321     case STATE_DEFAULT:
 322       break;
 323
 324     case STATE_LANGONLY:
 325     case STATE_LANG_ONLY:
 326       break;
 327
 328     default:
 329       break;
 330     }
 331
 332   pd->state = pd->sbtab[pd->state];
 333   pd->docontent = 0;
 334
 335 #if 0
 336       fprintf(stderr, "end: [%s] -> %d\n", name, pd->state);
 337 #endif
 338 }
 339
 340
 341 static void XMLCALL
 342 characterData(void *userData, const XML_Char *s, int len)
 343 {
 344   struct parsedata *pd = userData;
 345   int l;
 346   char *c;
 347   if (!pd->docontent)
 348     return;
 349   l = pd->lcontent + len + 1;
 350   if (l > pd->acontent)
 351     {
 352       pd->content = solv_realloc(pd->content, l + 256);
 353       pd->acontent = l + 256;
 354     }
 355   c = pd->content + pd->lcontent;
 356   pd->lcontent += len;
 357   while (len-- > 0)
 358     *c++ = *s++;
 359   *c = 0;
 360 }
 361
 362 #define BUFF_SIZE 8192
 363
 364
 365 int
 366 repo_add_comps(Repo *repo, FILE *fp, int flags)
 367 {
 368   Repodata *data;
 369   struct parsedata pd;
 370   char buf[BUFF_SIZE];
 371   int i, l;
 372   struct stateswitch *sw;
 373   XML_Parser parser;
 374
 375   data = repo_add_repodata(repo, flags);
 376
 377   memset(&pd, 0, sizeof(pd));
 378   pd.repo = repo;
 379   pd.pool = repo->pool;
 380   pd.data = data;
 381
 382   pd.content = solv_malloc(256);
 383   pd.acontent = 256;
 384
 385   for (i = 0, sw = stateswitches; sw->from != NUMSTATES; i++, sw++)
 386     {
 387       if (!pd.swtab[sw->from])
 388         pd.swtab[sw->from] = sw;
 389       pd.sbtab[sw->to] = sw->from;
 390     }
 391
 392   parser = XML_ParserCreate(NULL);
 393   XML_SetUserData(parser, &pd);
 394   XML_SetElementHandler(parser, startElement, endElement);
 395   XML_SetCharacterDataHandler(parser, characterData);
 396   for (;;)
 397     {
 398       l = fread(buf, 1, sizeof(buf), fp);
 399       if (XML_Parse(parser, buf, l, l == 0) == XML_STATUS_ERROR)
 400         {
 401           pool_debug(pd.pool, SOLV_ERROR, "%s at line %u:%u\n", XML_ErrorString(XML_GetErrorCode(parser)), (unsigned int)XML_GetCurrentLineNumber(parser), (unsigned int)XML_GetCurrentColumnNumber(parser));
 402           break;
 403         }
 404       if (l == 0)
 405         break;
 406     }
 407   XML_ParserFree(parser);
 408
 409   solv_free((void *)pd.tmplang);
 410   solv_free(pd.content);
 411   join_freemem();
 412
 413   if (!(flags & REPO_NO_INTERNALIZE))
 414     repodata_internalize(data);
 415   return 0;
 416 }
 417
 418 /* EOF */