ext/repo_mdk.c

   1 /*
   2  * Copyright (c) 2012, Novell Inc.
   3  *
   4  * This program is licensed under the BSD license, read LICENSE.BSD
   5  * for further information
   6  */
   7
   8 #include <sys/types.h>
   9 #include <sys/stat.h>
  10 #include <stdio.h>
  11 #include <stdlib.h>
  12 #include <string.h>
  13 #include <unistd.h>
  14 #include <expat.h>
  15
  16 #include "pool.h"
  17 #include "repo.h"
  18 #include "util.h"
  19 #include "chksum.h"
  20 #include "repo_mdk.h"
  21
  22 static Offset
  23 parse_deps(Solvable *s, char *bp, Id marker)
  24 {
  25   Pool *pool = s->repo->pool;
  26   Offset deps = 0;
  27   char *nbp, *ebp;
  28   for (; bp; bp = nbp)
  29     {
  30       int ispre = 0;
  31       Id id, evr = 0;
  32       int flags = 0;
  33
  34       nbp = strchr(bp, '@');
  35       if (!nbp)
  36         ebp = bp + strlen(bp);
  37       else
  38         {
  39           ebp = nbp;
  40           *nbp++ = 0;
  41         }
  42       if (ebp[-1] == ']')
  43         {
  44           char *sbp = ebp - 1;
  45           while (sbp >= bp && *sbp != '[')
  46             sbp--;
  47           if (sbp >= bp && sbp[1] != '*')
  48             {
  49               char *fbp;
  50               for (fbp = sbp + 1;; fbp++)
  51                 {
  52                   if (*fbp == '>')
  53                     flags |= REL_GT;
  54                   else if (*fbp == '=')
  55                     flags |= REL_EQ;
  56                   else if (*fbp == '<')
  57                     flags |= REL_LT;
  58                   else
  59                     break;
  60                 }
  61               if (*fbp == ' ')
  62                 fbp++;
  63               evr = pool_strn2id(pool, fbp, ebp - 1 - fbp, 1);
  64               ebp = sbp;
  65             }
  66         }
  67       if (ebp[-1] == ']' && ebp >= bp + 3 && !strncmp(ebp - 3, "[*]", 3))
  68         {
  69           ispre = 1;
  70           ebp -= 3;
  71         }
  72       id = pool_strn2id(pool, bp, ebp - bp, 1);
  73       if (evr)
  74         id = pool_rel2id(pool, id, evr, flags, 1);
  75       deps = repo_addid_dep(s->repo, deps, id, ispre ? marker : 0);
  76       bp = nbp;
  77     }
  78   return deps;
  79 }
  80
  81 int
  82 repo_add_mdk(Repo *repo, FILE *fp, int flags)
  83 {
  84   Pool *pool = repo->pool;
  85   Repodata *data;
  86   Solvable *s;
  87   char *buf;
  88   int bufa, bufl;
  89
  90   data = repo_add_repodata(repo, flags);
  91   bufa = 4096;
  92   buf = solv_malloc(bufa);
  93   bufl = 0;
  94   s = 0;
  95   while (fgets(buf + bufl, bufa - bufl, fp) > 0)
  96     {
  97       bufl += strlen(buf + bufl);
  98       if (!bufl)
  99         continue;
 100       if (buf[bufl - 1] != '\n')
 101         {
 102           if (bufa - bufl < 256)
 103             {
 104               bufa += 4096;
 105               buf = solv_realloc(buf, bufa);
 106             }
 107           continue;
 108         }
 109       buf[bufl - 1] = 0;
 110       bufl = 0;
 111       if (buf[0] != '@')
 112         {
 113           pool_debug(pool, SOLV_ERROR, "bad line <%s>\n", buf);
 114           continue;
 115         }
 116       if (!s)
 117         s = pool_id2solvable(pool, repo_add_solvable(repo));
 118       if (!strncmp(buf + 1, "filesize@", 9))
 119         repodata_set_num(data, s - pool->solvables, SOLVABLE_DOWNLOADSIZE, strtoull(buf + 10, 0, 10));
 120       else if (!strncmp(buf + 1, "summary@", 8))
 121         repodata_set_str(data, s - pool->solvables, SOLVABLE_SUMMARY, buf + 9);
 122       else if (!strncmp(buf + 1, "provides@", 9))
 123         s->provides = parse_deps(s, buf + 10, 0);
 124       else if (!strncmp(buf + 1, "requires@", 9))
 125         s->requires = parse_deps(s, buf + 10, SOLVABLE_PREREQMARKER);
 126       else if (!strncmp(buf + 1, "suggests@", 9))
 127         s->suggests = parse_deps(s, buf + 10, 0);
 128       else if (!strncmp(buf + 1, "obsoletes@", 10))
 129         s->obsoletes = parse_deps(s, buf + 11, 0);
 130       else if (!strncmp(buf + 1, "conflicts@", 10))
 131         s->conflicts = parse_deps(s, buf + 11, 0);
 132       else if (!strncmp(buf + 1, "info@", 5))
 133         {
 134           char *nvra = buf + 6;
 135           char *epochstr;
 136           char *arch;
 137           char *version;
 138           char *filename;
 139           if ((epochstr = strchr(nvra, '@')) != 0)
 140             {
 141               char *sizestr;
 142               *epochstr++ = 0;
 143               if ((sizestr = strchr(epochstr, '@')) != 0)
 144                 {
 145                   char *groupstr;
 146                   *sizestr++ = 0;
 147                   if ((groupstr = strchr(sizestr, '@')) != 0)
 148                     {
 149                       char *n;
 150                       *groupstr++ = 0;
 151                       if ((n = strchr(groupstr, '@')) != 0)
 152                         *n = 0;
 153                       if (*groupstr)
 154                         repodata_set_poolstr(data, s - pool->solvables, SOLVABLE_GROUP, groupstr);
 155                     }
 156                   repodata_set_num(data, s - pool->solvables, SOLVABLE_INSTALLSIZE, strtoull(sizestr, 0, 10));
 157                 }
 158             }
 159           filename = pool_tmpjoin(pool, nvra, ".rpm", 0);
 160           arch = strrchr(nvra, '.');
 161           if (arch)
 162             {
 163               *arch++ = 0;
 164               s->arch = pool_str2id(pool, arch, 1);
 165             }
 166           /* argh, do we have a distepoch or not, check self-provides */
 167           if (s->provides)
 168             {
 169               Id id, lastid, *idp = s->repo->idarraydata + s->provides;
 170               lastid = 0;
 171               for (idp = s->repo->idarraydata + s->provides; (id = *idp) != 0; idp++)
 172                 {
 173                   const char *evr, *name;
 174                   int namel;
 175                   Reldep *rd;
 176                   if (!ISRELDEP(id))
 177                     continue;
 178                   rd = GETRELDEP(pool, id);
 179                   if (rd->flags != REL_EQ)
 180                     continue;
 181                   name = pool_id2str(pool, rd->name);
 182                   namel = strlen(name);
 183                   if (strncmp(name, nvra, namel) != 0 || nvra[namel] != '-')
 184                     continue;
 185                   evr = pool_id2str(pool, rd->evr);
 186                   evr = strrchr(evr, '-');
 187                   if (evr && strchr(evr, ':') != 0)
 188                     lastid = id;
 189                 }
 190               if (lastid)
 191                 {
 192                   /* self provides found, and it contains a distepoch */
 193                   /* replace with self-provides distepoch to get rid of the disttag */
 194                   char *nvradistepoch = strrchr(nvra, '-');
 195                   if (nvradistepoch)
 196                     {
 197                       Reldep *rd = GETRELDEP(pool, lastid);
 198                       const char *evr = pool_id2str(pool, rd->evr);
 199                       evr = strrchr(evr, '-');
 200                       if (evr && (evr = strchr(evr, ':')) != 0)
 201                         {
 202                           if (strlen(evr) < strlen(nvradistepoch))
 203                             strcpy(nvradistepoch, evr);
 204                         }
 205                     }
 206                 }
 207             }
 208           version = strrchr(nvra, '-');
 209           if (version)
 210             {
 211               char *release = version;
 212               *release = 0;
 213               version = strrchr(nvra, '-');
 214               *release = '-';
 215               if (!version)
 216                 version = release;
 217               *version++ = 0;
 218             }
 219           else
 220             version = "";
 221           s->name = pool_str2id(pool, nvra, 1);
 222           if (epochstr && *epochstr && strcmp(epochstr, "0") != 0)
 223             {
 224               char *evr = pool_tmpjoin(pool, epochstr, ":", version);
 225               s->evr = pool_str2id(pool, evr, 1);
 226             }
 227           else
 228             s->evr = pool_str2id(pool, version, 1);
 229           repodata_set_location(data, s - pool->solvables, 0, 0, filename);
 230           if (s->name && s->arch != ARCH_SRC && s->arch != ARCH_NOSRC)
 231             s->provides = repo_addid_dep(s->repo, s->provides, pool_rel2id(pool, s->name, s->evr, REL_EQ, 1), 0);
 232           s = 0;
 233         }
 234       else
 235         {
 236           char *tagend = strchr(buf + 1, '@');
 237           if (tagend)
 238             *tagend = 0;
 239           pool_debug(pool, SOLV_ERROR, "unknown tag <%s>\n", buf + 1);
 240           continue;
 241         }
 242     }
 243   if (s)
 244     {
 245       pool_debug(pool, SOLV_ERROR, "unclosed package at EOF\n");
 246       repo_free_solvable(s->repo, s - pool->solvables, 1);
 247     }
 248   solv_free(buf);
 249   if (!(flags & REPO_NO_INTERNALIZE))
 250     repodata_internalize(data);
 251   return 0;
 252 }
 253
 254 enum state {
 255   STATE_START,
 256   STATE_MEDIA_INFO,
 257   STATE_INFO,
 258   STATE_FILES,
 259   NUMSTATES
 260 };
 261
 262 struct stateswitch {
 263   enum state from;
 264   char *ename;
 265   enum state to;
 266   int docontent;
 267 };
 268
 269 /* must be sorted by first column */
 270 static struct stateswitch stateswitches[] = {
 271   { STATE_START, "media_info", STATE_MEDIA_INFO, 0 },
 272   { STATE_MEDIA_INFO, "info", STATE_INFO, 1 },
 273   { STATE_MEDIA_INFO, "files", STATE_FILES, 1 },
 274   { NUMSTATES }
 275 };
 276
 277 struct parsedata {
 278   Pool *pool;
 279   Repo *repo;
 280   Repodata *data;
 281   int depth;
 282   enum state state;
 283   int statedepth;
 284   char *content;
 285   int lcontent;
 286   int acontent;
 287   int docontent;
 288   struct stateswitch *swtab[NUMSTATES];
 289   enum state sbtab[NUMSTATES];
 290   Solvable *solvable;
 291   Hashtable joinhash;
 292   Hashval joinhashmask;
 293 };
 294
 295 static inline const char *
 296 find_attr(const char *txt, const char **atts)
 297 {
 298   for (; *atts; atts += 2)
 299     {
 300       if (!strcmp(*atts, txt))
 301         return atts[1];
 302     }
 303   return 0;
 304 }
 305
 306 static Hashtable
 307 joinhash_init(Repo *repo, Hashval *hmp)
 308 {
 309   Hashval hm = mkmask(repo->nsolvables);
 310   Hashtable ht = solv_calloc(hm + 1, sizeof(*ht));
 311   Hashval h, hh;
 312   Solvable *s;
 313   int i;
 314
 315   FOR_REPO_SOLVABLES(repo, i, s)
 316     {
 317       hh = HASHCHAIN_START;
 318       h = s->name & hm;
 319       while (ht[h])
 320         h = HASHCHAIN_NEXT(h, hh, hm);
 321       ht[h] = i;
 322     }
 323   *hmp = hm;
 324   return ht;
 325 }
 326
 327 static Solvable *
 328 joinhash_lookup(Repo *repo, Hashtable ht, Hashval hm, const char *fn, const char *distepoch)
 329 {
 330   Hashval h, hh;
 331   const char *p, *vrstart, *vrend;
 332   Id name, arch;
 333
 334   if (!fn || !*fn)
 335     return 0;
 336   if (distepoch && !*distepoch)
 337     distepoch = 0;
 338   p = fn + strlen(fn);
 339   while (--p > fn)
 340     if (*p == '.')
 341       break;
 342   if (p == fn)
 343     return 0;
 344   arch = pool_str2id(repo->pool, p + 1, 0);
 345   if (!arch)
 346     return 0;
 347   if (distepoch)
 348     {
 349       while (--p > fn)
 350         if (*p == '-')
 351           break;
 352       if (p == fn)
 353         return 0;
 354     }
 355   vrend = p;
 356   while (--p > fn)
 357     if (*p == '-')
 358       break;
 359   if (p == fn)
 360     return 0;
 361   while (--p > fn)
 362     if (*p == '-')
 363       break;
 364   if (p == fn)
 365     return 0;
 366   vrstart = p + 1;
 367   name = pool_strn2id(repo->pool, fn, p - fn, 0);
 368   if (!name)
 369     return 0;
 370   hh = HASHCHAIN_START;
 371   h = name & hm;
 372   while (ht[h])
 373     {
 374       Solvable *s = repo->pool->solvables + ht[h];
 375       if (s->name == name && s->arch == arch)
 376         {
 377           /* too bad we don't know the epoch... */
 378           const char *evr = pool_id2str(repo->pool, s->evr);
 379           for (p = evr; *p >= '0' && *p <= '9'; p++)
 380             ;
 381           if (p > evr && *p == ':')
 382             evr = p + 1;
 383           if (distepoch)
 384             {
 385               if (!strncmp(evr, vrstart, vrend - vrstart) && evr[vrend - vrstart] == ':' && !strcmp(distepoch, evr + (vrend - vrstart + 1)))
 386                 return s;
 387             }
 388           else if (!strncmp(evr, vrstart, vrend - vrstart) && evr[vrend - vrstart] == 0)
 389             return s;
 390         }
 391       h = HASHCHAIN_NEXT(h, hh, hm);
 392     }
 393   return 0;
 394 }
 395
 396 static void XMLCALL
 397 startElement(void *userData, const char *name, const char **atts)
 398 {
 399   struct parsedata *pd = userData;
 400   Pool *pool = pd->pool;
 401   struct stateswitch *sw;
 402
 403   if (pd->depth != pd->statedepth)
 404     {
 405       pd->depth++;
 406       return;
 407     }
 408   pd->depth++;
 409   if (!pd->swtab[pd->state])
 410     return;
 411   for (sw = pd->swtab[pd->state]; sw->from == pd->state; sw++)
 412     if (!strcmp(sw->ename, name))
 413       break;
 414   if (sw->from != pd->state)
 415     return;
 416   pd->state = sw->to;
 417   pd->docontent = sw->docontent;
 418   pd->statedepth = pd->depth;
 419   pd->lcontent = 0;
 420   *pd->content = 0;
 421   switch (pd->state)
 422     {
 423     case STATE_INFO:
 424       {
 425         const char *fn = find_attr("fn", atts);
 426         const char *distepoch = find_attr("distepoch", atts);
 427         const char *str;
 428         pd->solvable = joinhash_lookup(pd->repo, pd->joinhash, pd->joinhashmask, fn, distepoch);
 429         if (!pd->solvable)
 430           break;
 431         str = find_attr("url", atts);
 432         if (str && *str)
 433           repodata_set_str(pd->data, pd->solvable - pool->solvables, SOLVABLE_URL, str);
 434         str = find_attr("license", atts);
 435         if (str && *str)
 436           repodata_set_poolstr(pd->data, pd->solvable - pool->solvables, SOLVABLE_LICENSE, str);
 437         str = find_attr("sourcerpm", atts);
 438         if (str && *str)
 439           repodata_set_sourcepkg(pd->data, pd->solvable - pool->solvables, str);
 440         break;
 441       }
 442     case STATE_FILES:
 443       {
 444         const char *fn = find_attr("fn", atts);
 445         const char *distepoch = find_attr("distepoch", atts);
 446         pd->solvable = joinhash_lookup(pd->repo, pd->joinhash, pd->joinhashmask, fn, distepoch);
 447         break;
 448       }
 449     default:
 450       break;
 451     }
 452 }
 453
 454 static void XMLCALL
 455 endElement(void *userData, const char *name)
 456 {
 457   struct parsedata *pd = userData;
 458   Solvable *s = pd->solvable;
 459   if (pd->depth != pd->statedepth)
 460     {
 461       pd->depth--;
 462       return;
 463     }
 464   pd->depth--;
 465   pd->statedepth--;
 466   switch (pd->state)
 467     {
 468     case STATE_INFO:
 469       if (s && *pd->content)
 470         repodata_set_str(pd->data, s - pd->pool->solvables, SOLVABLE_DESCRIPTION, pd->content);
 471       break;
 472     case STATE_FILES:
 473       if (s && *pd->content)
 474         {
 475           char *np, *p, *sl;
 476           for (p = pd->content; p && *p; p = np)
 477             {
 478               Id id;
 479               np = strchr(p, '\n');
 480               if (np)
 481                 *np++ = 0;
 482               if (!*p)
 483                 continue;
 484               sl = strrchr(p, '/');
 485               if (sl)
 486                 {
 487                   *sl++ = 0;
 488                   id = repodata_str2dir(pd->data, p, 1);
 489                 }
 490               else
 491                 {
 492                   sl = p;
 493                   id = 0;
 494                 }
 495               if (!id)
 496                 id = repodata_str2dir(pd->data, "/", 1);
 497               repodata_add_dirstr(pd->data, s - pd->pool->solvables, SOLVABLE_FILELIST, id, sl);
 498             }
 499         }
 500       break;
 501     default:
 502       break;
 503     }
 504   pd->state = pd->sbtab[pd->state];
 505   pd->docontent = 0;
 506 }
 507
 508 static void XMLCALL
 509 characterData(void *userData, const XML_Char *s, int len)
 510 {
 511   struct parsedata *pd = userData;
 512   int l;
 513   char *c;
 514   if (!pd->docontent)
 515     return;
 516   l = pd->lcontent + len + 1;
 517   if (l > pd->acontent)
 518     {
 519       pd->content = solv_realloc(pd->content, l + 256);
 520       pd->acontent = l + 256;
 521     }
 522   c = pd->content + pd->lcontent;
 523   pd->lcontent += len;
 524   while (len-- > 0)
 525     *c++ = *s++;
 526   *c = 0;
 527 }
 528
 529 #define BUFF_SIZE 8192
 530
 531 int
 532 repo_add_mdk_info(Repo *repo, FILE *fp, int flags)
 533 {
 534   Repodata *data;
 535   struct parsedata pd;
 536   char buf[BUFF_SIZE];
 537   int i, l;
 538   struct stateswitch *sw;
 539   XML_Parser parser;
 540
 541   if (!(flags & REPO_EXTEND_SOLVABLES))
 542     {
 543       pool_debug(repo->pool, SOLV_ERROR, "repo_add_mdk_info: can only extend existing solvables\n");
 544       return -1;
 545     }
 546
 547   data = repo_add_repodata(repo, flags);
 548
 549   memset(&pd, 0, sizeof(pd));
 550   pd.repo = repo;
 551   pd.pool = repo->pool;
 552   pd.data = data;
 553
 554   pd.content = solv_malloc(256);
 555   pd.acontent = 256;
 556
 557   pd.joinhash = joinhash_init(repo, &pd.joinhashmask);
 558
 559   for (i = 0, sw = stateswitches; sw->from != NUMSTATES; i++, sw++)
 560     {
 561       if (!pd.swtab[sw->from])
 562         pd.swtab[sw->from] = sw;
 563       pd.sbtab[sw->to] = sw->from;
 564     }
 565
 566   parser = XML_ParserCreate(NULL);
 567   XML_SetUserData(parser, &pd);
 568   XML_SetElementHandler(parser, startElement, endElement);
 569   XML_SetCharacterDataHandler(parser, characterData);
 570   for (;;)
 571     {
 572       l = fread(buf, 1, sizeof(buf), fp);
 573       if (XML_Parse(parser, buf, l, l == 0) == XML_STATUS_ERROR)
 574         {
 575           pool_debug(pd.pool, SOLV_ERROR, "%s at line %u:%u\n", XML_ErrorString(XML_GetErrorCode(parser)), (unsigned int)XML_GetCurrentLineNumber(parser), (unsigned int)XML_GetCurrentColumnNumber(parser));
 576           break;
 577         }
 578       if (l == 0)
 579         break;
 580     }
 581   XML_ParserFree(parser);
 582   solv_free(pd.content);
 583   solv_free(pd.joinhash);
 584   if (!(flags & REPO_NO_INTERNALIZE))
 585     repodata_internalize(data);
 586   return 0;
 587 }