ext/repo_mdk.c

   1 /*
   2  * Copyright (c) 2012, Novell Inc.
   3  *
   4  * This program is licensed under the BSD license, read LICENSE.BSD
   5  * for further information
   6  */
   7
   8 #include <sys/types.h>
   9 #include <sys/stat.h>
  10 #include <stdio.h>
  11 #include <stdlib.h>
  12 #include <string.h>
  13 #include <unistd.h>
  14 #include <expat.h>
  15
  16 #include "pool.h"
  17 #include "repo.h"
  18 #include "util.h"
  19 #include "chksum.h"
  20 #include "repo_mdk.h"
  21
  22 static Offset
  23 parse_deps(Solvable *s, char *bp, Id marker)
  24 {
  25   Pool *pool = s->repo->pool;
  26   Offset deps = 0;
  27   char *nbp, *ebp;
  28   for (; bp; bp = nbp)
  29     {
  30       int ispre = 0;
  31       Id id, evr = 0;
  32       int flags = 0;
  33
  34       nbp = strchr(bp, '@');
  35       if (!nbp)
  36         ebp = bp + strlen(bp);
  37       else
  38         {
  39           ebp = nbp;
  40           *nbp++ = 0;
  41         }
  42       if (ebp[-1] == ']')
  43         {
  44           char *sbp = ebp - 1;
  45           while (sbp >= bp && *sbp != '[')
  46             sbp--;
  47           if (sbp >= bp && sbp[1] != '*')
  48             {
  49               char *fbp;
  50               for (fbp = sbp + 1;; fbp++)
  51                 {
  52                   if (*fbp == '>')
  53                     flags |= REL_GT;
  54                   else if (*fbp == '=')
  55                     flags |= REL_EQ;
  56                   else if (*fbp == '<')
  57                     flags |= REL_LT;
  58                   else
  59                     break;
  60                 }
  61               if (*fbp == ' ')
  62                 fbp++;
  63               evr = pool_strn2id(pool, fbp, ebp - 1 - fbp, 1);
  64               ebp = sbp;
  65             }
  66         }
  67       if (ebp[-1] == ']' && ebp >= bp + 3 && !strncmp(ebp - 3, "[*]", 3))
  68         {
  69           ispre = 1;
  70           ebp -= 3;
  71         }
  72       id = pool_strn2id(pool, bp, ebp - bp, 1);
  73       if (evr)
  74         id = pool_rel2id(pool, id, evr, flags, 1);
  75       deps = repo_addid_dep(s->repo, deps, id, ispre ? marker : 0);
  76       bp = nbp;
  77     }
  78   return deps;
  79 }
  80
  81 int
  82 repo_add_mdk(Repo *repo, FILE *fp, int flags)
  83 {
  84   Pool *pool = repo->pool;
  85   Repodata *data;
  86   Solvable *s;
  87   char *buf;
  88   int bufa, bufl;
  89
  90   data = repo_add_repodata(repo, flags);
  91   bufa = 4096;
  92   buf = solv_malloc(bufa);
  93   bufl = 0;
  94   s = 0;
  95   while (fgets(buf + bufl, bufa - bufl, fp) > 0)
  96     {
  97       bufl += strlen(buf + bufl);
  98       if (bufl && buf[bufl - 1] != '\n')
  99         {
 100           if (bufa - bufl < 256)
 101             {
 102               bufa += 4096;
 103               buf = solv_realloc(buf, bufa);
 104             }
 105           continue;
 106         }
 107       buf[--bufl] = 0;
 108       bufl = 0;
 109       if (buf[0] != '@')
 110         {
 111           pool_debug(pool, SOLV_ERROR, "bad line <%s>\n", buf);
 112           continue;
 113         }
 114       if (!s)
 115         s = pool_id2solvable(pool, repo_add_solvable(repo));
 116       if (!strncmp(buf + 1, "filesize@", 9))
 117         {
 118           unsigned long filesize = strtoul(buf + 10, 0, 10);
 119           repodata_set_num(data, s - pool->solvables, SOLVABLE_DOWNLOADSIZE, (unsigned int)((filesize + 1023) / 1024));
 120         }
 121       else if (!strncmp(buf + 1, "summary@", 8))
 122         repodata_set_str(data, s - pool->solvables, SOLVABLE_SUMMARY, buf + 9);
 123       else if (!strncmp(buf + 1, "provides@", 9))
 124         s->provides = parse_deps(s, buf + 10, 0);
 125       else if (!strncmp(buf + 1, "requires@", 9))
 126         s->requires = parse_deps(s, buf + 10, SOLVABLE_PREREQMARKER);
 127       else if (!strncmp(buf + 1, "suggests@", 9))
 128         s->suggests = parse_deps(s, buf + 10, 0);
 129       else if (!strncmp(buf + 1, "obsoletes@", 10))
 130         s->obsoletes = parse_deps(s, buf + 11, 0);
 131       else if (!strncmp(buf + 1, "conflicts@", 10))
 132         s->conflicts = parse_deps(s, buf + 11, 0);
 133       else if (!strncmp(buf + 1, "info@", 5))
 134         {
 135           char *nvra = buf + 6;
 136           char *epochstr;
 137           char *arch;
 138           char *version;
 139           char *filename;
 140           if ((epochstr = strchr(nvra, '@')) != 0)
 141             {
 142               char *sizestr;
 143               *epochstr++ = 0;
 144               if ((sizestr = strchr(epochstr, '@')) != 0)
 145                 {
 146                   char *groupstr;
 147                   unsigned long size;
 148                   *sizestr++ = 0;
 149                   if ((groupstr = strchr(sizestr, '@')) != 0)
 150                     {
 151                       char *n;
 152                       *groupstr++ = 0;
 153                       if ((n = strchr(groupstr, '@')) != 0)
 154                         *n = 0;
 155                       if (*groupstr)
 156                         repodata_set_poolstr(data, s - pool->solvables, SOLVABLE_GROUP, groupstr);
 157                     }
 158                   size = strtoul(sizestr, 0, 10);
 159                   repodata_set_num(data, s - pool->solvables, SOLVABLE_INSTALLSIZE, (unsigned int)((size + 1023) / 1024));
 160                 }
 161             }
 162           filename = pool_tmpjoin(pool, nvra, ".rpm", 0);
 163           arch = strrchr(nvra, '.');
 164           if (arch)
 165             {
 166               *arch++ = 0;
 167               s->arch = pool_str2id(pool, arch, 1);
 168             }
 169           /* argh, do we have a distepoch or not, check self-provides */
 170           if (s->provides)
 171             {
 172               Id id, lastid, *idp = s->repo->idarraydata + s->provides;
 173               lastid = 0;
 174               for (idp = s->repo->idarraydata + s->provides; (id = *idp) != 0; idp++)
 175                 {
 176                   const char *evr, *name;
 177                   int namel;
 178                   Reldep *rd;
 179                   if (!ISRELDEP(id))
 180                     continue;
 181                   rd = GETRELDEP(pool, id);
 182                   if (rd->flags != REL_EQ)
 183                     continue;
 184                   name = pool_id2str(pool, rd->name);
 185                   namel = strlen(name);
 186                   if (strncmp(name, nvra, namel) != 0 || nvra[namel] != '-')
 187                     continue;
 188                   evr = pool_id2str(pool, rd->evr);
 189                   evr = strrchr(evr, '-');
 190                   if (evr && strchr(evr, ':') != 0)
 191                     lastid = id;
 192                 }
 193               if (lastid)
 194                 {
 195                   /* self provides found, and it contains a distepoch */
 196                   /* replace with self-provides distepoch to get rid of the disttag */
 197                   char *nvradistepoch = strrchr(nvra, '-');
 198                   if (nvradistepoch)
 199                     {
 200                       Reldep *rd = GETRELDEP(pool, lastid);
 201                       const char *evr = pool_id2str(pool, rd->evr);
 202                       evr = strrchr(evr, '-');
 203                       if (evr && (evr = strchr(evr, ':')) != 0)
 204                         {
 205                           if (strlen(evr) < strlen(nvradistepoch))
 206                             strcpy(nvradistepoch, evr);
 207                         }
 208                     }
 209                 }
 210             }
 211           version = strrchr(nvra, '-');
 212           if (version)
 213             {
 214               char *release = version;
 215               *release = 0;
 216               version = strrchr(nvra, '-');
 217               *release = '-';
 218               if (!version)
 219                 version = release;
 220               *version++ = 0;
 221             }
 222           else
 223             version = "";
 224           s->name = pool_str2id(pool, nvra, 1);
 225           if (epochstr && *epochstr && strcmp(epochstr, "0") != 0)
 226             {
 227               char *evr = pool_tmpjoin(pool, epochstr, ":", version);
 228               s->evr = pool_str2id(pool, evr, 1);
 229             }
 230           else
 231             s->evr = pool_str2id(pool, version, 1);
 232           repodata_set_location(data, s - pool->solvables, 0, 0, filename);
 233           if (s->name && s->arch != ARCH_SRC && s->arch != ARCH_NOSRC)
 234             s->provides = repo_addid_dep(s->repo, s->provides, pool_rel2id(pool, s->name, s->evr, REL_EQ, 1), 0);
 235           s = 0;
 236         }
 237       else
 238         {
 239           char *tagend = strchr(buf + 1, '@');
 240           if (tagend)
 241             *tagend = 0;
 242           pool_debug(pool, SOLV_ERROR, "unknown tag <%s>\n", buf + 1);
 243           continue;
 244         }
 245     }
 246   if (s)
 247     {
 248       pool_debug(pool, SOLV_ERROR, "unclosed package at EOF\n");
 249       repo_free_solvable_block(s->repo, s - pool->solvables, 1, 1);
 250     }
 251   solv_free(buf);
 252   if (!(flags & REPO_NO_INTERNALIZE))
 253     repodata_internalize(data);
 254   return 0;
 255 }
 256
 257 enum state {
 258   STATE_START,
 259   STATE_MEDIA_INFO,
 260   STATE_INFO,
 261   NUMSTATES
 262 };
 263
 264 struct stateswitch {
 265   enum state from;
 266   char *ename;
 267   enum state to;
 268   int docontent;
 269 };
 270
 271 /* must be sorted by first column */
 272 static struct stateswitch stateswitches[] = {
 273   { STATE_START, "media_info", STATE_MEDIA_INFO, 0 },
 274   { STATE_MEDIA_INFO, "info", STATE_INFO, 1 },
 275   { NUMSTATES }
 276 };
 277
 278 struct parsedata {
 279   Pool *pool;
 280   Repo *repo;
 281   Repodata *data;
 282   int depth;
 283   enum state state;
 284   int statedepth;
 285   char *content;
 286   int lcontent;
 287   int acontent;
 288   int docontent;
 289   struct stateswitch *swtab[NUMSTATES];
 290   enum state sbtab[NUMSTATES];
 291   Solvable *solvable;
 292   Hashtable joinhash;
 293   Hashmask joinhashmask;
 294 };
 295
 296 static inline const char *
 297 find_attr(const char *txt, const char **atts)
 298 {
 299   for (; *atts; atts += 2)
 300     {
 301       if (!strcmp(*atts, txt))
 302         return atts[1];
 303     }
 304   return 0;
 305 }
 306
 307 static Hashtable
 308 joinhash_init(Repo *repo, Hashmask *hmp)
 309 {
 310   Hashmask hm = mkmask(repo->nsolvables);
 311   Hashtable ht = solv_calloc(hm + 1, sizeof(*ht));
 312   Hashval h, hh;
 313   Solvable *s;
 314   int i;
 315
 316   FOR_REPO_SOLVABLES(repo, i, s)
 317     {
 318       hh = HASHCHAIN_START;
 319       h = s->name & hm;
 320       while (ht[h])
 321         h = HASHCHAIN_NEXT(h, hh, hm);
 322       ht[h] = i;
 323     }
 324   *hmp = hm;
 325   return ht;
 326 }
 327
 328 static Solvable *
 329 joinhash_lookup(Repo *repo, Hashtable ht, Hashmask hm, const char *fn, const char *distepoch)
 330 {
 331   Hashval h, hh;
 332   const char *p, *vrstart, *vrend;
 333   Id name, arch;
 334
 335   if (!fn || !*fn)
 336     return 0;
 337   if (distepoch && !*distepoch)
 338     distepoch = 0;
 339   p = fn + strlen(fn);
 340   while (--p > fn)
 341     if (*p == '.')
 342       break;
 343   if (p == fn)
 344     return 0;
 345   arch = pool_str2id(repo->pool, p + 1, 0);
 346   if (!arch)
 347     return 0;
 348   if (distepoch)
 349     {
 350       while (--p > fn)
 351         if (*p == '-')
 352           break;
 353       if (p == fn)
 354         return 0;
 355     }
 356   vrend = p;
 357   while (--p > fn)
 358     if (*p == '-')
 359       break;
 360   if (p == fn)
 361     return 0;
 362   while (--p > fn)
 363     if (*p == '-')
 364       break;
 365   if (p == fn)
 366     return 0;
 367   vrstart = p + 1;
 368   name = pool_strn2id(repo->pool, fn, p - fn, 0);
 369   if (!name)
 370     return 0;
 371   hh = HASHCHAIN_START;
 372   h = name & hm;
 373   while (ht[h])
 374     {
 375       Solvable *s = repo->pool->solvables + ht[h];
 376       if (s->name == name && s->arch == arch)
 377         {
 378           /* too bad we don't know the epoch... */
 379           const char *evr = pool_id2str(repo->pool, s->evr);
 380           for (p = evr; *p >= '0' && *p <= '9'; p++)
 381             ;
 382           if (p > evr && *p == ':')
 383             evr = p + 1;
 384           if (distepoch)
 385             {
 386               if (!strncmp(evr, vrstart, vrend - vrstart) && evr[vrend - vrstart] == ':' && !strcmp(distepoch, evr + (vrend - vrstart + 1)))
 387                 return s;
 388             }
 389           else if (!strncmp(evr, vrstart, vrend - vrstart) && evr[vrend - vrstart] == 0)
 390             return s;
 391         }
 392       h = HASHCHAIN_NEXT(h, hh, hm);
 393     }
 394   return 0;
 395 }
 396
 397 static void
 398 set_sourcerpm(Repodata *data, Solvable *s, Id handle, const char *sourcerpm)
 399 {
 400   const char *p, *sevr, *sarch, *name, *evr;
 401   Pool *pool;
 402
 403   p = strrchr(sourcerpm, '.');
 404   if (!p || strcmp(p, ".rpm") != 0)
 405     return;
 406   p--;
 407   while (p > sourcerpm && *p != '.')
 408     p--;
 409   if (*p != '.' || p == sourcerpm)
 410     return;
 411   sarch = p-- + 1;
 412   while (p > sourcerpm && *p != '-')
 413     p--;
 414   if (*p != '-' || p == sourcerpm)
 415     return;
 416   p--;
 417   while (p > sourcerpm && *p != '-')
 418     p--;
 419   if (*p != '-' || p == sourcerpm)
 420     return;
 421   sevr = p + 1;
 422   pool = s->repo->pool;
 423   if (!strcmp(sarch, "src.rpm"))
 424     repodata_set_constantid(data, handle, SOLVABLE_SOURCEARCH, ARCH_SRC);
 425   else if (!strcmp(sarch, "nosrc.rpm"))
 426     repodata_set_constantid(data, handle, SOLVABLE_SOURCEARCH, ARCH_NOSRC);
 427   else
 428     repodata_set_constantid(data, handle, SOLVABLE_SOURCEARCH, pool_strn2id(pool, sarch, strlen(sarch) - 4, 1));
 429   evr = pool_id2str(pool, s->evr);
 430   if (evr && !strncmp(sevr, evr, sarch - sevr - 1) && evr[sarch - sevr - 1] == 0)
 431     repodata_set_void(data, handle, SOLVABLE_SOURCEEVR);
 432   else
 433     repodata_set_id(data, handle, SOLVABLE_SOURCEEVR, pool_strn2id(pool, sevr, sarch - sevr - 1, 1));
 434   name = pool_id2str(pool, s->name);
 435   if (name && !strncmp(sourcerpm, name, sevr - sourcerpm - 1) && name[sevr - sourcerpm - 1] == 0)
 436     repodata_set_void(data, handle, SOLVABLE_SOURCENAME);
 437   else
 438     repodata_set_id(data, handle, SOLVABLE_SOURCENAME, pool_strn2id(pool, sourcerpm, sevr - sourcerpm - 1, 1));
 439 }
 440
 441
 442 static void XMLCALL
 443 startElement(void *userData, const char *name, const char **atts)
 444 {
 445   struct parsedata *pd = userData;
 446   Pool *pool = pd->pool;
 447   struct stateswitch *sw;
 448
 449   if (pd->depth != pd->statedepth)
 450     {
 451       pd->depth++;
 452       return;
 453     }
 454   pd->depth++;
 455   if (!pd->swtab[pd->state])
 456     return;
 457   for (sw = pd->swtab[pd->state]; sw->from == pd->state; sw++)
 458     if (!strcmp(sw->ename, name))
 459       break;
 460   if (sw->from != pd->state)
 461     return;
 462   pd->state = sw->to;
 463   pd->docontent = sw->docontent;
 464   pd->statedepth = pd->depth;
 465   pd->lcontent = 0;
 466   *pd->content = 0;
 467   switch (pd->state)
 468     {
 469     case STATE_INFO:
 470       {
 471         const char *fn = find_attr("fn", atts);
 472         const char *distepoch = find_attr("distepoch", atts);
 473         const char *str;
 474         pd->solvable = joinhash_lookup(pd->repo, pd->joinhash, pd->joinhashmask, fn, distepoch);
 475         if (!pd->solvable)
 476           break;
 477         str = find_attr("url", atts);
 478         if (str && *str)
 479           repodata_set_str(pd->data, pd->solvable - pool->solvables, SOLVABLE_URL, str);
 480         str = find_attr("license", atts);
 481         if (str && *str)
 482           repodata_set_poolstr(pd->data, pd->solvable - pool->solvables, SOLVABLE_LICENSE, str);
 483         str = find_attr("sourcerpm", atts);
 484         if (str && *str)
 485           set_sourcerpm(pd->data, pd->solvable, pd->solvable - pool->solvables, str);
 486         break;
 487       }
 488     default:
 489       break;
 490     }
 491 }
 492
 493 static void XMLCALL
 494 endElement(void *userData, const char *name)
 495 {
 496   struct parsedata *pd = userData;
 497   Solvable *s = pd->solvable;
 498   if (pd->depth != pd->statedepth)
 499     {
 500       pd->depth--;
 501       return;
 502     }
 503   pd->depth--;
 504   pd->statedepth--;
 505   switch (pd->state)
 506     {
 507     case STATE_INFO:
 508       if (s && *pd->content)
 509         repodata_set_str(pd->data, s - pd->pool->solvables, SOLVABLE_DESCRIPTION, pd->content);
 510       break;
 511     default:
 512       break;
 513     }
 514   pd->state = pd->sbtab[pd->state];
 515   pd->docontent = 0;
 516 }
 517
 518 static void XMLCALL
 519 characterData(void *userData, const XML_Char *s, int len)
 520 {
 521   struct parsedata *pd = userData;
 522   int l;
 523   char *c;
 524   if (!pd->docontent)
 525     return;
 526   l = pd->lcontent + len + 1;
 527   if (l > pd->acontent)
 528     {
 529       pd->content = solv_realloc(pd->content, l + 256);
 530       pd->acontent = l + 256;
 531     }
 532   c = pd->content + pd->lcontent;
 533   pd->lcontent += len;
 534   while (len-- > 0)
 535     *c++ = *s++;
 536   *c = 0;
 537 }
 538
 539 #define BUFF_SIZE 8192
 540
 541 int
 542 repo_add_mdk_info(Repo *repo, FILE *fp, int flags)
 543 {
 544   Repodata *data;
 545   struct parsedata pd;
 546   char buf[BUFF_SIZE];
 547   int i, l;
 548   struct stateswitch *sw;
 549   XML_Parser parser;
 550
 551   if (!(flags & REPO_EXTEND_SOLVABLES))
 552     {
 553       pool_debug(repo->pool, SOLV_ERROR, "repo_add_mdk_info: can only extend existing solvables\n");
 554       return -1;
 555     }
 556
 557   data = repo_add_repodata(repo, flags);
 558
 559   memset(&pd, 0, sizeof(pd));
 560   pd.repo = repo;
 561   pd.pool = repo->pool;
 562   pd.data = data;
 563
 564   pd.content = solv_malloc(256);
 565   pd.acontent = 256;
 566
 567   pd.joinhash = joinhash_init(repo, &pd.joinhashmask);
 568
 569   for (i = 0, sw = stateswitches; sw->from != NUMSTATES; i++, sw++)
 570     {
 571       if (!pd.swtab[sw->from])
 572         pd.swtab[sw->from] = sw;
 573       pd.sbtab[sw->to] = sw->from;
 574     }
 575
 576   parser = XML_ParserCreate(NULL);
 577   XML_SetUserData(parser, &pd);
 578   XML_SetElementHandler(parser, startElement, endElement);
 579   XML_SetCharacterDataHandler(parser, characterData);
 580   for (;;)
 581     {
 582       l = fread(buf, 1, sizeof(buf), fp);
 583       if (XML_Parse(parser, buf, l, l == 0) == XML_STATUS_ERROR)
 584         {
 585           pool_debug(pd.pool, SOLV_ERROR, "%s at line %u:%u\n", XML_ErrorString(XML_GetErrorCode(parser)), (unsigned int)XML_GetCurrentLineNumber(parser), (unsigned int)XML_GetCurrentColumnNumber(parser));
 586           break;
 587         }
 588       if (l == 0)
 589         break;
 590     }
 591   XML_ParserFree(parser);
 592   solv_free(pd.content);
 593   solv_free(pd.joinhash);
 594   if (!(flags & REPO_NO_INTERNALIZE))
 595     repodata_internalize(data);
 596   return 0;
 597 }