ext/repo_mdk.c

   1 /*
   2  * Copyright (c) 2012, Novell Inc.
   3  *
   4  * This program is licensed under the BSD license, read LICENSE.BSD
   5  * for further information
   6  */
   7
   8 #include <sys/types.h>
   9 #include <sys/stat.h>
  10 #include <stdio.h>
  11 #include <stdlib.h>
  12 #include <string.h>
  13 #include <unistd.h>
  14
  15 #include "pool.h"
  16 #include "repo.h"
  17 #include "util.h"
  18 #include "chksum.h"
  19 #include "solv_xmlparser.h"
  20 #include "repo_mdk.h"
  21
  22 static Offset
  23 parse_deps(Solvable *s, char *bp, Id marker)
  24 {
  25   Pool *pool = s->repo->pool;
  26   Offset deps = 0;
  27   char *nbp, *ebp;
  28   for (; bp; bp = nbp)
  29     {
  30       int ispre = 0;
  31       Id id, evr = 0;
  32       int flags = 0;
  33
  34       nbp = strchr(bp, '@');
  35       if (!nbp)
  36         ebp = bp + strlen(bp);
  37       else
  38         {
  39           ebp = nbp;
  40           *nbp++ = 0;
  41         }
  42       if (ebp[-1] == ']')
  43         {
  44           char *sbp = ebp - 1;
  45           while (sbp >= bp && *sbp != '[')
  46             sbp--;
  47           if (sbp >= bp && sbp[1] != '*')
  48             {
  49               char *fbp;
  50               for (fbp = sbp + 1;; fbp++)
  51                 {
  52                   if (*fbp == '>')
  53                     flags |= REL_GT;
  54                   else if (*fbp == '=')
  55                     flags |= REL_EQ;
  56                   else if (*fbp == '<')
  57                     flags |= REL_LT;
  58                   else
  59                     break;
  60                 }
  61               if (*fbp == ' ')
  62                 fbp++;
  63               evr = pool_strn2id(pool, fbp, ebp - 1 - fbp, 1);
  64               ebp = sbp;
  65             }
  66         }
  67       if (ebp[-1] == ']' && ebp >= bp + 3 && !strncmp(ebp - 3, "[*]", 3))
  68         {
  69           ispre = 1;
  70           ebp -= 3;
  71         }
  72       id = pool_strn2id(pool, bp, ebp - bp, 1);
  73       if (evr)
  74         id = pool_rel2id(pool, id, evr, flags, 1);
  75       deps = repo_addid_dep(s->repo, deps, id, ispre ? marker : 0);
  76       bp = nbp;
  77     }
  78   return deps;
  79 }
  80
  81 int
  82 repo_add_mdk(Repo *repo, FILE *fp, int flags)
  83 {
  84   Pool *pool = repo->pool;
  85   Repodata *data;
  86   Solvable *s;
  87   char *buf;
  88   int bufa, bufl;
  89
  90   data = repo_add_repodata(repo, flags);
  91   bufa = 4096;
  92   buf = solv_malloc(bufa);
  93   bufl = 0;
  94   s = 0;
  95   while (fgets(buf + bufl, bufa - bufl, fp) > 0)
  96     {
  97       bufl += strlen(buf + bufl);
  98       if (!bufl)
  99         continue;
 100       if (buf[bufl - 1] != '\n')
 101         {
 102           if (bufa - bufl < 256)
 103             {
 104               bufa += 4096;
 105               buf = solv_realloc(buf, bufa);
 106             }
 107           continue;
 108         }
 109       buf[bufl - 1] = 0;
 110       bufl = 0;
 111       if (buf[0] != '@')
 112         {
 113           pool_debug(pool, SOLV_ERROR, "bad line <%s>\n", buf);
 114           continue;
 115         }
 116       if (!s)
 117         s = pool_id2solvable(pool, repo_add_solvable(repo));
 118       if (!strncmp(buf + 1, "filesize@", 9))
 119         repodata_set_num(data, s - pool->solvables, SOLVABLE_DOWNLOADSIZE, strtoull(buf + 10, 0, 10));
 120       else if (!strncmp(buf + 1, "summary@", 8))
 121         repodata_set_str(data, s - pool->solvables, SOLVABLE_SUMMARY, buf + 9);
 122       else if (!strncmp(buf + 1, "provides@", 9))
 123         s->provides = parse_deps(s, buf + 10, 0);
 124       else if (!strncmp(buf + 1, "requires@", 9))
 125         s->requires = parse_deps(s, buf + 10, SOLVABLE_PREREQMARKER);
 126       else if (!strncmp(buf + 1, "recommends@", 11))
 127         s->recommends = parse_deps(s, buf + 10, 0);
 128       else if (!strncmp(buf + 1, "suggests@", 9))
 129         s->suggests = parse_deps(s, buf + 10, 0);
 130       else if (!strncmp(buf + 1, "obsoletes@", 10))
 131         s->obsoletes = parse_deps(s, buf + 11, 0);
 132       else if (!strncmp(buf + 1, "conflicts@", 10))
 133         s->conflicts = parse_deps(s, buf + 11, 0);
 134       else if (!strncmp(buf + 1, "info@", 5))
 135         {
 136           char *nvra = buf + 6;
 137           char *epochstr;
 138           char *arch;
 139           char *version;
 140           char *filename;
 141           char *disttag = 0;
 142           char *distepoch = 0;
 143           if ((epochstr = strchr(nvra, '@')) != 0)
 144             {
 145               char *sizestr;
 146               *epochstr++ = 0;
 147               if ((sizestr = strchr(epochstr, '@')) != 0)
 148                 {
 149                   char *groupstr;
 150                   *sizestr++ = 0;
 151                   if ((groupstr = strchr(sizestr, '@')) != 0)
 152                     {
 153                       *groupstr++ = 0;
 154                       if ((disttag = strchr(groupstr, '@')) != 0)
 155                         {
 156                           *disttag++ = 0;
 157                           if ((distepoch = strchr(disttag, '@')) != 0)
 158                             {
 159                               char *n;
 160                               *distepoch++ = 0;
 161                               if ((n = strchr(distepoch, '@')) != 0)
 162                                 *n = 0;
 163                             }
 164                         }
 165                       if (*groupstr)
 166                         repodata_set_poolstr(data, s - pool->solvables, SOLVABLE_GROUP, groupstr);
 167                     }
 168                   if (*sizestr)
 169                     repodata_set_num(data, s - pool->solvables, SOLVABLE_INSTALLSIZE, strtoull(sizestr, 0, 10));
 170                 }
 171             }
 172           filename = pool_tmpjoin(pool, nvra, ".rpm", 0);
 173           arch = strrchr(nvra, '.');
 174           if (arch)
 175             {
 176               *arch++ = 0;
 177               s->arch = pool_str2id(pool, arch, 1);
 178             }
 179           if (disttag && *disttag)
 180             {
 181               /* strip disttag from release */
 182               char *n = strrchr(nvra, '-');
 183               if (n && !strncmp(n + 1, disttag, strlen(disttag)))
 184                 *n = 0;
 185             }
 186           if (distepoch && *distepoch)
 187             {
 188               /* add distepoch */
 189               int le = strlen(distepoch);
 190               int ln = strlen(nvra);
 191               nvra[ln++] = ':';
 192               memmove(nvra + ln, distepoch, le);        /* may overlap */
 193               nvra[le + ln] = 0;
 194             }
 195           version = strrchr(nvra, '-');
 196           if (version)
 197             {
 198               char *release = version;
 199               *release = 0;
 200               version = strrchr(nvra, '-');
 201               *release = '-';
 202               if (!version)
 203                 version = release;
 204               *version++ = 0;
 205             }
 206           else
 207             version = "";
 208           s->name = pool_str2id(pool, nvra, 1);
 209           if (epochstr && *epochstr && strcmp(epochstr, "0") != 0)
 210             {
 211               char *evr = pool_tmpjoin(pool, epochstr, ":", version);
 212               s->evr = pool_str2id(pool, evr, 1);
 213             }
 214           else
 215             s->evr = pool_str2id(pool, version, 1);
 216           repodata_set_location(data, s - pool->solvables, 0, 0, filename);
 217           if (s->name && s->arch != ARCH_SRC && s->arch != ARCH_NOSRC)
 218             s->provides = repo_addid_dep(s->repo, s->provides, pool_rel2id(pool, s->name, s->evr, REL_EQ, 1), 0);
 219           s = 0;
 220         }
 221       else
 222         {
 223           char *tagend = strchr(buf + 1, '@');
 224           if (tagend)
 225             *tagend = 0;
 226           pool_debug(pool, SOLV_ERROR, "unknown tag <%s>\n", buf + 1);
 227           continue;
 228         }
 229     }
 230   if (s)
 231     {
 232       pool_debug(pool, SOLV_ERROR, "unclosed package at EOF\n");
 233       s = solvable_free(s, 1);
 234     }
 235   solv_free(buf);
 236   if (!(flags & REPO_NO_INTERNALIZE))
 237     repodata_internalize(data);
 238   return 0;
 239 }
 240
 241 enum state {
 242   STATE_START,
 243   STATE_MEDIA_INFO,
 244   STATE_INFO,
 245   STATE_FILES,
 246   NUMSTATES
 247 };
 248
 249 static struct solv_xmlparser_element stateswitches[] = {
 250   { STATE_START, "media_info", STATE_MEDIA_INFO, 0 },
 251   { STATE_MEDIA_INFO, "info", STATE_INFO, 1 },
 252   { STATE_MEDIA_INFO, "files", STATE_FILES, 1 },
 253   { NUMSTATES }
 254 };
 255
 256 struct parsedata {
 257   Pool *pool;
 258   Repo *repo;
 259   Repodata *data;
 260   Solvable *solvable;
 261   Hashtable joinhash;
 262   Hashval joinhashmask;
 263   struct solv_xmlparser xmlp;
 264 };
 265
 266 static Hashtable
 267 joinhash_init(Repo *repo, Hashval *hmp)
 268 {
 269   Hashval hm = mkmask(repo->nsolvables);
 270   Hashtable ht = solv_calloc(hm + 1, sizeof(*ht));
 271   Hashval h, hh;
 272   Solvable *s;
 273   int i;
 274
 275   FOR_REPO_SOLVABLES(repo, i, s)
 276     {
 277       hh = HASHCHAIN_START;
 278       h = s->name & hm;
 279       while (ht[h])
 280         h = HASHCHAIN_NEXT(h, hh, hm);
 281       ht[h] = i;
 282     }
 283   *hmp = hm;
 284   return ht;
 285 }
 286
 287 static Solvable *
 288 joinhash_lookup(Repo *repo, Hashtable ht, Hashval hm, const char *fn, const char *distepoch)
 289 {
 290   Hashval h, hh;
 291   const char *p, *vrstart, *vrend;
 292   Id name, arch;
 293
 294   if (!fn || !*fn)
 295     return 0;
 296   if (distepoch && !*distepoch)
 297     distepoch = 0;
 298   p = fn + strlen(fn);
 299   while (--p > fn)
 300     if (*p == '.')
 301       break;
 302   if (p == fn)
 303     return 0;
 304   arch = pool_str2id(repo->pool, p + 1, 0);
 305   if (!arch)
 306     return 0;
 307   if (distepoch)
 308     {
 309       while (--p > fn)
 310         if (*p == '-')
 311           break;
 312       if (p == fn)
 313         return 0;
 314     }
 315   vrend = p;
 316   while (--p > fn)
 317     if (*p == '-')
 318       break;
 319   if (p == fn)
 320     return 0;
 321   while (--p > fn)
 322     if (*p == '-')
 323       break;
 324   if (p == fn)
 325     return 0;
 326   vrstart = p + 1;
 327   name = pool_strn2id(repo->pool, fn, p - fn, 0);
 328   if (!name)
 329     return 0;
 330   hh = HASHCHAIN_START;
 331   h = name & hm;
 332   while (ht[h])
 333     {
 334       Solvable *s = repo->pool->solvables + ht[h];
 335       if (s->name == name && s->arch == arch)
 336         {
 337           /* too bad we don't know the epoch... */
 338           const char *evr = pool_id2str(repo->pool, s->evr);
 339           for (p = evr; *p >= '0' && *p <= '9'; p++)
 340             ;
 341           if (p > evr && *p == ':')
 342             evr = p + 1;
 343           if (distepoch)
 344             {
 345               if (!strncmp(evr, vrstart, vrend - vrstart) && evr[vrend - vrstart] == ':' && !strcmp(distepoch, evr + (vrend - vrstart + 1)))
 346                 return s;
 347             }
 348           else if (!strncmp(evr, vrstart, vrend - vrstart) && evr[vrend - vrstart] == 0)
 349             return s;
 350         }
 351       h = HASHCHAIN_NEXT(h, hh, hm);
 352     }
 353   return 0;
 354 }
 355
 356 static void
 357 startElement(struct solv_xmlparser *xmlp, int state, const char *name, const char **atts)
 358 {
 359   struct parsedata *pd = xmlp->userdata;
 360   Pool *pool = pd->pool;
 361
 362   switch (state)
 363     {
 364     case STATE_INFO:
 365       {
 366         const char *fn = solv_xmlparser_find_attr("fn", atts);
 367         const char *distepoch = solv_xmlparser_find_attr("distepoch", atts);
 368         const char *str;
 369         pd->solvable = joinhash_lookup(pd->repo, pd->joinhash, pd->joinhashmask, fn, distepoch);
 370         if (!pd->solvable)
 371           break;
 372         str = solv_xmlparser_find_attr("url", atts);
 373         if (str && *str)
 374           repodata_set_str(pd->data, pd->solvable - pool->solvables, SOLVABLE_URL, str);
 375         str = solv_xmlparser_find_attr("license", atts);
 376         if (str && *str)
 377           repodata_set_poolstr(pd->data, pd->solvable - pool->solvables, SOLVABLE_LICENSE, str);
 378         str = solv_xmlparser_find_attr("sourcerpm", atts);
 379         if (str && *str)
 380           repodata_set_sourcepkg(pd->data, pd->solvable - pool->solvables, str);
 381         break;
 382       }
 383     case STATE_FILES:
 384       {
 385         const char *fn = solv_xmlparser_find_attr("fn", atts);
 386         const char *distepoch = solv_xmlparser_find_attr("distepoch", atts);
 387         pd->solvable = joinhash_lookup(pd->repo, pd->joinhash, pd->joinhashmask, fn, distepoch);
 388         break;
 389       }
 390     default:
 391       break;
 392     }
 393 }
 394
 395 static void
 396 endElement(struct solv_xmlparser *xmlp, int state, char *content)
 397 {
 398   struct parsedata *pd = xmlp->userdata;
 399   Solvable *s = pd->solvable;
 400   switch (state)
 401     {
 402     case STATE_INFO:
 403       if (s && *content)
 404         repodata_set_str(pd->data, s - pd->pool->solvables, SOLVABLE_DESCRIPTION, content);
 405       break;
 406     case STATE_FILES:
 407       if (s && *content)
 408         {
 409           char *np, *p, *sl;
 410           for (p = content; p && *p; p = np)
 411             {
 412               Id id;
 413               np = strchr(p, '\n');
 414               if (np)
 415                 *np++ = 0;
 416               if (!*p)
 417                 continue;
 418               sl = strrchr(p, '/');
 419               if (sl)
 420                 {
 421                   *sl++ = 0;
 422                   id = repodata_str2dir(pd->data, p, 1);
 423                 }
 424               else
 425                 {
 426                   sl = p;
 427                   id = 0;
 428                 }
 429               if (!id)
 430                 id = repodata_str2dir(pd->data, "/", 1);
 431               repodata_add_dirstr(pd->data, s - pd->pool->solvables, SOLVABLE_FILELIST, id, sl);
 432             }
 433         }
 434       break;
 435     default:
 436       break;
 437     }
 438 }
 439
 440 int
 441 repo_add_mdk_info(Repo *repo, FILE *fp, int flags)
 442 {
 443   Repodata *data;
 444   struct parsedata pd;
 445
 446   if (!(flags & REPO_EXTEND_SOLVABLES))
 447     {
 448       pool_debug(repo->pool, SOLV_ERROR, "repo_add_mdk_info: can only extend existing solvables\n");
 449       return -1;
 450     }
 451
 452   data = repo_add_repodata(repo, flags);
 453
 454   memset(&pd, 0, sizeof(pd));
 455   pd.repo = repo;
 456   pd.pool = repo->pool;
 457   pd.data = data;
 458   solv_xmlparser_init(&pd.xmlp, stateswitches, &pd, startElement, endElement);
 459   pd.joinhash = joinhash_init(repo, &pd.joinhashmask);
 460   if (solv_xmlparser_parse(&pd.xmlp, fp) != SOLV_XMLPARSER_OK)
 461     pool_debug(pd.pool, SOLV_ERROR, "%s at line %u:%u\n", pd.xmlp.errstr, pd.xmlp.line, pd.xmlp.column);
 462   solv_xmlparser_free(&pd.xmlp);
 463   solv_free(pd.joinhash);
 464   if (!(flags & REPO_NO_INTERNALIZE))
 465     repodata_internalize(data);
 466   return 0;
 467 }