ext/repo_deltainfoxml.c

   1 /*
   2  * Copyright (c) 2007, Novell Inc.
   3  *
   4  * This program is licensed under the BSD license, read LICENSE.BSD
   5  * for further information
   6  */
   7
   8 #define DO_ARRAY 1
   9
  10 #define _GNU_SOURCE
  11 #include <sys/types.h>
  12 #include <limits.h>
  13 #include <fcntl.h>
  14 #include <stdio.h>
  15 #include <stdlib.h>
  16 #include <string.h>
  17 #include <expat.h>
  18
  19 #include "pool.h"
  20 #include "repo.h"
  21 #include "chksum.h"
  22 #include "repo_updateinfoxml.h"
  23
  24 /* #define DUMPOUT 1 */
  25
  26 /*
  27  * <deltainfo>
  28  *   <newpackage name="libtool" epoch="0" version="1.5.24" release="6.fc9" arch="i386">
  29  *     <delta oldepoch="0" oldversion="1.5.24" oldrelease="3.fc8">
  30  *       <filename>DRPMS/libtool-1.5.24-3.fc8_1.5.24-6.fc9.i386.drpm</filename>
  31  *       <sequence>libtool-1.5.24-3.fc8-d3571f98b048b1a870e40241bb46c67ab4</sequence>
  32  *       <size>22452</size>
  33  *       <checksum type="sha">8f05394695dee9399c204614e21e5f6848990ab7</checksum>
  34  *     </delta>
  35  *     <delta oldepoch="0" oldversion="1.5.22" oldrelease="11.fc7">
  36  *       <filename>DRPMS/libtool-1.5.22-11.fc7_1.5.24-6.fc9.i386.drpm</filename>
  37  *        <sequence>libtool-1.5.22-11.fc7-e82691677eee1e83b4812572c5c9ce8eb</sequence>
  38  *        <size>110362</size>
  39  *        <checksum type="sha">326658fee45c0baec1e70231046dbaf560f941ce</checksum>
  40  *      </delta>
  41  *    </newpackage>
  42  *  </deltainfo>
  43  */
  44
  45 enum state {
  46   STATE_START,
  47   STATE_NEWPACKAGE,     /* 1 */
  48   STATE_DELTA,          /* 2 */
  49   STATE_FILENAME,       /* 3 */
  50   STATE_SEQUENCE,       /* 4 */
  51   STATE_SIZE,           /* 5 */
  52   STATE_CHECKSUM,       /* 6 */
  53   STATE_LOCATION,       /* 7 */
  54   NUMSTATES
  55 };
  56
  57 struct stateswitch {
  58   enum state from;
  59   char *ename;
  60   enum state to;
  61   int docontent;
  62 };
  63
  64 /* !! must be sorted by first column !! */
  65 static struct stateswitch stateswitches[] = {
  66   /* compatibility with old yum-presto */
  67   { STATE_START,       "prestodelta",     STATE_START, 0 },
  68   { STATE_START,       "deltainfo",       STATE_START, 0 },
  69   { STATE_START,       "newpackage",      STATE_NEWPACKAGE,  0 },
  70   { STATE_NEWPACKAGE,  "delta",           STATE_DELTA,       0 },
  71   /* compatibility with yum-presto */
  72   { STATE_DELTA,       "filename",        STATE_FILENAME,    1 },
  73   { STATE_DELTA,       "location",        STATE_LOCATION,    0 },
  74   { STATE_DELTA,       "sequence",        STATE_SEQUENCE,    1 },
  75   { STATE_DELTA,       "size",            STATE_SIZE,        1 },
  76   { STATE_DELTA,       "checksum",        STATE_CHECKSUM,    1 },
  77   { NUMSTATES }
  78 };
  79
  80 /* Cumulated info about the current deltarpm or patchrpm */
  81 struct deltarpm {
  82   Id locdir;
  83   Id locname;
  84   Id locevr;
  85   Id locsuffix;
  86   unsigned buildtime;
  87   unsigned downloadsize, archivesize;
  88   char *filechecksum;
  89   int filechecksumtype;
  90   /* Baseversion.  deltarpm only has one. */
  91   Id *bevr;
  92   unsigned nbevr;
  93   Id seqname;
  94   Id seqevr;
  95   char *seqnum;
  96 };
  97
  98 struct parsedata {
  99   int depth;
 100   enum state state;
 101   int statedepth;
 102   char *content;
 103   int lcontent;
 104   int acontent;
 105   int docontent;
 106   Pool *pool;
 107   Repo *repo;
 108   Repodata *data;
 109
 110   struct stateswitch *swtab[NUMSTATES];
 111   enum state sbtab[NUMSTATES];
 112   char *tempstr;
 113   int ltemp;
 114   int atemp;
 115   struct deltarpm delta;
 116   Id newpkgevr;
 117   Id newpkgname;
 118   Id newpkgarch;
 119
 120   Id *handles;
 121   int nhandles;
 122 };
 123
 124 /*
 125  * find attribute
 126  */
 127
 128 static const char *
 129 find_attr(const char *txt, const char **atts)
 130 {
 131   for (; *atts; atts += 2)
 132     {
 133       if (!strcmp(*atts, txt))
 134         return atts[1];
 135     }
 136   return 0;
 137 }
 138
 139
 140 /*
 141  * create evr (as Id) from 'epoch', 'version' and 'release' attributes
 142  */
 143
 144 static Id
 145 makeevr_atts(Pool *pool, struct parsedata *pd, const char **atts)
 146 {
 147   const char *e, *v, *r, *v2;
 148   char *c;
 149   int l;
 150
 151   e = v = r = 0;
 152   for (; *atts; atts += 2)
 153     {
 154       if (!strcmp(*atts, "oldepoch"))
 155         e = atts[1];
 156       else if (!strcmp(*atts, "epoch"))
 157         e = atts[1];
 158       else if (!strcmp(*atts, "version"))
 159         v = atts[1];
 160       else if (!strcmp(*atts, "oldversion"))
 161         v = atts[1];
 162       else if (!strcmp(*atts, "release"))
 163         r = atts[1];
 164       else if (!strcmp(*atts, "oldrelease"))
 165         r = atts[1];
 166     }
 167   if (e && !strcmp(e, "0"))
 168     e = 0;
 169   if (v && !e)
 170     {
 171       for (v2 = v; *v2 >= '0' && *v2 <= '9'; v2++)
 172         ;
 173       if (v2 > v && *v2 == ':')
 174         e = "0";
 175     }
 176   l = 1;
 177   if (e)
 178     l += strlen(e) + 1;
 179   if (v)
 180     l += strlen(v);
 181   if (r)
 182     l += strlen(r) + 1;
 183   if (l > pd->acontent)
 184     {
 185       pd->content = solv_realloc(pd->content, l + 256);
 186       pd->acontent = l + 256;
 187     }
 188   c = pd->content;
 189   if (e)
 190     {
 191       strcpy(c, e);
 192       c += strlen(c);
 193       *c++ = ':';
 194     }
 195   if (v)
 196     {
 197       strcpy(c, v);
 198       c += strlen(c);
 199     }
 200   if (r)
 201     {
 202       *c++ = '-';
 203       strcpy(c, r);
 204       c += strlen(c);
 205     }
 206   *c = 0;
 207   if (!*pd->content)
 208     return 0;
 209 #if 0
 210   fprintf(stderr, "evr: %s\n", pd->content);
 211 #endif
 212   return pool_str2id(pool, pd->content, 1);
 213 }
 214
 215 static void parse_delta_location( struct parsedata *pd,
 216                                   const char* str )
 217 {
 218   Pool *pool = pd->pool;
 219   if (str)
 220     {
 221       /* Separate the filename into its different parts.
 222          rpm/x86_64/alsa-1.0.14-31_31.2.x86_64.delta.rpm
 223          --> dir = rpm/x86_64
 224          name = alsa
 225          evr = 1.0.14-31_31.2
 226          suffix = x86_64.delta.rpm.  */
 227       char *real_str = solv_strdup(str);
 228       char *s = real_str;
 229       char *s1, *s2;
 230       s1 = strrchr (s, '/');
 231       if (s1)
 232         {
 233           pd->delta.locdir = pool_strn2id(pool, s, s1 - s, 1);
 234           s = s1 + 1;
 235         }
 236       /* Guess suffix.  */
 237       s1 = strrchr (s, '.');
 238       if (s1)
 239         {
 240           for (s2 = s1 - 1; s2 > s; s2--)
 241             if (*s2 == '.')
 242               break;
 243           if (!strcmp (s2, ".delta.rpm") || !strcmp (s2, ".patch.rpm"))
 244             {
 245               s1 = s2;
 246               /* We accept one more item as suffix.  */
 247               for (s2 = s1 - 1; s2 > s; s2--)
 248                 if (*s2 == '.')
 249                   break;
 250               s1 = s2;
 251             }
 252           if (*s1 == '.')
 253             *s1++ = 0;
 254           pd->delta.locsuffix = pool_str2id(pool, s1, 1);
 255         }
 256       /* Last '-'.  */
 257       s1 = strrchr (s, '-');
 258       if (s1)
 259         {
 260           /* Second to last '-'.  */
 261           for (s2 = s1 - 1; s2 > s; s2--)
 262             if (*s2 == '-')
 263               break;
 264         }
 265       else
 266         s2 = 0;
 267       if (s2 > s && *s2 == '-')
 268         {
 269           *s2++ = 0;
 270           pd->delta.locevr = pool_str2id(pool, s2, 1);
 271         }
 272       pd->delta.locname = pool_str2id(pool, s, 1);
 273       free(real_str);
 274     }
 275 }
 276
 277 static void XMLCALL
 278 startElement(void *userData, const char *name, const char **atts)
 279 {
 280   struct parsedata *pd = userData;
 281   Pool *pool = pd->pool;
 282   struct stateswitch *sw;
 283   const char *str;
 284
 285 #if 0
 286   fprintf(stderr, "start: [%d]%s\n", pd->state, name);
 287 #endif
 288   if (pd->depth != pd->statedepth)
 289     {
 290       pd->depth++;
 291       return;
 292     }
 293
 294   pd->depth++;
 295   if (!pd->swtab[pd->state])
 296     return;
 297   for (sw = pd->swtab[pd->state]; sw->from == pd->state; sw++)  /* find name in statetable */
 298     if (!strcmp(sw->ename, name))
 299       break;
 300   if (sw->from != pd->state)
 301     {
 302 #if 0
 303       fprintf(stderr, "into unknown: [%d]%s (from: %d)\n", sw->to, name, sw->from);
 304       exit( 1 );
 305 #endif
 306       return;
 307     }
 308   pd->state = sw->to;
 309   pd->docontent = sw->docontent;
 310   pd->statedepth = pd->depth;
 311   pd->lcontent = 0;
 312   *pd->content = 0;
 313
 314   switch(pd->state)
 315     {
 316     case STATE_START:
 317       break;
 318     case STATE_NEWPACKAGE:
 319       if ((str = find_attr("name", atts)) != 0)
 320         pd->newpkgname = pool_str2id(pool, str, 1);
 321       pd->newpkgevr = makeevr_atts(pool, pd, atts);
 322       if ((str = find_attr("arch", atts)) != 0)
 323         pd->newpkgarch = pool_str2id(pool, str, 1);
 324       break;
 325
 326     case STATE_DELTA:
 327       memset(&pd->delta, 0, sizeof(pd->delta));
 328       *pd->tempstr = 0;
 329       pd->ltemp = 0;
 330       pd->delta.bevr = solv_extend(pd->delta.bevr, pd->delta.nbevr, 1, sizeof(Id), 7);
 331       pd->delta.bevr[pd->delta.nbevr++] = makeevr_atts(pool, pd, atts);
 332       break;
 333     case STATE_FILENAME:
 334       break;
 335     case STATE_LOCATION:
 336       parse_delta_location(pd, find_attr("href", atts));
 337       break;
 338     case STATE_SIZE:
 339       break;
 340     case STATE_CHECKSUM:
 341       pd->delta.filechecksum = 0;
 342       pd->delta.filechecksumtype = REPOKEY_TYPE_SHA1;
 343       if ((str = find_attr("type", atts)) != 0)
 344         {
 345           pd->delta.filechecksumtype = solv_chksum_str2type(str);
 346           if (!pd->delta.filechecksumtype)
 347             pool_debug(pool, SOLV_ERROR, "unknown checksum type: '%s'\n", str);
 348         }
 349     case STATE_SEQUENCE:
 350       break;
 351     default:
 352       break;
 353     }
 354 }
 355
 356
 357 static void XMLCALL
 358 endElement(void *userData, const char *name)
 359 {
 360   struct parsedata *pd = userData;
 361   Pool *pool = pd->pool;
 362   const char *str;
 363
 364 #if 0
 365   fprintf(stderr, "end: %s\n", name);
 366 #endif
 367   if (pd->depth != pd->statedepth)
 368     {
 369       pd->depth--;
 370 #if 0
 371       fprintf(stderr, "back from unknown %d %d %d\n", pd->state, pd->depth, pd->statedepth);
 372 #endif
 373       return;
 374     }
 375
 376   pd->depth--;
 377   pd->statedepth--;
 378   switch (pd->state)
 379     {
 380     case STATE_START:
 381       break;
 382     case STATE_NEWPACKAGE:
 383       break;
 384     case STATE_DELTA:
 385       {
 386         /* read all data for a deltarpm. commit into attributes */
 387         Id handle;
 388         struct deltarpm *d = &pd->delta;
 389 #ifdef DUMPOUT
 390         int i;
 391 #endif
 392
 393 #ifdef DUMPOUT
 394
 395         fprintf (stderr, "found deltarpm for %s:\n", id2str(pool, pd->newpkgname));
 396 #endif
 397         handle = repodata_new_handle(pd->data);
 398         /* we commit all handles later on in one go so that the
 399          * repodata code doesn't need to realloc every time */
 400         pd->handles = solv_extend(pd->handles, pd->nhandles, 1, sizeof(Id), 63);
 401         pd->handles[pd->nhandles++] = handle;
 402         repodata_set_id(pd->data, handle, DELTA_PACKAGE_NAME, pd->newpkgname);
 403         repodata_set_id(pd->data, handle, DELTA_PACKAGE_EVR, pd->newpkgevr);
 404         repodata_set_id(pd->data, handle, DELTA_PACKAGE_ARCH, pd->newpkgarch);
 405         repodata_set_id(pd->data, handle, DELTA_LOCATION_NAME, d->locname);
 406         repodata_set_id(pd->data, handle, DELTA_LOCATION_DIR, d->locdir);
 407         repodata_set_id(pd->data, handle, DELTA_LOCATION_EVR, d->locevr);
 408         repodata_set_id(pd->data, handle, DELTA_LOCATION_SUFFIX, d->locsuffix);
 409         if (d->downloadsize)
 410           repodata_set_num(pd->data, handle, DELTA_DOWNLOADSIZE, (d->downloadsize + 1023) / 1024);
 411         if (d->filechecksum)
 412           repodata_set_checksum(pd->data, handle, DELTA_CHECKSUM, d->filechecksumtype, d->filechecksum);
 413 #ifdef DUMPOUT
 414         fprintf (stderr, "   loc: %s %s %s %s\n", id2str(pool, d->locdir),
 415                  id2str(pool, d->locname), id2str(pool, d->locevr),
 416                  id2str(pool, d->locsuffix));
 417         fprintf (stderr, "  size: %d down\n", d->downloadsize);
 418         fprintf (stderr, "  chek: %s\n", d->filechecksum);
 419 #endif
 420
 421         if (d->seqnum)
 422           {
 423 #ifdef DUMPOUT
 424             fprintf (stderr, "  base: %s\n",
 425                      id2str(pool, d->bevr[0]));
 426             fprintf (stderr, "            seq: %s\n",
 427                      id2str(pool, d->seqname));
 428             fprintf (stderr, "                 %s\n",
 429                      id2str(pool, d->seqevr));
 430             fprintf (stderr, "                 %s\n",
 431                      d->seqnum);
 432 #endif
 433             repodata_set_id(pd->data, handle, DELTA_BASE_EVR, d->bevr[0]);
 434             repodata_set_id(pd->data, handle, DELTA_SEQ_NAME, d->seqname);
 435             repodata_set_id(pd->data, handle, DELTA_SEQ_EVR, d->seqevr);
 436             /* should store as binary blob! */
 437             repodata_set_str(pd->data, handle, DELTA_SEQ_NUM, d->seqnum);
 438
 439 #ifdef DUMPOUT
 440             fprintf(stderr, "OK\n");
 441 #endif
 442
 443 #ifdef DUMPOUT
 444             if (d->seqevr != d->bevr[0])
 445               fprintf (stderr, "XXXXX evr\n");
 446             /* Name of package ("xxxx") should match the sequence info
 447                name.  */
 448             if (strcmp(id2str(pool, d->seqname), id2str(pool, pd->newpkgname)))
 449               fprintf (stderr, "XXXXX name\n");
 450 #endif
 451           }
 452         else
 453           {
 454
 455 #ifdef DUMPOUT
 456             fprintf (stderr, "  base:");
 457             for (i = 0; i < d->nbevr; i++)
 458               fprintf (stderr, " %s", id2str(pool, d->bevr[i]));
 459             fprintf (stderr, "\n");
 460 #endif
 461           }
 462
 463       }
 464       pd->delta.filechecksum = solv_free(pd->delta.filechecksum);
 465       pd->delta.bevr = solv_free(pd->delta.bevr);
 466       pd->delta.nbevr = 0;
 467       pd->delta.seqnum = solv_free(pd->delta.seqnum);
 468       break;
 469     case STATE_FILENAME:
 470       parse_delta_location(pd, pd->content);
 471       break;
 472     case STATE_CHECKSUM:
 473       pd->delta.filechecksum = solv_strdup(pd->content);
 474       break;
 475     case STATE_SIZE:
 476       pd->delta.downloadsize = atoi(pd->content);
 477       break;
 478     case STATE_SEQUENCE:
 479       if ((str = pd->content))
 480         {
 481           const char *s1, *s2;
 482           s1 = strrchr(str, '-');
 483           if (s1)
 484             {
 485               for (s2 = s1 - 1; s2 > str; s2--)
 486                 if (*s2 == '-')
 487                   break;
 488               if (*s2 == '-')
 489                 {
 490                   for (s2 = s2 - 1; s2 > str; s2--)
 491                     if (*s2 == '-')
 492                       break;
 493                   if (*s2 == '-')
 494                     {
 495                       pd->delta.seqevr = pool_strn2id(pool, s2 + 1, s1 - s2 - 1, 1);
 496                       pd->delta.seqname = pool_strn2id(pool, str, s2 - str, 1);
 497                       str = s1 + 1;
 498                     }
 499                 }
 500             }
 501           pd->delta.seqnum = solv_strdup(str);
 502       }
 503     default:
 504       break;
 505     }
 506
 507   pd->state = pd->sbtab[pd->state];
 508   pd->docontent = 0;
 509 }
 510
 511
 512 static void XMLCALL
 513 characterData(void *userData, const XML_Char *s, int len)
 514 {
 515   struct parsedata *pd = userData;
 516   int l;
 517   char *c;
 518   if (!pd->docontent)
 519     return;
 520   l = pd->lcontent + len + 1;
 521   if (l > pd->acontent)
 522     {
 523       pd->content = solv_realloc(pd->content, l + 256);
 524       pd->acontent = l + 256;
 525     }
 526   c = pd->content + pd->lcontent;
 527   pd->lcontent += len;
 528   while (len-- > 0)
 529     *c++ = *s++;
 530   *c = 0;
 531 }
 532
 533 #define BUFF_SIZE 8192
 534
 535 void
 536 repo_add_deltainfoxml(Repo *repo, FILE *fp, int flags)
 537 {
 538   Pool *pool = repo->pool;
 539   struct parsedata pd;
 540   char buf[BUFF_SIZE];
 541   int i, l;
 542   struct stateswitch *sw;
 543   Repodata *data;
 544   XML_Parser parser;
 545
 546   data = repo_add_repodata(repo, flags);
 547
 548   memset(&pd, 0, sizeof(pd));
 549   for (i = 0, sw = stateswitches; sw->from != NUMSTATES; i++, sw++)
 550     {
 551       if (!pd.swtab[sw->from])
 552         pd.swtab[sw->from] = sw;
 553       pd.sbtab[sw->to] = sw->from;
 554     }
 555   pd.pool = pool;
 556   pd.repo = repo;
 557   pd.data = data;
 558
 559   pd.content = solv_malloc(256);
 560   pd.acontent = 256;
 561   pd.lcontent = 0;
 562   pd.tempstr = malloc(256);
 563   pd.atemp = 256;
 564   pd.ltemp = 0;
 565
 566   parser = XML_ParserCreate(NULL);
 567   XML_SetUserData(parser, &pd);
 568   XML_SetElementHandler(parser, startElement, endElement);
 569   XML_SetCharacterDataHandler(parser, characterData);
 570   for (;;)
 571     {
 572       l = fread(buf, 1, sizeof(buf), fp);
 573       if (XML_Parse(parser, buf, l, l == 0) == XML_STATUS_ERROR)
 574         {
 575           pool_debug(pool, SOLV_FATAL, "repo_updateinfoxml: %s at line %u:%u\n", XML_ErrorString(XML_GetErrorCode(parser)), (unsigned int)XML_GetCurrentLineNumber(parser), (unsigned int)XML_GetCurrentColumnNumber(parser));
 576           exit(1);
 577         }
 578       if (l == 0)
 579         break;
 580     }
 581   XML_ParserFree(parser);
 582   solv_free(pd.content);
 583   solv_free(pd.tempstr);
 584
 585   /* now commit all handles */
 586   for (i = 0; i < pd.nhandles; i++)
 587     repodata_add_flexarray(pd.data, SOLVID_META, REPOSITORY_DELTAINFO, pd.handles[i]);
 588   solv_free(pd.handles);
 589
 590   if (!(flags & REPO_NO_INTERNALIZE))
 591     repodata_internalize(data);
 592 }
 593
 594 /* EOF */