Imported Upstream version 0.6.15
[platform/upstream/libsolv.git] / ext / repo_appdata.c
1 /*
2  * repo_appdatadb.c
3  *
4  * Parses AppSteam Data files.
5  * See http://people.freedesktop.org/~hughsient/appdata/
6  *
7  *
8  * Copyright (c) 2013, Novell Inc.
9  *
10  * This program is licensed under the BSD license, read LICENSE.BSD
11  * for further information
12  */
13
14 #include <sys/types.h>
15 #include <sys/stat.h>
16 #include <unistd.h>
17 #include <limits.h>
18 #include <fcntl.h>
19 #include <ctype.h>
20 #include <stdio.h>
21 #include <stdlib.h>
22 #include <string.h>
23 #include <assert.h>
24 #include <dirent.h>
25 #include <expat.h>
26 #include <errno.h>
27
28 #include "pool.h"
29 #include "repo.h"
30 #include "util.h"
31 #include "repo_appdata.h"
32
33
34 enum state {
35   STATE_START,
36   STATE_APPLICATION,
37   STATE_ID,
38   STATE_PKGNAME,
39   STATE_LICENCE,
40   STATE_NAME,
41   STATE_SUMMARY,
42   STATE_DESCRIPTION,
43   STATE_P,
44   STATE_UL,
45   STATE_UL_LI,
46   STATE_OL,
47   STATE_OL_LI,
48   STATE_URL,
49   STATE_GROUP,
50   STATE_KEYWORDS,
51   STATE_KEYWORD,
52   STATE_EXTENDS,
53   NUMSTATES
54 };
55
56 struct stateswitch {
57   enum state from;
58   char *ename;
59   enum state to;
60   int docontent;
61 };
62
63 /* !! must be sorted by first column !! */
64 static struct stateswitch stateswitches[] = {
65   { STATE_START,       "applications",  STATE_START,         0 },
66   { STATE_START,       "components",    STATE_START,         0 },
67   { STATE_START,       "application",   STATE_APPLICATION,   0 },
68   { STATE_START,       "component",     STATE_APPLICATION,   0 },
69   { STATE_APPLICATION, "id",            STATE_ID,            1 },
70   { STATE_APPLICATION, "pkgname",       STATE_PKGNAME,       1 },
71   { STATE_APPLICATION, "product_license", STATE_LICENCE,     1 },
72   { STATE_APPLICATION, "name",          STATE_NAME,          1 },
73   { STATE_APPLICATION, "summary",       STATE_SUMMARY,       1 },
74   { STATE_APPLICATION, "description",   STATE_DESCRIPTION,   0 },
75   { STATE_APPLICATION, "url",           STATE_URL,           1 },
76   { STATE_APPLICATION, "project_group", STATE_GROUP,         1 },
77   { STATE_APPLICATION, "keywords",      STATE_KEYWORDS,      0 },
78   { STATE_APPLICATION, "extends",       STATE_EXTENDS,       1 },
79   { STATE_DESCRIPTION, "p",             STATE_P,             1 },
80   { STATE_DESCRIPTION, "ul",            STATE_UL,            0 },
81   { STATE_DESCRIPTION, "ol",            STATE_OL,            0 },
82   { STATE_UL,          "li",            STATE_UL_LI,         1 },
83   { STATE_OL,          "li",            STATE_OL_LI,         1 },
84   { STATE_KEYWORDS,    "keyword",       STATE_KEYWORD,       1 },
85   { NUMSTATES }
86 };
87
88 struct parsedata {
89   int depth;
90   enum state state;
91   int statedepth;
92   char *content;
93   int lcontent;
94   int acontent;
95   int docontent;
96   Pool *pool;
97   Repo *repo;
98   Repodata *data;
99
100   struct stateswitch *swtab[NUMSTATES];
101   enum state sbtab[NUMSTATES];
102
103   Solvable *solvable;
104   Id handle;
105
106   char *description;
107   int licnt;
108   int skip_depth;
109   int flags;
110   char *desktop_file;
111   int havesummary;
112   const char *filename;
113   Queue *owners;
114 };
115
116
117 static inline const char *
118 find_attr(const char *txt, const char **atts)
119 {
120   for (; *atts; atts += 2)
121     if (!strcmp(*atts, txt))
122       return atts[1];
123   return 0;
124 }
125
126
127 static void XMLCALL
128 startElement(void *userData, const char *name, const char **atts)
129 {
130   struct parsedata *pd = userData;
131   Pool *pool = pd->pool;
132   Solvable *s = pd->solvable;
133   struct stateswitch *sw;
134   const char *type;
135
136 #if 0
137   fprintf(stderr, "start: [%d]%s\n", pd->state, name);
138 #endif
139   if (pd->depth != pd->statedepth)
140     {
141       pd->depth++;
142       return;
143     }
144
145   pd->depth++;
146   if (!pd->swtab[pd->state])    /* no statetable -> no substates */
147     {
148 #if 0
149       fprintf(stderr, "into unknown: %s (from: %d)\n", name, pd->state);
150 #endif
151       return;
152     }
153   for (sw = pd->swtab[pd->state]; sw->from == pd->state; sw++)  /* find name in statetable */
154     if (!strcmp(sw->ename, name))
155       break;
156
157   if (sw->from != pd->state)
158     {
159 #if 0
160       fprintf(stderr, "into unknown: %s (from: %d)\n", name, pd->state);
161 #endif
162       return;
163     }
164   pd->state = sw->to;
165   pd->docontent = sw->docontent;
166   pd->statedepth = pd->depth;
167   pd->lcontent = 0;
168   *pd->content = 0;
169
170   if (!pd->skip_depth && find_attr("xml:lang", atts))
171     pd->skip_depth = pd->depth;
172   if (pd->skip_depth)
173     {
174       pd->docontent = 0;
175       return;
176     }
177
178   switch(pd->state)
179     {
180     case STATE_APPLICATION:
181       s = pd->solvable = pool_id2solvable(pool, repo_add_solvable(pd->repo));
182       pd->handle = s - pool->solvables;
183       pd->havesummary = 0;
184       type = find_attr("type", atts);
185       if (!type || !*type)
186         type = "desktop";
187       repodata_set_poolstr(pd->data, pd->handle, SOLVABLE_CATEGORY, type);
188       break;
189     case STATE_DESCRIPTION:
190       pd->description = solv_free(pd->description);
191       break;
192     case STATE_OL:
193     case STATE_UL:
194       pd->licnt = 0;
195       break;
196     default:
197       break;
198     }
199 }
200
201 /* replace whitespace with one space/newline */
202 /* also strip starting/ending whitespace */
203 static void
204 wsstrip(struct parsedata *pd)
205 {
206   int i, j;
207   int ws = 0;
208   for (i = j = 0; pd->content[i]; i++)
209     {
210       if (pd->content[i] == ' ' || pd->content[i] == '\t' || pd->content[i] == '\n')
211         {
212           ws |= pd->content[i] == '\n' ? 2 : 1;
213           continue;
214         }
215       if (ws && j)
216         pd->content[j++] = (ws & 2) ? '\n' : ' ';
217       ws = 0;
218       pd->content[j++] = pd->content[i];
219     }
220   pd->content[j] = 0;
221   pd->lcontent = j;
222 }
223
224 /* indent all lines */
225 static void
226 indent(struct parsedata *pd, int il)
227 {
228   int i, l;
229   for (l = 0; pd->content[l]; )
230     {
231       if (pd->content[l] == '\n')
232         {
233           l++;
234           continue;
235         }
236       if (pd->lcontent + il + 1 > pd->acontent)
237         {
238           pd->acontent = pd->lcontent + il + 256;
239           pd->content = realloc(pd->content, pd->acontent);
240         }
241       memmove(pd->content + l + il, pd->content + l, pd->lcontent - l + 1);
242       for (i = 0; i < il; i++)
243         pd->content[l + i] = ' ';
244       pd->lcontent += il;
245       while (pd->content[l] && pd->content[l] != '\n')
246         l++;
247     }
248 }
249
250 static void
251 add_missing_tags_from_desktop_file(struct parsedata *pd, Solvable *s, const char *desktop_file)
252 {
253   Pool *pool = pd->pool;
254   FILE *fp;
255   const char *filepath;
256   char buf[1024];
257   char *p, *p2, *p3;
258   int inde = 0;
259
260   filepath = pool_tmpjoin(pool, "/usr/share/applications/", desktop_file, 0);
261   if (pd->flags & REPO_USE_ROOTDIR)
262     filepath = pool_prepend_rootdir_tmp(pool, filepath);
263   if (!(fp = fopen(filepath, "r")))
264     return;
265   while (fgets(buf, sizeof(buf), fp) > 0)
266     {
267       int c, l = strlen(buf);
268       if (!l)
269         continue;
270       if (buf[l - 1] != '\n')
271         {
272           /* ignore overlong lines */
273           while ((c = getc(fp)) != EOF)
274             if (c == '\n')
275               break;
276           if (c == EOF)
277             break;
278           continue;
279         }
280       buf[--l] = 0;
281       while (l && (buf[l - 1] == ' ' || buf[l - 1] == '\t'))
282         buf[--l] = 0;
283       p = buf;
284       while (*p == ' ' || *p == '\t')
285         p++;
286       if (!*p || *p == '#')
287         continue;
288       if (*p == '[')
289         inde = 0;
290       if (!strcmp(p, "[Desktop Entry]"))
291         {
292           inde = 1;
293           continue;
294         }
295       if (!inde)
296         continue;
297       p2 = strchr(p, '=');
298       if (!p2 || p2 == p)
299         continue;
300       *p2 = 0;
301       for (p3 = p2 - 1; *p3 == ' ' || *p3 == '\t'; p3--)
302         *p3 = 0;
303       p2++;
304       while (*p2 == ' ' || *p2 == '\t')
305         p2++;
306       if (!*p2)
307         continue;
308       if (!s->name && !strcmp(p, "Name"))
309         s->name = pool_str2id(pool, pool_tmpjoin(pool, "application:", p2, 0), 1);
310       else if (!pd->havesummary && !strcmp(p, "Comment"))
311         {
312           pd->havesummary = 1;
313           repodata_set_str(pd->data, pd->handle, SOLVABLE_SUMMARY, p2);
314         }
315       else
316         continue;
317       if (s->name && pd->havesummary)
318         break;  /* our work is done */
319     }
320   fclose(fp);
321 }
322
323 static char *
324 guess_filename_from_id(Pool *pool, const char *id)
325 {
326   int l = strlen(id);
327   char *r = pool_tmpjoin(pool, id, ".metainfo.xml", 0);
328   if (l > 8 && !strcmp(".desktop", id + l - 8))
329     strcpy(r + l - 8, ".appdata.xml");
330   else if (l > 4 && !strcmp(".ttf", id + l - 4))
331     strcpy(r + l - 4, ".metainfo.xml");
332   else if (l > 4 && !strcmp(".otf", id + l - 4))
333     strcpy(r + l - 4, ".metainfo.xml");
334   else if (l > 4 && !strcmp(".xml", id + l - 4))
335     strcpy(r + l - 4, ".metainfo.xml");
336   else if (l > 3 && !strcmp(".db", id + l - 3))
337     strcpy(r + l - 3, ".metainfo.xml");
338   else
339     return 0;
340   return r;
341 }
342
343 static void XMLCALL
344 endElement(void *userData, const char *name)
345 {
346   struct parsedata *pd = userData;
347   Pool *pool = pd->pool;
348   Solvable *s = pd->solvable;
349   Id id;
350
351 #if 0
352   fprintf(stderr, "end: [%d]%s\n", pd->state, name);
353 #endif
354   if (pd->depth != pd->statedepth)
355     {
356       pd->depth--;
357 #if 0
358       fprintf(stderr, "back from unknown %d %d %d\n", pd->state, pd->depth, pd->statedepth);
359 #endif
360       return;
361     }
362
363   pd->depth--;
364   pd->statedepth--;
365
366   if (pd->skip_depth && pd->depth + 1 >= pd->skip_depth)
367     {
368       if (pd->depth + 1 == pd->skip_depth)
369         pd->skip_depth = 0;
370       pd->state = pd->sbtab[pd->state];
371       pd->docontent = 0;
372       return;
373     }
374   pd->skip_depth = 0;
375
376   switch (pd->state)
377     {
378     case STATE_APPLICATION:
379       if (!s->arch)
380         s->arch = ARCH_NOARCH;
381       if (!s->evr)
382         s->evr = ID_EMPTY;
383       if ((!s->name || !pd->havesummary) && (pd->flags & APPDATA_CHECK_DESKTOP_FILE) != 0 && pd->desktop_file)
384         add_missing_tags_from_desktop_file(pd, s, pd->desktop_file);
385       if (!s->name && pd->desktop_file)
386         {
387           char *name = pool_tmpjoin(pool, "application:", pd->desktop_file, 0);
388           int l = strlen(name);
389           if (l > 8 && !strcmp(".desktop", name + l - 8))
390             l -= 8;
391           s->name = pool_strn2id(pool, name, l, 1);
392         }
393       if (!s->requires && pd->owners)
394         {
395           int i;
396           Id id;
397           for (i = 0; i < pd->owners->count; i++)
398             {
399               Solvable *os = pd->pool->solvables + pd->owners->elements[i];
400               s->requires = repo_addid_dep(pd->repo, s->requires, os->name, 0);
401               id = pool_str2id(pd->pool, pool_tmpjoin(pd->pool, "application-appdata(", pool_id2str(pd->pool, os->name), ")"), 1);
402               s->provides = repo_addid_dep(pd->repo, s->provides, id, 0);
403             }
404         }
405       if (!s->requires && (pd->desktop_file || pd->filename))
406         {
407           /* add appdata() link requires/provides */
408           const char *filename = pd->filename;
409           if (!filename)
410             filename = guess_filename_from_id(pool, pd->desktop_file);
411           if (filename)
412             {
413               filename = pool_tmpjoin(pool, "application-appdata(", filename, ")");
414               s->requires = repo_addid_dep(pd->repo, s->requires, pool_str2id(pd->pool, filename + 12, 1), 0);
415               s->provides = repo_addid_dep(pd->repo, s->provides, pool_str2id(pd->pool, filename, 1), 0);
416             }
417         }
418       if (s->name && s->arch != ARCH_SRC && s->arch != ARCH_NOSRC)
419         s->provides = repo_addid_dep(pd->repo, s->provides, pool_rel2id(pd->pool, s->name, s->evr, REL_EQ, 1), 0);
420       pd->solvable = 0;
421       pd->desktop_file = solv_free(pd->desktop_file);
422       break;
423     case STATE_ID:
424       pd->desktop_file = solv_strdup(pd->content);
425       break;
426     case STATE_NAME:
427       s->name = pool_str2id(pd->pool, pool_tmpjoin(pool, "application:", pd->content, 0), 1);
428       break;
429     case STATE_LICENCE:
430       repodata_add_poolstr_array(pd->data, pd->handle, SOLVABLE_LICENSE, pd->content);
431       break;
432     case STATE_SUMMARY:
433       pd->havesummary = 1;
434       repodata_set_str(pd->data, pd->handle, SOLVABLE_SUMMARY, pd->content);
435       break;
436     case STATE_URL:
437       repodata_set_str(pd->data, pd->handle, SOLVABLE_URL, pd->content);
438       break;
439     case STATE_GROUP:
440       repodata_add_poolstr_array(pd->data, pd->handle, SOLVABLE_GROUP, pd->content);
441       break;
442     case STATE_EXTENDS:
443       repodata_add_poolstr_array(pd->data, pd->handle, SOLVABLE_EXTENDS, pd->content);
444       break;
445     case STATE_DESCRIPTION:
446       if (pd->description)
447         {
448           /* strip trailing newlines */
449           int l = strlen(pd->description);
450           while (l && pd->description[l - 1] == '\n')
451             pd->description[--l] = 0;
452           repodata_set_str(pd->data, pd->handle, SOLVABLE_DESCRIPTION, pd->description);
453         }
454       break;
455     case STATE_P:
456       wsstrip(pd);
457       pd->description = solv_dupappend(pd->description, pd->content, "\n\n");
458       break;
459     case STATE_UL_LI:
460       wsstrip(pd);
461       indent(pd, 4);
462       pd->content[2] = '-';
463       pd->description = solv_dupappend(pd->description, pd->content, "\n");
464       break;
465     case STATE_OL_LI:
466       wsstrip(pd);
467       indent(pd, 4);
468       if (++pd->licnt >= 10)
469         pd->content[0] = '0' + (pd->licnt / 10) % 10;
470       pd->content[1] = '0' + pd->licnt  % 10;
471       pd->content[2] = '.';
472       pd->description = solv_dupappend(pd->description, pd->content, "\n");
473       break;
474     case STATE_UL:
475     case STATE_OL:
476       pd->description = solv_dupappend(pd->description, "\n", 0);
477       break;
478     case STATE_PKGNAME:
479       id = pool_str2id(pd->pool, pd->content, 1);
480       s->requires = repo_addid_dep(pd->repo, s->requires, id, 0);
481       id = pool_str2id(pd->pool, pool_tmpjoin(pd->pool, "application-appdata(", pd->content, ")"), 1);
482       s->provides = repo_addid_dep(pd->repo, s->provides, id, 0);
483       break;
484     case STATE_KEYWORD:
485       repodata_add_poolstr_array(pd->data, pd->handle, SOLVABLE_KEYWORDS, pd->content);
486       break;
487     default:
488       break;
489     }
490
491   pd->state = pd->sbtab[pd->state];
492   pd->docontent = 0;
493
494 #if 0
495   fprintf(stderr, "end: [%s] -> %d\n", name, pd->state);
496 #endif
497 }
498
499
500 static void XMLCALL
501 characterData(void *userData, const XML_Char *s, int len)
502 {
503   struct parsedata *pd = userData;
504   int l;
505   char *c;
506   if (!pd->docontent)
507     return;
508   l = pd->lcontent + len + 1;
509   if (l > pd->acontent)
510     {
511       pd->acontent = l + 256;
512       pd->content = realloc(pd->content, pd->acontent);
513     }
514   c = pd->content + pd->lcontent;
515   pd->lcontent += len;
516   while (len-- > 0)
517     *c++ = *s++;
518   *c = 0;
519 }
520
521 #define BUFF_SIZE 8192
522
523 static int
524 repo_add_appdata_fn(Repo *repo, FILE *fp, int flags, const char *filename, Queue *owners)
525 {
526   Pool *pool = repo->pool;
527   struct parsedata pd;
528   struct stateswitch *sw;
529   Repodata *data;
530   char buf[BUFF_SIZE];
531   int i, l;
532   int ret = 0;
533
534   data = repo_add_repodata(repo, flags);
535   memset(&pd, 0, sizeof(pd));
536   pd.repo = repo;
537   pd.pool = repo->pool;
538   pd.data = data;
539   pd.flags = flags;
540   pd.filename = filename;
541   pd.owners = owners;
542
543   pd.content = malloc(256);
544   pd.acontent = 256;
545
546   for (i = 0, sw = stateswitches; sw->from != NUMSTATES; i++, sw++)
547     {
548       if (!pd.swtab[sw->from])
549         pd.swtab[sw->from] = sw;
550       pd.sbtab[sw->to] = sw->from;
551     }
552
553   XML_Parser parser = XML_ParserCreate(NULL);
554   XML_SetUserData(parser, &pd);
555   XML_SetElementHandler(parser, startElement, endElement);
556   XML_SetCharacterDataHandler(parser, characterData);
557
558   for (;;)
559     {
560       l = fread(buf, 1, sizeof(buf), fp);
561       if (XML_Parse(parser, buf, l, l == 0) == XML_STATUS_ERROR)
562         {
563           pool_error(pool, -1, "repo_appdata: %s at line %u:%u\n", XML_ErrorString(XML_GetErrorCode(parser)), (unsigned int)XML_GetCurrentLineNumber(parser), (unsigned int)XML_GetCurrentColumnNumber(parser));
564           if (pd.solvable)
565             {
566               repo_free_solvable(repo, pd.solvable - pd.pool->solvables, 1);
567               pd.solvable = 0;
568             }
569           ret = -1;
570           break;
571         }
572       if (l == 0)
573         break;
574     }
575   XML_ParserFree(parser);
576
577   if (!(flags & REPO_NO_INTERNALIZE))
578     repodata_internalize(data);
579
580   solv_free(pd.content);
581   solv_free(pd.desktop_file);
582   solv_free(pd.description);
583   return ret;
584 }
585
586 int
587 repo_add_appdata(Repo *repo, FILE *fp, int flags)
588 {
589   return repo_add_appdata_fn(repo, fp, flags, 0, 0);
590 }
591
592 static void
593 search_uninternalized_filelist(Repo *repo, const char *dir, Queue *res)
594 {
595   Pool *pool = repo->pool;
596   Id rdid, p;
597   Id iter, did, idid;
598
599   for (rdid = 1; rdid < repo->nrepodata; rdid++)
600     {
601       Repodata *data = repo_id2repodata(repo, rdid);
602       if (!data)
603         continue;
604       if (data->state == REPODATA_STUB)
605         continue;
606       if (!repodata_has_keyname(data, SOLVABLE_FILELIST))
607         continue;
608       did = repodata_str2dir(data, dir, 0);
609       if (!did)
610         continue;
611       for (p = data->start; p < data->end; p++)
612         {
613           if (p >= pool->nsolvables)
614             continue;
615           if (pool->solvables[p].repo != repo)
616             continue;
617           iter = 0;
618           for (;;)
619             {
620               const char *str;
621               int l;
622               Id id;
623               idid = did;
624               str = repodata_lookup_dirstrarray_uninternalized(data, p, SOLVABLE_FILELIST, &idid, &iter);
625               if (!iter)
626                 break;
627               l = strlen(str);
628               if (l > 12 && strncmp(str + l - 12, ".appdata.xml", 12))
629                 id = pool_str2id(pool, str, 1);
630               else if (l > 13 && strncmp(str + l - 13, ".metainfo.xml", 13))
631                 id = pool_str2id(pool, str, 1);
632               else
633                 continue;
634               queue_push2(res, p, id);
635             }
636         }
637     }
638 }
639
640 /* add all files ending in .appdata.xml */
641 int
642 repo_add_appdata_dir(Repo *repo, const char *appdatadir, int flags)
643 {
644   DIR *dir;
645   char *dirpath;
646   Repodata *data;
647   Queue flq;
648   Queue oq;
649
650   queue_init(&flq);
651   queue_init(&oq);
652   if (flags & APPDATA_SEARCH_UNINTERNALIZED_FILELIST)
653     search_uninternalized_filelist(repo, appdatadir, &flq);
654   data = repo_add_repodata(repo, flags);
655   if (flags & REPO_USE_ROOTDIR)
656     dirpath = pool_prepend_rootdir(repo->pool, appdatadir);
657   else
658     dirpath = solv_strdup(appdatadir);
659   if ((dir = opendir(dirpath)) != 0)
660     {
661       struct dirent *entry;
662       while ((entry = readdir(dir)))
663         {
664           const char *n;
665           FILE *fp;
666           int len = strlen(entry->d_name);
667           if (entry->d_name[0] == '.')
668             continue;
669           if (!(len > 12 && !strcmp(entry->d_name + len - 12, ".appdata.xml")) &&
670               !(len > 13 && !strcmp(entry->d_name + len - 13, ".metainfo.xml")))
671             continue;
672           n = pool_tmpjoin(repo->pool, dirpath, "/", entry->d_name);
673           fp = fopen(n, "r");
674           if (!fp)
675             {
676               pool_error(repo->pool, 0, "%s: %s", n, strerror(errno));
677               continue;
678             }
679           if (flags & APPDATA_SEARCH_UNINTERNALIZED_FILELIST)
680             {
681               Id id = pool_str2id(repo->pool, entry->d_name, 0);
682               queue_empty(&oq);
683               if (id)
684                 {
685                   int i;
686                   for (i = 0; i < flq.count; i += 2)
687                     if (flq.elements[i + 1] == id)
688                       queue_push(&oq, flq.elements[i]);
689                 }
690             }
691           repo_add_appdata_fn(repo, fp, flags | REPO_NO_INTERNALIZE | REPO_REUSE_REPODATA | APPDATA_CHECK_DESKTOP_FILE, entry->d_name, oq.count ? &oq : 0);
692           fclose(fp);
693         }
694       closedir(dir);
695     }
696   solv_free(dirpath);
697   if (!(flags & REPO_NO_INTERNALIZE))
698     repodata_internalize(data);
699   queue_free(&oq);
700   queue_free(&flq);
701   return 0;
702 }