gst/subparse/gstsubparse.c

   1 /* GStreamer
   2  * Copyright (C) <1999> Erik Walthinsen <omega@cse.ogi.edu>
   3  * Copyright (C) 2004 Ronald S. Bultje <rbultje@ronald.bitfreak.net>
   4  * Copyright (C) 2006 Tim-Philipp Müller <tim centricular net>
   5  *
   6  * This library is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Library General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2 of the License, or (at your option) any later version.
  10  *
  11  * This library is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Library General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Library General Public
  17  * License along with this library; if not, write to the
  18  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  19  * Boston, MA 02111-1307, USA.
  20  */
  21
  22 #ifdef HAVE_CONFIG_H
  23 #include "config.h"
  24 #endif
  25
  26 #include <string.h>
  27 #include <stdlib.h>
  28 #include <sys/types.h>
  29 #include <regex.h>
  30
  31 #include "gstsubparse.h"
  32 #include "gstssaparse.h"
  33 #include "samiparse.h"
  34 #include "tmplayerparse.h"
  35 #include "mpl2parse.h"
  36
  37 GST_DEBUG_CATEGORY (sub_parse_debug);
  38
  39 #define DEFAULT_ENCODING   NULL
  40
  41 enum
  42 {
  43   PROP_0,
  44   PROP_ENCODING
  45 };
  46
  47 static void
  48 gst_sub_parse_set_property (GObject * object, guint prop_id,
  49     const GValue * value, GParamSpec * pspec);
  50 static void
  51 gst_sub_parse_get_property (GObject * object, guint prop_id,
  52     GValue * value, GParamSpec * pspec);
  53
  54
  55 static const GstElementDetails sub_parse_details =
  56 GST_ELEMENT_DETAILS ("Subtitle parser",
  57     "Codec/Parser/Subtitle",
  58     "Parses subtitle (.sub) files into text streams",
  59     "Gustavo J. A. M. Carneiro <gjc@inescporto.pt>\n"
  60     "Ronald S. Bultje <rbultje@ronald.bitfreak.net>");
  61
  62 #ifndef GST_DISABLE_XML
  63 static GstStaticPadTemplate sink_templ = GST_STATIC_PAD_TEMPLATE ("sink",
  64     GST_PAD_SINK,
  65     GST_PAD_ALWAYS,
  66     GST_STATIC_CAPS ("application/x-subtitle; application/x-subtitle-sami; "
  67         "application/x-subtitle-tmplayer; application/x-subtitle-mpl2")
  68     );
  69 #else
  70 static GstStaticPadTemplate sink_templ = GST_STATIC_PAD_TEMPLATE ("sink",
  71     GST_PAD_SINK,
  72     GST_PAD_ALWAYS,
  73     GST_STATIC_CAPS ("application/x-subtitle")
  74     );
  75 #endif
  76
  77 static GstStaticPadTemplate src_templ = GST_STATIC_PAD_TEMPLATE ("src",
  78     GST_PAD_SRC,
  79     GST_PAD_ALWAYS,
  80     GST_STATIC_CAPS ("text/plain; text/x-pango-markup")
  81     );
  82
  83 static void gst_sub_parse_base_init (GstSubParseClass * klass);
  84 static void gst_sub_parse_class_init (GstSubParseClass * klass);
  85 static void gst_sub_parse_init (GstSubParse * subparse);
  86
  87 static gboolean gst_sub_parse_src_event (GstPad * pad, GstEvent * event);
  88 static gboolean gst_sub_parse_sink_event (GstPad * pad, GstEvent * event);
  89
  90 static GstStateChangeReturn gst_sub_parse_change_state (GstElement * element,
  91     GstStateChange transition);
  92
  93 static GstFlowReturn gst_sub_parse_chain (GstPad * sinkpad, GstBuffer * buf);
  94
  95 static GstElementClass *parent_class = NULL;
  96
  97 GType
  98 gst_sub_parse_get_type (void)
  99 {
 100   static GType sub_parse_type = 0;
 101
 102   if (!sub_parse_type) {
 103     static const GTypeInfo sub_parse_info = {
 104       sizeof (GstSubParseClass),
 105       (GBaseInitFunc) gst_sub_parse_base_init,
 106       NULL,
 107       (GClassInitFunc) gst_sub_parse_class_init,
 108       NULL,
 109       NULL,
 110       sizeof (GstSubParse),
 111       0,
 112       (GInstanceInitFunc) gst_sub_parse_init,
 113     };
 114
 115     sub_parse_type = g_type_register_static (GST_TYPE_ELEMENT,
 116         "GstSubParse", &sub_parse_info, 0);
 117   }
 118
 119   return sub_parse_type;
 120 }
 121
 122 static void
 123 gst_sub_parse_base_init (GstSubParseClass * klass)
 124 {
 125   GstElementClass *element_class = GST_ELEMENT_CLASS (klass);
 126
 127   gst_element_class_add_pad_template (element_class,
 128       gst_static_pad_template_get (&sink_templ));
 129   gst_element_class_add_pad_template (element_class,
 130       gst_static_pad_template_get (&src_templ));
 131   gst_element_class_set_details (element_class, &sub_parse_details);
 132 }
 133
 134 static void
 135 gst_sub_parse_dispose (GObject * object)
 136 {
 137   GstSubParse *subparse = GST_SUBPARSE (object);
 138
 139   GST_DEBUG_OBJECT (subparse, "cleaning up subtitle parser");
 140
 141   if (subparse->encoding) {
 142     g_free (subparse->encoding);
 143     subparse->encoding = NULL;
 144   }
 145   if (subparse->textbuf) {
 146     g_string_free (subparse->textbuf, TRUE);
 147     subparse->textbuf = NULL;
 148   }
 149   sami_context_deinit (&subparse->state);
 150
 151   GST_CALL_PARENT (G_OBJECT_CLASS, dispose, (object));
 152 }
 153
 154 static void
 155 gst_sub_parse_class_init (GstSubParseClass * klass)
 156 {
 157   GObjectClass *object_class = G_OBJECT_CLASS (klass);
 158   GstElementClass *element_class = GST_ELEMENT_CLASS (klass);
 159
 160   parent_class = g_type_class_peek_parent (klass);
 161
 162   object_class->dispose = gst_sub_parse_dispose;
 163   object_class->set_property = gst_sub_parse_set_property;
 164   object_class->get_property = gst_sub_parse_get_property;
 165
 166   element_class->change_state = gst_sub_parse_change_state;
 167
 168   g_object_class_install_property (object_class, PROP_ENCODING,
 169       g_param_spec_string ("subtitle-encoding", "subtitle charset encoding",
 170           "Encoding to assume if input subtitles are not in UTF-8 encoding. "
 171           "If not set, the GST_SUBTITLE_ENCODING environment variable will "
 172           "be checked for an encoding to use. If that is not set either, "
 173           "ISO-8859-15 will be assumed.", DEFAULT_ENCODING, G_PARAM_READWRITE));
 174 }
 175
 176 static void
 177 gst_sub_parse_init (GstSubParse * subparse)
 178 {
 179   subparse->sinkpad = gst_pad_new_from_static_template (&sink_templ, "sink");
 180   gst_pad_set_chain_function (subparse->sinkpad,
 181       GST_DEBUG_FUNCPTR (gst_sub_parse_chain));
 182   gst_pad_set_event_function (subparse->sinkpad,
 183       GST_DEBUG_FUNCPTR (gst_sub_parse_sink_event));
 184   gst_element_add_pad (GST_ELEMENT (subparse), subparse->sinkpad);
 185
 186   subparse->srcpad = gst_pad_new_from_static_template (&src_templ, "src");
 187   gst_pad_set_event_function (subparse->srcpad,
 188       GST_DEBUG_FUNCPTR (gst_sub_parse_src_event));
 189   gst_element_add_pad (GST_ELEMENT (subparse), subparse->srcpad);
 190
 191   subparse->textbuf = g_string_new (NULL);
 192   subparse->parser_type = GST_SUB_PARSE_FORMAT_UNKNOWN;
 193   subparse->flushing = FALSE;
 194   gst_segment_init (&subparse->segment, GST_FORMAT_TIME);
 195   subparse->need_segment = TRUE;
 196   subparse->encoding = g_strdup (DEFAULT_ENCODING);
 197 }
 198
 199 /*
 200  * Source pad functions.
 201  */
 202
 203 static gboolean
 204 gst_sub_parse_src_event (GstPad * pad, GstEvent * event)
 205 {
 206   GstSubParse *self = GST_SUBPARSE (gst_pad_get_parent (pad));
 207   gboolean ret = FALSE;
 208
 209   GST_DEBUG ("Handling %s event", GST_EVENT_TYPE_NAME (event));
 210
 211   switch (GST_EVENT_TYPE (event)) {
 212     case GST_EVENT_SEEK:
 213     {
 214       GstFormat format;
 215       GstSeekType start_type, stop_type;
 216       gint64 start, stop;
 217       gdouble rate;
 218       gboolean update;
 219
 220       gst_event_parse_seek (event, &rate, &format, &self->segment_flags,
 221           &start_type, &start, &stop_type, &stop);
 222
 223       if (format != GST_FORMAT_TIME) {
 224         GST_WARNING_OBJECT (self, "we only support seeking in TIME format");
 225         gst_event_unref (event);
 226         goto beach;
 227       }
 228
 229       /* Convert that seek to a seeking in bytes at position 0,
 230          FIXME: could use an index */
 231       ret = gst_pad_push_event (self->sinkpad,
 232           gst_event_new_seek (rate, GST_FORMAT_BYTES, self->segment_flags,
 233               GST_SEEK_TYPE_SET, 0, GST_SEEK_TYPE_NONE, 0));
 234
 235       if (ret) {
 236         /* Apply the seek to our segment */
 237         gst_segment_set_seek (&self->segment, rate, format, self->segment_flags,
 238             start_type, start, stop_type, stop, &update);
 239
 240         GST_DEBUG_OBJECT (self, "segment after seek: %" GST_SEGMENT_FORMAT,
 241             &self->segment);
 242
 243         self->next_offset = 0;
 244
 245         self->need_segment = TRUE;
 246       } else {
 247         GST_WARNING_OBJECT (self, "seek to 0 bytes failed");
 248       }
 249
 250       gst_event_unref (event);
 251       break;
 252     }
 253     default:
 254       ret = gst_pad_event_default (pad, event);
 255       break;
 256   }
 257
 258 beach:
 259   gst_object_unref (self);
 260
 261   return ret;
 262 }
 263
 264 static void
 265 gst_sub_parse_set_property (GObject * object, guint prop_id,
 266     const GValue * value, GParamSpec * pspec)
 267 {
 268   GstSubParse *subparse = GST_SUBPARSE (object);
 269
 270   GST_OBJECT_LOCK (subparse);
 271   switch (prop_id) {
 272     case PROP_ENCODING:
 273       g_free (subparse->encoding);
 274       subparse->encoding = g_value_dup_string (value);
 275       GST_LOG_OBJECT (object, "subtitle encoding set to %s",
 276           GST_STR_NULL (subparse->encoding));
 277       break;
 278     default:
 279       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 280       break;
 281   }
 282   GST_OBJECT_UNLOCK (subparse);
 283 }
 284
 285 static void
 286 gst_sub_parse_get_property (GObject * object, guint prop_id,
 287     GValue * value, GParamSpec * pspec)
 288 {
 289   GstSubParse *subparse = GST_SUBPARSE (object);
 290
 291   GST_OBJECT_LOCK (subparse);
 292   switch (prop_id) {
 293     case PROP_ENCODING:
 294       g_value_set_string (value, subparse->encoding);
 295       break;
 296     default:
 297       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 298       break;
 299   }
 300   GST_OBJECT_UNLOCK (subparse);
 301 }
 302
 303 static gchar *
 304 convert_encoding (GstSubParse * self, const gchar * str, gsize len)
 305 {
 306   const gchar *encoding;
 307   GError *err = NULL;
 308   gchar *ret;
 309
 310   if (self->valid_utf8) {
 311     if (g_utf8_validate (str, len, NULL)) {
 312       GST_LOG_OBJECT (self, "valid UTF-8, no conversion needed");
 313       return g_strndup (str, len);
 314     }
 315     GST_INFO_OBJECT (self, "invalid UTF-8!");
 316     self->valid_utf8 = FALSE;
 317   }
 318
 319   encoding = self->encoding;
 320   if (encoding == NULL || *encoding == '\0') {
 321     encoding = g_getenv ("GST_SUBTITLE_ENCODING");
 322   }
 323   if (encoding == NULL || *encoding == '\0') {
 324     /* if local encoding is UTF-8 and no encoding specified
 325      * via the environment variable, assume ISO-8859-15 */
 326     if (g_get_charset (&encoding)) {
 327       encoding = "ISO-8859-15";
 328     }
 329   }
 330
 331   ret = g_convert_with_fallback (str, len, "UTF-8", encoding, "*", NULL,
 332       NULL, &err);
 333
 334   if (err) {
 335     GST_WARNING_OBJECT (self, "could not convert string from '%s' to UTF-8: %s",
 336         encoding, err->message);
 337     g_error_free (err);
 338
 339     /* invalid input encoding, fall back to ISO-8859-15 (always succeeds) */
 340     ret = g_convert_with_fallback (str, len, "UTF-8", "ISO-8859-15", "*",
 341         NULL, NULL, NULL);
 342   }
 343
 344   GST_LOG_OBJECT (self,
 345       "successfully converted %" G_GSIZE_FORMAT " characters from %s to UTF-8"
 346       "%s", len, encoding, (err) ? " , using ISO-8859-15 as fallback" : "");
 347
 348   return ret;
 349 }
 350
 351 static gchar *
 352 get_next_line (GstSubParse * self)
 353 {
 354   char *line = NULL;
 355   const char *line_end;
 356   int line_len;
 357   gboolean have_r = FALSE;
 358
 359   line_end = strchr (self->textbuf->str, '\n');
 360
 361   if (!line_end) {
 362     /* end-of-line not found; return for more data */
 363     return NULL;
 364   }
 365
 366   /* get rid of '\r' */
 367   if (line_end != self->textbuf->str && *(line_end - 1) == '\r') {
 368     line_end--;
 369     have_r = TRUE;
 370   }
 371
 372   line_len = line_end - self->textbuf->str;
 373   line = convert_encoding (self, self->textbuf->str, line_len);
 374   self->textbuf = g_string_erase (self->textbuf, 0,
 375       line_len + (have_r ? 2 : 1));
 376   return line;
 377 }
 378
 379 static gchar *
 380 parse_mdvdsub (ParserState * state, const gchar * line)
 381 {
 382   const gchar *line_split;
 383   gchar *line_chunk;
 384   guint start_frame, end_frame;
 385   gint64 clip_start = 0, clip_stop = 0;
 386   gboolean in_seg = FALSE;
 387   GString *markup;
 388   gchar *ret;
 389
 390   /* style variables */
 391   gboolean italic;
 392   gboolean bold;
 393   guint fontsize;
 394
 395   if (sscanf (line, "{%u}{%u}", &start_frame, &end_frame) != 2) {
 396     g_warning ("Parse of the following line, assumed to be in microdvd .sub"
 397         " format, failed:\n%s", line);
 398     return NULL;
 399   }
 400
 401   /* skip the {%u}{%u} part */
 402   line = strchr (line, '}') + 1;
 403   line = strchr (line, '}') + 1;
 404
 405   /* see if there's a first line with a framerate */
 406   if (state->fps == 0.0 && start_frame == 1 && end_frame == 1) {
 407     gchar *rest, *end = NULL;
 408
 409     rest = g_strdup (line);
 410     g_strdelimit (rest, ",", '.');
 411     state->fps = g_ascii_strtod (rest, &end);
 412     if (end == rest)
 413       state->fps = 0.0;
 414     GST_INFO ("framerate from file: %f ('%s')", state->fps, rest);
 415     g_free (rest);
 416     return NULL;
 417   }
 418
 419   if (state->fps == 0.0) {
 420     /* FIXME: hardcoded for now, is there a better way/assumption? */
 421     state->fps = 24000.0 / 1001.0;
 422     GST_INFO ("no framerate specified, assuming %f", state->fps);
 423   }
 424
 425   state->start_time = start_frame / state->fps * GST_SECOND;
 426   state->duration = (end_frame - start_frame) / state->fps * GST_SECOND;
 427
 428   /* Check our segment start/stop */
 429   in_seg = gst_segment_clip (state->segment, GST_FORMAT_TIME,
 430       state->start_time, state->start_time + state->duration, &clip_start,
 431       &clip_stop);
 432
 433   /* No need to parse that text if it's out of segment */
 434   if (in_seg) {
 435     state->start_time = clip_start;
 436     state->duration = clip_stop - clip_start;
 437   } else {
 438     return NULL;
 439   }
 440
 441   markup = g_string_new (NULL);
 442   while (1) {
 443     italic = FALSE;
 444     bold = FALSE;
 445     fontsize = 0;
 446     /* parse style markup */
 447     if (strncmp (line, "{y:i}", 5) == 0) {
 448       italic = TRUE;
 449       line = strchr (line, '}') + 1;
 450     }
 451     if (strncmp (line, "{y:b}", 5) == 0) {
 452       bold = TRUE;
 453       line = strchr (line, '}') + 1;
 454     }
 455     if (sscanf (line, "{s:%u}", &fontsize) == 1) {
 456       line = strchr (line, '}') + 1;
 457     }
 458     if ((line_split = strchr (line, '|')))
 459       line_chunk = g_markup_escape_text (line, line_split - line);
 460     else
 461       line_chunk = g_markup_escape_text (line, strlen (line));
 462     markup = g_string_append (markup, "<span");
 463     if (italic)
 464       g_string_append (markup, " style=\"italic\"");
 465     if (bold)
 466       g_string_append (markup, " weight=\"bold\"");
 467     if (fontsize)
 468       g_string_append_printf (markup, " size=\"%u\"", fontsize * 1000);
 469     g_string_append_printf (markup, ">%s</span>", line_chunk);
 470     g_free (line_chunk);
 471     if (line_split) {
 472       g_string_append (markup, "\n");
 473       line = line_split + 1;
 474     } else {
 475       break;
 476     }
 477   }
 478   ret = markup->str;
 479   g_string_free (markup, FALSE);
 480   GST_DEBUG ("parse_mdvdsub returning (%f+%f): %s",
 481       state->start_time / (double) GST_SECOND,
 482       state->duration / (double) GST_SECOND, ret);
 483   return ret;
 484 }
 485
 486 static void
 487 strip_trailing_newlines (gchar * txt)
 488 {
 489   if (txt) {
 490     guint len;
 491
 492     len = strlen (txt);
 493     while (len > 1 && txt[len - 1] == '\n') {
 494       txt[len - 1] = '\0';
 495       --len;
 496     }
 497   }
 498 }
 499
 500 /* we want to escape text in general, but retain basic markup like
 501  * <i></i>, <u></u>, and <b></b>. The easiest and safest way is to
 502  * just unescape a white list of allowed markups again after
 503  * escaping everything (the text between these simple markers isn't
 504  * necessarily escaped, so it seems best to do it like this) */
 505 static void
 506 subrip_unescape_formatting (gchar * txt)
 507 {
 508   gchar *pos;
 509
 510   for (pos = txt; pos != NULL && *pos != '\0'; ++pos) {
 511     if (g_ascii_strncasecmp (pos, "&lt;u&gt;", 9) == 0 ||
 512         g_ascii_strncasecmp (pos, "&lt;i&gt;", 9) == 0 ||
 513         g_ascii_strncasecmp (pos, "&lt;b&gt;", 9) == 0) {
 514       pos[0] = '<';
 515       pos[1] = g_ascii_tolower (pos[4]);
 516       pos[2] = '>';
 517       /* move NUL terminator as well */
 518       g_memmove (pos + 3, pos + 9, strlen (pos + 9) + 1);
 519       pos += 2;
 520     }
 521   }
 522
 523   for (pos = txt; pos != NULL && *pos != '\0'; ++pos) {
 524     if (g_ascii_strncasecmp (pos, "&lt;/u&gt;", 10) == 0 ||
 525         g_ascii_strncasecmp (pos, "&lt;/i&gt;", 10) == 0 ||
 526         g_ascii_strncasecmp (pos, "&lt;/b&gt;", 10) == 0) {
 527       pos[0] = '<';
 528       pos[1] = '/';
 529       pos[2] = g_ascii_tolower (pos[5]);
 530       pos[3] = '>';
 531       /* move NUL terminator as well */
 532       g_memmove (pos + 4, pos + 10, strlen (pos + 10) + 1);
 533       pos += 3;
 534     }
 535   }
 536 }
 537
 538
 539 static gboolean
 540 subrip_remove_unhandled_tag (gchar * start, gchar * stop)
 541 {
 542   gchar *tag, saved;
 543
 544   tag = start + strlen ("&lt;");
 545   if (*tag == '/')
 546     ++tag;
 547
 548   if (g_ascii_tolower (*tag) < 'a' || g_ascii_tolower (*tag) > 'z')
 549     return FALSE;
 550
 551   saved = *stop;
 552   *stop = '\0';
 553   GST_LOG ("removing unhandled tag '%s'", start);
 554   *stop = saved;
 555   g_memmove (start, stop, strlen (stop) + 1);
 556   return TRUE;
 557 }
 558
 559 /* remove tags we haven't explicitly allowed earlier on, like font tags
 560  * for example */
 561 static void
 562 subrip_remove_unhandled_tags (gchar * txt)
 563 {
 564   gchar *pos, *gt;
 565
 566   for (pos = txt; pos != NULL && *pos != '\0'; ++pos) {
 567     if (strncmp (pos, "&lt;", 4) == 0 && (gt = strstr (pos + 4, "&gt;"))) {
 568       if (subrip_remove_unhandled_tag (pos, gt + strlen ("&gt;")))
 569         --pos;
 570     }
 571   }
 572 }
 573
 574 /* we only allow <i>, <u> and <b>, so let's take a simple approach. This code
 575  * assumes the input has been escaped and subrip_unescape_formatting() has then
 576  * been run over the input! This function adds missing closing markup tags and
 577  * removes broken closing tags for tags that have never been opened. */
 578 static void
 579 subrip_fix_up_markup (gchar ** p_txt)
 580 {
 581   gchar *cur, *next_tag;
 582   gchar open_tags[32];
 583   guint num_open_tags = 0;
 584
 585   g_assert (*p_txt != NULL);
 586
 587   cur = *p_txt;
 588   while (*cur != '\0') {
 589     next_tag = strchr (cur, '<');
 590     if (next_tag == NULL)
 591       break;
 592     ++next_tag;
 593     switch (*next_tag) {
 594       case '/':{
 595         ++next_tag;
 596         if (num_open_tags == 0 || open_tags[num_open_tags - 1] != *next_tag) {
 597           GST_LOG ("broken input, closing tag '%c' is not open", *next_tag);
 598           g_memmove (next_tag - 2, next_tag + 2, strlen (next_tag + 2) + 1);
 599           next_tag -= 2;
 600         } else {
 601           /* it's all good, closing tag which is open */
 602           --num_open_tags;
 603         }
 604         break;
 605       }
 606       case 'i':
 607       case 'b':
 608       case 'u':
 609         if (num_open_tags == G_N_ELEMENTS (open_tags))
 610           return;               /* something dodgy is going on, stop parsing */
 611         open_tags[num_open_tags] = *next_tag;
 612         ++num_open_tags;
 613         break;
 614       default:
 615         GST_ERROR ("unexpected tag '%c' (%s)", *next_tag, next_tag);
 616         g_assert_not_reached ();
 617         break;
 618     }
 619     cur = next_tag;
 620   }
 621
 622   if (num_open_tags > 0) {
 623     GString *s;
 624
 625     s = g_string_new (*p_txt);
 626     while (num_open_tags > 0) {
 627       GST_LOG ("adding missing closing tag '%c'", open_tags[num_open_tags - 1]);
 628       g_string_append_c (s, '<');
 629       g_string_append_c (s, '/');
 630       g_string_append_c (s, open_tags[num_open_tags - 1]);
 631       g_string_append_c (s, '>');
 632       --num_open_tags;
 633     }
 634     g_free (*p_txt);
 635     *p_txt = g_string_free (s, FALSE);
 636   }
 637 }
 638
 639 static gchar *
 640 parse_subrip (ParserState * state, const gchar * line)
 641 {
 642   guint h1, m1, s1, ms1;
 643   guint h2, m2, s2, ms2;
 644   int subnum;
 645   gchar *ret;
 646
 647   switch (state->state) {
 648     case 0:
 649       /* looking for a single integer */
 650       if (sscanf (line, "%u", &subnum) == 1)
 651         state->state = 1;
 652       return NULL;
 653     case 1:
 654       /* looking for start_time --> end_time */
 655       if (sscanf (line, "%u:%u:%u,%u --> %u:%u:%u,%u",
 656               &h1, &m1, &s1, &ms1, &h2, &m2, &s2, &ms2) == 8) {
 657         state->state = 2;
 658         state->start_time =
 659             (((guint64) h1) * 3600 + m1 * 60 + s1) * GST_SECOND +
 660             ms1 * GST_MSECOND;
 661         state->duration =
 662             (((guint64) h2) * 3600 + m2 * 60 + s2) * GST_SECOND +
 663             ms2 * GST_MSECOND - state->start_time;
 664       } else {
 665         GST_DEBUG ("error parsing subrip time line");
 666         state->state = 0;
 667       }
 668       return NULL;
 669     case 2:
 670     {                           /* No need to parse that text if it's out of segment */
 671       gint64 clip_start = 0, clip_stop = 0;
 672       gboolean in_seg = FALSE;
 673
 674       /* Check our segment start/stop */
 675       in_seg = gst_segment_clip (state->segment, GST_FORMAT_TIME,
 676           state->start_time, state->start_time + state->duration,
 677           &clip_start, &clip_stop);
 678
 679       if (in_seg) {
 680         state->start_time = clip_start;
 681         state->duration = clip_stop - clip_start;
 682       } else {
 683         state->state = 0;
 684         return NULL;
 685       }
 686     }
 687       /* looking for subtitle text; empty line ends this
 688        * subtitle entry */
 689       if (state->buf->len)
 690         g_string_append_c (state->buf, '\n');
 691       g_string_append (state->buf, line);
 692       if (strlen (line) == 0) {
 693         ret = g_markup_escape_text (state->buf->str, state->buf->len);
 694         g_string_truncate (state->buf, 0);
 695         state->state = 0;
 696         subrip_unescape_formatting (ret);
 697         subrip_remove_unhandled_tags (ret);
 698         strip_trailing_newlines (ret);
 699         subrip_fix_up_markup (&ret);
 700         return ret;
 701       }
 702       return NULL;
 703     default:
 704       g_return_val_if_reached (NULL);
 705   }
 706 }
 707
 708 static gchar *
 709 parse_mpsub (ParserState * state, const gchar * line)
 710 {
 711   gchar *ret;
 712   float t1, t2;
 713
 714   switch (state->state) {
 715     case 0:
 716       /* looking for two floats (offset, duration) */
 717       if (sscanf (line, "%f %f", &t1, &t2) == 2) {
 718         state->state = 1;
 719         state->start_time += state->duration + GST_SECOND * t1;
 720         state->duration = GST_SECOND * t2;
 721       }
 722       return NULL;
 723     case 1:
 724     {                           /* No need to parse that text if it's out of segment */
 725       gint64 clip_start = 0, clip_stop = 0;
 726       gboolean in_seg = FALSE;
 727
 728       /* Check our segment start/stop */
 729       in_seg = gst_segment_clip (state->segment, GST_FORMAT_TIME,
 730           state->start_time, state->start_time + state->duration,
 731           &clip_start, &clip_stop);
 732
 733       if (in_seg) {
 734         state->start_time = clip_start;
 735         state->duration = clip_stop - clip_start;
 736       } else {
 737         state->state = 0;
 738         return NULL;
 739       }
 740     }
 741       /* looking for subtitle text; empty line ends this
 742        * subtitle entry */
 743       if (state->buf->len)
 744         g_string_append_c (state->buf, '\n');
 745       g_string_append (state->buf, line);
 746       if (strlen (line) == 0) {
 747         ret = g_strdup (state->buf->str);
 748         g_string_truncate (state->buf, 0);
 749         state->state = 0;
 750         return ret;
 751       }
 752       return NULL;
 753     default:
 754       g_assert_not_reached ();
 755       return NULL;
 756   }
 757 }
 758
 759 static void
 760 parser_state_init (ParserState * state)
 761 {
 762   GST_DEBUG ("initialising parser");
 763
 764   if (state->buf) {
 765     g_string_truncate (state->buf, 0);
 766   } else {
 767     state->buf = g_string_new (NULL);
 768   }
 769
 770   state->start_time = 0;
 771   state->duration = 0;
 772   state->state = 0;
 773   state->segment = NULL;
 774 }
 775
 776 static void
 777 parser_state_dispose (ParserState * state)
 778 {
 779   if (state->buf) {
 780     g_string_free (state->buf, TRUE);
 781     state->buf = NULL;
 782   }
 783   if (state->user_data) {
 784     sami_context_reset (state);
 785   }
 786 }
 787
 788 /*
 789  * FIXME: maybe we should pass along a second argument, the preceding
 790  * text buffer, because that is how this originally worked, even though
 791  * I don't really see the use of that.
 792  */
 793
 794 static GstSubParseFormat
 795 gst_sub_parse_data_format_autodetect (gchar * match_str)
 796 {
 797   static gboolean need_init_regexps = TRUE;
 798   static regex_t mdvd_rx;
 799   static regex_t subrip_rx;
 800   guint n1, n2, n3;
 801
 802   /* initialize the regexps used the first time around */
 803   if (need_init_regexps) {
 804     int err;
 805     char errstr[128];
 806
 807     need_init_regexps = FALSE;
 808     if ((err = regcomp (&mdvd_rx, "^\\{[0-9]+\\}\\{[0-9]+\\}",
 809                 REG_EXTENDED | REG_NEWLINE | REG_NOSUB) != 0) ||
 810         (err = regcomp (&subrip_rx, "^[1-9]([0-9]){0,3}(\x0d)?\x0a"
 811                 "[0-9][0-9]:[0-9][0-9]:[0-9][0-9],[0-9]{3}"
 812                 " --> [0-9][0-9]:[0-9][0-9]:[0-9][0-9],[0-9]{3}",
 813                 REG_EXTENDED | REG_NEWLINE | REG_NOSUB)) != 0) {
 814       regerror (err, &subrip_rx, errstr, 127);
 815       GST_WARNING ("Compilation of subrip regex failed: %s", errstr);
 816     }
 817   }
 818
 819   if (regexec (&mdvd_rx, match_str, 0, NULL, 0) == 0) {
 820     GST_LOG ("MicroDVD (frame based) format detected");
 821     return GST_SUB_PARSE_FORMAT_MDVDSUB;
 822   }
 823   if (regexec (&subrip_rx, match_str, 0, NULL, 0) == 0) {
 824     GST_LOG ("SubRip (time based) format detected");
 825     return GST_SUB_PARSE_FORMAT_SUBRIP;
 826   }
 827   if (!strncmp (match_str, "FORMAT=TIME", 11)) {
 828     GST_LOG ("MPSub (time based) format detected");
 829     return GST_SUB_PARSE_FORMAT_MPSUB;
 830   }
 831   if (strstr (match_str, "<SAMI>") != NULL ||
 832       strstr (match_str, "<sami>") != NULL) {
 833     GST_LOG ("SAMI (time based) format detected");
 834     return GST_SUB_PARSE_FORMAT_SAMI;
 835   }
 836   /* we're boldly assuming the first subtitle appears within the first hour */
 837   if (sscanf (match_str, "0:%02u:%02u:", &n1, &n2) == 2 ||
 838       sscanf (match_str, "0:%02u:%02u=", &n1, &n2) == 2 ||
 839       sscanf (match_str, "00:%02u:%02u:", &n1, &n2) == 2 ||
 840       sscanf (match_str, "00:%02u:%02u=", &n1, &n2) == 2 ||
 841       sscanf (match_str, "00:%02u:%02u,%u=", &n1, &n2, &n3) == 3) {
 842     GST_LOG ("TMPlayer (time based) format detected");
 843     return GST_SUB_PARSE_FORMAT_TMPLAYER;
 844   }
 845   if (sscanf (match_str, "[%u][%u]", &n1, &n2) == 2) {
 846     GST_LOG ("MPL2 (time based) format detected");
 847     return GST_SUB_PARSE_FORMAT_MPL2;
 848   }
 849   GST_DEBUG ("no subtitle format detected");
 850   return GST_SUB_PARSE_FORMAT_UNKNOWN;
 851 }
 852
 853 static GstCaps *
 854 gst_sub_parse_format_autodetect (GstSubParse * self)
 855 {
 856   gchar *data;
 857   GstSubParseFormat format;
 858
 859   if (strlen (self->textbuf->str) < 35) {
 860     GST_DEBUG ("File too small to be a subtitles file");
 861     return NULL;
 862   }
 863
 864   data = g_strndup (self->textbuf->str, 35);
 865   format = gst_sub_parse_data_format_autodetect (data);
 866   g_free (data);
 867
 868   self->parser_type = format;
 869   parser_state_init (&self->state);
 870
 871   switch (format) {
 872     case GST_SUB_PARSE_FORMAT_MDVDSUB:
 873       self->parse_line = parse_mdvdsub;
 874       return gst_caps_new_simple ("text/x-pango-markup", NULL);
 875     case GST_SUB_PARSE_FORMAT_SUBRIP:
 876       self->parse_line = parse_subrip;
 877       return gst_caps_new_simple ("text/x-pango-markup", NULL);
 878     case GST_SUB_PARSE_FORMAT_MPSUB:
 879       self->parse_line = parse_mpsub;
 880       return gst_caps_new_simple ("text/plain", NULL);
 881     case GST_SUB_PARSE_FORMAT_SAMI:
 882       self->parse_line = parse_sami;
 883       sami_context_init (&self->state);
 884       return gst_caps_new_simple ("text/x-pango-markup", NULL);
 885     case GST_SUB_PARSE_FORMAT_TMPLAYER:
 886       self->parse_line = parse_tmplayer;
 887       return gst_caps_new_simple ("text/plain", NULL);
 888     case GST_SUB_PARSE_FORMAT_MPL2:
 889       self->parse_line = parse_mpl2;
 890       return gst_caps_new_simple ("text/x-pango-markup", NULL);
 891     case GST_SUB_PARSE_FORMAT_UNKNOWN:
 892     default:
 893       GST_DEBUG ("no subtitle format detected");
 894       GST_ELEMENT_ERROR (self, STREAM, WRONG_TYPE,
 895           ("The input is not a valid/supported subtitle file"), (NULL));
 896       return NULL;
 897   }
 898 }
 899
 900 static void
 901 feed_textbuf (GstSubParse * self, GstBuffer * buf)
 902 {
 903   if (GST_BUFFER_OFFSET (buf) != self->offset) {
 904     /* flush the parser state */
 905     parser_state_init (&self->state);
 906     g_string_truncate (self->textbuf, 0);
 907     sami_context_reset (&self->state);
 908   }
 909
 910   self->textbuf = g_string_append_len (self->textbuf,
 911       (gchar *) GST_BUFFER_DATA (buf), GST_BUFFER_SIZE (buf));
 912   self->offset = GST_BUFFER_OFFSET (buf) + GST_BUFFER_SIZE (buf);
 913   self->next_offset = self->offset;
 914
 915   gst_buffer_unref (buf);
 916 }
 917
 918 static GstFlowReturn
 919 handle_buffer (GstSubParse * self, GstBuffer * buf)
 920 {
 921   GstFlowReturn ret = GST_FLOW_OK;
 922   GstCaps *caps = NULL;
 923   gchar *line, *subtitle;
 924
 925   feed_textbuf (self, buf);
 926
 927   /* make sure we know the format */
 928   if (G_UNLIKELY (self->parser_type == GST_SUB_PARSE_FORMAT_UNKNOWN)) {
 929     if (!(caps = gst_sub_parse_format_autodetect (self))) {
 930       return GST_FLOW_UNEXPECTED;
 931     }
 932     if (!gst_pad_set_caps (self->srcpad, caps)) {
 933       gst_caps_unref (caps);
 934       return GST_FLOW_UNEXPECTED;
 935     }
 936     gst_caps_unref (caps);
 937   }
 938
 939   while ((line = get_next_line (self)) && !self->flushing) {
 940     /* Set segment on our parser state machine */
 941     self->state.segment = &self->segment;
 942     /* Now parse the line, out of segment lines will just return NULL */
 943     GST_LOG_OBJECT (self, "Parsing line '%s'", line);
 944     subtitle = self->parse_line (&self->state, line);
 945     g_free (line);
 946
 947     if (subtitle) {
 948       guint subtitle_len = strlen (subtitle);
 949
 950       /* +1 for terminating NUL character */
 951       ret = gst_pad_alloc_buffer_and_set_caps (self->srcpad,
 952           GST_BUFFER_OFFSET_NONE, subtitle_len + 1,
 953           GST_PAD_CAPS (self->srcpad), &buf);
 954
 955       if (ret == GST_FLOW_OK) {
 956         /* copy terminating NUL character as well */
 957         memcpy (GST_BUFFER_DATA (buf), subtitle, subtitle_len + 1);
 958         GST_BUFFER_SIZE (buf) = subtitle_len;
 959         GST_BUFFER_TIMESTAMP (buf) = self->state.start_time;
 960         GST_BUFFER_DURATION (buf) = self->state.duration;
 961
 962         gst_segment_set_last_stop (&self->segment, GST_FORMAT_TIME,
 963             self->state.start_time);
 964
 965         GST_DEBUG_OBJECT (self, "Sending text '%s', %" GST_TIME_FORMAT " + %"
 966             GST_TIME_FORMAT, subtitle, GST_TIME_ARGS (self->state.start_time),
 967             GST_TIME_ARGS (self->state.duration));
 968
 969         ret = gst_pad_push (self->srcpad, buf);
 970       }
 971
 972       g_free (subtitle);
 973       subtitle = NULL;
 974
 975       if (ret != GST_FLOW_OK) {
 976         GST_DEBUG_OBJECT (self, "flow: %s", gst_flow_get_name (ret));
 977         break;
 978       }
 979     }
 980   }
 981
 982   return ret;
 983 }
 984
 985 static GstFlowReturn
 986 gst_sub_parse_chain (GstPad * sinkpad, GstBuffer * buf)
 987 {
 988   GstFlowReturn ret;
 989   GstSubParse *self;
 990
 991   self = GST_SUBPARSE (GST_PAD_PARENT (sinkpad));
 992
 993   /* Push newsegment if needed */
 994   if (self->need_segment) {
 995     GST_LOG_OBJECT (self, "pushing newsegment event with %" GST_SEGMENT_FORMAT,
 996         &self->segment);
 997
 998     gst_pad_push_event (self->srcpad, gst_event_new_new_segment (FALSE,
 999             self->segment.rate, self->segment.format,
1000             self->segment.last_stop, self->segment.stop, self->segment.time));
1001     self->need_segment = FALSE;
1002   }
1003
1004   ret = handle_buffer (self, buf);
1005
1006   return ret;
1007 }
1008
1009 static gboolean
1010 gst_sub_parse_sink_event (GstPad * pad, GstEvent * event)
1011 {
1012   GstSubParse *self = GST_SUBPARSE (gst_pad_get_parent (pad));
1013   gboolean ret = FALSE;
1014
1015   GST_DEBUG ("Handling %s event", GST_EVENT_TYPE_NAME (event));
1016
1017   switch (GST_EVENT_TYPE (event)) {
1018     case GST_EVENT_EOS:{
1019       /* Make sure the last subrip chunk is pushed out even
1020        * if the file does not have an empty line at the end */
1021       if (self->parser_type == GST_SUB_PARSE_FORMAT_SUBRIP ||
1022           self->parser_type == GST_SUB_PARSE_FORMAT_MPL2) {
1023         GstBuffer *buf = gst_buffer_new_and_alloc (1 + 1);
1024
1025         GST_DEBUG ("EOS. Pushing remaining text (if any)");
1026         GST_BUFFER_DATA (buf)[0] = '\n';
1027         GST_BUFFER_DATA (buf)[1] = '\0';        /* play it safe */
1028         GST_BUFFER_SIZE (buf) = 1;
1029         GST_BUFFER_OFFSET (buf) = self->offset;
1030         gst_sub_parse_chain (pad, buf);
1031       }
1032       ret = gst_pad_event_default (pad, event);
1033       break;
1034     }
1035     case GST_EVENT_NEWSEGMENT:
1036     {
1037       GstFormat format;
1038       gdouble rate;
1039       gint64 start, stop, time;
1040       gboolean update;
1041
1042       gst_event_parse_new_segment (event, &update, &rate, &format, &start,
1043           &stop, &time);
1044
1045       GST_DEBUG_OBJECT (self, "newsegment (%s)", gst_format_get_name (format));
1046
1047       if (format == GST_FORMAT_TIME) {
1048         gst_segment_set_newsegment (&self->segment, update, rate, format,
1049             start, stop, time);
1050       } else {
1051         /* if not time format, we'll either start with a 0 timestamp anyway or
1052          * it's following a seek in which case we'll have saved the requested
1053          * seek segment and don't want to overwrite it (remember that on a seek
1054          * we always just seek back to the start in BYTES format and just throw
1055          * away all text that's before the requested position; if the subtitles
1056          * come from an upstream demuxer, it won't be able to handle our BYTES
1057          * seek request and instead send us a newsegment from the seek request
1058          * it received via its video pads instead, so all is fine then too) */
1059       }
1060
1061       ret = TRUE;
1062       gst_event_unref (event);
1063       break;
1064     }
1065     case GST_EVENT_FLUSH_START:
1066     {
1067       self->flushing = TRUE;
1068
1069       ret = gst_pad_event_default (pad, event);
1070       break;
1071     }
1072     case GST_EVENT_FLUSH_STOP:
1073     {
1074       self->flushing = FALSE;
1075
1076       ret = gst_pad_event_default (pad, event);
1077       break;
1078     }
1079     default:
1080       ret = gst_pad_event_default (pad, event);
1081       break;
1082   }
1083
1084   gst_object_unref (self);
1085
1086   return ret;
1087 }
1088
1089
1090 static GstStateChangeReturn
1091 gst_sub_parse_change_state (GstElement * element, GstStateChange transition)
1092 {
1093   GstStateChangeReturn ret = GST_STATE_CHANGE_SUCCESS;
1094   GstSubParse *self = GST_SUBPARSE (element);
1095
1096   switch (transition) {
1097     case GST_STATE_CHANGE_READY_TO_PAUSED:
1098       /* format detection will init the parser state */
1099       self->offset = 0;
1100       self->next_offset = 0;
1101       self->parser_type = GST_SUB_PARSE_FORMAT_UNKNOWN;
1102       self->valid_utf8 = TRUE;
1103       g_string_truncate (self->textbuf, 0);
1104       break;
1105     default:
1106       break;
1107   }
1108
1109   ret = parent_class->change_state (element, transition);
1110   if (ret == GST_STATE_CHANGE_FAILURE)
1111     return ret;
1112
1113   switch (transition) {
1114     case GST_STATE_CHANGE_PAUSED_TO_READY:
1115       parser_state_dispose (&self->state);
1116       self->parser_type = GST_SUB_PARSE_FORMAT_UNKNOWN;
1117       break;
1118     default:
1119       break;
1120   }
1121
1122   return ret;
1123 }
1124
1125 /*
1126  * Typefind support.
1127  */
1128
1129 /* FIXME 0.11: these caps are ugly, use app/x-subtitle + type field or so;
1130  * also, give different  subtitle formats really different types */
1131 static GstStaticCaps mpl2_caps =
1132 GST_STATIC_CAPS ("application/x-subtitle-mpl2");
1133 static GstStaticCaps tmp_caps =
1134 GST_STATIC_CAPS ("application/x-subtitle-tmplayer");
1135 static GstStaticCaps smi_caps = GST_STATIC_CAPS ("application/x-subtitle-sami");
1136 static GstStaticCaps sub_caps = GST_STATIC_CAPS ("application/x-subtitle");
1137
1138 #define SUB_CAPS (gst_static_caps_get (&sub_caps))
1139 #define SAMI_CAPS (gst_static_caps_get (&smi_caps))
1140 #define TMP_CAPS (gst_static_caps_get (&tmp_caps))
1141 #define MPL2_CAPS (gst_static_caps_get (&mpl2_caps))
1142
1143 static void
1144 gst_subparse_type_find (GstTypeFind * tf, gpointer private)
1145 {
1146   GstSubParseFormat format;
1147   const guint8 *data;
1148   GstCaps *caps;
1149   gchar *str;
1150
1151   if (!(data = gst_type_find_peek (tf, 0, 36)))
1152     return;
1153
1154   /* make sure string passed to _autodetect() is NUL-terminated */
1155   str = g_strndup ((gchar *) data, 35);
1156   format = gst_sub_parse_data_format_autodetect (str);
1157   g_free (str);
1158
1159   switch (format) {
1160     case GST_SUB_PARSE_FORMAT_MDVDSUB:
1161       GST_DEBUG ("MicroDVD format detected");
1162       caps = SUB_CAPS;
1163       break;
1164     case GST_SUB_PARSE_FORMAT_SUBRIP:
1165       GST_DEBUG ("SubRip format detected");
1166       caps = SUB_CAPS;
1167       break;
1168     case GST_SUB_PARSE_FORMAT_MPSUB:
1169       GST_DEBUG ("MPSub format detected");
1170       caps = SUB_CAPS;
1171       break;
1172     case GST_SUB_PARSE_FORMAT_SAMI:
1173       GST_DEBUG ("SAMI (time-based) format detected");
1174       caps = SAMI_CAPS;
1175       break;
1176     case GST_SUB_PARSE_FORMAT_TMPLAYER:
1177       GST_DEBUG ("TMPlayer (time based) format detected");
1178       caps = TMP_CAPS;
1179       break;
1180       /* FIXME: our MPL2 typefinding is not really good enough to warrant
1181        * returning a high probability (however, since we registered our
1182        * typefinder here with a rank of MARGINAL we should pretty much only
1183        * be called if most other typefinders have already run */
1184     case GST_SUB_PARSE_FORMAT_MPL2:
1185       GST_DEBUG ("MPL2 (time based) format detected");
1186       caps = MPL2_CAPS;
1187       break;
1188     default:
1189     case GST_SUB_PARSE_FORMAT_UNKNOWN:
1190       GST_DEBUG ("no subtitle format detected");
1191       return;
1192   }
1193
1194   /* if we're here, it's ok */
1195   gst_type_find_suggest (tf, GST_TYPE_FIND_MAXIMUM, caps);
1196 }
1197
1198 static gboolean
1199 plugin_init (GstPlugin * plugin)
1200 {
1201   static gchar *sub_exts[] = { "srt", "sub", "mpsub", "mdvd", "smi", "txt",
1202     NULL
1203   };
1204
1205   GST_DEBUG_CATEGORY_INIT (sub_parse_debug, "subparse", 0, ".sub parser");
1206
1207   if (!gst_type_find_register (plugin, "subparse_typefind", GST_RANK_MARGINAL,
1208           gst_subparse_type_find, sub_exts, SUB_CAPS, NULL, NULL))
1209     return FALSE;
1210
1211   if (!gst_element_register (plugin, "subparse",
1212           GST_RANK_PRIMARY, GST_TYPE_SUBPARSE) ||
1213       !gst_element_register (plugin, "ssaparse",
1214           GST_RANK_PRIMARY, GST_TYPE_SSA_PARSE)) {
1215     return FALSE;
1216   }
1217
1218   return TRUE;
1219 }
1220
1221 GST_PLUGIN_DEFINE (GST_VERSION_MAJOR,
1222     GST_VERSION_MINOR,
1223     "subparse",
1224     "Subtitle parsing",
1225     plugin_init, VERSION, "LGPL", GST_PACKAGE_NAME, GST_PACKAGE_ORIGIN)