gst/elements/gstfilesrc.c

   1 /* GStreamer
   2  * Copyright (C) 1999,2000 Erik Walthinsen <omega@cse.ogi.edu>
   3  *                    2000 Wim Taymans <wtay@chello.be>
   4  *
   5  * gstfilesrc.c:
   6  *
   7  * This library is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Library General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2 of the License, or (at your option) any later version.
  11  *
  12  * This library is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Library General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Library General Public
  18  * License along with this library; if not, write to the
  19  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  20  * Boston, MA 02111-1307, USA.
  21  */
  22
  23 #include <gst/gst.h>
  24
  25 #include <sys/types.h>
  26 #include <sys/stat.h>
  27 #include <fcntl.h>
  28 #include <unistd.h>
  29 #include <sys/mman.h>
  30
  31
  32 /**********************************************************************
  33  * GStreamer Default File Source
  34  * Theory of Operation
  35  *
  36  * This source uses mmap(2) to efficiently load data from a file.
  37  * To do this without seriously polluting the applications' memory
  38  * space, it must do so in smaller chunks, say 1-4MB at a time.
  39  * Buffers are then subdivided from these mmap'd chunks, to directly
  40  * make use of the mmap.
  41  *
  42  * To handle refcounting so that the mmap can be freed at the appropriate
  43  * time, a buffer will be created for each mmap'd region, and all new
  44  * buffers will be sub-buffers of this top-level buffer.  As they are
  45  * freed, the refcount goes down on the mmap'd buffer and its free()
  46  * function is called, which will call munmap(2) on itself.
  47  *
  48  * If a buffer happens to cross the boundaries of an mmap'd region, we
  49  * have to decide whether it's more efficient to copy the data into a
  50  * new buffer, or mmap() just that buffer.  There will have to be a
  51  * breakpoint size to determine which will be done.  The mmap() size
  52  * has a lot to do with this as well, because you end up in double-
  53  * jeopardy: the larger the outgoing buffer, the more data to copy when
  54  * it overlaps, *and* the more frequently you'll have buffers that *do*
  55  * overlap.
  56  *
  57  * Seeking is another tricky aspect to do efficiently.  The initial
  58  * implementation of this source won't make use of these features, however.
  59  * The issue is that if an application seeks backwards in a file, *and*
  60  * that region of the file is covered by an mmap that hasn't been fully
  61  * deallocated, we really should re-use it.  But keeping track of these
  62  * regions is tricky because we have to lock the structure that holds
  63  * them.  We need to settle on a locking primitive (GMutex seems to be
  64  * a really good option...), then we can do that.
  65  */
  66
  67
  68 GstElementDetails gst_filesrc_details = {
  69   "File Source",
  70   "Source/File",
  71   "Read from arbitrary point in a file",
  72   VERSION,
  73   "Erik Walthinsen <omega@cse.ogi.edu>",
  74   "(C) 1999",
  75 };
  76
  77
  78 #define GST_TYPE_FILESRC \
  79   (gst_filesrc_get_type())
  80 #define GST_FILESRC(obj) \
  81   (GTK_CHECK_CAST((obj),GST_TYPE_FILESRC,GstFileSrc))
  82 #define GST_FILESRC_CLASS(klass) \
  83   (GTK_CHECK_CLASS_CAST((klass),GST_TYPE_FILESRC,GstFileSrcClass))
  84 #define GST_IS_FILESRC(obj) \
  85   (GTK_CHECK_TYPE((obj),GST_TYPE_FILESRC))
  86 #define GST_IS_FILESRC_CLASS(obj) \
  87   (GTK_CHECK_CLASS_TYPE((klass),GST_TYPE_FILESRC))
  88
  89 typedef enum {
  90   GST_FILESRC_OPEN              = GST_ELEMENT_FLAG_LAST,
  91
  92   GST_FILESRC_FLAG_LAST = GST_ELEMENT_FLAG_LAST + 2,
  93 } GstFileSrcFlags;
  94
  95 typedef struct _GstFileSrc GstFileSrc;
  96 typedef struct _GstFileSrcClass GstFileSrcClass;
  97
  98 struct _GstFileSrc {
  99   GstElement element;
 100   GstPad *srcpad;
 101
 102   gchar *filename;                      // filename
 103   gint fd;                              // open file descriptor
 104   off_t filelen;                        // what's the file length?
 105
 106   off_t curoffset;                      // current offset in file
 107   off_t block_size;                     // bytes per read
 108
 109   GstBuffer *mapbuf;
 110   off_t mapsize;
 111
 112   GTree *map_regions;
 113   GMutex *map_regions_lock;
 114 };
 115
 116 struct _GstFileSrcClass {
 117   GstElementClass parent_class;
 118 };
 119
 120
 121 /* FileSrc signals and args */
 122 enum {
 123   /* FILL ME */
 124   LAST_SIGNAL
 125 };
 126
 127 enum {
 128   ARG_0,
 129   ARG_LOCATION,
 130   ARG_BLOCKSIZE,
 131   ARG_OFFSET,
 132   ARG_SIZE,
 133 };
 134
 135
 136 static void             gst_filesrc_class_init  (GstFileSrcClass *klass);
 137 static void             gst_filesrc_init        (GstFileSrc *filesrc);
 138
 139 static void             gst_filesrc_set_arg     (GtkObject *object, GtkArg *arg, guint id);
 140 static void             gst_filesrc_get_arg     (GtkObject *object, GtkArg *arg, guint id);
 141
 142 static GstBuffer *      gst_filesrc_get         (GstPad *pad);
 143
 144 static GstElementStateReturn    gst_filesrc_change_state        (GstElement *element);
 145
 146
 147 static GstElementClass *parent_class = NULL;
 148 //static guint gst_filesrc_signals[LAST_SIGNAL] = { 0 };
 149
 150 GtkType
 151 gst_filesrc_get_type(void)
 152 {
 153   static GtkType filesrc_type = 0;
 154
 155   if (!filesrc_type) {
 156     static const GtkTypeInfo filesrc_info = {
 157       "GstFileSrc",
 158       sizeof(GstFileSrc),
 159       sizeof(GstFileSrcClass),
 160       (GtkClassInitFunc)gst_filesrc_class_init,
 161       (GtkObjectInitFunc)gst_filesrc_init,
 162       (GtkArgSetFunc)gst_filesrc_set_arg,
 163       (GtkArgGetFunc)gst_filesrc_get_arg,
 164       (GtkClassInitFunc)NULL,
 165     };
 166     filesrc_type = gtk_type_unique (GST_TYPE_ELEMENT, &filesrc_info);
 167   }
 168   return filesrc_type;
 169 }
 170
 171 static void
 172 gst_filesrc_class_init (GstFileSrcClass *klass)
 173 {
 174   GtkObjectClass *gtkobject_class;
 175   GstElementClass *gstelement_class;
 176
 177   gtkobject_class = (GtkObjectClass*)klass;
 178   gstelement_class = (GstElementClass*)klass;
 179
 180   parent_class = gtk_type_class (GST_TYPE_ELEMENT);
 181
 182   gtk_object_add_arg_type ("GstFileSrc::location", GST_TYPE_FILENAME,
 183                            GTK_ARG_READWRITE, ARG_LOCATION);
 184   gtk_object_add_arg_type ("GstFileSrc::blocksize", GTK_TYPE_INT,
 185                            GTK_ARG_READWRITE, ARG_BLOCKSIZE);
 186   gtk_object_add_arg_type ("GstFileSrc::offset", GTK_TYPE_LONG,
 187                            GTK_ARG_READWRITE, ARG_OFFSET);
 188   gtk_object_add_arg_type ("GstFileSrc::size", GTK_TYPE_LONG,
 189                            GTK_ARG_READABLE, ARG_SIZE);
 190
 191   gtkobject_class->set_arg = gst_filesrc_set_arg;
 192   gtkobject_class->get_arg = gst_filesrc_get_arg;
 193
 194   gstelement_class->change_state = gst_filesrc_change_state;
 195 }
 196
 197 static gint
 198 gst_filesrc_bufcmp (gconstpointer a, gconstpointer b)
 199 {
 200 //  GstBuffer *bufa = (GstBuffer *)a, *bufb = (GstBuffer *)b;
 201
 202   // sort first by offset, then in reverse by size
 203   if (GST_BUFFER_OFFSET(a) < GST_BUFFER_OFFSET(b)) return -1;
 204   else if (GST_BUFFER_OFFSET(a) > GST_BUFFER_OFFSET(b)) return 1;
 205   else if (GST_BUFFER_SIZE(a) > GST_BUFFER_SIZE(b)) return -1;
 206   else if (GST_BUFFER_SIZE(a) < GST_BUFFER_SIZE(b)) return 1;
 207   else return 0;
 208 }
 209
 210 static void
 211 gst_filesrc_init (GstFileSrc *src)
 212 {
 213   src->srcpad = gst_pad_new ("src", GST_PAD_SRC);
 214   gst_pad_set_get_function (src->srcpad,gst_filesrc_get);
 215   gst_element_add_pad (GST_ELEMENT (src), src->srcpad);
 216
 217   src->filename = NULL;
 218   src->fd = 0;
 219   src->filelen = 0;
 220
 221   src->curoffset = 0;
 222   src->block_size = 9216;
 223
 224   src->mapbuf = NULL;
 225   src->mapsize = 1 * 1024 * 1024;               // default is 1MB
 226
 227   src->map_regions = g_tree_new(gst_filesrc_bufcmp);
 228   src->map_regions_lock = g_mutex_new();
 229 }
 230
 231
 232 static void
 233 gst_filesrc_set_arg (GtkObject *object, GtkArg *arg, guint id)
 234 {
 235   GstFileSrc *src;
 236
 237   /* it's not null if we got it, but it might not be ours */
 238   g_return_if_fail (GST_IS_FILESRC (object));
 239
 240   src = GST_FILESRC (object);
 241
 242   switch(id) {
 243     case ARG_LOCATION:
 244       /* the element must be stopped in order to do this */
 245       g_return_if_fail (GST_STATE (src) < GST_STATE_PLAYING);
 246
 247       if (src->filename) g_free (src->filename);
 248       /* clear the filename if we get a NULL (is that possible?) */
 249       if (GTK_VALUE_STRING (*arg) == NULL) {
 250         gst_element_set_state (GST_ELEMENT (object), GST_STATE_NULL);
 251         src->filename = NULL;
 252       /* otherwise set the new filename */
 253       } else {
 254         src->filename = g_strdup (GTK_VALUE_STRING (*arg));
 255       }
 256       break;
 257     case ARG_BLOCKSIZE:
 258       src->block_size = GTK_VALUE_INT (*arg);
 259       break;
 260     case ARG_OFFSET:
 261       src->curoffset = GTK_VALUE_LONG (*arg);
 262       break;
 263     default:
 264       break;
 265   }
 266 }
 267
 268 static void
 269 gst_filesrc_get_arg (GtkObject *object, GtkArg *arg, guint id)
 270 {
 271   GstFileSrc *src;
 272
 273   /* it's not null if we got it, but it might not be ours */
 274   g_return_if_fail (GST_IS_FILESRC (object));
 275
 276   src = GST_FILESRC (object);
 277
 278   switch (id) {
 279     case ARG_LOCATION:
 280       GTK_VALUE_STRING (*arg) = src->filename;
 281       break;
 282     case ARG_BLOCKSIZE:
 283       GTK_VALUE_INT (*arg) = src->block_size;
 284       break;
 285     case ARG_OFFSET:
 286       GTK_VALUE_LONG (*arg) = src->curoffset;
 287       break;
 288     case ARG_SIZE:
 289       GTK_VALUE_LONG (*arg) = src->filelen;
 290       break;
 291     default:
 292       arg->type = GTK_TYPE_INVALID;
 293       break;
 294   }
 295 }
 296
 297 static void
 298 gst_filesrc_free_parent_mmap (GstBuffer *buf)
 299 {
 300   GstFileSrc *src = GST_FILESRC(GST_BUFFER_POOL_PRIVATE(buf));
 301
 302   // remove the buffer from the list of available mmap'd regions
 303   g_mutex_lock(src->map_regions_lock);
 304   g_tree_remove(src->map_regions,buf);
 305   // check to see if the tree is empty
 306   if (g_tree_nnodes(src->map_regions) == 0) {
 307     // we have to free the bufferpool we don't have yet
 308   }
 309   g_mutex_unlock(src->map_regions_lock);
 310
 311   // now unmap the memory
 312   munmap(GST_BUFFER_DATA(buf),GST_BUFFER_MAXSIZE(buf));
 313 }
 314
 315 static GstBuffer *
 316 gst_filesrc_map_region (GstFileSrc *src, off_t offset, off_t size)
 317 {
 318   GstBuffer *buf;
 319
 320   GST_DEBUG(0, "mapping region %d+%d from file into memory\n",offset,size);
 321
 322   // time to allocate a new mapbuf
 323   buf = gst_buffer_new();
 324   // mmap() the data into this new buffer
 325   GST_BUFFER_DATA(buf) = mmap (NULL, size, PROT_READ, MAP_SHARED, src->fd, offset);
 326   if (GST_BUFFER_DATA(buf) == NULL) {
 327     fprintf(stderr, "ERROR: gstfilesrc couldn't map file!\n");
 328   } else if (GST_BUFFER_DATA(buf) == -1) {
 329     perror("gstfilesrc:mmap()");
 330   }
 331   // fill in the rest of the fields
 332   GST_BUFFER_FLAGS(buf) = GST_BUFFER_READONLY | GST_BUFFER_ORIGINAL;
 333   GST_BUFFER_SIZE(buf) = size;
 334   GST_BUFFER_MAXSIZE(buf) = size;
 335   GST_BUFFER_OFFSET(buf) = offset;
 336   GST_BUFFER_TIMESTAMP(buf) = -1LL;
 337   GST_BUFFER_POOL_PRIVATE(buf) = src;
 338   GST_BUFFER_FREE_FUNC(buf) = gst_filesrc_free_parent_mmap;
 339
 340   g_mutex_lock(src->map_regions_lock);
 341   g_tree_insert(src->map_regions,buf,buf);
 342   g_mutex_unlock(src->map_regions_lock);
 343
 344   return buf;
 345 }
 346
 347 static GstBuffer *
 348 gst_filesrc_map_small_region (GstFileSrc *src, off_t offset, off_t size)
 349 {
 350   gint pagesize = getpagesize();
 351   int mod, mapbase, mapsize;
 352   GstBuffer *map;
 353
 354 //  printf("attempting to map a small buffer at %d+%d\n",offset,size);
 355
 356   // if the offset starts at a non-page boundary, we have to special case
 357   if ((mod = offset % pagesize)) {
 358     mapbase = offset - mod;
 359     mapsize = (((mapbase + size + mod) + (pagesize - 1)) / pagesize) * pagesize - mapbase;
 360 //    printf("not on page boundaries, resizing map to %d+%d\n",mapbase,mapsize);
 361     map = gst_filesrc_map_region(src, mapbase, mapsize);
 362     return gst_buffer_create_sub (map, offset - mapbase, size);
 363   }
 364
 365   return gst_filesrc_map_region(src,offset,size);
 366 }
 367
 368 typedef struct {
 369   off_t offset;
 370   off_t size;
 371 } GstFileSrcRegion;
 372
 373 // This allows us to search for a potential mmap region.
 374 static gint
 375 gst_filesrc_search_region_match (gpointer a, gpointer b)
 376 {
 377   GstFileSrcRegion *r = (GstFileSrcRegion *)b;
 378
 379   // trying to walk b down the tree, current node is a
 380   if (r->offset < GST_BUFFER_OFFSET(a)) return -1;
 381   else if (r->offset >= (GST_BUFFER_OFFSET(a) + GST_BUFFER_SIZE(a))) return 1;
 382   else if ((r->offset + r->size) <= (GST_BUFFER_OFFSET(a) + GST_BUFFER_SIZE(a))) return 0;
 383
 384   return -2;
 385 }
 386
 387 /**
 388  * gst_filesrc_get:
 389  * @pad: #GstPad to push a buffer from
 390  *
 391  * Push a new buffer from the filesrc at the current offset.
 392  */
 393 static GstBuffer *
 394 gst_filesrc_get (GstPad *pad)
 395 {
 396   GstFileSrc *src;
 397   GstBuffer *buf = NULL, *map;
 398   off_t readend,mapstart,mapend;
 399   GstFileSrcRegion region;
 400
 401   g_return_val_if_fail (pad != NULL, NULL);
 402   src = GST_FILESRC (gst_pad_get_parent (pad));
 403   g_return_val_if_fail (GST_FLAG_IS_SET (src, GST_FILESRC_OPEN), NULL);
 404
 405   // calculate end poiters so we don't have to do so repeatedly later
 406   readend = src->curoffset + src->block_size;           // note this is the byte *after* the read
 407   mapstart = GST_BUFFER_OFFSET(src->mapbuf);
 408   mapend = mapstart + GST_BUFFER_SIZE(src->mapbuf);     // note this is the byte *after* the map
 409
 410   // if the start is past the mapstart
 411   if (src->curoffset >= mapstart) {
 412     // if the end is before the mapend, the buffer is in current mmap region...
 413     // ('cause by definition if readend is in the buffer, so's readstart)
 414     if (readend <= mapend) {
 415 //      printf("read buf %d+%d lives in current mapbuf %d+%d, creating subbuffer of mapbuf\n",
 416 //             src->curoffset,src->block_size,GST_BUFFER_OFFSET(src->mapbuf),GST_BUFFER_SIZE(src->mapbuf));
 417       buf = gst_buffer_create_sub (src->mapbuf, src->curoffset - GST_BUFFER_OFFSET(src->mapbuf),
 418                                    src->block_size);
 419
 420     // if the start actually is within the current mmap region, map an overlap buffer
 421     } else if (src->curoffset < mapend) {
 422 //      printf("read buf %d+%d starts in mapbuf %d+%d but ends outside, creating new mmap\n",
 423 //             src->curoffset,src->block_size,GST_BUFFER_OFFSET(src->mapbuf),GST_BUFFER_SIZE(src->mapbuf));
 424       buf = gst_filesrc_map_small_region (src, src->curoffset, src->block_size);
 425     }
 426
 427     // the only other option is that buffer is totally outside, which means we search for it
 428
 429   // now we can assume that the start is *before* the current mmap region
 430   // if the readend is past mapstart, we have two options
 431   } else if (readend >= mapstart) {
 432     // either the read buffer overlaps the start of the mmap region
 433     // or the read buffer fully contains the current mmap region
 434     // either way, it's really not relevant, we just create a new region anyway
 435 //    printf("read buf %d+%d starts before mapbuf %d+%d, but overlaps it\n",
 436 //             src->curoffset,src->block_size,GST_BUFFER_OFFSET(src->mapbuf),GST_BUFFER_SIZE(src->mapbuf));
 437     buf = gst_filesrc_map_small_region (src, src->curoffset, src->block_size);
 438   }
 439
 440   // then deal with the case where the read buffer is totally outside
 441   if (buf == NULL) {
 442     // first check to see if there's a map that covers the right region already
 443 //    printf("searching for mapbuf to cover %d+%d\n",src->curoffset,src->block_size);
 444     region.offset = src->curoffset;
 445     region.size = src->block_size;
 446     map = g_tree_search(src->map_regions,gst_filesrc_search_region_match,&region);
 447
 448     // if we found an exact match, subbuffer it
 449     if (map != NULL) {
 450 //      printf("found mapbuf at %d+%d, creating subbuffer\n",GST_BUFFER_OFFSET(map),GST_BUFFER_SIZE(map));
 451       buf = gst_buffer_create_sub (map, src->curoffset - GST_BUFFER_OFFSET(map), src->block_size);
 452
 453     // otherwise we need to create something out of thin air
 454     } else {
 455       // if the read buffer crosses a mmap region boundary, create a one-off region
 456       if ((src->curoffset / src->mapsize) != ((src->curoffset + src->block_size) / src->mapsize)) {
 457 //        printf("read buf %d+%d crosses a %d-byte boundary, creating a one-off\n",
 458 //               src->curoffset,src->block_size,src->mapsize);
 459         buf = gst_filesrc_map_small_region (src, src->curoffset, src->block_size);
 460
 461       // otherwise we will create a new mmap region and set it to the default
 462       } else {
 463         off_t nextmap = src->curoffset - (src->curoffset % src->mapsize);
 464 //        printf("read buf %d+%d in new mapbuf at %d+%d, mapping and subbuffering\n",
 465 //               src->curoffset,src->block_size,nextmap,src->mapsize);
 466         // first, we're done with the old mapbuf
 467         gst_buffer_unref(src->mapbuf);
 468         // create a new one
 469         src->mapbuf = gst_filesrc_map_region (src, nextmap, src->mapsize);
 470         // subbuffer it
 471         buf = gst_buffer_create_sub (src->mapbuf, src->curoffset - GST_BUFFER_OFFSET(src->mapbuf), src->block_size);
 472       }
 473     }
 474   }
 475
 476   /* we're done, return the buffer */
 477   src->curoffset += GST_BUFFER_SIZE(buf);
 478   return buf;
 479 }
 480
 481 /* open the file and mmap it, necessary to go to READY state */
 482 static gboolean
 483 gst_filesrc_open_file (GstFileSrc *src)
 484 {
 485   g_return_val_if_fail (!GST_FLAG_IS_SET (src ,GST_FILESRC_OPEN), FALSE);
 486
 487   GST_DEBUG(0, "opening file %s\n",src->filename);
 488
 489   /* open the file */
 490   src->fd = open (src->filename, O_RDONLY);
 491   if (src->fd < 0) {
 492     perror ("open");
 493     gst_element_error (GST_ELEMENT (src), g_strconcat("opening file \"", src->filename, "\"", NULL));
 494     return FALSE;
 495   } else {
 496     /* find the file length */
 497     src->filelen = lseek (src->fd, 0, SEEK_END);
 498     lseek (src->fd, 0, SEEK_SET);
 499
 500     // allocate the first mmap'd region
 501     src->mapbuf = gst_filesrc_map_region (src, 0, src->mapsize);
 502
 503     src->curoffset = 0;
 504
 505     GST_FLAG_SET (src, GST_FILESRC_OPEN);
 506   }
 507   return TRUE;
 508 }
 509
 510 /* unmap and close the file */
 511 static void
 512 gst_filesrc_close_file (GstFileSrc *src)
 513 {
 514   g_return_if_fail (GST_FLAG_IS_SET (src, GST_FILESRC_OPEN));
 515
 516   /* close the file */
 517   close (src->fd);
 518
 519   /* zero out a lot of our state */
 520   src->fd = 0;
 521   src->filelen = 0;
 522   src->curoffset = 0;
 523
 524   GST_FLAG_UNSET (src, GST_FILESRC_OPEN);
 525 }
 526
 527
 528 static GstElementStateReturn
 529 gst_filesrc_change_state (GstElement *element)
 530 {
 531   g_return_val_if_fail (GST_IS_FILESRC (element), GST_STATE_FAILURE);
 532
 533   if (GST_STATE_PENDING (element) == GST_STATE_NULL) {
 534     if (GST_FLAG_IS_SET (element, GST_FILESRC_OPEN))
 535       gst_filesrc_close_file (GST_FILESRC (element));
 536   } else {
 537     if (!GST_FLAG_IS_SET (element, GST_FILESRC_OPEN)) {
 538       if (!gst_filesrc_open_file (GST_FILESRC (element)))
 539         return GST_STATE_FAILURE;
 540     }
 541   }
 542
 543   if (GST_ELEMENT_CLASS (parent_class)->change_state)
 544     return GST_ELEMENT_CLASS (parent_class)->change_state (element);
 545
 546   return GST_STATE_SUCCESS;
 547 }