gst/elements/gstfilesrc.c

   1 /* GStreamer
   2  * Copyright (C) 1999,2000 Erik Walthinsen <omega@cse.ogi.edu>
   3  *                    2000 Wim Taymans <wtay@chello.be>
   4  *
   5  * gstfilesrc.c:
   6  *
   7  * This library is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Library General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2 of the License, or (at your option) any later version.
  11  *
  12  * This library is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Library General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Library General Public
  18  * License along with this library; if not, write to the
  19  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  20  * Boston, MA 02111-1307, USA.
  21  */
  22
  23 #ifdef HAVE_CONFIG_H
  24 #  include "config.h"
  25 #endif
  26
  27 #include <gst/gst.h>
  28 #include "gstfilesrc.h"
  29
  30 #include <stdio.h>
  31 #include <sys/stat.h>
  32 #include <fcntl.h>
  33 #include <unistd.h>
  34 #include <sys/mman.h>
  35 #include <errno.h>
  36 #include <string.h>
  37
  38 #include "../gst-i18n-lib.h"
  39
  40
  41 /**********************************************************************
  42  * GStreamer Default File Source
  43  * Theory of Operation
  44  *
  45  * This source uses mmap(2) to efficiently load data from a file.
  46  * To do this without seriously polluting the applications' memory
  47  * space, it must do so in smaller chunks, say 1-4MB at a time.
  48  * Buffers are then subdivided from these mmap'd chunks, to directly
  49  * make use of the mmap.
  50  *
  51  * To handle refcounting so that the mmap can be freed at the appropriate
  52  * time, a buffer will be created for each mmap'd region, and all new
  53  * buffers will be sub-buffers of this top-level buffer.  As they are
  54  * freed, the refcount goes down on the mmap'd buffer and its free()
  55  * function is called, which will call munmap(2) on itself.
  56  *
  57  * If a buffer happens to cross the boundaries of an mmap'd region, we
  58  * have to decide whether it's more efficient to copy the data into a
  59  * new buffer, or mmap() just that buffer.  There will have to be a
  60  * breakpoint size to determine which will be done.  The mmap() size
  61  * has a lot to do with this as well, because you end up in double-
  62  * jeopardy: the larger the outgoing buffer, the more data to copy when
  63  * it overlaps, *and* the more frequently you'll have buffers that *do*
  64  * overlap.
  65  *
  66  * Seeking is another tricky aspect to do efficiently.  The initial
  67  * implementation of this source won't make use of these features, however.
  68  * The issue is that if an application seeks backwards in a file, *and*
  69  * that region of the file is covered by an mmap that hasn't been fully
  70  * deallocated, we really should re-use it.  But keeping track of these
  71  * regions is tricky because we have to lock the structure that holds
  72  * them.  We need to settle on a locking primitive (GMutex seems to be
  73  * a really good option...), then we can do that.
  74  */
  75
  76
  77 GST_DEBUG_CATEGORY_STATIC (gst_filesrc_debug);
  78 #define GST_CAT_DEFAULT gst_filesrc_debug
  79
  80 GstElementDetails gst_filesrc_details = GST_ELEMENT_DETAILS (
  81   "File Source",
  82   "Source/File",
  83   "Read from arbitrary point in a file",
  84   "Erik Walthinsen <omega@cse.ogi.edu>"
  85 );
  86
  87 #define DEFAULT_BLOCKSIZE       4*1024
  88 #define DEFAULT_MMAPSIZE        4*1024*1024
  89
  90 /* FileSrc signals and args */
  91 enum {
  92   /* FILL ME */
  93   LAST_SIGNAL
  94 };
  95
  96 enum {
  97   ARG_0,
  98   ARG_LOCATION,
  99   ARG_FD,
 100   ARG_BLOCKSIZE,
 101   ARG_MMAPSIZE,
 102   ARG_TOUCH,
 103 };
 104
 105 GST_PAD_EVENT_MASK_FUNCTION (gst_filesrc_get_event_mask,
 106   { GST_EVENT_SEEK, GST_SEEK_METHOD_CUR |
 107                     GST_SEEK_METHOD_SET |
 108                     GST_SEEK_METHOD_END |
 109                     GST_SEEK_FLAG_FLUSH },
 110   { GST_EVENT_FLUSH, 0 },
 111   { GST_EVENT_SIZE, 0 }
 112 )
 113
 114 GST_PAD_QUERY_TYPE_FUNCTION (gst_filesrc_get_query_types,
 115   GST_QUERY_TOTAL,
 116   GST_QUERY_POSITION
 117 )
 118
 119 GST_PAD_FORMATS_FUNCTION (gst_filesrc_get_formats,
 120   GST_FORMAT_BYTES
 121 )
 122
 123 static void             gst_filesrc_dispose             (GObject *object);
 124
 125 static void             gst_filesrc_set_property        (GObject *object, guint prop_id,
 126                                                          const GValue *value, GParamSpec *pspec);
 127 static void             gst_filesrc_get_property        (GObject *object, guint prop_id,
 128                                                          GValue *value, GParamSpec *pspec);
 129
 130 static gboolean         gst_filesrc_check_filesize      (GstFileSrc *src);
 131 static GstData *        gst_filesrc_get                 (GstPad *pad);
 132 static gboolean         gst_filesrc_srcpad_event        (GstPad *pad, GstEvent *event);
 133 static gboolean         gst_filesrc_srcpad_query        (GstPad *pad, GstQueryType type,
 134                                                          GstFormat *format, gint64 *value);
 135
 136 static GstElementStateReturn    gst_filesrc_change_state        (GstElement *element);
 137
 138 static void             gst_filesrc_uri_handler_init    (gpointer g_iface, gpointer iface_data);
 139
 140 static void
 141 _do_init (GType filesrc_type)
 142 {
 143   static const GInterfaceInfo urihandler_info = {
 144     gst_filesrc_uri_handler_init,
 145     NULL,
 146     NULL
 147   };
 148   g_type_add_interface_static (filesrc_type, GST_TYPE_URI_HANDLER, &urihandler_info);
 149   GST_DEBUG_CATEGORY_INIT (gst_filesrc_debug, "filesrc", 0, "filesrc element");
 150 }
 151
 152 GST_BOILERPLATE_FULL (GstFileSrc, gst_filesrc, GstElement, GST_TYPE_ELEMENT, _do_init);
 153
 154 static void
 155 gst_filesrc_base_init (gpointer g_class)
 156 {
 157   GstElementClass *gstelement_class = GST_ELEMENT_CLASS (g_class);
 158
 159   gst_element_class_set_details (gstelement_class, &gst_filesrc_details);
 160 }
 161 static void
 162 gst_filesrc_class_init (GstFileSrcClass *klass)
 163 {
 164   GObjectClass *gobject_class = G_OBJECT_CLASS (klass);
 165   GstElementClass *gstelement_class = GST_ELEMENT_CLASS (klass);
 166
 167   gobject_class = (GObjectClass*)klass;
 168
 169
 170   g_object_class_install_property (G_OBJECT_CLASS (klass), ARG_FD,
 171     g_param_spec_int ("fd", "File-descriptor", "File-descriptor for the file being mmap()d",
 172                       0, G_MAXINT, 0, G_PARAM_READABLE));
 173   g_object_class_install_property (G_OBJECT_CLASS (klass), ARG_LOCATION,
 174     g_param_spec_string ("location", "File Location", "Location of the file to read",
 175                          NULL, G_PARAM_READWRITE));
 176   g_object_class_install_property (G_OBJECT_CLASS (klass), ARG_BLOCKSIZE,
 177     g_param_spec_ulong ("blocksize", "Block size", "Size in bytes to read per buffer",
 178                         1, G_MAXULONG, DEFAULT_BLOCKSIZE, G_PARAM_READWRITE));
 179   g_object_class_install_property (G_OBJECT_CLASS (klass), ARG_MMAPSIZE,
 180     g_param_spec_ulong ("mmapsize", "mmap() Block Size",
 181                         "Size in bytes of mmap()d regions",
 182                         0, G_MAXULONG, DEFAULT_MMAPSIZE, G_PARAM_READWRITE));
 183   g_object_class_install_property (G_OBJECT_CLASS (klass), ARG_TOUCH,
 184     g_param_spec_boolean ("touch", "Touch read data",
 185                           "Touch data to force disk read",
 186                           FALSE, G_PARAM_READWRITE));
 187
 188   gobject_class->dispose        = gst_filesrc_dispose;
 189   gobject_class->set_property   = gst_filesrc_set_property;
 190   gobject_class->get_property   = gst_filesrc_get_property;
 191
 192   gstelement_class->change_state = gst_filesrc_change_state;
 193 }
 194
 195 static gint
 196 gst_filesrc_bufcmp (gconstpointer a, gconstpointer b)
 197 {
 198 /*  GstBuffer *bufa = (GstBuffer *)a, *bufb = (GstBuffer *)b;*/
 199
 200   /* sort first by offset, then in reverse by size */
 201   if (GST_BUFFER_OFFSET(a) < GST_BUFFER_OFFSET(b)) return -1;
 202   else if (GST_BUFFER_OFFSET(a) > GST_BUFFER_OFFSET(b)) return 1;
 203   else if (GST_BUFFER_SIZE(a) > GST_BUFFER_SIZE(b)) return -1;
 204   else if (GST_BUFFER_SIZE(a) < GST_BUFFER_SIZE(b)) return 1;
 205   else return 0;
 206 }
 207
 208 static void
 209 gst_filesrc_init (GstFileSrc *src)
 210 {
 211   src->srcpad = gst_pad_new ("src", GST_PAD_SRC);
 212   gst_pad_set_get_function (src->srcpad, gst_filesrc_get);
 213   gst_pad_set_event_function (src->srcpad, gst_filesrc_srcpad_event);
 214   gst_pad_set_event_mask_function (src->srcpad, gst_filesrc_get_event_mask);
 215   gst_pad_set_query_function (src->srcpad, gst_filesrc_srcpad_query);
 216   gst_pad_set_query_type_function (src->srcpad, gst_filesrc_get_query_types);
 217   gst_pad_set_formats_function (src->srcpad, gst_filesrc_get_formats);
 218   gst_element_add_pad (GST_ELEMENT (src), src->srcpad);
 219
 220   src->pagesize = getpagesize();
 221
 222   src->filename = NULL;
 223   src->fd = 0;
 224   src->filelen = 0;
 225
 226   src->curoffset = 0;
 227   src->block_size = DEFAULT_BLOCKSIZE;
 228   src->touch = FALSE;
 229
 230   src->mapbuf = NULL;
 231   src->mapsize = DEFAULT_MMAPSIZE;              /* default is 4MB */
 232
 233   src->map_regions = g_tree_new (gst_filesrc_bufcmp);
 234   src->map_regions_lock = g_mutex_new();
 235
 236   src->seek_happened = FALSE;
 237 }
 238
 239 static void
 240 gst_filesrc_dispose (GObject *object)
 241 {
 242   GstFileSrc *src;
 243
 244   src = GST_FILESRC (object);
 245
 246   G_OBJECT_CLASS (parent_class)->dispose (object);
 247
 248   g_tree_destroy (src->map_regions);
 249   g_mutex_free (src->map_regions_lock);
 250   if (src->filename)
 251     g_free (src->filename);
 252   if (src->uri)
 253     g_free (src->uri);
 254 }
 255
 256 static gboolean
 257 gst_filesrc_set_location (GstFileSrc *src, const gchar *location)
 258 {
 259   /* the element must be stopped in order to do this */
 260   if (GST_STATE (src) == GST_STATE_PLAYING)
 261     return FALSE;
 262
 263   if (src->filename) g_free (src->filename);
 264   if (src->uri) g_free (src->uri);
 265   /* clear the filename if we get a NULL (is that possible?) */
 266   if (location == NULL) {
 267     src->filename = NULL;
 268     src->uri = NULL;
 269   } else {
 270     src->filename = g_strdup (location);
 271     src->uri = gst_uri_construct ("file", src->filename);
 272   }
 273   g_object_notify (G_OBJECT (src), "location");
 274   gst_uri_handler_new_uri (GST_URI_HANDLER (src), src->uri);
 275
 276   return TRUE;
 277 }
 278
 279 static void
 280 gst_filesrc_set_property (GObject *object, guint prop_id, const GValue *value, GParamSpec *pspec)
 281 {
 282   GstFileSrc *src;
 283
 284   /* it's not null if we got it, but it might not be ours */
 285   g_return_if_fail (GST_IS_FILESRC (object));
 286
 287   src = GST_FILESRC (object);
 288
 289   switch (prop_id) {
 290     case ARG_LOCATION:
 291       gst_filesrc_set_location (src, g_value_get_string (value));
 292       break;
 293     case ARG_BLOCKSIZE:
 294       src->block_size = g_value_get_ulong (value);
 295       g_object_notify (G_OBJECT (src), "blocksize");
 296       break;
 297     case ARG_MMAPSIZE:
 298       if ((src->mapsize % src->pagesize) == 0) {
 299         src->mapsize = g_value_get_ulong (value);
 300         g_object_notify (G_OBJECT (src), "mmapsize");
 301       } else {
 302         GST_INFO_OBJECT (src, "invalid mapsize, must be a multiple of pagesize, which is %d",
 303                   src->pagesize);
 304       }
 305       break;
 306     case ARG_TOUCH:
 307       src->touch = g_value_get_boolean (value);
 308       g_object_notify (G_OBJECT (src), "touch");
 309       break;
 310     default:
 311       break;
 312   }
 313 }
 314
 315 static void
 316 gst_filesrc_get_property (GObject *object, guint prop_id, GValue *value, GParamSpec *pspec)
 317 {
 318   GstFileSrc *src;
 319
 320   /* it's not null if we got it, but it might not be ours */
 321   g_return_if_fail (GST_IS_FILESRC (object));
 322
 323   src = GST_FILESRC (object);
 324
 325   switch (prop_id) {
 326     case ARG_LOCATION:
 327       g_value_set_string (value, src->filename);
 328       break;
 329     case ARG_FD:
 330       g_value_set_int (value, src->fd);
 331       break;
 332     case ARG_BLOCKSIZE:
 333       g_value_set_ulong (value, src->block_size);
 334       break;
 335     case ARG_MMAPSIZE:
 336       g_value_set_ulong (value, src->mapsize);
 337       break;
 338     case ARG_TOUCH:
 339       g_value_set_boolean (value, src->touch);
 340       break;
 341     default:
 342       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 343       break;
 344   }
 345 }
 346
 347 static void
 348 gst_filesrc_free_parent_mmap (GstBuffer *buf)
 349 {
 350   GstFileSrc *src = GST_FILESRC (GST_BUFFER_PRIVATE (buf));
 351
 352   GST_LOG_OBJECT (src, "freeing mmap()d buffer at %"G_GUINT64_FORMAT"+%u",
 353                   GST_BUFFER_OFFSET (buf), GST_BUFFER_SIZE (buf));
 354
 355   /* remove the buffer from the list of available mmap'd regions */
 356   g_mutex_lock (src->map_regions_lock);
 357   g_tree_remove (src->map_regions, buf);
 358   /* check to see if the tree is empty */
 359   if (g_tree_nnodes (src->map_regions) == 0) {
 360     /* we have to free the bufferpool we don't have yet */
 361   }
 362   g_mutex_unlock (src->map_regions_lock);
 363
 364 #ifdef MADV_DONTNEED
 365   /* madvise to tell the kernel what to do with it */
 366   madvise (GST_BUFFER_DATA (buf), GST_BUFFER_SIZE (buf), MADV_DONTNEED);
 367 #endif
 368   /* now unmap the memory */
 369   munmap (GST_BUFFER_DATA (buf), GST_BUFFER_MAXSIZE (buf));
 370   /* cast to unsigned long, since there's no gportable way to print
 371    * guint64 as hex */
 372   GST_LOG_OBJECT (src, "unmapped region %08lx+%08lx at %p",
 373                   (unsigned long) GST_BUFFER_OFFSET (buf),
 374                   (unsigned long) GST_BUFFER_MAXSIZE (buf),
 375                   GST_BUFFER_DATA (buf));
 376
 377   GST_BUFFER_DATA (buf) = NULL;
 378
 379   g_object_unref (src);
 380   gst_buffer_default_free (buf);
 381 }
 382
 383 static GstBuffer *
 384 gst_filesrc_map_region (GstFileSrc *src, off_t offset, size_t size)
 385 {
 386   GstBuffer *buf;
 387   gint retval;
 388   void *mmapregion;
 389
 390   g_return_val_if_fail (offset >= 0, NULL);
 391
 392   GST_LOG_OBJECT (src, "mapping region %08llx+%08lx from file into memory",offset,(unsigned long)size);
 393   mmapregion = mmap (NULL, size, PROT_READ, MAP_SHARED, src->fd, offset);
 394
 395   if (mmapregion == NULL) {
 396     gst_element_error (src, RESOURCE, TOO_LAZY,
 397                        NULL,
 398                        ("mmap call failed"));
 399     return NULL;
 400   }
 401   else if (mmapregion == MAP_FAILED) {
 402     GST_WARNING_OBJECT (src, "mmap (0x%08lx, %d, 0x%llx) failed: %s",
 403              (unsigned long)size, src->fd, offset, strerror (errno));
 404     return NULL;
 405   }
 406   GST_LOG_OBJECT (src, "mapped region %08lx+%08lx from file into memory at %p",
 407                   (unsigned long)offset, (unsigned long)size, mmapregion);
 408
 409   /* time to allocate a new mapbuf */
 410   buf = gst_buffer_new ();
 411   /* mmap() the data into this new buffer */
 412   GST_BUFFER_DATA (buf) = mmapregion;
 413
 414 #ifdef MADV_SEQUENTIAL
 415   /* madvise to tell the kernel what to do with it */
 416   retval = madvise (GST_BUFFER_DATA (buf), GST_BUFFER_SIZE (buf), MADV_SEQUENTIAL);
 417 #endif
 418   /* fill in the rest of the fields */
 419   GST_BUFFER_FLAG_SET (buf, GST_BUFFER_READONLY);
 420   GST_BUFFER_FLAG_SET (buf, GST_BUFFER_ORIGINAL);
 421   GST_BUFFER_SIZE (buf) = size;
 422   GST_BUFFER_MAXSIZE (buf) = size;
 423   GST_BUFFER_OFFSET (buf) = offset;
 424   GST_BUFFER_TIMESTAMP (buf) = GST_CLOCK_TIME_NONE;
 425   GST_BUFFER_PRIVATE (buf) = src;
 426   g_object_ref (src);
 427   GST_BUFFER_FREE_FUNC (buf) = (GstDataFreeFunction) gst_filesrc_free_parent_mmap;
 428
 429   g_mutex_lock (src->map_regions_lock);
 430   g_tree_insert (src->map_regions,buf,buf);
 431   g_mutex_unlock (src->map_regions_lock);
 432
 433   return buf;
 434 }
 435
 436 static GstBuffer *
 437 gst_filesrc_map_small_region (GstFileSrc *src, off_t offset, size_t size)
 438 {
 439   size_t mapsize;
 440   off_t mod, mapbase;
 441   GstBuffer *map;
 442
 443 /*  printf("attempting to map a small buffer at %d+%d\n",offset,size); */
 444
 445   /* if the offset starts at a non-page boundary, we have to special case */
 446   if ((mod = offset % src->pagesize)) {
 447     GstBuffer *ret;
 448
 449     mapbase = offset - mod;
 450     mapsize = ((size + mod + src->pagesize - 1) / src->pagesize) * src->pagesize;
 451 /*    printf("not on page boundaries, resizing map to %d+%d\n",mapbase,mapsize);*/
 452     map = gst_filesrc_map_region(src, mapbase, mapsize);
 453     if (map == NULL)
 454       return NULL;
 455
 456     ret = gst_buffer_create_sub (map, offset - mapbase, size);
 457     GST_BUFFER_OFFSET (ret) = GST_BUFFER_OFFSET (map) + offset - mapbase;
 458
 459     gst_buffer_unref (map);
 460
 461     return ret;
 462   }
 463
 464   return gst_filesrc_map_region(src,offset,size);
 465 }
 466
 467 typedef struct {
 468   off_t offset;
 469   off_t size;
 470 } GstFileSrcRegion;
 471
 472 /* This allows us to search for a potential mmap region. */
 473 static gint
 474 gst_filesrc_search_region_match (gpointer a, gpointer b)
 475 {
 476   GstFileSrcRegion *r = (GstFileSrcRegion *)b;
 477
 478   /* trying to walk b down the tree, current node is a */
 479   if (r->offset < GST_BUFFER_OFFSET(a)) return -1;
 480   else if (r->offset >= (GST_BUFFER_OFFSET(a) + GST_BUFFER_SIZE(a))) return 1;
 481   else if ((r->offset + r->size) <= (GST_BUFFER_OFFSET(a) + GST_BUFFER_SIZE(a))) return 0;
 482
 483   return -2;
 484 }
 485
 486 /**
 487  * gst_filesrc_get_mmap:
 488  * @pad: #GstPad to push a buffer from
 489  *
 490  * Push a new buffer from the filesrc at the current offset.
 491  */
 492 static GstBuffer *
 493 gst_filesrc_get_mmap (GstFileSrc *src)
 494 {
 495   GstBuffer *buf = NULL, *map;
 496   size_t readsize, mapsize;
 497   off_t readend,mapstart,mapend;
 498   GstFileSrcRegion region;
 499   int i;
 500
 501   /* calculate end pointers so we don't have to do so repeatedly later */
 502   readsize = src->block_size;
 503   readend = src->curoffset + src->block_size;           /* note this is the byte *after* the read */
 504   mapstart = GST_BUFFER_OFFSET (src->mapbuf);
 505   mapsize = GST_BUFFER_SIZE (src->mapbuf);
 506   mapend = mapstart + mapsize;                  /* note this is the byte *after* the map */
 507
 508   /* check to see if we're going to overflow the end of the file */
 509   if (readend > src->filelen) {
 510     if (!gst_filesrc_check_filesize (src) || readend > src->filelen) {
 511       readsize = src->filelen - src->curoffset;
 512       readend = src->curoffset + readsize;
 513     }
 514   }
 515
 516   GST_LOG ("attempting to read %08lx, %08lx, %08lx, %08lx",
 517            (unsigned long)readsize, (unsigned long)readend,
 518            (unsigned long)mapstart, (unsigned long)mapend);
 519
 520   /* if the start is past the mapstart */
 521   if (src->curoffset >= mapstart) {
 522     /* if the end is before the mapend, the buffer is in current mmap region... */
 523     /* ('cause by definition if readend is in the buffer, so's readstart) */
 524     if (readend <= mapend) {
 525       GST_LOG_OBJECT (src, "read buf %llu+%d lives in current mapbuf %lld+%d, creating subbuffer of mapbuf",
 526              src->curoffset, readsize, mapstart, mapsize);
 527       buf = gst_buffer_create_sub (src->mapbuf, src->curoffset - mapstart,
 528                                    readsize);
 529       GST_BUFFER_OFFSET (buf) = src->curoffset;
 530
 531     /* if the start actually is within the current mmap region, map an overlap buffer */
 532     } else if (src->curoffset < mapend) {
 533       GST_LOG_OBJECT (src, "read buf %llu+%d starts in mapbuf %d+%d but ends outside, creating new mmap",
 534              (unsigned long long) src->curoffset, (gint) readsize, (gint) mapstart, (gint) mapsize);
 535       buf = gst_filesrc_map_small_region (src, src->curoffset, readsize);
 536       if (buf == NULL)
 537         return NULL;
 538     }
 539
 540     /* the only other option is that buffer is totally outside, which means we search for it */
 541
 542   /* now we can assume that the start is *before* the current mmap region */
 543   /* if the readend is past mapstart, we have two options */
 544   } else if (readend >= mapstart) {
 545     /* either the read buffer overlaps the start of the mmap region */
 546     /* or the read buffer fully contains the current mmap region    */
 547     /* either way, it's really not relevant, we just create a new region anyway*/
 548     GST_LOG_OBJECT (src, "read buf %llu+%d starts before mapbuf %d+%d, but overlaps it",
 549              (unsigned long long) src->curoffset, (gint) readsize, (gint) mapstart, (gint) mapsize);
 550     buf = gst_filesrc_map_small_region (src, src->curoffset, readsize);
 551     if (buf == NULL)
 552       return NULL;
 553   }
 554
 555   /* then deal with the case where the read buffer is totally outside */
 556   if (buf == NULL) {
 557     /* first check to see if there's a map that covers the right region already */
 558     GST_LOG_OBJECT (src, "searching for mapbuf to cover %llu+%d",src->curoffset,readsize);
 559     region.offset = src->curoffset;
 560     region.size = readsize;
 561     map = g_tree_search (src->map_regions,
 562                          (GCompareFunc) gst_filesrc_search_region_match,
 563                          (gpointer)&region);
 564
 565     /* if we found an exact match, subbuffer it */
 566     if (map != NULL) {
 567       GST_LOG_OBJECT (src, "found mapbuf at %"G_GUINT64_FORMAT"+%u, creating subbuffer",
 568                       GST_BUFFER_OFFSET (map), GST_BUFFER_SIZE (map));
 569       buf = gst_buffer_create_sub (map, src->curoffset - GST_BUFFER_OFFSET(map), readsize);
 570       GST_BUFFER_OFFSET (buf) = src->curoffset;
 571
 572     /* otherwise we need to create something out of thin air */
 573     } else {
 574       /* if the read buffer crosses a mmap region boundary, create a one-off region */
 575       if ((src->curoffset / src->mapsize) != (readend / src->mapsize)) {
 576         GST_LOG_OBJECT (src, "read buf %llu+%d crosses a %d-byte boundary, creating a one-off",
 577                src->curoffset,readsize,src->mapsize);
 578         buf = gst_filesrc_map_small_region (src, src->curoffset, readsize);
 579         if (buf == NULL)
 580           return NULL;
 581
 582       /* otherwise we will create a new mmap region and set it to the default */
 583       } else {
 584         size_t mapsize;
 585
 586         off_t nextmap = src->curoffset - (src->curoffset % src->mapsize);
 587         GST_LOG_OBJECT (src, "read buf %llu+%d in new mapbuf at %llu+%d, mapping and subbuffering",
 588                src->curoffset, readsize, nextmap, src->mapsize);
 589         /* first, we're done with the old mapbuf */
 590         gst_buffer_unref(src->mapbuf);
 591         mapsize = src->mapsize;
 592
 593         /* double the mapsize as long as the readsize is smaller */
 594         while (readsize - (src->curoffset - nextmap) > mapsize) {
 595           GST_LOG_OBJECT (src, "readsize smaller then mapsize %08x %d", readsize, mapsize);
 596           mapsize <<=1;
 597         }
 598         /* create a new one */
 599         src->mapbuf = gst_filesrc_map_region (src, nextmap, mapsize);
 600         if (src->mapbuf == NULL)
 601           return NULL;
 602
 603         /* subbuffer it */
 604         buf = gst_buffer_create_sub (src->mapbuf, src->curoffset - nextmap, readsize);
 605         GST_BUFFER_OFFSET (buf) = GST_BUFFER_OFFSET (src->mapbuf) + src->curoffset - nextmap;
 606       }
 607     }
 608   }
 609
 610   /* if we need to touch the buffer (to bring it into memory), do so */
 611   if (src->touch) {
 612     volatile guchar *p = GST_BUFFER_DATA (buf), c;
 613
 614     for (i=0; i < GST_BUFFER_SIZE (buf); i += src->pagesize)
 615       c = p[i];
 616   }
 617
 618   /* we're done, return the buffer */
 619   g_assert (src->curoffset == GST_BUFFER_OFFSET (buf));
 620   src->curoffset += GST_BUFFER_SIZE(buf);
 621   return buf;
 622 }
 623
 624 static GstBuffer *
 625 gst_filesrc_get_read (GstFileSrc *src)
 626 {
 627   GstBuffer *buf = NULL;
 628   size_t readsize;
 629   int ret;
 630
 631   readsize = src->block_size;
 632   if (src->curoffset + readsize > src->filelen) {
 633     if (!gst_filesrc_check_filesize (src) || src->curoffset + readsize > src->filelen) {
 634       readsize = src->filelen - src->curoffset;
 635     }
 636   }
 637
 638   buf = gst_buffer_new_and_alloc (readsize);
 639   g_return_val_if_fail (buf != NULL, NULL);
 640
 641   ret = read (src->fd, GST_BUFFER_DATA (buf), readsize);
 642   if (ret < 0){
 643     gst_element_error (src, RESOURCE, READ,
 644                        NULL,
 645                        GST_ERROR_SYSTEM);
 646     return NULL;
 647   }
 648   if (ret < readsize) {
 649     gst_element_error (src, RESOURCE, READ,
 650                        NULL,
 651                        ("unexpected end of file"));
 652     return NULL;
 653   }
 654
 655   src->curoffset += readsize;
 656
 657   return buf;
 658 }
 659
 660 static GstData *
 661 gst_filesrc_get (GstPad *pad)
 662 {
 663   GstFileSrc *src;
 664
 665   g_return_val_if_fail (pad != NULL, NULL);
 666   src = GST_FILESRC (gst_pad_get_parent (pad));
 667   g_return_val_if_fail (GST_FLAG_IS_SET (src, GST_FILESRC_OPEN), NULL);
 668
 669   /* check for seek */
 670   if (src->seek_happened) {
 671     GstEvent *event;
 672
 673     src->seek_happened = FALSE;
 674     GST_DEBUG_OBJECT (src, "sending discont");
 675     event = gst_event_new_discontinuous (FALSE, GST_FORMAT_BYTES, src->curoffset, NULL);
 676     src->need_flush = FALSE;
 677     return GST_DATA (event);
 678   }
 679   /* check for flush */
 680   if (src->need_flush) {
 681     src->need_flush = FALSE;
 682     GST_DEBUG_OBJECT (src, "sending flush");
 683     return GST_DATA (gst_event_new_flush ());
 684   }
 685
 686   /* check for EOF */
 687   g_assert (src->curoffset <= src->filelen);
 688   if (src->curoffset == src->filelen) {
 689     if (!gst_filesrc_check_filesize (src) || src->curoffset >= src->filelen) {
 690       GST_DEBUG_OBJECT (src, "eos %" G_GINT64_FORMAT" %" G_GINT64_FORMAT,
 691                 src->curoffset, src->filelen);
 692       gst_element_set_eos (GST_ELEMENT (src));
 693       return GST_DATA (gst_event_new (GST_EVENT_EOS));
 694     }
 695   }
 696
 697   if (src->using_mmap){
 698     return GST_DATA (gst_filesrc_get_mmap (src));
 699   }else{
 700     return GST_DATA (gst_filesrc_get_read (src));
 701   }
 702 }
 703
 704 /* TRUE if the filesize of the file was updated */
 705 static gboolean
 706 gst_filesrc_check_filesize (GstFileSrc *src)
 707 {
 708   struct stat stat_results;
 709
 710   g_return_val_if_fail (GST_FLAG_IS_SET (src ,GST_FILESRC_OPEN), FALSE);
 711
 712   fstat(src->fd, &stat_results);
 713   GST_DEBUG_OBJECT (src, "checked filesize on %s (was %"G_GUINT64_FORMAT", is %"G_GUINT64_FORMAT")",
 714           src->filename, src->filelen, (guint64) stat_results.st_size);
 715   if (src->filelen == (guint64) stat_results.st_size)
 716     return FALSE;
 717   src->filelen = stat_results.st_size;
 718   return TRUE;
 719 }
 720 /* open the file and mmap it, necessary to go to READY state */
 721 static gboolean
 722 gst_filesrc_open_file (GstFileSrc *src)
 723 {
 724   g_return_val_if_fail (!GST_FLAG_IS_SET (src ,GST_FILESRC_OPEN), FALSE);
 725
 726   if (src->filename == NULL)
 727   {
 728     gst_element_error (src, RESOURCE, NOT_FOUND,
 729                          (_("No filename specified")),
 730                          NULL);
 731     return FALSE;
 732   }
 733
 734   if (src->filename == NULL)
 735   {
 736     gst_element_error (src, RESOURCE, NOT_FOUND,
 737                          (_("No file specified for reading")),
 738                          NULL);
 739     return FALSE;
 740   }
 741
 742
 743   GST_INFO_OBJECT (src, "opening file %s",src->filename);
 744
 745   /* open the file */
 746   src->fd = open (src->filename, O_RDONLY);
 747   if (src->fd < 0)
 748   {
 749     if (errno == ENOENT)
 750     gst_element_error (src, RESOURCE, NOT_FOUND,
 751                        NULL,
 752                        NULL);
 753 /* thomas
 754     gst_element_error (src, RESOURCE, NOT_FOUND,
 755                        (_("File \"%s\" does not exist"), src->filename),
 756                        NULL);
 757 */
 758     else
 759       gst_element_error (src, RESOURCE, OPEN_READ,
 760                          (_("Could not open file \"%s\" for reading"), src->filename),
 761                          GST_ERROR_SYSTEM);
 762     return FALSE;
 763   } else {
 764     /* check if it is a regular file, otherwise bail out */
 765     struct stat stat_results;
 766
 767     fstat(src->fd, &stat_results);
 768
 769     if (!S_ISREG(stat_results.st_mode)) {
 770       gst_element_error (src, RESOURCE, OPEN_READ,
 771                            (_("File \"%s\" isn't a regular file"), src->filename),
 772                            NULL);
 773       close(src->fd);
 774       return FALSE;
 775     }
 776
 777     /* find the file length */
 778     src->filelen = stat_results.st_size;
 779
 780     /* allocate the first mmap'd region */
 781     src->mapbuf = gst_filesrc_map_region (src, 0, src->mapsize);
 782     if (src->mapbuf == NULL) {
 783       src->using_mmap = FALSE;
 784     }else{
 785       src->using_mmap = TRUE;
 786     }
 787
 788     src->curoffset = 0;
 789
 790     GST_FLAG_SET (src, GST_FILESRC_OPEN);
 791   }
 792   return TRUE;
 793 }
 794
 795 /* unmap and close the file */
 796 static void
 797 gst_filesrc_close_file (GstFileSrc *src)
 798 {
 799   g_return_if_fail (GST_FLAG_IS_SET (src, GST_FILESRC_OPEN));
 800
 801   /* close the file */
 802   close (src->fd);
 803
 804   /* zero out a lot of our state */
 805   src->fd = 0;
 806   src->filelen = 0;
 807   src->curoffset = 0;
 808
 809   if (src->mapbuf) {
 810     gst_buffer_unref (src->mapbuf);
 811     src->mapbuf = NULL;
 812   }
 813
 814   GST_FLAG_UNSET (src, GST_FILESRC_OPEN);
 815 }
 816
 817
 818 static GstElementStateReturn
 819 gst_filesrc_change_state (GstElement *element)
 820 {
 821   GstFileSrc *src = GST_FILESRC(element);
 822
 823   switch (GST_STATE_TRANSITION (element)) {
 824     case GST_STATE_NULL_TO_READY:
 825       break;
 826     case GST_STATE_READY_TO_NULL:
 827       break;
 828     case GST_STATE_READY_TO_PAUSED:
 829       if (!GST_FLAG_IS_SET (element, GST_FILESRC_OPEN)) {
 830         if (!gst_filesrc_open_file (GST_FILESRC (element)))
 831           return GST_STATE_FAILURE;
 832       }
 833       break;
 834     case GST_STATE_PAUSED_TO_READY:
 835       if (GST_FLAG_IS_SET (element, GST_FILESRC_OPEN))
 836         gst_filesrc_close_file (GST_FILESRC (element));
 837       src->seek_happened = TRUE;
 838       break;
 839     default:
 840       break;
 841   }
 842
 843   if (GST_ELEMENT_CLASS (parent_class)->change_state)
 844     return GST_ELEMENT_CLASS (parent_class)->change_state (element);
 845
 846   return GST_STATE_SUCCESS;
 847 }
 848
 849 static gboolean
 850 gst_filesrc_srcpad_query (GstPad *pad, GstQueryType type,
 851                           GstFormat *format, gint64 *value)
 852 {
 853   GstFileSrc *src = GST_FILESRC (GST_PAD_PARENT (pad));
 854
 855   switch (type) {
 856     case GST_QUERY_TOTAL:
 857       if (*format != GST_FORMAT_BYTES) {
 858         return FALSE;
 859       }
 860       gst_filesrc_check_filesize (src);
 861       *value = src->filelen;
 862       break;
 863     case GST_QUERY_POSITION:
 864       switch (*format) {
 865         case GST_FORMAT_BYTES:
 866           *value = src->curoffset;
 867           break;
 868         case GST_FORMAT_PERCENT:
 869           if (src->filelen == 0)
 870             return FALSE;
 871           *value = src->curoffset * GST_FORMAT_PERCENT_MAX / src->filelen;
 872           break;
 873         default:
 874           return FALSE;
 875       }
 876       break;
 877     default:
 878       return FALSE;
 879       break;
 880   }
 881   return TRUE;
 882 }
 883
 884 static gboolean
 885 gst_filesrc_srcpad_event (GstPad *pad, GstEvent *event)
 886 {
 887   GstFileSrc *src = GST_FILESRC (GST_PAD_PARENT (pad));
 888
 889   GST_DEBUG_OBJECT (src, "event %d", GST_EVENT_TYPE (event));
 890
 891   switch (GST_EVENT_TYPE (event)) {
 892     case GST_EVENT_SEEK:
 893     {
 894       gint64 offset;
 895
 896       if (GST_EVENT_SEEK_FORMAT (event) != GST_FORMAT_BYTES) {
 897         goto error;
 898       }
 899
 900       offset = GST_EVENT_SEEK_OFFSET (event);
 901
 902       switch (GST_EVENT_SEEK_METHOD (event)) {
 903         case GST_SEEK_METHOD_SET:
 904           if (offset > src->filelen && (!gst_filesrc_check_filesize (src) || offset > src->filelen)) {
 905               goto error;
 906           }
 907           src->curoffset = offset;
 908           GST_DEBUG_OBJECT (src, "seek set pending to %" G_GINT64_FORMAT, src->curoffset);
 909           break;
 910         case GST_SEEK_METHOD_CUR:
 911           if (offset + src->curoffset > src->filelen)
 912             if (!gst_filesrc_check_filesize (src) || offset + src->curoffset > src->filelen)
 913               goto error;
 914           src->curoffset += offset;
 915           GST_DEBUG_OBJECT (src, "seek cur pending to %" G_GINT64_FORMAT, src->curoffset);
 916           break;
 917         case GST_SEEK_METHOD_END:
 918           if (ABS (offset) > src->filelen) {
 919             if (!gst_filesrc_check_filesize (src) || ABS (offset) > src->filelen)
 920               goto error;
 921             goto error;
 922           }
 923           src->curoffset = src->filelen - ABS (offset);
 924           GST_DEBUG_OBJECT (src, "seek end pending to %" G_GINT64_FORMAT, src->curoffset);
 925           break;
 926         default:
 927           goto error;
 928           break;
 929       }
 930       src->seek_happened = TRUE;
 931       src->need_flush = GST_EVENT_SEEK_FLAGS(event) & GST_SEEK_FLAG_FLUSH;
 932       break;
 933     }
 934     case GST_EVENT_SIZE:
 935       if (GST_EVENT_SIZE_FORMAT (event) != GST_FORMAT_BYTES) {
 936         goto error;
 937       }
 938       src->block_size = GST_EVENT_SIZE_VALUE (event);
 939       g_object_notify (G_OBJECT (src), "blocksize");
 940       break;
 941     case GST_EVENT_FLUSH:
 942       src->need_flush = TRUE;
 943       break;
 944     default:
 945       goto error;
 946       break;
 947   }
 948   gst_event_unref (event);
 949   return TRUE;
 950
 951 error:
 952   gst_event_unref (event);
 953   return FALSE;
 954 }
 955
 956 /*** GSTURIHANDLER INTERFACE *************************************************/
 957
 958 static guint
 959 gst_filesrc_uri_get_type (void)
 960 {
 961   return GST_URI_SRC;
 962 }
 963 static gchar **
 964 gst_filesrc_uri_get_protocols(void)
 965 {
 966   static gchar *protocols[] = {"file", NULL};
 967   return protocols;
 968 }
 969 static const gchar *
 970 gst_filesrc_uri_get_uri (GstURIHandler *handler)
 971 {
 972   GstFileSrc *src = GST_FILESRC (handler);
 973
 974   return src->uri;
 975 }
 976 static gboolean
 977 gst_filesrc_uri_set_uri (GstURIHandler *handler, const gchar *uri)
 978 {
 979   gchar *protocol, *location;
 980   gboolean ret;
 981   GstFileSrc *src = GST_FILESRC (handler);
 982
 983   protocol = gst_uri_get_protocol (uri);
 984   if (strcmp (protocol, "file") != 0) {
 985     g_free (protocol);
 986     return FALSE;
 987   }
 988   g_free (protocol);
 989   location = gst_uri_get_location (uri);
 990   ret = gst_filesrc_set_location (src, location);
 991   g_free (location);
 992
 993   return ret;
 994 }
 995
 996 static void
 997 gst_filesrc_uri_handler_init (gpointer g_iface, gpointer iface_data)
 998 {
 999   GstURIHandlerInterface *iface = (GstURIHandlerInterface *) g_iface;
1000
1001   iface->get_type = gst_filesrc_uri_get_type;
1002   iface->get_protocols = gst_filesrc_uri_get_protocols;
1003   iface->get_uri = gst_filesrc_uri_get_uri;
1004   iface->set_uri = gst_filesrc_uri_set_uri;
1005 }
1006