parts of the patch submitted in bug #113913
[platform/upstream/gstreamer.git] / gst / elements / gstfilesrc.c
1 /* GStreamer
2  * Copyright (C) 1999,2000 Erik Walthinsen <omega@cse.ogi.edu>
3  *                    2000 Wim Taymans <wtay@chello.be>
4  *
5  * gstfilesrc.c:
6  *
7  * This library is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Library General Public
9  * License as published by the Free Software Foundation; either
10  * version 2 of the License, or (at your option) any later version.
11  *
12  * This library is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Library General Public License for more details.
16  *
17  * You should have received a copy of the GNU Library General Public
18  * License along with this library; if not, write to the
19  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
20  * Boston, MA 02111-1307, USA.
21  */
22
23 #ifdef HAVE_CONFIG_H
24 #  include "config.h"
25 #endif
26
27 #include <gst/gst.h>
28 #include "gstfilesrc.h"
29
30 #include <stdio.h>
31 #include <sys/stat.h>
32 #include <fcntl.h>
33 #include <unistd.h>
34 #include <sys/mman.h>
35 #include <errno.h>
36 #include <string.h>
37
38 #include "../gst-i18n-lib.h"
39
40
41 /**********************************************************************
42  * GStreamer Default File Source
43  * Theory of Operation
44  *
45  * This source uses mmap(2) to efficiently load data from a file.
46  * To do this without seriously polluting the applications' memory
47  * space, it must do so in smaller chunks, say 1-4MB at a time.
48  * Buffers are then subdivided from these mmap'd chunks, to directly
49  * make use of the mmap.
50  *
51  * To handle refcounting so that the mmap can be freed at the appropriate
52  * time, a buffer will be created for each mmap'd region, and all new
53  * buffers will be sub-buffers of this top-level buffer.  As they are 
54  * freed, the refcount goes down on the mmap'd buffer and its free()
55  * function is called, which will call munmap(2) on itself.
56  *
57  * If a buffer happens to cross the boundaries of an mmap'd region, we
58  * have to decide whether it's more efficient to copy the data into a
59  * new buffer, or mmap() just that buffer.  There will have to be a
60  * breakpoint size to determine which will be done.  The mmap() size
61  * has a lot to do with this as well, because you end up in double-
62  * jeopardy: the larger the outgoing buffer, the more data to copy when
63  * it overlaps, *and* the more frequently you'll have buffers that *do*
64  * overlap.
65  *
66  * Seeking is another tricky aspect to do efficiently.  The initial
67  * implementation of this source won't make use of these features, however.
68  * The issue is that if an application seeks backwards in a file, *and*
69  * that region of the file is covered by an mmap that hasn't been fully
70  * deallocated, we really should re-use it.  But keeping track of these
71  * regions is tricky because we have to lock the structure that holds
72  * them.  We need to settle on a locking primitive (GMutex seems to be
73  * a really good option...), then we can do that.
74  */
75
76
77 GST_DEBUG_CATEGORY_STATIC (gst_filesrc_debug);
78 #define GST_CAT_DEFAULT gst_filesrc_debug
79
80 GstElementDetails gst_filesrc_details = GST_ELEMENT_DETAILS (
81   "File Source",
82   "Source/File",
83   "Read from arbitrary point in a file",
84   "Erik Walthinsen <omega@cse.ogi.edu>"
85 );
86
87 #define DEFAULT_BLOCKSIZE       4*1024
88 #define DEFAULT_MMAPSIZE        4*1024*1024
89
90 /* FileSrc signals and args */
91 enum {
92   /* FILL ME */
93   LAST_SIGNAL
94 };
95
96 enum {
97   ARG_0,
98   ARG_LOCATION,
99   ARG_FD,
100   ARG_BLOCKSIZE,
101   ARG_MMAPSIZE,
102   ARG_TOUCH
103 };
104
105 GST_PAD_EVENT_MASK_FUNCTION (gst_filesrc_get_event_mask,
106   { GST_EVENT_SEEK, GST_SEEK_METHOD_CUR | 
107                     GST_SEEK_METHOD_SET | 
108                     GST_SEEK_METHOD_END | 
109                     GST_SEEK_FLAG_FLUSH },
110   { GST_EVENT_FLUSH, 0 },
111   { GST_EVENT_SIZE, 0 }
112 )
113
114 GST_PAD_QUERY_TYPE_FUNCTION (gst_filesrc_get_query_types,
115   GST_QUERY_TOTAL,
116   GST_QUERY_POSITION
117 )
118
119 GST_PAD_FORMATS_FUNCTION (gst_filesrc_get_formats,
120   GST_FORMAT_BYTES
121 )
122
123 static void             gst_filesrc_dispose             (GObject *object);
124
125 static void             gst_filesrc_set_property        (GObject *object, guint prop_id, 
126                                                          const GValue *value, GParamSpec *pspec);
127 static void             gst_filesrc_get_property        (GObject *object, guint prop_id, 
128                                                          GValue *value, GParamSpec *pspec);
129
130 static gboolean         gst_filesrc_check_filesize      (GstFileSrc *src); 
131 static GstData *        gst_filesrc_get                 (GstPad *pad);
132 static gboolean         gst_filesrc_srcpad_event        (GstPad *pad, GstEvent *event);
133 static gboolean         gst_filesrc_srcpad_query        (GstPad *pad, GstQueryType type,
134                                                          GstFormat *format, gint64 *value);
135
136 static GstElementStateReturn    gst_filesrc_change_state        (GstElement *element);
137
138 static void             gst_filesrc_uri_handler_init    (gpointer g_iface, gpointer iface_data);
139
140 static void
141 _do_init (GType filesrc_type)
142 {
143   static const GInterfaceInfo urihandler_info = {
144     gst_filesrc_uri_handler_init,
145     NULL,
146     NULL
147   };
148   g_type_add_interface_static (filesrc_type, GST_TYPE_URI_HANDLER, &urihandler_info);
149   GST_DEBUG_CATEGORY_INIT (gst_filesrc_debug, "filesrc", 0, "filesrc element");
150 }
151
152 GST_BOILERPLATE_FULL (GstFileSrc, gst_filesrc, GstElement, GST_TYPE_ELEMENT, _do_init);
153     
154 static void
155 gst_filesrc_base_init (gpointer g_class)
156 {
157   GstElementClass *gstelement_class = GST_ELEMENT_CLASS (g_class);
158
159   gst_element_class_set_details (gstelement_class, &gst_filesrc_details);
160 }
161 static void
162 gst_filesrc_class_init (GstFileSrcClass *klass)
163 {
164   GObjectClass *gobject_class = G_OBJECT_CLASS (klass);
165   GstElementClass *gstelement_class = GST_ELEMENT_CLASS (klass);
166
167   gobject_class = (GObjectClass*)klass;
168
169
170   g_object_class_install_property (G_OBJECT_CLASS (klass), ARG_FD,
171     g_param_spec_int ("fd", "File-descriptor", "File-descriptor for the file being mmap()d",
172                       0, G_MAXINT, 0, G_PARAM_READABLE));
173   g_object_class_install_property (G_OBJECT_CLASS (klass), ARG_LOCATION,
174     g_param_spec_string ("location", "File Location", "Location of the file to read",
175                          NULL, G_PARAM_READWRITE));
176   g_object_class_install_property (G_OBJECT_CLASS (klass), ARG_BLOCKSIZE,
177     g_param_spec_ulong ("blocksize", "Block size", "Size in bytes to read per buffer",
178                         1, G_MAXULONG, DEFAULT_BLOCKSIZE, G_PARAM_READWRITE));
179   g_object_class_install_property (G_OBJECT_CLASS (klass), ARG_MMAPSIZE,
180     g_param_spec_ulong ("mmapsize", "mmap() Block Size",
181                         "Size in bytes of mmap()d regions",
182                         0, G_MAXULONG, DEFAULT_MMAPSIZE, G_PARAM_READWRITE));
183   g_object_class_install_property (G_OBJECT_CLASS (klass), ARG_TOUCH,
184     g_param_spec_boolean ("touch", "Touch read data",
185                           "Touch data to force disk read", 
186                           FALSE, G_PARAM_READWRITE));
187
188   gobject_class->dispose        = gst_filesrc_dispose;
189   gobject_class->set_property   = gst_filesrc_set_property;
190   gobject_class->get_property   = gst_filesrc_get_property;
191
192   gstelement_class->change_state = gst_filesrc_change_state;
193 }
194
195 static gint
196 gst_filesrc_bufcmp (gconstpointer a, gconstpointer b)
197 {
198 /*  GstBuffer *bufa = (GstBuffer *)a, *bufb = (GstBuffer *)b;*/
199
200   /* sort first by offset, then in reverse by size */
201   if (GST_BUFFER_OFFSET(a) < GST_BUFFER_OFFSET(b)) return -1;
202   else if (GST_BUFFER_OFFSET(a) > GST_BUFFER_OFFSET(b)) return 1;
203   else if (GST_BUFFER_SIZE(a) > GST_BUFFER_SIZE(b)) return -1;
204   else if (GST_BUFFER_SIZE(a) < GST_BUFFER_SIZE(b)) return 1;
205   else return 0;
206 }
207
208 static void
209 gst_filesrc_init (GstFileSrc *src)
210 {
211   src->srcpad = gst_pad_new ("src", GST_PAD_SRC);
212   gst_pad_set_get_function (src->srcpad, gst_filesrc_get);
213   gst_pad_set_event_function (src->srcpad, gst_filesrc_srcpad_event);
214   gst_pad_set_event_mask_function (src->srcpad, gst_filesrc_get_event_mask);
215   gst_pad_set_query_function (src->srcpad, gst_filesrc_srcpad_query);
216   gst_pad_set_query_type_function (src->srcpad, gst_filesrc_get_query_types);
217   gst_pad_set_formats_function (src->srcpad, gst_filesrc_get_formats);
218   gst_element_add_pad (GST_ELEMENT (src), src->srcpad);
219
220   src->pagesize = getpagesize();
221
222   src->filename = NULL;
223   src->fd = 0;
224   src->filelen = 0;
225
226   src->curoffset = 0;
227   src->block_size = DEFAULT_BLOCKSIZE;
228   src->touch = FALSE;
229
230   src->mapbuf = NULL;
231   src->mapsize = DEFAULT_MMAPSIZE;              /* default is 4MB */
232
233   src->map_regions = g_tree_new (gst_filesrc_bufcmp);
234   src->map_regions_lock = g_mutex_new();
235
236   src->seek_happened = FALSE;
237 }
238
239 static void
240 gst_filesrc_dispose (GObject *object)
241 {
242   GstFileSrc *src;
243
244   src = GST_FILESRC (object);
245
246   G_OBJECT_CLASS (parent_class)->dispose (object);
247
248   g_tree_destroy (src->map_regions);
249   g_mutex_free (src->map_regions_lock);
250   if (src->filename)
251     g_free (src->filename);
252   if (src->uri)
253     g_free (src->uri);
254 }
255
256 static gboolean
257 gst_filesrc_set_location (GstFileSrc *src, const gchar *location)
258 {
259   /* the element must be stopped in order to do this */
260   if (GST_STATE (src) != GST_STATE_READY &&
261       GST_STATE (src) != GST_STATE_NULL)
262     return FALSE;
263
264   if (src->filename) g_free (src->filename);
265   if (src->uri) g_free (src->uri);
266   /* clear the filename if we get a NULL (is that possible?) */
267   if (location == NULL) {
268     src->filename = NULL;
269     src->uri = NULL;
270   } else {
271     src->filename = g_strdup (location);
272     src->uri = gst_uri_construct ("file", src->filename);
273   }
274   g_object_notify (G_OBJECT (src), "location");
275   gst_uri_handler_new_uri (GST_URI_HANDLER (src), src->uri);
276
277   return TRUE;
278 }
279
280 static void
281 gst_filesrc_set_property (GObject *object, guint prop_id, const GValue *value, GParamSpec *pspec)
282 {
283   GstFileSrc *src;
284
285   /* it's not null if we got it, but it might not be ours */
286   g_return_if_fail (GST_IS_FILESRC (object));
287
288   src = GST_FILESRC (object);
289
290   switch (prop_id) {
291     case ARG_LOCATION:
292       gst_filesrc_set_location (src, g_value_get_string (value));
293       break;
294     case ARG_BLOCKSIZE:
295       src->block_size = g_value_get_ulong (value);
296       g_object_notify (G_OBJECT (src), "blocksize");
297       break;
298     case ARG_MMAPSIZE:
299       if ((src->mapsize % src->pagesize) == 0) {
300         src->mapsize = g_value_get_ulong (value);
301         g_object_notify (G_OBJECT (src), "mmapsize");
302       } else {
303         GST_INFO_OBJECT (src, "invalid mapsize, must be a multiple of pagesize, which is %d", 
304                   src->pagesize);
305       }
306       break;
307     case ARG_TOUCH:
308       src->touch = g_value_get_boolean (value);
309       g_object_notify (G_OBJECT (src), "touch");
310       break;
311     default:
312       break;
313   }
314 }
315
316 static void
317 gst_filesrc_get_property (GObject *object, guint prop_id, GValue *value, GParamSpec *pspec)
318 {
319   GstFileSrc *src;
320
321   /* it's not null if we got it, but it might not be ours */
322   g_return_if_fail (GST_IS_FILESRC (object));
323
324   src = GST_FILESRC (object);
325
326   switch (prop_id) {
327     case ARG_LOCATION:
328       g_value_set_string (value, src->filename);
329       break;
330     case ARG_FD:
331       g_value_set_int (value, src->fd);
332       break;
333     case ARG_BLOCKSIZE:
334       g_value_set_ulong (value, src->block_size);
335       break;
336     case ARG_MMAPSIZE:
337       g_value_set_ulong (value, src->mapsize);
338       break;
339     case ARG_TOUCH:
340       g_value_set_boolean (value, src->touch);
341       break;
342     default:
343       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
344       break;
345   }
346 }
347
348 static void
349 gst_filesrc_free_parent_mmap (GstBuffer *buf)
350 {
351   GstFileSrc *src = GST_FILESRC (GST_BUFFER_PRIVATE (buf));
352
353   GST_LOG_OBJECT (src, "freeing mmap()d buffer at %"G_GUINT64_FORMAT"+%u", 
354                   GST_BUFFER_OFFSET (buf), GST_BUFFER_SIZE (buf));
355
356   /* remove the buffer from the list of available mmap'd regions */
357   g_mutex_lock (src->map_regions_lock);
358   g_tree_remove (src->map_regions, buf);
359   /* check to see if the tree is empty */
360   if (g_tree_nnodes (src->map_regions) == 0) {
361     /* we have to free the bufferpool we don't have yet */
362   }
363   g_mutex_unlock (src->map_regions_lock);
364
365 #ifdef MADV_DONTNEED
366   /* madvise to tell the kernel what to do with it */
367   madvise (GST_BUFFER_DATA (buf), GST_BUFFER_SIZE (buf), MADV_DONTNEED);
368 #endif
369   /* now unmap the memory */
370   munmap (GST_BUFFER_DATA (buf), GST_BUFFER_MAXSIZE (buf));
371   /* cast to unsigned long, since there's no gportable way to print
372    * guint64 as hex */
373   GST_LOG_OBJECT (src, "unmapped region %08lx+%08lx at %p", 
374                   (unsigned long) GST_BUFFER_OFFSET (buf),
375                   (unsigned long) GST_BUFFER_MAXSIZE (buf), 
376                   GST_BUFFER_DATA (buf));
377
378   GST_BUFFER_DATA (buf) = NULL;
379
380   g_object_unref (src);
381   gst_buffer_default_free (buf);
382 }
383
384 static GstBuffer *
385 gst_filesrc_map_region (GstFileSrc *src, off_t offset, size_t size)
386 {
387   GstBuffer *buf;
388   gint retval;
389   void *mmapregion;
390
391   g_return_val_if_fail (offset >= 0, NULL);
392
393   GST_LOG_OBJECT (src, "mapping region %08llx+%08lx from file into memory",offset,(unsigned long)size);
394   mmapregion = mmap (NULL, size, PROT_READ, MAP_SHARED, src->fd, offset);
395
396   if (mmapregion == NULL) {
397     GST_ELEMENT_ERROR (src, RESOURCE, TOO_LAZY,
398                        NULL,
399                        ("mmap call failed"));
400     return NULL;
401   }
402   else if (mmapregion == MAP_FAILED) {
403     GST_WARNING_OBJECT (src, "mmap (0x%08lx, %d, 0x%llx) failed: %s",
404              (unsigned long)size, src->fd, offset, strerror (errno));
405     return NULL;
406   }
407   GST_LOG_OBJECT (src, "mapped region %08lx+%08lx from file into memory at %p", 
408                   (unsigned long)offset, (unsigned long)size, mmapregion);
409
410   /* time to allocate a new mapbuf */
411   buf = gst_buffer_new ();
412   /* mmap() the data into this new buffer */
413   GST_BUFFER_DATA (buf) = mmapregion;
414
415 #ifdef MADV_SEQUENTIAL
416   /* madvise to tell the kernel what to do with it */
417   retval = madvise (GST_BUFFER_DATA (buf), GST_BUFFER_SIZE (buf), MADV_SEQUENTIAL);
418 #endif
419   /* fill in the rest of the fields */
420   GST_BUFFER_FLAG_SET (buf, GST_BUFFER_READONLY);
421   GST_BUFFER_FLAG_SET (buf, GST_BUFFER_ORIGINAL);
422   GST_BUFFER_SIZE (buf) = size;
423   GST_BUFFER_MAXSIZE (buf) = size;
424   GST_BUFFER_OFFSET (buf) = offset;
425   GST_BUFFER_TIMESTAMP (buf) = GST_CLOCK_TIME_NONE;
426   GST_BUFFER_PRIVATE (buf) = src;
427   g_object_ref (src);
428   GST_BUFFER_FREE_FUNC (buf) = (GstDataFreeFunction) gst_filesrc_free_parent_mmap;
429
430   g_mutex_lock (src->map_regions_lock);
431   g_tree_insert (src->map_regions,buf,buf);
432   g_mutex_unlock (src->map_regions_lock);
433
434   return buf;
435 }
436
437 static GstBuffer *
438 gst_filesrc_map_small_region (GstFileSrc *src, off_t offset, size_t size)
439 {
440   size_t mapsize;
441   off_t mod, mapbase;
442   GstBuffer *map;
443
444 /*  printf("attempting to map a small buffer at %d+%d\n",offset,size); */
445
446   /* if the offset starts at a non-page boundary, we have to special case */
447   if ((mod = offset % src->pagesize)) {
448     GstBuffer *ret;
449
450     mapbase = offset - mod;
451     mapsize = ((size + mod + src->pagesize - 1) / src->pagesize) * src->pagesize;
452 /*    printf("not on page boundaries, resizing map to %d+%d\n",mapbase,mapsize);*/
453     map = gst_filesrc_map_region(src, mapbase, mapsize);
454     if (map == NULL)
455       return NULL;
456
457     ret = gst_buffer_create_sub (map, offset - mapbase, size);
458     GST_BUFFER_OFFSET (ret) = GST_BUFFER_OFFSET (map) + offset - mapbase;
459
460     gst_buffer_unref (map);
461
462     return ret;
463   }
464
465   return gst_filesrc_map_region(src,offset,size);
466 }
467
468 typedef struct {
469   off_t offset;
470   off_t size;
471 } GstFileSrcRegion;
472
473 /* This allows us to search for a potential mmap region. */
474 static gint
475 gst_filesrc_search_region_match (gpointer a, gpointer b)
476 {
477   GstFileSrcRegion *r = (GstFileSrcRegion *)b;
478
479   /* trying to walk b down the tree, current node is a */
480   if (r->offset < GST_BUFFER_OFFSET(a)) return -1;
481   else if (r->offset >= (GST_BUFFER_OFFSET(a) + GST_BUFFER_SIZE(a))) return 1;
482   else if ((r->offset + r->size) <= (GST_BUFFER_OFFSET(a) + GST_BUFFER_SIZE(a))) return 0;
483
484   return -2;
485 }
486
487 /**
488  * gst_filesrc_get_mmap:
489  * @pad: #GstPad to push a buffer from
490  *
491  * Push a new buffer from the filesrc at the current offset.
492  */
493 static GstBuffer *
494 gst_filesrc_get_mmap (GstFileSrc *src)
495 {
496   GstBuffer *buf = NULL, *map;
497   size_t readsize, mapsize;
498   off_t readend,mapstart,mapend;
499   GstFileSrcRegion region;
500   int i;
501
502   /* calculate end pointers so we don't have to do so repeatedly later */
503   readsize = src->block_size;
504   readend = src->curoffset + src->block_size;           /* note this is the byte *after* the read */
505   mapstart = GST_BUFFER_OFFSET (src->mapbuf);
506   mapsize = GST_BUFFER_SIZE (src->mapbuf);
507   mapend = mapstart + mapsize;                  /* note this is the byte *after* the map */
508
509   /* check to see if we're going to overflow the end of the file */
510   if (readend > src->filelen) {
511     if (!gst_filesrc_check_filesize (src) || readend > src->filelen) {
512       readsize = src->filelen - src->curoffset;
513       readend = src->curoffset + readsize;
514     }
515   }
516
517   GST_LOG ("attempting to read %08lx, %08lx, %08lx, %08lx", 
518            (unsigned long)readsize, (unsigned long)readend,
519            (unsigned long)mapstart, (unsigned long)mapend);
520
521   /* if the start is past the mapstart */
522   if (src->curoffset >= mapstart) {
523     /* if the end is before the mapend, the buffer is in current mmap region... */
524     /* ('cause by definition if readend is in the buffer, so's readstart) */
525     if (readend <= mapend) {
526       GST_LOG_OBJECT (src, "read buf %llu+%d lives in current mapbuf %lld+%d, creating subbuffer of mapbuf",
527              src->curoffset, readsize, mapstart, mapsize);
528       buf = gst_buffer_create_sub (src->mapbuf, src->curoffset - mapstart,
529                                    readsize);
530       GST_BUFFER_OFFSET (buf) = src->curoffset;
531
532     /* if the start actually is within the current mmap region, map an overlap buffer */
533     } else if (src->curoffset < mapend) {
534       GST_LOG_OBJECT (src, "read buf %llu+%d starts in mapbuf %d+%d but ends outside, creating new mmap",
535              (unsigned long long) src->curoffset, (gint) readsize, (gint) mapstart, (gint) mapsize);
536       buf = gst_filesrc_map_small_region (src, src->curoffset, readsize);
537       if (buf == NULL)
538         return NULL;
539     }
540
541     /* the only other option is that buffer is totally outside, which means we search for it */
542
543   /* now we can assume that the start is *before* the current mmap region */
544   /* if the readend is past mapstart, we have two options */
545   } else if (readend >= mapstart) {
546     /* either the read buffer overlaps the start of the mmap region */
547     /* or the read buffer fully contains the current mmap region    */
548     /* either way, it's really not relevant, we just create a new region anyway*/
549     GST_LOG_OBJECT (src, "read buf %llu+%d starts before mapbuf %d+%d, but overlaps it",
550              (unsigned long long) src->curoffset, (gint) readsize, (gint) mapstart, (gint) mapsize);
551     buf = gst_filesrc_map_small_region (src, src->curoffset, readsize);
552     if (buf == NULL)
553       return NULL;
554   }
555
556   /* then deal with the case where the read buffer is totally outside */
557   if (buf == NULL) {
558     /* first check to see if there's a map that covers the right region already */
559     GST_LOG_OBJECT (src, "searching for mapbuf to cover %llu+%d",src->curoffset,readsize);
560     region.offset = src->curoffset;
561     region.size = readsize;
562     map = g_tree_search (src->map_regions,
563                          (GCompareFunc) gst_filesrc_search_region_match,
564                          (gpointer)&region);
565
566     /* if we found an exact match, subbuffer it */
567     if (map != NULL) {
568       GST_LOG_OBJECT (src, "found mapbuf at %"G_GUINT64_FORMAT"+%u, creating subbuffer",
569                       GST_BUFFER_OFFSET (map), GST_BUFFER_SIZE (map));
570       buf = gst_buffer_create_sub (map, src->curoffset - GST_BUFFER_OFFSET(map), readsize);
571       GST_BUFFER_OFFSET (buf) = src->curoffset;
572
573     /* otherwise we need to create something out of thin air */
574     } else {
575       /* if the read buffer crosses a mmap region boundary, create a one-off region */
576       if ((src->curoffset / src->mapsize) != (readend / src->mapsize)) {
577         GST_LOG_OBJECT (src, "read buf %llu+%d crosses a %d-byte boundary, creating a one-off",
578                src->curoffset,readsize,src->mapsize);
579         buf = gst_filesrc_map_small_region (src, src->curoffset, readsize);
580         if (buf == NULL)
581           return NULL;
582
583       /* otherwise we will create a new mmap region and set it to the default */
584       } else {
585         size_t mapsize;
586
587         off_t nextmap = src->curoffset - (src->curoffset % src->mapsize);
588         GST_LOG_OBJECT (src, "read buf %llu+%d in new mapbuf at %llu+%d, mapping and subbuffering",
589                src->curoffset, readsize, nextmap, src->mapsize);
590         /* first, we're done with the old mapbuf */
591         gst_buffer_unref(src->mapbuf);
592         mapsize = src->mapsize;
593
594         /* double the mapsize as long as the readsize is smaller */
595         while (readsize - (src->curoffset - nextmap) > mapsize) {
596           GST_LOG_OBJECT (src, "readsize smaller then mapsize %08x %d", readsize, mapsize);
597           mapsize <<=1;
598         }
599         /* create a new one */
600         src->mapbuf = gst_filesrc_map_region (src, nextmap, mapsize);
601         if (src->mapbuf == NULL)
602           return NULL;
603
604         /* subbuffer it */
605         buf = gst_buffer_create_sub (src->mapbuf, src->curoffset - nextmap, readsize);
606         GST_BUFFER_OFFSET (buf) = GST_BUFFER_OFFSET (src->mapbuf) + src->curoffset - nextmap;
607       }
608     }
609   }
610
611   /* if we need to touch the buffer (to bring it into memory), do so */
612   if (src->touch) {
613     volatile guchar *p = GST_BUFFER_DATA (buf), c;
614
615     for (i=0; i < GST_BUFFER_SIZE (buf); i += src->pagesize)
616       c = p[i];
617   }
618
619   /* we're done, return the buffer */
620   g_assert (src->curoffset == GST_BUFFER_OFFSET (buf));
621   src->curoffset += GST_BUFFER_SIZE(buf);
622   return buf;
623 }
624
625 static GstBuffer *
626 gst_filesrc_get_read (GstFileSrc *src)
627 {
628   GstBuffer *buf = NULL;
629   size_t readsize;
630   int ret;
631
632   readsize = src->block_size;
633   if (src->curoffset + readsize > src->filelen) {
634     if (!gst_filesrc_check_filesize (src) || src->curoffset + readsize > src->filelen) {
635       readsize = src->filelen - src->curoffset;
636     }
637   }
638
639   buf = gst_buffer_new_and_alloc (readsize);
640   g_return_val_if_fail (buf != NULL, NULL);
641
642   ret = read (src->fd, GST_BUFFER_DATA (buf), readsize);
643   if (ret < 0){
644     GST_ELEMENT_ERROR (src, RESOURCE, READ,
645                        NULL,
646                        GST_ERROR_SYSTEM);
647     return NULL;
648   }
649   if (ret < readsize) {
650     GST_ELEMENT_ERROR (src, RESOURCE, READ,
651                        NULL,
652                        ("unexpected end of file"));
653     return NULL;
654   }
655
656   src->curoffset += readsize;
657
658   return buf;
659 }
660
661 static GstData *
662 gst_filesrc_get (GstPad *pad)
663 {
664   GstFileSrc *src;
665
666   g_return_val_if_fail (pad != NULL, NULL);
667   src = GST_FILESRC (gst_pad_get_parent (pad));
668   g_return_val_if_fail (GST_FLAG_IS_SET (src, GST_FILESRC_OPEN), NULL);
669
670   /* check for flush */
671   if (src->need_flush) {
672     src->need_flush = FALSE;
673     GST_DEBUG_OBJECT (src, "sending flush");
674     return GST_DATA (gst_event_new_flush ());
675   }
676   /* check for seek */
677   if (src->seek_happened) {
678     GstEvent *event;
679
680     src->seek_happened = FALSE;
681     GST_DEBUG_OBJECT (src, "sending discont");
682     event = gst_event_new_discontinuous (FALSE, GST_FORMAT_BYTES, src->curoffset, NULL);
683     return GST_DATA (event);
684   }
685
686   /* check for EOF */
687   g_assert (src->curoffset <= src->filelen);
688   if (src->curoffset == src->filelen) {
689     if (!gst_filesrc_check_filesize (src) || src->curoffset >= src->filelen) {
690       GST_DEBUG_OBJECT (src, "eos %" G_GINT64_FORMAT" %" G_GINT64_FORMAT,
691                 src->curoffset, src->filelen);
692       gst_element_set_eos (GST_ELEMENT (src));
693       return GST_DATA (gst_event_new (GST_EVENT_EOS));
694     }
695   }
696
697   if (src->using_mmap){
698     return GST_DATA (gst_filesrc_get_mmap (src));
699   }else{
700     return GST_DATA (gst_filesrc_get_read (src));
701   }
702 }
703
704 /* TRUE if the filesize of the file was updated */
705 static gboolean
706 gst_filesrc_check_filesize (GstFileSrc *src)
707 {
708   struct stat stat_results;
709   
710   g_return_val_if_fail (GST_FLAG_IS_SET (src ,GST_FILESRC_OPEN), FALSE);
711
712   fstat(src->fd, &stat_results);
713   GST_DEBUG_OBJECT (src, "checked filesize on %s (was %"G_GUINT64_FORMAT", is %"G_GUINT64_FORMAT")", 
714           src->filename, src->filelen, (guint64) stat_results.st_size);
715   if (src->filelen == (guint64) stat_results.st_size)
716     return FALSE;
717   src->filelen = stat_results.st_size;
718   return TRUE;
719 }
720 /* open the file and mmap it, necessary to go to READY state */
721 static gboolean
722 gst_filesrc_open_file (GstFileSrc *src)
723 {
724   g_return_val_if_fail (!GST_FLAG_IS_SET (src ,GST_FILESRC_OPEN), FALSE);
725
726   if (src->filename == NULL)
727   {
728     GST_ELEMENT_ERROR (src, RESOURCE, NOT_FOUND,
729                          (_("No filename specified")),
730                          NULL);
731     return FALSE;
732   }
733
734   if (src->filename == NULL)
735   {
736     GST_ELEMENT_ERROR (src, RESOURCE, NOT_FOUND,
737                          (_("No file specified for reading")),
738                          NULL);
739     return FALSE;
740   }
741
742
743   GST_INFO_OBJECT (src, "opening file %s",src->filename);
744
745   /* open the file */
746   src->fd = open (src->filename, O_RDONLY);
747   if (src->fd < 0)
748   {
749     if (errno == ENOENT)
750       GST_ELEMENT_ERROR (src, RESOURCE, NOT_FOUND, NULL, NULL);
751     else
752       GST_ELEMENT_ERROR (src, RESOURCE, OPEN_READ,
753                          (_("Could not open file \"%s\" for reading"), src->filename),
754                          GST_ERROR_SYSTEM);
755     return FALSE;
756   } else {
757     /* check if it is a regular file, otherwise bail out */
758     struct stat stat_results;
759
760     fstat(src->fd, &stat_results);
761
762     if (!S_ISREG(stat_results.st_mode)) {
763       GST_ELEMENT_ERROR (src, RESOURCE, OPEN_READ,
764                            (_("File \"%s\" isn't a regular file"), src->filename),
765                            NULL);
766       close(src->fd);
767       return FALSE;
768     }
769                 
770     /* find the file length */
771     src->filelen = stat_results.st_size;
772
773     /* allocate the first mmap'd region */
774     src->mapbuf = gst_filesrc_map_region (src, 0, src->mapsize);
775     if (src->mapbuf == NULL) {
776       src->using_mmap = FALSE;
777     }else{
778       src->using_mmap = TRUE;
779     }
780
781     src->curoffset = 0;
782
783     GST_FLAG_SET (src, GST_FILESRC_OPEN);
784   }
785   return TRUE;
786 }
787
788 /* unmap and close the file */
789 static void
790 gst_filesrc_close_file (GstFileSrc *src)
791 {
792   g_return_if_fail (GST_FLAG_IS_SET (src, GST_FILESRC_OPEN));
793
794   /* close the file */
795   close (src->fd);
796
797   /* zero out a lot of our state */
798   src->fd = 0;
799   src->filelen = 0;
800   src->curoffset = 0;
801
802   if (src->mapbuf) {
803     gst_buffer_unref (src->mapbuf);
804     src->mapbuf = NULL;
805   }
806
807   GST_FLAG_UNSET (src, GST_FILESRC_OPEN);
808 }
809
810
811 static GstElementStateReturn
812 gst_filesrc_change_state (GstElement *element)
813 {
814   GstFileSrc *src = GST_FILESRC(element);
815
816   switch (GST_STATE_TRANSITION (element)) {
817     case GST_STATE_NULL_TO_READY:
818       break;
819     case GST_STATE_READY_TO_NULL:
820       break;
821     case GST_STATE_READY_TO_PAUSED:
822       if (!GST_FLAG_IS_SET (element, GST_FILESRC_OPEN)) {
823         if (!gst_filesrc_open_file (GST_FILESRC (element)))
824           return GST_STATE_FAILURE;
825       }
826       break;
827     case GST_STATE_PAUSED_TO_READY:
828       if (GST_FLAG_IS_SET (element, GST_FILESRC_OPEN))
829         gst_filesrc_close_file (GST_FILESRC (element));
830       src->seek_happened = TRUE;
831       break;
832     default:
833       break;
834   }
835
836   if (GST_ELEMENT_CLASS (parent_class)->change_state)
837     return GST_ELEMENT_CLASS (parent_class)->change_state (element);
838
839   return GST_STATE_SUCCESS;
840 }
841
842 static gboolean
843 gst_filesrc_srcpad_query (GstPad *pad, GstQueryType type,
844                           GstFormat *format, gint64 *value)
845 {
846   GstFileSrc *src = GST_FILESRC (GST_PAD_PARENT (pad));
847
848   switch (type) {
849     case GST_QUERY_TOTAL:
850       if (*format != GST_FORMAT_BYTES) {
851         return FALSE;
852       }
853       gst_filesrc_check_filesize (src);
854       *value = src->filelen;
855       break;
856     case GST_QUERY_POSITION:
857       switch (*format) {
858         case GST_FORMAT_BYTES:
859           *value = src->curoffset;
860           break;
861         case GST_FORMAT_PERCENT:
862           if (src->filelen == 0)
863             return FALSE;
864           *value = src->curoffset * GST_FORMAT_PERCENT_MAX / src->filelen;
865           break;
866         default:
867           return FALSE;
868       }
869       break;
870     default:
871       return FALSE;
872       break;
873   }
874   return TRUE;
875 }
876
877 static gboolean
878 gst_filesrc_srcpad_event (GstPad *pad, GstEvent *event)
879 {
880   GstFileSrc *src = GST_FILESRC (GST_PAD_PARENT (pad));
881
882   GST_DEBUG_OBJECT (src, "event %d", GST_EVENT_TYPE (event));
883
884   switch (GST_EVENT_TYPE (event)) {
885     case GST_EVENT_SEEK:
886     {
887       gint64 offset;
888
889       if (GST_EVENT_SEEK_FORMAT (event) != GST_FORMAT_BYTES) {
890         goto error;
891       }
892
893       offset = GST_EVENT_SEEK_OFFSET (event);
894
895       switch (GST_EVENT_SEEK_METHOD (event)) {
896         case GST_SEEK_METHOD_SET:
897           if (offset > src->filelen && (!gst_filesrc_check_filesize (src) || offset > src->filelen)) {
898               goto error;
899           }
900           src->curoffset = offset;
901           GST_DEBUG_OBJECT (src, "seek set pending to %" G_GINT64_FORMAT, src->curoffset);
902           break;
903         case GST_SEEK_METHOD_CUR:
904           if (offset + src->curoffset > src->filelen) 
905             if (!gst_filesrc_check_filesize (src) || offset + src->curoffset > src->filelen)
906               goto error;
907           src->curoffset += offset;
908           GST_DEBUG_OBJECT (src, "seek cur pending to %" G_GINT64_FORMAT, src->curoffset);
909           break;
910         case GST_SEEK_METHOD_END:
911           if (ABS (offset) > src->filelen) {
912             if (!gst_filesrc_check_filesize (src) || ABS (offset) > src->filelen)
913               goto error;
914             goto error;
915           }
916           src->curoffset = src->filelen - ABS (offset);
917           GST_DEBUG_OBJECT (src, "seek end pending to %" G_GINT64_FORMAT, src->curoffset);
918           break;
919         default:
920           goto error;
921           break;
922       }
923       src->seek_happened = TRUE;
924       src->need_flush = GST_EVENT_SEEK_FLAGS(event) & GST_SEEK_FLAG_FLUSH;
925       break;
926     }
927     case GST_EVENT_SIZE:
928       if (GST_EVENT_SIZE_FORMAT (event) != GST_FORMAT_BYTES) {
929         goto error;
930       }
931       src->block_size = GST_EVENT_SIZE_VALUE (event);
932       g_object_notify (G_OBJECT (src), "blocksize");  
933       break;
934     case GST_EVENT_FLUSH:
935       src->need_flush = TRUE;
936       break;
937     default:
938       goto error;
939       break;
940   }
941   gst_event_unref (event);
942   return TRUE;
943
944 error:
945   gst_event_unref (event);
946   return FALSE;
947 }
948
949 /*** GSTURIHANDLER INTERFACE *************************************************/
950
951 static guint
952 gst_filesrc_uri_get_type (void)
953 {
954   return GST_URI_SRC;
955 }
956 static gchar **
957 gst_filesrc_uri_get_protocols(void)
958 {
959   static gchar *protocols[] = {"file", NULL};
960   return protocols;
961 }
962 static const gchar *
963 gst_filesrc_uri_get_uri (GstURIHandler *handler)
964 {
965   GstFileSrc *src = GST_FILESRC (handler);
966   
967   return src->uri;
968 }
969 static gboolean
970 gst_filesrc_uri_set_uri (GstURIHandler *handler, const gchar *uri)
971 {
972   gchar *protocol, *location;
973   gboolean ret;
974   GstFileSrc *src = GST_FILESRC (handler);
975
976   protocol = gst_uri_get_protocol (uri);
977   if (strcmp (protocol, "file") != 0) {
978     g_free (protocol);
979     return FALSE;
980   }
981   g_free (protocol);
982   location = gst_uri_get_location (uri);
983   ret = gst_filesrc_set_location (src, location);
984   g_free (location);
985
986   return ret;
987 }
988
989 static void
990 gst_filesrc_uri_handler_init (gpointer g_iface, gpointer iface_data)
991 {
992   GstURIHandlerInterface *iface = (GstURIHandlerInterface *) g_iface;
993
994   iface->get_type = gst_filesrc_uri_get_type;
995   iface->get_protocols = gst_filesrc_uri_get_protocols;
996   iface->get_uri = gst_filesrc_uri_get_uri;
997   iface->set_uri = gst_filesrc_uri_set_uri;
998 }