added more properties, added a 'touch' feature
[platform/upstream/gstreamer.git] / gst / elements / gstfilesrc.c
1 /* GStreamer
2  * Copyright (C) 1999,2000 Erik Walthinsen <omega@cse.ogi.edu>
3  *                    2000 Wim Taymans <wtay@chello.be>
4  *
5  * gstfilesrc.c:
6  *
7  * This library is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Library General Public
9  * License as published by the Free Software Foundation; either
10  * version 2 of the License, or (at your option) any later version.
11  *
12  * This library is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Library General Public License for more details.
16  *
17  * You should have received a copy of the GNU Library General Public
18  * License along with this library; if not, write to the
19  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
20  * Boston, MA 02111-1307, USA.
21  */
22
23 #include <gst/gst.h>
24
25 #include <sys/types.h>
26 #include <sys/stat.h>
27 #include <fcntl.h>
28 #include <unistd.h>
29 #include <sys/mman.h>
30
31
32 /**********************************************************************
33  * GStreamer Default File Source
34  * Theory of Operation
35  *
36  * This source uses mmap(2) to efficiently load data from a file.
37  * To do this without seriously polluting the applications' memory
38  * space, it must do so in smaller chunks, say 1-4MB at a time.
39  * Buffers are then subdivided from these mmap'd chunks, to directly
40  * make use of the mmap.
41  *
42  * To handle refcounting so that the mmap can be freed at the appropriate
43  * time, a buffer will be created for each mmap'd region, and all new
44  * buffers will be sub-buffers of this top-level buffer.  As they are 
45  * freed, the refcount goes down on the mmap'd buffer and its free()
46  * function is called, which will call munmap(2) on itself.
47  *
48  * If a buffer happens to cross the boundaries of an mmap'd region, we
49  * have to decide whether it's more efficient to copy the data into a
50  * new buffer, or mmap() just that buffer.  There will have to be a
51  * breakpoint size to determine which will be done.  The mmap() size
52  * has a lot to do with this as well, because you end up in double-
53  * jeopardy: the larger the outgoing buffer, the more data to copy when
54  * it overlaps, *and* the more frequently you'll have buffers that *do*
55  * overlap.
56  *
57  * Seeking is another tricky aspect to do efficiently.  The initial
58  * implementation of this source won't make use of these features, however.
59  * The issue is that if an application seeks backwards in a file, *and*
60  * that region of the file is covered by an mmap that hasn't been fully
61  * deallocated, we really should re-use it.  But keeping track of these
62  * regions is tricky because we have to lock the structure that holds
63  * them.  We need to settle on a locking primitive (GMutex seems to be
64  * a really good option...), then we can do that.
65  */
66
67
68 GstElementDetails gst_filesrc_details = {
69   "File Source",
70   "Source/File",
71   "Read from arbitrary point in a file",
72   VERSION,
73   "Erik Walthinsen <omega@cse.ogi.edu>",
74   "(C) 1999",
75 };
76
77
78 #define GST_TYPE_FILESRC \
79   (gst_filesrc_get_type())
80 #define GST_FILESRC(obj) \
81   (G_TYPE_CHECK_INSTANCE_CAST((obj),GST_TYPE_FILESRC,GstFileSrc))
82 #define GST_FILESRC_CLASS(klass) \
83   (G_TYPE_CHECK_CLASS_CAST((klass),GST_TYPE_FILESRC,GstFileSrcClass)) 
84 #define GST_IS_FILESRC(obj) \
85   (G_TYPE_CHECK_INSTANCE_TYPE((obj),GST_TYPE_FILESRC))
86 #define GST_IS_FILESRC_CLASS(obj) \
87   (G_TYPE_CHECK_CLASS_TYPE((klass),GST_TYPE_FILESRC))
88
89 typedef enum {
90   GST_FILESRC_OPEN              = GST_ELEMENT_FLAG_LAST,
91
92   GST_FILESRC_FLAG_LAST = GST_ELEMENT_FLAG_LAST + 2,
93 } GstFileSrcFlags;
94
95 typedef struct _GstFileSrc GstFileSrc;
96 typedef struct _GstFileSrcClass GstFileSrcClass;
97
98 struct _GstFileSrc {
99   GstElement element;
100   GstPad *srcpad;
101
102   guint pagesize;                       // system page size
103  
104   gchar *filename;                      // filename
105   gint fd;                              // open file descriptor
106   off_t filelen;                        // what's the file length?
107
108   off_t curoffset;                      // current offset in file
109   off_t block_size;                     // bytes per read
110   gboolean touch;                       // whether to touch every page
111
112   GstBuffer *mapbuf;
113   off_t mapsize;
114
115   GTree *map_regions;
116   GMutex *map_regions_lock;
117 };
118
119 struct _GstFileSrcClass {
120   GstElementClass parent_class;
121 };
122
123
124 /* FileSrc signals and args */
125 enum {
126   /* FILL ME */
127   LAST_SIGNAL
128 };
129
130 enum {
131   ARG_0,
132   ARG_LOCATION,
133   ARG_FILESIZE,
134   ARG_FD,
135   ARG_BLOCKSIZE,
136   ARG_OFFSET,
137   ARG_MAPSIZE,
138 };
139
140
141 static void             gst_filesrc_class_init  (GstFileSrcClass *klass);
142 static void             gst_filesrc_init        (GstFileSrc *filesrc);
143
144 static void             gst_filesrc_set_property        (GObject *object, guint prop_id, const GValue *value, GParamSpec *pspec);
145 static void             gst_filesrc_get_property        (GObject *object, guint prop_id, GValue *value, GParamSpec *pspec);
146
147 static GstBuffer *      gst_filesrc_get         (GstPad *pad);
148
149 static GstElementStateReturn    gst_filesrc_change_state        (GstElement *element);
150
151
152 static GstElementClass *parent_class = NULL;
153 //static guint gst_filesrc_signals[LAST_SIGNAL] = { 0 };
154
155 GType
156 gst_filesrc_get_type(void)
157 {
158   static GType filesrc_type = 0;
159
160   if (!filesrc_type) {
161     static const GTypeInfo filesrc_info = {
162       sizeof(GstFileSrcClass),      NULL,
163       NULL,
164       (GClassInitFunc)gst_filesrc_class_init,
165       NULL,
166       NULL,
167       sizeof(GstFileSrc),
168       0,
169       (GInstanceInitFunc)gst_filesrc_init,
170     };
171     filesrc_type = g_type_register_static (GST_TYPE_ELEMENT, "GstFileSrc", &filesrc_info, 0);
172   }
173   return filesrc_type;
174 }
175
176 static void
177 gst_filesrc_class_init (GstFileSrcClass *klass)
178 {
179   GObjectClass *gobject_class;
180   GstElementClass *gstelement_class;
181
182   gobject_class = (GObjectClass*)klass;
183   gstelement_class = (GstElementClass*)klass;
184
185   parent_class = g_type_class_ref (GST_TYPE_ELEMENT);
186
187   g_object_class_install_property(G_OBJECT_CLASS(klass), ARG_LOCATION,
188     g_param_spec_string("location","File Location","Location of the file to read",
189                         NULL,G_PARAM_READWRITE));
190   g_object_class_install_property(G_OBJECT_CLASS(klass), ARG_FILESIZE,
191     g_param_spec_ulong("filesize","File Size","Size of the file being read",
192                        0,G_MAXULONG,0,G_PARAM_READABLE));
193   g_object_class_install_property(G_OBJECT_CLASS(klass), ARG_FD,
194     g_param_spec_int("fd","File-descriptor","File-descriptor for the file being read",
195                      0,G_MAXINT,0,G_PARAM_READABLE));
196   g_object_class_install_property(G_OBJECT_CLASS(klass), ARG_BLOCKSIZE,
197     g_param_spec_ulong("blocksize","Block Size","Block size to read per buffer",
198                        0,G_MAXULONG,4096,G_PARAM_READWRITE));
199   g_object_class_install_property(G_OBJECT_CLASS(klass), ARG_OFFSET,
200     g_param_spec_ulong("offset","File Offset","Byte offset of current read pointer",
201                        0,G_MAXULONG,0,G_PARAM_READWRITE));
202   g_object_class_install_property(G_OBJECT_CLASS(klass), ARG_MAPSIZE,
203     g_param_spec_ulong("mmapsize","mmap() Block Size","Size in bytes of mmap()d regions",
204                        0,G_MAXULONG,4*1048576,G_PARAM_READWRITE));
205
206   gobject_class->set_property = gst_filesrc_set_property;
207   gobject_class->get_property = gst_filesrc_get_property;
208
209   gstelement_class->change_state = gst_filesrc_change_state;
210 }
211
212 static gint
213 gst_filesrc_bufcmp (gconstpointer a, gconstpointer b)
214 {
215 //  GstBuffer *bufa = (GstBuffer *)a, *bufb = (GstBuffer *)b;
216
217   // sort first by offset, then in reverse by size
218   if (GST_BUFFER_OFFSET(a) < GST_BUFFER_OFFSET(b)) return -1;
219   else if (GST_BUFFER_OFFSET(a) > GST_BUFFER_OFFSET(b)) return 1;
220   else if (GST_BUFFER_SIZE(a) > GST_BUFFER_SIZE(b)) return -1;
221   else if (GST_BUFFER_SIZE(a) < GST_BUFFER_SIZE(b)) return 1;
222   else return 0;
223 }
224
225 static void
226 gst_filesrc_init (GstFileSrc *src)
227 {
228   src->srcpad = gst_pad_new ("src", GST_PAD_SRC);
229   gst_pad_set_get_function (src->srcpad,gst_filesrc_get);
230   gst_element_add_pad (GST_ELEMENT (src), src->srcpad);
231
232   src->pagesize = getpagesize();
233
234   src->filename = NULL;
235   src->fd = 0;
236   src->filelen = 0;
237
238   src->curoffset = 0;
239   src->block_size = 4096;
240   src->touch = TRUE;
241
242   src->mapbuf = NULL;
243   src->mapsize = 4 * 1024 * 1024;               // default is 4MB
244
245   src->map_regions = g_tree_new(gst_filesrc_bufcmp);
246   src->map_regions_lock = g_mutex_new();
247 }
248
249
250 static void
251 gst_filesrc_set_property (GObject *object, guint prop_id, const GValue *value, GParamSpec *pspec)
252 {
253   GstFileSrc *src;
254
255   /* it's not null if we got it, but it might not be ours */
256   g_return_if_fail (GST_IS_FILESRC (object));
257
258   src = GST_FILESRC (object);
259
260   switch (prop_id) {
261     case ARG_LOCATION:
262       /* the element must be stopped in order to do this */
263       g_return_if_fail (GST_STATE (src) < GST_STATE_PLAYING);
264
265       if (src->filename) g_free (src->filename);
266       /* clear the filename if we get a NULL (is that possible?) */
267       if (g_value_get_string (value) == NULL) {
268         gst_element_set_state (GST_ELEMENT (object), GST_STATE_NULL);
269         src->filename = NULL;
270       /* otherwise set the new filename */
271       } else {
272         src->filename = g_strdup (g_value_get_string (value));
273       }
274       break;
275     case ARG_BLOCKSIZE:
276       src->block_size = g_value_get_ulong (value);
277       break;
278     case ARG_OFFSET:
279       src->curoffset = g_value_get_ulong (value);
280       break;
281     case ARG_MAPSIZE:
282       src->mapsize = g_value_get_ulong (value);
283       break;
284     default:
285       break;
286   }
287 }
288
289 static void
290 gst_filesrc_get_property (GObject *object, guint prop_id, GValue *value, GParamSpec *pspec)
291 {
292   GstFileSrc *src;
293
294   /* it's not null if we got it, but it might not be ours */
295   g_return_if_fail (GST_IS_FILESRC (object));
296
297   src = GST_FILESRC (object);
298
299   switch (prop_id) {
300     case ARG_LOCATION:
301       g_value_set_string (value, src->filename);
302       break;
303     case ARG_FILESIZE:
304       g_value_set_ulong (value, src->filelen);
305       break;
306     case ARG_FD:
307       g_value_set_int (value, src->fd);
308       break;
309     case ARG_BLOCKSIZE:
310       g_value_set_ulong (value, src->block_size);
311       break;
312     case ARG_OFFSET:
313       g_value_set_ulong (value, src->curoffset);
314       break;
315     case ARG_MAPSIZE:
316       g_value_set_ulong (value, src->mapsize);
317       break;
318     default:
319       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
320       break;
321   }
322 }
323
324 static void
325 gst_filesrc_free_parent_mmap (GstBuffer *buf)
326 {
327   GstFileSrc *src = GST_FILESRC(GST_BUFFER_POOL_PRIVATE(buf));
328
329   fprintf(stderr,"freeing mmap()d buffer at %d+%d\n",GST_BUFFER_OFFSET(buf),GST_BUFFER_SIZE(buf));
330
331   // remove the buffer from the list of available mmap'd regions
332   g_mutex_lock(src->map_regions_lock);
333   g_tree_remove(src->map_regions,buf);
334   // check to see if the tree is empty
335   if (g_tree_nnodes(src->map_regions) == 0) {
336     // we have to free the bufferpool we don't have yet
337   }
338   g_mutex_unlock(src->map_regions_lock);
339
340   // now unmap the memory
341   munmap(GST_BUFFER_DATA(buf),GST_BUFFER_MAXSIZE(buf));
342 }
343
344 static GstBuffer *
345 gst_filesrc_map_region (GstFileSrc *src, off_t offset, off_t size)
346 {
347   GstBuffer *buf;
348
349   fprintf(stderr,"mapping region %d+%d from file into memory\n",offset,size);
350
351   // time to allocate a new mapbuf
352   buf = gst_buffer_new();
353   // mmap() the data into this new buffer
354   GST_BUFFER_DATA(buf) = mmap (NULL, size, PROT_READ, MAP_SHARED, src->fd, offset);
355   if (GST_BUFFER_DATA(buf) == NULL) {
356     fprintf(stderr, "ERROR: gstfilesrc couldn't map file!\n");
357   } else if (GST_BUFFER_DATA(buf) == -1) {
358     perror("gstfilesrc:mmap()");
359   }
360   // fill in the rest of the fields
361   GST_BUFFER_FLAGS(buf) = GST_BUFFER_READONLY | GST_BUFFER_ORIGINAL;
362   GST_BUFFER_SIZE(buf) = size;
363   GST_BUFFER_MAXSIZE(buf) = size;
364   GST_BUFFER_OFFSET(buf) = offset;
365   GST_BUFFER_TIMESTAMP(buf) = -1LL;
366   GST_BUFFER_POOL_PRIVATE(buf) = src;
367   GST_BUFFER_FREE_FUNC(buf) = gst_filesrc_free_parent_mmap;
368
369   g_mutex_lock(src->map_regions_lock);
370   g_tree_insert(src->map_regions,buf,buf);
371   g_mutex_unlock(src->map_regions_lock);
372
373   return buf;
374 }
375
376 static GstBuffer *
377 gst_filesrc_map_small_region (GstFileSrc *src, off_t offset, off_t size)
378 {
379   int mod, mapbase, mapsize;
380   GstBuffer *map;
381
382 //  printf("attempting to map a small buffer at %d+%d\n",offset,size);
383
384   // if the offset starts at a non-page boundary, we have to special case
385   if ((mod = offset % src->pagesize)) {
386     mapbase = offset - mod;
387     mapsize = ((size + mod + src->pagesize - 1) / src->pagesize) * src->pagesize;
388 //    printf("not on page boundaries, resizing map to %d+%d\n",mapbase,mapsize);
389     map = gst_filesrc_map_region(src, mapbase, mapsize);
390     return gst_buffer_create_sub (map, offset - mapbase, size);
391   }
392
393   return gst_filesrc_map_region(src,offset,size);
394 }
395
396 typedef struct {
397   off_t offset;
398   off_t size;
399 } GstFileSrcRegion;
400
401 // This allows us to search for a potential mmap region.
402 static gint
403 gst_filesrc_search_region_match (gpointer a, gpointer b)
404 {
405   GstFileSrcRegion *r = (GstFileSrcRegion *)b;
406
407   // trying to walk b down the tree, current node is a
408   if (r->offset < GST_BUFFER_OFFSET(a)) return -1;
409   else if (r->offset >= (GST_BUFFER_OFFSET(a) + GST_BUFFER_SIZE(a))) return 1;
410   else if ((r->offset + r->size) <= (GST_BUFFER_OFFSET(a) + GST_BUFFER_SIZE(a))) return 0;
411
412   return -2;
413 }
414
415 /**
416  * gst_filesrc_get:
417  * @pad: #GstPad to push a buffer from
418  *
419  * Push a new buffer from the filesrc at the current offset.
420  */
421 static GstBuffer *
422 gst_filesrc_get (GstPad *pad)
423 {
424   GstFileSrc *src;
425   GstBuffer *buf = NULL, *map;
426   off_t readend,mapstart,mapend;
427   GstFileSrcRegion region;
428   int i;
429
430   g_return_val_if_fail (pad != NULL, NULL);
431   src = GST_FILESRC (gst_pad_get_parent (pad));
432   g_return_val_if_fail (GST_FLAG_IS_SET (src, GST_FILESRC_OPEN), NULL);
433
434   // calculate end poiters so we don't have to do so repeatedly later
435   readend = src->curoffset + src->block_size;           // note this is the byte *after* the read
436   mapstart = GST_BUFFER_OFFSET(src->mapbuf);
437   mapend = mapstart + GST_BUFFER_SIZE(src->mapbuf);     // note this is the byte *after* the map
438
439   // if the start is past the mapstart
440   if (src->curoffset >= mapstart) {
441     // if the end is before the mapend, the buffer is in current mmap region...
442     // ('cause by definition if readend is in the buffer, so's readstart)
443     if (readend <= mapend) {
444 //      printf("read buf %d+%d lives in current mapbuf %d+%d, creating subbuffer of mapbuf\n",
445 //             src->curoffset,src->block_size,GST_BUFFER_OFFSET(src->mapbuf),GST_BUFFER_SIZE(src->mapbuf));
446       buf = gst_buffer_create_sub (src->mapbuf, src->curoffset - GST_BUFFER_OFFSET(src->mapbuf),
447                                    src->block_size);
448
449     // if the start actually is within the current mmap region, map an overlap buffer
450     } else if (src->curoffset < mapend) {
451 //      printf("read buf %d+%d starts in mapbuf %d+%d but ends outside, creating new mmap\n",
452 //             src->curoffset,src->block_size,GST_BUFFER_OFFSET(src->mapbuf),GST_BUFFER_SIZE(src->mapbuf));
453       buf = gst_filesrc_map_small_region (src, src->curoffset, src->block_size);
454     }
455
456     // the only other option is that buffer is totally outside, which means we search for it
457
458   // now we can assume that the start is *before* the current mmap region
459   // if the readend is past mapstart, we have two options
460   } else if (readend >= mapstart) {
461     // either the read buffer overlaps the start of the mmap region
462     // or the read buffer fully contains the current mmap region
463     // either way, it's really not relevant, we just create a new region anyway
464 //    printf("read buf %d+%d starts before mapbuf %d+%d, but overlaps it\n",
465 //             src->curoffset,src->block_size,GST_BUFFER_OFFSET(src->mapbuf),GST_BUFFER_SIZE(src->mapbuf));
466     buf = gst_filesrc_map_small_region (src, src->curoffset, src->block_size);
467   }
468
469   // then deal with the case where the read buffer is totally outside
470   if (buf == NULL) {
471     // first check to see if there's a map that covers the right region already
472 //    printf("searching for mapbuf to cover %d+%d\n",src->curoffset,src->block_size);
473     region.offset = src->curoffset;
474     region.size = src->block_size;
475     map = g_tree_search(src->map_regions,gst_filesrc_search_region_match,&region);
476
477     // if we found an exact match, subbuffer it
478     if (map != NULL) {
479 //      printf("found mapbuf at %d+%d, creating subbuffer\n",GST_BUFFER_OFFSET(map),GST_BUFFER_SIZE(map));
480       buf = gst_buffer_create_sub (map, src->curoffset - GST_BUFFER_OFFSET(map), src->block_size);
481
482     // otherwise we need to create something out of thin air
483     } else {
484       // if the read buffer crosses a mmap region boundary, create a one-off region
485       if ((src->curoffset / src->mapsize) != ((src->curoffset + src->block_size) / src->mapsize)) {
486 //        printf("read buf %d+%d crosses a %d-byte boundary, creating a one-off\n",
487 //               src->curoffset,src->block_size,src->mapsize);
488         buf = gst_filesrc_map_small_region (src, src->curoffset, src->block_size);
489
490       // otherwise we will create a new mmap region and set it to the default
491       } else {
492         off_t nextmap = src->curoffset - (src->curoffset % src->mapsize);
493 //        printf("read buf %d+%d in new mapbuf at %d+%d, mapping and subbuffering\n",
494 //               src->curoffset,src->block_size,nextmap,src->mapsize);
495         // first, we're done with the old mapbuf
496         gst_buffer_unref(src->mapbuf);
497         // create a new one
498         src->mapbuf = gst_filesrc_map_region (src, nextmap, src->mapsize);
499         // subbuffer it
500         buf = gst_buffer_create_sub (src->mapbuf, src->curoffset - GST_BUFFER_OFFSET(src->mapbuf), src->block_size);
501       }
502     }
503   }
504
505   /* if we need to touch the buffer (to bring it into memory), do so */
506   if (src->touch) {
507     for (i=0;i<GST_BUFFER_SIZE(buf);i+=src->pagesize)
508       *(GST_BUFFER_DATA(buf)+i) = *(GST_BUFFER_DATA(buf)+i);
509   }
510
511   /* we're done, return the buffer */
512   src->curoffset += GST_BUFFER_SIZE(buf);
513   return buf;
514 }
515
516 /* open the file and mmap it, necessary to go to READY state */
517 static gboolean 
518 gst_filesrc_open_file (GstFileSrc *src)
519 {
520   g_return_val_if_fail (!GST_FLAG_IS_SET (src ,GST_FILESRC_OPEN), FALSE);
521
522   GST_DEBUG(0, "opening file %s\n",src->filename);
523
524   /* open the file */
525   src->fd = open (src->filename, O_RDONLY);
526   if (src->fd < 0) {
527     perror ("open");
528     gst_element_error (GST_ELEMENT (src), g_strconcat("opening file \"", src->filename, "\"", NULL));
529     return FALSE;
530   } else {
531     /* find the file length */
532     src->filelen = lseek (src->fd, 0, SEEK_END);
533     lseek (src->fd, 0, SEEK_SET);
534
535     // allocate the first mmap'd region
536     src->mapbuf = gst_filesrc_map_region (src, 0, src->mapsize);
537
538     src->curoffset = 0;
539
540     GST_FLAG_SET (src, GST_FILESRC_OPEN);
541   }
542   return TRUE;
543 }
544
545 /* unmap and close the file */
546 static void
547 gst_filesrc_close_file (GstFileSrc *src)
548 {
549   g_return_if_fail (GST_FLAG_IS_SET (src, GST_FILESRC_OPEN));
550
551   /* close the file */
552   close (src->fd);
553
554   /* zero out a lot of our state */
555   src->fd = 0;
556   src->filelen = 0;
557   src->curoffset = 0;
558
559   GST_FLAG_UNSET (src, GST_FILESRC_OPEN);
560 }
561
562
563 static GstElementStateReturn
564 gst_filesrc_change_state (GstElement *element)
565 {
566   g_return_val_if_fail (GST_IS_FILESRC (element), GST_STATE_FAILURE);
567
568   if (GST_STATE_PENDING (element) == GST_STATE_NULL) {
569     if (GST_FLAG_IS_SET (element, GST_FILESRC_OPEN))
570       gst_filesrc_close_file (GST_FILESRC (element));
571   } else {
572     if (!GST_FLAG_IS_SET (element, GST_FILESRC_OPEN)) {
573       if (!gst_filesrc_open_file (GST_FILESRC (element)))
574         return GST_STATE_FAILURE;
575     }
576   }
577
578   if (GST_ELEMENT_CLASS (parent_class)->change_state)
579     return GST_ELEMENT_CLASS (parent_class)->change_state (element);
580
581   return GST_STATE_SUCCESS;
582 }