Added en axtra include for sys_errlist
[platform/upstream/gstreamer.git] / gst / elements / gstfilesrc.c
1 /* GStreamer
2  * Copyright (C) 1999,2000 Erik Walthinsen <omega@cse.ogi.edu>
3  *                    2000 Wim Taymans <wtay@chello.be>
4  *
5  * gstfilesrc.c:
6  *
7  * This library is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Library General Public
9  * License as published by the Free Software Foundation; either
10  * version 2 of the License, or (at your option) any later version.
11  *
12  * This library is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Library General Public License for more details.
16  *
17  * You should have received a copy of the GNU Library General Public
18  * License along with this library; if not, write to the
19  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
20  * Boston, MA 02111-1307, USA.
21  */
22
23 #include <gst/gst.h>
24
25 #include "gstfilesrc.h"
26
27 #include <stdio.h>
28 #include <sys/stat.h>
29 #include <fcntl.h>
30 #include <unistd.h>
31 #include <sys/mman.h>
32 #include <errno.h>
33
34
35 /**********************************************************************
36  * GStreamer Default File Source
37  * Theory of Operation
38  *
39  * This source uses mmap(2) to efficiently load data from a file.
40  * To do this without seriously polluting the applications' memory
41  * space, it must do so in smaller chunks, say 1-4MB at a time.
42  * Buffers are then subdivided from these mmap'd chunks, to directly
43  * make use of the mmap.
44  *
45  * To handle refcounting so that the mmap can be freed at the appropriate
46  * time, a buffer will be created for each mmap'd region, and all new
47  * buffers will be sub-buffers of this top-level buffer.  As they are 
48  * freed, the refcount goes down on the mmap'd buffer and its free()
49  * function is called, which will call munmap(2) on itself.
50  *
51  * If a buffer happens to cross the boundaries of an mmap'd region, we
52  * have to decide whether it's more efficient to copy the data into a
53  * new buffer, or mmap() just that buffer.  There will have to be a
54  * breakpoint size to determine which will be done.  The mmap() size
55  * has a lot to do with this as well, because you end up in double-
56  * jeopardy: the larger the outgoing buffer, the more data to copy when
57  * it overlaps, *and* the more frequently you'll have buffers that *do*
58  * overlap.
59  *
60  * Seeking is another tricky aspect to do efficiently.  The initial
61  * implementation of this source won't make use of these features, however.
62  * The issue is that if an application seeks backwards in a file, *and*
63  * that region of the file is covered by an mmap that hasn't been fully
64  * deallocated, we really should re-use it.  But keeping track of these
65  * regions is tricky because we have to lock the structure that holds
66  * them.  We need to settle on a locking primitive (GMutex seems to be
67  * a really good option...), then we can do that.
68  */
69
70
71 GstElementDetails gst_filesrc_details = {
72   "File Source",
73   "Source/File",
74   "Read from arbitrary point in a file",
75   VERSION,
76   "Erik Walthinsen <omega@cse.ogi.edu>",
77   "(C) 1999",
78 };
79
80 //#define fs_print(format,args...) g_print(format, ## args)
81 #define fs_print(format,args...)
82
83 /* FileSrc signals and args */
84 enum {
85   /* FILL ME */
86   LAST_SIGNAL
87 };
88
89 enum {
90   ARG_0,
91   ARG_LOCATION,
92   ARG_FILESIZE,
93   ARG_FD,
94   ARG_BLOCKSIZE,
95   ARG_OFFSET,
96   ARG_MAPSIZE,
97   ARG_TOUCH,
98 };
99
100
101 static void             gst_filesrc_class_init          (GstFileSrcClass *klass);
102 static void             gst_filesrc_init                (GstFileSrc *filesrc);
103
104 static void             gst_filesrc_set_property        (GObject *object, guint prop_id, 
105                                                          const GValue *value, GParamSpec *pspec);
106 static void             gst_filesrc_get_property        (GObject *object, guint prop_id, 
107                                                          GValue *value, GParamSpec *pspec);
108
109 static GstBuffer *      gst_filesrc_get                 (GstPad *pad);
110 static gboolean         gst_filesrc_srcpad_event        (GstPad *pad, GstEvent *event);
111
112 static GstElementStateReturn    gst_filesrc_change_state        (GstElement *element);
113
114
115 static GstElementClass *parent_class = NULL;
116 //static guint gst_filesrc_signals[LAST_SIGNAL] = { 0 };
117
118 GType
119 gst_filesrc_get_type(void)
120 {
121   static GType filesrc_type = 0;
122
123   if (!filesrc_type) {
124     static const GTypeInfo filesrc_info = {
125       sizeof(GstFileSrcClass),      NULL,
126       NULL,
127       (GClassInitFunc)gst_filesrc_class_init,
128       NULL,
129       NULL,
130       sizeof(GstFileSrc),
131       0,
132       (GInstanceInitFunc)gst_filesrc_init,
133     };
134     filesrc_type = g_type_register_static (GST_TYPE_ELEMENT, "GstFileSrc", &filesrc_info, 0);
135   }
136   return filesrc_type;
137 }
138
139 static void
140 gst_filesrc_class_init (GstFileSrcClass *klass)
141 {
142   GObjectClass *gobject_class;
143   GstElementClass *gstelement_class;
144
145   gobject_class = (GObjectClass*)klass;
146   gstelement_class = (GstElementClass*)klass;
147
148   parent_class = g_type_class_ref (GST_TYPE_ELEMENT);
149
150   gst_element_install_std_props (
151           GST_ELEMENT_CLASS (klass),
152           "fd",           ARG_FD,           G_PARAM_READABLE,
153           "offset",       ARG_OFFSET,       G_PARAM_READWRITE,
154           "filesize",     ARG_FILESIZE,     G_PARAM_READABLE,
155           "location",     ARG_LOCATION,     G_PARAM_READWRITE,
156           "blocksize",    ARG_BLOCKSIZE,    G_PARAM_READWRITE,
157           "mmapsize",     ARG_MAPSIZE,      G_PARAM_READWRITE,
158           "touch",        ARG_TOUCH,        G_PARAM_READWRITE,
159           NULL);
160
161   gobject_class->set_property = gst_filesrc_set_property;
162   gobject_class->get_property = gst_filesrc_get_property;
163
164   gstelement_class->change_state = gst_filesrc_change_state;
165 }
166
167 static gint
168 gst_filesrc_bufcmp (gconstpointer a, gconstpointer b)
169 {
170 //  GstBuffer *bufa = (GstBuffer *)a, *bufb = (GstBuffer *)b;
171
172   // sort first by offset, then in reverse by size
173   if (GST_BUFFER_OFFSET(a) < GST_BUFFER_OFFSET(b)) return -1;
174   else if (GST_BUFFER_OFFSET(a) > GST_BUFFER_OFFSET(b)) return 1;
175   else if (GST_BUFFER_SIZE(a) > GST_BUFFER_SIZE(b)) return -1;
176   else if (GST_BUFFER_SIZE(a) < GST_BUFFER_SIZE(b)) return 1;
177   else return 0;
178 }
179
180 static void
181 gst_filesrc_init (GstFileSrc *src)
182 {
183   src->srcpad = gst_pad_new ("src", GST_PAD_SRC);
184   gst_pad_set_get_function (src->srcpad,gst_filesrc_get);
185   gst_pad_set_event_function (src->srcpad,gst_filesrc_srcpad_event);
186   gst_element_add_pad (GST_ELEMENT (src), src->srcpad);
187
188   src->pagesize = getpagesize();
189
190   src->filename = NULL;
191   src->fd = 0;
192   src->filelen = 0;
193
194   src->curoffset = 0;
195   src->block_size = 4096;
196   src->touch = TRUE;
197
198   src->mapbuf = NULL;
199   src->mapsize = 4 * 1024 * 1024;               // default is 4MB
200
201   src->map_regions = g_tree_new(gst_filesrc_bufcmp);
202   src->map_regions_lock = g_mutex_new();
203
204   src->seek_happened = FALSE;
205 }
206
207
208 static void
209 gst_filesrc_set_property (GObject *object, guint prop_id, const GValue *value, GParamSpec *pspec)
210 {
211   GstFileSrc *src;
212
213   /* it's not null if we got it, but it might not be ours */
214   g_return_if_fail (GST_IS_FILESRC (object));
215
216   src = GST_FILESRC (object);
217
218   switch (prop_id) {
219     case ARG_LOCATION:
220       /* the element must be stopped in order to do this */
221       g_return_if_fail (GST_STATE (src) < GST_STATE_PLAYING);
222
223       if (src->filename) g_free (src->filename);
224       /* clear the filename if we get a NULL (is that possible?) */
225       if (g_value_get_string (value) == NULL) {
226         gst_element_set_state (GST_ELEMENT (object), GST_STATE_NULL);
227         src->filename = NULL;
228       /* otherwise set the new filename */
229       } else {
230         src->filename = g_strdup (g_value_get_string (value));
231       }
232       break;
233     case ARG_BLOCKSIZE:
234       src->block_size = g_value_get_ulong (value);
235       break;
236     case ARG_OFFSET:
237       src->curoffset = g_value_get_int64 (value);
238       break;
239     case ARG_MAPSIZE:
240       if ((src->mapsize % src->pagesize) == 0)
241         src->mapsize = g_value_get_ulong (value);
242       else
243         GST_INFO(0, "invalid mapsize, must a multiple of pagesize, which is %d\n",src->pagesize);
244       break;
245     case ARG_TOUCH:
246       src->touch = g_value_get_boolean (value);
247       break;
248     default:
249       break;
250   }
251 }
252
253 static void
254 gst_filesrc_get_property (GObject *object, guint prop_id, GValue *value, GParamSpec *pspec)
255 {
256   GstFileSrc *src;
257
258   /* it's not null if we got it, but it might not be ours */
259   g_return_if_fail (GST_IS_FILESRC (object));
260
261   src = GST_FILESRC (object);
262
263   switch (prop_id) {
264     case ARG_LOCATION:
265       g_value_set_string (value, src->filename);
266       break;
267     case ARG_FILESIZE:
268       g_value_set_int64 (value, src->filelen);
269       break;
270     case ARG_FD:
271       g_value_set_int (value, src->fd);
272       break;
273     case ARG_BLOCKSIZE:
274       g_value_set_ulong (value, src->block_size);
275       break;
276     case ARG_OFFSET:
277       g_value_set_int64 (value, src->curoffset);
278       break;
279     case ARG_MAPSIZE:
280       g_value_set_ulong (value, src->mapsize);
281       break;
282     case ARG_TOUCH:
283       g_value_set_boolean (value, src->touch);
284       break;
285     default:
286       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
287       break;
288   }
289 }
290
291 static void
292 gst_filesrc_free_parent_mmap (GstBuffer *buf)
293 {
294   GstFileSrc *src = GST_FILESRC(GST_BUFFER_POOL_PRIVATE(buf));
295
296   fs_print ("freeing mmap()d buffer at %d+%d\n",GST_BUFFER_OFFSET(buf),GST_BUFFER_SIZE(buf));
297
298   // remove the buffer from the list of available mmap'd regions
299   g_mutex_lock(src->map_regions_lock);
300   g_tree_remove(src->map_regions,buf);
301   // check to see if the tree is empty
302   if (g_tree_nnodes(src->map_regions) == 0) {
303     // we have to free the bufferpool we don't have yet
304   }
305   g_mutex_unlock(src->map_regions_lock);
306
307 #ifdef MADV_DONTNEED
308   // madvise to tell the kernel what to do with it
309   madvise(GST_BUFFER_DATA(buf),GST_BUFFER_SIZE(buf),MADV_DONTNEED);
310 #endif
311   // now unmap the memory
312   munmap(GST_BUFFER_DATA(buf),GST_BUFFER_MAXSIZE(buf));
313 }
314
315 static GstBuffer *
316 gst_filesrc_map_region (GstFileSrc *src, off_t offset, size_t size)
317 {
318   GstBuffer *buf;
319   gint retval;
320
321   g_return_val_if_fail (offset >= 0, NULL);
322
323   fs_print  ("mapping region %08lx+%08lx from file into memory\n",offset,size);
324
325   // time to allocate a new mapbuf
326   buf = gst_buffer_new();
327   // mmap() the data into this new buffer
328   GST_BUFFER_DATA(buf) = mmap (NULL, size, PROT_READ, MAP_SHARED, src->fd, offset);
329   if (GST_BUFFER_DATA(buf) == NULL) {
330     fprintf (stderr, "ERROR: gstfilesrc couldn't map file!\n");
331   } else if (GST_BUFFER_DATA(buf) == MAP_FAILED) {
332     g_error ("gstfilesrc mmap(0x%x, %d, 0x%llx) : %s",
333              size, src->fd, offset, sys_errlist[errno]);
334   }
335 #ifdef MADV_SEQUENTIAL
336   // madvise to tell the kernel what to do with it
337   retval = madvise(GST_BUFFER_DATA(buf),GST_BUFFER_SIZE(buf),MADV_SEQUENTIAL);
338 #endif
339   // fill in the rest of the fields
340   GST_BUFFER_FLAGS(buf) = GST_BUFFER_READONLY | GST_BUFFER_ORIGINAL;
341   GST_BUFFER_SIZE(buf) = size;
342   GST_BUFFER_MAXSIZE(buf) = size;
343   GST_BUFFER_OFFSET(buf) = offset;
344   GST_BUFFER_TIMESTAMP(buf) = -1LL;
345   GST_BUFFER_POOL_PRIVATE(buf) = src;
346   GST_BUFFER_FREE_FUNC(buf) = gst_filesrc_free_parent_mmap;
347
348   g_mutex_lock(src->map_regions_lock);
349   g_tree_insert(src->map_regions,buf,buf);
350   g_mutex_unlock(src->map_regions_lock);
351
352   return buf;
353 }
354
355 static GstBuffer *
356 gst_filesrc_map_small_region (GstFileSrc *src, off_t offset, size_t size)
357 {
358   size_t mapsize;
359   off_t mod, mapbase;
360   GstBuffer *map;
361
362 //  printf("attempting to map a small buffer at %d+%d\n",offset,size);
363
364   // if the offset starts at a non-page boundary, we have to special case
365   if ((mod = offset % src->pagesize)) {
366     GstBuffer *ret;
367
368     mapbase = offset - mod;
369     mapsize = ((size + mod + src->pagesize - 1) / src->pagesize) * src->pagesize;
370 //    printf("not on page boundaries, resizing map to %d+%d\n",mapbase,mapsize);
371     map = gst_filesrc_map_region(src, mapbase, mapsize);
372     ret = gst_buffer_create_sub (map, offset - mapbase, size);
373
374     gst_buffer_unref (map);
375
376     return ret;
377   }
378
379   return gst_filesrc_map_region(src,offset,size);
380 }
381
382 typedef struct {
383   off_t offset;
384   off_t size;
385 } GstFileSrcRegion;
386
387 // This allows us to search for a potential mmap region.
388 static gint
389 gst_filesrc_search_region_match (gpointer a, gpointer b)
390 {
391   GstFileSrcRegion *r = (GstFileSrcRegion *)b;
392
393   // trying to walk b down the tree, current node is a
394   if (r->offset < GST_BUFFER_OFFSET(a)) return -1;
395   else if (r->offset >= (GST_BUFFER_OFFSET(a) + GST_BUFFER_SIZE(a))) return 1;
396   else if ((r->offset + r->size) <= (GST_BUFFER_OFFSET(a) + GST_BUFFER_SIZE(a))) return 0;
397
398   return -2;
399 }
400
401 /**
402  * gst_filesrc_get:
403  * @pad: #GstPad to push a buffer from
404  *
405  * Push a new buffer from the filesrc at the current offset.
406  */
407 static GstBuffer *
408 gst_filesrc_get (GstPad *pad)
409 {
410   GstFileSrc *src;
411   GstBuffer *buf = NULL, *map;
412   size_t readsize;
413   off_t readend,mapstart,mapend;
414   GstFileSrcRegion region;
415   int i;
416
417   g_return_val_if_fail (pad != NULL, NULL);
418   src = GST_FILESRC (gst_pad_get_parent (pad));
419   g_return_val_if_fail (GST_FLAG_IS_SET (src, GST_FILESRC_OPEN), NULL);
420
421   // check for seek
422   if (src->seek_happened) {
423     src->seek_happened = FALSE;
424     return GST_BUFFER (gst_event_new(GST_EVENT_DISCONTINUOUS));
425   }
426
427   // check for EOF
428   if (src->curoffset == src->filelen) {
429     gst_element_set_state (GST_ELEMENT (src), GST_STATE_PAUSED);
430     return GST_BUFFER (gst_event_new(GST_EVENT_EOS));
431   }
432
433   // calculate end pointers so we don't have to do so repeatedly later
434   readsize = src->block_size;
435   readend = src->curoffset + src->block_size;           // note this is the byte *after* the read
436   mapstart = GST_BUFFER_OFFSET(src->mapbuf);
437   mapend = mapstart + GST_BUFFER_SIZE(src->mapbuf);     // note this is the byte *after* the map
438
439   // check to see if we're going to overflow the end of the file
440   if (readend > src->filelen) {
441     readsize = src->filelen - src->curoffset;
442     readend = src->curoffset;
443   }
444
445   // if the start is past the mapstart
446   if (src->curoffset >= mapstart) {
447     // if the end is before the mapend, the buffer is in current mmap region...
448     // ('cause by definition if readend is in the buffer, so's readstart)
449     if (readend <= mapend) {
450       fs_print ("read buf %d+%d lives in current mapbuf %d+%d, creating subbuffer of mapbuf\n",
451              src->curoffset,readsize,GST_BUFFER_OFFSET(src->mapbuf),GST_BUFFER_SIZE(src->mapbuf));
452       buf = gst_buffer_create_sub (src->mapbuf, src->curoffset - GST_BUFFER_OFFSET(src->mapbuf),
453                                    readsize);
454
455     // if the start actually is within the current mmap region, map an overlap buffer
456     } else if (src->curoffset < mapend) {
457       fs_print ("read buf %d+%d starts in mapbuf %d+%d but ends outside, creating new mmap\n",
458              src->curoffset,readsize,GST_BUFFER_OFFSET(src->mapbuf),GST_BUFFER_SIZE(src->mapbuf));
459       buf = gst_filesrc_map_small_region (src, src->curoffset, readsize);
460     }
461
462     // the only other option is that buffer is totally outside, which means we search for it
463
464   // now we can assume that the start is *before* the current mmap region
465   // if the readend is past mapstart, we have two options
466   } else if (readend >= mapstart) {
467     // either the read buffer overlaps the start of the mmap region
468     // or the read buffer fully contains the current mmap region
469     // either way, it's really not relevant, we just create a new region anyway
470     fs_print ("read buf %d+%d starts before mapbuf %d+%d, but overlaps it\n",
471              src->curoffset,readsize,GST_BUFFER_OFFSET(src->mapbuf),GST_BUFFER_SIZE(src->mapbuf));
472     buf = gst_filesrc_map_small_region (src, src->curoffset, readsize);
473   }
474
475   // then deal with the case where the read buffer is totally outside
476   if (buf == NULL) {
477     // first check to see if there's a map that covers the right region already
478     fs_print ("searching for mapbuf to cover %d+%d\n",src->curoffset,readsize);
479     region.offset = src->curoffset;
480     region.size = readsize;
481     map = g_tree_search (src->map_regions,
482                          (GCompareFunc) gst_filesrc_search_region_match,
483                          &region);
484
485     // if we found an exact match, subbuffer it
486     if (map != NULL) {
487       fs_print ("found mapbuf at %d+%d, creating subbuffer\n",GST_BUFFER_OFFSET(map),GST_BUFFER_SIZE(map));
488       buf = gst_buffer_create_sub (map, src->curoffset - GST_BUFFER_OFFSET(map), readsize);
489
490     // otherwise we need to create something out of thin air
491     } else {
492       // if the read buffer crosses a mmap region boundary, create a one-off region
493       if ((src->curoffset / src->mapsize) != (readend / src->mapsize)) {
494         fs_print ("read buf %d+%d crosses a %d-byte boundary, creating a one-off\n",
495                src->curoffset,readsize,src->mapsize);
496         buf = gst_filesrc_map_small_region (src, src->curoffset, readsize);
497
498       // otherwise we will create a new mmap region and set it to the default
499       } else {
500         off_t nextmap = src->curoffset - (src->curoffset % src->mapsize);
501         fs_print ("read buf %d+%d in new mapbuf at %d+%d, mapping and subbuffering\n",
502                src->curoffset,readsize,nextmap,src->mapsize);
503         // first, we're done with the old mapbuf
504         gst_buffer_unref(src->mapbuf);
505         // create a new one
506         src->mapbuf = gst_filesrc_map_region (src, nextmap, src->mapsize);
507         // subbuffer it
508         buf = gst_buffer_create_sub (src->mapbuf, src->curoffset - GST_BUFFER_OFFSET(src->mapbuf), readsize);
509       }
510     }
511   }
512
513   /* if we need to touch the buffer (to bring it into memory), do so */
514   if (src->touch) {
515     volatile guchar *p = GST_BUFFER_DATA (buf), c;
516     for (i=0;i<GST_BUFFER_SIZE(buf);i+=src->pagesize)
517       c = p[i];
518   }
519
520   /* we're done, return the buffer */
521   src->curoffset += GST_BUFFER_SIZE(buf);
522   return buf;
523 }
524
525 /* open the file and mmap it, necessary to go to READY state */
526 static gboolean 
527 gst_filesrc_open_file (GstFileSrc *src)
528 {
529   g_return_val_if_fail (!GST_FLAG_IS_SET (src ,GST_FILESRC_OPEN), FALSE);
530
531   GST_DEBUG(0, "opening file %s\n",src->filename);
532
533   /* open the file */
534   src->fd = open (src->filename, O_RDONLY);
535   if (src->fd < 0) {
536     perror ("open");
537     gst_element_error (GST_ELEMENT (src), g_strconcat("opening file \"", src->filename, "\"", NULL));
538     return FALSE;
539   } else {
540     /* find the file length */
541     src->filelen = lseek (src->fd, 0, SEEK_END);
542     lseek (src->fd, 0, SEEK_SET);
543
544     // allocate the first mmap'd region
545     src->mapbuf = gst_filesrc_map_region (src, 0, src->mapsize);
546
547     src->curoffset = 0;
548
549     GST_FLAG_SET (src, GST_FILESRC_OPEN);
550   }
551   return TRUE;
552 }
553
554 /* unmap and close the file */
555 static void
556 gst_filesrc_close_file (GstFileSrc *src)
557 {
558   g_return_if_fail (GST_FLAG_IS_SET (src, GST_FILESRC_OPEN));
559
560   g_print ("close\n");
561   /* close the file */
562   close (src->fd);
563
564   /* zero out a lot of our state */
565   src->fd = 0;
566   src->filelen = 0;
567   src->curoffset = 0;
568
569   GST_FLAG_UNSET (src, GST_FILESRC_OPEN);
570 }
571
572
573 static GstElementStateReturn
574 gst_filesrc_change_state (GstElement *element)
575 {
576   g_return_val_if_fail (GST_IS_FILESRC (element), GST_STATE_FAILURE);
577
578   if (GST_STATE_PENDING (element) == GST_STATE_NULL) {
579     if (GST_FLAG_IS_SET (element, GST_FILESRC_OPEN))
580       gst_filesrc_close_file (GST_FILESRC (element));
581   } else {
582     if (!GST_FLAG_IS_SET (element, GST_FILESRC_OPEN)) {
583       if (!gst_filesrc_open_file (GST_FILESRC (element)))
584         return GST_STATE_FAILURE;
585     }
586   }
587
588   if (GST_ELEMENT_CLASS (parent_class)->change_state)
589     return GST_ELEMENT_CLASS (parent_class)->change_state (element);
590
591   return GST_STATE_SUCCESS;
592 }
593
594 static gboolean
595 gst_filesrc_srcpad_event (GstPad *pad, GstEvent *event)
596 {
597   GstFileSrc *src = GST_FILESRC(GST_PAD_PARENT(pad));
598
599   switch (GST_EVENT_TYPE (event)) {
600     case GST_EVENT_SEEK:
601       src->curoffset = (guint64) GST_EVENT_SEEK_OFFSET (event);
602       src->seek_happened = TRUE;
603       gst_event_free (event);
604       // push a discontinuous event?
605     default:
606       break;
607   }
608
609   return TRUE;
610 }