sys/v4l2/gstv4l2src.c

   1 /* GStreamer
   2  *
   3  * Copyright (C) 2001-2002 Ronald Bultje <rbultje@ronald.bitfreak.net>
   4  *               2006 Edgard Lima <edgard.lima@indt.org.br>
   5  *
   6  * gstv4l2src.c: Video4Linux2 source element
   7  *
   8  * This library is free software; you can redistribute it and/or
   9  * modify it under the terms of the GNU Library General Public
  10  * License as published by the Free Software Foundation; either
  11  * version 2 of the License, or (at your option) any later version.
  12  *
  13  * This library is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16  * Library General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU Library General Public
  19  * License along with this library; if not, write to the
  20  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  21  * Boston, MA 02111-1307, USA.
  22  */
  23
  24 /**
  25  * SECTION:element-v4l2src
  26  *
  27  * v4l2src can be used to capture video from v4l2 devices, like webcams and tv
  28  * cards.
  29  *
  30  * <refsect2>
  31  * <title>Example launch lines</title>
  32  * |[
  33  * gst-launch v4l2src ! xvimagesink
  34  * ]| This pipeline shows the video captured from /dev/video0 tv card and for
  35  * webcams.
  36  * |[
  37  * gst-launch v4l2src ! jpegdec ! xvimagesink
  38  * ]| This pipeline shows the video captured from a webcam that delivers jpeg
  39  * images.
  40  * </refsect2>
  41  */
  42
  43 #ifdef HAVE_CONFIG_H
  44 #include <config.h>
  45 #endif
  46
  47 #undef HAVE_XVIDEO
  48
  49 #include <string.h>
  50 #include <sys/time.h>
  51 #include "v4l2src_calls.h"
  52 #include <unistd.h>
  53
  54 #include "gstv4l2colorbalance.h"
  55 #include "gstv4l2tuner.h"
  56 #ifdef HAVE_XVIDEO
  57 #include "gstv4l2xoverlay.h"
  58 #endif
  59 #include "gstv4l2vidorient.h"
  60
  61 #include "gst/gst-i18n-plugin.h"
  62
  63 GST_DEBUG_CATEGORY (v4l2src_debug);
  64 #define GST_CAT_DEFAULT v4l2src_debug
  65
  66 #define PROP_DEF_QUEUE_SIZE         2
  67 #define PROP_DEF_ALWAYS_COPY        TRUE
  68 #define PROP_DEF_DECIMATE           1
  69
  70 #define DEFAULT_PROP_DEVICE   "/dev/video0"
  71
  72 enum
  73 {
  74   PROP_0,
  75   V4L2_STD_OBJECT_PROPS,
  76   PROP_QUEUE_SIZE,
  77   PROP_ALWAYS_COPY,
  78   PROP_DECIMATE
  79 };
  80
  81 GST_IMPLEMENT_V4L2_PROBE_METHODS (GstV4l2SrcClass, gst_v4l2src);
  82 GST_IMPLEMENT_V4L2_COLOR_BALANCE_METHODS (GstV4l2Src, gst_v4l2src);
  83 GST_IMPLEMENT_V4L2_TUNER_METHODS (GstV4l2Src, gst_v4l2src);
  84 #ifdef HAVE_XVIDEO
  85 GST_IMPLEMENT_V4L2_XOVERLAY_METHODS (GstV4l2Src, gst_v4l2src);
  86 #endif
  87 GST_IMPLEMENT_V4L2_VIDORIENT_METHODS (GstV4l2Src, gst_v4l2src);
  88
  89 static void gst_v4l2src_uri_handler_init (gpointer g_iface,
  90     gpointer iface_data);
  91
  92 static gboolean
  93 gst_v4l2src_iface_supported (GstImplementsInterface * iface, GType iface_type)
  94 {
  95   GstV4l2Object *v4l2object = GST_V4L2SRC (iface)->v4l2object;
  96
  97 #ifdef HAVE_XVIDEO
  98   g_assert (iface_type == GST_TYPE_TUNER ||
  99       iface_type == GST_TYPE_X_OVERLAY ||
 100       iface_type == GST_TYPE_COLOR_BALANCE ||
 101       iface_type == GST_TYPE_VIDEO_ORIENTATION);
 102 #else
 103   g_assert (iface_type == GST_TYPE_TUNER ||
 104       iface_type == GST_TYPE_COLOR_BALANCE ||
 105       iface_type == GST_TYPE_VIDEO_ORIENTATION);
 106 #endif
 107
 108   if (v4l2object->video_fd == -1)
 109     return FALSE;
 110
 111 #ifdef HAVE_XVIDEO
 112   if (iface_type == GST_TYPE_X_OVERLAY && !GST_V4L2_IS_OVERLAY (v4l2object))
 113     return FALSE;
 114 #endif
 115
 116   return TRUE;
 117 }
 118
 119 static void
 120 gst_v4l2src_interface_init (GstImplementsInterfaceClass * klass)
 121 {
 122   /*
 123    * default virtual functions
 124    */
 125   klass->supported = gst_v4l2src_iface_supported;
 126 }
 127
 128 static void
 129 gst_v4l2src_init_interfaces (GType type)
 130 {
 131   static const GInterfaceInfo urihandler_info = {
 132     gst_v4l2src_uri_handler_init,
 133     NULL,
 134     NULL
 135   };
 136
 137   static const GInterfaceInfo v4l2iface_info = {
 138     (GInterfaceInitFunc) gst_v4l2src_interface_init,
 139     NULL,
 140     NULL,
 141   };
 142   static const GInterfaceInfo v4l2_tuner_info = {
 143     (GInterfaceInitFunc) gst_v4l2src_tuner_interface_init,
 144     NULL,
 145     NULL,
 146   };
 147 #ifdef HAVE_XVIDEO
 148   /* FIXME: does GstXOverlay for v4l2src make sense in a GStreamer context? */
 149   static const GInterfaceInfo v4l2_xoverlay_info = {
 150     (GInterfaceInitFunc) gst_v4l2src_xoverlay_interface_init,
 151     NULL,
 152     NULL,
 153   };
 154 #endif
 155   static const GInterfaceInfo v4l2_colorbalance_info = {
 156     (GInterfaceInitFunc) gst_v4l2src_color_balance_interface_init,
 157     NULL,
 158     NULL,
 159   };
 160   static const GInterfaceInfo v4l2_videoorientation_info = {
 161     (GInterfaceInitFunc) gst_v4l2src_video_orientation_interface_init,
 162     NULL,
 163     NULL,
 164   };
 165   static const GInterfaceInfo v4l2_propertyprobe_info = {
 166     (GInterfaceInitFunc) gst_v4l2src_property_probe_interface_init,
 167     NULL,
 168     NULL,
 169   };
 170
 171   g_type_add_interface_static (type, GST_TYPE_URI_HANDLER, &urihandler_info);
 172   g_type_add_interface_static (type,
 173       GST_TYPE_IMPLEMENTS_INTERFACE, &v4l2iface_info);
 174   g_type_add_interface_static (type, GST_TYPE_TUNER, &v4l2_tuner_info);
 175 #ifdef HAVE_XVIDEO
 176   g_type_add_interface_static (type, GST_TYPE_X_OVERLAY, &v4l2_xoverlay_info);
 177 #endif
 178   g_type_add_interface_static (type,
 179       GST_TYPE_COLOR_BALANCE, &v4l2_colorbalance_info);
 180   g_type_add_interface_static (type,
 181       GST_TYPE_VIDEO_ORIENTATION, &v4l2_videoorientation_info);
 182   g_type_add_interface_static (type, GST_TYPE_PROPERTY_PROBE,
 183       &v4l2_propertyprobe_info);
 184 }
 185
 186 GST_BOILERPLATE_FULL (GstV4l2Src, gst_v4l2src, GstPushSrc, GST_TYPE_PUSH_SRC,
 187     gst_v4l2src_init_interfaces);
 188
 189 static void gst_v4l2src_dispose (GObject * object);
 190 static void gst_v4l2src_finalize (GstV4l2Src * v4l2src);
 191
 192 /* element methods */
 193 static GstStateChangeReturn gst_v4l2src_change_state (GstElement * element,
 194     GstStateChange transition);
 195
 196 /* basesrc methods */
 197 static gboolean gst_v4l2src_start (GstBaseSrc * src);
 198 static gboolean gst_v4l2src_unlock (GstBaseSrc * src);
 199 static gboolean gst_v4l2src_unlock_stop (GstBaseSrc * src);
 200 static gboolean gst_v4l2src_stop (GstBaseSrc * src);
 201 static gboolean gst_v4l2src_set_caps (GstBaseSrc * src, GstCaps * caps);
 202 static GstCaps *gst_v4l2src_get_caps (GstBaseSrc * src);
 203 static gboolean gst_v4l2src_query (GstBaseSrc * bsrc, GstQuery * query);
 204 static GstFlowReturn gst_v4l2src_create (GstPushSrc * src, GstBuffer ** out);
 205 static void gst_v4l2src_fixate (GstBaseSrc * basesrc, GstCaps * caps);
 206 static gboolean gst_v4l2src_negotiate (GstBaseSrc * basesrc);
 207
 208 static void gst_v4l2src_set_property (GObject * object, guint prop_id,
 209     const GValue * value, GParamSpec * pspec);
 210 static void gst_v4l2src_get_property (GObject * object, guint prop_id,
 211     GValue * value, GParamSpec * pspec);
 212
 213 /* get_frame io methods */
 214 static GstFlowReturn
 215 gst_v4l2src_get_read (GstV4l2Src * v4l2src, GstBuffer ** buf);
 216 static GstFlowReturn
 217 gst_v4l2src_get_mmap (GstV4l2Src * v4l2src, GstBuffer ** buf);
 218
 219 static void
 220 gst_v4l2src_base_init (gpointer g_class)
 221 {
 222   GstElementClass *gstelement_class = GST_ELEMENT_CLASS (g_class);
 223   GstV4l2SrcClass *gstv4l2src_class = GST_V4L2SRC_CLASS (g_class);
 224   GstPadTemplate *pad_template;
 225
 226   gstv4l2src_class->v4l2_class_devices = NULL;
 227
 228   GST_DEBUG_CATEGORY_INIT (v4l2src_debug, "v4l2src", 0, "V4L2 source element");
 229
 230   gst_element_class_set_details_simple (gstelement_class,
 231       "Video (video4linux2) Source", "Source/Video",
 232       "Reads frames from a Video4Linux2 device",
 233       "Edgard Lima <edgard.lima@indt.org.br>,"
 234       " Stefan Kost <ensonic@users.sf.net>");
 235
 236   pad_template =
 237       gst_pad_template_new ("src", GST_PAD_SRC, GST_PAD_ALWAYS,
 238       gst_v4l2_object_get_all_caps ());
 239   gst_element_class_add_pad_template (gstelement_class, pad_template);
 240   gst_object_unref (pad_template);
 241 }
 242
 243 static void
 244 gst_v4l2src_class_init (GstV4l2SrcClass * klass)
 245 {
 246   GObjectClass *gobject_class;
 247   GstElementClass *element_class;
 248   GstBaseSrcClass *basesrc_class;
 249   GstPushSrcClass *pushsrc_class;
 250
 251   gobject_class = G_OBJECT_CLASS (klass);
 252   element_class = GST_ELEMENT_CLASS (klass);
 253   basesrc_class = GST_BASE_SRC_CLASS (klass);
 254   pushsrc_class = GST_PUSH_SRC_CLASS (klass);
 255
 256   gobject_class->dispose = gst_v4l2src_dispose;
 257   gobject_class->finalize = (GObjectFinalizeFunc) gst_v4l2src_finalize;
 258   gobject_class->set_property = gst_v4l2src_set_property;
 259   gobject_class->get_property = gst_v4l2src_get_property;
 260
 261   element_class->change_state = gst_v4l2src_change_state;
 262
 263   gst_v4l2_object_install_properties_helper (gobject_class,
 264       DEFAULT_PROP_DEVICE);
 265   g_object_class_install_property (gobject_class, PROP_QUEUE_SIZE,
 266       g_param_spec_uint ("queue-size", "Queue size",
 267           "Number of buffers to be enqueud in the driver in streaming mode",
 268           GST_V4L2_MIN_BUFFERS, GST_V4L2_MAX_BUFFERS, PROP_DEF_QUEUE_SIZE,
 269           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 270   g_object_class_install_property (gobject_class, PROP_ALWAYS_COPY,
 271       g_param_spec_boolean ("always-copy", "Always Copy",
 272           "If the buffer will or not be used directly from mmap",
 273           PROP_DEF_ALWAYS_COPY, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 274   /**
 275    * GstV4l2Src:decimate
 276    *
 277    * Only use every nth frame
 278    *
 279    * Since: 0.10.26
 280    */
 281   g_object_class_install_property (gobject_class, PROP_DECIMATE,
 282       g_param_spec_int ("decimate", "Decimate",
 283           "Only use every nth frame", 1, G_MAXINT,
 284           PROP_DEF_DECIMATE, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 285
 286   basesrc_class->get_caps = GST_DEBUG_FUNCPTR (gst_v4l2src_get_caps);
 287   basesrc_class->set_caps = GST_DEBUG_FUNCPTR (gst_v4l2src_set_caps);
 288   basesrc_class->start = GST_DEBUG_FUNCPTR (gst_v4l2src_start);
 289   basesrc_class->unlock = GST_DEBUG_FUNCPTR (gst_v4l2src_unlock);
 290   basesrc_class->unlock_stop = GST_DEBUG_FUNCPTR (gst_v4l2src_unlock_stop);
 291   basesrc_class->stop = GST_DEBUG_FUNCPTR (gst_v4l2src_stop);
 292   basesrc_class->query = GST_DEBUG_FUNCPTR (gst_v4l2src_query);
 293   basesrc_class->fixate = GST_DEBUG_FUNCPTR (gst_v4l2src_fixate);
 294   basesrc_class->negotiate = GST_DEBUG_FUNCPTR (gst_v4l2src_negotiate);
 295
 296   pushsrc_class->create = GST_DEBUG_FUNCPTR (gst_v4l2src_create);
 297 }
 298
 299 static void
 300 gst_v4l2src_init (GstV4l2Src * v4l2src, GstV4l2SrcClass * klass)
 301 {
 302   /* fixme: give an update_fps_function */
 303   v4l2src->v4l2object = gst_v4l2_object_new (GST_ELEMENT (v4l2src),
 304       V4L2_BUF_TYPE_VIDEO_CAPTURE, DEFAULT_PROP_DEVICE,
 305       gst_v4l2_get_input, gst_v4l2_set_input, NULL);
 306
 307   /* number of buffers requested */
 308   v4l2src->num_buffers = PROP_DEF_QUEUE_SIZE;
 309
 310   v4l2src->always_copy = PROP_DEF_ALWAYS_COPY;
 311   v4l2src->decimate = PROP_DEF_DECIMATE;
 312
 313   v4l2src->is_capturing = FALSE;
 314
 315   gst_base_src_set_format (GST_BASE_SRC (v4l2src), GST_FORMAT_TIME);
 316   gst_base_src_set_live (GST_BASE_SRC (v4l2src), TRUE);
 317
 318   v4l2src->fps_d = 0;
 319   v4l2src->fps_n = 0;
 320 }
 321
 322
 323 static void
 324 gst_v4l2src_dispose (GObject * object)
 325 {
 326   GstV4l2Src *v4l2src = GST_V4L2SRC (object);
 327
 328   if (v4l2src->probed_caps) {
 329     gst_caps_unref (v4l2src->probed_caps);
 330   }
 331
 332   G_OBJECT_CLASS (parent_class)->dispose (object);
 333 }
 334
 335
 336 static void
 337 gst_v4l2src_finalize (GstV4l2Src * v4l2src)
 338 {
 339   gst_v4l2_object_destroy (v4l2src->v4l2object);
 340
 341   G_OBJECT_CLASS (parent_class)->finalize ((GObject *) (v4l2src));
 342 }
 343
 344
 345 static void
 346 gst_v4l2src_set_property (GObject * object,
 347     guint prop_id, const GValue * value, GParamSpec * pspec)
 348 {
 349   GstV4l2Src *v4l2src = GST_V4L2SRC (object);
 350
 351   if (!gst_v4l2_object_set_property_helper (v4l2src->v4l2object,
 352           prop_id, value, pspec)) {
 353     switch (prop_id) {
 354       case PROP_QUEUE_SIZE:
 355         v4l2src->num_buffers = g_value_get_uint (value);
 356         break;
 357       case PROP_ALWAYS_COPY:
 358         v4l2src->always_copy = g_value_get_boolean (value);
 359         break;
 360       case PROP_DECIMATE:
 361         v4l2src->decimate = g_value_get_int (value);
 362         break;
 363       default:
 364         G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 365         break;
 366     }
 367   }
 368 }
 369
 370
 371 static void
 372 gst_v4l2src_get_property (GObject * object,
 373     guint prop_id, GValue * value, GParamSpec * pspec)
 374 {
 375   GstV4l2Src *v4l2src = GST_V4L2SRC (object);
 376
 377   if (!gst_v4l2_object_get_property_helper (v4l2src->v4l2object,
 378           prop_id, value, pspec)) {
 379     switch (prop_id) {
 380       case PROP_QUEUE_SIZE:
 381         g_value_set_uint (value, v4l2src->num_buffers);
 382         break;
 383       case PROP_ALWAYS_COPY:
 384         g_value_set_boolean (value, v4l2src->always_copy);
 385         break;
 386       case PROP_DECIMATE:
 387         g_value_set_int (value, v4l2src->decimate);
 388         break;
 389       default:
 390         G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 391         break;
 392     }
 393   }
 394 }
 395
 396
 397 /* this function is a bit of a last resort */
 398 static void
 399 gst_v4l2src_fixate (GstBaseSrc * basesrc, GstCaps * caps)
 400 {
 401   GstStructure *structure;
 402   gint i;
 403
 404   GST_DEBUG_OBJECT (basesrc, "fixating caps %" GST_PTR_FORMAT, caps);
 405
 406   for (i = 0; i < gst_caps_get_size (caps); ++i) {
 407     const GValue *v;
 408
 409     structure = gst_caps_get_structure (caps, i);
 410
 411     /* FIXME such sizes? we usually fixate to something in the 320x200
 412      * range... */
 413     /* We are fixating to greater possble size (limited to GST_V4L2_MAX_SIZE)
 414        and the maximum framerate resolution for that size */
 415     gst_structure_fixate_field_nearest_int (structure, "width",
 416         GST_V4L2_MAX_SIZE);
 417     gst_structure_fixate_field_nearest_int (structure, "height",
 418         GST_V4L2_MAX_SIZE);
 419     gst_structure_fixate_field_nearest_fraction (structure, "framerate",
 420         G_MAXINT, 1);
 421
 422     v = gst_structure_get_value (structure, "format");
 423     if (v && G_VALUE_TYPE (v) != GST_TYPE_FOURCC) {
 424       guint32 fourcc;
 425
 426       g_return_if_fail (G_VALUE_TYPE (v) == GST_TYPE_LIST);
 427
 428       fourcc = gst_value_get_fourcc (gst_value_list_get_value (v, 0));
 429       gst_structure_set (structure, "format", GST_TYPE_FOURCC, fourcc, NULL);
 430     }
 431   }
 432
 433   GST_DEBUG_OBJECT (basesrc, "fixated caps %" GST_PTR_FORMAT, caps);
 434 }
 435
 436
 437 static gboolean
 438 gst_v4l2src_negotiate (GstBaseSrc * basesrc)
 439 {
 440   GstCaps *thiscaps;
 441   GstCaps *caps = NULL;
 442   GstCaps *peercaps = NULL;
 443   gboolean result = FALSE;
 444
 445   /* first see what is possible on our source pad */
 446   thiscaps = gst_pad_get_caps (GST_BASE_SRC_PAD (basesrc));
 447   GST_DEBUG_OBJECT (basesrc, "caps of src: %" GST_PTR_FORMAT, thiscaps);
 448   LOG_CAPS (basesrc, thiscaps);
 449
 450   /* nothing or anything is allowed, we're done */
 451   if (thiscaps == NULL || gst_caps_is_any (thiscaps))
 452     goto no_nego_needed;
 453
 454   /* get the peer caps */
 455   peercaps = gst_pad_peer_get_caps (GST_BASE_SRC_PAD (basesrc));
 456   GST_DEBUG_OBJECT (basesrc, "caps of peer: %" GST_PTR_FORMAT, peercaps);
 457   LOG_CAPS (basesrc, peercaps);
 458   if (peercaps && !gst_caps_is_any (peercaps)) {
 459     GstCaps *icaps = NULL;
 460     int i;
 461
 462     /* Prefer the first caps we are compatible with that the peer proposed */
 463     for (i = 0; i < gst_caps_get_size (peercaps); i++) {
 464       /* get intersection */
 465       GstCaps *ipcaps = gst_caps_copy_nth (peercaps, i);
 466
 467       GST_DEBUG_OBJECT (basesrc, "peer: %" GST_PTR_FORMAT, ipcaps);
 468       LOG_CAPS (basesrc, ipcaps);
 469
 470       icaps = gst_caps_intersect (thiscaps, ipcaps);
 471       gst_caps_unref (ipcaps);
 472
 473       if (!gst_caps_is_empty (icaps))
 474         break;
 475
 476       gst_caps_unref (icaps);
 477       icaps = NULL;
 478     }
 479
 480     GST_DEBUG_OBJECT (basesrc, "intersect: %" GST_PTR_FORMAT, icaps);
 481     LOG_CAPS (basesrc, icaps);
 482     if (icaps) {
 483       /* If there are multiple intersections pick the one with the smallest
 484        * resolution strictly bigger then the first peer caps */
 485       if (gst_caps_get_size (icaps) > 1) {
 486         GstStructure *s = gst_caps_get_structure (peercaps, 0);
 487
 488         int best = 0;
 489
 490         int twidth, theight;
 491
 492         int width = G_MAXINT, height = G_MAXINT;
 493
 494         if (gst_structure_get_int (s, "width", &twidth)
 495             && gst_structure_get_int (s, "height", &theight)) {
 496
 497           /* Walk the structure backwards to get the first entry of the
 498            * smallest resolution bigger (or equal to) the preferred resolution)
 499            */
 500           for (i = gst_caps_get_size (icaps) - 1; i >= 0; i--) {
 501             GstStructure *is = gst_caps_get_structure (icaps, i);
 502
 503             int w, h;
 504
 505             if (gst_structure_get_int (is, "width", &w)
 506                 && gst_structure_get_int (is, "height", &h)) {
 507               if (w >= twidth && w <= width && h >= theight && h <= height) {
 508                 width = w;
 509                 height = h;
 510                 best = i;
 511               }
 512             }
 513           }
 514         }
 515
 516         caps = gst_caps_copy_nth (icaps, best);
 517         gst_caps_unref (icaps);
 518       } else {
 519         caps = icaps;
 520       }
 521     }
 522     gst_caps_unref (thiscaps);
 523     gst_caps_unref (peercaps);
 524   } else {
 525     /* no peer or peer have ANY caps, work with our own caps then */
 526     caps = thiscaps;
 527   }
 528   if (caps) {
 529     caps = gst_caps_make_writable (caps);
 530     gst_caps_truncate (caps);
 531
 532     /* now fixate */
 533     if (!gst_caps_is_empty (caps)) {
 534       gst_pad_fixate_caps (GST_BASE_SRC_PAD (basesrc), caps);
 535       GST_DEBUG_OBJECT (basesrc, "fixated to: %" GST_PTR_FORMAT, caps);
 536       LOG_CAPS (basesrc, caps);
 537
 538       if (gst_caps_is_any (caps)) {
 539         /* hmm, still anything, so element can do anything and
 540          * nego is not needed */
 541         result = TRUE;
 542       } else if (gst_caps_is_fixed (caps)) {
 543         /* yay, fixed caps, use those then */
 544         if (gst_pad_set_caps (GST_BASE_SRC_PAD (basesrc), caps))
 545           result = TRUE;
 546       }
 547     }
 548     gst_caps_unref (caps);
 549   }
 550   return result;
 551
 552 no_nego_needed:
 553   {
 554     GST_DEBUG_OBJECT (basesrc, "no negotiation needed");
 555     if (thiscaps)
 556       gst_caps_unref (thiscaps);
 557     return TRUE;
 558   }
 559 }
 560
 561 static GstCaps *
 562 gst_v4l2src_get_caps (GstBaseSrc * src)
 563 {
 564   GstV4l2Src *v4l2src = GST_V4L2SRC (src);
 565   GstCaps *ret;
 566   GSList *walk;
 567   GSList *formats;
 568
 569   if (!GST_V4L2_IS_OPEN (v4l2src->v4l2object)) {
 570     /* FIXME: copy? */
 571     return
 572         gst_caps_copy (gst_pad_get_pad_template_caps (GST_BASE_SRC_PAD
 573             (v4l2src)));
 574   }
 575
 576   if (v4l2src->probed_caps)
 577     return gst_caps_ref (v4l2src->probed_caps);
 578
 579   formats = gst_v4l2_object_get_format_list (v4l2src->v4l2object);
 580
 581   ret = gst_caps_new_empty ();
 582
 583   for (walk = formats; walk; walk = walk->next) {
 584     struct v4l2_fmtdesc *format;
 585
 586     GstStructure *template;
 587
 588     format = (struct v4l2_fmtdesc *) walk->data;
 589
 590     template = gst_v4l2_object_v4l2fourcc_to_structure (format->pixelformat);
 591
 592     if (template) {
 593       GstCaps *tmp;
 594
 595       tmp =
 596           gst_v4l2_object_probe_caps_for_format (v4l2src->v4l2object,
 597           format->pixelformat, template);
 598       if (tmp)
 599         gst_caps_append (ret, tmp);
 600
 601       gst_structure_free (template);
 602     } else {
 603       GST_DEBUG_OBJECT (v4l2src, "unknown format %u", format->pixelformat);
 604     }
 605   }
 606
 607   v4l2src->probed_caps = gst_caps_ref (ret);
 608
 609   GST_INFO_OBJECT (v4l2src, "probed caps: %" GST_PTR_FORMAT, ret);
 610
 611   return ret;
 612 }
 613
 614 static gboolean
 615 gst_v4l2src_set_caps (GstBaseSrc * src, GstCaps * caps)
 616 {
 617   GstV4l2Src *v4l2src;
 618   gint w = 0, h = 0;
 619   gboolean interlaced;
 620   struct v4l2_fmtdesc *format;
 621   guint fps_n, fps_d;
 622   guint size;
 623
 624   v4l2src = GST_V4L2SRC (src);
 625
 626   /* if we're not open, punt -- we'll get setcaps'd later via negotiate */
 627   if (!GST_V4L2_IS_OPEN (v4l2src->v4l2object))
 628     return FALSE;
 629
 630   /* make sure we stop capturing and dealloc buffers */
 631   if (GST_V4L2_IS_ACTIVE (v4l2src->v4l2object)) {
 632     /* both will throw an element-error on failure */
 633     if (!gst_v4l2src_capture_stop (v4l2src))
 634       return FALSE;
 635     if (!gst_v4l2src_capture_deinit (v4l2src))
 636       return FALSE;
 637   }
 638
 639   /* we want our own v4l2 type of fourcc codes */
 640   if (!gst_v4l2_object_get_caps_info (v4l2src->v4l2object, caps, &format, &w,
 641           &h, &interlaced, &fps_n, &fps_d, &size)) {
 642     GST_INFO_OBJECT (v4l2src,
 643         "can't get capture format from caps %" GST_PTR_FORMAT, caps);
 644     return FALSE;
 645   }
 646
 647   GST_DEBUG_OBJECT (v4l2src, "trying to set_capture %dx%d at %d/%d fps, "
 648       "format %s", w, h, fps_n, fps_d, format->description);
 649
 650   if (!gst_v4l2src_set_capture (v4l2src, format->pixelformat, w, h,
 651           interlaced, fps_n, fps_d))
 652     /* error already posted */
 653     return FALSE;
 654
 655   if (!gst_v4l2src_capture_init (v4l2src, caps))
 656     return FALSE;
 657
 658   if (v4l2src->use_mmap) {
 659     v4l2src->get_frame = gst_v4l2src_get_mmap;
 660   } else {
 661     v4l2src->get_frame = gst_v4l2src_get_read;
 662   }
 663
 664   if (!gst_v4l2src_capture_start (v4l2src))
 665     return FALSE;
 666
 667   /* now store the expected output size */
 668   v4l2src->frame_byte_size = size;
 669
 670   return TRUE;
 671 }
 672
 673 static gboolean
 674 gst_v4l2src_query (GstBaseSrc * bsrc, GstQuery * query)
 675 {
 676   GstV4l2Src *src;
 677
 678   gboolean res = FALSE;
 679
 680   src = GST_V4L2SRC (bsrc);
 681
 682   switch (GST_QUERY_TYPE (query)) {
 683     case GST_QUERY_LATENCY:{
 684       GstClockTime min_latency, max_latency;
 685
 686       /* device must be open */
 687       if (!GST_V4L2_IS_OPEN (src->v4l2object)) {
 688         GST_WARNING_OBJECT (src,
 689             "Can't give latency since device isn't open !");
 690         goto done;
 691       }
 692
 693       /* we must have a framerate */
 694       if (src->fps_n <= 0 || src->fps_d <= 0) {
 695         GST_WARNING_OBJECT (src,
 696             "Can't give latency since framerate isn't fixated !");
 697         goto done;
 698       }
 699
 700       /* min latency is the time to capture one frame */
 701       min_latency =
 702           gst_util_uint64_scale_int (GST_SECOND, src->fps_d, src->fps_n);
 703
 704       /* max latency is total duration of the frame buffer */
 705       max_latency = src->num_buffers * min_latency;
 706
 707       GST_DEBUG_OBJECT (bsrc,
 708           "report latency min %" GST_TIME_FORMAT " max %" GST_TIME_FORMAT,
 709           GST_TIME_ARGS (min_latency), GST_TIME_ARGS (max_latency));
 710
 711       /* we are always live, the min latency is 1 frame and the max latency is
 712        * the complete buffer of frames. */
 713       gst_query_set_latency (query, TRUE, min_latency, max_latency);
 714
 715       res = TRUE;
 716       break;
 717     }
 718     default:
 719       res = GST_BASE_SRC_CLASS (parent_class)->query (bsrc, query);
 720       break;
 721   }
 722
 723 done:
 724
 725   return res;
 726 }
 727
 728 /* start and stop are not symmetric -- start will open the device, but not start
 729  * capture. it's setcaps that will start capture, which is called via basesrc's
 730  * negotiate method. stop will both stop capture and close the device.
 731  */
 732 static gboolean
 733 gst_v4l2src_start (GstBaseSrc * src)
 734 {
 735   GstV4l2Src *v4l2src = GST_V4L2SRC (src);
 736
 737   v4l2src->offset = 0;
 738
 739   /* activate settings for first frame */
 740   v4l2src->ctrl_time = 0;
 741   gst_object_sync_values (G_OBJECT (src), v4l2src->ctrl_time);
 742
 743   return TRUE;
 744 }
 745
 746 static gboolean
 747 gst_v4l2src_unlock (GstBaseSrc * src)
 748 {
 749   GstV4l2Src *v4l2src = GST_V4L2SRC (src);
 750
 751   GST_LOG_OBJECT (src, "Flushing");
 752   gst_poll_set_flushing (v4l2src->v4l2object->poll, TRUE);
 753
 754   return TRUE;
 755 }
 756
 757 static gboolean
 758 gst_v4l2src_unlock_stop (GstBaseSrc * src)
 759 {
 760   GstV4l2Src *v4l2src = GST_V4L2SRC (src);
 761
 762   GST_LOG_OBJECT (src, "No longer flushing");
 763   gst_poll_set_flushing (v4l2src->v4l2object->poll, FALSE);
 764
 765   return TRUE;
 766 }
 767
 768 static gboolean
 769 gst_v4l2src_stop (GstBaseSrc * src)
 770 {
 771   GstV4l2Src *v4l2src = GST_V4L2SRC (src);
 772
 773   if (GST_V4L2_IS_ACTIVE (v4l2src->v4l2object)
 774       && !gst_v4l2src_capture_stop (v4l2src))
 775     return FALSE;
 776
 777   if (v4l2src->v4l2object->buffer != NULL) {
 778     if (!gst_v4l2src_capture_deinit (v4l2src))
 779       return FALSE;
 780   }
 781
 782   v4l2src->fps_d = 0;
 783   v4l2src->fps_n = 0;
 784
 785   return TRUE;
 786 }
 787
 788 static GstStateChangeReturn
 789 gst_v4l2src_change_state (GstElement * element, GstStateChange transition)
 790 {
 791   GstStateChangeReturn ret = GST_STATE_CHANGE_SUCCESS;
 792   GstV4l2Src *v4l2src = GST_V4L2SRC (element);
 793
 794   switch (transition) {
 795     case GST_STATE_CHANGE_NULL_TO_READY:
 796       /* open the device */
 797       if (!gst_v4l2_object_start (v4l2src->v4l2object))
 798         return GST_STATE_CHANGE_FAILURE;
 799       break;
 800     default:
 801       break;
 802   }
 803
 804   ret = GST_ELEMENT_CLASS (parent_class)->change_state (element, transition);
 805
 806   switch (transition) {
 807     case GST_STATE_CHANGE_READY_TO_NULL:
 808       /* close the device */
 809       if (!gst_v4l2_object_stop (v4l2src->v4l2object))
 810         return GST_STATE_CHANGE_FAILURE;
 811
 812       if (v4l2src->probed_caps) {
 813         gst_caps_unref (v4l2src->probed_caps);
 814         v4l2src->probed_caps = NULL;
 815       }
 816       break;
 817     default:
 818       break;
 819   }
 820
 821   return ret;
 822 }
 823
 824 static GstFlowReturn
 825 gst_v4l2src_get_read (GstV4l2Src * v4l2src, GstBuffer ** buf)
 826 {
 827   gint amount;
 828   gint ret;
 829
 830   gint buffersize;
 831
 832   buffersize = v4l2src->frame_byte_size;
 833   /* In case the size per frame is unknown assume it's a streaming format (e.g.
 834    * mpegts) and grab a reasonable default size instead */
 835   if (buffersize == 0)
 836     buffersize = GST_BASE_SRC (v4l2src)->blocksize;
 837
 838   *buf = gst_buffer_new_and_alloc (buffersize);
 839
 840   do {
 841     ret = gst_poll_wait (v4l2src->v4l2object->poll, GST_CLOCK_TIME_NONE);
 842     if (G_UNLIKELY (ret < 0)) {
 843       if (errno == EBUSY)
 844         goto stopped;
 845       if (errno == ENXIO) {
 846         GST_DEBUG_OBJECT (v4l2src,
 847             "v4l2 device doesn't support polling. Disabling");
 848         v4l2src->v4l2object->can_poll_device = FALSE;
 849       } else {
 850         if (errno != EAGAIN && errno != EINTR)
 851           goto select_error;
 852       }
 853     }
 854     amount =
 855         v4l2_read (v4l2src->v4l2object->video_fd, GST_BUFFER_DATA (*buf),
 856         buffersize);
 857     if (amount == buffersize) {
 858       break;
 859     } else if (amount == -1) {
 860       if (errno == EAGAIN || errno == EINTR) {
 861         continue;
 862       } else
 863         goto read_error;
 864     } else {
 865       /* short reads can happen if a signal interrupts the read */
 866       continue;
 867     }
 868   } while (TRUE);
 869
 870   /* we set the buffer metadata in gst_v4l2src_create() */
 871
 872   return GST_FLOW_OK;
 873
 874   /* ERRORS */
 875 select_error:
 876   {
 877     GST_ELEMENT_ERROR (v4l2src, RESOURCE, READ, (NULL),
 878         ("select error %d: %s (%d)", ret, g_strerror (errno), errno));
 879     return GST_FLOW_ERROR;
 880   }
 881 stopped:
 882   {
 883     GST_DEBUG ("stop called");
 884     return GST_FLOW_WRONG_STATE;
 885   }
 886 read_error:
 887   {
 888     GST_ELEMENT_ERROR (v4l2src, RESOURCE, READ,
 889         (_("Error reading %d bytes from device '%s'."),
 890             buffersize, v4l2src->v4l2object->videodev), GST_ERROR_SYSTEM);
 891     gst_buffer_unref (*buf);
 892     return GST_FLOW_ERROR;
 893   }
 894 }
 895
 896 static GstFlowReturn
 897 gst_v4l2src_get_mmap (GstV4l2Src * v4l2src, GstBuffer ** buf)
 898 {
 899   GstBuffer *temp;
 900   GstFlowReturn ret;
 901   guint size;
 902   guint count = 0;
 903
 904 again:
 905   ret = gst_v4l2src_grab_frame (v4l2src, &temp);
 906   if (G_UNLIKELY (ret != GST_FLOW_OK))
 907     goto done;
 908
 909   if (v4l2src->frame_byte_size > 0) {
 910     size = GST_BUFFER_SIZE (temp);
 911
 912     /* if size does not match what we expected, try again */
 913     if (size != v4l2src->frame_byte_size) {
 914       GST_ELEMENT_WARNING (v4l2src, RESOURCE, READ,
 915           (_("Got unexpected frame size of %u instead of %u."),
 916               size, v4l2src->frame_byte_size), (NULL));
 917       gst_buffer_unref (temp);
 918       if (count++ > 50)
 919         goto size_error;
 920
 921       goto again;
 922     }
 923   }
 924
 925   *buf = temp;
 926 done:
 927   return ret;
 928
 929   /* ERRORS */
 930 size_error:
 931   {
 932     GST_ELEMENT_ERROR (v4l2src, RESOURCE, READ,
 933         (_("Error reading %d bytes on device '%s'."),
 934             v4l2src->frame_byte_size, v4l2src->v4l2object->videodev), (NULL));
 935     return GST_FLOW_ERROR;
 936   }
 937 }
 938
 939 static GstFlowReturn
 940 gst_v4l2src_create (GstPushSrc * src, GstBuffer ** buf)
 941 {
 942   GstV4l2Src *v4l2src = GST_V4L2SRC (src);
 943   int i;
 944   GstFlowReturn ret;
 945
 946   for (i = 0; i < v4l2src->decimate - 1; i++) {
 947     ret = v4l2src->get_frame (v4l2src, buf);
 948     if (ret != GST_FLOW_OK) {
 949       return ret;
 950     }
 951     gst_buffer_unref (*buf);
 952   }
 953
 954   ret = v4l2src->get_frame (v4l2src, buf);
 955
 956   /* set buffer metadata */
 957   if (G_LIKELY (ret == GST_FLOW_OK && *buf)) {
 958     GstClock *clock;
 959     GstClockTime timestamp;
 960
 961     GST_BUFFER_OFFSET (*buf) = v4l2src->offset++;
 962     GST_BUFFER_OFFSET_END (*buf) = v4l2src->offset;
 963
 964     /* timestamps, LOCK to get clock and base time. */
 965     /* FIXME: element clock and base_time is rarely changing */
 966     GST_OBJECT_LOCK (v4l2src);
 967     if ((clock = GST_ELEMENT_CLOCK (v4l2src))) {
 968       /* we have a clock, get base time and ref clock */
 969       timestamp = GST_ELEMENT (v4l2src)->base_time;
 970       gst_object_ref (clock);
 971     } else {
 972       /* no clock, can't set timestamps */
 973       timestamp = GST_CLOCK_TIME_NONE;
 974     }
 975     GST_OBJECT_UNLOCK (v4l2src);
 976
 977     if (G_LIKELY (clock)) {
 978       /* the time now is the time of the clock minus the base time */
 979       timestamp = gst_clock_get_time (clock) - timestamp;
 980       gst_object_unref (clock);
 981
 982       /* if we have a framerate adjust timestamp for frame latency */
 983       if (GST_CLOCK_TIME_IS_VALID (v4l2src->duration)) {
 984         if (timestamp > v4l2src->duration)
 985           timestamp -= v4l2src->duration;
 986         else
 987           timestamp = 0;
 988       }
 989     }
 990
 991     /* activate settings for next frame */
 992     if (GST_CLOCK_TIME_IS_VALID (v4l2src->duration)) {
 993       v4l2src->ctrl_time += v4l2src->duration;
 994     } else {
 995       /* this is not very good (as it should be the next timestamp),
 996        * still good enough for linear fades (as long as it is not -1)
 997        */
 998       v4l2src->ctrl_time = timestamp;
 999     }
1000     gst_object_sync_values (G_OBJECT (src), v4l2src->ctrl_time);
1001     GST_INFO_OBJECT (src, "sync to %" GST_TIME_FORMAT,
1002         GST_TIME_ARGS (v4l2src->ctrl_time));
1003
1004     /* FIXME: use the timestamp from the buffer itself! */
1005     GST_BUFFER_TIMESTAMP (*buf) = timestamp;
1006     GST_BUFFER_DURATION (*buf) = v4l2src->duration;
1007   }
1008   return ret;
1009 }
1010
1011
1012 /* GstURIHandler interface */
1013 static GstURIType
1014 gst_v4l2src_uri_get_type (void)
1015 {
1016   return GST_URI_SRC;
1017 }
1018
1019 static gchar **
1020 gst_v4l2src_uri_get_protocols (void)
1021 {
1022   static gchar *protocols[] = { (char *) "v4l2", NULL };
1023
1024   return protocols;
1025 }
1026
1027 static const gchar *
1028 gst_v4l2src_uri_get_uri (GstURIHandler * handler)
1029 {
1030   GstV4l2Src *v4l2src = GST_V4L2SRC (handler);
1031
1032   if (v4l2src->v4l2object->videodev != NULL) {
1033     gchar uri[256];
1034
1035     /* need to return a const string, but also don't want to leak the generated
1036      * string, so just intern it - there's a limited number of video devices
1037      * after all */
1038     g_snprintf (uri, sizeof (uri), "v4l2://%s", v4l2src->v4l2object->videodev);
1039     return g_intern_string (uri);
1040   }
1041
1042   return "v4l2://";
1043 }
1044
1045 static gboolean
1046 gst_v4l2src_uri_set_uri (GstURIHandler * handler, const gchar * uri)
1047 {
1048   GstV4l2Src *v4l2src = GST_V4L2SRC (handler);
1049   const gchar *device = DEFAULT_PROP_DEVICE;
1050
1051   if (strcmp (uri, "v4l2://") != 0) {
1052     device = uri + 7;
1053   }
1054   g_object_set (v4l2src, "device", device, NULL);
1055
1056   return TRUE;
1057 }
1058
1059
1060 static void
1061 gst_v4l2src_uri_handler_init (gpointer g_iface, gpointer iface_data)
1062 {
1063   GstURIHandlerInterface *iface = (GstURIHandlerInterface *) g_iface;
1064
1065   iface->get_type = gst_v4l2src_uri_get_type;
1066   iface->get_protocols = gst_v4l2src_uri_get_protocols;
1067   iface->get_uri = gst_v4l2src_uri_get_uri;
1068   iface->set_uri = gst_v4l2src_uri_set_uri;
1069 }