docs/manual/basics-pads.xml

   1 <chapter id="chapter-pads" xreflabel="Pads and capabilities">
   2   <title>Pads and capabilities</title>
   3   <para>
   4     As we have seen in <xref linkend="chapter-elements"/>, the pads are
   5     the element's interface to the outside world. Data streams from one
   6     element's source pad to another element's sink pad. The specific
   7     type of media that the element can handle will be exposed by the
   8     pad's capabilities. We will talk more on capabilities later in this
   9     chapter (see <xref linkend="section-caps"/>).
  10   </para>
  11
  12   <sect1 id="section-pads">
  13     <title>Pads</title>
  14     <para>
  15       A pad type is defined by two properties: its direction and its
  16       availability. As we've mentioned before, &GStreamer; defines two
  17       pad directions: source pads and sink pads. This terminology is
  18       defined from the view of within the element: elements receive data
  19       on their sink pads and generate data on their source pads.
  20       Schematically, sink pads are drawn on the left side of an element,
  21       whereas source pads are drawn on the right side of an element. In
  22       such graphs, data flows from left to right.
  23       <footnote>
  24         <para>
  25           In reality, there is no objection to data flowing from a
  26           source pad to the sink pad of an element upstream (to the
  27           left of this element in drawings). Data will, however, always
  28           flow from a source pad of one element to the sink pad of
  29           another.
  30         </para>
  31       </footnote>
  32     </para>
  33
  34     <para>
  35       Pad directions are very simple compared to pad availability. A pad
  36       can have any of three availabilities: always, sometimes and on
  37       request. The meaning of those three types is exactly as it says:
  38       always pads always exist, sometimes pad exist only in certain
  39       cases (and can disappear randomly), and on-request pads appear
  40       only if explicitely requested by applications.
  41     </para>
  42
  43     <sect2 id="section-pads-dynamic">
  44       <title>Dynamic (or sometimes) pads</title>
  45       <para>
  46         Some elements might not have all of their pads when the element is
  47         created. This can happen, for example, with an Ogg demuxer element.
  48         The element will read the Ogg stream and create dynamic pads for
  49         each contained elementary stream (vorbis, theora) when it detects
  50         such a stream in the Ogg stream. Likewise, it will delete the pad
  51         when the stream ends. This principle is very useful for demuxer
  52         elements, for example.
  53       </para>
  54       <para>
  55         Running <application>gst-inspect oggdemux</application> will show
  56         that the element has only one pad: a sink pad called 'sink'. The
  57         other pads are <quote>dormant</quote>. You can see this in the pad
  58         template because there is an <quote>Exists: Sometimes</quote>
  59         property. Depending on the type of Ogg file you play, the pads will
  60         be created. We will see that this is very important when you are
  61         going to create dynamic pipelines. You can attach a signal handler
  62         to an element to inform you when the element has created a new pad
  63         from one of its <quote>sometimes</quote> pad templates. The
  64         following piece of code is an example of how to do this:
  65       </para>
  66       <programlisting><!-- example-begin pad.c a -->
  67 #include &lt;gst/gst.h&gt;
  68
  69 static void
  70 cb_new_pad (GstElement *element,
  71             GstPad     *pad,
  72             gpointer    data)
  73 {
  74   gchar *name;
  75
  76   name = gst_pad_get_name (pad);
  77   g_print ("A new pad %s was created\n", name);
  78   g_free (name);
  79
  80   /* here, you would setup a new pad link for the newly created pad */
  81 <!-- example-end pad.c a -->[..]
  82 <!-- example-begin pad.c b -->
  83 }
  84
  85 int
  86 main (int   argc,
  87       char *argv[])
  88 {
  89   GstElement *pipeline, *source, *demux;
  90   GMainLoop *loop;
  91
  92   /* init */
  93   gst_init (&amp;argc, &amp;argv);
  94
  95   /* create elements */
  96   pipeline = gst_pipeline_new ("my_pipeline");
  97   source = gst_element_factory_make ("filesrc", "source");
  98   g_object_set (source, "location", argv[1], NULL);
  99   demux = gst_element_factory_make ("oggdemux", "demuxer");
 100
 101   /* you would normally check that the elements were created properly */
 102
 103   /* put together a pipeline */
 104   gst_bin_add_many (GST_BIN (pipeline), source, demux, NULL);
 105   gst_element_link_pads (source, "src", demux, "sink");
 106
 107   /* listen for newly created pads */
 108   g_signal_connect (demux, "pad-added", G_CALLBACK (cb_new_pad), NULL);
 109
 110   /* start the pipeline */
 111   gst_element_set_state (GST_ELEMENT (pipeline), GST_STATE_PLAYING);
 112   loop = g_main_loop_new (NULL, FALSE);
 113   g_main_loop_run (loop);
 114 <!--example-end pad.c b -->
 115 [..]<!-- example-begin pad.c c --><!--
 116   return 0;
 117 --><!-- example-end pad.c c -->
 118 <!-- example-begin pad.c d -->
 119 }
 120       <!-- example-end pad.c d --></programlisting>
 121     </sect2>
 122
 123     <sect2 id="section-pads-request">
 124       <title>Request pads</title>
 125       <para>
 126         An element can also have request pads. These pads are not created
 127         automatically but are only created on demand. This is very useful
 128         for multiplexers, aggregators and tee elements. Aggregators are
 129         elements that merge the content of several input streams together
 130         into one output stream. Tee elements are the reverse: they are
 131         elements that have one input stream and copy this stream to each
 132         of their output pads, which are created on request. Whenever an
 133         application needs another copy of the stream, it can simply request
 134         a new output pad from the tee element.
 135       </para>
 136       <para>
 137         The following piece of code shows how you can request a new output
 138         pad from a <quote>tee</quote> element:
 139       </para>
 140       <programlisting>
 141 static void
 142 some_function (GstElement *tee)
 143 {
 144   GstPad * pad;
 145   gchar *name;
 146
 147   pad = gst_element_get_request_pad (tee, "src%d");
 148   name = gst_pad_get_name (pad);
 149   g_print ("A new pad %s was created\n", name);
 150   g_free (name);
 151
 152   /* here, you would link the pad */
 153 [..]
 154
 155   /* and, after doing that, free our reference */
 156   gst_object_unref (GST_OBJECT (pad));
 157 }
 158       </programlisting>
 159       <para>
 160         The <function>gst_element_get_request_pad ()</function> method
 161         can be used to get a pad from the element based on the name of
 162         the pad template. It is also possible to request a pad that is
 163         compatible with another pad template. This is very useful if
 164         you want to link an element to a multiplexer element and you
 165         need to request a pad that is compatible. The method
 166         <function>gst_element_get_compatible_pad ()</function> can be
 167         used to request a compatible pad, as shown in the next example.
 168         It will request a compatible pad from an Ogg multiplexer from
 169         any input.
 170       </para>
 171       <programlisting>
 172 static void
 173 link_to_multiplexer (GstPad     *tolink_pad,
 174                      GstElement *mux)
 175 {
 176   GstPad *pad;
 177   gchar *srcname, *sinkname;
 178
 179   srcname = gst_pad_get_name (tolink_pad);
 180   pad = gst_element_get_compatible_pad (mux, tolink_pad);
 181   gst_pad_link (tolinkpad, pad);
 182   sinkname = gst_pad_get_name (pad);
 183   gst_object_unref (GST_OBJECT (pad));
 184
 185   g_print ("A new pad %s was created and linked to %s\n", srcname, sinkname);
 186   g_free (sinkname);
 187   g_free (srcname);
 188 }
 189       </programlisting>
 190     </sect2>
 191   </sect1>
 192
 193   <sect1 id="section-caps">
 194     <title>Capabilities of a pad</title>
 195     <para>
 196       Since the pads play a very important role in how the element is
 197       viewed by the outside world, a mechanism is implemented to describe
 198       the data that can flow or currently flows through the pad by using
 199       capabilities. Here, we will briefly describe what capabilities are
 200       and how to use them, enough to get an understanding of the concept.
 201       For an in-depth look into capabilities and a list of all capabilities
 202       defined in &GStreamer;, see the <ulink type="http"
 203       url="http://gstreamer.freedesktop.org/data/doc/gstreamer/head/pwg/html/index.html">Plugin
 204       Writers Guide</ulink>.
 205     </para>
 206     <para>
 207       Capabilities are attached to pad templates and to pads. For pad
 208       templates, it will describe the types of media that may stream
 209       over a pad created from this template. For pads, it can either
 210       be a list of possible caps (usually a copy of the pad template's
 211       capabilities), in which case the pad is not yet negotiated, or it
 212       is the type of media that currently streams over this pad, in
 213       which case the pad has been negotiated already.
 214     </para>
 215
 216     <sect2 id="section-caps-structure">
 217       <title>Dissecting capabilities</title>
 218       <para>
 219         A pads capabilities are described in a <classname>GstCaps</classname>
 220         object. Internally, a <ulink type="http"
 221         url="../../gstreamer/html/gstreamer-GstCaps.html"><classname>GstCaps</classname></ulink>
 222         will contain one or more <ulink type="http"
 223         url="../../gstreamer/html/gstreamer-GstStructure.html"><classname>GstStructure</classname></ulink>
 224         that will describe one media type. A negotiated pad will have
 225         capabilities set that contain exactly <emphasis>one</emphasis>
 226         structure. Also, this structure will contain only
 227         <emphasis>fixed</emphasis> values. These constraints are not
 228         true for unnegotiated pads or pad templates.
 229       </para>
 230       <para>
 231         As an example, below is a dump of the capabilities of the
 232         <quote>vorbisdec</quote> element, which you will get by running
 233         <command>gst-inspect vorbisdec</command>. You will see two pads:
 234         a source and a sink pad. Both of these pads are always available,
 235         and both have capabilities attached to them. The sink pad will
 236         accept vorbis-encoded audio data, with the mime-type
 237         <quote>audio/x-vorbis</quote>. The source pad will be used
 238         to send raw (decoded) audio samples to the next element, with
 239         a raw audio mime-type (in this case,
 240         <quote>audio/x-raw-int</quote>) The source pad will also
 241         contain properties for the audio samplerate and the amount of
 242         channels, plus some more that you don't need to worry about
 243         for now.
 244       </para>
 245       <programlisting>
 246 Pad Templates:
 247   SRC template: 'src'
 248     Availability: Always
 249     Capabilities:
 250       audio/x-raw-float
 251                    rate: [ 8000, 50000 ]
 252                channels: [ 1, 2 ]
 253              endianness: 1234
 254                   width: 32
 255           buffer-frames: 0
 256
 257   SINK template: 'sink'
 258     Availability: Always
 259     Capabilities:
 260       audio/x-vorbis
 261       </programlisting>
 262     </sect2>
 263
 264     <sect2 id="section-caps-props">
 265       <title>Properties and values</title>
 266       <para>
 267         Properties are used to describe extra information for
 268         capabilities. A property consists of a key (a string) and
 269         a value. There are different possible value types that can be used:
 270       </para>
 271       <itemizedlist>
 272         <listitem>
 273           <para>
 274             Basic types, this can be pretty much any
 275             <classname>GType</classname> registered with Glib. Those
 276             properties indicate a specific, non-dynamic value for this
 277             property. Examples include:
 278           </para>
 279           <itemizedlist>
 280             <listitem>
 281               <para>
 282                 An integer value (<classname>G_TYPE_INT</classname>):
 283                 the property has this exact value.
 284               </para>
 285             </listitem>
 286             <listitem>
 287               <para>
 288                 A boolean value (<classname>G_TYPE_BOOLEAN</classname>):
 289                 the property is either TRUE or FALSE.
 290               </para>
 291             </listitem>
 292             <listitem>
 293               <para>
 294                 A float value (<classname>G_TYPE_FLOAT</classname>):
 295                 the property has this exact floating point value.
 296               </para>
 297             </listitem>
 298             <listitem>
 299               <para>
 300                 A string value (<classname>G_TYPE_STRING</classname>):
 301                 the property contains a UTF-8 string.
 302               </para>
 303             </listitem>
 304           </itemizedlist>
 305         </listitem>
 306         <listitem>
 307           <para>
 308             Range types are <classname>GType</classname>s registered by
 309             &GStreamer; to indicate a range of possible values. They are
 310             used for indicating allowed audio samplerate values or
 311             supported video sizes. The two types defined in &GStreamer;
 312             are:
 313           </para>
 314           <itemizedlist>
 315            <listitem>
 316               <para>
 317                 An integer range value
 318                 (<classname>GST_TYPE_INT_RANGE</classname>): the property
 319                 denotes a range of possible integers, with a lower and an
 320                 upper boundary. The <quote>vorbisdec</quote> element, for
 321                 example, has a rate property that can be between 8000 and
 322                 50000.
 323               </para>
 324             </listitem>
 325             <listitem>
 326               <para>
 327                 A float range value
 328                 (<classname>GST_TYPE_FLOAT_RANGE</classname>): the property
 329                 denotes a range of possible floating point values, with a
 330                 lower and an upper boundary.
 331               </para>
 332             </listitem>
 333           </itemizedlist>
 334         </listitem>
 335         <listitem>
 336           <para>
 337             A list value (<classname>GST_TYPE_LIST</classname>): the
 338             property can take any value from a list of basic values
 339             given in this list.
 340           </para>
 341         </listitem>
 342         <listitem>
 343           <para>
 344             An array value (<classname>GST_TYPE_FIXED_LIST</classname>): the
 345             property is an array of values. Each value in the array is a
 346             full value on its own, too. All values in the array should be
 347             of the same elementary type. This means that an array can
 348             contain any combination of integers, lists of integers, integer
 349             ranges together, and the same for floats or strings, but it can
 350             not contain both floats and ints at the same time.
 351           </para>
 352         </listitem>
 353       </itemizedlist>
 354     </sect2>
 355   </sect1>
 356
 357   <sect1 id="section-caps-api">
 358     <title>What capabilities are used for</title>
 359     <para>
 360       Capabilities describe the type of data that is streamed between
 361       two pads, or that one pad (template) supports. This makes them
 362       very useful for various purposes:
 363     </para>
 364     <itemizedlist>
 365       <listitem>
 366         <para>
 367           Autoplugging: automatically finding elements to link to a
 368           pad based on its capabilities. All autopluggers use this
 369           method.
 370         </para>
 371       </listitem>
 372       <listitem>
 373         <para>
 374           Compatibility detection: when two pads are linked, &GStreamer;
 375           can verify if the two pads are talking about the same media
 376           type. The process of linking two pads and checking if they
 377           are compatible is called <quote>caps negotiation</quote>.
 378         </para>
 379       </listitem>
 380       <listitem>
 381         <para>
 382           Metadata: by reading the capabilities from a pad, applications
 383           can provide information about the type of media that is being
 384           streamed over the pad, which is information about the stream
 385           that is currently being played back.
 386         </para>
 387       </listitem>
 388       <listitem>
 389         <para>
 390           Filtering: an application can use capabilities to limit the
 391           possible media types that can stream between two pads to a
 392           specific subset of their supported stream types. An application
 393           can, for example, use <quote>filtered caps</quote> to set a
 394           specific (non-fixed) video size that will stream between two
 395           pads. You will see an example of filtered caps further on in
 396           this manual, in <xref linkend="section-data-spoof"/>.
 397         </para>
 398       </listitem>
 399     </itemizedlist>
 400
 401     <sect2 id="section-caps-metadata">
 402       <title>Using capabilities for metadata</title>
 403       <para>
 404         A pad can have a set (i.e. one or more) of capabilities attached
 405         to it. You can get values of properties in a set of capabilities
 406         by querying individual properties of one structure. You can get
 407         a structure from a caps using
 408         <function>gst_caps_get_structure ()</function>:
 409       </para>
 410       <programlisting>
 411 static void
 412 read_video_props (GstCaps *caps)
 413 {
 414   gint width, height;
 415   const GstStructure *str;
 416
 417   str = gst_caps_get_structure (caps);
 418   if (!gst_structure_get_int (str, "width", &amp;width) ||
 419       !gst_structure_get_int (str, "height", &amp;height)) {
 420     g_print ("No width/height available\n");
 421     return;
 422   }
 423
 424   g_print ("The video size of this set of capabilities is %dx%d\n",
 425            width, height);
 426 }
 427       </programlisting>
 428     </sect2>
 429
 430     <sect2 id="section-caps-filter">
 431       <title>Creating capabilities for filtering</title>
 432       <para>
 433         While capabilities are mainly used inside a plugin to describe the
 434         media type of the pads, the application programmer also has to have
 435         basic understanding of capabilities in order to interface with the
 436         plugins, especially when using filtered caps. When you're using
 437         filtered caps or fixation, you're limiting the allowed types of
 438         media that can stream between two pads to a subset of their supported
 439         media types. You do this by filtering using your own set of
 440         capabilities. In order to do this, you need to create your own
 441         <classname>GstCaps</classname>. The simplest way to do this is by
 442         using the convenience function <function>gst_caps_new_simple
 443         ()</function>:
 444       </para>
 445       <programlisting>
 446 static void
 447 link_pads_with_filter (GstPad *one,
 448                        GstPad *other)
 449 {
 450   GstCaps *caps;
 451
 452   caps = gst_caps_new_simple ("video/x-raw-yuv",
 453                               "width", G_TYPE_INT, 384,
 454                               "height", G_TYPE_INT, 288,
 455                               "framerate", GST_TYPE_FRACTION, 25, 1,
 456                               NULL);
 457   gst_pad_link_filtered (one, other, caps);
 458 }
 459       </programlisting>
 460       <para>
 461         In some cases, you will want to create a more elaborate set of
 462         capabilities to filter a link between two pads. Then, this function
 463         is too simplistic and you'll want to use the method
 464         <function>gst_caps_new_full ()</function>:
 465       </para>
 466       <programlisting>
 467 static void
 468 link_pads_with_filter (GstPad *one,
 469                        GstPad *other)
 470 {
 471   GstCaps *caps;
 472
 473   caps = gst_caps_new_full (
 474       gst_structure_new ("video/x-raw-yuv",
 475                          "width", G_TYPE_INT, 384,
 476                          "height", G_TYPE_INT, 288,
 477                          "framerate", GST_TYPE_FRACTION, 25, 1,
 478                          NULL),
 479       gst_structure_new ("video/x-raw-rgb",
 480                          "width", G_TYPE_INT, 384,
 481                          "height", G_TYPE_INT, 288,
 482                          "framerate", GST_TYPE_FRACTION, 25, 1,
 483                          NULL),
 484       NULL);
 485
 486   gst_pad_link_filtered (one, other, caps);
 487 }
 488       </programlisting>
 489       <para>
 490         See the API references for the full API of
 491         <classname>GstStructure</classname> and
 492         <classname>GstCaps</classname>.
 493       </para>
 494     </sect2>
 495   </sect1>
 496
 497   <sect1 id="section-pads-ghost">
 498     <title>Ghost pads</title>
 499     <para>
 500       You can see from <xref linkend="section-bin-noghost-img"/> how a bin
 501       has no pads of its own. This is where "ghost pads" come into play.
 502     </para>
 503     <figure float="1" id="section-bin-noghost-img">
 504       <title>Visualisation of a <ulink type="http"
 505       url="../../gstreamer/html/GstBin.html"><classname>GstBin</classname></ulink>
 506       element without ghost pads</title>
 507       <mediaobject>
 508         <imageobject>
 509           <imagedata fileref="images/bin-element-noghost.&image;"
 510           format="&IMAGE;"/>
 511         </imageobject>
 512       </mediaobject>
 513     </figure>
 514     <para>
 515       A ghost pad is a pad from some element in the bin that can be
 516       accessed directly from the bin as well. Compare it to a symbolic
 517       link in UNIX filesystems. Using ghost pads on bins, the bin also
 518       has a pad and can transparently be used as an element in other
 519       parts of your code.
 520     </para>
 521
 522     <figure float="1" id="section-bin-ghost-img">
 523       <title>Visualisation of a <ulink type="http"
 524       url="../../gstreamer/html/GstBin.html"><classname>GstBin</classname></ulink>
 525       element with a ghost pad</title>
 526       <mediaobject>
 527         <imageobject>
 528           <imagedata fileref="images/bin-element-ghost.&image;"
 529           format="&IMAGE;"/>
 530         </imageobject>
 531       </mediaobject>
 532     </figure>
 533     <para>
 534       <xref linkend="section-bin-ghost-img"/> is a representation of a
 535       ghost pad. The sink pad of element one is now also a pad of the bin.
 536       Because ghost pads look and work like any other pads, they can be added
 537       to any type of elements, not just to a <classname>GstBin</classname>,
 538       just like ordinary pads.
 539     </para>
 540     <para>
 541       A ghostpad is created using the function
 542       <function>gst_ghost_pad_new ()</function>:
 543     </para>
 544     <programlisting><!-- example-begin ghostpad.c a -->
 545 #include &lt;gst/gst.h&gt;
 546
 547 int
 548 main (int   argc,
 549       char *argv[])
 550 {
 551   GstElement *bin, *sink;
 552   GstPad *pad;
 553
 554   /* init */
 555   gst_init (&amp;argc, &amp;argv);
 556
 557   /* create element, add to bin */
 558   sink = gst_element_factory_make ("fakesink", "sink");
 559   bin = gst_bin_new ("mybin");
 560   gst_bin_add (GST_BIN (bin), sink);
 561
 562   /* add ghostpad */
 563   pad = gst_element_get_pad (sink, "sink");
 564   gst_element_add_pad (bin, gst_ghost_pad_new ("sink", pad));
 565   gst_object_unref (GST_OBJECT (pad));
 566 <!-- example-end ghostpad.c a -->
 567 [..]<!-- example-begin ghostpad.c b --><!--
 568   return 0;
 569 --><!-- example-end ghostpad.c b -->
 570 <!-- example-begin ghostpad.c c -->
 571 }
 572     <!-- example-end ghostpad.c c --></programlisting>
 573     <para>
 574       In the above example, the bin now also has a pad: the pad called
 575       <quote>sink</quote> of the given element. The bin can, from here
 576       on, be used as a substitute for the sink element. You could, for
 577       example, link another element to the bin.
 578     </para>
 579   </sect1>
 580 </chapter>