ges: Add a method to retrieve the 'natural' size of VideoSource
[platform/upstream/gst-editing-services.git] / ges / ges-video-source.c
index 981eaf2..3ba996c 100644 (file)
  */
 
 /**
- * SECTION:ges-video-source
+ * SECTION:gesvideosource
+ * @title: GESVideoSource
  * @short_description: Base Class for video sources
+ *
+ * ## Children Properties:
+ *
+ * You can use the following children properties through the
+ * #ges_track_element_set_child_property and alike set of methods:
+ * 
+ * - #gdouble `alpha`: The desired alpha for the stream.
+ * - #gint `posx`: The desired x position for the stream.
+ * - #gint `posy`: The desired y position for the stream
+ * - #gint `width`: The desired width for that source.
+ *   Set to 0 if size is not mandatory, will be set to width of the current track.
+ * - #gint `height`: The desired height for that source.
+ *   Set to 0 if size is not mandatory, will be set to height of the current track.
+ * - #GstDeinterlaceModes `deinterlace-mode`: Deinterlace Mode
+ * - #GstDeinterlaceFields `deinterlace-fields`: Fields to use for deinterlacing
+ * - #GstDeinterlaceFieldLayout `deinterlace-tff`: Deinterlace top field first
+ * - #GstVideoOrientationMethod `video-direction`: The desired video rotation and flipping.
  */
+#ifdef HAVE_CONFIG_H
+#include "config.h"
+#endif
+
+#include <gst/pbutils/missing-plugins.h>
+#include <gst/video/video.h>
 
 #include "ges-internal.h"
 #include "ges/ges-meta-container.h"
 #include "ges-track-element.h"
 #include "ges-video-source.h"
 #include "ges-layer.h"
-#include "gstframepositionner.h"
+#include "gstframepositioner.h"
 
-G_DEFINE_TYPE (GESVideoSource, ges_video_source, GES_TYPE_SOURCE);
+#define parent_class ges_video_source_parent_class
 
 struct _GESVideoSourcePrivate
 {
-  GstFramePositionner *positionner;
+  GstFramePositioner *positioner;
   GstElement *capsfilter;
 };
 
-static void
-update_z_order_cb (GESClip * clip, GParamSpec * arg G_GNUC_UNUSED,
-    GESVideoSource * self)
+G_DEFINE_ABSTRACT_TYPE_WITH_PRIVATE (GESVideoSource, ges_video_source,
+    GES_TYPE_SOURCE);
+
+/* TrackElement VMethods */
+
+static gboolean
+_set_priority (GESTimelineElement * element, guint32 priority)
 {
-  GESLayer *layer = ges_clip_get_layer (clip);
+  gboolean res;
+  GESVideoSource *self = GES_VIDEO_SOURCE (element);
+
+  res = GES_TIMELINE_ELEMENT_CLASS (parent_class)->set_priority (element,
+      priority);
 
-  if (layer == NULL)
-    return;
+  if (res && self->priv->positioner)
+    g_object_set (self->priv->positioner, "zorder", G_MAXUINT - priority, NULL);
 
-  /* 10000 is the max value of zorder on videomixerpad, hardcoded */
+  return res;
+}
 
-  g_object_set (self->priv->positionner, "zorder",
-      10000 - ges_layer_get_priority (layer), NULL);
+static void
+post_missing_element_message (GstElement * element, const gchar * name)
+{
+  GstMessage *msg;
 
-  gst_object_unref (layer);
+  msg = gst_missing_element_message_new (element, name);
+  gst_element_post_message (element, msg);
 }
 
 static GstElement *
@@ -62,9 +98,13 @@ ges_video_source_create_element (GESTrackElement * trksrc)
   GstElement *sub_element;
   GESVideoSourceClass *source_class = GES_VIDEO_SOURCE_GET_CLASS (trksrc);
   GESVideoSource *self;
-  GstElement *positionner, *videoscale, *capsfilter;
-  const gchar *props[] = { "alpha", "posx", "posy", "width", "height", NULL };
-  GESTimelineElement *parent;
+  GstElement *positioner, *videoflip, *capsfilter, *deinterlace;
+  const gchar *positioner_props[] =
+      { "alpha", "posx", "posy", "width", "height", NULL };
+  const gchar *deinterlace_props[] = { "mode", "fields", "tff", NULL };
+  const gchar *videoflip_props[] = { "video-direction", NULL };
+  gboolean needs_converters = TRUE;
+  GPtrArray *elements;
 
   if (!source_class->create_source)
     return NULL;
@@ -72,57 +112,147 @@ ges_video_source_create_element (GESTrackElement * trksrc)
   sub_element = source_class->create_source (trksrc);
 
   self = (GESVideoSource *) trksrc;
+  if (source_class->ABI.abi.needs_converters)
+    needs_converters = source_class->ABI.abi.needs_converters (self);
+
+  elements = g_ptr_array_new ();
+  g_ptr_array_add (elements, gst_element_factory_make ("queue", NULL));
 
-  /* That positionner will add metadata to buffers according to its
+  /* That positioner will add metadata to buffers according to its
      properties, acting like a proxy for our smart-mixer dynamic pads. */
-  positionner = gst_element_factory_make ("framepositionner", "frame_tagger");
+  positioner = gst_element_factory_make ("framepositioner", "frame_tagger");
+  g_object_set (positioner, "zorder",
+      G_MAXUINT - GES_TIMELINE_ELEMENT_PRIORITY (self), NULL);
+  g_ptr_array_add (elements, positioner);
+
+  /* If there's image-orientation tag, make sure the image is correctly oriented
+   * before we scale it. */
+  videoflip = gst_element_factory_make ("videoflip", "track-element-videoflip");
+  g_object_set (videoflip, "video-direction", GST_VIDEO_ORIENTATION_AUTO, NULL);
+  g_ptr_array_add (elements, videoflip);
 
-  videoscale =
-      gst_element_factory_make ("videoscale", "track-element-videoscale");
+  if (needs_converters) {
+    g_ptr_array_add (elements, gst_element_factory_make ("videoscale",
+            "track-element-videoscale"));
+    g_ptr_array_add (elements, gst_element_factory_make ("videoconvert",
+            "track-element-videoconvert"));
+  }
+  g_ptr_array_add (elements, gst_element_factory_make ("videorate",
+          "track-element-videorate"));
   capsfilter =
       gst_element_factory_make ("capsfilter", "track-element-capsfilter");
+  g_ptr_array_add (elements, capsfilter);
+
+  ges_frame_positioner_set_source_and_filter (GST_FRAME_POSITIONNER
+      (positioner), trksrc, capsfilter);
 
-  ges_frame_positionner_set_source_and_filter (GST_FRAME_POSITIONNER
-      (positionner), trksrc, capsfilter);
-
-  ges_track_element_add_children_props (trksrc, positionner, NULL, NULL, props);
-  topbin =
-      ges_source_create_topbin ("videosrcbin", sub_element, positionner,
-      videoscale, capsfilter, NULL);
-  parent = ges_timeline_element_get_parent (GES_TIMELINE_ELEMENT (trksrc));
-  if (parent) {
-    self->priv->positionner = GST_FRAME_POSITIONNER (positionner);
-    g_signal_connect (parent, "notify::layer",
-        (GCallback) update_z_order_cb, trksrc);
-    update_z_order_cb (GES_CLIP (parent), NULL, self);
-    gst_object_unref (parent);
+  ges_track_element_add_children_props (trksrc, positioner, NULL, NULL,
+      positioner_props);
+  ges_track_element_add_children_props (trksrc, videoflip, NULL, NULL,
+      videoflip_props);
+
+  deinterlace = gst_element_factory_make ("deinterlace", "deinterlace");
+  if (deinterlace == NULL) {
+    post_missing_element_message (sub_element, "deinterlace");
+
+    GST_ELEMENT_WARNING (sub_element, CORE, MISSING_PLUGIN,
+        ("Missing element '%s' - check your GStreamer installation.",
+            "deinterlace"), ("deinterlacing won't work"));
   } else {
-    GST_ERROR ("No parent timeline element, SHOULD NOT HAPPEN");
+    g_ptr_array_add (elements, deinterlace);
+    ges_track_element_add_children_props (trksrc, deinterlace, NULL, NULL,
+        deinterlace_props);
   }
+  topbin = ges_source_create_topbin ("videosrcbin", sub_element, elements);
+  g_ptr_array_free (elements, TRUE);
 
+  self->priv->positioner = GST_FRAME_POSITIONNER (positioner);
+  self->priv->positioner->scale_in_compositor =
+      !GES_VIDEO_SOURCE_GET_CLASS (self)->ABI.abi.disable_scale_in_compositor;
   self->priv->capsfilter = capsfilter;
 
   return topbin;
 }
 
+static gboolean
+_lookup_child (GESTimelineElement * object,
+    const gchar * prop_name, GObject ** element, GParamSpec ** pspec)
+{
+  gboolean res;
+
+  gchar *clean_name;
+
+  if (!g_strcmp0 (prop_name, "deinterlace-fields"))
+    clean_name = g_strdup ("GstDeinterlace::fields");
+  else if (!g_strcmp0 (prop_name, "deinterlace-mode"))
+    clean_name = g_strdup ("GstDeinterlace::mode");
+  else if (!g_strcmp0 (prop_name, "deinterlace-tff"))
+    clean_name = g_strdup ("GstDeinterlace::tff");
+  else if (!g_strcmp0 (prop_name, "tff") ||
+      !g_strcmp0 (prop_name, "fields") || !g_strcmp0 (prop_name, "mode")) {
+    GST_DEBUG_OBJECT (object, "Not allowed to use GstDeinterlace %s"
+        " property without prefixing its name", prop_name);
+    return FALSE;
+  } else
+    clean_name = g_strdup (prop_name);
+
+  res =
+      GES_TIMELINE_ELEMENT_CLASS (ges_video_source_parent_class)->lookup_child
+      (object, clean_name, element, pspec);
+
+  g_free (clean_name);
+
+  return res;
+}
+
 static void
 ges_video_source_class_init (GESVideoSourceClass * klass)
 {
-  GESTrackElementClass *track_class = GES_TRACK_ELEMENT_CLASS (klass);
+  GESTrackElementClass *track_element_class = GES_TRACK_ELEMENT_CLASS (klass);
+  GESTimelineElementClass *element_class = GES_TIMELINE_ELEMENT_CLASS (klass);
   GESVideoSourceClass *video_source_class = GES_VIDEO_SOURCE_CLASS (klass);
 
-  g_type_class_add_private (klass, sizeof (GESVideoSourcePrivate));
+  element_class->set_priority = _set_priority;
+  element_class->lookup_child = _lookup_child;
 
-  track_class->gnlobject_factorytype = "gnlsource";
-  track_class->create_element = ges_video_source_create_element;
+  track_element_class->nleobject_factorytype = "nlesource";
+  track_element_class->create_element = ges_video_source_create_element;
   video_source_class->create_source = NULL;
 }
 
 static void
 ges_video_source_init (GESVideoSource * self)
 {
-  self->priv = G_TYPE_INSTANCE_GET_PRIVATE (self,
-      GES_TYPE_VIDEO_SOURCE, GESVideoSourcePrivate);
-  self->priv->positionner = NULL;
+  self->priv = ges_video_source_get_instance_private (self);
+  self->priv->positioner = NULL;
   self->priv->capsfilter = NULL;
+
+}
+
+/**
+ * ges_video_source_get_natural_size:
+ * @self: A #GESVideoSource
+ * @width: (out): The natural width of the underlying source
+ * @height: (out): The natural height of the underlying source
+ *
+ * Retrieves the natural size of the video stream. The natural size, is
+ * the size at which it will be displayed if no scaling is being applied.
+ *
+ * NOTE: The sources take into account the potential video rotation applied
+ * by the #videoflip element that is inside the source, effects applied on
+ * the clip which potentially also rotate the element are not taken into
+ * account.
+ *
+ * Returns: %TRUE if the object has a natural size, %FALSE otherwise.
+ */
+gboolean
+ges_video_source_get_natural_size (GESVideoSource * self, gint * width,
+    gint * height)
+{
+  GESVideoSourceClass *klass = GES_VIDEO_SOURCE_GET_CLASS (self);
+
+  if (!klass->ABI.abi.get_natural_size)
+    return FALSE;
+
+  return klass->ABI.abi.get_natural_size (self, width, height);
 }