[Converter] GST Plugin Template Created
authorMyungJoo Ham <myungjoo.ham@samsung.com>
Mon, 26 Mar 2018 11:44:34 +0000 (20:44 +0900)
committerMyungJoo Ham <myungjoo.ham@samsung.com>
Mon, 26 Mar 2018 11:44:34 +0000 (20:44 +0900)
An empty template for GST Plugin, "Convert2Tensor".

1. This is to draft & verify "other/tensor" GST type design.
2. Then, this will work as converter from media sources for NN filters.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>
convert2tensor/CMakeLists.txt [new file with mode: 0644]
convert2tensor/README.md [new file with mode: 0644]
convert2tensor/convert2tensor.c [new file with mode: 0644]
convert2tensor/convert2tensor.h [new file with mode: 0644]

diff --git a/convert2tensor/CMakeLists.txt b/convert2tensor/CMakeLists.txt
new file mode 100644 (file)
index 0000000..78133a5
--- /dev/null
@@ -0,0 +1,31 @@
+cmake_minimum_required(VERSION 2.8)
+
+project(convert2tensor C)
+
+add_definitions(-DVERSION="0.0.0")
+
+set(PREFIX ${CMAKE_INSTALL_PREFIX})
+set(EXEC_PREFIX "${PREFIX}/bin")
+if(LIB_INSTALL_DIR)
+else(LIB_INSTALL_DIR)
+    set(LIB_INSTALL_DIR "${PREFIX}/lib")
+endif(LIB_INSTALL_DIR)
+
+find_package(PkgConfig REQUIRED)
+pkg_check_modules(GST REQUIRED gstreamer-1.0 gstreamer-base-1.0 gstreamer-controller-1.0 gstreamer-audio-1.0)
+
+
+add_library(convert2tensor SHARED convert2tensor.c)
+add_library(convert2tensorStatic STATIC convert2tensor.c)
+target_link_libraries(convert2tensor ${GST_LIBRARIES})
+target_include_directories(convert2tensor PUBLIC ${GST_INCLUDE_DIRS})
+target_compile_options(convert2tensor PUBLIC ${GST_CFLAGS_OTHER})
+target_link_libraries(convert2tensorStatic ${GST_LIBRARIES})
+target_include_directories(convert2tensorStatic PUBLIC ${GST_INCLUDE_DIRS})
+target_compile_options(convert2tensorStatic PUBLIC ${GST_CFLAGS_OTHER})
+
+install(TARGETS convert2tensor convert2tensorStatic
+       RUNTIME DESTINATION ${EXEC_PREFIX}
+       LIBRARY DESTINATION ${LIB_INSTALL_DIR}
+       ARCHIVE DESTINATION ${LIB_INSTALL_DIR}
+       )
diff --git a/convert2tensor/README.md b/convert2tensor/README.md
new file mode 100644 (file)
index 0000000..6dac0ff
--- /dev/null
@@ -0,0 +1,31 @@
+# NNStreamer::convert2tensor
+
+TODO Version 0.0.1
+Direct conversion of bitmap stream to [RGB][height][width] tensor.
+The main objective of this version is to draft standard tensor format for Gstreamer.
+
+TODO Version 0.0.2
+Direct conversion of general video stream to [RGB][height][width] tensor.
+
+TODO Version 0.0.3
+Support basic dimension reform (order of dimsisions, color space changes)
+
+TODO Version 0.0.4
+Support dimension reshape (width/height)
+
+TODO Version 0.0.5
+Support color space conversions
+
+TODO Version 0.1.0
+Direct conversion of general audio stream to FORMAT-TO-BE-DETERMINED
+
+
+# Gstreamer standard tensor media type draft
+
+- Proposed Name: other/tensor
+- Properties
+  - rank: int (0: scalar, 1: vector, 2: matrix, 3: 3-tensor, ...)
+  - dimension: int[] (1 .. rank)
+  - type: int32., float32, int8, uint8, ... (C types only?)
+  - data: (binary data, can be treated as an C array of [dimension[0]][dimension[1]]...)
+
diff --git a/convert2tensor/convert2tensor.c b/convert2tensor/convert2tensor.c
new file mode 100644 (file)
index 0000000..5a9f907
--- /dev/null
@@ -0,0 +1,296 @@
+/**
+ * GStreamer
+ * Copyright (C) 2005 Thomas Vander Stichele <thomas@apestaart.org>
+ * Copyright (C) 2005 Ronald S. Bultje <rbultje@ronald.bitfreak.net>
+ * Copyright (C) 2018 MyungJoo Ham <<user@hostname.org>>
+ * 
+ * Permission is hereby granted, free of charge, to any person obtaining a
+ * copy of this software and associated documentation files (the "Software"),
+ * to deal in the Software without restriction, including without limitation
+ * the rights to use, copy, modify, merge, publish, distribute, sublicense,
+ * and/or sell copies of the Software, and to permit persons to whom the
+ * Software is furnished to do so, subject to the following conditions:
+ *
+ * The above copyright notice and this permission notice shall be included in
+ * all copies or substantial portions of the Software.
+ *
+ * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+ * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+ * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+ * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+ * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
+ * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
+ * DEALINGS IN THE SOFTWARE.
+ *
+ * Alternatively, the contents of this file may be used under the
+ * GNU Lesser General Public License Version 2.1 (the "LGPL"), in
+ * which case the following provisions apply instead of the ones
+ * mentioned above:
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Library General Public
+ * License as published by the Free Software Foundation; either
+ * version 2 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Library General Public License for more details.
+ *
+ * You should have received a copy of the GNU Library General Public
+ * License along with this library; if not, write to the
+ * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
+ * Boston, MA 02111-1307, USA.
+ *
+ * @file       convert2tensor.c
+ * @date       26 Mar 2018
+ * @brief      GStreamer plugin to convert media types to tensors (as a filter for other general neural network filters)
+ * @see                http://github.com/TO-BE-DETERMINED-SOON
+ * @author     MyungJoo Ham <myungjoo.ham@samsung.com>
+ *
+ */
+
+/**
+ * SECTION:element-convert2tensor
+ *
+ * A filter that converts media stream to tensor stream for NN frameworks.
+ * The output is always in the format of other/tensor
+ *
+ * <refsect2>
+ * <title>Example launch line</title>
+ * |[
+ * gst-launch -v -m fakesrc ! convert2tensor ! fakesink silent=TRUE
+ * ]|
+ * </refsect2>
+ */
+
+#ifdef HAVE_CONFIG_H
+#  include <config.h>
+#endif
+
+#include <gst/gst.h>
+
+#include "convert2tensor.h"
+
+GST_DEBUG_CATEGORY_STATIC (gst_convert2tensor_debug);
+#define GST_CAT_DEFAULT gst_convert2tensor_debug
+
+/* Filter signals and args */
+enum
+{
+  /* FILL ME */
+  LAST_SIGNAL
+};
+
+enum
+{
+  PROP_0,
+  PROP_SILENT
+};
+
+/* the capabilities of the inputs and outputs.
+ *
+ * describe the real formats here.
+ */
+static GstStaticPadTemplate sink_factory = GST_STATIC_PAD_TEMPLATE ("sink",
+    GST_PAD_SINK,
+    GST_PAD_ALWAYS,
+    GST_STATIC_CAPS ("ANY")
+    );
+
+static GstStaticPadTemplate src_factory = GST_STATIC_PAD_TEMPLATE ("src",
+    GST_PAD_SRC,
+    GST_PAD_ALWAYS,
+    GST_STATIC_CAPS ("ANY")
+    );
+
+#define gst_convert2tensor_parent_class parent_class
+G_DEFINE_TYPE (GstConvert2Tensor, gst_convert2tensor, GST_TYPE_ELEMENT);
+
+static void gst_convert2tensor_set_property (GObject * object, guint prop_id,
+    const GValue * value, GParamSpec * pspec);
+static void gst_convert2tensor_get_property (GObject * object, guint prop_id,
+    GValue * value, GParamSpec * pspec);
+
+static gboolean gst_convert2tensor_sink_event (GstPad * pad, GstObject * parent, GstEvent * event);
+static GstFlowReturn gst_convert2tensor_chain (GstPad * pad, GstObject * parent, GstBuffer * buf);
+
+/* GObject vmethod implementations */
+
+/* initialize the convert2tensor's class */
+static void
+gst_convert2tensor_class_init (GstConvert2TensorClass * klass)
+{
+  GObjectClass *gobject_class;
+  GstElementClass *gstelement_class;
+
+  gobject_class = (GObjectClass *) klass;
+  gstelement_class = (GstElementClass *) klass;
+
+  gobject_class->set_property = gst_convert2tensor_set_property;
+  gobject_class->get_property = gst_convert2tensor_get_property;
+
+  g_object_class_install_property (gobject_class, PROP_SILENT,
+      g_param_spec_boolean ("silent", "Silent", "Produce verbose output ?",
+          FALSE, G_PARAM_READWRITE));
+
+  gst_element_class_set_details_simple(gstelement_class,
+    "Convert2Tensor",
+    "FIXME:Generic",
+    "FIXME:Generic Template Element",
+    "MyungJoo Ham <<user@hostname.org>>");
+
+  gst_element_class_add_pad_template (gstelement_class,
+      gst_static_pad_template_get (&src_factory));
+  gst_element_class_add_pad_template (gstelement_class,
+      gst_static_pad_template_get (&sink_factory));
+}
+
+/* initialize the new element
+ * instantiate pads and add them to element
+ * set pad calback functions
+ * initialize instance structure
+ */
+static void
+gst_convert2tensor_init (GstConvert2Tensor * filter)
+{
+  filter->sinkpad = gst_pad_new_from_static_template (&sink_factory, "sink");
+  gst_pad_set_event_function (filter->sinkpad,
+                              GST_DEBUG_FUNCPTR(gst_convert2tensor_sink_event));
+  gst_pad_set_chain_function (filter->sinkpad,
+                              GST_DEBUG_FUNCPTR(gst_convert2tensor_chain));
+  GST_PAD_SET_PROXY_CAPS (filter->sinkpad);
+  gst_element_add_pad (GST_ELEMENT (filter), filter->sinkpad);
+
+  filter->srcpad = gst_pad_new_from_static_template (&src_factory, "src");
+  GST_PAD_SET_PROXY_CAPS (filter->srcpad);
+  gst_element_add_pad (GST_ELEMENT (filter), filter->srcpad);
+
+  filter->silent = FALSE;
+}
+
+static void
+gst_convert2tensor_set_property (GObject * object, guint prop_id,
+    const GValue * value, GParamSpec * pspec)
+{
+  GstConvert2Tensor *filter = GST_CONVERT2TENSOR (object);
+
+  switch (prop_id) {
+    case PROP_SILENT:
+      filter->silent = g_value_get_boolean (value);
+      break;
+    default:
+      G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
+      break;
+  }
+}
+
+static void
+gst_convert2tensor_get_property (GObject * object, guint prop_id,
+    GValue * value, GParamSpec * pspec)
+{
+  GstConvert2Tensor *filter = GST_CONVERT2TENSOR (object);
+
+  switch (prop_id) {
+    case PROP_SILENT:
+      g_value_set_boolean (value, filter->silent);
+      break;
+    default:
+      G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
+      break;
+  }
+}
+
+/* GstElement vmethod implementations */
+
+/* this function handles sink events */
+static gboolean
+gst_convert2tensor_sink_event (GstPad * pad, GstObject * parent, GstEvent * event)
+{
+  GstConvert2Tensor *filter;
+  gboolean ret;
+
+  filter = GST_CONVERT2TENSOR (parent);
+
+  GST_LOG_OBJECT (filter, "Received %s event: %" GST_PTR_FORMAT,
+      GST_EVENT_TYPE_NAME (event), event);
+
+  switch (GST_EVENT_TYPE (event)) {
+    case GST_EVENT_CAPS:
+    {
+      GstCaps * caps;
+
+      gst_event_parse_caps (event, &caps);
+      /* do something with the caps */
+
+      /* and forward */
+      ret = gst_pad_event_default (pad, parent, event);
+      break;
+    }
+    default:
+      ret = gst_pad_event_default (pad, parent, event);
+      break;
+  }
+  return ret;
+}
+
+/* chain function
+ * this function does the actual processing
+ */
+static GstFlowReturn
+gst_convert2tensor_chain (GstPad * pad, GstObject * parent, GstBuffer * buf)
+{
+  GstConvert2Tensor *filter;
+
+  filter = GST_CONVERT2TENSOR (parent);
+
+  if (filter->silent == FALSE)
+    g_print ("I'm plugged, therefore I'm in.\n");
+
+  /* just push out the incoming buffer without touching it */
+  return gst_pad_push (filter->srcpad, buf);
+}
+
+
+/* entry point to initialize the plug-in
+ * initialize the plug-in itself
+ * register the element factories and other features
+ */
+static gboolean
+convert2tensor_init (GstPlugin * convert2tensor)
+{
+  /* debug category for fltering log messages
+   *
+   * exchange the string 'Template convert2tensor' with your description
+   */
+  GST_DEBUG_CATEGORY_INIT (gst_convert2tensor_debug, "convert2tensor",
+      0, "Template convert2tensor");
+
+  return gst_element_register (convert2tensor, "convert2tensor", GST_RANK_NONE,
+      GST_TYPE_CONVERT2TENSOR);
+}
+
+/* PACKAGE: this is usually set by autotools depending on some _INIT macro
+ * in configure.ac and then written into and defined in config.h, but we can
+ * just set it ourselves here in case someone doesn't use autotools to
+ * compile this code. GST_PLUGIN_DEFINE needs PACKAGE to be defined.
+ */
+#ifndef PACKAGE
+#define PACKAGE "myfirstconvert2tensor"
+#endif
+
+/* gstreamer looks for this structure to register convert2tensors
+ *
+ * exchange the string 'Template convert2tensor' with your convert2tensor description
+ */
+GST_PLUGIN_DEFINE (
+    GST_VERSION_MAJOR,
+    GST_VERSION_MINOR,
+    convert2tensor,
+    "Template convert2tensor",
+    convert2tensor_init,
+    VERSION,
+    "LGPL",
+    "GStreamer",
+    "http://gstreamer.net/"
+)
diff --git a/convert2tensor/convert2tensor.h b/convert2tensor/convert2tensor.h
new file mode 100644 (file)
index 0000000..eaad37a
--- /dev/null
@@ -0,0 +1,93 @@
+/*
+ * GStreamer
+ * Copyright (C) 2005 Thomas Vander Stichele <thomas@apestaart.org>
+ * Copyright (C) 2005 Ronald S. Bultje <rbultje@ronald.bitfreak.net>
+ * Copyright (C) 2018 MyungJoo Ham <<user@hostname.org>>
+ * 
+ * Permission is hereby granted, free of charge, to any person obtaining a
+ * copy of this software and associated documentation files (the "Software"),
+ * to deal in the Software without restriction, including without limitation
+ * the rights to use, copy, modify, merge, publish, distribute, sublicense,
+ * and/or sell copies of the Software, and to permit persons to whom the
+ * Software is furnished to do so, subject to the following conditions:
+ *
+ * The above copyright notice and this permission notice shall be included in
+ * all copies or substantial portions of the Software.
+ *
+ * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+ * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+ * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+ * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+ * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
+ * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
+ * DEALINGS IN THE SOFTWARE.
+ *
+ * Alternatively, the contents of this file may be used under the
+ * GNU Lesser General Public License Version 2.1 (the "LGPL"), in
+ * which case the following provisions apply instead of the ones
+ * mentioned above:
+ *
+ * This library is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Library General Public
+ * License as published by the Free Software Foundation; either
+ * version 2 of the License, or (at your option) any later version.
+ *
+ * This library is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Library General Public License for more details.
+ *
+ * You should have received a copy of the GNU Library General Public
+ * License along with this library; if not, write to the
+ * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
+ * Boston, MA 02111-1307, USA.
+ *
+ * @file       convert2tensor.c
+ * @date       26 Mar 2018
+ * @brief      GStreamer plugin to convert media types to tensors (as a filter for other general neural network filters)
+ * @see                http://github.com/TO-BE-DETERMINED-SOON
+ * @author     MyungJoo Ham <myungjoo.ham@samsung.com>
+ *
+ */
+
+#ifndef __GST_CONVERT2TENSOR_H__
+#define __GST_CONVERT2TENSOR_H__
+
+#include <gst/gst.h>
+
+G_BEGIN_DECLS
+
+/* #defines don't like whitespacey bits */
+#define GST_TYPE_CONVERT2TENSOR \
+  (gst_convert2tensor_get_type())
+#define GST_CONVERT2TENSOR(obj) \
+  (G_TYPE_CHECK_INSTANCE_CAST((obj),GST_TYPE_CONVERT2TENSOR,GstConvert2Tensor))
+#define GST_CONVERT2TENSOR_CLASS(klass) \
+  (G_TYPE_CHECK_CLASS_CAST((klass),GST_TYPE_CONVERT2TENSOR,GstConvert2TensorClass))
+#define GST_IS_CONVERT2TENSOR(obj) \
+  (G_TYPE_CHECK_INSTANCE_TYPE((obj),GST_TYPE_CONVERT2TENSOR))
+#define GST_IS_CONVERT2TENSOR_CLASS(klass) \
+  (G_TYPE_CHECK_CLASS_TYPE((klass),GST_TYPE_CONVERT2TENSOR))
+
+typedef struct _GstConvert2Tensor      GstConvert2Tensor;
+typedef struct _GstConvert2TensorClass GstConvert2TensorClass;
+
+struct _GstConvert2Tensor
+{
+  GstElement element;
+
+  GstPad *sinkpad, *srcpad;
+
+  gboolean silent;
+};
+
+struct _GstConvert2TensorClass 
+{
+  GstElementClass parent_class;
+};
+
+GType gst_convert2tensor_get_type (void);
+
+G_END_DECLS
+
+#endif /* __GST_CONVERT2TENSOR_H__ */