gst/audiofx/audioecho.c

   1 /*
   2  * GStreamer
   3  * Copyright (C) 2009 Sebastian Dröge <sebastian.droege@collabora.co.uk>
   4  *
   5  * This library is free software; you can redistribute it and/or
   6  * modify it under the terms of the GNU Library General Public
   7  * License as published by the Free Software Foundation; either
   8  * version 2 of the License, or (at your option) any later version.
   9  *
  10  * This library is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * Library General Public License for more details.
  14  *
  15  * You should have received a copy of the GNU Library General Public
  16  * License along with this library; if not, write to the
  17  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  18  * Boston, MA 02111-1307, USA.
  19  */
  20
  21 /**
  22  * SECTION:element-audioecho
  23  * @Since: 0.10.14
  24  *
  25  * audioecho adds an echo or (simple) reverb effect to an audio stream. The echo
  26  * delay, intensity and the percentage of feedback can be configured.
  27  *
  28  * For getting an echo effect you have to set the delay to a larger value,
  29  * for example 200ms and more. Everything below will result in a simple
  30  * reverb effect, which results in a slightly metallic sound.
  31  *
  32  * Use the max-delay property to set the maximum amount of delay that
  33  * will be used. This can only be set before going to the PAUSED or PLAYING
  34  * state and will be set to the current delay by default.
  35  *
  36  * <refsect2>
  37  * <title>Example launch line</title>
  38  * |[
  39  * gst-launch filesrc location="melo1.ogg" ! audioconvert ! audioecho delay=500000000 intensity=0.6 feedback=0.4 ! audioconvert ! autoaudiosink
  40  * gst-launch filesrc location="melo1.ogg" ! decodebin ! audioconvert ! audioecho delay=50000000 intensity=0.6 feedback=0.4 ! audioconvert ! autoaudiosink
  41  * ]|
  42  * </refsect2>
  43  */
  44
  45 #ifdef HAVE_CONFIG_H
  46 #include "config.h"
  47 #endif
  48
  49 #include <gst/gst.h>
  50 #include <gst/base/gstbasetransform.h>
  51 #include <gst/audio/audio.h>
  52 #include <gst/audio/gstaudiofilter.h>
  53 #include <gst/controller/gstcontroller.h>
  54
  55 #include "audioecho.h"
  56
  57 #define GST_CAT_DEFAULT gst_audio_echo_debug
  58 GST_DEBUG_CATEGORY_STATIC (GST_CAT_DEFAULT);
  59
  60 enum
  61 {
  62   PROP_0,
  63   PROP_DELAY,
  64   PROP_MAX_DELAY,
  65   PROP_INTENSITY,
  66   PROP_FEEDBACK
  67 };
  68
  69 #define ALLOWED_CAPS \
  70     "audio/x-raw-float,"                                              \
  71     " width=(int) { 32, 64 }, "                                       \
  72     " endianness=(int)BYTE_ORDER,"                                    \
  73     " rate=(int)[1,MAX],"                                             \
  74     " channels=(int)[1,MAX]"
  75
  76 #define DEBUG_INIT(bla) \
  77   GST_DEBUG_CATEGORY_INIT (gst_audio_echo_debug, "audioecho", 0, "audioecho element");
  78
  79 GST_BOILERPLATE_FULL (GstAudioEcho, gst_audio_echo, GstAudioFilter,
  80     GST_TYPE_AUDIO_FILTER, DEBUG_INIT);
  81
  82 static void gst_audio_echo_set_property (GObject * object, guint prop_id,
  83     const GValue * value, GParamSpec * pspec);
  84 static void gst_audio_echo_get_property (GObject * object, guint prop_id,
  85     GValue * value, GParamSpec * pspec);
  86 static void gst_audio_echo_finalize (GObject * object);
  87
  88 static gboolean gst_audio_echo_setup (GstAudioFilter * self,
  89     GstRingBufferSpec * format);
  90 static gboolean gst_audio_echo_stop (GstBaseTransform * base);
  91 static GstFlowReturn gst_audio_echo_transform_ip (GstBaseTransform * base,
  92     GstBuffer * buf);
  93
  94 static void gst_audio_echo_transform_float (GstAudioEcho * self,
  95     gfloat * data, guint num_samples);
  96 static void gst_audio_echo_transform_double (GstAudioEcho * self,
  97     gdouble * data, guint num_samples);
  98
  99 /* GObject vmethod implementations */
 100
 101 static void
 102 gst_audio_echo_base_init (gpointer klass)
 103 {
 104   GstElementClass *element_class = GST_ELEMENT_CLASS (klass);
 105   GstCaps *caps;
 106
 107   gst_element_class_set_details_simple (element_class, "Audio echo",
 108       "Filter/Effect/Audio",
 109       "Adds an echo or reverb effect to an audio stream",
 110       "Sebastian Dröge <sebastian.droege@collabora.co.uk>");
 111
 112   caps = gst_caps_from_string (ALLOWED_CAPS);
 113   gst_audio_filter_class_add_pad_templates (GST_AUDIO_FILTER_CLASS (klass),
 114       caps);
 115   gst_caps_unref (caps);
 116 }
 117
 118 static void
 119 gst_audio_echo_class_init (GstAudioEchoClass * klass)
 120 {
 121   GObjectClass *gobject_class = (GObjectClass *) klass;
 122   GstBaseTransformClass *basetransform_class = (GstBaseTransformClass *) klass;
 123   GstAudioFilterClass *audioself_class = (GstAudioFilterClass *) klass;
 124
 125   gobject_class->set_property = gst_audio_echo_set_property;
 126   gobject_class->get_property = gst_audio_echo_get_property;
 127   gobject_class->finalize = gst_audio_echo_finalize;
 128
 129   g_object_class_install_property (gobject_class, PROP_DELAY,
 130       g_param_spec_uint64 ("delay", "Delay",
 131           "Delay of the echo in nanoseconds", 1, G_MAXUINT64,
 132           1, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS
 133           | GST_PARAM_CONTROLLABLE));
 134
 135   g_object_class_install_property (gobject_class, PROP_MAX_DELAY,
 136       g_param_spec_uint64 ("max-delay", "Maximum Delay",
 137           "Maximum delay of the echo in nanoseconds"
 138           " (can't be changed in PLAYING or PAUSED state)",
 139           1, G_MAXUINT64, 1,
 140           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS |
 141           GST_PARAM_MUTABLE_READY));
 142
 143   g_object_class_install_property (gobject_class, PROP_INTENSITY,
 144       g_param_spec_float ("intensity", "Intensity",
 145           "Intensity of the echo", 0.0, 1.0,
 146           0.0, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS
 147           | GST_PARAM_CONTROLLABLE));
 148
 149   g_object_class_install_property (gobject_class, PROP_FEEDBACK,
 150       g_param_spec_float ("feedback", "Feedback",
 151           "Amount of feedback", 0.0, 1.0,
 152           0.0, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS
 153           | GST_PARAM_CONTROLLABLE));
 154
 155   audioself_class->setup = GST_DEBUG_FUNCPTR (gst_audio_echo_setup);
 156   basetransform_class->transform_ip =
 157       GST_DEBUG_FUNCPTR (gst_audio_echo_transform_ip);
 158   basetransform_class->stop = GST_DEBUG_FUNCPTR (gst_audio_echo_stop);
 159 }
 160
 161 static void
 162 gst_audio_echo_init (GstAudioEcho * self, GstAudioEchoClass * klass)
 163 {
 164   self->delay = 1;
 165   self->max_delay = 1;
 166   self->intensity = 0.0;
 167   self->feedback = 0.0;
 168
 169   gst_base_transform_set_in_place (GST_BASE_TRANSFORM (self), TRUE);
 170 }
 171
 172 static void
 173 gst_audio_echo_finalize (GObject * object)
 174 {
 175   GstAudioEcho *self = GST_AUDIO_ECHO (object);
 176
 177   g_free (self->buffer);
 178   self->buffer = NULL;
 179
 180   G_OBJECT_CLASS (parent_class)->finalize (object);
 181 }
 182
 183 static void
 184 gst_audio_echo_set_property (GObject * object, guint prop_id,
 185     const GValue * value, GParamSpec * pspec)
 186 {
 187   GstAudioEcho *self = GST_AUDIO_ECHO (object);
 188
 189   switch (prop_id) {
 190     case PROP_DELAY:{
 191       guint64 max_delay, delay;
 192
 193       GST_BASE_TRANSFORM_LOCK (self);
 194       delay = g_value_get_uint64 (value);
 195       max_delay = self->max_delay;
 196
 197       if (delay > max_delay && GST_STATE (self) > GST_STATE_READY) {
 198         GST_WARNING_OBJECT (self, "New delay (%" GST_TIME_FORMAT ") "
 199             "is larger than maximum delay (%" GST_TIME_FORMAT ")",
 200             GST_TIME_ARGS (delay), GST_TIME_ARGS (max_delay));
 201         self->delay = max_delay;
 202       } else {
 203         self->delay = delay;
 204         self->max_delay = MAX (delay, max_delay);
 205       }
 206       GST_BASE_TRANSFORM_UNLOCK (self);
 207     }
 208       break;
 209     case PROP_MAX_DELAY:{
 210       guint64 max_delay, delay;
 211
 212       GST_BASE_TRANSFORM_LOCK (self);
 213       max_delay = g_value_get_uint64 (value);
 214       delay = self->delay;
 215
 216       if (GST_STATE (self) > GST_STATE_READY) {
 217         GST_ERROR_OBJECT (self, "Can't change maximum delay in"
 218             " PLAYING or PAUSED state");
 219       } else {
 220         self->delay = delay;
 221         self->max_delay = max_delay;
 222       }
 223       GST_BASE_TRANSFORM_UNLOCK (self);
 224     }
 225       break;
 226     case PROP_INTENSITY:{
 227       GST_BASE_TRANSFORM_LOCK (self);
 228       self->intensity = g_value_get_float (value);
 229       GST_BASE_TRANSFORM_UNLOCK (self);
 230     }
 231       break;
 232     case PROP_FEEDBACK:{
 233       GST_BASE_TRANSFORM_LOCK (self);
 234       self->feedback = g_value_get_float (value);
 235       GST_BASE_TRANSFORM_UNLOCK (self);
 236     }
 237       break;
 238     default:
 239       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 240       break;
 241   }
 242 }
 243
 244 static void
 245 gst_audio_echo_get_property (GObject * object, guint prop_id,
 246     GValue * value, GParamSpec * pspec)
 247 {
 248   GstAudioEcho *self = GST_AUDIO_ECHO (object);
 249
 250   switch (prop_id) {
 251     case PROP_DELAY:
 252       GST_BASE_TRANSFORM_LOCK (self);
 253       g_value_set_uint64 (value, self->delay);
 254       GST_BASE_TRANSFORM_UNLOCK (self);
 255       break;
 256     case PROP_MAX_DELAY:
 257       GST_BASE_TRANSFORM_LOCK (self);
 258       g_value_set_uint64 (value, self->max_delay);
 259       GST_BASE_TRANSFORM_UNLOCK (self);
 260       break;
 261     case PROP_INTENSITY:
 262       GST_BASE_TRANSFORM_LOCK (self);
 263       g_value_set_float (value, self->intensity);
 264       GST_BASE_TRANSFORM_UNLOCK (self);
 265       break;
 266     case PROP_FEEDBACK:
 267       GST_BASE_TRANSFORM_LOCK (self);
 268       g_value_set_float (value, self->feedback);
 269       GST_BASE_TRANSFORM_UNLOCK (self);
 270       break;
 271     default:
 272       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 273       break;
 274   }
 275 }
 276
 277 /* GstAudioFilter vmethod implementations */
 278
 279 static gboolean
 280 gst_audio_echo_setup (GstAudioFilter * base, GstRingBufferSpec * format)
 281 {
 282   GstAudioEcho *self = GST_AUDIO_ECHO (base);
 283   gboolean ret = TRUE;
 284
 285   if (format->type == GST_BUFTYPE_FLOAT && format->width == 32)
 286     self->process = (GstAudioEchoProcessFunc)
 287         gst_audio_echo_transform_float;
 288   else if (format->type == GST_BUFTYPE_FLOAT && format->width == 64)
 289     self->process = (GstAudioEchoProcessFunc)
 290         gst_audio_echo_transform_double;
 291   else
 292     ret = FALSE;
 293
 294   g_free (self->buffer);
 295   self->buffer = NULL;
 296   self->buffer_pos = 0;
 297   self->buffer_size = 0;
 298   self->buffer_size_frames = 0;
 299
 300   return ret;
 301 }
 302
 303 static gboolean
 304 gst_audio_echo_stop (GstBaseTransform * base)
 305 {
 306   GstAudioEcho *self = GST_AUDIO_ECHO (base);
 307
 308   g_free (self->buffer);
 309   self->buffer = NULL;
 310   self->buffer_pos = 0;
 311   self->buffer_size = 0;
 312   self->buffer_size_frames = 0;
 313
 314   return TRUE;
 315 }
 316
 317 #define TRANSFORM_FUNC(name, type) \
 318 static void \
 319 gst_audio_echo_transform_##name (GstAudioEcho * self, \
 320     type * data, guint num_samples) \
 321 { \
 322   type *buffer = (type *) self->buffer; \
 323   guint channels = GST_AUDIO_FILTER (self)->format.channels; \
 324   guint rate = GST_AUDIO_FILTER (self)->format.rate; \
 325   guint i, j; \
 326   guint echo_index = self->buffer_size_frames - self->delay_frames; \
 327   gdouble echo_off = ((((gdouble) self->delay) * rate) / GST_SECOND) - self->delay_frames; \
 328   \
 329   if (echo_off < 0.0) \
 330     echo_off = 0.0; \
 331   \
 332   num_samples /= channels; \
 333   \
 334   for (i = 0; i < num_samples; i++) { \
 335     guint echo0_index = ((echo_index + self->buffer_pos) % self->buffer_size_frames) * channels; \
 336     guint echo1_index = ((echo_index + self->buffer_pos +1) % self->buffer_size_frames) * channels; \
 337     guint rbout_index = (self->buffer_pos % self->buffer_size_frames) * channels; \
 338     for (j = 0; j < channels; j++) { \
 339       gdouble in = data[i*channels + j]; \
 340       gdouble echo0 = buffer[echo0_index + j]; \
 341       gdouble echo1 = buffer[echo1_index + j]; \
 342       gdouble echo = echo0 + (echo1-echo0)*echo_off; \
 343       type out = in + self->intensity * echo; \
 344       \
 345       data[i*channels + j] = out; \
 346       \
 347       buffer[rbout_index + j] = in + self->feedback * echo; \
 348     } \
 349     self->buffer_pos = (self->buffer_pos + 1) % self->buffer_size_frames; \
 350   } \
 351 }
 352
 353 TRANSFORM_FUNC (float, gfloat);
 354 TRANSFORM_FUNC (double, gdouble);
 355
 356 /* GstBaseTransform vmethod implementations */
 357 static GstFlowReturn
 358 gst_audio_echo_transform_ip (GstBaseTransform * base, GstBuffer * buf)
 359 {
 360   GstAudioEcho *self = GST_AUDIO_ECHO (base);
 361   guint num_samples;
 362   GstClockTime timestamp, stream_time;
 363
 364   timestamp = GST_BUFFER_TIMESTAMP (buf);
 365   stream_time =
 366       gst_segment_to_stream_time (&base->segment, GST_FORMAT_TIME, timestamp);
 367
 368   GST_DEBUG_OBJECT (self, "sync to %" GST_TIME_FORMAT,
 369       GST_TIME_ARGS (timestamp));
 370
 371   if (GST_CLOCK_TIME_IS_VALID (stream_time))
 372     gst_object_sync_values (G_OBJECT (self), stream_time);
 373
 374   num_samples =
 375       GST_BUFFER_SIZE (buf) / (GST_AUDIO_FILTER (self)->format.width / 8);
 376
 377   if (self->buffer == NULL) {
 378     guint width, rate, channels;
 379
 380     width = GST_AUDIO_FILTER (self)->format.width / 8;
 381     rate = GST_AUDIO_FILTER (self)->format.rate;
 382     channels = GST_AUDIO_FILTER (self)->format.channels;
 383
 384     self->delay_frames =
 385         MAX (gst_util_uint64_scale (self->delay, rate, GST_SECOND), 1);
 386     self->buffer_size_frames =
 387         MAX (gst_util_uint64_scale (self->max_delay, rate, GST_SECOND), 1);
 388
 389     self->buffer_size = self->buffer_size_frames * width * channels;
 390     self->buffer = g_try_malloc0 (self->buffer_size);
 391     self->buffer_pos = 0;
 392
 393     if (self->buffer == NULL) {
 394       GST_ERROR_OBJECT (self, "Failed to allocate %u bytes", self->buffer_size);
 395       return GST_FLOW_ERROR;
 396     }
 397   }
 398
 399   self->process (self, GST_BUFFER_DATA (buf), num_samples);
 400
 401   return GST_FLOW_OK;
 402 }