Merge branch 'master' into 0.11
[platform/upstream/gst-plugins-good.git] / gst / audiofx / audioecho.c
1 /* 
2  * GStreamer
3  * Copyright (C) 2009 Sebastian Dröge <sebastian.droege@collabora.co.uk>
4  *
5  * This library is free software; you can redistribute it and/or
6  * modify it under the terms of the GNU Library General Public
7  * License as published by the Free Software Foundation; either
8  * version 2 of the License, or (at your option) any later version.
9  *
10  * This library is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * Library General Public License for more details.
14  *
15  * You should have received a copy of the GNU Library General Public
16  * License along with this library; if not, write to the
17  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18  * Boston, MA 02111-1307, USA.
19  */
20
21 /**
22  * SECTION:element-audioecho
23  * @Since: 0.10.14
24  *
25  * audioecho adds an echo or (simple) reverb effect to an audio stream. The echo
26  * delay, intensity and the percentage of feedback can be configured.
27  *
28  * For getting an echo effect you have to set the delay to a larger value,
29  * for example 200ms and more. Everything below will result in a simple
30  * reverb effect, which results in a slightly metallic sound.
31  *
32  * Use the max-delay property to set the maximum amount of delay that
33  * will be used. This can only be set before going to the PAUSED or PLAYING
34  * state and will be set to the current delay by default.
35  *
36  * <refsect2>
37  * <title>Example launch line</title>
38  * |[
39  * gst-launch filesrc location="melo1.ogg" ! audioconvert ! audioecho delay=500000000 intensity=0.6 feedback=0.4 ! audioconvert ! autoaudiosink
40  * gst-launch filesrc location="melo1.ogg" ! decodebin ! audioconvert ! audioecho delay=50000000 intensity=0.6 feedback=0.4 ! audioconvert ! autoaudiosink
41  * ]|
42  * </refsect2>
43  */
44
45 #ifdef HAVE_CONFIG_H
46 #include "config.h"
47 #endif
48
49 #include <gst/gst.h>
50 #include <gst/base/gstbasetransform.h>
51 #include <gst/audio/audio.h>
52 #include <gst/audio/gstaudiofilter.h>
53 #include <gst/controller/gstcontroller.h>
54
55 #include "audioecho.h"
56
57 #define GST_CAT_DEFAULT gst_audio_echo_debug
58 GST_DEBUG_CATEGORY_STATIC (GST_CAT_DEFAULT);
59
60 enum
61 {
62   PROP_0,
63   PROP_DELAY,
64   PROP_MAX_DELAY,
65   PROP_INTENSITY,
66   PROP_FEEDBACK
67 };
68
69 #define ALLOWED_CAPS \
70     "audio/x-raw,"                                                 \
71     " format=(string) {"GST_AUDIO_NE(F32)","GST_AUDIO_NE(F64)"}, " \
72     " rate=(int)[1,MAX],"                                          \
73     " channels=(int)[1,MAX]"
74
75 #define gst_audio_echo_parent_class parent_class
76 G_DEFINE_TYPE (GstAudioEcho, gst_audio_echo, GST_TYPE_AUDIO_FILTER);
77
78 static void gst_audio_echo_set_property (GObject * object, guint prop_id,
79     const GValue * value, GParamSpec * pspec);
80 static void gst_audio_echo_get_property (GObject * object, guint prop_id,
81     GValue * value, GParamSpec * pspec);
82 static void gst_audio_echo_finalize (GObject * object);
83
84 static gboolean gst_audio_echo_setup (GstAudioFilter * self,
85     const GstAudioInfo * info);
86 static gboolean gst_audio_echo_stop (GstBaseTransform * base);
87 static GstFlowReturn gst_audio_echo_transform_ip (GstBaseTransform * base,
88     GstBuffer * buf);
89
90 static void gst_audio_echo_transform_float (GstAudioEcho * self,
91     gfloat * data, guint num_samples);
92 static void gst_audio_echo_transform_double (GstAudioEcho * self,
93     gdouble * data, guint num_samples);
94
95 /* GObject vmethod implementations */
96
97 static void
98 gst_audio_echo_class_init (GstAudioEchoClass * klass)
99 {
100   GObjectClass *gobject_class = (GObjectClass *) klass;
101   GstElementClass *gstelement_class = (GstElementClass *) klass;
102   GstBaseTransformClass *basetransform_class = (GstBaseTransformClass *) klass;
103   GstAudioFilterClass *audioself_class = (GstAudioFilterClass *) klass;
104   GstCaps *caps;
105
106   GST_DEBUG_CATEGORY_INIT (gst_audio_echo_debug, "audioecho", 0,
107       "audioecho element");
108
109   gobject_class->set_property = gst_audio_echo_set_property;
110   gobject_class->get_property = gst_audio_echo_get_property;
111   gobject_class->finalize = gst_audio_echo_finalize;
112
113   g_object_class_install_property (gobject_class, PROP_DELAY,
114       g_param_spec_uint64 ("delay", "Delay",
115           "Delay of the echo in nanoseconds", 1, G_MAXUINT64,
116           1, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS
117           | GST_PARAM_CONTROLLABLE));
118
119   g_object_class_install_property (gobject_class, PROP_MAX_DELAY,
120       g_param_spec_uint64 ("max-delay", "Maximum Delay",
121           "Maximum delay of the echo in nanoseconds"
122           " (can't be changed in PLAYING or PAUSED state)",
123           1, G_MAXUINT64, 1,
124           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS |
125           GST_PARAM_MUTABLE_READY));
126
127   g_object_class_install_property (gobject_class, PROP_INTENSITY,
128       g_param_spec_float ("intensity", "Intensity",
129           "Intensity of the echo", 0.0, 1.0,
130           0.0, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS
131           | GST_PARAM_CONTROLLABLE));
132
133   g_object_class_install_property (gobject_class, PROP_FEEDBACK,
134       g_param_spec_float ("feedback", "Feedback",
135           "Amount of feedback", 0.0, 1.0,
136           0.0, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS
137           | GST_PARAM_CONTROLLABLE));
138
139   gst_element_class_set_details_simple (gstelement_class, "Audio echo",
140       "Filter/Effect/Audio",
141       "Adds an echo or reverb effect to an audio stream",
142       "Sebastian Dröge <sebastian.droege@collabora.co.uk>");
143
144   caps = gst_caps_from_string (ALLOWED_CAPS);
145   gst_audio_filter_class_add_pad_templates (GST_AUDIO_FILTER_CLASS (klass),
146       caps);
147   gst_caps_unref (caps);
148
149   audioself_class->setup = GST_DEBUG_FUNCPTR (gst_audio_echo_setup);
150   basetransform_class->transform_ip =
151       GST_DEBUG_FUNCPTR (gst_audio_echo_transform_ip);
152   basetransform_class->stop = GST_DEBUG_FUNCPTR (gst_audio_echo_stop);
153 }
154
155 static void
156 gst_audio_echo_init (GstAudioEcho * self)
157 {
158   self->delay = 1;
159   self->max_delay = 1;
160   self->intensity = 0.0;
161   self->feedback = 0.0;
162
163   gst_base_transform_set_in_place (GST_BASE_TRANSFORM (self), TRUE);
164 }
165
166 static void
167 gst_audio_echo_finalize (GObject * object)
168 {
169   GstAudioEcho *self = GST_AUDIO_ECHO (object);
170
171   g_free (self->buffer);
172   self->buffer = NULL;
173
174   G_OBJECT_CLASS (parent_class)->finalize (object);
175 }
176
177 static void
178 gst_audio_echo_set_property (GObject * object, guint prop_id,
179     const GValue * value, GParamSpec * pspec)
180 {
181   GstAudioEcho *self = GST_AUDIO_ECHO (object);
182
183   switch (prop_id) {
184     case PROP_DELAY:{
185       guint64 max_delay, delay;
186
187       GST_BASE_TRANSFORM_LOCK (self);
188       delay = g_value_get_uint64 (value);
189       max_delay = self->max_delay;
190
191       if (delay > max_delay && GST_STATE (self) > GST_STATE_READY) {
192         GST_WARNING_OBJECT (self, "New delay (%" GST_TIME_FORMAT ") "
193             "is larger than maximum delay (%" GST_TIME_FORMAT ")",
194             GST_TIME_ARGS (delay), GST_TIME_ARGS (max_delay));
195         self->delay = max_delay;
196       } else {
197         self->delay = delay;
198         self->max_delay = MAX (delay, max_delay);
199       }
200       GST_BASE_TRANSFORM_UNLOCK (self);
201     }
202       break;
203     case PROP_MAX_DELAY:{
204       guint64 max_delay, delay;
205
206       GST_BASE_TRANSFORM_LOCK (self);
207       max_delay = g_value_get_uint64 (value);
208       delay = self->delay;
209
210       if (GST_STATE (self) > GST_STATE_READY) {
211         GST_ERROR_OBJECT (self, "Can't change maximum delay in"
212             " PLAYING or PAUSED state");
213       } else {
214         self->delay = delay;
215         self->max_delay = max_delay;
216       }
217       GST_BASE_TRANSFORM_UNLOCK (self);
218     }
219       break;
220     case PROP_INTENSITY:{
221       GST_BASE_TRANSFORM_LOCK (self);
222       self->intensity = g_value_get_float (value);
223       GST_BASE_TRANSFORM_UNLOCK (self);
224     }
225       break;
226     case PROP_FEEDBACK:{
227       GST_BASE_TRANSFORM_LOCK (self);
228       self->feedback = g_value_get_float (value);
229       GST_BASE_TRANSFORM_UNLOCK (self);
230     }
231       break;
232     default:
233       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
234       break;
235   }
236 }
237
238 static void
239 gst_audio_echo_get_property (GObject * object, guint prop_id,
240     GValue * value, GParamSpec * pspec)
241 {
242   GstAudioEcho *self = GST_AUDIO_ECHO (object);
243
244   switch (prop_id) {
245     case PROP_DELAY:
246       GST_BASE_TRANSFORM_LOCK (self);
247       g_value_set_uint64 (value, self->delay);
248       GST_BASE_TRANSFORM_UNLOCK (self);
249       break;
250     case PROP_MAX_DELAY:
251       GST_BASE_TRANSFORM_LOCK (self);
252       g_value_set_uint64 (value, self->max_delay);
253       GST_BASE_TRANSFORM_UNLOCK (self);
254       break;
255     case PROP_INTENSITY:
256       GST_BASE_TRANSFORM_LOCK (self);
257       g_value_set_float (value, self->intensity);
258       GST_BASE_TRANSFORM_UNLOCK (self);
259       break;
260     case PROP_FEEDBACK:
261       GST_BASE_TRANSFORM_LOCK (self);
262       g_value_set_float (value, self->feedback);
263       GST_BASE_TRANSFORM_UNLOCK (self);
264       break;
265     default:
266       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
267       break;
268   }
269 }
270
271 /* GstAudioFilter vmethod implementations */
272
273 static gboolean
274 gst_audio_echo_setup (GstAudioFilter * base, const GstAudioInfo * info)
275 {
276   GstAudioEcho *self = GST_AUDIO_ECHO (base);
277   gboolean ret = TRUE;
278
279   switch (GST_AUDIO_INFO_FORMAT (info)) {
280     case GST_AUDIO_FORMAT_F32:
281       self->process = (GstAudioEchoProcessFunc)
282           gst_audio_echo_transform_float;
283       break;
284     case GST_AUDIO_FORMAT_F64:
285       self->process = (GstAudioEchoProcessFunc)
286           gst_audio_echo_transform_double;
287       break;
288     default:
289       ret = FALSE;
290       break;
291   }
292
293   g_free (self->buffer);
294   self->buffer = NULL;
295   self->buffer_pos = 0;
296   self->buffer_size = 0;
297   self->buffer_size_frames = 0;
298
299   return ret;
300 }
301
302 static gboolean
303 gst_audio_echo_stop (GstBaseTransform * base)
304 {
305   GstAudioEcho *self = GST_AUDIO_ECHO (base);
306
307   g_free (self->buffer);
308   self->buffer = NULL;
309   self->buffer_pos = 0;
310   self->buffer_size = 0;
311   self->buffer_size_frames = 0;
312
313   return TRUE;
314 }
315
316 #define TRANSFORM_FUNC(name, type) \
317 static void \
318 gst_audio_echo_transform_##name (GstAudioEcho * self, \
319     type * data, guint num_samples) \
320 { \
321   type *buffer = (type *) self->buffer; \
322   guint channels = GST_AUDIO_FILTER_CHANNELS (self); \
323   guint rate = GST_AUDIO_FILTER_RATE (self); \
324   guint i, j; \
325   guint echo_index = self->buffer_size_frames - self->delay_frames; \
326   gdouble echo_off = ((((gdouble) self->delay) * rate) / GST_SECOND) - self->delay_frames; \
327   \
328   if (echo_off < 0.0) \
329     echo_off = 0.0; \
330   \
331   num_samples /= channels; \
332   \
333   for (i = 0; i < num_samples; i++) { \
334     guint echo0_index = ((echo_index + self->buffer_pos) % self->buffer_size_frames) * channels; \
335     guint echo1_index = ((echo_index + self->buffer_pos +1) % self->buffer_size_frames) * channels; \
336     guint rbout_index = (self->buffer_pos % self->buffer_size_frames) * channels; \
337     for (j = 0; j < channels; j++) { \
338       gdouble in = data[i*channels + j]; \
339       gdouble echo0 = buffer[echo0_index + j]; \
340       gdouble echo1 = buffer[echo1_index + j]; \
341       gdouble echo = echo0 + (echo1-echo0)*echo_off; \
342       type out = in + self->intensity * echo; \
343       \
344       data[i*channels + j] = out; \
345       \
346       buffer[rbout_index + j] = in + self->feedback * echo; \
347     } \
348     self->buffer_pos = (self->buffer_pos + 1) % self->buffer_size_frames; \
349   } \
350 }
351
352 TRANSFORM_FUNC (float, gfloat);
353 TRANSFORM_FUNC (double, gdouble);
354
355 /* GstBaseTransform vmethod implementations */
356 static GstFlowReturn
357 gst_audio_echo_transform_ip (GstBaseTransform * base, GstBuffer * buf)
358 {
359   GstAudioEcho *self = GST_AUDIO_ECHO (base);
360   guint num_samples;
361   GstClockTime timestamp, stream_time;
362   guint8 *data;
363   gsize size;
364
365   timestamp = GST_BUFFER_TIMESTAMP (buf);
366   stream_time =
367       gst_segment_to_stream_time (&base->segment, GST_FORMAT_TIME, timestamp);
368
369   GST_DEBUG_OBJECT (self, "sync to %" GST_TIME_FORMAT,
370       GST_TIME_ARGS (timestamp));
371
372   if (GST_CLOCK_TIME_IS_VALID (stream_time))
373     gst_object_sync_values (G_OBJECT (self), stream_time);
374
375   if (self->buffer == NULL) {
376     guint bpf, rate;
377
378     bpf = GST_AUDIO_FILTER_BPS (self);
379     rate = GST_AUDIO_FILTER_RATE (self);
380
381     self->delay_frames =
382         MAX (gst_util_uint64_scale (self->delay, rate, GST_SECOND), 1);
383     self->buffer_size_frames =
384         MAX (gst_util_uint64_scale (self->max_delay, rate, GST_SECOND), 1);
385
386     self->buffer_size = self->buffer_size_frames * bpf;
387     self->buffer = g_try_malloc0 (self->buffer_size);
388     self->buffer_pos = 0;
389
390     if (self->buffer == NULL) {
391       GST_ERROR_OBJECT (self, "Failed to allocate %u bytes", self->buffer_size);
392       return GST_FLOW_ERROR;
393     }
394   }
395
396   data = gst_buffer_map (buf, &size, NULL, GST_MAP_READWRITE);
397   num_samples = size / GST_AUDIO_FILTER_BPS (self);
398
399   self->process (self, data, num_samples);
400
401   gst_buffer_unmap (buf, data, size);
402
403   return GST_FLOW_OK;
404 }