libavfilter/buffersink.c

   1 /*
   2  * Copyright (c) 2011 Stefano Sabatini
   3  *
   4  * This file is part of Libav.
   5  *
   6  * Libav is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2.1 of the License, or (at your option) any later version.
  10  *
  11  * Libav is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with Libav; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  19  */
  20
  21 /**
  22  * @file
  23  * buffer sink
  24  */
  25
  26 #include "libavutil/audio_fifo.h"
  27 #include "libavutil/avassert.h"
  28 #include "libavutil/channel_layout.h"
  29 #include "libavutil/common.h"
  30 #include "libavutil/internal.h"
  31 #include "libavutil/mathematics.h"
  32
  33 #include "audio.h"
  34 #include "avfilter.h"
  35 #include "buffersink.h"
  36 #include "internal.h"
  37
  38 typedef struct BufferSinkContext {
  39     AVFrame *cur_frame;          ///< last frame delivered on the sink
  40     AVAudioFifo *audio_fifo;     ///< FIFO for audio samples
  41     int64_t next_pts;            ///< interpolating audio pts
  42 } BufferSinkContext;
  43
  44 static av_cold void uninit(AVFilterContext *ctx)
  45 {
  46     BufferSinkContext *sink = ctx->priv;
  47
  48     if (sink->audio_fifo)
  49         av_audio_fifo_free(sink->audio_fifo);
  50 }
  51
  52 static int filter_frame(AVFilterLink *link, AVFrame *frame)
  53 {
  54     BufferSinkContext *s = link->dst->priv;
  55
  56     av_assert0(!s->cur_frame);
  57     s->cur_frame = frame;
  58
  59     return 0;
  60 }
  61
  62 int attribute_align_arg av_buffersink_get_frame(AVFilterContext *ctx,
  63                                                 AVFrame *frame)
  64 {
  65     BufferSinkContext *s    = ctx->priv;
  66     AVFilterLink      *link = ctx->inputs[0];
  67     int ret;
  68
  69     if ((ret = ff_request_frame(link)) < 0)
  70         return ret;
  71
  72     if (!s->cur_frame)
  73         return AVERROR(EINVAL);
  74
  75     av_frame_move_ref(frame, s->cur_frame);
  76     av_frame_free(&s->cur_frame);
  77
  78     return 0;
  79 }
  80
  81 static int read_from_fifo(AVFilterContext *ctx, AVFrame *frame,
  82                           int nb_samples)
  83 {
  84     BufferSinkContext *s = ctx->priv;
  85     AVFilterLink   *link = ctx->inputs[0];
  86     AVFrame *tmp;
  87
  88     if (!(tmp = ff_get_audio_buffer(link, nb_samples)))
  89         return AVERROR(ENOMEM);
  90     av_audio_fifo_read(s->audio_fifo, (void**)tmp->extended_data, nb_samples);
  91
  92     tmp->pts = s->next_pts;
  93     s->next_pts += av_rescale_q(nb_samples, (AVRational){1, link->sample_rate},
  94                                 link->time_base);
  95
  96     av_frame_move_ref(frame, tmp);
  97     av_frame_free(&tmp);
  98
  99     return 0;
 100 }
 101
 102 int attribute_align_arg av_buffersink_get_samples(AVFilterContext *ctx,
 103                                                   AVFrame *frame, int nb_samples)
 104 {
 105     BufferSinkContext *s = ctx->priv;
 106     AVFilterLink   *link = ctx->inputs[0];
 107     int ret = 0;
 108
 109     if (!s->audio_fifo) {
 110         int nb_channels = av_get_channel_layout_nb_channels(link->channel_layout);
 111         if (!(s->audio_fifo = av_audio_fifo_alloc(link->format, nb_channels, nb_samples)))
 112             return AVERROR(ENOMEM);
 113     }
 114
 115     while (ret >= 0) {
 116         if (av_audio_fifo_size(s->audio_fifo) >= nb_samples)
 117             return read_from_fifo(ctx, frame, nb_samples);
 118
 119         ret = ff_request_frame(link);
 120         if (ret == AVERROR_EOF && av_audio_fifo_size(s->audio_fifo))
 121             return read_from_fifo(ctx, frame, av_audio_fifo_size(s->audio_fifo));
 122         else if (ret < 0)
 123             return ret;
 124
 125         if (s->cur_frame->pts != AV_NOPTS_VALUE) {
 126             s->next_pts = s->cur_frame->pts -
 127                           av_rescale_q(av_audio_fifo_size(s->audio_fifo),
 128                                        (AVRational){ 1, link->sample_rate },
 129                                        link->time_base);
 130         }
 131
 132         ret = av_audio_fifo_write(s->audio_fifo, (void**)s->cur_frame->extended_data,
 133                                   s->cur_frame->nb_samples);
 134         av_frame_free(&s->cur_frame);
 135     }
 136
 137     return ret;
 138 }
 139
 140 #if FF_API_AVFILTERBUFFER
 141 FF_DISABLE_DEPRECATION_WARNINGS
 142 static void compat_free_buffer(AVFilterBuffer *buf)
 143 {
 144     AVFrame *frame = buf->priv;
 145     av_frame_free(&frame);
 146     av_free(buf);
 147 }
 148
 149 static int compat_read(AVFilterContext *ctx,
 150                        AVFilterBufferRef **pbuf, int nb_samples)
 151 {
 152     AVFilterBufferRef *buf;
 153     AVFrame *frame;
 154     int ret;
 155
 156     if (!pbuf)
 157         return ff_poll_frame(ctx->inputs[0]);
 158
 159     frame = av_frame_alloc();
 160     if (!frame)
 161         return AVERROR(ENOMEM);
 162
 163     if (!nb_samples)
 164         ret = av_buffersink_get_frame(ctx, frame);
 165     else
 166         ret = av_buffersink_get_samples(ctx, frame, nb_samples);
 167
 168     if (ret < 0)
 169         goto fail;
 170
 171     if (ctx->inputs[0]->type == AVMEDIA_TYPE_VIDEO) {
 172         buf = avfilter_get_video_buffer_ref_from_arrays(frame->data, frame->linesize,
 173                                                         AV_PERM_READ,
 174                                                         frame->width, frame->height,
 175                                                         frame->format);
 176     } else {
 177         buf = avfilter_get_audio_buffer_ref_from_arrays(frame->extended_data,
 178                                                         frame->linesize[0], AV_PERM_READ,
 179                                                         frame->nb_samples,
 180                                                         frame->format,
 181                                                         frame->channel_layout);
 182     }
 183     if (!buf) {
 184         ret = AVERROR(ENOMEM);
 185         goto fail;
 186     }
 187
 188     avfilter_copy_frame_props(buf, frame);
 189
 190     buf->buf->priv = frame;
 191     buf->buf->free = compat_free_buffer;
 192
 193     *pbuf = buf;
 194
 195     return 0;
 196 fail:
 197     av_frame_free(&frame);
 198     return ret;
 199 }
 200
 201 int attribute_align_arg av_buffersink_read(AVFilterContext *ctx, AVFilterBufferRef **buf)
 202 {
 203     return compat_read(ctx, buf, 0);
 204 }
 205
 206 int attribute_align_arg av_buffersink_read_samples(AVFilterContext *ctx, AVFilterBufferRef **buf,
 207                                                    int nb_samples)
 208 {
 209     return compat_read(ctx, buf, nb_samples);
 210 }
 211 FF_ENABLE_DEPRECATION_WARNINGS
 212 #endif
 213
 214 static const AVFilterPad avfilter_vsink_buffer_inputs[] = {
 215     {
 216         .name         = "default",
 217         .type         = AVMEDIA_TYPE_VIDEO,
 218         .filter_frame = filter_frame,
 219         .needs_fifo   = 1
 220     },
 221     { NULL }
 222 };
 223
 224 AVFilter ff_vsink_buffer = {
 225     .name        = "buffersink",
 226     .description = NULL_IF_CONFIG_SMALL("Buffer video frames, and make them available to the end of the filter graph."),
 227     .priv_size   = sizeof(BufferSinkContext),
 228     .uninit      = uninit,
 229
 230     .inputs      = avfilter_vsink_buffer_inputs,
 231     .outputs     = NULL,
 232 };
 233
 234 static const AVFilterPad avfilter_asink_abuffer_inputs[] = {
 235     {
 236         .name         = "default",
 237         .type         = AVMEDIA_TYPE_AUDIO,
 238         .filter_frame = filter_frame,
 239         .needs_fifo   = 1
 240     },
 241     { NULL }
 242 };
 243
 244 AVFilter ff_asink_abuffer = {
 245     .name        = "abuffersink",
 246     .description = NULL_IF_CONFIG_SMALL("Buffer audio frames, and make them available to the end of the filter graph."),
 247     .priv_size   = sizeof(BufferSinkContext),
 248     .uninit      = uninit,
 249
 250     .inputs      = avfilter_asink_abuffer_inputs,
 251     .outputs     = NULL,
 252 };