libavformat/hdsenc.c

   1 /*
   2  * Live HDS fragmenter
   3  * Copyright (c) 2013 Martin Storsjo
   4  *
   5  * This file is part of Libav.
   6  *
   7  * Libav is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * Libav is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with Libav; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  20  */
  21
  22 #include "config.h"
  23 #include <float.h>
  24 #if HAVE_UNISTD_H
  25 #include <unistd.h>
  26 #endif
  27
  28 #include "avformat.h"
  29 #include "internal.h"
  30 #include "os_support.h"
  31
  32 #include "libavutil/avstring.h"
  33 #include "libavutil/base64.h"
  34 #include "libavutil/intreadwrite.h"
  35 #include "libavutil/mathematics.h"
  36 #include "libavutil/opt.h"
  37
  38 typedef struct Fragment {
  39     char file[1024];
  40     int64_t start_time, duration;
  41     int n;
  42 } Fragment;
  43
  44 typedef struct OutputStream {
  45     int bitrate;
  46     int first_stream;
  47     AVFormatContext *ctx;
  48     int ctx_inited;
  49     uint8_t iobuf[32768];
  50     char temp_filename[1024];
  51     int64_t frag_start_ts, last_ts;
  52     AVIOContext *out;
  53     int packets_written;
  54     int nb_fragments, fragments_size, fragment_index;
  55     Fragment **fragments;
  56
  57     int has_audio, has_video;
  58
  59     uint8_t *metadata;
  60     int metadata_size;
  61
  62     uint8_t *extra_packets[2];
  63     int extra_packet_sizes[2];
  64     int nb_extra_packets;
  65 } OutputStream;
  66
  67 typedef struct HDSContext {
  68     const AVClass *class;  /* Class for private options. */
  69     int window_size;
  70     int extra_window_size;
  71     int min_frag_duration;
  72     int remove_at_exit;
  73
  74     OutputStream *streams;
  75     int nb_streams;
  76 } HDSContext;
  77
  78 static int parse_header(OutputStream *os, const uint8_t *buf, int buf_size)
  79 {
  80     if (buf_size < 13)
  81         return AVERROR_INVALIDDATA;
  82     if (memcmp(buf, "FLV", 3))
  83         return AVERROR_INVALIDDATA;
  84     buf      += 13;
  85     buf_size -= 13;
  86     while (buf_size >= 11 + 4) {
  87         int type = buf[0];
  88         int size = AV_RB24(&buf[1]) + 11 + 4;
  89         if (size > buf_size)
  90             return AVERROR_INVALIDDATA;
  91         if (type == 8 || type == 9) {
  92             if (os->nb_extra_packets >= FF_ARRAY_ELEMS(os->extra_packets))
  93                 return AVERROR_INVALIDDATA;
  94             os->extra_packet_sizes[os->nb_extra_packets] = size;
  95             os->extra_packets[os->nb_extra_packets] = av_malloc(size);
  96             if (!os->extra_packets[os->nb_extra_packets])
  97                 return AVERROR(ENOMEM);
  98             memcpy(os->extra_packets[os->nb_extra_packets], buf, size);
  99             os->nb_extra_packets++;
 100         } else if (type == 0x12) {
 101             if (os->metadata)
 102                 return AVERROR_INVALIDDATA;
 103             os->metadata_size = size - 11 - 4;
 104             os->metadata      = av_malloc(os->metadata_size);
 105             if (!os->metadata)
 106                 return AVERROR(ENOMEM);
 107             memcpy(os->metadata, buf + 11, os->metadata_size);
 108         }
 109         buf      += size;
 110         buf_size -= size;
 111     }
 112     if (!os->metadata)
 113         return AVERROR_INVALIDDATA;
 114     return 0;
 115 }
 116
 117 static int hds_write(void *opaque, uint8_t *buf, int buf_size)
 118 {
 119     OutputStream *os = opaque;
 120     if (os->out) {
 121         avio_write(os->out, buf, buf_size);
 122     } else {
 123         if (!os->metadata_size) {
 124             int ret;
 125             // Assuming the IO buffer is large enough to fit the
 126             // FLV header and all metadata and extradata packets
 127             if ((ret = parse_header(os, buf, buf_size)) < 0)
 128                 return ret;
 129         }
 130     }
 131     return buf_size;
 132 }
 133
 134 static void hds_free(AVFormatContext *s)
 135 {
 136     HDSContext *c = s->priv_data;
 137     int i, j;
 138     if (!c->streams)
 139         return;
 140     for (i = 0; i < s->nb_streams; i++) {
 141         OutputStream *os = &c->streams[i];
 142         if (os->out)
 143             avio_close(os->out);
 144         os->out = NULL;
 145         if (os->ctx && os->ctx_inited)
 146             av_write_trailer(os->ctx);
 147         if (os->ctx && os->ctx->pb)
 148             av_free(os->ctx->pb);
 149         if (os->ctx)
 150             avformat_free_context(os->ctx);
 151         av_free(os->metadata);
 152         for (j = 0; j < os->nb_extra_packets; j++)
 153             av_free(os->extra_packets[j]);
 154         for (j = 0; j < os->nb_fragments; j++)
 155             av_free(os->fragments[j]);
 156         av_free(os->fragments);
 157     }
 158     av_freep(&c->streams);
 159 }
 160
 161 static int write_manifest(AVFormatContext *s, int final)
 162 {
 163     HDSContext *c = s->priv_data;
 164     AVIOContext *out;
 165     char filename[1024], temp_filename[1024];
 166     int ret, i;
 167     float duration = 0;
 168
 169     if (c->nb_streams > 0)
 170         duration = c->streams[0].last_ts * av_q2d(s->streams[0]->time_base);
 171
 172     snprintf(filename, sizeof(filename), "%s/index.f4m", s->filename);
 173     snprintf(temp_filename, sizeof(temp_filename), "%s/index.f4m.tmp", s->filename);
 174     ret = avio_open2(&out, temp_filename, AVIO_FLAG_WRITE,
 175                      &s->interrupt_callback, NULL);
 176     if (ret < 0) {
 177         av_log(s, AV_LOG_ERROR, "Unable to open %s for writing\n", filename);
 178         return ret;
 179     }
 180     avio_printf(out, "<?xml version=\"1.0\" encoding=\"utf-8\"?>\n");
 181     avio_printf(out, "<manifest xmlns=\"http://ns.adobe.com/f4m/1.0\">\n");
 182     avio_printf(out, "\t<id>%s</id>\n", av_basename(s->filename));
 183     avio_printf(out, "\t<streamType>%s</streamType>\n",
 184                      final ? "recorded" : "live");
 185     avio_printf(out, "\t<deliveryType>streaming</deliveryType>\n");
 186     if (final)
 187         avio_printf(out, "\t<duration>%f</duration>\n", duration);
 188     for (i = 0; i < c->nb_streams; i++) {
 189         OutputStream *os = &c->streams[i];
 190         int b64_size = AV_BASE64_SIZE(os->metadata_size);
 191         char *base64 = av_malloc(b64_size);
 192         if (!base64) {
 193             avio_close(out);
 194             return AVERROR(ENOMEM);
 195         }
 196         av_base64_encode(base64, b64_size, os->metadata, os->metadata_size);
 197
 198         avio_printf(out, "\t<bootstrapInfo profile=\"named\" url=\"stream%d.abst\" id=\"bootstrap%d\" />\n", i, i);
 199         avio_printf(out, "\t<media bitrate=\"%d\" url=\"stream%d\" bootstrapInfoId=\"bootstrap%d\">\n", os->bitrate/1000, i, i);
 200         avio_printf(out, "\t\t<metadata>%s</metadata>\n", base64);
 201         avio_printf(out, "\t</media>\n");
 202         av_free(base64);
 203     }
 204     avio_printf(out, "</manifest>\n");
 205     avio_flush(out);
 206     avio_close(out);
 207     return ff_rename(temp_filename, filename);
 208 }
 209
 210 static void update_size(AVIOContext *out, int64_t pos)
 211 {
 212     int64_t end = avio_tell(out);
 213     avio_seek(out, pos, SEEK_SET);
 214     avio_wb32(out, end - pos);
 215     avio_seek(out, end, SEEK_SET);
 216 }
 217
 218 /* Note, the .abst files need to be served with the "binary/octet"
 219  * mime type, otherwise at least the OSMF player can easily fail
 220  * with "stream not found" when polling for the next fragment. */
 221 static int write_abst(AVFormatContext *s, OutputStream *os, int final)
 222 {
 223     HDSContext *c = s->priv_data;
 224     AVIOContext *out;
 225     char filename[1024], temp_filename[1024];
 226     int i, ret;
 227     int64_t asrt_pos, afrt_pos;
 228     int start = 0, fragments;
 229     int index = s->streams[os->first_stream]->id;
 230     int64_t cur_media_time = 0;
 231     if (c->window_size)
 232         start = FFMAX(os->nb_fragments - c->window_size, 0);
 233     fragments = os->nb_fragments - start;
 234     if (final)
 235         cur_media_time = os->last_ts;
 236     else if (os->nb_fragments)
 237         cur_media_time = os->fragments[os->nb_fragments - 1]->start_time;
 238
 239     snprintf(filename, sizeof(filename),
 240              "%s/stream%d.abst", s->filename, index);
 241     snprintf(temp_filename, sizeof(temp_filename),
 242              "%s/stream%d.abst.tmp", s->filename, index);
 243     ret = avio_open2(&out, temp_filename, AVIO_FLAG_WRITE,
 244                      &s->interrupt_callback, NULL);
 245     if (ret < 0) {
 246         av_log(s, AV_LOG_ERROR, "Unable to open %s for writing\n", temp_filename);
 247         return ret;
 248     }
 249     avio_wb32(out, 0); // abst size
 250     avio_wl32(out, MKTAG('a','b','s','t'));
 251     avio_wb32(out, 0); // version + flags
 252     avio_wb32(out, os->fragment_index - 1); // BootstrapinfoVersion
 253     avio_w8(out, final ? 0 : 0x20); // profile, live, update
 254     avio_wb32(out, 1000); // timescale
 255     avio_wb64(out, cur_media_time);
 256     avio_wb64(out, 0); // SmpteTimeCodeOffset
 257     avio_w8(out, 0); // MovieIdentifer (null string)
 258     avio_w8(out, 0); // ServerEntryCount
 259     avio_w8(out, 0); // QualityEntryCount
 260     avio_w8(out, 0); // DrmData (null string)
 261     avio_w8(out, 0); // MetaData (null string)
 262     avio_w8(out, 1); // SegmentRunTableCount
 263     asrt_pos = avio_tell(out);
 264     avio_wb32(out, 0); // asrt size
 265     avio_wl32(out, MKTAG('a','s','r','t'));
 266     avio_wb32(out, 0); // version + flags
 267     avio_w8(out, 0); // QualityEntryCount
 268     avio_wb32(out, 1); // SegmentRunEntryCount
 269     avio_wb32(out, 1); // FirstSegment
 270     avio_wb32(out, final ? (os->fragment_index - 1) : 0xffffffff); // FragmentsPerSegment
 271     update_size(out, asrt_pos);
 272     avio_w8(out, 1); // FragmentRunTableCount
 273     afrt_pos = avio_tell(out);
 274     avio_wb32(out, 0); // afrt size
 275     avio_wl32(out, MKTAG('a','f','r','t'));
 276     avio_wb32(out, 0); // version + flags
 277     avio_wb32(out, 1000); // timescale
 278     avio_w8(out, 0); // QualityEntryCount
 279     avio_wb32(out, fragments); // FragmentRunEntryCount
 280     for (i = start; i < os->nb_fragments; i++) {
 281         avio_wb32(out, os->fragments[i]->n);
 282         avio_wb64(out, os->fragments[i]->start_time);
 283         avio_wb32(out, os->fragments[i]->duration);
 284     }
 285     update_size(out, afrt_pos);
 286     update_size(out, 0);
 287     avio_close(out);
 288     return ff_rename(temp_filename, filename);
 289 }
 290
 291 static int init_file(AVFormatContext *s, OutputStream *os, int64_t start_ts)
 292 {
 293     int ret, i;
 294     ret = avio_open2(&os->out, os->temp_filename, AVIO_FLAG_WRITE,
 295                      &s->interrupt_callback, NULL);
 296     if (ret < 0)
 297         return ret;
 298     avio_wb32(os->out, 0);
 299     avio_wl32(os->out, MKTAG('m','d','a','t'));
 300     for (i = 0; i < os->nb_extra_packets; i++) {
 301         AV_WB24(os->extra_packets[i] + 4, start_ts);
 302         os->extra_packets[i][7] = (start_ts >> 24) & 0x7f;
 303         avio_write(os->out, os->extra_packets[i], os->extra_packet_sizes[i]);
 304     }
 305     return 0;
 306 }
 307
 308 static void close_file(OutputStream *os)
 309 {
 310     int64_t pos = avio_tell(os->out);
 311     avio_seek(os->out, 0, SEEK_SET);
 312     avio_wb32(os->out, pos);
 313     avio_flush(os->out);
 314     avio_close(os->out);
 315     os->out = NULL;
 316 }
 317
 318 static int hds_write_header(AVFormatContext *s)
 319 {
 320     HDSContext *c = s->priv_data;
 321     int ret = 0, i;
 322     AVOutputFormat *oformat;
 323
 324     mkdir(s->filename, 0777);
 325
 326     oformat = av_guess_format("flv", NULL, NULL);
 327     if (!oformat) {
 328         ret = AVERROR_MUXER_NOT_FOUND;
 329         goto fail;
 330     }
 331
 332     c->streams = av_mallocz(sizeof(*c->streams) * s->nb_streams);
 333     if (!c->streams) {
 334         ret = AVERROR(ENOMEM);
 335         goto fail;
 336     }
 337
 338     for (i = 0; i < s->nb_streams; i++) {
 339         OutputStream *os = &c->streams[c->nb_streams];
 340         AVFormatContext *ctx;
 341         AVStream *st = s->streams[i];
 342
 343         if (!st->codec->bit_rate) {
 344             av_log(s, AV_LOG_ERROR, "No bit rate set for stream %d\n", i);
 345             ret = AVERROR(EINVAL);
 346             goto fail;
 347         }
 348         if (st->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
 349             if (os->has_video) {
 350                 c->nb_streams++;
 351                 os++;
 352             }
 353             os->has_video = 1;
 354         } else if (st->codec->codec_type == AVMEDIA_TYPE_AUDIO) {
 355             if (os->has_audio) {
 356                 c->nb_streams++;
 357                 os++;
 358             }
 359             os->has_audio = 1;
 360         } else {
 361             av_log(s, AV_LOG_ERROR, "Unsupported stream type in stream %d\n", i);
 362             ret = AVERROR(EINVAL);
 363             goto fail;
 364         }
 365         os->bitrate += s->streams[i]->codec->bit_rate;
 366
 367         if (!os->ctx) {
 368             os->first_stream = i;
 369             ctx = avformat_alloc_context();
 370             if (!ctx) {
 371                 ret = AVERROR(ENOMEM);
 372                 goto fail;
 373             }
 374             os->ctx = ctx;
 375             ctx->oformat = oformat;
 376             ctx->interrupt_callback = s->interrupt_callback;
 377
 378             ctx->pb = avio_alloc_context(os->iobuf, sizeof(os->iobuf),
 379                                          AVIO_FLAG_WRITE, os,
 380                                          NULL, hds_write, NULL);
 381             if (!ctx->pb) {
 382                 ret = AVERROR(ENOMEM);
 383                 goto fail;
 384             }
 385         } else {
 386             ctx = os->ctx;
 387         }
 388         s->streams[i]->id = c->nb_streams;
 389
 390         if (!(st = avformat_new_stream(ctx, NULL))) {
 391             ret = AVERROR(ENOMEM);
 392             goto fail;
 393         }
 394         avcodec_copy_context(st->codec, s->streams[i]->codec);
 395         st->sample_aspect_ratio = s->streams[i]->sample_aspect_ratio;
 396     }
 397     if (c->streams[c->nb_streams].ctx)
 398         c->nb_streams++;
 399
 400     for (i = 0; i < c->nb_streams; i++) {
 401         OutputStream *os = &c->streams[i];
 402         int j;
 403         if ((ret = avformat_write_header(os->ctx, NULL)) < 0) {
 404              goto fail;
 405         }
 406         os->ctx_inited = 1;
 407         avio_flush(os->ctx->pb);
 408         for (j = 0; j < os->ctx->nb_streams; j++)
 409             s->streams[os->first_stream + j]->time_base = os->ctx->streams[j]->time_base;
 410
 411         snprintf(os->temp_filename, sizeof(os->temp_filename),
 412                  "%s/stream%d_temp", s->filename, i);
 413         ret = init_file(s, os, 0);
 414         if (ret < 0)
 415             goto fail;
 416
 417         if (!os->has_video && c->min_frag_duration <= 0) {
 418             av_log(s, AV_LOG_WARNING,
 419                    "No video stream in output stream %d and no min frag duration set\n", i);
 420             ret = AVERROR(EINVAL);
 421         }
 422         os->fragment_index = 1;
 423         write_abst(s, os, 0);
 424     }
 425     ret = write_manifest(s, 0);
 426
 427 fail:
 428     if (ret)
 429         hds_free(s);
 430     return ret;
 431 }
 432
 433 static int add_fragment(OutputStream *os, const char *file,
 434                         int64_t start_time, int64_t duration)
 435 {
 436     Fragment *frag;
 437     if (duration == 0)
 438         duration = 1;
 439     if (os->nb_fragments >= os->fragments_size) {
 440         int ret;
 441         os->fragments_size = (os->fragments_size + 1) * 2;
 442         if ((ret = av_reallocp_array(&os->fragments, os->fragments_size,
 443                                      sizeof(*os->fragments))) < 0) {
 444             os->fragments_size = 0;
 445             os->nb_fragments   = 0;
 446             return ret;
 447         }
 448     }
 449     frag = av_mallocz(sizeof(*frag));
 450     if (!frag)
 451         return AVERROR(ENOMEM);
 452     av_strlcpy(frag->file, file, sizeof(frag->file));
 453     frag->start_time = start_time;
 454     frag->duration   = duration;
 455     frag->n          = os->fragment_index;
 456     os->fragments[os->nb_fragments++] = frag;
 457     os->fragment_index++;
 458     return 0;
 459 }
 460
 461 static int hds_flush(AVFormatContext *s, OutputStream *os, int final,
 462                      int64_t end_ts)
 463 {
 464     HDSContext *c = s->priv_data;
 465     int i, ret = 0;
 466     char target_filename[1024];
 467     int index = s->streams[os->first_stream]->id;
 468
 469     if (!os->packets_written)
 470         return 0;
 471
 472     avio_flush(os->ctx->pb);
 473     os->packets_written = 0;
 474     close_file(os);
 475
 476     snprintf(target_filename, sizeof(target_filename),
 477              "%s/stream%dSeg1-Frag%d", s->filename, index, os->fragment_index);
 478     ret = ff_rename(os->temp_filename, target_filename);
 479     if (ret < 0)
 480         return ret;
 481     add_fragment(os, target_filename, os->frag_start_ts, end_ts - os->frag_start_ts);
 482
 483     if (!final) {
 484         ret = init_file(s, os, end_ts);
 485         if (ret < 0)
 486             return ret;
 487     }
 488
 489     if (c->window_size || (final && c->remove_at_exit)) {
 490         int remove = os->nb_fragments - c->window_size - c->extra_window_size;
 491         if (final && c->remove_at_exit)
 492             remove = os->nb_fragments;
 493         if (remove > 0) {
 494             for (i = 0; i < remove; i++) {
 495                 unlink(os->fragments[i]->file);
 496                 av_free(os->fragments[i]);
 497             }
 498             os->nb_fragments -= remove;
 499             memmove(os->fragments, os->fragments + remove,
 500                     os->nb_fragments * sizeof(*os->fragments));
 501         }
 502     }
 503
 504     if (ret >= 0)
 505         ret = write_abst(s, os, final);
 506     return ret;
 507 }
 508
 509 static int hds_write_packet(AVFormatContext *s, AVPacket *pkt)
 510 {
 511     HDSContext *c = s->priv_data;
 512     AVStream *st = s->streams[pkt->stream_index];
 513     OutputStream *os = &c->streams[s->streams[pkt->stream_index]->id];
 514     int64_t end_dts = os->fragment_index * (int64_t) c->min_frag_duration;
 515     int ret;
 516
 517     if (st->first_dts == AV_NOPTS_VALUE)
 518         st->first_dts = pkt->dts;
 519
 520     if ((!os->has_video || st->codec->codec_type == AVMEDIA_TYPE_VIDEO) &&
 521         av_compare_ts(pkt->dts - st->first_dts, st->time_base,
 522                       end_dts, AV_TIME_BASE_Q) >= 0 &&
 523         pkt->flags & AV_PKT_FLAG_KEY && os->packets_written) {
 524
 525         if ((ret = hds_flush(s, os, 0, pkt->dts)) < 0)
 526             return ret;
 527     }
 528
 529     // Note, these fragment start timestamps, that represent a whole
 530     // OutputStream, assume all streams in it have the same time base.
 531     if (!os->packets_written)
 532         os->frag_start_ts = pkt->dts;
 533     os->last_ts = pkt->dts;
 534
 535     os->packets_written++;
 536     return ff_write_chained(os->ctx, pkt->stream_index - os->first_stream, pkt, s);
 537 }
 538
 539 static int hds_write_trailer(AVFormatContext *s)
 540 {
 541     HDSContext *c = s->priv_data;
 542     int i;
 543
 544     for (i = 0; i < c->nb_streams; i++)
 545         hds_flush(s, &c->streams[i], 1, c->streams[i].last_ts);
 546     write_manifest(s, 1);
 547
 548     if (c->remove_at_exit) {
 549         char filename[1024];
 550         snprintf(filename, sizeof(filename), "%s/index.f4m", s->filename);
 551         unlink(filename);
 552         for (i = 0; i < c->nb_streams; i++) {
 553             snprintf(filename, sizeof(filename), "%s/stream%d.abst", s->filename, i);
 554             unlink(filename);
 555         }
 556         rmdir(s->filename);
 557     }
 558
 559     hds_free(s);
 560     return 0;
 561 }
 562
 563 #define OFFSET(x) offsetof(HDSContext, x)
 564 #define E AV_OPT_FLAG_ENCODING_PARAM
 565 static const AVOption options[] = {
 566     { "window_size", "number of fragments kept in the manifest", OFFSET(window_size), AV_OPT_TYPE_INT, { .i64 = 0 }, 0, INT_MAX, E },
 567     { "extra_window_size", "number of fragments kept outside of the manifest before removing from disk", OFFSET(extra_window_size), AV_OPT_TYPE_INT, { .i64 = 5 }, 0, INT_MAX, E },
 568     { "min_frag_duration", "minimum fragment duration (in microseconds)", OFFSET(min_frag_duration), AV_OPT_TYPE_INT64, { .i64 = 10000000 }, 0, INT_MAX, E },
 569     { "remove_at_exit", "remove all fragments when finished", OFFSET(remove_at_exit), AV_OPT_TYPE_INT, { .i64 = 0 }, 0, 1, E },
 570     { NULL },
 571 };
 572
 573 static const AVClass hds_class = {
 574     .class_name = "HDS muxer",
 575     .item_name  = av_default_item_name,
 576     .option     = options,
 577     .version    = LIBAVUTIL_VERSION_INT,
 578 };
 579
 580 AVOutputFormat ff_hds_muxer = {
 581     .name           = "hds",
 582     .long_name      = NULL_IF_CONFIG_SMALL("HDS Muxer"),
 583     .priv_data_size = sizeof(HDSContext),
 584     .audio_codec    = AV_CODEC_ID_AAC,
 585     .video_codec    = AV_CODEC_ID_H264,
 586     .flags          = AVFMT_GLOBALHEADER | AVFMT_NOFILE,
 587     .write_header   = hds_write_header,
 588     .write_packet   = hds_write_packet,
 589     .write_trailer  = hds_write_trailer,
 590     .priv_class     = &hds_class,
 591 };