vp8_multi_resolution_encoder.c

   1 /*
   2  *  Copyright (c) 2010 The WebM project authors. All Rights Reserved.
   3  *
   4  *  Use of this source code is governed by a BSD-style license
   5  *  that can be found in the LICENSE file in the root of the source
   6  *  tree. An additional intellectual property rights grant can be found
   7  *  in the file PATENTS.  All contributing project authors may
   8  *  be found in the AUTHORS file in the root of the source tree.
   9  */
  10
  11 /*
  12  * This is an example demonstrating multi-resolution encoding in VP8.
  13  * High-resolution input video is down-sampled to lower-resolutions. The
  14  * encoder then encodes the video and outputs multiple bitstreams with
  15  * different resolutions.
  16  */
  17 #include <stdio.h>
  18 #include <stdlib.h>
  19 #include <stdarg.h>
  20 #include <string.h>
  21 #include "math.h"
  22 #define VPX_CODEC_DISABLE_COMPAT 1
  23 #include "vpx/vpx_encoder.h"
  24 #include "vpx/vp8cx.h"
  25 #include "vpx_ports/mem_ops.h"
  26 #define interface (vpx_codec_vp8_cx())
  27 #define fourcc    0x30385056
  28
  29 #define IVF_FILE_HDR_SZ  (32)
  30 #define IVF_FRAME_HDR_SZ (12)
  31
  32 /*
  33  * The input video frame is downsampled several times to generate a multi-level
  34  * hierarchical structure. NUM_ENCODERS is defined as the number of encoding
  35  * levels required. For example, if the size of input video is 1280x720,
  36  * NUM_ENCODERS is 3, and down-sampling factor is 2, the encoder outputs 3
  37  * bitstreams with resolution of 1280x720(level 0), 640x360(level 1), and
  38  * 320x180(level 2) respectively.
  39  */
  40 #define NUM_ENCODERS 3
  41
  42 /* This example uses the scaler function in libyuv. */
  43 #include "third_party/libyuv/include/libyuv/basic_types.h"
  44 #include "third_party/libyuv/include/libyuv/scale.h"
  45 #include "third_party/libyuv/include/libyuv/cpu_id.h"
  46
  47 static double vp8_mse2psnr(double Samples, double Peak, double Mse)
  48 {
  49     double psnr;
  50
  51     if ((double)Mse > 0.0)
  52         psnr = 10.0 * log10(Peak * Peak * Samples / Mse);
  53     else
  54         psnr = 60;      // Limit to prevent / 0
  55
  56     if (psnr > 60)
  57         psnr = 60;
  58
  59     return psnr;
  60 }
  61
  62 static void die(const char *fmt, ...) {
  63     va_list ap;
  64
  65     va_start(ap, fmt);
  66     vprintf(fmt, ap);
  67     if(fmt[strlen(fmt)-1] != '\n')
  68         printf("\n");
  69     exit(EXIT_FAILURE);
  70 }
  71
  72 static void die_codec(vpx_codec_ctx_t *ctx, const char *s) {
  73     const char *detail = vpx_codec_error_detail(ctx);
  74
  75     printf("%s: %s\n", s, vpx_codec_error(ctx));
  76     if(detail)
  77         printf("    %s\n",detail);
  78     exit(EXIT_FAILURE);
  79 }
  80
  81 int (*read_frame_p)(FILE *f, vpx_image_t *img);
  82
  83 static int read_frame(FILE *f, vpx_image_t *img) {
  84     size_t nbytes, to_read;
  85     int    res = 1;
  86
  87     to_read = img->w*img->h*3/2;
  88     nbytes = fread(img->planes[0], 1, to_read, f);
  89     if(nbytes != to_read) {
  90         res = 0;
  91         if(nbytes > 0)
  92             printf("Warning: Read partial frame. Check your width & height!\n");
  93     }
  94     return res;
  95 }
  96
  97 static int read_frame_by_row(FILE *f, vpx_image_t *img) {
  98     size_t nbytes, to_read;
  99     int    res = 1;
 100     int plane;
 101
 102     for (plane = 0; plane < 3; plane++)
 103     {
 104         unsigned char *ptr;
 105         int w = (plane ? (1 + img->d_w) / 2 : img->d_w);
 106         int h = (plane ? (1 + img->d_h) / 2 : img->d_h);
 107         int r;
 108
 109         /* Determine the correct plane based on the image format. The for-loop
 110          * always counts in Y,U,V order, but this may not match the order of
 111          * the data on disk.
 112          */
 113         switch (plane)
 114         {
 115         case 1:
 116             ptr = img->planes[img->fmt==VPX_IMG_FMT_YV12? VPX_PLANE_V : VPX_PLANE_U];
 117             break;
 118         case 2:
 119             ptr = img->planes[img->fmt==VPX_IMG_FMT_YV12?VPX_PLANE_U : VPX_PLANE_V];
 120             break;
 121         default:
 122             ptr = img->planes[plane];
 123         }
 124
 125         for (r = 0; r < h; r++)
 126         {
 127             to_read = w;
 128
 129             nbytes = fread(ptr, 1, to_read, f);
 130             if(nbytes != to_read) {
 131                 res = 0;
 132                 if(nbytes > 0)
 133                     printf("Warning: Read partial frame. Check your width & height!\n");
 134                 break;
 135             }
 136
 137             ptr += img->stride[plane];
 138         }
 139         if (!res)
 140             break;
 141     }
 142
 143     return res;
 144 }
 145
 146 static void write_ivf_file_header(FILE *outfile,
 147                                   const vpx_codec_enc_cfg_t *cfg,
 148                                   int frame_cnt) {
 149     char header[32];
 150
 151     if(cfg->g_pass != VPX_RC_ONE_PASS && cfg->g_pass != VPX_RC_LAST_PASS)
 152         return;
 153     header[0] = 'D';
 154     header[1] = 'K';
 155     header[2] = 'I';
 156     header[3] = 'F';
 157     mem_put_le16(header+4,  0);                   /* version */
 158     mem_put_le16(header+6,  32);                  /* headersize */
 159     mem_put_le32(header+8,  fourcc);              /* headersize */
 160     mem_put_le16(header+12, cfg->g_w);            /* width */
 161     mem_put_le16(header+14, cfg->g_h);            /* height */
 162     mem_put_le32(header+16, cfg->g_timebase.den); /* rate */
 163     mem_put_le32(header+20, cfg->g_timebase.num); /* scale */
 164     mem_put_le32(header+24, frame_cnt);           /* length */
 165     mem_put_le32(header+28, 0);                   /* unused */
 166
 167     if(fwrite(header, 1, 32, outfile));
 168 }
 169
 170 static void write_ivf_frame_header(FILE *outfile,
 171                                    const vpx_codec_cx_pkt_t *pkt)
 172 {
 173     char             header[12];
 174     vpx_codec_pts_t  pts;
 175
 176     if(pkt->kind != VPX_CODEC_CX_FRAME_PKT)
 177         return;
 178
 179     pts = pkt->data.frame.pts;
 180     mem_put_le32(header, pkt->data.frame.sz);
 181     mem_put_le32(header+4, pts&0xFFFFFFFF);
 182     mem_put_le32(header+8, pts >> 32);
 183
 184     if(fwrite(header, 1, 12, outfile));
 185 }
 186
 187 int main(int argc, char **argv)
 188 {
 189     FILE                *infile, *outfile[NUM_ENCODERS];
 190     vpx_codec_ctx_t      codec[NUM_ENCODERS];
 191     vpx_codec_enc_cfg_t  cfg[NUM_ENCODERS];
 192     vpx_codec_pts_t      frame_cnt = 0;
 193     vpx_image_t          raw[NUM_ENCODERS];
 194     vpx_codec_err_t      res[NUM_ENCODERS];
 195
 196     int                  i;
 197     long                 width;
 198     long                 height;
 199     int                  frame_avail;
 200     int                  got_data;
 201     int                  flags = 0;
 202
 203     /*Currently, only realtime mode is supported in multi-resolution encoding.*/
 204     int                  arg_deadline = VPX_DL_REALTIME;
 205
 206     /* Set show_psnr to 1/0 to show/not show PSNR. Choose show_psnr=0 if you
 207        don't need to know PSNR, which will skip PSNR calculation and save
 208        encoding time. */
 209     int                  show_psnr = 0;
 210     uint64_t             psnr_sse_total[NUM_ENCODERS] = {0};
 211     uint64_t             psnr_samples_total[NUM_ENCODERS] = {0};
 212     double               psnr_totals[NUM_ENCODERS][4] = {{0,0}};
 213     int                  psnr_count[NUM_ENCODERS] = {0};
 214
 215     /* Set the required target bitrates for each resolution level.
 216      * If target bitrate for highest-resolution level is set to 0,
 217      * (i.e. target_bitrate[0]=0), we skip encoding at that level.
 218      */
 219     unsigned int         target_bitrate[NUM_ENCODERS]={1400, 500, 100};
 220     /* Enter the frame rate of the input video */
 221     int                  framerate = 30;
 222     /* Set down-sampling factor for each resolution level.
 223        dsf[0] controls down sampling from level 0 to level 1;
 224        dsf[1] controls down sampling from level 1 to level 2;
 225        dsf[2] is not used. */
 226     vpx_rational_t dsf[NUM_ENCODERS] = {{2, 1}, {2, 1}, {1, 1}};
 227     /* Encode starting from which resolution level. Normally it is 0 that
 228      * means the original(highest) resolution. */
 229     int                  s_lvl = 0;
 230
 231     if(argc!= (5+NUM_ENCODERS))
 232         die("Usage: %s <width> <height> <infile> <outfile(s)> <output psnr?>\n",
 233             argv[0]);
 234
 235     printf("Using %s\n",vpx_codec_iface_name(interface));
 236
 237     width = strtol(argv[1], NULL, 0);
 238     height = strtol(argv[2], NULL, 0);
 239
 240     if(width < 16 || width%2 || height <16 || height%2)
 241         die("Invalid resolution: %ldx%ld", width, height);
 242
 243     /* Check to see if we need to encode all resolution levels */
 244     for (i=0; i<NUM_ENCODERS; i++)
 245     {
 246         if (target_bitrate[i])
 247             break;
 248         else
 249             s_lvl += 1;
 250     }
 251
 252     if (s_lvl >= NUM_ENCODERS)
 253     {
 254         printf("No encoding: total number of encoders is 0!");
 255         return 0;
 256     }
 257
 258     /* Open input video file for encoding */
 259     if(!(infile = fopen(argv[3], "rb")))
 260         die("Failed to open %s for reading", argv[3]);
 261
 262     /* Open output file for each encoder to output bitstreams */
 263     for (i=0; i< NUM_ENCODERS; i++)
 264     {
 265         if(!(outfile[i] = fopen(argv[i+4], "wb")))
 266             die("Failed to open %s for writing", argv[i+4]);
 267     }
 268
 269     show_psnr = strtol(argv[NUM_ENCODERS + 4], NULL, 0);
 270
 271     /* Populate default encoder configuration */
 272     for (i=0; i< NUM_ENCODERS; i++)
 273     {
 274         res[i] = vpx_codec_enc_config_default(interface, &cfg[i], 0);
 275         if(res[i]) {
 276             printf("Failed to get config: %s\n", vpx_codec_err_to_string(res[i]));
 277             return EXIT_FAILURE;
 278         }
 279     }
 280
 281     /*
 282      * Update the default configuration according to needs of the application.
 283      */
 284     /* Highest-resolution encoder settings */
 285     cfg[0].g_w = width;
 286     cfg[0].g_h = height;
 287     cfg[0].g_threads = 1;                           /* number of threads used */
 288     cfg[0].rc_dropframe_thresh = 0;
 289     cfg[0].rc_end_usage = VPX_CBR;
 290     cfg[0].rc_resize_allowed = 0;
 291     cfg[0].rc_min_quantizer = 4;
 292     cfg[0].rc_max_quantizer = 56;
 293     cfg[0].rc_undershoot_pct = 98;
 294     cfg[0].rc_overshoot_pct = 100;
 295     cfg[0].rc_buf_initial_sz = 500;
 296     cfg[0].rc_buf_optimal_sz = 600;
 297     cfg[0].rc_buf_sz = 1000;
 298     //cfg[0].rc_dropframe_thresh = 10;
 299     cfg[0].g_error_resilient = 1;              /* Enable error resilient mode */
 300     cfg[0].g_lag_in_frames   = 0;
 301
 302     /* Disable automatic keyframe placement */
 303     //cfg[0].kf_mode           = VPX_KF_DISABLED;
 304     cfg[0].kf_min_dist = cfg[0].kf_max_dist = 1000;
 305
 306     cfg[0].rc_target_bitrate = target_bitrate[0];       /* Set target bitrate */
 307     cfg[0].g_timebase.num = 1;                          /* Set fps */
 308     cfg[0].g_timebase.den = framerate;
 309
 310     /* Other-resolution encoder settings */
 311     for (i=1; i< NUM_ENCODERS; i++)
 312     {
 313         memcpy(&cfg[i], &cfg[0], sizeof(vpx_codec_enc_cfg_t));
 314
 315         cfg[i].g_threads = 1;                       /* number of threads used */
 316         cfg[i].rc_target_bitrate = target_bitrate[i];
 317
 318         /* Note: Width & height of other-resolution encoders are calculated
 319          * from the highest-resolution encoder's size and the corresponding
 320          * down_sampling_factor.
 321          */
 322         {
 323             unsigned int iw = cfg[i-1].g_w*dsf[i-1].den + dsf[i-1].num - 1;
 324             unsigned int ih = cfg[i-1].g_h*dsf[i-1].den + dsf[i-1].num - 1;
 325             cfg[i].g_w = iw/dsf[i-1].num;
 326             cfg[i].g_h = ih/dsf[i-1].num;
 327         }
 328
 329         /* Make width & height to be multiplier of 2. */
 330         // Should support odd size ???
 331         if((cfg[i].g_w)%2)cfg[i].g_w++;
 332         if((cfg[i].g_h)%2)cfg[i].g_h++;
 333     }
 334
 335     /* Allocate image for each encoder */
 336     for (i=0; i< NUM_ENCODERS; i++)
 337         if(!vpx_img_alloc(&raw[i], VPX_IMG_FMT_I420, cfg[i].g_w, cfg[i].g_h, 32))
 338             die("Failed to allocate image", cfg[i].g_w, cfg[i].g_h);
 339
 340     if (raw[0].stride[VPX_PLANE_Y] == raw[0].d_w)
 341         read_frame_p = read_frame;
 342     else
 343         read_frame_p = read_frame_by_row;
 344
 345     /* Initialize multi-encoder */
 346     if(vpx_codec_enc_init_multi(&codec[s_lvl], interface, &cfg[s_lvl], s_lvl,
 347                              NUM_ENCODERS,
 348                              (show_psnr ? VPX_CODEC_USE_PSNR : 0), &dsf[s_lvl]))
 349         die_codec(&codec[s_lvl], "Failed to initialize encoder");
 350
 351     /* The extra encoding configuration parameters can be set as follows. */
 352     /* Set encoding speed */
 353     for ( i=s_lvl; i<NUM_ENCODERS; i++)
 354     {
 355         int speed = -6;
 356         if(vpx_codec_control(&codec[i], VP8E_SET_CPUUSED, speed))
 357             die_codec(&codec[i], "Failed to set cpu_used");
 358     }
 359     /* Set static thresh for highest-resolution encoder. Set it to 1000 for
 360      * better performance. */
 361     {
 362         unsigned int static_thresh = 1000;
 363         if(vpx_codec_control(&codec[s_lvl], VP8E_SET_STATIC_THRESHOLD,
 364                              static_thresh))
 365             die_codec(&codec[s_lvl], "Failed to set static threshold");
 366     }
 367     /* Set static thresh = 0 for other encoders for better quality */
 368     for ( i=s_lvl+1; i<NUM_ENCODERS; i++)
 369     {
 370         unsigned int static_thresh = 0;
 371         if(vpx_codec_control(&codec[i], VP8E_SET_STATIC_THRESHOLD,
 372                              static_thresh))
 373             die_codec(&codec[i], "Failed to set static threshold");
 374     }
 375
 376     frame_avail = 1;
 377     got_data = 0;
 378
 379     for (i=s_lvl ; i< NUM_ENCODERS; i++)
 380         write_ivf_file_header(outfile[i], &cfg[i], 0);
 381
 382     while(frame_avail || got_data)
 383     {
 384         vpx_codec_iter_t iter[NUM_ENCODERS]={NULL};
 385         const vpx_codec_cx_pkt_t *pkt[NUM_ENCODERS];
 386
 387         flags = 0;
 388         frame_avail = read_frame_p(infile, &raw[0]);
 389
 390         if(frame_avail)
 391         {
 392             for ( i=1; i<NUM_ENCODERS; i++)
 393             {
 394                 /*Scale the image down a number of times by downsampling factor*/
 395                 /* FilterMode 1 or 2 give better psnr than FilterMode 0. */
 396                 I420Scale(raw[i-1].planes[VPX_PLANE_Y], raw[i-1].stride[VPX_PLANE_Y],
 397                           raw[i-1].planes[VPX_PLANE_U], raw[i-1].stride[VPX_PLANE_U],
 398                           raw[i-1].planes[VPX_PLANE_V], raw[i-1].stride[VPX_PLANE_V],
 399                           raw[i-1].d_w, raw[i-1].d_h,
 400                           raw[i].planes[VPX_PLANE_Y], raw[i].stride[VPX_PLANE_Y],
 401                           raw[i].planes[VPX_PLANE_U], raw[i].stride[VPX_PLANE_U],
 402                           raw[i].planes[VPX_PLANE_V], raw[i].stride[VPX_PLANE_V],
 403                           raw[i].d_w, raw[i].d_h, 1);
 404             }
 405         }
 406
 407         /* Encode each frame at multi-levels */
 408         if(vpx_codec_encode(&codec[s_lvl], frame_avail? &raw[s_lvl] : NULL,
 409             frame_cnt, 1, flags, arg_deadline))
 410             die_codec(&codec[s_lvl], "Failed to encode frame");
 411
 412         for (i=NUM_ENCODERS-1; i>=s_lvl ; i--)
 413         {
 414             got_data = 0;
 415
 416             while( (pkt[i] = vpx_codec_get_cx_data(&codec[i], &iter[i])) )
 417             {
 418                 got_data = 1;
 419                 switch(pkt[i]->kind) {
 420                     case VPX_CODEC_CX_FRAME_PKT:
 421                         write_ivf_frame_header(outfile[i], pkt[i]);
 422                         if(fwrite(pkt[i]->data.frame.buf, 1, pkt[i]->data.frame.sz,
 423                                   outfile[i]));
 424                     break;
 425                     case VPX_CODEC_PSNR_PKT:
 426                         if (show_psnr)
 427                         {
 428                             int j;
 429
 430                             psnr_sse_total[i] += pkt[i]->data.psnr.sse[0];
 431                             psnr_samples_total[i] += pkt[i]->data.psnr.samples[0];
 432                             for (j = 0; j < 4; j++)
 433                             {
 434                                 //fprintf(stderr, "%.3lf ", pkt[i]->data.psnr.psnr[j]);
 435                                 psnr_totals[i][j] += pkt[i]->data.psnr.psnr[j];
 436                             }
 437                             psnr_count[i]++;
 438                         }
 439
 440                         break;
 441                     default:
 442                         break;
 443                 }
 444                 printf(pkt[i]->kind == VPX_CODEC_CX_FRAME_PKT
 445                        && (pkt[i]->data.frame.flags & VPX_FRAME_IS_KEY)? "K":".");
 446                 fflush(stdout);
 447             }
 448         }
 449         frame_cnt++;
 450     }
 451     printf("\n");
 452
 453     fclose(infile);
 454
 455     for (i=s_lvl; i< NUM_ENCODERS; i++)
 456     {
 457         printf("Processed %ld frames.\n",(long int)frame_cnt-1);
 458
 459         /* Calculate PSNR and print it out */
 460         if ( (show_psnr) && (psnr_count[i]>0) )
 461         {
 462             int j;
 463             double ovpsnr = vp8_mse2psnr(psnr_samples_total[i], 255.0,
 464                                          psnr_sse_total[i]);
 465
 466             fprintf(stderr, "\n ENC%d PSNR (Overall/Avg/Y/U/V)", i);
 467
 468             fprintf(stderr, " %.3lf", ovpsnr);
 469             for (j = 0; j < 4; j++)
 470             {
 471                 fprintf(stderr, " %.3lf", psnr_totals[i][j]/psnr_count[i]);
 472             }
 473         }
 474
 475         if(vpx_codec_destroy(&codec[i]))
 476             die_codec(&codec[i], "Failed to destroy codec");
 477
 478         /* Try to rewrite the file header with the actual frame count */
 479         if(!fseek(outfile[i], 0, SEEK_SET))
 480             write_ivf_file_header(outfile[i], &cfg[i], frame_cnt-1);
 481     }
 482
 483     for (i=0; i< NUM_ENCODERS; i++)
 484     {
 485         fclose(outfile[i]);
 486         vpx_img_free(&raw[i]);
 487     }
 488
 489     return EXIT_SUCCESS;
 490 }