libavcodec/vp56.c

   1 /*
   2  * Copyright (C) 2006  Aurelien Jacobs <aurel@gnuage.org>
   3  *
   4  * This file is part of FFmpeg.
   5  *
   6  * FFmpeg is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2.1 of the License, or (at your option) any later version.
  10  *
  11  * FFmpeg is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with FFmpeg; if not, write to the Free Software
  18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  19  */
  20
  21 /**
  22  * @file
  23  * VP5 and VP6 compatible video decoder (common features)
  24  */
  25
  26 #include "avcodec.h"
  27 #include "bytestream.h"
  28 #include "decode.h"
  29 #include "h264chroma.h"
  30 #include "vp56.h"
  31 #include "vp56data.h"
  32 #include "vpx_rac.h"
  33
  34
  35 void ff_vp56_init_dequant(VP56Context *s, int quantizer)
  36 {
  37     if (s->quantizer != quantizer)
  38         ff_vp3dsp_set_bounding_values(s->bounding_values_array, ff_vp56_filter_threshold[quantizer]);
  39     s->quantizer = quantizer;
  40     s->dequant_dc = ff_vp56_dc_dequant[quantizer] << 2;
  41     s->dequant_ac = ff_vp56_ac_dequant[quantizer] << 2;
  42 }
  43
  44 static int vp56_get_vectors_predictors(VP56Context *s, int row, int col,
  45                                        VP56Frame ref_frame)
  46 {
  47     int nb_pred = 0;
  48     VP56mv vect[2] = {{0,0}, {0,0}};
  49     int pos, offset;
  50     VP56mv mvp;
  51
  52     for (pos=0; pos<12; pos++) {
  53         mvp.x = col + ff_vp56_candidate_predictor_pos[pos][0];
  54         mvp.y = row + ff_vp56_candidate_predictor_pos[pos][1];
  55         if (mvp.x < 0 || mvp.x >= s->mb_width ||
  56             mvp.y < 0 || mvp.y >= s->mb_height)
  57             continue;
  58         offset = mvp.x + s->mb_width*mvp.y;
  59
  60         if (ff_vp56_reference_frame[s->macroblocks[offset].type] != ref_frame)
  61             continue;
  62         if ((s->macroblocks[offset].mv.x == vect[0].x &&
  63              s->macroblocks[offset].mv.y == vect[0].y) ||
  64             (s->macroblocks[offset].mv.x == 0 &&
  65              s->macroblocks[offset].mv.y == 0))
  66             continue;
  67
  68         vect[nb_pred++] = s->macroblocks[offset].mv;
  69         if (nb_pred > 1) {
  70             nb_pred = -1;
  71             break;
  72         }
  73         s->vector_candidate_pos = pos;
  74     }
  75
  76     s->vector_candidate[0] = vect[0];
  77     s->vector_candidate[1] = vect[1];
  78
  79     return nb_pred+1;
  80 }
  81
  82 static void vp56_parse_mb_type_models(VP56Context *s)
  83 {
  84     VPXRangeCoder *c = &s->c;
  85     VP56Model *model = s->modelp;
  86     int i, ctx, type;
  87
  88     for (ctx=0; ctx<3; ctx++) {
  89         if (vpx_rac_get_prob_branchy(c, 174)) {
  90             int idx = vp56_rac_gets(c, 4);
  91             memcpy(model->mb_types_stats[ctx],
  92                    ff_vp56_pre_def_mb_type_stats[idx][ctx],
  93                    sizeof(model->mb_types_stats[ctx]));
  94         }
  95         if (vpx_rac_get_prob_branchy(c, 254)) {
  96             for (type=0; type<10; type++) {
  97                 for(i=0; i<2; i++) {
  98                     if (vpx_rac_get_prob_branchy(c, 205)) {
  99                         int delta, sign = vpx_rac_get(c);
 100
 101                         delta = vp56_rac_get_tree(c, ff_vp56_pmbtm_tree,
 102                                                   ff_vp56_mb_type_model_model);
 103                         if (!delta)
 104                             delta = 4 * vp56_rac_gets(c, 7);
 105                         model->mb_types_stats[ctx][type][i] += (delta ^ -sign) + sign;
 106                     }
 107                 }
 108             }
 109         }
 110     }
 111
 112     /* compute MB type probability tables based on previous MB type */
 113     for (ctx=0; ctx<3; ctx++) {
 114         int p[10];
 115
 116         for (type=0; type<10; type++)
 117             p[type] = 100 * model->mb_types_stats[ctx][type][1];
 118
 119         for (type=0; type<10; type++) {
 120             int p02, p34, p0234, p17, p56, p89, p5689, p156789;
 121
 122             /* conservative MB type probability */
 123             model->mb_type[ctx][type][0] = 255 - (255 * model->mb_types_stats[ctx][type][0]) / (1 + model->mb_types_stats[ctx][type][0] + model->mb_types_stats[ctx][type][1]);
 124
 125             p[type] = 0;    /* same MB type => weight is null */
 126
 127             /* binary tree parsing probabilities */
 128             p02 = p[0] + p[2];
 129             p34 = p[3] + p[4];
 130             p0234 = p02 + p34;
 131             p17 = p[1] + p[7];
 132             p56 = p[5] + p[6];
 133             p89 = p[8] + p[9];
 134             p5689 = p56 + p89;
 135             p156789 = p17 + p5689;
 136
 137             model->mb_type[ctx][type][1] = 1 + 255 * p0234/(1+p0234+p156789);
 138             model->mb_type[ctx][type][2] = 1 + 255 * p02  / (1+p0234);
 139             model->mb_type[ctx][type][3] = 1 + 255 * p17  / (1+p156789);
 140             model->mb_type[ctx][type][4] = 1 + 255 * p[0] / (1+p02);
 141             model->mb_type[ctx][type][5] = 1 + 255 * p[3] / (1+p34);
 142             model->mb_type[ctx][type][6] = 1 + 255 * p[1] / (1+p17);
 143             model->mb_type[ctx][type][7] = 1 + 255 * p56  / (1+p5689);
 144             model->mb_type[ctx][type][8] = 1 + 255 * p[5] / (1+p56);
 145             model->mb_type[ctx][type][9] = 1 + 255 * p[8] / (1+p89);
 146
 147             /* restore initial value */
 148             p[type] = 100 * model->mb_types_stats[ctx][type][1];
 149         }
 150     }
 151 }
 152
 153 static VP56mb vp56_parse_mb_type(VP56Context *s,
 154                                  VP56mb prev_type, int ctx)
 155 {
 156     uint8_t *mb_type_model = s->modelp->mb_type[ctx][prev_type];
 157     VPXRangeCoder *c = &s->c;
 158
 159     if (vpx_rac_get_prob_branchy(c, mb_type_model[0]))
 160         return prev_type;
 161     else
 162         return vp56_rac_get_tree(c, ff_vp56_pmbt_tree, mb_type_model);
 163 }
 164
 165 static void vp56_decode_4mv(VP56Context *s, int row, int col)
 166 {
 167     VP56mv mv = {0,0};
 168     int type[4];
 169     int b;
 170
 171     /* parse each block type */
 172     for (b=0; b<4; b++) {
 173         type[b] = vp56_rac_gets(&s->c, 2);
 174         if (type[b])
 175             type[b]++;  /* only returns 0, 2, 3 or 4 (all INTER_PF) */
 176     }
 177
 178     /* get vectors */
 179     for (b=0; b<4; b++) {
 180         switch (type[b]) {
 181             case VP56_MB_INTER_NOVEC_PF:
 182                 s->mv[b] = (VP56mv) {0,0};
 183                 break;
 184             case VP56_MB_INTER_DELTA_PF:
 185                 s->parse_vector_adjustment(s, &s->mv[b]);
 186                 break;
 187             case VP56_MB_INTER_V1_PF:
 188                 s->mv[b] = s->vector_candidate[0];
 189                 break;
 190             case VP56_MB_INTER_V2_PF:
 191                 s->mv[b] = s->vector_candidate[1];
 192                 break;
 193         }
 194         mv.x += s->mv[b].x;
 195         mv.y += s->mv[b].y;
 196     }
 197
 198     /* this is the one selected for the whole MB for prediction */
 199     s->macroblocks[row * s->mb_width + col].mv = s->mv[3];
 200
 201     /* chroma vectors are average luma vectors */
 202     s->mv[4].x = s->mv[5].x = RSHIFT(mv.x,2);
 203     s->mv[4].y = s->mv[5].y = RSHIFT(mv.y,2);
 204 }
 205
 206 static VP56mb vp56_decode_mv(VP56Context *s, int row, int col)
 207 {
 208     VP56mv *mv, vect = {0,0};
 209     int ctx, b;
 210
 211     ctx = vp56_get_vectors_predictors(s, row, col, VP56_FRAME_PREVIOUS);
 212     s->mb_type = vp56_parse_mb_type(s, s->mb_type, ctx);
 213     s->macroblocks[row * s->mb_width + col].type = s->mb_type;
 214
 215     switch (s->mb_type) {
 216         case VP56_MB_INTER_V1_PF:
 217             mv = &s->vector_candidate[0];
 218             break;
 219
 220         case VP56_MB_INTER_V2_PF:
 221             mv = &s->vector_candidate[1];
 222             break;
 223
 224         case VP56_MB_INTER_V1_GF:
 225             vp56_get_vectors_predictors(s, row, col, VP56_FRAME_GOLDEN);
 226             mv = &s->vector_candidate[0];
 227             break;
 228
 229         case VP56_MB_INTER_V2_GF:
 230             vp56_get_vectors_predictors(s, row, col, VP56_FRAME_GOLDEN);
 231             mv = &s->vector_candidate[1];
 232             break;
 233
 234         case VP56_MB_INTER_DELTA_PF:
 235             s->parse_vector_adjustment(s, &vect);
 236             mv = &vect;
 237             break;
 238
 239         case VP56_MB_INTER_DELTA_GF:
 240             vp56_get_vectors_predictors(s, row, col, VP56_FRAME_GOLDEN);
 241             s->parse_vector_adjustment(s, &vect);
 242             mv = &vect;
 243             break;
 244
 245         case VP56_MB_INTER_4V:
 246             vp56_decode_4mv(s, row, col);
 247             return s->mb_type;
 248
 249         default:
 250             mv = &vect;
 251             break;
 252     }
 253
 254     s->macroblocks[row*s->mb_width + col].mv = *mv;
 255
 256     /* same vector for all blocks */
 257     for (b=0; b<6; b++)
 258         s->mv[b] = *mv;
 259
 260     return s->mb_type;
 261 }
 262
 263 static VP56mb vp56_conceal_mv(VP56Context *s, int row, int col)
 264 {
 265     VP56mv *mv, vect = {0,0};
 266     int b;
 267
 268     s->mb_type = VP56_MB_INTER_NOVEC_PF;
 269     s->macroblocks[row * s->mb_width + col].type = s->mb_type;
 270
 271     mv = &vect;
 272
 273     s->macroblocks[row*s->mb_width + col].mv = *mv;
 274
 275     /* same vector for all blocks */
 276     for (b=0; b<6; b++)
 277         s->mv[b] = *mv;
 278
 279     return s->mb_type;
 280 }
 281
 282 static void vp56_add_predictors_dc(VP56Context *s, VP56Frame ref_frame)
 283 {
 284     int idx = s->idct_scantable[0];
 285     int b;
 286
 287     for (b=0; b<6; b++) {
 288         VP56RefDc *ab = &s->above_blocks[s->above_block_idx[b]];
 289         VP56RefDc *lb = &s->left_block[ff_vp56_b6to4[b]];
 290         int count = 0;
 291         int dc = 0;
 292         int i;
 293
 294         if (ref_frame == lb->ref_frame) {
 295             dc += lb->dc_coeff;
 296             count++;
 297         }
 298         if (ref_frame == ab->ref_frame) {
 299             dc += ab->dc_coeff;
 300             count++;
 301         }
 302         if (s->avctx->codec->id == AV_CODEC_ID_VP5)
 303             for (i=0; i<2; i++)
 304                 if (count < 2 && ref_frame == ab[-1+2*i].ref_frame) {
 305                     dc += ab[-1+2*i].dc_coeff;
 306                     count++;
 307                 }
 308         if (count == 0)
 309             dc = s->prev_dc[ff_vp56_b2p[b]][ref_frame];
 310         else if (count == 2)
 311             dc /= 2;
 312
 313         s->block_coeff[b][idx] += dc;
 314         s->prev_dc[ff_vp56_b2p[b]][ref_frame] = s->block_coeff[b][idx];
 315         ab->dc_coeff = s->block_coeff[b][idx];
 316         ab->ref_frame = ref_frame;
 317         lb->dc_coeff = s->block_coeff[b][idx];
 318         lb->ref_frame = ref_frame;
 319         s->block_coeff[b][idx] *= s->dequant_dc;
 320     }
 321 }
 322
 323 static void vp56_deblock_filter(VP56Context *s, uint8_t *yuv,
 324                                 ptrdiff_t stride, int dx, int dy)
 325 {
 326     if (s->avctx->codec->id == AV_CODEC_ID_VP5) {
 327     int t = ff_vp56_filter_threshold[s->quantizer];
 328     if (dx)  s->vp56dsp.edge_filter_hor(yuv +         10-dx , stride, t);
 329     if (dy)  s->vp56dsp.edge_filter_ver(yuv + stride*(10-dy), stride, t);
 330     } else {
 331         int * bounding_values = s->bounding_values_array + 127;
 332         if (dx)
 333             ff_vp3dsp_h_loop_filter_12(yuv +         10-dx, stride, bounding_values);
 334         if (dy)
 335             ff_vp3dsp_v_loop_filter_12(yuv + stride*(10-dy), stride, bounding_values);
 336     }
 337 }
 338
 339 static void vp56_mc(VP56Context *s, int b, int plane, uint8_t *src,
 340                     ptrdiff_t stride, int x, int y)
 341 {
 342     uint8_t *dst = s->frames[VP56_FRAME_CURRENT]->data[plane] + s->block_offset[b];
 343     uint8_t *src_block;
 344     int src_offset;
 345     int overlap_offset = 0;
 346     int mask = s->vp56_coord_div[b] - 1;
 347     int deblock_filtering = s->deblock_filtering;
 348     int dx;
 349     int dy;
 350
 351     if (s->avctx->skip_loop_filter >= AVDISCARD_ALL ||
 352         (s->avctx->skip_loop_filter >= AVDISCARD_NONKEY
 353          && !(s->frames[VP56_FRAME_CURRENT]->flags & AV_FRAME_FLAG_KEY)))
 354         deblock_filtering = 0;
 355
 356     dx = s->mv[b].x / s->vp56_coord_div[b];
 357     dy = s->mv[b].y / s->vp56_coord_div[b];
 358
 359     if (b >= 4) {
 360         x /= 2;
 361         y /= 2;
 362     }
 363     x += dx - 2;
 364     y += dy - 2;
 365
 366     if (x<0 || x+12>=s->plane_width[plane] ||
 367         y<0 || y+12>=s->plane_height[plane]) {
 368         s->vdsp.emulated_edge_mc(s->edge_emu_buffer,
 369                                  src + s->block_offset[b] + (dy-2)*stride + (dx-2),
 370                                  stride, stride,
 371                                  12, 12, x, y,
 372                                  s->plane_width[plane],
 373                                  s->plane_height[plane]);
 374         src_block = s->edge_emu_buffer;
 375         src_offset = 2 + 2*stride;
 376     } else if (deblock_filtering) {
 377         /* only need a 12x12 block, but there is no such dsp function, */
 378         /* so copy a 16x12 block */
 379         s->hdsp.put_pixels_tab[0][0](s->edge_emu_buffer,
 380                                      src + s->block_offset[b] + (dy-2)*stride + (dx-2),
 381                                      stride, 12);
 382         src_block = s->edge_emu_buffer;
 383         src_offset = 2 + 2*stride;
 384     } else {
 385         src_block = src;
 386         src_offset = s->block_offset[b] + dy*stride + dx;
 387     }
 388
 389     if (deblock_filtering)
 390         vp56_deblock_filter(s, src_block, stride, dx&7, dy&7);
 391
 392     if (s->mv[b].x & mask)
 393         overlap_offset += (s->mv[b].x > 0) ? 1 : -1;
 394     if (s->mv[b].y & mask)
 395         overlap_offset += (s->mv[b].y > 0) ? stride : -stride;
 396
 397     if (overlap_offset) {
 398         if (s->filter)
 399             s->filter(s, dst, src_block, src_offset, src_offset+overlap_offset,
 400                       stride, s->mv[b], mask, s->filter_selection, b<4);
 401         else
 402             s->vp3dsp.put_no_rnd_pixels_l2(dst, src_block+src_offset,
 403                                            src_block+src_offset+overlap_offset,
 404                                            stride, 8);
 405     } else {
 406         s->hdsp.put_pixels_tab[1][0](dst, src_block+src_offset, stride, 8);
 407     }
 408 }
 409
 410 static void vp56_idct_put(VP56Context *s, uint8_t * dest, ptrdiff_t stride, int16_t *block, int selector)
 411 {
 412     if (selector > 10 || selector == 1)
 413         s->vp3dsp.idct_put(dest, stride, block);
 414     else
 415         ff_vp3dsp_idct10_put(dest, stride, block);
 416 }
 417
 418 static void vp56_idct_add(VP56Context *s, uint8_t * dest, ptrdiff_t stride, int16_t *block, int selector)
 419 {
 420     if (selector > 10)
 421         s->vp3dsp.idct_add(dest, stride, block);
 422     else if (selector > 1)
 423         ff_vp3dsp_idct10_add(dest, stride, block);
 424     else
 425         s->vp3dsp.idct_dc_add(dest, stride, block);
 426 }
 427
 428 static av_always_inline void vp56_render_mb(VP56Context *s, int row, int col, int is_alpha, VP56mb mb_type)
 429 {
 430     int b, ab, b_max, plane, off;
 431     AVFrame *frame_current, *frame_ref;
 432     VP56Frame ref_frame = ff_vp56_reference_frame[mb_type];
 433
 434     vp56_add_predictors_dc(s, ref_frame);
 435
 436     frame_current = s->frames[VP56_FRAME_CURRENT];
 437     frame_ref = s->frames[ref_frame];
 438     if (mb_type != VP56_MB_INTRA && !frame_ref->data[0])
 439         return;
 440
 441     ab = 6*is_alpha;
 442     b_max = 6 - 2*is_alpha;
 443
 444     switch (mb_type) {
 445         case VP56_MB_INTRA:
 446             for (b=0; b<b_max; b++) {
 447                 plane = ff_vp56_b2p[b+ab];
 448                 vp56_idct_put(s, frame_current->data[plane] + s->block_offset[b],
 449                                 s->stride[plane], s->block_coeff[b], s->idct_selector[b]);
 450             }
 451             break;
 452
 453         case VP56_MB_INTER_NOVEC_PF:
 454         case VP56_MB_INTER_NOVEC_GF:
 455             for (b=0; b<b_max; b++) {
 456                 plane = ff_vp56_b2p[b+ab];
 457                 off = s->block_offset[b];
 458                 s->hdsp.put_pixels_tab[1][0](frame_current->data[plane] + off,
 459                                              frame_ref->data[plane] + off,
 460                                              s->stride[plane], 8);
 461                 vp56_idct_add(s, frame_current->data[plane] + off,
 462                               s->stride[plane], s->block_coeff[b], s->idct_selector[b]);
 463             }
 464             break;
 465
 466         case VP56_MB_INTER_DELTA_PF:
 467         case VP56_MB_INTER_V1_PF:
 468         case VP56_MB_INTER_V2_PF:
 469         case VP56_MB_INTER_DELTA_GF:
 470         case VP56_MB_INTER_4V:
 471         case VP56_MB_INTER_V1_GF:
 472         case VP56_MB_INTER_V2_GF:
 473             for (b=0; b<b_max; b++) {
 474                 int x_off = b==1 || b==3 ? 8 : 0;
 475                 int y_off = b==2 || b==3 ? 8 : 0;
 476                 plane = ff_vp56_b2p[b+ab];
 477                 vp56_mc(s, b, plane, frame_ref->data[plane], s->stride[plane],
 478                         16*col+x_off, 16*row+y_off);
 479                 vp56_idct_add(s, frame_current->data[plane] + s->block_offset[b],
 480                               s->stride[plane], s->block_coeff[b], s->idct_selector[b]);
 481             }
 482             break;
 483     }
 484
 485     if (is_alpha) {
 486         s->block_coeff[4][0] = 0;
 487         s->block_coeff[5][0] = 0;
 488     }
 489 }
 490
 491 static int vp56_decode_mb(VP56Context *s, int row, int col, int is_alpha)
 492 {
 493     VP56mb mb_type;
 494     int ret;
 495
 496     if (s->frames[VP56_FRAME_CURRENT]->flags & AV_FRAME_FLAG_KEY)
 497         mb_type = VP56_MB_INTRA;
 498     else
 499         mb_type = vp56_decode_mv(s, row, col);
 500
 501     ret = s->parse_coeff(s);
 502     if (ret < 0)
 503         return ret;
 504
 505     vp56_render_mb(s, row, col, is_alpha, mb_type);
 506
 507     return 0;
 508 }
 509
 510 static int vp56_conceal_mb(VP56Context *s, int row, int col, int is_alpha)
 511 {
 512     VP56mb mb_type;
 513
 514     if (s->frames[VP56_FRAME_CURRENT]->flags & AV_FRAME_FLAG_KEY)
 515         mb_type = VP56_MB_INTRA;
 516     else
 517         mb_type = vp56_conceal_mv(s, row, col);
 518
 519     vp56_render_mb(s, row, col, is_alpha, mb_type);
 520
 521     return 0;
 522 }
 523
 524 static int vp56_size_changed(VP56Context *s)
 525 {
 526     AVCodecContext *avctx = s->avctx;
 527     int stride = s->frames[VP56_FRAME_CURRENT]->linesize[0];
 528     int i;
 529
 530     s->plane_width[0]  = s->plane_width[3]  = avctx->coded_width;
 531     s->plane_width[1]  = s->plane_width[2]  = avctx->coded_width/2;
 532     s->plane_height[0] = s->plane_height[3] = avctx->coded_height;
 533     s->plane_height[1] = s->plane_height[2] = avctx->coded_height/2;
 534
 535     s->have_undamaged_frame = 0;
 536
 537     for (i=0; i<4; i++)
 538         s->stride[i] = s->flip * s->frames[VP56_FRAME_CURRENT]->linesize[i];
 539
 540     s->mb_width  = (avctx->coded_width +15) / 16;
 541     s->mb_height = (avctx->coded_height+15) / 16;
 542
 543     if (s->mb_width > 1000 || s->mb_height > 1000) {
 544         ff_set_dimensions(avctx, 0, 0);
 545         av_log(avctx, AV_LOG_ERROR, "picture too big\n");
 546         return AVERROR_INVALIDDATA;
 547     }
 548
 549     av_reallocp_array(&s->above_blocks, 4*s->mb_width+6,
 550                       sizeof(*s->above_blocks));
 551     av_reallocp_array(&s->macroblocks, s->mb_width*s->mb_height,
 552                       sizeof(*s->macroblocks));
 553     av_free(s->edge_emu_buffer_alloc);
 554     s->edge_emu_buffer_alloc = av_malloc(16*stride);
 555     s->edge_emu_buffer = s->edge_emu_buffer_alloc;
 556     if (!s->above_blocks || !s->macroblocks || !s->edge_emu_buffer_alloc)
 557         return AVERROR(ENOMEM);
 558     if (s->flip < 0)
 559         s->edge_emu_buffer += 15 * stride;
 560
 561     if (s->alpha_context)
 562         return vp56_size_changed(s->alpha_context);
 563
 564     return 0;
 565 }
 566
 567 static int ff_vp56_decode_mbs(AVCodecContext *avctx, void *, int, int);
 568
 569 int ff_vp56_decode_frame(AVCodecContext *avctx, AVFrame *rframe,
 570                          int *got_frame, AVPacket *avpkt)
 571 {
 572     const uint8_t *buf = avpkt->data;
 573     VP56Context *s = avctx->priv_data;
 574     AVFrame *const p = s->frames[VP56_FRAME_CURRENT];
 575     int remaining_buf_size = avpkt->size;
 576     int alpha_offset = remaining_buf_size;
 577     int i, res;
 578     int ret;
 579
 580     if (s->has_alpha) {
 581         if (remaining_buf_size < 3)
 582             return AVERROR_INVALIDDATA;
 583         alpha_offset = bytestream_get_be24(&buf);
 584         remaining_buf_size -= 3;
 585         if (remaining_buf_size < alpha_offset)
 586             return AVERROR_INVALIDDATA;
 587     }
 588
 589     res = s->parse_header(s, buf, alpha_offset);
 590     if (res < 0)
 591         return res;
 592
 593     if (res == VP56_SIZE_CHANGE) {
 594         for (i = 0; i < 4; i++) {
 595             av_frame_unref(s->frames[i]);
 596             if (s->alpha_context)
 597                 av_frame_unref(s->alpha_context->frames[i]);
 598         }
 599         s->frames[VP56_FRAME_CURRENT]->flags |= AV_FRAME_FLAG_KEY; //FIXME
 600     }
 601
 602     ret = ff_get_buffer(avctx, p, AV_GET_BUFFER_FLAG_REF);
 603     if (ret < 0) {
 604         if (res == VP56_SIZE_CHANGE)
 605             ff_set_dimensions(avctx, 0, 0);
 606         return ret;
 607     }
 608
 609     if (avctx->pix_fmt == AV_PIX_FMT_YUVA420P) {
 610         if ((ret = av_frame_replace(s->alpha_context->frames[VP56_FRAME_CURRENT], p)) < 0) {
 611             av_frame_unref(p);
 612             if (res == VP56_SIZE_CHANGE)
 613                 ff_set_dimensions(avctx, 0, 0);
 614             return ret;
 615         }
 616     }
 617
 618     if (res == VP56_SIZE_CHANGE) {
 619         if (vp56_size_changed(s)) {
 620             av_frame_unref(p);
 621             return AVERROR_INVALIDDATA;
 622         }
 623     }
 624
 625     if (avctx->pix_fmt == AV_PIX_FMT_YUVA420P) {
 626         int bak_w = avctx->width;
 627         int bak_h = avctx->height;
 628         int bak_cw = avctx->coded_width;
 629         int bak_ch = avctx->coded_height;
 630         buf += alpha_offset;
 631         remaining_buf_size -= alpha_offset;
 632
 633         res = s->alpha_context->parse_header(s->alpha_context, buf, remaining_buf_size);
 634         if (res != 0) {
 635             if(res==VP56_SIZE_CHANGE) {
 636                 av_log(avctx, AV_LOG_ERROR, "Alpha reconfiguration\n");
 637                 avctx->width  = bak_w;
 638                 avctx->height = bak_h;
 639                 avctx->coded_width  = bak_cw;
 640                 avctx->coded_height = bak_ch;
 641             }
 642             av_frame_unref(p);
 643             return AVERROR_INVALIDDATA;
 644         }
 645     }
 646
 647     s->discard_frame = 0;
 648     avctx->execute2(avctx, ff_vp56_decode_mbs, 0, 0, (avctx->pix_fmt == AV_PIX_FMT_YUVA420P) + 1);
 649
 650     if (s->discard_frame)
 651         return AVERROR_INVALIDDATA;
 652
 653     if ((res = av_frame_ref(rframe, p)) < 0)
 654         return res;
 655     *got_frame = 1;
 656
 657     return avpkt->size;
 658 }
 659
 660 static int ff_vp56_decode_mbs(AVCodecContext *avctx, void *data,
 661                               int jobnr, int threadnr)
 662 {
 663     VP56Context *s0 = avctx->priv_data;
 664     int is_alpha = (jobnr == 1);
 665     VP56Context *s = is_alpha ? s0->alpha_context : s0;
 666     AVFrame *const p = s->frames[VP56_FRAME_CURRENT];
 667     int mb_row, mb_col, mb_row_flip, mb_offset = 0;
 668     int block, y, uv;
 669     ptrdiff_t stride_y, stride_uv;
 670     int res;
 671     int damaged = 0;
 672
 673     if (p->flags & AV_FRAME_FLAG_KEY) {
 674         p->pict_type = AV_PICTURE_TYPE_I;
 675         s->default_models_init(s);
 676         for (block=0; block<s->mb_height*s->mb_width; block++)
 677             s->macroblocks[block].type = VP56_MB_INTRA;
 678     } else {
 679         p->pict_type = AV_PICTURE_TYPE_P;
 680         vp56_parse_mb_type_models(s);
 681         s->parse_vector_models(s);
 682         s->mb_type = VP56_MB_INTER_NOVEC_PF;
 683     }
 684
 685     if (s->parse_coeff_models(s))
 686         goto next;
 687
 688     memset(s->prev_dc, 0, sizeof(s->prev_dc));
 689     s->prev_dc[1][VP56_FRAME_CURRENT] = 128;
 690     s->prev_dc[2][VP56_FRAME_CURRENT] = 128;
 691
 692     for (block=0; block < 4*s->mb_width+6; block++) {
 693         s->above_blocks[block].ref_frame = VP56_FRAME_NONE;
 694         s->above_blocks[block].dc_coeff = 0;
 695         s->above_blocks[block].not_null_dc = 0;
 696     }
 697     s->above_blocks[2*s->mb_width + 2].ref_frame = VP56_FRAME_CURRENT;
 698     s->above_blocks[3*s->mb_width + 4].ref_frame = VP56_FRAME_CURRENT;
 699
 700     stride_y  = p->linesize[0];
 701     stride_uv = p->linesize[1];
 702
 703     if (s->flip < 0)
 704         mb_offset = 7;
 705
 706     /* main macroblocks loop */
 707     for (mb_row=0; mb_row<s->mb_height; mb_row++) {
 708         if (s->flip < 0)
 709             mb_row_flip = s->mb_height - mb_row - 1;
 710         else
 711             mb_row_flip = mb_row;
 712
 713         for (block=0; block<4; block++) {
 714             s->left_block[block].ref_frame = VP56_FRAME_NONE;
 715             s->left_block[block].dc_coeff = 0;
 716             s->left_block[block].not_null_dc = 0;
 717         }
 718         memset(s->coeff_ctx, 0, sizeof(s->coeff_ctx));
 719         memset(s->coeff_ctx_last, 24, sizeof(s->coeff_ctx_last));
 720
 721         s->above_block_idx[0] = 1;
 722         s->above_block_idx[1] = 2;
 723         s->above_block_idx[2] = 1;
 724         s->above_block_idx[3] = 2;
 725         s->above_block_idx[4] = 2*s->mb_width + 2 + 1;
 726         s->above_block_idx[5] = 3*s->mb_width + 4 + 1;
 727
 728         s->block_offset[s->frbi] = (mb_row_flip*16 + mb_offset) * stride_y;
 729         s->block_offset[s->srbi] = s->block_offset[s->frbi] + 8*stride_y;
 730         s->block_offset[1] = s->block_offset[0] + 8;
 731         s->block_offset[3] = s->block_offset[2] + 8;
 732         s->block_offset[4] = (mb_row_flip*8 + mb_offset) * stride_uv;
 733         s->block_offset[5] = s->block_offset[4];
 734
 735         for (mb_col=0; mb_col<s->mb_width; mb_col++) {
 736             if (!damaged) {
 737                 int ret = vp56_decode_mb(s, mb_row, mb_col, is_alpha);
 738                 if (ret < 0) {
 739                     damaged = 1;
 740                     if (!s->have_undamaged_frame || !avctx->error_concealment) {
 741                         s->discard_frame = 1;
 742                         return AVERROR_INVALIDDATA;
 743                     }
 744                 }
 745             }
 746             if (damaged)
 747                 vp56_conceal_mb(s, mb_row, mb_col, is_alpha);
 748
 749             for (y=0; y<4; y++) {
 750                 s->above_block_idx[y] += 2;
 751                 s->block_offset[y] += 16;
 752             }
 753
 754             for (uv=4; uv<6; uv++) {
 755                 s->above_block_idx[uv] += 1;
 756                 s->block_offset[uv] += 8;
 757             }
 758         }
 759     }
 760
 761     if (!damaged)
 762         s->have_undamaged_frame = 1;
 763
 764 next:
 765     if ((p->flags & AV_FRAME_FLAG_KEY) || s->golden_frame) {
 766         if ((res = av_frame_replace(s->frames[VP56_FRAME_GOLDEN], p)) < 0)
 767             return res;
 768     }
 769
 770     av_frame_unref(s->frames[VP56_FRAME_PREVIOUS]);
 771     FFSWAP(AVFrame *, s->frames[VP56_FRAME_CURRENT],
 772                       s->frames[VP56_FRAME_PREVIOUS]);
 773     return 0;
 774 }
 775
 776 av_cold int ff_vp56_init_context(AVCodecContext *avctx, VP56Context *s,
 777                                   int flip, int has_alpha)
 778 {
 779     int i;
 780
 781     s->avctx = avctx;
 782     avctx->pix_fmt = has_alpha ? AV_PIX_FMT_YUVA420P : AV_PIX_FMT_YUV420P;
 783     if (avctx->skip_alpha) avctx->pix_fmt = AV_PIX_FMT_YUV420P;
 784
 785     ff_h264chroma_init(&s->h264chroma, 8);
 786     ff_hpeldsp_init(&s->hdsp, avctx->flags);
 787     ff_videodsp_init(&s->vdsp, 8);
 788     ff_vp3dsp_init(&s->vp3dsp, avctx->flags);
 789     for (i = 0; i < 64; i++) {
 790 #define TRANSPOSE(x) (((x) >> 3) | (((x) & 7) << 3))
 791         s->idct_scantable[i] = TRANSPOSE(ff_zigzag_direct[i]);
 792 #undef TRANSPOSE
 793     }
 794
 795     for (i = 0; i < FF_ARRAY_ELEMS(s->frames); i++) {
 796         s->frames[i] = av_frame_alloc();
 797         if (!s->frames[i])
 798             return AVERROR(ENOMEM);
 799     }
 800     s->edge_emu_buffer_alloc = NULL;
 801
 802     s->above_blocks = NULL;
 803     s->macroblocks = NULL;
 804     s->quantizer = -1;
 805     s->deblock_filtering = 1;
 806     s->golden_frame = 0;
 807
 808     s->filter = NULL;
 809
 810     s->has_alpha = has_alpha;
 811
 812     s->modelp = &s->model;
 813
 814     if (flip) {
 815         s->flip = -1;
 816         s->frbi = 2;
 817         s->srbi = 0;
 818     } else {
 819         s->flip = 1;
 820         s->frbi = 0;
 821         s->srbi = 2;
 822     }
 823
 824     return 0;
 825 }
 826
 827 av_cold int ff_vp56_free_context(VP56Context *s)
 828 {
 829     int i;
 830
 831     av_freep(&s->above_blocks);
 832     av_freep(&s->macroblocks);
 833     av_freep(&s->edge_emu_buffer_alloc);
 834
 835     for (i = 0; i < FF_ARRAY_ELEMS(s->frames); i++)
 836         av_frame_free(&s->frames[i]);
 837
 838     return 0;
 839 }