Merge "Fixed iwalsh_neon build problems with RVDS4.1"
[profile/ivi/libvpx.git] / vp8 / encoder / firstpass.c
1 /*
2  *  Copyright (c) 2010 The WebM project authors. All Rights Reserved.
3  *
4  *  Use of this source code is governed by a BSD-style license
5  *  that can be found in the LICENSE file in the root of the source
6  *  tree. An additional intellectual property rights grant can be found
7  *  in the file PATENTS.  All contributing project authors may
8  *  be found in the AUTHORS file in the root of the source tree.
9  */
10
11 #include "math.h"
12 #include "limits.h"
13 #include "block.h"
14 #include "onyx_int.h"
15 #include "variance.h"
16 #include "encodeintra.h"
17 #include "vp8/common/setupintrarecon.h"
18 #include "mcomp.h"
19 #include "vpx_scale/vpxscale.h"
20 #include "encodemb.h"
21 #include "vp8/common/extend.h"
22 #include "vp8/common/systemdependent.h"
23 #include "vpx_scale/yv12extend.h"
24 #include "vpx_mem/vpx_mem.h"
25 #include "vp8/common/swapyv12buffer.h"
26 #include <stdio.h>
27 #include "rdopt.h"
28 #include "vp8/common/quant_common.h"
29 #include "encodemv.h"
30
31 //#define OUTPUT_FPF 1
32
33 #if CONFIG_RUNTIME_CPU_DETECT
34 #define IF_RTCD(x) (x)
35 #else
36 #define IF_RTCD(x) NULL
37 #endif
38
39 extern void vp8_build_block_offsets(MACROBLOCK *x);
40 extern void vp8_setup_block_ptrs(MACROBLOCK *x);
41 extern void vp8cx_frame_init_quantizer(VP8_COMP *cpi);
42 extern void vp8_set_mbmode_and_mvs(MACROBLOCK *x, MB_PREDICTION_MODE mb, int_mv *mv);
43 extern void vp8_alloc_compressor_data(VP8_COMP *cpi);
44
45 //#define GFQ_ADJUSTMENT (40 + ((15*Q)/10))
46 //#define GFQ_ADJUSTMENT (80 + ((15*Q)/10))
47 #define GFQ_ADJUSTMENT vp8_gf_boost_qadjustment[Q]
48 extern int vp8_kf_boost_qadjustment[QINDEX_RANGE];
49
50 extern const int vp8_gf_boost_qadjustment[QINDEX_RANGE];
51
52 #define IIFACTOR   1.4
53 #define IIKFACTOR1 1.40
54 #define IIKFACTOR2 1.5
55 #define RMAX       14.0
56 #define GF_RMAX    48.0
57
58 #define KF_MB_INTRA_MIN 300
59 #define GF_MB_INTRA_MIN 200
60
61 #define DOUBLE_DIVIDE_CHECK(X) ((X)<0?(X)-.000001:(X)+.000001)
62
63 #define POW1 (double)cpi->oxcf.two_pass_vbrbias/100.0
64 #define POW2 (double)cpi->oxcf.two_pass_vbrbias/100.0
65
66 static int vscale_lookup[7] = {0, 1, 1, 2, 2, 3, 3};
67 static int hscale_lookup[7] = {0, 0, 1, 1, 2, 2, 3};
68
69
70 static const int cq_level[QINDEX_RANGE] =
71 {
72     0,0,1,1,2,3,3,4,4,5,6,6,7,8,8,9,
73     9,10,11,11,12,13,13,14,15,15,16,17,17,18,19,20,
74     20,21,22,22,23,24,24,25,26,27,27,28,29,30,30,31,
75     32,33,33,34,35,36,36,37,38,39,39,40,41,42,42,43,
76     44,45,46,46,47,48,49,50,50,51,52,53,54,55,55,56,
77     57,58,59,60,60,61,62,63,64,65,66,67,67,68,69,70,
78     71,72,73,74,75,75,76,77,78,79,80,81,82,83,84,85,
79     86,86,87,88,89,90,91,92,93,94,95,96,97,98,99,100
80 };
81
82 static void find_next_key_frame(VP8_COMP *cpi, FIRSTPASS_STATS *this_frame);
83
84 static int encode_intra(VP8_COMP *cpi, MACROBLOCK *x, int use_dc_pred)
85 {
86
87     int i;
88     int intra_pred_var = 0;
89     (void) cpi;
90
91     if (use_dc_pred)
92     {
93         x->e_mbd.mode_info_context->mbmi.mode = DC_PRED;
94         x->e_mbd.mode_info_context->mbmi.uv_mode = DC_PRED;
95         x->e_mbd.mode_info_context->mbmi.ref_frame = INTRA_FRAME;
96
97         vp8_encode_intra16x16mby(IF_RTCD(&cpi->rtcd), x);
98     }
99     else
100     {
101         for (i = 0; i < 16; i++)
102         {
103             x->e_mbd.block[i].bmi.mode = B_DC_PRED;
104             vp8_encode_intra4x4block(IF_RTCD(&cpi->rtcd), x, i);
105         }
106     }
107
108     intra_pred_var = VARIANCE_INVOKE(&cpi->rtcd.variance, getmbss)(x->src_diff);
109
110     return intra_pred_var;
111 }
112
113 // Resets the first pass file to the given position using a relative seek from the current position
114 static void reset_fpf_position(VP8_COMP *cpi, FIRSTPASS_STATS *Position)
115 {
116     cpi->stats_in = Position;
117 }
118
119 static int lookup_next_frame_stats(VP8_COMP *cpi, FIRSTPASS_STATS *next_frame)
120 {
121     if (cpi->stats_in >= cpi->stats_in_end)
122         return EOF;
123
124     *next_frame = *cpi->stats_in;
125     return 1;
126 }
127
128 // Calculate a modified Error used in distributing bits between easier and harder frames
129 static double calculate_modified_err(VP8_COMP *cpi, FIRSTPASS_STATS *this_frame)
130 {
131     double av_err = cpi->total_stats->ssim_weighted_pred_err;
132     double this_err = this_frame->ssim_weighted_pred_err;
133     double modified_err;
134
135     //double relative_next_iiratio;
136     //double next_iiratio;
137     //double sum_iiratio;
138     //int i;
139
140     //FIRSTPASS_STATS next_frame;
141     //FIRSTPASS_STATS *start_pos;
142
143     /*start_pos = cpi->stats_in;
144     sum_iiratio = 0.0;
145     i = 0;
146     while ( (i < 1) && input_stats(cpi,&next_frame) != EOF )
147     {
148
149         next_iiratio = next_frame.intra_error / DOUBLE_DIVIDE_CHECK(next_frame.coded_error);
150         next_iiratio = ( next_iiratio < 1.0 ) ? 1.0 : (next_iiratio > 20.0) ? 20.0 : next_iiratio;
151         sum_iiratio += next_iiratio;
152         i++;
153     }
154     if ( i > 0 )
155     {
156         relative_next_iiratio = sum_iiratio / DOUBLE_DIVIDE_CHECK(cpi->avg_iiratio * (double)i);
157     }
158     else
159     {
160         relative_next_iiratio = 1.0;
161     }
162     reset_fpf_position(cpi, start_pos);*/
163
164     if (this_err > av_err)
165         modified_err = av_err * pow((this_err / DOUBLE_DIVIDE_CHECK(av_err)), POW1);
166     else
167         modified_err = av_err * pow((this_err / DOUBLE_DIVIDE_CHECK(av_err)), POW2);
168
169     /*
170     relative_next_iiratio = pow(relative_next_iiratio,0.25);
171     modified_err = modified_err * relative_next_iiratio;
172     */
173
174     return modified_err;
175 }
176
177 static const double weight_table[256] = {
178 0.020000, 0.020000, 0.020000, 0.020000, 0.020000, 0.020000, 0.020000, 0.020000,
179 0.020000, 0.020000, 0.020000, 0.020000, 0.020000, 0.020000, 0.020000, 0.020000,
180 0.020000, 0.020000, 0.020000, 0.020000, 0.020000, 0.020000, 0.020000, 0.020000,
181 0.020000, 0.020000, 0.020000, 0.020000, 0.020000, 0.020000, 0.020000, 0.020000,
182 0.020000, 0.031250, 0.062500, 0.093750, 0.125000, 0.156250, 0.187500, 0.218750,
183 0.250000, 0.281250, 0.312500, 0.343750, 0.375000, 0.406250, 0.437500, 0.468750,
184 0.500000, 0.531250, 0.562500, 0.593750, 0.625000, 0.656250, 0.687500, 0.718750,
185 0.750000, 0.781250, 0.812500, 0.843750, 0.875000, 0.906250, 0.937500, 0.968750,
186 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
187 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
188 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
189 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
190 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
191 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
192 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
193 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
194 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
195 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
196 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
197 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
198 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
199 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
200 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
201 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
202 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
203 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
204 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
205 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
206 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
207 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
208 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000,
209 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000, 1.000000
210 };
211
212 static double simple_weight(YV12_BUFFER_CONFIG *source)
213 {
214     int i, j;
215
216     unsigned char *src = source->y_buffer;
217     double sum_weights = 0.0;
218
219     // Loop throught the Y plane raw examining levels and creating a weight for the image
220     i = source->y_height;
221     do
222     {
223         j = source->y_width;
224         do
225         {
226             sum_weights += weight_table[ *src];
227             src++;
228         }while(--j);
229         src -= source->y_width;
230         src += source->y_stride;
231     }while(--i);
232
233     sum_weights /= (source->y_height * source->y_width);
234
235     return sum_weights;
236 }
237
238
239 // This function returns the current per frame maximum bitrate target
240 static int frame_max_bits(VP8_COMP *cpi)
241 {
242     // Max allocation for a single frame based on the max section guidelines passed in and how many bits are left
243     int max_bits;
244
245     // For CBR we need to also consider buffer fullness.
246     // If we are running below the optimal level then we need to gradually tighten up on max_bits.
247     if (cpi->oxcf.end_usage == USAGE_STREAM_FROM_SERVER)
248     {
249         double buffer_fullness_ratio = (double)cpi->buffer_level / DOUBLE_DIVIDE_CHECK((double)cpi->oxcf.optimal_buffer_level);
250
251         // For CBR base this on the target average bits per frame plus the maximum sedction rate passed in by the user
252         max_bits = (int)(cpi->av_per_frame_bandwidth * ((double)cpi->oxcf.two_pass_vbrmax_section / 100.0));
253
254         // If our buffer is below the optimum level
255         if (buffer_fullness_ratio < 1.0)
256         {
257             // The lower of max_bits / 4 or cpi->av_per_frame_bandwidth / 4.
258             int min_max_bits = ((cpi->av_per_frame_bandwidth >> 2) < (max_bits >> 2)) ? cpi->av_per_frame_bandwidth >> 2 : max_bits >> 2;
259
260             max_bits = (int)(max_bits * buffer_fullness_ratio);
261
262             if (max_bits < min_max_bits)
263                 max_bits = min_max_bits;       // Lowest value we will set ... which should allow the buffer to refil.
264         }
265     }
266     // VBR
267     else
268     {
269         // For VBR base this on the bits and frames left plus the two_pass_vbrmax_section rate passed in by the user
270         max_bits = (int)(((double)cpi->bits_left / (cpi->total_stats->count - (double)cpi->common.current_video_frame)) * ((double)cpi->oxcf.two_pass_vbrmax_section / 100.0));
271     }
272
273     // Trap case where we are out of bits
274     if (max_bits < 0)
275         max_bits = 0;
276
277     return max_bits;
278 }
279
280
281 static void output_stats(const VP8_COMP            *cpi,
282                          struct vpx_codec_pkt_list *pktlist,
283                          FIRSTPASS_STATS            *stats)
284 {
285     struct vpx_codec_cx_pkt pkt;
286     pkt.kind = VPX_CODEC_STATS_PKT;
287     pkt.data.twopass_stats.buf = stats;
288     pkt.data.twopass_stats.sz = sizeof(FIRSTPASS_STATS);
289     vpx_codec_pkt_list_add(pktlist, &pkt);
290
291 // TEMP debug code
292 #if OUTPUT_FPF
293
294     {
295         FILE *fpfile;
296         fpfile = fopen("firstpass.stt", "a");
297
298         fprintf(fpfile, "%12.0f %12.0f %12.0f %12.4f %12.4f %12.4f %12.4f"
299                 " %12.4f %12.4f %12.4f %12.4f %12.4f %12.4f %12.4f %12.4f"
300                 " %12.0f %12.4f\n",
301                 stats->frame,
302                 stats->intra_error,
303                 stats->coded_error,
304                 stats->ssim_weighted_pred_err,
305                 stats->pcnt_inter,
306                 stats->pcnt_motion,
307                 stats->pcnt_second_ref,
308                 stats->pcnt_neutral,
309                 stats->MVr,
310                 stats->mvr_abs,
311                 stats->MVc,
312                 stats->mvc_abs,
313                 stats->MVrv,
314                 stats->MVcv,
315                 stats->mv_in_out_count,
316                 stats->count,
317                 stats->duration);
318         fclose(fpfile);
319     }
320 #endif
321 }
322
323 static int input_stats(VP8_COMP *cpi, FIRSTPASS_STATS *fps)
324 {
325     if (cpi->stats_in >= cpi->stats_in_end)
326         return EOF;
327
328     *fps = *cpi->stats_in;
329     cpi->stats_in = (void*)((char *)cpi->stats_in + sizeof(FIRSTPASS_STATS));
330     return 1;
331 }
332
333 static void zero_stats(FIRSTPASS_STATS *section)
334 {
335     section->frame      = 0.0;
336     section->intra_error = 0.0;
337     section->coded_error = 0.0;
338     section->ssim_weighted_pred_err = 0.0;
339     section->pcnt_inter  = 0.0;
340     section->pcnt_motion  = 0.0;
341     section->pcnt_second_ref = 0.0;
342     section->pcnt_neutral = 0.0;
343     section->MVr        = 0.0;
344     section->mvr_abs     = 0.0;
345     section->MVc        = 0.0;
346     section->mvc_abs     = 0.0;
347     section->MVrv       = 0.0;
348     section->MVcv       = 0.0;
349     section->mv_in_out_count  = 0.0;
350     section->count      = 0.0;
351     section->duration   = 1.0;
352 }
353 static void accumulate_stats(FIRSTPASS_STATS *section, FIRSTPASS_STATS *frame)
354 {
355     section->frame += frame->frame;
356     section->intra_error += frame->intra_error;
357     section->coded_error += frame->coded_error;
358     section->ssim_weighted_pred_err += frame->ssim_weighted_pred_err;
359     section->pcnt_inter  += frame->pcnt_inter;
360     section->pcnt_motion += frame->pcnt_motion;
361     section->pcnt_second_ref += frame->pcnt_second_ref;
362     section->pcnt_neutral += frame->pcnt_neutral;
363     section->MVr        += frame->MVr;
364     section->mvr_abs     += frame->mvr_abs;
365     section->MVc        += frame->MVc;
366     section->mvc_abs     += frame->mvc_abs;
367     section->MVrv       += frame->MVrv;
368     section->MVcv       += frame->MVcv;
369     section->mv_in_out_count  += frame->mv_in_out_count;
370     section->count      += frame->count;
371     section->duration   += frame->duration;
372 }
373 static void avg_stats(FIRSTPASS_STATS *section)
374 {
375     if (section->count < 1.0)
376         return;
377
378     section->intra_error /= section->count;
379     section->coded_error /= section->count;
380     section->ssim_weighted_pred_err /= section->count;
381     section->pcnt_inter  /= section->count;
382     section->pcnt_second_ref /= section->count;
383     section->pcnt_neutral /= section->count;
384     section->pcnt_motion /= section->count;
385     section->MVr        /= section->count;
386     section->mvr_abs     /= section->count;
387     section->MVc        /= section->count;
388     section->mvc_abs     /= section->count;
389     section->MVrv       /= section->count;
390     section->MVcv       /= section->count;
391     section->mv_in_out_count   /= section->count;
392     section->duration   /= section->count;
393 }
394
395 void vp8_init_first_pass(VP8_COMP *cpi)
396 {
397     zero_stats(cpi->total_stats);
398 }
399
400 void vp8_end_first_pass(VP8_COMP *cpi)
401 {
402     output_stats(cpi, cpi->output_pkt_list, cpi->total_stats);
403 }
404
405 static void zz_motion_search( VP8_COMP *cpi, MACROBLOCK * x, YV12_BUFFER_CONFIG * recon_buffer, int * best_motion_err, int recon_yoffset )
406 {
407     MACROBLOCKD * const xd = & x->e_mbd;
408     BLOCK *b = &x->block[0];
409     BLOCKD *d = &x->e_mbd.block[0];
410
411     unsigned char *src_ptr = (*(b->base_src) + b->src);
412     int src_stride = b->src_stride;
413     unsigned char *ref_ptr;
414     int ref_stride=d->pre_stride;
415
416     // Set up pointers for this macro block recon buffer
417     xd->pre.y_buffer = recon_buffer->y_buffer + recon_yoffset;
418
419     ref_ptr = (unsigned char *)(*(d->base_pre) + d->pre );
420
421     VARIANCE_INVOKE(IF_RTCD(&cpi->rtcd.variance), mse16x16) ( src_ptr, src_stride, ref_ptr, ref_stride, (unsigned int *)(best_motion_err));
422 }
423
424 static void first_pass_motion_search(VP8_COMP *cpi, MACROBLOCK *x,
425                                      int_mv *ref_mv, MV *best_mv,
426                                      YV12_BUFFER_CONFIG *recon_buffer,
427                                      int *best_motion_err, int recon_yoffset )
428 {
429     MACROBLOCKD *const xd = & x->e_mbd;
430     BLOCK *b = &x->block[0];
431     BLOCKD *d = &x->e_mbd.block[0];
432     int num00;
433
434     int_mv tmp_mv;
435
436     int tmp_err;
437     int step_param = 3;                                       //3;          // Dont search over full range for first pass
438     int further_steps = (MAX_MVSEARCH_STEPS - 1) - step_param; //3;
439     int n;
440     vp8_variance_fn_ptr_t v_fn_ptr = cpi->fn_ptr[BLOCK_16X16];
441     int new_mv_mode_penalty = 256;
442
443     // override the default variance function to use MSE
444     v_fn_ptr.vf    = VARIANCE_INVOKE(IF_RTCD(&cpi->rtcd.variance), mse16x16);
445
446     // Set up pointers for this macro block recon buffer
447     xd->pre.y_buffer = recon_buffer->y_buffer + recon_yoffset;
448
449     // Initial step/diamond search centred on best mv
450     tmp_mv.as_int = 0;
451     tmp_err = cpi->diamond_search_sad(x, b, d, ref_mv, &tmp_mv, step_param, x->errorperbit, &num00, &v_fn_ptr, x->mvcost, ref_mv);
452     if ( tmp_err < INT_MAX-new_mv_mode_penalty )
453         tmp_err += new_mv_mode_penalty;
454
455     if (tmp_err < *best_motion_err)
456     {
457         *best_motion_err = tmp_err;
458         best_mv->row = tmp_mv.as_mv.row;
459         best_mv->col = tmp_mv.as_mv.col;
460     }
461
462     // Further step/diamond searches as necessary
463     n = num00;
464     num00 = 0;
465
466     while (n < further_steps)
467     {
468         n++;
469
470         if (num00)
471             num00--;
472         else
473         {
474             tmp_err = cpi->diamond_search_sad(x, b, d, ref_mv, &tmp_mv, step_param + n, x->errorperbit, &num00, &v_fn_ptr, x->mvcost, ref_mv);
475             if ( tmp_err < INT_MAX-new_mv_mode_penalty )
476                 tmp_err += new_mv_mode_penalty;
477
478             if (tmp_err < *best_motion_err)
479             {
480                 *best_motion_err = tmp_err;
481                 best_mv->row = tmp_mv.as_mv.row;
482                 best_mv->col = tmp_mv.as_mv.col;
483             }
484         }
485     }
486 }
487
488 void vp8_first_pass(VP8_COMP *cpi)
489 {
490     int mb_row, mb_col;
491     MACROBLOCK *const x = & cpi->mb;
492     VP8_COMMON *const cm = & cpi->common;
493     MACROBLOCKD *const xd = & x->e_mbd;
494
495     int recon_yoffset, recon_uvoffset;
496     YV12_BUFFER_CONFIG *lst_yv12 = &cm->yv12_fb[cm->lst_fb_idx];
497     YV12_BUFFER_CONFIG *new_yv12 = &cm->yv12_fb[cm->new_fb_idx];
498     YV12_BUFFER_CONFIG *gld_yv12 = &cm->yv12_fb[cm->gld_fb_idx];
499     int recon_y_stride = lst_yv12->y_stride;
500     int recon_uv_stride = lst_yv12->uv_stride;
501     long long intra_error = 0;
502     long long coded_error = 0;
503
504     int sum_mvr = 0, sum_mvc = 0;
505     int sum_mvr_abs = 0, sum_mvc_abs = 0;
506     int sum_mvrs = 0, sum_mvcs = 0;
507     int mvcount = 0;
508     int intercount = 0;
509     int second_ref_count = 0;
510     int intrapenalty = 256;
511     int neutral_count = 0;
512
513     int sum_in_vectors = 0;
514
515     int_mv zero_ref_mv;
516
517     zero_ref_mv.as_int = 0;
518
519     vp8_clear_system_state();  //__asm emms;
520
521     x->src = * cpi->Source;
522     xd->pre = *lst_yv12;
523     xd->dst = *new_yv12;
524
525     x->partition_info = x->pi;
526
527     xd->mode_info_context = cm->mi;
528
529     vp8_build_block_offsets(x);
530
531     vp8_setup_block_dptrs(&x->e_mbd);
532
533     vp8_setup_block_ptrs(x);
534
535     // set up frame new frame for intra coded blocks
536     vp8_setup_intra_recon(new_yv12);
537     vp8cx_frame_init_quantizer(cpi);
538
539     // Initialise the MV cost table to the defaults
540     //if( cm->current_video_frame == 0)
541     //if ( 0 )
542     {
543         int flag[2] = {1, 1};
544         vp8_initialize_rd_consts(cpi, vp8_dc_quant(cm->base_qindex, cm->y1dc_delta_q));
545         vpx_memcpy(cm->fc.mvc, vp8_default_mv_context, sizeof(vp8_default_mv_context));
546         vp8_build_component_cost_table(cpi->mb.mvcost, (const MV_CONTEXT *) cm->fc.mvc, flag);
547     }
548
549     // for each macroblock row in image
550     for (mb_row = 0; mb_row < cm->mb_rows; mb_row++)
551     {
552         int_mv best_ref_mv;
553
554         best_ref_mv.as_int = 0;
555
556         // reset above block coeffs
557         xd->up_available = (mb_row != 0);
558         recon_yoffset = (mb_row * recon_y_stride * 16);
559         recon_uvoffset = (mb_row * recon_uv_stride * 8);
560
561         // Set up limit values for motion vectors to prevent them extending outside the UMV borders
562         x->mv_row_min = -((mb_row * 16) + (VP8BORDERINPIXELS - 16));
563         x->mv_row_max = ((cm->mb_rows - 1 - mb_row) * 16) + (VP8BORDERINPIXELS - 16);
564
565
566         // for each macroblock col in image
567         for (mb_col = 0; mb_col < cm->mb_cols; mb_col++)
568         {
569             int this_error;
570             int gf_motion_error = INT_MAX;
571             int use_dc_pred = (mb_col || mb_row) && (!mb_col || !mb_row);
572
573             xd->dst.y_buffer = new_yv12->y_buffer + recon_yoffset;
574             xd->dst.u_buffer = new_yv12->u_buffer + recon_uvoffset;
575             xd->dst.v_buffer = new_yv12->v_buffer + recon_uvoffset;
576             xd->left_available = (mb_col != 0);
577
578             // do intra 16x16 prediction
579             this_error = encode_intra(cpi, x, use_dc_pred);
580
581             // "intrapenalty" below deals with situations where the intra and inter error scores are very low (eg a plain black frame)
582             // We do not have special cases in first pass for 0,0 and nearest etc so all inter modes carry an overhead cost estimate fot the mv.
583             // When the error score is very low this causes us to pick all or lots of INTRA modes and throw lots of key frames.
584             // This penalty adds a cost matching that of a 0,0 mv to the intra case.
585             this_error += intrapenalty;
586
587             // Cumulative intra error total
588             intra_error += (long long)this_error;
589
590             // Set up limit values for motion vectors to prevent them extending outside the UMV borders
591             x->mv_col_min = -((mb_col * 16) + (VP8BORDERINPIXELS - 16));
592             x->mv_col_max = ((cm->mb_cols - 1 - mb_col) * 16) + (VP8BORDERINPIXELS - 16);
593
594             // Other than for the first frame do a motion search
595             if (cm->current_video_frame > 0)
596             {
597                 BLOCKD *d = &x->e_mbd.block[0];
598                 MV tmp_mv = {0, 0};
599                 int tmp_err;
600                 int motion_error = INT_MAX;
601
602                 // Simple 0,0 motion with no mv overhead
603                 zz_motion_search( cpi, x, lst_yv12, &motion_error, recon_yoffset );
604                 d->bmi.mv.as_mv.row = 0;
605                 d->bmi.mv.as_mv.col = 0;
606
607                 // Test last reference frame using the previous best mv as the
608                 // starting point (best reference) for the search
609                 first_pass_motion_search(cpi, x, &best_ref_mv,
610                                         &d->bmi.mv.as_mv, lst_yv12,
611                                         &motion_error, recon_yoffset);
612
613                 // If the current best reference mv is not centred on 0,0 then do a 0,0 based search as well
614                 if (best_ref_mv.as_int)
615                 {
616                    tmp_err = INT_MAX;
617                    first_pass_motion_search(cpi, x, &zero_ref_mv, &tmp_mv,
618                                      lst_yv12, &tmp_err, recon_yoffset);
619
620                    if ( tmp_err < motion_error )
621                    {
622                         motion_error = tmp_err;
623                         d->bmi.mv.as_mv.row = tmp_mv.row;
624                         d->bmi.mv.as_mv.col = tmp_mv.col;
625                    }
626                 }
627
628                 // Experimental search in a second reference frame ((0,0) based only)
629                 if (cm->current_video_frame > 1)
630                 {
631                     first_pass_motion_search(cpi, x, &zero_ref_mv, &tmp_mv, gld_yv12, &gf_motion_error, recon_yoffset);
632
633                     if ((gf_motion_error < motion_error) && (gf_motion_error < this_error))
634                     {
635                         second_ref_count++;
636                         //motion_error = gf_motion_error;
637                         //d->bmi.mv.as_mv.row = tmp_mv.row;
638                         //d->bmi.mv.as_mv.col = tmp_mv.col;
639                     }
640                     /*else
641                     {
642                         xd->pre.y_buffer = cm->last_frame.y_buffer + recon_yoffset;
643                         xd->pre.u_buffer = cm->last_frame.u_buffer + recon_uvoffset;
644                         xd->pre.v_buffer = cm->last_frame.v_buffer + recon_uvoffset;
645                     }*/
646
647
648                     // Reset to last frame as reference buffer
649                     xd->pre.y_buffer = lst_yv12->y_buffer + recon_yoffset;
650                     xd->pre.u_buffer = lst_yv12->u_buffer + recon_uvoffset;
651                     xd->pre.v_buffer = lst_yv12->v_buffer + recon_uvoffset;
652                 }
653
654                 /* Intra assumed best */
655                 best_ref_mv.as_int = 0;
656
657                 if (motion_error <= this_error)
658                 {
659                     // Keep a count of cases where the inter and intra were
660                     // very close and very low. This helps with scene cut
661                     // detection for example in cropped clips with black bars
662                     // at the sides or top and bottom.
663                     if( (((this_error-intrapenalty) * 9) <=
664                          (motion_error*10)) &&
665                         (this_error < (2*intrapenalty)) )
666                     {
667                         neutral_count++;
668                     }
669
670                     d->bmi.mv.as_mv.row <<= 3;
671                     d->bmi.mv.as_mv.col <<= 3;
672                     this_error = motion_error;
673                     vp8_set_mbmode_and_mvs(x, NEWMV, &d->bmi.mv);
674                     vp8_encode_inter16x16y(IF_RTCD(&cpi->rtcd), x);
675                     sum_mvr += d->bmi.mv.as_mv.row;
676                     sum_mvr_abs += abs(d->bmi.mv.as_mv.row);
677                     sum_mvc += d->bmi.mv.as_mv.col;
678                     sum_mvc_abs += abs(d->bmi.mv.as_mv.col);
679                     sum_mvrs += d->bmi.mv.as_mv.row * d->bmi.mv.as_mv.row;
680                     sum_mvcs += d->bmi.mv.as_mv.col * d->bmi.mv.as_mv.col;
681                     intercount++;
682
683                     best_ref_mv.as_int = d->bmi.mv.as_int;
684
685                     // Was the vector non-zero
686                     if (d->bmi.mv.as_int)
687                     {
688                         mvcount++;
689
690                         // Does the Row vector point inwards or outwards
691                         if (mb_row < cm->mb_rows / 2)
692                         {
693                             if (d->bmi.mv.as_mv.row > 0)
694                                 sum_in_vectors--;
695                             else if (d->bmi.mv.as_mv.row < 0)
696                                 sum_in_vectors++;
697                         }
698                         else if (mb_row > cm->mb_rows / 2)
699                         {
700                             if (d->bmi.mv.as_mv.row > 0)
701                                 sum_in_vectors++;
702                             else if (d->bmi.mv.as_mv.row < 0)
703                                 sum_in_vectors--;
704                         }
705
706                         // Does the Row vector point inwards or outwards
707                         if (mb_col < cm->mb_cols / 2)
708                         {
709                             if (d->bmi.mv.as_mv.col > 0)
710                                 sum_in_vectors--;
711                             else if (d->bmi.mv.as_mv.col < 0)
712                                 sum_in_vectors++;
713                         }
714                         else if (mb_col > cm->mb_cols / 2)
715                         {
716                             if (d->bmi.mv.as_mv.col > 0)
717                                 sum_in_vectors++;
718                             else if (d->bmi.mv.as_mv.col < 0)
719                                 sum_in_vectors--;
720                         }
721                     }
722                 }
723             }
724
725             coded_error += (long long)this_error;
726
727             // adjust to the next column of macroblocks
728             x->src.y_buffer += 16;
729             x->src.u_buffer += 8;
730             x->src.v_buffer += 8;
731
732             recon_yoffset += 16;
733             recon_uvoffset += 8;
734         }
735
736         // adjust to the next row of mbs
737         x->src.y_buffer += 16 * x->src.y_stride - 16 * cm->mb_cols;
738         x->src.u_buffer += 8 * x->src.uv_stride - 8 * cm->mb_cols;
739         x->src.v_buffer += 8 * x->src.uv_stride - 8 * cm->mb_cols;
740
741         //extend the recon for intra prediction
742         vp8_extend_mb_row(new_yv12, xd->dst.y_buffer + 16, xd->dst.u_buffer + 8, xd->dst.v_buffer + 8);
743         vp8_clear_system_state();  //__asm emms;
744     }
745
746     vp8_clear_system_state();  //__asm emms;
747     {
748         double weight = 0.0;
749
750         FIRSTPASS_STATS fps;
751
752         fps.frame      = cm->current_video_frame ;
753         fps.intra_error = intra_error >> 8;
754         fps.coded_error = coded_error >> 8;
755         weight = simple_weight(cpi->Source);
756
757
758         if (weight < 0.1)
759             weight = 0.1;
760
761         fps.ssim_weighted_pred_err = fps.coded_error * weight;
762
763         fps.pcnt_inter  = 0.0;
764         fps.pcnt_motion = 0.0;
765         fps.MVr        = 0.0;
766         fps.mvr_abs     = 0.0;
767         fps.MVc        = 0.0;
768         fps.mvc_abs     = 0.0;
769         fps.MVrv       = 0.0;
770         fps.MVcv       = 0.0;
771         fps.mv_in_out_count  = 0.0;
772         fps.count      = 1.0;
773
774         fps.pcnt_inter   = 1.0 * (double)intercount / cm->MBs;
775         fps.pcnt_second_ref = 1.0 * (double)second_ref_count / cm->MBs;
776         fps.pcnt_neutral = 1.0 * (double)neutral_count / cm->MBs;
777
778         if (mvcount > 0)
779         {
780             fps.MVr = (double)sum_mvr / (double)mvcount;
781             fps.mvr_abs = (double)sum_mvr_abs / (double)mvcount;
782             fps.MVc = (double)sum_mvc / (double)mvcount;
783             fps.mvc_abs = (double)sum_mvc_abs / (double)mvcount;
784             fps.MVrv = ((double)sum_mvrs - (fps.MVr * fps.MVr / (double)mvcount)) / (double)mvcount;
785             fps.MVcv = ((double)sum_mvcs - (fps.MVc * fps.MVc / (double)mvcount)) / (double)mvcount;
786             fps.mv_in_out_count = (double)sum_in_vectors / (double)(mvcount * 2);
787
788             fps.pcnt_motion = 1.0 * (double)mvcount / cpi->common.MBs;
789         }
790
791         // TODO:  handle the case when duration is set to 0, or something less
792         // than the full time between subsequent cpi->source_time_stamp s  .
793         fps.duration = cpi->source->ts_end
794                        - cpi->source->ts_start;
795
796         // don't want to do output stats with a stack variable!
797         memcpy(cpi->this_frame_stats,
798                &fps,
799                sizeof(FIRSTPASS_STATS));
800         output_stats(cpi, cpi->output_pkt_list, cpi->this_frame_stats);
801         accumulate_stats(cpi->total_stats, &fps);
802     }
803
804     // Copy the previous Last Frame into the GF buffer if specific conditions for doing so are met
805     if ((cm->current_video_frame > 0) &&
806         (cpi->this_frame_stats->pcnt_inter > 0.20) &&
807         ((cpi->this_frame_stats->intra_error / cpi->this_frame_stats->coded_error) > 2.0))
808     {
809         vp8_yv12_copy_frame_ptr(lst_yv12, gld_yv12);
810     }
811
812     // swap frame pointers so last frame refers to the frame we just compressed
813     vp8_swap_yv12_buffer(lst_yv12, new_yv12);
814     vp8_yv12_extend_frame_borders(lst_yv12);
815
816     // Special case for the first frame. Copy into the GF buffer as a second reference.
817     if (cm->current_video_frame == 0)
818     {
819         vp8_yv12_copy_frame_ptr(lst_yv12, gld_yv12);
820     }
821
822
823     // use this to see what the first pass reconstruction looks like
824     if (0)
825     {
826         char filename[512];
827         FILE *recon_file;
828         sprintf(filename, "enc%04d.yuv", (int) cm->current_video_frame);
829
830         if (cm->current_video_frame == 0)
831             recon_file = fopen(filename, "wb");
832         else
833             recon_file = fopen(filename, "ab");
834
835         if(fwrite(lst_yv12->buffer_alloc, lst_yv12->frame_size, 1, recon_file));
836         fclose(recon_file);
837     }
838
839     cm->current_video_frame++;
840
841 }
842 extern const int vp8_bits_per_mb[2][QINDEX_RANGE];
843
844 #define BASE_ERRPERMB   150
845 static int estimate_max_q(VP8_COMP *cpi, double section_err, int section_target_bandwitdh)
846 {
847     int Q;
848     int num_mbs = cpi->common.MBs;
849     int target_norm_bits_per_mb;
850
851     double err_per_mb = section_err / num_mbs;
852     double correction_factor;
853     double corr_high;
854     double speed_correction = 1.0;
855     double rolling_ratio;
856
857     double pow_highq = 0.90;
858     double pow_lowq = 0.40;
859
860     if (section_target_bandwitdh <= 0)
861         return cpi->maxq_max_limit;          // Highest value allowed
862
863     target_norm_bits_per_mb = (section_target_bandwitdh < (1 << 20)) ? (512 * section_target_bandwitdh) / num_mbs : 512 * (section_target_bandwitdh / num_mbs);
864
865     // Calculate a corrective factor based on a rolling ratio of bits spent vs target bits
866     if ((cpi->rolling_target_bits > 0.0) && (cpi->active_worst_quality < cpi->worst_quality))
867     {
868         rolling_ratio = (double)cpi->rolling_actual_bits / (double)cpi->rolling_target_bits;
869
870         //if ( cpi->est_max_qcorrection_factor > rolling_ratio )
871         if (rolling_ratio < 0.95)
872             //cpi->est_max_qcorrection_factor *= adjustment_rate;
873             cpi->est_max_qcorrection_factor -= 0.005;
874         //else if ( cpi->est_max_qcorrection_factor < rolling_ratio )
875         else if (rolling_ratio > 1.05)
876             cpi->est_max_qcorrection_factor += 0.005;
877
878         //cpi->est_max_qcorrection_factor /= adjustment_rate;
879
880         cpi->est_max_qcorrection_factor = (cpi->est_max_qcorrection_factor < 0.1) ? 0.1 : (cpi->est_max_qcorrection_factor > 10.0) ? 10.0 : cpi->est_max_qcorrection_factor;
881     }
882
883     // Corrections for higher compression speed settings (reduced compression expected)
884     if ((cpi->compressor_speed == 3) || (cpi->compressor_speed == 1))
885     {
886         if (cpi->oxcf.cpu_used <= 5)
887             speed_correction = 1.04 + (cpi->oxcf.cpu_used * 0.04);
888         else
889             speed_correction = 1.25;
890     }
891
892     // Correction factor used for Q values >= 20
893     corr_high = pow(err_per_mb / BASE_ERRPERMB, pow_highq);
894     corr_high = (corr_high < 0.05)
895                     ? 0.05 : (corr_high > 5.0) ? 5.0 : corr_high;
896
897     // Try and pick a max Q that will be high enough to encode the
898     // content at the given rate.
899     for (Q = cpi->maxq_min_limit; Q < cpi->maxq_max_limit; Q++)
900     {
901         int bits_per_mb_at_this_q;
902
903         if (Q < 50)
904         {
905             correction_factor = pow(err_per_mb / BASE_ERRPERMB, (pow_lowq + Q * 0.01));
906             correction_factor = (correction_factor < 0.05) ? 0.05 : (correction_factor > 5.0) ? 5.0 : correction_factor;
907         }
908         else
909             correction_factor = corr_high;
910
911         bits_per_mb_at_this_q = (int)(.5 + correction_factor * speed_correction * cpi->est_max_qcorrection_factor * cpi->section_max_qfactor * (double)vp8_bits_per_mb[INTER_FRAME][Q] / 1.0);
912         //bits_per_mb_at_this_q = (int)(.5 + correction_factor * speed_correction * cpi->est_max_qcorrection_factor * (double)vp8_bits_per_mb[INTER_FRAME][Q] / 1.0);
913
914         if (bits_per_mb_at_this_q <= target_norm_bits_per_mb)
915             break;
916     }
917
918     // Restriction on active max q for constrained quality mode.
919     if ( (cpi->oxcf.end_usage == USAGE_CONSTRAINED_QUALITY) &&
920          (Q < cpi->cq_target_quality) )
921          //(Q < cpi->oxcf.cq_level;) )
922     {
923         Q = cpi->cq_target_quality;
924         //Q = cpi->oxcf.cq_level;
925     }
926
927     // Adjust maxq_min_limit and maxq_max_limit limits based on
928     // averaga q observed in clip for non kf/gf.arf frames
929     // Give average a chance to settle though.
930     if ( (cpi->ni_frames >
931                   ((unsigned int)cpi->total_stats->count >> 8)) &&
932          (cpi->ni_frames > 150) )
933     {
934         cpi->maxq_max_limit = ((cpi->ni_av_qi + 32) < cpi->worst_quality)
935                                   ? (cpi->ni_av_qi + 32) : cpi->worst_quality;
936         cpi->maxq_min_limit = ((cpi->ni_av_qi - 32) > cpi->best_quality)
937                                   ? (cpi->ni_av_qi - 32) : cpi->best_quality;
938     }
939
940     return Q;
941 }
942 static int estimate_q(VP8_COMP *cpi, double section_err, int section_target_bandwitdh)
943 {
944     int Q;
945     int num_mbs = cpi->common.MBs;
946     int target_norm_bits_per_mb;
947
948     double err_per_mb = section_err / num_mbs;
949     double correction_factor;
950     double corr_high;
951     double speed_correction = 1.0;
952     double pow_highq = 0.90;
953     double pow_lowq = 0.40;
954
955     target_norm_bits_per_mb = (section_target_bandwitdh < (1 << 20)) ? (512 * section_target_bandwitdh) / num_mbs : 512 * (section_target_bandwitdh / num_mbs);
956
957     // Corrections for higher compression speed settings (reduced compression expected)
958     if ((cpi->compressor_speed == 3) || (cpi->compressor_speed == 1))
959     {
960         if (cpi->oxcf.cpu_used <= 5)
961             speed_correction = 1.04 + (cpi->oxcf.cpu_used * 0.04);
962         else
963             speed_correction = 1.25;
964     }
965
966     // Correction factor used for Q values >= 20
967     corr_high = pow(err_per_mb / BASE_ERRPERMB, pow_highq);
968     corr_high = (corr_high < 0.05) ? 0.05 : (corr_high > 5.0) ? 5.0 : corr_high;
969
970     // Try and pick a Q that can encode the content at the given rate.
971     for (Q = 0; Q < MAXQ; Q++)
972     {
973         int bits_per_mb_at_this_q;
974
975         if (Q < 50)
976         {
977             correction_factor = pow(err_per_mb / BASE_ERRPERMB, (pow_lowq + Q * 0.01));
978             correction_factor = (correction_factor < 0.05) ? 0.05 : (correction_factor > 5.0) ? 5.0 : correction_factor;
979         }
980         else
981             correction_factor = corr_high;
982
983         bits_per_mb_at_this_q = (int)(.5 + correction_factor * speed_correction * cpi->est_max_qcorrection_factor * (double)vp8_bits_per_mb[INTER_FRAME][Q] / 1.0);
984
985         if (bits_per_mb_at_this_q <= target_norm_bits_per_mb)
986             break;
987     }
988
989     return Q;
990 }
991
992 // Estimate a worst case Q for a KF group
993 static int estimate_kf_group_q(VP8_COMP *cpi, double section_err, int section_target_bandwitdh, double group_iiratio)
994 {
995     int Q;
996     int num_mbs = cpi->common.MBs;
997     int target_norm_bits_per_mb = (512 * section_target_bandwitdh) / num_mbs;
998     int bits_per_mb_at_this_q;
999
1000     double err_per_mb = section_err / num_mbs;
1001     double err_correction_factor;
1002     double corr_high;
1003     double speed_correction = 1.0;
1004     double current_spend_ratio = 1.0;
1005
1006     double pow_highq = (POW1 < 0.6) ? POW1 + 0.3 : 0.90;
1007     double pow_lowq = (POW1 < 0.7) ? POW1 + 0.1 : 0.80;
1008
1009     double iiratio_correction_factor = 1.0;
1010
1011     double combined_correction_factor;
1012
1013     // Trap special case where the target is <= 0
1014     if (target_norm_bits_per_mb <= 0)
1015         return MAXQ * 2;
1016
1017     // Calculate a corrective factor based on a rolling ratio of bits spent vs target bits
1018     // This is clamped to the range 0.1 to 10.0
1019     if (cpi->long_rolling_target_bits <= 0)
1020         current_spend_ratio = 10.0;
1021     else
1022     {
1023         current_spend_ratio = (double)cpi->long_rolling_actual_bits / (double)cpi->long_rolling_target_bits;
1024         current_spend_ratio = (current_spend_ratio > 10.0) ? 10.0 : (current_spend_ratio < 0.1) ? 0.1 : current_spend_ratio;
1025     }
1026
1027     // Calculate a correction factor based on the quality of prediction in the sequence as indicated by intra_inter error score ratio (IIRatio)
1028     // The idea here is to favour subsampling in the hardest sections vs the easyest.
1029     iiratio_correction_factor = 1.0 - ((group_iiratio - 6.0) * 0.1);
1030
1031     if (iiratio_correction_factor < 0.5)
1032         iiratio_correction_factor = 0.5;
1033
1034     // Corrections for higher compression speed settings (reduced compression expected)
1035     if ((cpi->compressor_speed == 3) || (cpi->compressor_speed == 1))
1036     {
1037         if (cpi->oxcf.cpu_used <= 5)
1038             speed_correction = 1.04 + (cpi->oxcf.cpu_used * 0.04);
1039         else
1040             speed_correction = 1.25;
1041     }
1042
1043     // Combine the various factors calculated above
1044     combined_correction_factor = speed_correction * iiratio_correction_factor * current_spend_ratio;
1045
1046     // Correction factor used for Q values >= 20
1047     corr_high = pow(err_per_mb / BASE_ERRPERMB, pow_highq);
1048     corr_high = (corr_high < 0.05) ? 0.05 : (corr_high > 5.0) ? 5.0 : corr_high;
1049
1050     // Try and pick a Q that should be high enough to encode the content at the given rate.
1051     for (Q = 0; Q < MAXQ; Q++)
1052     {
1053         // Q values < 20 treated as a special case
1054         if (Q < 20)
1055         {
1056             err_correction_factor = pow(err_per_mb / BASE_ERRPERMB, (pow_lowq + Q * 0.01));
1057             err_correction_factor = (err_correction_factor < 0.05) ? 0.05 : (err_correction_factor > 5.0) ? 5.0 : err_correction_factor;
1058         }
1059         else
1060             err_correction_factor = corr_high;
1061
1062         bits_per_mb_at_this_q = (int)(.5 + err_correction_factor * combined_correction_factor * (double)vp8_bits_per_mb[INTER_FRAME][Q]);
1063
1064         if (bits_per_mb_at_this_q <= target_norm_bits_per_mb)
1065             break;
1066     }
1067
1068     // If we could not hit the target even at Max Q then estimate what Q would have bee required
1069     while ((bits_per_mb_at_this_q > target_norm_bits_per_mb)  && (Q < (MAXQ * 2)))
1070     {
1071
1072         bits_per_mb_at_this_q = (int)(0.96 * bits_per_mb_at_this_q);
1073         Q++;
1074     }
1075
1076     if (0)
1077     {
1078         FILE *f = fopen("estkf_q.stt", "a");
1079         fprintf(f, "%8d %8d %8d %8.2f %8.3f %8.2f %8.3f %8.3f %8.3f %8d\n", cpi->common.current_video_frame, bits_per_mb_at_this_q,
1080                 target_norm_bits_per_mb, err_per_mb, err_correction_factor,
1081                 current_spend_ratio, group_iiratio, iiratio_correction_factor,
1082                 (double)cpi->buffer_level / (double)cpi->oxcf.optimal_buffer_level, Q);
1083         fclose(f);
1084     }
1085
1086     return Q;
1087 }
1088
1089 // For cq mode estimate a cq level that matches the observed
1090 // complexity and data rate.
1091 static int estimate_cq(VP8_COMP *cpi, double section_err, int section_target_bandwitdh)
1092 {
1093     int Q;
1094     int num_mbs = cpi->common.MBs;
1095     int target_norm_bits_per_mb;
1096
1097     double err_per_mb = section_err / num_mbs;
1098     double correction_factor;
1099     double corr_high;
1100     double speed_correction = 1.0;
1101     double pow_highq = 0.90;
1102     double pow_lowq = 0.40;
1103     double clip_iiratio;
1104     double clip_iifactor;
1105
1106     target_norm_bits_per_mb = (section_target_bandwitdh < (1 << 20))
1107                               ? (512 * section_target_bandwitdh) / num_mbs
1108                               : 512 * (section_target_bandwitdh / num_mbs);
1109
1110     // Corrections for higher compression speed settings
1111     // (reduced compression expected)
1112     if ((cpi->compressor_speed == 3) || (cpi->compressor_speed == 1))
1113     {
1114         if (cpi->oxcf.cpu_used <= 5)
1115             speed_correction = 1.04 + (cpi->oxcf.cpu_used * 0.04);
1116         else
1117             speed_correction = 1.25;
1118     }
1119     // II ratio correction factor for clip as a whole
1120     clip_iiratio = cpi->total_stats->intra_error /
1121                    DOUBLE_DIVIDE_CHECK(cpi->total_stats->coded_error);
1122     clip_iifactor = 1.0 - ((clip_iiratio - 10.0) * 0.025);
1123     if (clip_iifactor < 0.80)
1124         clip_iifactor = 0.80;
1125
1126     // Correction factor used for Q values >= 20
1127     corr_high = pow(err_per_mb / BASE_ERRPERMB, pow_highq);
1128     corr_high = (corr_high < 0.05) ? 0.05 : (corr_high > 5.0) ? 5.0 : corr_high;
1129
1130     // Try and pick a Q that can encode the content at the given rate.
1131     for (Q = 0; Q < MAXQ; Q++)
1132     {
1133         int bits_per_mb_at_this_q;
1134
1135         if (Q < 50)
1136         {
1137             correction_factor =
1138                 pow( err_per_mb / BASE_ERRPERMB, (pow_lowq + Q * 0.01));
1139
1140             correction_factor = (correction_factor < 0.05) ? 0.05
1141                                     : (correction_factor > 5.0) ? 5.0
1142                                         : correction_factor;
1143         }
1144         else
1145             correction_factor = corr_high;
1146
1147         bits_per_mb_at_this_q =
1148             (int)( .5 + correction_factor *
1149                         speed_correction *
1150                         clip_iifactor *
1151                         (double)vp8_bits_per_mb[INTER_FRAME][Q] / 1.0);
1152
1153         if (bits_per_mb_at_this_q <= target_norm_bits_per_mb)
1154             break;
1155     }
1156
1157     return cq_level[Q];
1158 }
1159
1160 extern void vp8_new_frame_rate(VP8_COMP *cpi, double framerate);
1161
1162 void vp8_init_second_pass(VP8_COMP *cpi)
1163 {
1164     FIRSTPASS_STATS this_frame;
1165     FIRSTPASS_STATS *start_pos;
1166
1167     double two_pass_min_rate = (double)(cpi->oxcf.target_bandwidth * cpi->oxcf.two_pass_vbrmin_section / 100);
1168
1169     zero_stats(cpi->total_stats);
1170
1171     if (!cpi->stats_in_end)
1172         return;
1173
1174     *cpi->total_stats = *cpi->stats_in_end;
1175
1176     cpi->total_error_left = cpi->total_stats->ssim_weighted_pred_err;
1177     cpi->total_intra_error_left = cpi->total_stats->intra_error;
1178     cpi->total_coded_error_left = cpi->total_stats->coded_error;
1179     cpi->start_tot_err_left = cpi->total_error_left;
1180
1181     //cpi->bits_left = (long long)(cpi->total_stats->count * cpi->oxcf.target_bandwidth / DOUBLE_DIVIDE_CHECK((double)cpi->oxcf.frame_rate));
1182     //cpi->bits_left -= (long long)(cpi->total_stats->count * two_pass_min_rate / DOUBLE_DIVIDE_CHECK((double)cpi->oxcf.frame_rate));
1183
1184     // each frame can have a different duration, as the frame rate in the source
1185     // isn't guaranteed to be constant.   The frame rate prior to the first frame
1186     // encoded in the second pass is a guess.  However the sum duration is not.
1187     // Its calculated based on the actual durations of all frames from the first
1188     // pass.
1189     vp8_new_frame_rate(cpi, 10000000.0 * cpi->total_stats->count / cpi->total_stats->duration);
1190
1191     cpi->output_frame_rate = cpi->oxcf.frame_rate;
1192     cpi->bits_left = (long long)(cpi->total_stats->duration * cpi->oxcf.target_bandwidth / 10000000.0) ;
1193     cpi->bits_left -= (long long)(cpi->total_stats->duration * two_pass_min_rate / 10000000.0);
1194     cpi->clip_bits_total = cpi->bits_left;
1195
1196     // Calculate a minimum intra value to be used in determining the IIratio
1197     // scores used in the second pass. We have this minimum to make sure
1198     // that clips that are static but "low complexity" in the intra domain
1199     // are still boosted appropriately for KF/GF/ARF
1200     cpi->kf_intra_err_min = KF_MB_INTRA_MIN * cpi->common.MBs;
1201     cpi->gf_intra_err_min = GF_MB_INTRA_MIN * cpi->common.MBs;
1202
1203     avg_stats(cpi->total_stats);
1204
1205     // Scan the first pass file and calculate an average Intra / Inter error score ratio for the sequence
1206     {
1207         double sum_iiratio = 0.0;
1208         double IIRatio;
1209
1210         start_pos = cpi->stats_in;               // Note starting "file" position
1211
1212         while (input_stats(cpi, &this_frame) != EOF)
1213         {
1214             IIRatio = this_frame.intra_error / DOUBLE_DIVIDE_CHECK(this_frame.coded_error);
1215             IIRatio = (IIRatio < 1.0) ? 1.0 : (IIRatio > 20.0) ? 20.0 : IIRatio;
1216             sum_iiratio += IIRatio;
1217         }
1218
1219         cpi->avg_iiratio = sum_iiratio / DOUBLE_DIVIDE_CHECK((double)cpi->total_stats->count);
1220
1221         // Reset file position
1222         reset_fpf_position(cpi, start_pos);
1223     }
1224
1225     // Scan the first pass file and calculate a modified total error based upon the bias/power function
1226     // used to allocate bits
1227     {
1228         start_pos = cpi->stats_in;               // Note starting "file" position
1229
1230         cpi->modified_error_total = 0.0;
1231         cpi->modified_error_used = 0.0;
1232
1233         while (input_stats(cpi, &this_frame) != EOF)
1234         {
1235             cpi->modified_error_total += calculate_modified_err(cpi, &this_frame);
1236         }
1237         cpi->modified_error_left = cpi->modified_error_total;
1238
1239         reset_fpf_position(cpi, start_pos);            // Reset file position
1240
1241     }
1242 }
1243
1244 void vp8_end_second_pass(VP8_COMP *cpi)
1245 {
1246 }
1247
1248 // This function gives and estimate of how badly we believe
1249 // the prediction quality is decaying from frame to frame.
1250 static double get_prediction_decay_rate(VP8_COMP *cpi, FIRSTPASS_STATS *next_frame)
1251 {
1252     double prediction_decay_rate;
1253     double motion_decay;
1254     double motion_pct = next_frame->pcnt_motion;
1255
1256
1257     // Initial basis is the % mbs inter coded
1258     prediction_decay_rate = next_frame->pcnt_inter;
1259
1260     // High % motion -> somewhat higher decay rate
1261     motion_decay = (1.0 - (motion_pct / 20.0));
1262     if (motion_decay < prediction_decay_rate)
1263         prediction_decay_rate = motion_decay;
1264
1265     // Adjustment to decay rate based on speed of motion
1266     {
1267         double this_mv_rabs;
1268         double this_mv_cabs;
1269         double distance_factor;
1270
1271         this_mv_rabs = fabs(next_frame->mvr_abs * motion_pct);
1272         this_mv_cabs = fabs(next_frame->mvc_abs * motion_pct);
1273
1274         distance_factor = sqrt((this_mv_rabs * this_mv_rabs) +
1275                                (this_mv_cabs * this_mv_cabs)) / 250.0;
1276         distance_factor = ((distance_factor > 1.0)
1277                                 ? 0.0 : (1.0 - distance_factor));
1278         if (distance_factor < prediction_decay_rate)
1279             prediction_decay_rate = distance_factor;
1280     }
1281
1282     return prediction_decay_rate;
1283 }
1284
1285 // Function to test for a condition where a complex transition is followed
1286 // by a static section. For example in slide shows where there is a fade
1287 // between slides. This is to help with more optimal kf and gf positioning.
1288 static int detect_transition_to_still(
1289     VP8_COMP *cpi,
1290     int frame_interval,
1291     int still_interval,
1292     double loop_decay_rate,
1293     double decay_accumulator )
1294 {
1295     BOOL trans_to_still = FALSE;
1296
1297     // Break clause to detect very still sections after motion
1298     // For example a static image after a fade or other transition
1299     // instead of a clean scene cut.
1300     if ( (frame_interval > MIN_GF_INTERVAL) &&
1301          (loop_decay_rate >= 0.999) &&
1302          (decay_accumulator < 0.9) )
1303     {
1304         int j;
1305         FIRSTPASS_STATS * position = cpi->stats_in;
1306         FIRSTPASS_STATS tmp_next_frame;
1307         double decay_rate;
1308
1309         // Look ahead a few frames to see if static condition
1310         // persists...
1311         for ( j = 0; j < still_interval; j++ )
1312         {
1313             if (EOF == input_stats(cpi, &tmp_next_frame))
1314                 break;
1315
1316             decay_rate = get_prediction_decay_rate(cpi, &tmp_next_frame);
1317             if ( decay_rate < 0.999 )
1318                 break;
1319         }
1320         // Reset file position
1321         reset_fpf_position(cpi, position);
1322
1323         // Only if it does do we signal a transition to still
1324         if ( j == still_interval )
1325             trans_to_still = TRUE;
1326     }
1327
1328     return trans_to_still;
1329 }
1330
1331 // Analyse and define a gf/arf group .
1332 static void define_gf_group(VP8_COMP *cpi, FIRSTPASS_STATS *this_frame)
1333 {
1334     FIRSTPASS_STATS next_frame;
1335     FIRSTPASS_STATS *start_pos;
1336     int i;
1337     double boost_score = 0.0;
1338     double old_boost_score = 0.0;
1339     double gf_group_err = 0.0;
1340     double gf_first_frame_err = 0.0;
1341     double mod_frame_err = 0.0;
1342
1343     double mv_accumulator_rabs  = 0.0;
1344     double mv_accumulator_cabs  = 0.0;
1345     double mv_ratio_accumulator = 0.0;
1346     double decay_accumulator = 1.0;
1347
1348     double boost_factor = IIFACTOR;
1349     double loop_decay_rate = 1.00;          // Starting decay rate
1350
1351     double this_frame_mv_in_out = 0.0;
1352     double mv_in_out_accumulator = 0.0;
1353     double abs_mv_in_out_accumulator = 0.0;
1354     double mod_err_per_mb_accumulator = 0.0;
1355
1356     int max_bits = frame_max_bits(cpi);     // Max for a single frame
1357
1358     unsigned int allow_alt_ref =
1359                     cpi->oxcf.play_alternate && cpi->oxcf.lag_in_frames;
1360
1361     cpi->gf_group_bits = 0;
1362     cpi->gf_decay_rate = 0;
1363
1364     vp8_clear_system_state();  //__asm emms;
1365
1366     start_pos = cpi->stats_in;
1367
1368     vpx_memset(&next_frame, 0, sizeof(next_frame)); // assure clean
1369
1370     // Preload the stats for the next frame.
1371     mod_frame_err = calculate_modified_err(cpi, this_frame);
1372
1373     // Note the error of the frame at the start of the group (this will be
1374     // the GF frame error if we code a normal gf
1375     gf_first_frame_err = mod_frame_err;
1376
1377     // Special treatment if the current frame is a key frame (which is also
1378     // a gf). If it is then its error score (and hence bit allocation) need
1379     // to be subtracted out from the calculation for the GF group
1380     if (cpi->common.frame_type == KEY_FRAME)
1381         gf_group_err -= gf_first_frame_err;
1382
1383     // Scan forward to try and work out how many frames the next gf group
1384     // should contain and what level of boost is appropriate for the GF
1385     // or ARF that will be coded with the group
1386     i = 0;
1387
1388     while (((i < cpi->static_scene_max_gf_interval) ||
1389             ((cpi->frames_to_key - i) < MIN_GF_INTERVAL)) &&
1390            (i < cpi->frames_to_key))
1391     {
1392         double r;
1393         double this_frame_mvr_ratio;
1394         double this_frame_mvc_ratio;
1395         //double motion_pct = next_frame.pcnt_motion;
1396         double motion_pct;
1397
1398         i++;    // Increment the loop counter
1399
1400         // Accumulate error score of frames in this gf group
1401         mod_frame_err = calculate_modified_err(cpi, this_frame);
1402
1403         gf_group_err += mod_frame_err;
1404
1405         mod_err_per_mb_accumulator +=
1406             mod_frame_err / DOUBLE_DIVIDE_CHECK((double)cpi->common.MBs);
1407
1408         if (EOF == input_stats(cpi, &next_frame))
1409             break;
1410
1411         // Accumulate motion stats.
1412         motion_pct = next_frame.pcnt_motion;
1413         mv_accumulator_rabs += fabs(next_frame.mvr_abs * motion_pct);
1414         mv_accumulator_cabs += fabs(next_frame.mvc_abs * motion_pct);
1415
1416         //Accumulate Motion In/Out of frame stats
1417         this_frame_mv_in_out =
1418             next_frame.mv_in_out_count * motion_pct;
1419         mv_in_out_accumulator +=
1420             next_frame.mv_in_out_count * motion_pct;
1421         abs_mv_in_out_accumulator +=
1422             fabs(next_frame.mv_in_out_count * motion_pct);
1423
1424         // If there is a significant amount of motion
1425         if (motion_pct > 0.05)
1426         {
1427             this_frame_mvr_ratio = fabs(next_frame.mvr_abs) /
1428                                    DOUBLE_DIVIDE_CHECK(fabs(next_frame.MVr));
1429
1430             this_frame_mvc_ratio = fabs(next_frame.mvc_abs) /
1431                                    DOUBLE_DIVIDE_CHECK(fabs(next_frame.MVc));
1432
1433             mv_ratio_accumulator +=
1434                 (this_frame_mvr_ratio < next_frame.mvr_abs)
1435                     ? (this_frame_mvr_ratio * motion_pct)
1436                     : next_frame.mvr_abs * motion_pct;
1437
1438             mv_ratio_accumulator +=
1439                 (this_frame_mvc_ratio < next_frame.mvc_abs)
1440                     ? (this_frame_mvc_ratio * motion_pct)
1441                     : next_frame.mvc_abs * motion_pct;
1442         }
1443         else
1444         {
1445             mv_ratio_accumulator += 0.0;
1446             this_frame_mvr_ratio = 1.0;
1447             this_frame_mvc_ratio = 1.0;
1448         }
1449
1450         // Underlying boost factor is based on inter intra error ratio
1451         r = ( boost_factor *
1452               ( next_frame.intra_error /
1453                 DOUBLE_DIVIDE_CHECK(next_frame.coded_error)));
1454
1455         if (next_frame.intra_error > cpi->gf_intra_err_min)
1456             r = (IIKFACTOR2 * next_frame.intra_error /
1457                      DOUBLE_DIVIDE_CHECK(next_frame.coded_error));
1458         else
1459             r = (IIKFACTOR2 * cpi->gf_intra_err_min /
1460                      DOUBLE_DIVIDE_CHECK(next_frame.coded_error));
1461
1462         // Increase boost for frames where new data coming into frame
1463         // (eg zoom out). Slightly reduce boost if there is a net balance
1464         // of motion out of the frame (zoom in).
1465         // The range for this_frame_mv_in_out is -1.0 to +1.0
1466         if (this_frame_mv_in_out > 0.0)
1467             r += r * (this_frame_mv_in_out * 2.0);
1468         // In extreme case boost is halved
1469         else
1470             r += r * (this_frame_mv_in_out / 2.0);
1471
1472         if (r > GF_RMAX)
1473             r = GF_RMAX;
1474
1475         loop_decay_rate = get_prediction_decay_rate(cpi, &next_frame);
1476
1477         // Cumulative effect of decay
1478         decay_accumulator = decay_accumulator * loop_decay_rate;
1479         decay_accumulator = decay_accumulator < 0.1 ? 0.1 : decay_accumulator;
1480
1481         boost_score += (decay_accumulator * r);
1482
1483         // Break clause to detect very still sections after motion
1484         // For example a staic image after a fade or other transition.
1485         if ( detect_transition_to_still( cpi, i, 5,
1486                                          loop_decay_rate, decay_accumulator ) )
1487         {
1488             allow_alt_ref = FALSE;
1489             boost_score = old_boost_score;
1490             break;
1491         }
1492
1493         // Break out conditions.
1494         if  (   /* i>4 || */
1495             // Break at cpi->max_gf_interval unless almost totally static
1496             (i >= cpi->max_gf_interval && (decay_accumulator < 0.995)) ||
1497             (
1498                 // Dont break out with a very short interval
1499                 (i > MIN_GF_INTERVAL) &&
1500                 // Dont break out very close to a key frame
1501                 ((cpi->frames_to_key - i) >= MIN_GF_INTERVAL) &&
1502                 ((boost_score > 20.0) || (next_frame.pcnt_inter < 0.75)) &&
1503                 ((mv_ratio_accumulator > 100.0) ||
1504                  (abs_mv_in_out_accumulator > 3.0) ||
1505                  (mv_in_out_accumulator < -2.0) ||
1506                  ((boost_score - old_boost_score) < 2.0))
1507             ) )
1508         {
1509             boost_score = old_boost_score;
1510             break;
1511         }
1512
1513         vpx_memcpy(this_frame, &next_frame, sizeof(*this_frame));
1514
1515         old_boost_score = boost_score;
1516     }
1517
1518     cpi->gf_decay_rate =
1519         (i > 0) ? (int)(100.0 * (1.0 - decay_accumulator)) / i : 0;
1520
1521     // When using CBR apply additional buffer related upper limits
1522     if (cpi->oxcf.end_usage == USAGE_STREAM_FROM_SERVER)
1523     {
1524         double max_boost;
1525
1526         // For cbr apply buffer related limits
1527         if (cpi->drop_frames_allowed)
1528         {
1529             int df_buffer_level = cpi->oxcf.drop_frames_water_mark *
1530                                   (cpi->oxcf.optimal_buffer_level / 100);
1531
1532             if (cpi->buffer_level > df_buffer_level)
1533                 max_boost = ((double)((cpi->buffer_level - df_buffer_level) * 2 / 3) * 16.0) / DOUBLE_DIVIDE_CHECK((double)cpi->av_per_frame_bandwidth);
1534             else
1535                 max_boost = 0.0;
1536         }
1537         else if (cpi->buffer_level > 0)
1538         {
1539             max_boost = ((double)(cpi->buffer_level * 2 / 3) * 16.0) / DOUBLE_DIVIDE_CHECK((double)cpi->av_per_frame_bandwidth);
1540         }
1541         else
1542         {
1543             max_boost = 0.0;
1544         }
1545
1546         if (boost_score > max_boost)
1547             boost_score = max_boost;
1548     }
1549
1550     cpi->gfu_boost = (int)(boost_score * 100.0) >> 4;
1551
1552     // Should we use the alternate refernce frame
1553     if (allow_alt_ref &&
1554         (i >= MIN_GF_INTERVAL) &&
1555         // dont use ARF very near next kf
1556         (i <= (cpi->frames_to_key - MIN_GF_INTERVAL)) &&
1557         (((next_frame.pcnt_inter > 0.75) &&
1558           ((mv_in_out_accumulator / (double)i > -0.2) || (mv_in_out_accumulator > -2.0)) &&
1559           //(cpi->gfu_boost>150) &&
1560           (cpi->gfu_boost > 100) &&
1561           //(cpi->gfu_boost>AF_THRESH2) &&
1562           //((cpi->gfu_boost/i)>AF_THRESH) &&
1563           //(decay_accumulator > 0.5) &&
1564           (cpi->gf_decay_rate <= (ARF_DECAY_THRESH + (cpi->gfu_boost / 200)))
1565          )
1566         )
1567        )
1568     {
1569         int Boost;
1570         int allocation_chunks;
1571         int Q = (cpi->oxcf.fixed_q < 0) ? cpi->last_q[INTER_FRAME] : cpi->oxcf.fixed_q;
1572         int tmp_q;
1573         int arf_frame_bits = 0;
1574         int group_bits;
1575
1576         // Estimate the bits to be allocated to the group as a whole
1577         if ((cpi->kf_group_bits > 0) && (cpi->kf_group_error_left > 0))
1578             group_bits = (int)((double)cpi->kf_group_bits * (gf_group_err / (double)cpi->kf_group_error_left));
1579         else
1580             group_bits = 0;
1581
1582         // Boost for arf frame
1583         Boost = (cpi->gfu_boost * 3 * GFQ_ADJUSTMENT) / (2 * 100);
1584         Boost += (i * 50);
1585         allocation_chunks = (i * 100) + Boost;
1586
1587         // Normalize Altboost and allocations chunck down to prevent overflow
1588         while (Boost > 1000)
1589         {
1590             Boost /= 2;
1591             allocation_chunks /= 2;
1592         }
1593
1594         // Calculate the number of bits to be spent on the arf based on the boost number
1595         arf_frame_bits = (int)((double)Boost * (group_bits / (double)allocation_chunks));
1596
1597         // Estimate if there are enough bits available to make worthwhile use of an arf.
1598         tmp_q = estimate_q(cpi, mod_frame_err, (int)arf_frame_bits);
1599
1600         // Only use an arf if it is likely we will be able to code it at a lower Q than the surrounding frames.
1601         if (tmp_q < cpi->worst_quality)
1602         {
1603             int half_gf_int;
1604             int frames_after_arf;
1605             int frames_bwd = cpi->oxcf.arnr_max_frames - 1;
1606             int frames_fwd = cpi->oxcf.arnr_max_frames - 1;
1607
1608             cpi->source_alt_ref_pending = TRUE;
1609
1610             // For alt ref frames the error score for the end frame of the group (the alt ref frame) should not contribute to the group total and hence
1611             // the number of bit allocated to the group. Rather it forms part of the next group (it is the GF at the start of the next group)
1612             gf_group_err -= mod_frame_err;
1613
1614             // Set the interval till the next gf or arf. For ARFs this is the number of frames to be coded before the future frame that is coded as an ARF.
1615             // The future frame itself is part of the next group
1616             cpi->baseline_gf_interval = i - 1;
1617
1618             // Define the arnr filter width for this group of frames:
1619             // We only filter frames that lie within a distance of half
1620             // the GF interval from the ARF frame. We also have to trap
1621             // cases where the filter extends beyond the end of clip.
1622             // Note: this_frame->frame has been updated in the loop
1623             // so it now points at the ARF frame.
1624             half_gf_int = cpi->baseline_gf_interval >> 1;
1625             frames_after_arf = cpi->total_stats->count - this_frame->frame - 1;
1626
1627             switch (cpi->oxcf.arnr_type)
1628             {
1629             case 1: // Backward filter
1630                 frames_fwd = 0;
1631                 if (frames_bwd > half_gf_int)
1632                     frames_bwd = half_gf_int;
1633                 break;
1634
1635             case 2: // Forward filter
1636                 if (frames_fwd > half_gf_int)
1637                     frames_fwd = half_gf_int;
1638                 if (frames_fwd > frames_after_arf)
1639                     frames_fwd = frames_after_arf;
1640                 frames_bwd = 0;
1641                 break;
1642
1643             case 3: // Centered filter
1644             default:
1645                 frames_fwd >>= 1;
1646                 if (frames_fwd > frames_after_arf)
1647                     frames_fwd = frames_after_arf;
1648                 if (frames_fwd > half_gf_int)
1649                     frames_fwd = half_gf_int;
1650
1651                 frames_bwd = frames_fwd;
1652
1653                 // For even length filter there is one more frame backward
1654                 // than forward: e.g. len=6 ==> bbbAff, len=7 ==> bbbAfff.
1655                 if (frames_bwd < half_gf_int)
1656                     frames_bwd += (cpi->oxcf.arnr_max_frames+1) & 0x1;
1657                 break;
1658             }
1659
1660             cpi->active_arnr_frames = frames_bwd + 1 + frames_fwd;
1661         }
1662         else
1663         {
1664             cpi->source_alt_ref_pending = FALSE;
1665             cpi->baseline_gf_interval = i;
1666         }
1667     }
1668     else
1669     {
1670         cpi->source_alt_ref_pending = FALSE;
1671         cpi->baseline_gf_interval = i;
1672     }
1673
1674     // Conventional GF
1675     if (!cpi->source_alt_ref_pending)
1676     {
1677         // Dont allow conventional gf too near the next kf
1678         if ((cpi->frames_to_key - cpi->baseline_gf_interval) < MIN_GF_INTERVAL)
1679         {
1680             while (cpi->baseline_gf_interval < cpi->frames_to_key)
1681             {
1682                 if (EOF == input_stats(cpi, this_frame))
1683                     break;
1684
1685                 cpi->baseline_gf_interval++;
1686
1687                 if (cpi->baseline_gf_interval < cpi->frames_to_key)
1688                     gf_group_err += calculate_modified_err(cpi, this_frame);
1689             }
1690         }
1691     }
1692
1693     // Now decide how many bits should be allocated to the GF group as  a proportion of those remaining in the kf group.
1694     // The final key frame group in the clip is treated as a special case where cpi->kf_group_bits is tied to cpi->bits_left.
1695     // This is also important for short clips where there may only be one key frame.
1696     if (cpi->frames_to_key >= (int)(cpi->total_stats->count - cpi->common.current_video_frame))
1697     {
1698         cpi->kf_group_bits = (cpi->bits_left > 0) ? cpi->bits_left : 0;
1699     }
1700
1701     // Calculate the bits to be allocated to the group as a whole
1702     if ((cpi->kf_group_bits > 0) && (cpi->kf_group_error_left > 0))
1703         cpi->gf_group_bits = (int)((double)cpi->kf_group_bits * (gf_group_err / (double)cpi->kf_group_error_left));
1704     else
1705         cpi->gf_group_bits = 0;
1706
1707     cpi->gf_group_bits = (cpi->gf_group_bits < 0) ? 0 : (cpi->gf_group_bits > cpi->kf_group_bits) ? cpi->kf_group_bits : cpi->gf_group_bits;
1708
1709     // Clip cpi->gf_group_bits based on user supplied data rate variability limit (cpi->oxcf.two_pass_vbrmax_section)
1710     if (cpi->gf_group_bits > max_bits * cpi->baseline_gf_interval)
1711         cpi->gf_group_bits = max_bits * cpi->baseline_gf_interval;
1712
1713     // Reset the file position
1714     reset_fpf_position(cpi, start_pos);
1715
1716     // Update the record of error used so far (only done once per gf group)
1717     cpi->modified_error_used += gf_group_err;
1718
1719     // Assign  bits to the arf or gf.
1720     {
1721         int Boost;
1722         int frames_in_section;
1723         int allocation_chunks;
1724         int Q = (cpi->oxcf.fixed_q < 0) ? cpi->last_q[INTER_FRAME] : cpi->oxcf.fixed_q;
1725
1726         // For ARF frames
1727         if (cpi->source_alt_ref_pending)
1728         {
1729             Boost = (cpi->gfu_boost * 3 * GFQ_ADJUSTMENT) / (2 * 100);
1730             //Boost += (cpi->baseline_gf_interval * 25);
1731             Boost += (cpi->baseline_gf_interval * 50);
1732
1733             // Set max and minimum boost and hence minimum allocation
1734             if (Boost > ((cpi->baseline_gf_interval + 1) * 200))
1735                 Boost = ((cpi->baseline_gf_interval + 1) * 200);
1736             else if (Boost < 125)
1737                 Boost = 125;
1738
1739             frames_in_section = cpi->baseline_gf_interval + 1;
1740             allocation_chunks = (frames_in_section * 100) + Boost;
1741         }
1742         // Else for standard golden frames
1743         else
1744         {
1745             // boost based on inter / intra ratio of subsequent frames
1746             Boost = (cpi->gfu_boost * GFQ_ADJUSTMENT) / 100;
1747
1748             // Set max and minimum boost and hence minimum allocation
1749             if (Boost > (cpi->baseline_gf_interval * 150))
1750                 Boost = (cpi->baseline_gf_interval * 150);
1751             else if (Boost < 125)
1752                 Boost = 125;
1753
1754             frames_in_section = cpi->baseline_gf_interval;
1755             allocation_chunks = (frames_in_section * 100) + (Boost - 100);
1756         }
1757
1758         // Normalize Altboost and allocations chunck down to prevent overflow
1759         while (Boost > 1000)
1760         {
1761             Boost /= 2;
1762             allocation_chunks /= 2;
1763         }
1764
1765         // Calculate the number of bits to be spent on the gf or arf based on the boost number
1766         cpi->gf_bits = (int)((double)Boost * (cpi->gf_group_bits / (double)allocation_chunks));
1767
1768         // If the frame that is to be boosted is simpler than the average for
1769         // the gf/arf group then use an alternative calculation
1770         // based on the error score of the frame itself
1771         if (mod_frame_err < gf_group_err / (double)cpi->baseline_gf_interval)
1772         {
1773             double  alt_gf_grp_bits;
1774             int     alt_gf_bits;
1775
1776             alt_gf_grp_bits =
1777                 (double)cpi->kf_group_bits  *
1778                 (mod_frame_err * (double)cpi->baseline_gf_interval) /
1779                 DOUBLE_DIVIDE_CHECK((double)cpi->kf_group_error_left);
1780
1781             alt_gf_bits = (int)((double)Boost * (alt_gf_grp_bits /
1782                                                  (double)allocation_chunks));
1783
1784             if (cpi->gf_bits > alt_gf_bits)
1785             {
1786                 cpi->gf_bits = alt_gf_bits;
1787             }
1788         }
1789         // Else if it is harder than other frames in the group make sure it at
1790         // least receives an allocation in keeping with its relative error
1791         // score, otherwise it may be worse off than an "un-boosted" frame
1792         else
1793         {
1794             int alt_gf_bits =
1795                 (int)((double)cpi->kf_group_bits *
1796                       mod_frame_err /
1797                       DOUBLE_DIVIDE_CHECK((double)cpi->kf_group_error_left));
1798
1799             if (alt_gf_bits > cpi->gf_bits)
1800             {
1801                 cpi->gf_bits = alt_gf_bits;
1802             }
1803         }
1804
1805         // Apply an additional limit for CBR
1806         if (cpi->oxcf.end_usage == USAGE_STREAM_FROM_SERVER)
1807         {
1808             if (cpi->gf_bits > (cpi->buffer_level >> 1))
1809                 cpi->gf_bits = cpi->buffer_level >> 1;
1810         }
1811
1812         // Dont allow a negative value for gf_bits
1813         if (cpi->gf_bits < 0)
1814             cpi->gf_bits = 0;
1815
1816         // Adjust KF group bits and error remainin
1817         cpi->kf_group_error_left -= gf_group_err;
1818         cpi->kf_group_bits -= cpi->gf_group_bits;
1819
1820         if (cpi->kf_group_bits < 0)
1821             cpi->kf_group_bits = 0;
1822
1823         // Note the error score left in the remaining frames of the group.
1824         // For normal GFs we want to remove the error score for the first frame of the group (except in Key frame case where this has already happened)
1825         if (!cpi->source_alt_ref_pending && cpi->common.frame_type != KEY_FRAME)
1826             cpi->gf_group_error_left = gf_group_err - gf_first_frame_err;
1827         else
1828             cpi->gf_group_error_left = gf_group_err;
1829
1830         cpi->gf_group_bits -= cpi->gf_bits;
1831
1832         if (cpi->gf_group_bits < 0)
1833             cpi->gf_group_bits = 0;
1834
1835         // Set aside some bits for a mid gf sequence boost
1836         if ((cpi->gfu_boost > 150) && (cpi->baseline_gf_interval > 5))
1837         {
1838             int pct_extra = (cpi->gfu_boost - 100) / 50;
1839             pct_extra = (pct_extra > 10) ? 10 : pct_extra;
1840
1841             cpi->mid_gf_extra_bits = (cpi->gf_group_bits * pct_extra) / 100;
1842             cpi->gf_group_bits -= cpi->mid_gf_extra_bits;
1843         }
1844         else
1845             cpi->mid_gf_extra_bits = 0;
1846
1847         cpi->gf_bits += cpi->min_frame_bandwidth;                                              // Add in minimum for a frame
1848     }
1849
1850     if (!cpi->source_alt_ref_pending && (cpi->common.frame_type != KEY_FRAME))                  // Normal GF and not a KF
1851     {
1852         cpi->per_frame_bandwidth = cpi->gf_bits;                                               // Per frame bit target for this frame
1853     }
1854
1855     // Adjustment to estimate_max_q based on a measure of complexity of the section
1856     if (cpi->common.frame_type != KEY_FRAME)
1857     {
1858         FIRSTPASS_STATS sectionstats;
1859         double Ratio;
1860
1861         zero_stats(&sectionstats);
1862         reset_fpf_position(cpi, start_pos);
1863
1864         for (i = 0 ; i < cpi->baseline_gf_interval ; i++)
1865         {
1866             input_stats(cpi, &next_frame);
1867             accumulate_stats(&sectionstats, &next_frame);
1868         }
1869
1870         avg_stats(&sectionstats);
1871
1872         cpi->section_intra_rating =
1873             sectionstats.intra_error /
1874             DOUBLE_DIVIDE_CHECK(sectionstats.coded_error);
1875
1876         Ratio = sectionstats.intra_error / DOUBLE_DIVIDE_CHECK(sectionstats.coded_error);
1877         //if( (Ratio > 11) ) //&& (sectionstats.pcnt_second_ref < .20) )
1878         //{
1879         cpi->section_max_qfactor = 1.0 - ((Ratio - 10.0) * 0.025);
1880
1881         if (cpi->section_max_qfactor < 0.80)
1882             cpi->section_max_qfactor = 0.80;
1883
1884         //}
1885         //else
1886         //    cpi->section_max_qfactor = 1.0;
1887
1888         reset_fpf_position(cpi, start_pos);
1889     }
1890 }
1891
1892 // Allocate bits to a normal frame that is neither a gf an arf or a key frame.
1893 static void assign_std_frame_bits(VP8_COMP *cpi, FIRSTPASS_STATS *this_frame)
1894 {
1895     int    target_frame_size;                                                             // gf_group_error_left
1896
1897     double modified_err;
1898     double err_fraction;                                                                 // What portion of the remaining GF group error is used by this frame
1899
1900     int max_bits = frame_max_bits(cpi);    // Max for a single frame
1901
1902     // The final few frames have special treatment
1903     if (cpi->frames_till_gf_update_due >= (int)(cpi->total_stats->count - cpi->common.current_video_frame))
1904     {
1905         cpi->gf_group_bits = (cpi->bits_left > 0) ? cpi->bits_left : 0;;
1906     }
1907
1908     // Calculate modified prediction error used in bit allocation
1909     modified_err = calculate_modified_err(cpi, this_frame);
1910
1911     if (cpi->gf_group_error_left > 0)
1912         err_fraction = modified_err / cpi->gf_group_error_left;                              // What portion of the remaining GF group error is used by this frame
1913     else
1914         err_fraction = 0.0;
1915
1916     target_frame_size = (int)((double)cpi->gf_group_bits * err_fraction);                    // How many of those bits available for allocation should we give it?
1917
1918     // Clip to target size to 0 - max_bits (or cpi->gf_group_bits) at the top end.
1919     if (target_frame_size < 0)
1920         target_frame_size = 0;
1921     else
1922     {
1923         if (target_frame_size > max_bits)
1924             target_frame_size = max_bits;
1925
1926         if (target_frame_size > cpi->gf_group_bits)
1927             target_frame_size = cpi->gf_group_bits;
1928     }
1929
1930     cpi->gf_group_error_left -= modified_err;                                               // Adjust error remaining
1931     cpi->gf_group_bits -= target_frame_size;                                                // Adjust bits remaining
1932
1933     if (cpi->gf_group_bits < 0)
1934         cpi->gf_group_bits = 0;
1935
1936     target_frame_size += cpi->min_frame_bandwidth;                                          // Add in the minimum number of bits that is set aside for every frame.
1937
1938     // Special case for the frame that lies half way between two gfs
1939     if (cpi->common.frames_since_golden == cpi->baseline_gf_interval / 2)
1940         target_frame_size += cpi->mid_gf_extra_bits;
1941
1942     cpi->per_frame_bandwidth = target_frame_size;                                           // Per frame bit target for this frame
1943 }
1944
1945 void vp8_second_pass(VP8_COMP *cpi)
1946 {
1947     int tmp_q;
1948     int frames_left = (int)(cpi->total_stats->count - cpi->common.current_video_frame);
1949
1950     FIRSTPASS_STATS this_frame;
1951     FIRSTPASS_STATS this_frame_copy;
1952
1953     double this_frame_error;
1954     double this_frame_intra_error;
1955     double this_frame_coded_error;
1956
1957     FIRSTPASS_STATS *start_pos;
1958
1959     if (!cpi->stats_in)
1960     {
1961         return ;
1962     }
1963
1964     vp8_clear_system_state();
1965
1966     if (EOF == input_stats(cpi, &this_frame))
1967         return;
1968
1969     this_frame_error = this_frame.ssim_weighted_pred_err;
1970     this_frame_intra_error = this_frame.intra_error;
1971     this_frame_coded_error = this_frame.coded_error;
1972
1973     start_pos = cpi->stats_in;
1974
1975     // keyframe and section processing !
1976     if (cpi->frames_to_key == 0)
1977     {
1978         // Define next KF group and assign bits to it
1979         vpx_memcpy(&this_frame_copy, &this_frame, sizeof(this_frame));
1980         find_next_key_frame(cpi, &this_frame_copy);
1981
1982         // Special case: Error error_resilient_mode mode does not make much sense for two pass but with its current meaning but this code is designed to stop
1983         // outlandish behaviour if someone does set it when using two pass. It effectively disables GF groups.
1984         // This is temporary code till we decide what should really happen in this case.
1985         if (cpi->oxcf.error_resilient_mode)
1986         {
1987             cpi->gf_group_bits = cpi->kf_group_bits;
1988             cpi->gf_group_error_left = cpi->kf_group_error_left;
1989             cpi->baseline_gf_interval = cpi->frames_to_key;
1990             cpi->frames_till_gf_update_due = cpi->baseline_gf_interval;
1991             cpi->source_alt_ref_pending = FALSE;
1992         }
1993
1994     }
1995
1996     // Is this a GF / ARF (Note that a KF is always also a GF)
1997     if (cpi->frames_till_gf_update_due == 0)
1998     {
1999         // Define next gf group and assign bits to it
2000         vpx_memcpy(&this_frame_copy, &this_frame, sizeof(this_frame));
2001         define_gf_group(cpi, &this_frame_copy);
2002
2003         // If we are going to code an altref frame at the end of the group and the current frame is not a key frame....
2004         // If the previous group used an arf this frame has already benefited from that arf boost and it should not be given extra bits
2005         // If the previous group was NOT coded using arf we may want to apply some boost to this GF as well
2006         if (cpi->source_alt_ref_pending && (cpi->common.frame_type != KEY_FRAME))
2007         {
2008             // Assign a standard frames worth of bits from those allocated to the GF group
2009             vpx_memcpy(&this_frame_copy, &this_frame, sizeof(this_frame));
2010             assign_std_frame_bits(cpi, &this_frame_copy);
2011
2012             // If appropriate (we are switching into ARF active but it was not previously active) apply a boost for the gf at the start of the group.
2013             //if ( !cpi->source_alt_ref_active && (cpi->gfu_boost > 150) )
2014             if (FALSE)
2015             {
2016                 int extra_bits;
2017                 int pct_extra = (cpi->gfu_boost - 100) / 50;
2018
2019                 pct_extra = (pct_extra > 20) ? 20 : pct_extra;
2020
2021                 extra_bits = (cpi->gf_group_bits * pct_extra) / 100;
2022                 cpi->gf_group_bits -= extra_bits;
2023                 cpi->per_frame_bandwidth += extra_bits;
2024             }
2025         }
2026     }
2027
2028     // Otherwise this is an ordinary frame
2029     else
2030     {
2031         // Special case: Error error_resilient_mode mode does not make much sense for two pass but with its current meaning but this code is designed to stop
2032         // outlandish behaviour if someone does set it when using two pass. It effectively disables GF groups.
2033         // This is temporary code till we decide what should really happen in this case.
2034         if (cpi->oxcf.error_resilient_mode)
2035         {
2036             cpi->frames_till_gf_update_due = cpi->frames_to_key;
2037
2038             if (cpi->common.frame_type != KEY_FRAME)
2039             {
2040                 // Assign bits from those allocated to the GF group
2041                 vpx_memcpy(&this_frame_copy, &this_frame, sizeof(this_frame));
2042                 assign_std_frame_bits(cpi, &this_frame_copy);
2043             }
2044         }
2045         else
2046         {
2047             // Assign bits from those allocated to the GF group
2048             vpx_memcpy(&this_frame_copy, &this_frame, sizeof(this_frame));
2049             assign_std_frame_bits(cpi, &this_frame_copy);
2050         }
2051     }
2052
2053     // Keep a globally available copy of this and the next frame's iiratio.
2054     cpi->this_iiratio = this_frame_intra_error /
2055                         DOUBLE_DIVIDE_CHECK(this_frame_coded_error);
2056     {
2057         FIRSTPASS_STATS next_frame;
2058         if ( lookup_next_frame_stats(cpi, &next_frame) != EOF )
2059         {
2060             cpi->next_iiratio = next_frame.intra_error /
2061                                 DOUBLE_DIVIDE_CHECK(next_frame.coded_error);
2062         }
2063     }
2064
2065     // Set nominal per second bandwidth for this frame
2066     cpi->target_bandwidth = cpi->per_frame_bandwidth * cpi->output_frame_rate;
2067     if (cpi->target_bandwidth < 0)
2068         cpi->target_bandwidth = 0;
2069
2070     if (cpi->common.current_video_frame == 0)
2071     {
2072         cpi->est_max_qcorrection_factor = 1.0;
2073
2074         // Experimental code to try and set a cq_level in constrained
2075         // quality mode.
2076         if ( cpi->oxcf.end_usage == USAGE_CONSTRAINED_QUALITY )
2077         {
2078             int est_cq;
2079
2080             est_cq =
2081                 estimate_cq( cpi,
2082                              (cpi->total_coded_error_left / frames_left),
2083                              (int)(cpi->bits_left / frames_left));
2084
2085             cpi->cq_target_quality = cpi->oxcf.cq_level;
2086             if ( est_cq > cpi->cq_target_quality )
2087                 cpi->cq_target_quality = est_cq;
2088         }
2089
2090         // guess at maxq needed in 2nd pass
2091         cpi->maxq_max_limit = cpi->worst_quality;
2092         cpi->maxq_min_limit = cpi->best_quality;
2093         tmp_q = estimate_max_q( cpi,
2094                                 (cpi->total_coded_error_left / frames_left),
2095                                 (int)(cpi->bits_left / frames_left));
2096
2097         // Limit the maxq value returned subsequently.
2098         // This increases the risk of overspend or underspend if the initial
2099         // estimate for the clip is bad, but helps prevent excessive
2100         // variation in Q, especially near the end of a clip
2101         // where for example a small overspend may cause Q to crash
2102         cpi->maxq_max_limit = ((tmp_q + 32) < cpi->worst_quality)
2103                                   ? (tmp_q + 32) : cpi->worst_quality;
2104         cpi->maxq_min_limit = ((tmp_q - 32) > cpi->best_quality)
2105                                   ? (tmp_q - 32) : cpi->best_quality;
2106
2107         cpi->active_worst_quality         = tmp_q;
2108         cpi->ni_av_qi                     = tmp_q;
2109     }
2110
2111     // The last few frames of a clip almost always have to few or too many
2112     // bits and for the sake of over exact rate control we dont want to make
2113     // radical adjustments to the allowed quantizer range just to use up a
2114     // few surplus bits or get beneath the target rate.
2115     else if ( (cpi->common.current_video_frame <
2116                   (((unsigned int)cpi->total_stats->count * 255)>>8)) &&
2117               ((cpi->common.current_video_frame + cpi->baseline_gf_interval) <
2118                   (unsigned int)cpi->total_stats->count) )
2119     {
2120         if (frames_left < 1)
2121             frames_left = 1;
2122
2123         tmp_q = estimate_max_q(cpi, (cpi->total_coded_error_left / frames_left), (int)(cpi->bits_left / frames_left));
2124
2125         // Move active_worst_quality but in a damped way
2126         if (tmp_q > cpi->active_worst_quality)
2127             cpi->active_worst_quality ++;
2128         else if (tmp_q < cpi->active_worst_quality)
2129             cpi->active_worst_quality --;
2130
2131         cpi->active_worst_quality = ((cpi->active_worst_quality * 3) + tmp_q + 2) / 4;
2132     }
2133
2134     cpi->frames_to_key --;
2135     cpi->total_error_left      -= this_frame_error;
2136     cpi->total_intra_error_left -= this_frame_intra_error;
2137     cpi->total_coded_error_left -= this_frame_coded_error;
2138 }
2139
2140
2141 static BOOL test_candidate_kf(VP8_COMP *cpi,  FIRSTPASS_STATS *last_frame, FIRSTPASS_STATS *this_frame, FIRSTPASS_STATS *next_frame)
2142 {
2143     BOOL is_viable_kf = FALSE;
2144
2145     // Does the frame satisfy the primary criteria of a key frame
2146     //      If so, then examine how well it predicts subsequent frames
2147     if ((this_frame->pcnt_second_ref < 0.10) &&
2148         (next_frame->pcnt_second_ref < 0.10) &&
2149         ((this_frame->pcnt_inter < 0.05) ||
2150          (
2151              ((this_frame->pcnt_inter - this_frame->pcnt_neutral) < .25) &&
2152              ((this_frame->intra_error / DOUBLE_DIVIDE_CHECK(this_frame->coded_error)) < 2.5) &&
2153              ((fabs(last_frame->coded_error - this_frame->coded_error) / DOUBLE_DIVIDE_CHECK(this_frame->coded_error) > .40) ||
2154               (fabs(last_frame->intra_error - this_frame->intra_error) / DOUBLE_DIVIDE_CHECK(this_frame->intra_error) > .40) ||
2155               ((next_frame->intra_error / DOUBLE_DIVIDE_CHECK(next_frame->coded_error)) > 3.5)
2156              )
2157          )
2158         )
2159        )
2160     {
2161         int i;
2162         FIRSTPASS_STATS *start_pos;
2163
2164         FIRSTPASS_STATS local_next_frame;
2165
2166         double boost_score = 0.0;
2167         double old_boost_score = 0.0;
2168         double decay_accumulator = 1.0;
2169         double next_iiratio;
2170
2171         vpx_memcpy(&local_next_frame, next_frame, sizeof(*next_frame));
2172
2173         // Note the starting file position so we can reset to it
2174         start_pos = cpi->stats_in;
2175
2176         // Examine how well the key frame predicts subsequent frames
2177         for (i = 0 ; i < 16; i++)
2178         {
2179             next_iiratio = (IIKFACTOR1 * local_next_frame.intra_error / DOUBLE_DIVIDE_CHECK(local_next_frame.coded_error)) ;
2180
2181             if (next_iiratio > RMAX)
2182                 next_iiratio = RMAX;
2183
2184             // Cumulative effect of decay in prediction quality
2185             if (local_next_frame.pcnt_inter > 0.85)
2186                 decay_accumulator = decay_accumulator * local_next_frame.pcnt_inter;
2187             else
2188                 decay_accumulator = decay_accumulator * ((0.85 + local_next_frame.pcnt_inter) / 2.0);
2189
2190             //decay_accumulator = decay_accumulator * local_next_frame.pcnt_inter;
2191
2192             // Keep a running total
2193             boost_score += (decay_accumulator * next_iiratio);
2194
2195             // Test various breakout clauses
2196             if ((local_next_frame.pcnt_inter < 0.05) ||
2197                 (next_iiratio < 1.5) ||
2198                 (((local_next_frame.pcnt_inter -
2199                    local_next_frame.pcnt_neutral) < 0.20) &&
2200                  (next_iiratio < 3.0)) ||
2201                 ((boost_score - old_boost_score) < 0.5) ||
2202                 (local_next_frame.intra_error < 200)
2203                )
2204             {
2205                 break;
2206             }
2207
2208             old_boost_score = boost_score;
2209
2210             // Get the next frame details
2211             if (EOF == input_stats(cpi, &local_next_frame))
2212                 break;
2213         }
2214
2215         // If there is tolerable prediction for at least the next 3 frames then break out else discard this pottential key frame and move on
2216         if (boost_score > 5.0 && (i > 3))
2217             is_viable_kf = TRUE;
2218         else
2219         {
2220             // Reset the file position
2221             reset_fpf_position(cpi, start_pos);
2222
2223             is_viable_kf = FALSE;
2224         }
2225     }
2226
2227     return is_viable_kf;
2228 }
2229 static void find_next_key_frame(VP8_COMP *cpi, FIRSTPASS_STATS *this_frame)
2230 {
2231     int i,j;
2232     FIRSTPASS_STATS last_frame;
2233     FIRSTPASS_STATS first_frame;
2234     FIRSTPASS_STATS next_frame;
2235     FIRSTPASS_STATS *start_position;
2236
2237     double decay_accumulator = 1.0;
2238     double boost_score = 0;
2239     double old_boost_score = 0.0;
2240     double loop_decay_rate;
2241
2242     double kf_mod_err = 0.0;
2243     double kf_group_err = 0.0;
2244     double kf_group_intra_err = 0.0;
2245     double kf_group_coded_err = 0.0;
2246     double recent_loop_decay[8] = {1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0};
2247
2248     vpx_memset(&next_frame, 0, sizeof(next_frame)); // assure clean
2249
2250     vp8_clear_system_state();  //__asm emms;
2251     start_position = cpi->stats_in;
2252
2253     cpi->common.frame_type = KEY_FRAME;
2254
2255     // is this a forced key frame by interval
2256     cpi->this_key_frame_forced = cpi->next_key_frame_forced;
2257
2258     // Clear the alt ref active flag as this can never be active on a key frame
2259     cpi->source_alt_ref_active = FALSE;
2260
2261     // Kf is always a gf so clear frames till next gf counter
2262     cpi->frames_till_gf_update_due = 0;
2263
2264     cpi->frames_to_key = 1;
2265
2266     // Take a copy of the initial frame details
2267     vpx_memcpy(&first_frame, this_frame, sizeof(*this_frame));
2268
2269     cpi->kf_group_bits = 0;        // Total bits avaialable to kf group
2270     cpi->kf_group_error_left = 0;  // Group modified error score.
2271
2272     kf_mod_err = calculate_modified_err(cpi, this_frame);
2273
2274     // find the next keyframe
2275     i = 0;
2276     while (cpi->stats_in < cpi->stats_in_end)
2277     {
2278         // Accumulate kf group error
2279         kf_group_err += calculate_modified_err(cpi, this_frame);
2280
2281         // These figures keep intra and coded error counts for all frames including key frames in the group.
2282         // The effect of the key frame itself can be subtracted out using the first_frame data collected above
2283         kf_group_intra_err += this_frame->intra_error;
2284         kf_group_coded_err += this_frame->coded_error;
2285
2286         // load a the next frame's stats
2287         vpx_memcpy(&last_frame, this_frame, sizeof(*this_frame));
2288         input_stats(cpi, this_frame);
2289
2290         // Provided that we are not at the end of the file...
2291         if (cpi->oxcf.auto_key
2292             && lookup_next_frame_stats(cpi, &next_frame) != EOF)
2293         {
2294             // Normal scene cut check
2295             if (test_candidate_kf(cpi, &last_frame, this_frame, &next_frame))
2296                 break;
2297
2298             // How fast is prediction quality decaying
2299             loop_decay_rate = get_prediction_decay_rate(cpi, &next_frame);
2300
2301             // We want to know something about the recent past... rather than
2302             // as used elsewhere where we are concened with decay in prediction
2303             // quality since the last GF or KF.
2304             recent_loop_decay[i%8] = loop_decay_rate;
2305             decay_accumulator = 1.0;
2306             for (j = 0; j < 8; j++)
2307             {
2308                 decay_accumulator = decay_accumulator * recent_loop_decay[j];
2309             }
2310
2311             // Special check for transition or high motion followed by a
2312             // to a static scene.
2313             if ( detect_transition_to_still( cpi, i,
2314                                              (cpi->key_frame_frequency-i),
2315                                              loop_decay_rate,
2316                                              decay_accumulator ) )
2317             {
2318                 break;
2319             }
2320
2321
2322             // Step on to the next frame
2323             cpi->frames_to_key ++;
2324
2325             // If we don't have a real key frame within the next two
2326             // forcekeyframeevery intervals then break out of the loop.
2327             if (cpi->frames_to_key >= 2 *(int)cpi->key_frame_frequency)
2328                 break;
2329         } else
2330             cpi->frames_to_key ++;
2331
2332         i++;
2333     }
2334
2335     // If there is a max kf interval set by the user we must obey it.
2336     // We already breakout of the loop above at 2x max.
2337     // This code centers the extra kf if the actual natural
2338     // interval is between 1x and 2x
2339     if (cpi->oxcf.auto_key
2340         && cpi->frames_to_key > (int)cpi->key_frame_frequency )
2341     {
2342         FIRSTPASS_STATS *current_pos = cpi->stats_in;
2343         FIRSTPASS_STATS tmp_frame;
2344
2345         cpi->frames_to_key /= 2;
2346
2347         // Copy first frame details
2348         vpx_memcpy(&tmp_frame, &first_frame, sizeof(first_frame));
2349
2350         // Reset to the start of the group
2351         reset_fpf_position(cpi, start_position);
2352
2353         kf_group_err = 0;
2354         kf_group_intra_err = 0;
2355         kf_group_coded_err = 0;
2356
2357         // Rescan to get the correct error data for the forced kf group
2358         for( i = 0; i < cpi->frames_to_key; i++ )
2359         {
2360             // Accumulate kf group errors
2361             kf_group_err += calculate_modified_err(cpi, &tmp_frame);
2362             kf_group_intra_err += tmp_frame.intra_error;
2363             kf_group_coded_err += tmp_frame.coded_error;
2364
2365             // Load a the next frame's stats
2366             input_stats(cpi, &tmp_frame);
2367         }
2368
2369         // Reset to the start of the group
2370         reset_fpf_position(cpi, current_pos);
2371
2372         cpi->next_key_frame_forced = TRUE;
2373     }
2374     else
2375         cpi->next_key_frame_forced = FALSE;
2376
2377     // Special case for the last frame of the file
2378     if (cpi->stats_in >= cpi->stats_in_end)
2379     {
2380         // Accumulate kf group error
2381         kf_group_err += calculate_modified_err(cpi, this_frame);
2382
2383         // These figures keep intra and coded error counts for all frames including key frames in the group.
2384         // The effect of the key frame itself can be subtracted out using the first_frame data collected above
2385         kf_group_intra_err += this_frame->intra_error;
2386         kf_group_coded_err += this_frame->coded_error;
2387     }
2388
2389     // Calculate the number of bits that should be assigned to the kf group.
2390     if ((cpi->bits_left > 0) && (cpi->modified_error_left > 0.0))
2391     {
2392         // Max for a single normal frame (not key frame)
2393         int max_bits = frame_max_bits(cpi);
2394
2395         // Maximum bits for the kf group
2396         long long max_grp_bits;
2397
2398         // Default allocation based on bits left and relative
2399         // complexity of the section
2400         cpi->kf_group_bits = (long long)( cpi->bits_left *
2401                                           ( kf_group_err /
2402                                             cpi->modified_error_left ));
2403
2404         // Clip based on maximum per frame rate defined by the user.
2405         max_grp_bits = (long long)max_bits * (long long)cpi->frames_to_key;
2406         if (cpi->kf_group_bits > max_grp_bits)
2407             cpi->kf_group_bits = max_grp_bits;
2408
2409         // Additional special case for CBR if buffer is getting full.
2410         if (cpi->oxcf.end_usage == USAGE_STREAM_FROM_SERVER)
2411         {
2412             int opt_buffer_lvl = cpi->oxcf.optimal_buffer_level;
2413             int buffer_lvl = cpi->buffer_level;
2414
2415             // If the buffer is near or above the optimal and this kf group is
2416             // not being allocated much then increase the allocation a bit.
2417             if (buffer_lvl >= opt_buffer_lvl)
2418             {
2419                 int high_water_mark = (opt_buffer_lvl +
2420                                        cpi->oxcf.maximum_buffer_size) >> 1;
2421
2422                 long long av_group_bits;
2423
2424                 // Av bits per frame * number of frames
2425                 av_group_bits = (long long)cpi->av_per_frame_bandwidth *
2426                                 (long long)cpi->frames_to_key;
2427
2428                 // We are at or above the maximum.
2429                 if (cpi->buffer_level >= high_water_mark)
2430                 {
2431                     long long min_group_bits;
2432
2433                     min_group_bits = av_group_bits +
2434                                      (long long)(buffer_lvl -
2435                                                  high_water_mark);
2436
2437                     if (cpi->kf_group_bits < min_group_bits)
2438                         cpi->kf_group_bits = min_group_bits;
2439                 }
2440                 // We are above optimal but below the maximum
2441                 else if (cpi->kf_group_bits < av_group_bits)
2442                 {
2443                     long long bits_below_av = av_group_bits -
2444                                               cpi->kf_group_bits;
2445
2446                     cpi->kf_group_bits +=
2447                        (long long)((double)bits_below_av *
2448                                    (double)(buffer_lvl - opt_buffer_lvl) /
2449                                    (double)(high_water_mark - opt_buffer_lvl));
2450                 }
2451             }
2452         }
2453     }
2454     else
2455         cpi->kf_group_bits = 0;
2456
2457     // Reset the first pass file position
2458     reset_fpf_position(cpi, start_position);
2459
2460     // determine how big to make this keyframe based on how well the subsequent frames use inter blocks
2461     decay_accumulator = 1.0;
2462     boost_score = 0.0;
2463     loop_decay_rate = 1.00;       // Starting decay rate
2464
2465     for (i = 0 ; i < cpi->frames_to_key ; i++)
2466     {
2467         double r;
2468
2469         if (EOF == input_stats(cpi, &next_frame))
2470             break;
2471
2472         if (next_frame.intra_error > cpi->kf_intra_err_min)
2473             r = (IIKFACTOR2 * next_frame.intra_error /
2474                      DOUBLE_DIVIDE_CHECK(next_frame.coded_error));
2475         else
2476             r = (IIKFACTOR2 * cpi->kf_intra_err_min /
2477                      DOUBLE_DIVIDE_CHECK(next_frame.coded_error));
2478
2479         if (r > RMAX)
2480             r = RMAX;
2481
2482         // How fast is prediction quality decaying
2483         loop_decay_rate = get_prediction_decay_rate(cpi, &next_frame);
2484
2485         decay_accumulator = decay_accumulator * loop_decay_rate;
2486         decay_accumulator = decay_accumulator < 0.1 ? 0.1 : decay_accumulator;
2487
2488         boost_score += (decay_accumulator * r);
2489
2490         if ((i > MIN_GF_INTERVAL) &&
2491             ((boost_score - old_boost_score) < 1.0))
2492         {
2493             break;
2494         }
2495
2496         old_boost_score = boost_score;
2497     }
2498
2499     if (1)
2500     {
2501         FIRSTPASS_STATS sectionstats;
2502         double Ratio;
2503
2504         zero_stats(&sectionstats);
2505         reset_fpf_position(cpi, start_position);
2506
2507         for (i = 0 ; i < cpi->frames_to_key ; i++)
2508         {
2509             input_stats(cpi, &next_frame);
2510             accumulate_stats(&sectionstats, &next_frame);
2511         }
2512
2513         avg_stats(&sectionstats);
2514
2515          cpi->section_intra_rating = sectionstats.intra_error / DOUBLE_DIVIDE_CHECK(sectionstats.coded_error);
2516
2517         Ratio = sectionstats.intra_error / DOUBLE_DIVIDE_CHECK(sectionstats.coded_error);
2518         // if( (Ratio > 11) ) //&& (sectionstats.pcnt_second_ref < .20) )
2519         //{
2520         cpi->section_max_qfactor = 1.0 - ((Ratio - 10.0) * 0.025);
2521
2522         if (cpi->section_max_qfactor < 0.80)
2523             cpi->section_max_qfactor = 0.80;
2524
2525         //}
2526         //else
2527         //    cpi->section_max_qfactor = 1.0;
2528     }
2529
2530     // When using CBR apply additional buffer fullness related upper limits
2531     if (cpi->oxcf.end_usage == USAGE_STREAM_FROM_SERVER)
2532     {
2533         double max_boost;
2534
2535         if (cpi->drop_frames_allowed)
2536         {
2537             int df_buffer_level = cpi->oxcf.drop_frames_water_mark * (cpi->oxcf.optimal_buffer_level / 100);
2538
2539             if (cpi->buffer_level > df_buffer_level)
2540                 max_boost = ((double)((cpi->buffer_level - df_buffer_level) * 2 / 3) * 16.0) / DOUBLE_DIVIDE_CHECK((double)cpi->av_per_frame_bandwidth);
2541             else
2542                 max_boost = 0.0;
2543         }
2544         else if (cpi->buffer_level > 0)
2545         {
2546             max_boost = ((double)(cpi->buffer_level * 2 / 3) * 16.0) / DOUBLE_DIVIDE_CHECK((double)cpi->av_per_frame_bandwidth);
2547         }
2548         else
2549         {
2550             max_boost = 0.0;
2551         }
2552
2553         if (boost_score > max_boost)
2554             boost_score = max_boost;
2555     }
2556
2557     // Reset the first pass file position
2558     reset_fpf_position(cpi, start_position);
2559
2560     // Work out how many bits to allocate for the key frame itself
2561     if (1)
2562     {
2563         int kf_boost = boost_score;
2564         int allocation_chunks;
2565         int Counter = cpi->frames_to_key;
2566         int alt_kf_bits;
2567         YV12_BUFFER_CONFIG *lst_yv12 = &cpi->common.yv12_fb[cpi->common.lst_fb_idx];
2568         // Min boost based on kf interval
2569 #if 0
2570
2571         while ((kf_boost < 48) && (Counter > 0))
2572         {
2573             Counter -= 2;
2574             kf_boost ++;
2575         }
2576
2577 #endif
2578
2579         if (kf_boost < 48)
2580         {
2581             kf_boost += ((Counter + 1) >> 1);
2582
2583             if (kf_boost > 48) kf_boost = 48;
2584         }
2585
2586         // bigger frame sizes need larger kf boosts, smaller frames smaller boosts...
2587         if ((lst_yv12->y_width * lst_yv12->y_height) > (320 * 240))
2588             kf_boost += 2 * (lst_yv12->y_width * lst_yv12->y_height) / (320 * 240);
2589         else if ((lst_yv12->y_width * lst_yv12->y_height) < (320 * 240))
2590             kf_boost -= 4 * (320 * 240) / (lst_yv12->y_width * lst_yv12->y_height);
2591
2592         kf_boost = (int)((double)kf_boost * 100.0) >> 4;                          // Scale 16 to 100
2593
2594         // Adjustment to boost based on recent average q
2595         //kf_boost = kf_boost * vp8_kf_boost_qadjustment[cpi->ni_av_qi] / 100;
2596
2597         if (kf_boost < 250)                                                      // Min KF boost
2598             kf_boost = 250;
2599
2600         // We do three calculations for kf size.
2601         // The first is based on the error score for the whole kf group.
2602         // The second (optionaly) on the key frames own error if this is smaller than the average for the group.
2603         // The final one insures that the frame receives at least the allocation it would have received based on its own error score vs the error score remaining
2604
2605         allocation_chunks = ((cpi->frames_to_key - 1) * 100) + kf_boost;           // cpi->frames_to_key-1 because key frame itself is taken care of by kf_boost
2606
2607         // Normalize Altboost and allocations chunck down to prevent overflow
2608         while (kf_boost > 1000)
2609         {
2610             kf_boost /= 2;
2611             allocation_chunks /= 2;
2612         }
2613
2614         cpi->kf_group_bits = (cpi->kf_group_bits < 0) ? 0 : cpi->kf_group_bits;
2615
2616         // Calculate the number of bits to be spent on the key frame
2617         cpi->kf_bits  = (int)((double)kf_boost * ((double)cpi->kf_group_bits / (double)allocation_chunks));
2618
2619         // Apply an additional limit for CBR
2620         if (cpi->oxcf.end_usage == USAGE_STREAM_FROM_SERVER)
2621         {
2622             if (cpi->kf_bits > ((3 * cpi->buffer_level) >> 2))
2623                 cpi->kf_bits = (3 * cpi->buffer_level) >> 2;
2624         }
2625
2626         // If the key frame is actually easier than the average for the
2627         // kf group (which does sometimes happen... eg a blank intro frame)
2628         // Then use an alternate calculation based on the kf error score
2629         // which should give a smaller key frame.
2630         if (kf_mod_err < kf_group_err / cpi->frames_to_key)
2631         {
2632             double  alt_kf_grp_bits =
2633                         ((double)cpi->bits_left *
2634                          (kf_mod_err * (double)cpi->frames_to_key) /
2635                          DOUBLE_DIVIDE_CHECK(cpi->modified_error_left));
2636
2637             alt_kf_bits = (int)((double)kf_boost *
2638                                 (alt_kf_grp_bits / (double)allocation_chunks));
2639
2640             if (cpi->kf_bits > alt_kf_bits)
2641             {
2642                 cpi->kf_bits = alt_kf_bits;
2643             }
2644         }
2645         // Else if it is much harder than other frames in the group make sure
2646         // it at least receives an allocation in keeping with its relative
2647         // error score
2648         else
2649         {
2650             alt_kf_bits =
2651                 (int)((double)cpi->bits_left *
2652                       (kf_mod_err /
2653                        DOUBLE_DIVIDE_CHECK(cpi->modified_error_left)));
2654
2655             if (alt_kf_bits > cpi->kf_bits)
2656             {
2657                 cpi->kf_bits = alt_kf_bits;
2658             }
2659         }
2660
2661         cpi->kf_group_bits -= cpi->kf_bits;
2662         cpi->kf_bits += cpi->min_frame_bandwidth;                                          // Add in the minimum frame allowance
2663
2664         cpi->per_frame_bandwidth = cpi->kf_bits;                                           // Peer frame bit target for this frame
2665         cpi->target_bandwidth = cpi->kf_bits * cpi->output_frame_rate;                      // Convert to a per second bitrate
2666     }
2667
2668     // Note the total error score of the kf group minus the key frame itself
2669     cpi->kf_group_error_left = (int)(kf_group_err - kf_mod_err);
2670
2671     // Adjust the count of total modified error left.
2672     // The count of bits left is adjusted elsewhere based on real coded frame sizes
2673     cpi->modified_error_left -= kf_group_err;
2674
2675     if (cpi->oxcf.allow_spatial_resampling)
2676     {
2677         int resample_trigger = FALSE;
2678         int last_kf_resampled = FALSE;
2679         int kf_q;
2680         int scale_val = 0;
2681         int hr, hs, vr, vs;
2682         int new_width = cpi->oxcf.Width;
2683         int new_height = cpi->oxcf.Height;
2684
2685         int projected_buffer_level = cpi->buffer_level;
2686         int tmp_q;
2687
2688         double projected_bits_perframe;
2689         double group_iiratio = (kf_group_intra_err - first_frame.intra_error) / (kf_group_coded_err - first_frame.coded_error);
2690         double err_per_frame = kf_group_err / cpi->frames_to_key;
2691         double bits_per_frame;
2692         double av_bits_per_frame;
2693         double effective_size_ratio;
2694
2695         if ((cpi->common.Width != cpi->oxcf.Width) || (cpi->common.Height != cpi->oxcf.Height))
2696             last_kf_resampled = TRUE;
2697
2698         // Set back to unscaled by defaults
2699         cpi->common.horiz_scale = NORMAL;
2700         cpi->common.vert_scale = NORMAL;
2701
2702         // Calculate Average bits per frame.
2703         //av_bits_per_frame = cpi->bits_left/(double)(cpi->total_stats->count - cpi->common.current_video_frame);
2704         av_bits_per_frame = cpi->oxcf.target_bandwidth / DOUBLE_DIVIDE_CHECK((double)cpi->oxcf.frame_rate);
2705         //if ( av_bits_per_frame < 0.0 )
2706         //  av_bits_per_frame = 0.0
2707
2708         // CBR... Use the clip average as the target for deciding resample
2709         if (cpi->oxcf.end_usage == USAGE_STREAM_FROM_SERVER)
2710         {
2711             bits_per_frame = av_bits_per_frame;
2712         }
2713
2714         // In VBR we want to avoid downsampling in easy section unless we are under extreme pressure
2715         // So use the larger of target bitrate for this sectoion or average bitrate for sequence
2716         else
2717         {
2718             bits_per_frame = cpi->kf_group_bits / cpi->frames_to_key;     // This accounts for how hard the section is...
2719
2720             if (bits_per_frame < av_bits_per_frame)                      // Dont turn to resampling in easy sections just because they have been assigned a small number of bits
2721                 bits_per_frame = av_bits_per_frame;
2722         }
2723
2724         // bits_per_frame should comply with our minimum
2725         if (bits_per_frame < (cpi->oxcf.target_bandwidth * cpi->oxcf.two_pass_vbrmin_section / 100))
2726             bits_per_frame = (cpi->oxcf.target_bandwidth * cpi->oxcf.two_pass_vbrmin_section / 100);
2727
2728         // Work out if spatial resampling is necessary
2729         kf_q = estimate_kf_group_q(cpi, err_per_frame, bits_per_frame, group_iiratio);
2730
2731         // If we project a required Q higher than the maximum allowed Q then make a guess at the actual size of frames in this section
2732         projected_bits_perframe = bits_per_frame;
2733         tmp_q = kf_q;
2734
2735         while (tmp_q > cpi->worst_quality)
2736         {
2737             projected_bits_perframe *= 1.04;
2738             tmp_q--;
2739         }
2740
2741         // Guess at buffer level at the end of the section
2742         projected_buffer_level = cpi->buffer_level - (int)((projected_bits_perframe - av_bits_per_frame) * cpi->frames_to_key);
2743
2744         if (0)
2745         {
2746             FILE *f = fopen("Subsamle.stt", "a");
2747             fprintf(f, " %8d %8d %8d %8d %12.0f %8d %8d %8d\n",  cpi->common.current_video_frame, kf_q, cpi->common.horiz_scale, cpi->common.vert_scale,  kf_group_err / cpi->frames_to_key, (int)(cpi->kf_group_bits / cpi->frames_to_key), new_height, new_width);
2748             fclose(f);
2749         }
2750
2751         // The trigger for spatial resampling depends on the various parameters such as whether we are streaming (CBR) or VBR.
2752         if (cpi->oxcf.end_usage == USAGE_STREAM_FROM_SERVER)
2753         {
2754             // Trigger resample if we are projected to fall below down sample level or
2755             // resampled last time and are projected to remain below the up sample level
2756             if ((projected_buffer_level < (cpi->oxcf.resample_down_water_mark * cpi->oxcf.optimal_buffer_level / 100)) ||
2757                 (last_kf_resampled && (projected_buffer_level < (cpi->oxcf.resample_up_water_mark * cpi->oxcf.optimal_buffer_level / 100))))
2758                 //( ((cpi->buffer_level < (cpi->oxcf.resample_down_water_mark * cpi->oxcf.optimal_buffer_level / 100))) &&
2759                 //  ((projected_buffer_level < (cpi->oxcf.resample_up_water_mark * cpi->oxcf.optimal_buffer_level / 100))) ))
2760                 resample_trigger = TRUE;
2761             else
2762                 resample_trigger = FALSE;
2763         }
2764         else
2765         {
2766             long long clip_bits = (long long)(cpi->total_stats->count * cpi->oxcf.target_bandwidth / DOUBLE_DIVIDE_CHECK((double)cpi->oxcf.frame_rate));
2767             long long over_spend = cpi->oxcf.starting_buffer_level - cpi->buffer_level;
2768
2769             if ((last_kf_resampled && (kf_q > cpi->worst_quality)) ||                                               // If triggered last time the threshold for triggering again is reduced
2770                 ((kf_q > cpi->worst_quality) &&                                                                  // Projected Q higher than allowed and ...
2771                  (over_spend > clip_bits / 20)))                                                               // ... Overspend > 5% of total bits
2772                 resample_trigger = TRUE;
2773             else
2774                 resample_trigger = FALSE;
2775
2776         }
2777
2778         if (resample_trigger)
2779         {
2780             while ((kf_q >= cpi->worst_quality) && (scale_val < 6))
2781             {
2782                 scale_val ++;
2783
2784                 cpi->common.vert_scale   = vscale_lookup[scale_val];
2785                 cpi->common.horiz_scale  = hscale_lookup[scale_val];
2786
2787                 Scale2Ratio(cpi->common.horiz_scale, &hr, &hs);
2788                 Scale2Ratio(cpi->common.vert_scale, &vr, &vs);
2789
2790                 new_width = ((hs - 1) + (cpi->oxcf.Width * hr)) / hs;
2791                 new_height = ((vs - 1) + (cpi->oxcf.Height * vr)) / vs;
2792
2793                 // Reducing the area to 1/4 does not reduce the complexity (err_per_frame) to 1/4...
2794                 // effective_sizeratio attempts to provide a crude correction for this
2795                 effective_size_ratio = (double)(new_width * new_height) / (double)(cpi->oxcf.Width * cpi->oxcf.Height);
2796                 effective_size_ratio = (1.0 + (3.0 * effective_size_ratio)) / 4.0;
2797
2798                 // Now try again and see what Q we get with the smaller image size
2799                 kf_q = estimate_kf_group_q(cpi, err_per_frame * effective_size_ratio, bits_per_frame, group_iiratio);
2800
2801                 if (0)
2802                 {
2803                     FILE *f = fopen("Subsamle.stt", "a");
2804                     fprintf(f, "******** %8d %8d %8d %12.0f %8d %8d %8d\n",  kf_q, cpi->common.horiz_scale, cpi->common.vert_scale,  kf_group_err / cpi->frames_to_key, (int)(cpi->kf_group_bits / cpi->frames_to_key), new_height, new_width);
2805                     fclose(f);
2806                 }
2807             }
2808         }
2809
2810         if ((cpi->common.Width != new_width) || (cpi->common.Height != new_height))
2811         {
2812             cpi->common.Width = new_width;
2813             cpi->common.Height = new_height;
2814             vp8_alloc_compressor_data(cpi);
2815         }
2816     }
2817 }