Merge "cosmetics: consistently use [u]int64_t"
[profile/ivi/libvpx.git] / vp8 / encoder / onyx_int.h
1 /*
2  *  Copyright (c) 2010 The WebM project authors. All Rights Reserved.
3  *
4  *  Use of this source code is governed by a BSD-style license
5  *  that can be found in the LICENSE file in the root of the source
6  *  tree. An additional intellectual property rights grant can be found
7  *  in the file PATENTS.  All contributing project authors may
8  *  be found in the AUTHORS file in the root of the source tree.
9  */
10
11
12 #ifndef __INC_VP8_INT_H
13 #define __INC_VP8_INT_H
14
15 #include <stdio.h>
16 #include "vpx_ports/config.h"
17 #include "vp8/common/onyx.h"
18 #include "treewriter.h"
19 #include "tokenize.h"
20 #include "vp8/common/onyxc_int.h"
21 #include "variance.h"
22 #include "dct.h"
23 #include "encodemb.h"
24 #include "quantize.h"
25 #include "vp8/common/entropy.h"
26 #include "vp8/common/threading.h"
27 #include "vpx_ports/mem.h"
28 #include "vpx/internal/vpx_codec_internal.h"
29 #include "mcomp.h"
30 #include "temporal_filter.h"
31 #include "vp8/common/findnearmv.h"
32 #include "lookahead.h"
33
34 //#define SPEEDSTATS 1
35 #define MIN_GF_INTERVAL             4
36 #define DEFAULT_GF_INTERVAL         7
37
38 #define KEY_FRAME_CONTEXT 5
39
40 #define MAX_LAG_BUFFERS (CONFIG_REALTIME_ONLY? 1 : 25)
41
42 #define AF_THRESH   25
43 #define AF_THRESH2  100
44 #define ARF_DECAY_THRESH 12
45 #define MAX_MODES 20
46
47 #define MIN_THRESHMULT  32
48 #define MAX_THRESHMULT  512
49
50 #define GF_ZEROMV_ZBIN_BOOST 12
51 #define LF_ZEROMV_ZBIN_BOOST 6
52 #define MV_ZBIN_BOOST        4
53 #define ZBIN_OQ_MAX 192
54
55 #if !(CONFIG_REALTIME_ONLY)
56 #define VP8_TEMPORAL_ALT_REF 1
57 #endif
58
59 typedef struct
60 {
61     int kf_indicated;
62     unsigned int frames_since_key;
63     unsigned int frames_since_golden;
64     int filter_level;
65     int frames_till_gf_update_due;
66     int recent_ref_frame_usage[MAX_REF_FRAMES];
67
68     MV_CONTEXT mvc[2];
69     int mvcosts[2][MVvals+1];
70
71 #ifdef MODE_STATS
72     // Stats
73     int y_modes[5];
74     int uv_modes[4];
75     int b_modes[10];
76     int inter_y_modes[10];
77     int inter_uv_modes[4];
78     int inter_b_modes[10];
79 #endif
80
81     vp8_prob ymode_prob[4], uv_mode_prob[3];   /* interframe intra mode probs */
82     vp8_prob kf_ymode_prob[4], kf_uv_mode_prob[3];   /* keyframe "" */
83
84     int ymode_count[5], uv_mode_count[4];  /* intra MB type cts this frame */
85
86     int count_mb_ref_frame_usage[MAX_REF_FRAMES];
87
88     int this_frame_percent_intra;
89     int last_frame_percent_intra;
90
91
92 } CODING_CONTEXT;
93
94 typedef struct
95 {
96     double frame;
97     double intra_error;
98     double coded_error;
99     double ssim_weighted_pred_err;
100     double pcnt_inter;
101     double pcnt_motion;
102     double pcnt_second_ref;
103     double pcnt_neutral;
104     double MVr;
105     double mvr_abs;
106     double MVc;
107     double mvc_abs;
108     double MVrv;
109     double MVcv;
110     double mv_in_out_count;
111     double duration;
112     double count;
113 }
114 FIRSTPASS_STATS;
115
116 typedef struct
117 {
118     int frames_so_far;
119     double frame_intra_error;
120     double frame_coded_error;
121     double frame_pcnt_inter;
122     double frame_pcnt_motion;
123     double frame_mvr;
124     double frame_mvr_abs;
125     double frame_mvc;
126     double frame_mvc_abs;
127
128 } ONEPASS_FRAMESTATS;
129
130
131 typedef enum
132 {
133     THR_ZEROMV         = 0,
134     THR_DC             = 1,
135
136     THR_NEARESTMV      = 2,
137     THR_NEARMV         = 3,
138
139     THR_ZEROG          = 4,
140     THR_NEARESTG       = 5,
141
142     THR_ZEROA          = 6,
143     THR_NEARESTA       = 7,
144
145     THR_NEARG          = 8,
146     THR_NEARA          = 9,
147
148     THR_V_PRED         = 10,
149     THR_H_PRED         = 11,
150     THR_TM             = 12,
151
152     THR_NEWMV          = 13,
153     THR_NEWG           = 14,
154     THR_NEWA           = 15,
155
156     THR_SPLITMV        = 16,
157     THR_SPLITG         = 17,
158     THR_SPLITA         = 18,
159
160     THR_B_PRED         = 19,
161 }
162 THR_MODES;
163
164 typedef enum
165 {
166     DIAMOND = 0,
167     NSTEP = 1,
168     HEX = 2
169 } SEARCH_METHODS;
170
171 typedef struct
172 {
173     int RD;
174     SEARCH_METHODS search_method;
175     int improved_quant;
176     int improved_dct;
177     int auto_filter;
178     int recode_loop;
179     int iterative_sub_pixel;
180     int half_pixel_search;
181     int quarter_pixel_search;
182     int thresh_mult[MAX_MODES];
183     int max_step_search_steps;
184     int first_step;
185     int optimize_coefficients;
186
187     int use_fastquant_for_pick;
188     int no_skip_block4x4_search;
189     int improved_mv_pred;
190
191 } SPEED_FEATURES;
192
193 typedef struct
194 {
195     MACROBLOCK  mb;
196     int segment_counts[MAX_MB_SEGMENTS];
197     int totalrate;
198 } MB_ROW_COMP;
199
200 typedef struct
201 {
202     TOKENEXTRA *start;
203     TOKENEXTRA *stop;
204 } TOKENLIST;
205
206 typedef struct
207 {
208     int ithread;
209     void *ptr1;
210     void *ptr2;
211 } ENCODETHREAD_DATA;
212 typedef struct
213 {
214     int ithread;
215     void *ptr1;
216 } LPFTHREAD_DATA;
217
218
219 typedef struct VP8_ENCODER_RTCD
220 {
221     VP8_COMMON_RTCD            *common;
222     vp8_variance_rtcd_vtable_t  variance;
223     vp8_fdct_rtcd_vtable_t      fdct;
224     vp8_encodemb_rtcd_vtable_t  encodemb;
225     vp8_quantize_rtcd_vtable_t  quantize;
226     vp8_search_rtcd_vtable_t    search;
227     vp8_temporal_rtcd_vtable_t  temporal;
228 } VP8_ENCODER_RTCD;
229
230 enum
231 {
232     BLOCK_16X8,
233     BLOCK_8X16,
234     BLOCK_8X8,
235     BLOCK_4X4,
236     BLOCK_16X16,
237     BLOCK_MAX_SEGMENTS
238 };
239
240 typedef struct VP8_COMP
241 {
242
243     DECLARE_ALIGNED(16, short, Y1quant[QINDEX_RANGE][16]);
244     DECLARE_ALIGNED(16, unsigned char, Y1quant_shift[QINDEX_RANGE][16]);
245     DECLARE_ALIGNED(16, short, Y1zbin[QINDEX_RANGE][16]);
246     DECLARE_ALIGNED(16, short, Y1round[QINDEX_RANGE][16]);
247
248     DECLARE_ALIGNED(16, short, Y2quant[QINDEX_RANGE][16]);
249     DECLARE_ALIGNED(16, unsigned char, Y2quant_shift[QINDEX_RANGE][16]);
250     DECLARE_ALIGNED(16, short, Y2zbin[QINDEX_RANGE][16]);
251     DECLARE_ALIGNED(16, short, Y2round[QINDEX_RANGE][16]);
252
253     DECLARE_ALIGNED(16, short, UVquant[QINDEX_RANGE][16]);
254     DECLARE_ALIGNED(16, unsigned char, UVquant_shift[QINDEX_RANGE][16]);
255     DECLARE_ALIGNED(16, short, UVzbin[QINDEX_RANGE][16]);
256     DECLARE_ALIGNED(16, short, UVround[QINDEX_RANGE][16]);
257
258     DECLARE_ALIGNED(16, short, zrun_zbin_boost_y1[QINDEX_RANGE][16]);
259     DECLARE_ALIGNED(16, short, zrun_zbin_boost_y2[QINDEX_RANGE][16]);
260     DECLARE_ALIGNED(16, short, zrun_zbin_boost_uv[QINDEX_RANGE][16]);
261     DECLARE_ALIGNED(16, short, Y1quant_fast[QINDEX_RANGE][16]);
262     DECLARE_ALIGNED(16, short, Y2quant_fast[QINDEX_RANGE][16]);
263     DECLARE_ALIGNED(16, short, UVquant_fast[QINDEX_RANGE][16]);
264
265
266     MACROBLOCK mb;
267     VP8_COMMON common;
268     vp8_writer bc, bc2;
269     // bool_writer *bc2;
270
271     VP8_CONFIG oxcf;
272
273     struct lookahead_ctx    *lookahead;
274     struct lookahead_entry  *source;
275     struct lookahead_entry  *alt_ref_source;
276
277     YV12_BUFFER_CONFIG *Source;
278     YV12_BUFFER_CONFIG *un_scaled_source;
279     YV12_BUFFER_CONFIG scaled_source;
280
281     int source_alt_ref_pending; // frame in src_buffers has been identified to be encoded as an alt ref
282     int source_alt_ref_active;  // an alt ref frame has been encoded and is usable
283
284     int is_src_frame_alt_ref;   // source of frame to encode is an exact copy of an alt ref frame
285
286     int gold_is_last; // golden frame same as last frame ( short circuit gold searches)
287     int alt_is_last;  // Alt reference frame same as last ( short circuit altref search)
288     int gold_is_alt;  // don't do both alt and gold search ( just do gold).
289
290     //int refresh_alt_ref_frame;
291     YV12_BUFFER_CONFIG last_frame_uf;
292
293     TOKENEXTRA *tok;
294     unsigned int tok_count;
295
296
297     unsigned int frames_since_key;
298     unsigned int key_frame_frequency;
299     unsigned int this_key_frame_forced;
300     unsigned int next_key_frame_forced;
301
302     // Ambient reconstruction err target for force key frames
303     int ambient_err;
304
305     unsigned int mode_check_freq[MAX_MODES];
306     unsigned int mode_test_hit_counts[MAX_MODES];
307     unsigned int mode_chosen_counts[MAX_MODES];
308     unsigned int mbs_tested_so_far;
309
310     int rd_thresh_mult[MAX_MODES];
311     int rd_baseline_thresh[MAX_MODES];
312     int rd_threshes[MAX_MODES];
313
314     int RDMULT;
315     int RDDIV ;
316
317     CODING_CONTEXT coding_context;
318
319     // Rate targetting variables
320     int64_t prediction_error;
321     int64_t last_prediction_error;
322     int64_t intra_error;
323     int64_t last_intra_error;
324
325     int this_frame_target;
326     int projected_frame_size;
327     int last_q[2];                   // Separate values for Intra/Inter
328
329     double rate_correction_factor;
330     double key_frame_rate_correction_factor;
331     double gf_rate_correction_factor;
332
333     int frames_till_gf_update_due;      // Count down till next GF
334     int current_gf_interval;          // GF interval chosen when we coded the last GF
335
336     int gf_overspend_bits;            // Total bits overspent becasue of GF boost (cumulative)
337
338     int non_gf_bitrate_adjustment;     // Used in the few frames following a GF to recover the extra bits spent in that GF
339
340     int kf_overspend_bits;            // Extra bits spent on key frames that need to be recovered on inter frames
341     int kf_bitrate_adjustment;        // Current number of bit s to try and recover on each inter frame.
342     int max_gf_interval;
343     int baseline_gf_interval;
344     int active_arnr_frames;           // <= cpi->oxcf.arnr_max_frames
345
346     int64_t key_frame_count;
347     int prior_key_frame_distance[KEY_FRAME_CONTEXT];
348     int per_frame_bandwidth;          // Current section per frame bandwidth target
349     int av_per_frame_bandwidth;        // Average frame size target for clip
350     int min_frame_bandwidth;          // Minimum allocation that should be used for any frame
351     int buffered_av_per_frame_bandwidth; // Average bitrate over the last buffer
352     int buffered_av_per_frame_bandwidth_rem; // Average bitrate remainder
353     int accumulated_overshoot;           // Accumulated # of bits spent > target
354
355     int inter_frame_target;
356     double output_frame_rate;
357     int64_t last_time_stamp_seen;
358     int64_t last_end_time_stamp_seen;
359     int64_t first_time_stamp_ever;
360
361     int ni_av_qi;
362     int ni_tot_qi;
363     int ni_frames;
364     int avg_frame_qindex;
365
366     int zbin_over_quant;
367     int zbin_mode_boost;
368     int zbin_mode_boost_enabled;
369
370     int64_t total_byte_count;
371
372     int buffered_mode;
373
374     int buffer_level;
375     int bits_off_target;
376
377     int rolling_target_bits;
378     int rolling_actual_bits;
379
380     int long_rolling_target_bits;
381     int long_rolling_actual_bits;
382
383     int64_t total_actual_bits;
384     int total_target_vs_actual;        // debug stats
385
386     int worst_quality;
387     int active_worst_quality;
388     int best_quality;
389     int active_best_quality;
390
391     int cq_target_quality;
392
393     int drop_frames_allowed;          // Are we permitted to drop frames?
394     int drop_frame;                  // Drop this frame?
395     int drop_count;                  // How many frames have we dropped?
396     int max_drop_count;               // How many frames should we drop?
397     int max_consec_dropped_frames;     // Limit number of consecutive frames that can be dropped.
398
399
400     int ymode_count [VP8_YMODES];        /* intra MB type cts this frame */
401     int uv_mode_count[VP8_UV_MODES];       /* intra MB type cts this frame */
402
403     unsigned int MVcount [2] [MVvals];  /* (row,col) MV cts this frame */
404
405     unsigned int coef_counts [BLOCK_TYPES] [COEF_BANDS] [PREV_COEF_CONTEXTS] [MAX_ENTROPY_TOKENS];  /* for this frame */
406     //DECLARE_ALIGNED(16, int, coef_counts_backup [BLOCK_TYPES] [COEF_BANDS] [PREV_COEF_CONTEXTS] [MAX_ENTROPY_TOKENS]);   //not used any more
407     //save vp8_tree_probs_from_distribution result for each frame to avoid repeat calculation
408     vp8_prob frame_coef_probs [BLOCK_TYPES] [COEF_BANDS] [PREV_COEF_CONTEXTS] [ENTROPY_NODES];
409     unsigned int frame_branch_ct [BLOCK_TYPES] [COEF_BANDS] [PREV_COEF_CONTEXTS] [ENTROPY_NODES][2];
410
411     int gfu_boost;
412     int kf_boost;
413     int last_boost;
414
415     int target_bandwidth;
416     struct vpx_codec_pkt_list  *output_pkt_list;
417
418 #if 0
419     // Experimental code for lagged and one pass
420     ONEPASS_FRAMESTATS one_pass_frame_stats[MAX_LAG_BUFFERS];
421     int one_pass_frame_index;
422 #endif
423
424     int decimation_factor;
425     int decimation_count;
426
427     // for real time encoding
428     int avg_encode_time;              //microsecond
429     int avg_pick_mode_time;            //microsecond
430     int Speed;
431     unsigned int cpu_freq;           //Mhz
432     int compressor_speed;
433
434     int interquantizer;
435     int auto_gold;
436     int auto_adjust_gold_quantizer;
437     int goldfreq;
438     int auto_worst_q;
439     int cpu_used;
440     int horiz_scale;
441     int vert_scale;
442     int pass;
443
444
445     int prob_intra_coded;
446     int prob_last_coded;
447     int prob_gf_coded;
448     int prob_skip_false;
449     int last_skip_false_probs[3];
450     int last_skip_probs_q[3];
451     int recent_ref_frame_usage[MAX_REF_FRAMES];
452
453     int count_mb_ref_frame_usage[MAX_REF_FRAMES];
454     int this_frame_percent_intra;
455     int last_frame_percent_intra;
456
457     int ref_frame_flags;
458
459     SPEED_FEATURES sf;
460     int error_bins[1024];
461
462     // Data used for real time conferencing mode to help determine if it would be good to update the gf
463     int inter_zz_count;
464     int gf_bad_count;
465     int gf_update_recommended;
466     int skip_true_count;
467     int skip_false_count;
468
469     unsigned char *segmentation_map;
470     signed char segment_feature_data[MB_LVL_MAX][MAX_MB_SEGMENTS];            // Segment data (can be deltas or absolute values)
471     int  segment_encode_breakout[MAX_MB_SEGMENTS];                    // segment threashold for encode breakout
472
473     unsigned char *active_map;
474     unsigned int active_map_enabled;
475     // Video conferencing cyclic refresh mode flags etc
476     // This is a mode designed to clean up the background over time in live encoding scenarious. It uses segmentation
477     int cyclic_refresh_mode_enabled;
478     int cyclic_refresh_mode_max_mbs_perframe;
479     int cyclic_refresh_mode_index;
480     int cyclic_refresh_q;
481     signed char *cyclic_refresh_map;
482
483 #if CONFIG_MULTITHREAD
484     // multithread data
485     int * mt_current_mb_col;
486     int mt_sync_range;
487     int b_multi_threaded;
488     int encoding_thread_count;
489
490     pthread_t *h_encoding_thread;
491     pthread_t h_filter_thread;
492
493     MB_ROW_COMP *mb_row_ei;
494     ENCODETHREAD_DATA *en_thread_data;
495     LPFTHREAD_DATA lpf_thread_data;
496
497     //events
498     sem_t *h_event_start_encoding;
499     sem_t h_event_end_encoding;
500     sem_t h_event_start_lpf;
501     sem_t h_event_end_lpf;
502 #endif
503
504     TOKENLIST *tplist;
505     unsigned int partition_sz[MAX_PARTITIONS];
506     // end of multithread data
507
508
509     fractional_mv_step_fp *find_fractional_mv_step;
510     vp8_full_search_fn_t full_search_sad;
511     vp8_refining_search_fn_t refining_search_sad;
512     vp8_diamond_search_fn_t diamond_search_sad;
513     vp8_variance_fn_ptr_t fn_ptr[BLOCK_MAX_SEGMENTS];
514     unsigned int time_receive_data;
515     unsigned int time_compress_data;
516     unsigned int time_pick_lpf;
517     unsigned int time_encode_mb_row;
518
519     int base_skip_false_prob[128];
520
521     struct twopass_rc
522     {
523         unsigned int section_intra_rating;
524         double section_max_qfactor;
525         unsigned int next_iiratio;
526         unsigned int this_iiratio;
527         FIRSTPASS_STATS *total_stats;
528         FIRSTPASS_STATS *this_frame_stats;
529         FIRSTPASS_STATS *stats_in, *stats_in_end, *stats_in_start;
530         int first_pass_done;
531         int64_t bits_left;
532         int64_t clip_bits_total;
533         double avg_iiratio;
534         double modified_error_total;
535         double modified_error_used;
536         double modified_error_left;
537         double total_error_left;
538         double total_intra_error_left;
539         double total_coded_error_left;
540         double start_tot_err_left;
541         double kf_intra_err_min;
542         double gf_intra_err_min;
543         int frames_to_key;
544         int maxq_max_limit;
545         int maxq_min_limit;
546         int gf_decay_rate;
547         int static_scene_max_gf_interval;
548         int kf_bits;
549         int gf_group_error_left;           // Remaining error from uncoded frames in a gf group. Two pass use only
550
551         // Projected total bits available for a key frame group of frames
552         int64_t kf_group_bits;
553
554         // Error score of frames still to be coded in kf group
555         int64_t kf_group_error_left;
556
557         int gf_group_bits;                // Projected Bits available for a group of frames including 1 GF or ARF
558         int gf_bits;                     // Bits for the golden frame or ARF - 2 pass only
559         int mid_gf_extra_bits;             // A few extra bits for the frame half way between two gfs.
560         double est_max_qcorrection_factor;
561     } twopass;
562
563 #if CONFIG_RUNTIME_CPU_DETECT
564     VP8_ENCODER_RTCD            rtcd;
565 #endif
566 #if VP8_TEMPORAL_ALT_REF
567     YV12_BUFFER_CONFIG alt_ref_buffer;
568     YV12_BUFFER_CONFIG *frames[MAX_LAG_BUFFERS];
569     int fixed_divide[512];
570 #endif
571
572 #if CONFIG_INTERNAL_STATS
573     int    count;
574     double total_y;
575     double total_u;
576     double total_v;
577     double total ;
578     double total_sq_error;
579     double totalp_y;
580     double totalp_u;
581     double totalp_v;
582     double totalp;
583     double total_sq_error2;
584     int    bytes;
585     double summed_quality;
586     double summed_weights;
587     unsigned int tot_recode_hits;
588
589
590     double total_ssimg_y;
591     double total_ssimg_u;
592     double total_ssimg_v;
593     double total_ssimg_all;
594
595     int b_calculate_ssimg;
596 #endif
597     int b_calculate_psnr;
598
599     // Per MB activity measurement
600     unsigned int activity_avg;
601     unsigned int * mb_activity_map;
602     int * mb_norm_activity_map;
603
604     // Record of which MBs still refer to last golden frame either
605     // directly or through 0,0
606     unsigned char *gf_active_flags;
607     int gf_active_count;
608
609     int output_partition;
610
611     //Store last frame's MV info for next frame MV prediction
612     int_mv *lfmv;
613     int *lf_ref_frame_sign_bias;
614     int *lf_ref_frame;
615
616 #if CONFIG_REALTIME_ONLY
617     int force_next_frame_intra; /* force next frame to intra when kf_auto says so */
618 #endif
619     int droppable;
620 } VP8_COMP;
621
622 void control_data_rate(VP8_COMP *cpi);
623
624 void vp8_encode_frame(VP8_COMP *cpi);
625
626 void vp8_pack_bitstream(VP8_COMP *cpi, unsigned char *dest, unsigned long *size);
627
628 void vp8_activity_masking(VP8_COMP *cpi, MACROBLOCK *x);
629
630 int rd_cost_intra_mb(MACROBLOCKD *x);
631
632 void vp8_tokenize_mb(VP8_COMP *, MACROBLOCKD *, TOKENEXTRA **);
633
634 void vp8_set_speed_features(VP8_COMP *cpi);
635
636 #if CONFIG_DEBUG
637 #define CHECK_MEM_ERROR(lval,expr) do {\
638         lval = (expr); \
639         if(!lval) \
640             vpx_internal_error(&cpi->common.error, VPX_CODEC_MEM_ERROR,\
641                                "Failed to allocate "#lval" at %s:%d", \
642                                __FILE__,__LINE__);\
643     } while(0)
644 #else
645 #define CHECK_MEM_ERROR(lval,expr) do {\
646         lval = (expr); \
647         if(!lval) \
648             vpx_internal_error(&cpi->common.error, VPX_CODEC_MEM_ERROR,\
649                                "Failed to allocate "#lval);\
650     } while(0)
651 #endif
652 #endif