remove unused temporal preproc code
[profile/ivi/libvpx.git] / vp8 / encoder / onyx_int.h
1 /*
2  *  Copyright (c) 2010 The WebM project authors. All Rights Reserved.
3  *
4  *  Use of this source code is governed by a BSD-style license
5  *  that can be found in the LICENSE file in the root of the source
6  *  tree. An additional intellectual property rights grant can be found
7  *  in the file PATENTS.  All contributing project authors may
8  *  be found in the AUTHORS file in the root of the source tree.
9  */
10
11
12 #ifndef __INC_VP8_INT_H
13 #define __INC_VP8_INT_H
14
15 #include <stdio.h>
16 #include "vpx_ports/config.h"
17 #include "onyx.h"
18 #include "treewriter.h"
19 #include "tokenize.h"
20 #include "onyxc_int.h"
21 #include "variance.h"
22 #include "dct.h"
23 #include "encodemb.h"
24 #include "quantize.h"
25 #include "entropy.h"
26 #include "threading.h"
27 #include "vpx_ports/mem.h"
28 #include "vpx/internal/vpx_codec_internal.h"
29 #include "mcomp.h"
30
31 //#define SPEEDSTATS 1
32 #define MIN_GF_INTERVAL             4
33 #define DEFAULT_GF_INTERVAL         7
34
35 #define KEY_FRAME_CONTEXT 5
36
37 #define MAX_LAG_BUFFERS (CONFIG_REALTIME_ONLY? 1 : 25)
38
39 #define AF_THRESH   25
40 #define AF_THRESH2  100
41 #define ARF_DECAY_THRESH 12
42 #define MAX_MODES 20
43
44 #define MIN_THRESHMULT  32
45 #define MAX_THRESHMULT  512
46
47 #define GF_ZEROMV_ZBIN_BOOST 24
48 #define LF_ZEROMV_ZBIN_BOOST 12
49 #define MV_ZBIN_BOOST        4
50 #define ZBIN_OQ_MAX 192
51
52 #define VP8_TEMPORAL_ALT_REF 1
53
54 typedef struct
55 {
56     int kf_indicated;
57     unsigned int frames_since_key;
58     unsigned int frames_since_golden;
59     int filter_level;
60     int frames_till_gf_update_due;
61     int recent_ref_frame_usage[MAX_REF_FRAMES];
62
63     MV_CONTEXT mvc[2];
64     int mvcosts[2][MVvals+1];
65
66 #ifdef MODE_STATS
67     // Stats
68     int y_modes[5];
69     int uv_modes[4];
70     int b_modes[10];
71     int inter_y_modes[10];
72     int inter_uv_modes[4];
73     int inter_b_modes[10];
74 #endif
75
76     vp8_prob ymode_prob[4], uv_mode_prob[3];   /* interframe intra mode probs */
77     vp8_prob kf_ymode_prob[4], kf_uv_mode_prob[3];   /* keyframe "" */
78
79     int ymode_count[5], uv_mode_count[4];  /* intra MB type cts this frame */
80
81     int count_mb_ref_frame_usage[MAX_REF_FRAMES];
82
83     int this_frame_percent_intra;
84     int last_frame_percent_intra;
85
86
87 } CODING_CONTEXT;
88
89 typedef struct
90 {
91     double frame;
92     double intra_error;
93     double coded_error;
94     double ssim_weighted_pred_err;
95     double pcnt_inter;
96     double pcnt_motion;
97     double pcnt_second_ref;
98     double MVr;
99     double mvr_abs;
100     double MVc;
101     double mvc_abs;
102     double MVrv;
103     double MVcv;
104     double mv_in_out_count;
105     double duration;
106     double count;
107 }
108 FIRSTPASS_STATS;
109
110 typedef struct
111 {
112     int frames_so_far;
113     double frame_intra_error;
114     double frame_coded_error;
115     double frame_pcnt_inter;
116     double frame_pcnt_motion;
117     double frame_mvr;
118     double frame_mvr_abs;
119     double frame_mvc;
120     double frame_mvc_abs;
121
122 } ONEPASS_FRAMESTATS;
123
124
125 typedef enum
126 {
127     THR_ZEROMV         = 0,
128     THR_DC             = 1,
129
130     THR_NEARESTMV      = 2,
131     THR_NEARMV         = 3,
132
133     THR_ZEROG          = 4,
134     THR_NEARESTG       = 5,
135
136     THR_ZEROA          = 6,
137     THR_NEARESTA       = 7,
138
139     THR_NEARG          = 8,
140     THR_NEARA          = 9,
141
142     THR_V_PRED         = 10,
143     THR_H_PRED         = 11,
144     THR_TM             = 12,
145
146     THR_NEWMV          = 13,
147     THR_NEWG           = 14,
148     THR_NEWA           = 15,
149
150     THR_SPLITMV        = 16,
151     THR_SPLITG         = 17,
152     THR_SPLITA         = 18,
153
154     THR_B_PRED         = 19,
155 }
156 THR_MODES;
157
158 typedef enum
159 {
160     DIAMOND = 0,
161     NSTEP = 1,
162     HEX = 2
163 } SEARCH_METHODS;
164
165 typedef struct
166 {
167     int RD;
168     SEARCH_METHODS search_method;
169     int improved_quant;
170     int improved_dct;
171     int auto_filter;
172     int recode_loop;
173     int iterative_sub_pixel;
174     int half_pixel_search;
175     int quarter_pixel_search;
176     int thresh_mult[MAX_MODES];
177     int full_freq[2];
178     int min_fs_radius;
179     int max_fs_radius;
180     int max_step_search_steps;
181     int first_step;
182     int optimize_coefficients;
183
184 } SPEED_FEATURES;
185
186 typedef struct
187 {
188     MACROBLOCK  mb;
189     int mb_row;
190     TOKENEXTRA *tp;
191     int segment_counts[MAX_MB_SEGMENTS];
192     int totalrate;
193     int current_mb_col;
194 } MB_ROW_COMP;
195
196 typedef struct
197 {
198     TOKENEXTRA *start;
199     TOKENEXTRA *stop;
200 } TOKENLIST;
201
202 typedef struct
203 {
204     int ithread;
205     void *ptr1;
206     void *ptr2;
207 } ENCODETHREAD_DATA;
208 typedef struct
209 {
210     int ithread;
211     void *ptr1;
212 } LPFTHREAD_DATA;
213
214 typedef struct
215 {
216     INT64  source_time_stamp;
217     INT64  source_end_time_stamp;
218
219     DECLARE_ALIGNED(16, YV12_BUFFER_CONFIG, source_buffer);
220     unsigned int source_frame_flags;
221 } SOURCE_SAMPLE;
222
223 typedef struct VP8_ENCODER_RTCD
224 {
225     VP8_COMMON_RTCD            *common;
226     vp8_variance_rtcd_vtable_t  variance;
227     vp8_fdct_rtcd_vtable_t      fdct;
228     vp8_encodemb_rtcd_vtable_t  encodemb;
229     vp8_quantize_rtcd_vtable_t  quantize;
230     vp8_search_rtcd_vtable_t    search;
231 } VP8_ENCODER_RTCD;
232
233 enum
234 {
235     BLOCK_16X8,
236     BLOCK_8X16,
237     BLOCK_8X8,
238     BLOCK_4X4,
239     BLOCK_16X16,
240     BLOCK_MAX_SEGMENTS
241 };
242
243 typedef union
244 {
245     unsigned int as_int;
246     MV           as_mv;
247 } int_mv;        /* facilitates rapid equality tests */
248
249 typedef struct
250 {
251
252     DECLARE_ALIGNED(16, short, Y1quant[QINDEX_RANGE][16]);
253     DECLARE_ALIGNED(16, short, Y1quant_shift[QINDEX_RANGE][16]);
254     DECLARE_ALIGNED(16, short, Y1zbin[QINDEX_RANGE][16]);
255     DECLARE_ALIGNED(16, short, Y1round[QINDEX_RANGE][16]);
256
257     DECLARE_ALIGNED(16, short, Y2quant[QINDEX_RANGE][16]);
258     DECLARE_ALIGNED(16, short, Y2quant_shift[QINDEX_RANGE][16]);
259     DECLARE_ALIGNED(16, short, Y2zbin[QINDEX_RANGE][16]);
260     DECLARE_ALIGNED(16, short, Y2round[QINDEX_RANGE][16]);
261
262     DECLARE_ALIGNED(16, short, UVquant[QINDEX_RANGE][16]);
263     DECLARE_ALIGNED(16, short, UVquant_shift[QINDEX_RANGE][16]);
264     DECLARE_ALIGNED(16, short, UVzbin[QINDEX_RANGE][16]);
265     DECLARE_ALIGNED(16, short, UVround[QINDEX_RANGE][16]);
266
267     DECLARE_ALIGNED(16, short, zrun_zbin_boost_y1[QINDEX_RANGE][16]);
268     DECLARE_ALIGNED(16, short, zrun_zbin_boost_y2[QINDEX_RANGE][16]);
269     DECLARE_ALIGNED(16, short, zrun_zbin_boost_uv[QINDEX_RANGE][16]);
270
271
272     MACROBLOCK mb;
273     VP8_COMMON common;
274     vp8_writer bc, bc2;
275     // bool_writer *bc2;
276
277     VP8_CONFIG oxcf;
278
279     YV12_BUFFER_CONFIG *Source;
280     YV12_BUFFER_CONFIG *un_scaled_source;
281     INT64 source_time_stamp;
282     INT64 source_end_time_stamp;
283     unsigned int source_frame_flags;
284     YV12_BUFFER_CONFIG scaled_source;
285
286     int source_buffer_count;    // number of src_buffers in use for lagged encoding
287     int source_encode_index;    // index of buffer in src_buffer to encode
288     int source_alt_ref_pending; // frame in src_buffers has been identified to be encoded as an alt ref
289     int source_alt_ref_active;  // an alt ref frame has been encoded and is usable
290
291     int last_alt_ref_sei;       // index into src_buffers of frame used as alt reference
292     int is_src_frame_alt_ref;   // source of frame to encode is an exact copy of an alt ref frame
293     int is_next_src_alt_ref;    // source of next frame to encode is an exact copy of an alt ref frame
294
295     int gold_is_last; // golden frame same as last frame ( short circuit gold searches)
296     int alt_is_last;  // Alt reference frame same as last ( short circuit altref search)
297     int gold_is_alt;  // don't do both alt and gold search ( just do gold).
298
299     //int refresh_alt_ref_frame;
300     SOURCE_SAMPLE src_buffer[MAX_LAG_BUFFERS];
301
302     YV12_BUFFER_CONFIG last_frame_uf;
303
304     char *Dest;
305
306     TOKENEXTRA *tok;
307     unsigned int tok_count;
308
309
310     unsigned int frames_since_key;
311     unsigned int key_frame_frequency;
312     unsigned int next_key;
313
314     unsigned int mode_check_freq[MAX_MODES];
315     unsigned int mode_test_hit_counts[MAX_MODES];
316     unsigned int mode_chosen_counts[MAX_MODES];
317     unsigned int mbs_tested_so_far;
318
319     unsigned int check_freq[2];
320     unsigned int do_full[2];
321
322     int rd_thresh_mult[MAX_MODES];
323     int rd_baseline_thresh[MAX_MODES];
324     int rd_threshes[MAX_MODES];
325     int mvcostbase;
326     int mvcostmultiplier;
327     int subseqblockweight;
328     int errthresh;
329     unsigned int activity_avg;
330
331     int RDMULT;
332     int RDDIV ;
333
334     TOKENEXTRA *rdtok;
335     vp8_writer rdbc;
336     int intra_mode_costs[10];
337
338
339     CODING_CONTEXT coding_context;
340
341     // Rate targetting variables
342     long long prediction_error;
343     long long last_prediction_error;
344     long long intra_error;
345     long long last_intra_error;
346     long long last_auto_filter_prediction_error;
347
348 #if 0
349     // Experimental RD code
350     long long frame_distortion;
351     long long last_frame_distortion;
352 #endif
353
354     int last_mb_distortion;
355
356     int frames_since_auto_filter;
357
358     int this_frame_target;
359     int projected_frame_size;
360     int last_q[2];                   // Separate values for Intra/Inter
361     int target_bits_per_mb;
362
363     double rate_correction_factor;
364     double key_frame_rate_correction_factor;
365     double gf_rate_correction_factor;
366     double est_max_qcorrection_factor;
367
368     int frames_till_gf_update_due;      // Count down till next GF
369     int current_gf_interval;          // GF interval chosen when we coded the last GF
370
371     int gf_overspend_bits;            // Total bits overspent becasue of GF boost (cumulative)
372
373     int gf_group_bits;                // Projected Bits available for a group of frames including 1 GF or ARF
374     int gf_bits;                     // Bits for the golden frame or ARF - 2 pass only
375     int mid_gf_extra_bits;             // A few extra bits for the frame half way between two gfs.
376
377     // Projected total bits available for a key frame group of frames
378     long long kf_group_bits;
379
380     // Error score of frames still to be coded in kf group
381     long long kf_group_error_left;
382
383     // Bits for the key frame in a key frame group - 2 pass only
384     int kf_bits;
385
386     int non_gf_bitrate_adjustment;     // Used in the few frames following a GF to recover the extra bits spent in that GF
387     int initial_gf_use;               // percentage use of gf 2 frames after gf
388
389     int gf_group_error_left;           // Remaining error from uncoded frames in a gf group. Two pass use only
390
391     int kf_overspend_bits;            // Extra bits spent on key frames that need to be recovered on inter frames
392     int kf_bitrate_adjustment;        // Current number of bit s to try and recover on each inter frame.
393     int max_gf_interval;
394     int baseline_gf_interval;
395     int gf_decay_rate;
396     int active_arnr_frames;           // <= cpi->oxcf.arnr_max_frames
397
398     INT64 key_frame_count;
399     INT64 tot_key_frame_bits;
400     int prior_key_frame_size[KEY_FRAME_CONTEXT];
401     int prior_key_frame_distance[KEY_FRAME_CONTEXT];
402     int per_frame_bandwidth;          // Current section per frame bandwidth target
403     int av_per_frame_bandwidth;        // Average frame size target for clip
404     int min_frame_bandwidth;          // Minimum allocation that should be used for any frame
405     int last_key_frame_size;
406     int intra_frame_target;
407     int inter_frame_target;
408     double output_frame_rate;
409     long long last_time_stamp_seen;
410     long long last_end_time_stamp_seen;
411     long long first_time_stamp_ever;
412
413     int ni_av_qi;
414     int ni_tot_qi;
415     int ni_frames;
416     int avg_frame_qindex;
417
418     int zbin_over_quant;
419     int zbin_mode_boost;
420     int zbin_mode_boost_enabled;
421
422     INT64 total_byte_count;
423
424     int buffered_mode;
425
426     int buffer_level;
427     int bits_off_target;
428
429     int rolling_target_bits;
430     int rolling_actual_bits;
431
432     int long_rolling_target_bits;
433     int long_rolling_actual_bits;
434
435     long long total_actual_bits;
436     int total_target_vs_actual;        // debug stats
437
438     int worst_quality;
439     int active_worst_quality;
440     int best_quality;
441     int active_best_quality;
442
443     int drop_frames_allowed;          // Are we permitted to drop frames?
444     int drop_frame;                  // Drop this frame?
445     int drop_count;                  // How many frames have we dropped?
446     int max_drop_count;               // How many frames should we drop?
447     int max_consec_dropped_frames;     // Limit number of consecutive frames that can be dropped.
448
449
450     int ymode_count [VP8_YMODES];        /* intra MB type cts this frame */
451     int uv_mode_count[VP8_UV_MODES];       /* intra MB type cts this frame */
452
453     unsigned int MVcount [2] [MVvals];  /* (row,col) MV cts this frame */
454
455     unsigned int coef_counts [BLOCK_TYPES] [COEF_BANDS] [PREV_COEF_CONTEXTS] [vp8_coef_tokens];  /* for this frame */
456     //DECLARE_ALIGNED(16, int, coef_counts_backup [BLOCK_TYPES] [COEF_BANDS] [PREV_COEF_CONTEXTS] [vp8_coef_tokens]);   //not used any more
457     //save vp8_tree_probs_from_distribution result for each frame to avoid repeat calculation
458     vp8_prob frame_coef_probs [BLOCK_TYPES] [COEF_BANDS] [PREV_COEF_CONTEXTS] [vp8_coef_tokens-1];
459     unsigned int frame_branch_ct [BLOCK_TYPES] [COEF_BANDS] [PREV_COEF_CONTEXTS] [vp8_coef_tokens-1][2];
460
461     /* Second compressed data partition contains coefficient data. */
462
463     unsigned char *output_partition2;
464     size_t output_partition2size;
465
466     int frames_to_key;
467     int gfu_boost;
468     int kf_boost;
469     int last_boost;
470     double total_error_left;
471     double total_intra_error_left;
472     double total_coded_error_left;
473     double start_tot_err_left;
474     double min_error;
475
476     double modified_error_total;
477     double modified_error_used;
478     double modified_error_left;
479     double clip_bpe;
480     double observed_bpe;
481
482     double avg_iiratio;
483
484     int target_bandwidth;
485     long long bits_left;
486     long long clip_bits_total;
487     FIRSTPASS_STATS *total_stats;
488     FIRSTPASS_STATS *this_frame_stats;
489     FIRSTPASS_STATS *stats_in, *stats_in_end;
490     struct vpx_codec_pkt_list  *output_pkt_list;
491     int                          first_pass_done;
492     unsigned char *fp_motion_map;
493
494     unsigned char *fp_motion_map_stats, *fp_motion_map_stats_save;
495
496 #if 0
497     // Experimental code for lagged and one pass
498     ONEPASS_FRAMESTATS one_pass_frame_stats[MAX_LAG_BUFFERS];
499     int one_pass_frame_index;
500 #endif
501
502     int decimation_factor;
503     int decimation_count;
504
505     // for real time encoding
506     int avg_encode_time;              //microsecond
507     int avg_pick_mode_time;            //microsecond
508     int Speed;
509     unsigned int cpu_freq;           //Mhz
510     int compressor_speed;
511
512     int interquantizer;
513     int auto_gold;
514     int auto_adjust_gold_quantizer;
515     int goldquantizer;
516     int goldfreq;
517     int auto_adjust_key_quantizer;
518     int keyquantizer;
519     int auto_worst_q;
520     int filter_type;
521     int cpu_used;
522     int chroma_boost;
523     int horiz_scale;
524     int vert_scale;
525     int pass;
526
527
528     int prob_intra_coded;
529     int prob_last_coded;
530     int prob_gf_coded;
531     int prob_skip_false;
532     int last_skip_false_probs[3];
533     int last_skip_probs_q[3];
534     int recent_ref_frame_usage[MAX_REF_FRAMES];
535
536     int count_mb_ref_frame_usage[MAX_REF_FRAMES];
537     int this_frame_percent_intra;
538     int last_frame_percent_intra;
539
540     int last_key_frame_q;
541     int last_kffilt_lvl;
542
543     int ref_frame_flags;
544
545     int exp[512];
546
547     SPEED_FEATURES sf;
548     int error_bins[1024];
549
550     int inter_lvl;
551     int intra_lvl;
552     int motion_lvl;
553     int motion_speed;
554     int motion_var;
555     unsigned int next_iiratio;
556     unsigned int this_iiratio;
557     int this_frame_modified_error;
558
559     double norm_intra_err_per_mb;
560     double norm_inter_err_per_mb;
561     double norm_iidiff_per_mb;
562
563     int last_best_mode_index;          // Record of mode index chosen for previous macro block.
564     int last_auto_filt_val;
565     int last_auto_filt_q;
566
567     // Data used for real time conferencing mode to help determine if it would be good to update the gf
568     int inter_zz_count;
569     int gf_bad_count;
570     int gf_update_recommended;
571     int skip_true_count;
572     int skip_false_count;
573
574     int alt_qcount;
575
576     int ready_for_new_frame;
577
578     unsigned char *segmentation_map;
579     signed char segment_feature_data[MB_LVL_MAX][MAX_MB_SEGMENTS];            // Segment data (can be deltas or absolute values)
580     int  segment_encode_breakout[MAX_MB_SEGMENTS];                    // segment threashold for encode breakout
581
582     unsigned char *active_map;
583     unsigned int active_map_enabled;
584     // Video conferencing cyclic refresh mode flags etc
585     // This is a mode designed to clean up the background over time in live encoding scenarious. It uses segmentation
586     int cyclic_refresh_mode_enabled;
587     int cyclic_refresh_mode_max_mbs_perframe;
588     int cyclic_refresh_mode_index;
589     int cyclic_refresh_q;
590     signed char *cyclic_refresh_map;
591
592     // multithread data
593     int current_mb_col_main;
594     int processor_core_count;
595     int b_multi_threaded;
596     int encoding_thread_count;
597
598 #if CONFIG_MULTITHREAD
599     pthread_t *h_encoding_thread;
600 #endif
601     MB_ROW_COMP *mb_row_ei;
602     ENCODETHREAD_DATA *en_thread_data;
603
604 #if CONFIG_MULTITHREAD
605     //events
606     sem_t *h_event_mbrencoding;
607     sem_t h_event_main;
608 #endif
609
610     TOKENLIST *tplist;
611     // end of multithread data
612
613
614     fractional_mv_step_fp *find_fractional_mv_step;
615     vp8_full_search_fn_t full_search_sad;
616     vp8_diamond_search_fn_t diamond_search_sad;
617     vp8_variance_fn_ptr_t fn_ptr[BLOCK_MAX_SEGMENTS];
618     unsigned int time_receive_data;
619     unsigned int time_compress_data;
620     unsigned int time_pick_lpf;
621     unsigned int time_encode_mb_row;
622
623     unsigned int tempdata1;
624     unsigned int tempdata2;
625
626     int base_skip_false_prob[128];
627     unsigned int section_intra_rating;
628
629     double section_max_qfactor;
630
631
632 #if CONFIG_RUNTIME_CPU_DETECT
633     VP8_ENCODER_RTCD            rtcd;
634 #endif
635 #if VP8_TEMPORAL_ALT_REF
636     SOURCE_SAMPLE alt_ref_buffer;
637     YV12_BUFFER_CONFIG *frames[MAX_LAG_BUFFERS];
638     int fixed_divide[512];
639 #endif
640     // Flag to indicate temporal filter method
641     int use_weighted_temporal_filter;
642
643 #if CONFIG_PSNR
644     int    count;
645     double total_y;
646     double total_u;
647     double total_v;
648     double total ;
649     double total_sq_error;
650     double totalp_y;
651     double totalp_u;
652     double totalp_v;
653     double totalp;
654     double total_sq_error2;
655     int    bytes;
656     double summed_quality;
657     double summed_weights;
658     unsigned int tot_recode_hits;
659
660
661     double total_ssimg_y;
662     double total_ssimg_u;
663     double total_ssimg_v;
664     double total_ssimg_all;
665
666     int b_calculate_ssimg;
667 #endif
668     int b_calculate_psnr;
669
670
671     unsigned char *gf_active_flags;   // Record of which MBs still refer to last golden frame either directly or through 0,0
672     int gf_active_count;
673
674     //Store last frame's MV info for next frame MV prediction
675     int_mv *lfmv;
676     int *lf_ref_frame_sign_bias;
677     int *lf_ref_frame;
678
679 } VP8_COMP;
680
681 void control_data_rate(VP8_COMP *cpi);
682
683 void vp8_encode_frame(VP8_COMP *cpi);
684
685 void vp8_pack_bitstream(VP8_COMP *cpi, unsigned char *dest, unsigned long *size);
686
687 unsigned int vp8_activity_masking(VP8_COMP *cpi, MACROBLOCK *x);
688
689 int rd_cost_intra_mb(MACROBLOCKD *x);
690
691 void vp8_tokenize_mb(VP8_COMP *, MACROBLOCKD *, TOKENEXTRA **);
692
693 void vp8_set_speed_features(VP8_COMP *cpi);
694
695 #if CONFIG_DEBUG
696 #define CHECK_MEM_ERROR(lval,expr) do {\
697         lval = (expr); \
698         if(!lval) \
699             vpx_internal_error(&cpi->common.error, VPX_CODEC_MEM_ERROR,\
700                                "Failed to allocate "#lval" at %s:%d", \
701                                __FILE__,__LINE__);\
702     } while(0)
703 #else
704 #define CHECK_MEM_ERROR(lval,expr) do {\
705         lval = (expr); \
706         if(!lval) \
707             vpx_internal_error(&cpi->common.error, VPX_CODEC_MEM_ERROR,\
708                                "Failed to allocate "#lval);\
709     } while(0)
710 #endif
711 #endif