Merge "Fix high bit depth in vp10 codebase"
[platform/upstream/libvpx.git] / vp10 / encoder / subexp.c
1 /*
2  *  Copyright (c) 2013 The WebM project authors. All Rights Reserved.
3  *
4  *  Use of this source code is governed by a BSD-style license
5  *  that can be found in the LICENSE file in the root of the source
6  *  tree. An additional intellectual property rights grant can be found
7  *  in the file PATENTS.  All contributing project authors may
8  *  be found in the AUTHORS file in the root of the source tree.
9  */
10 #include "vpx_dsp/bitwriter.h"
11
12 #include "vp10/common/common.h"
13 #include "vp10/common/entropy.h"
14 #include "vp10/encoder/cost.h"
15 #include "vp10/encoder/subexp.h"
16
17 #define vp10_cost_upd256  ((int)(vp10_cost_one(upd) - vp10_cost_zero(upd)))
18
19 static const int update_bits[255] = {
20    5,  5,  5,  5,  5,  5,  5,  5,  5,  5,  5,  5,  5,  5,  5,  5,
21    6,  6,  6,  6,  6,  6,  6,  6,  6,  6,  6,  6,  6,  6,  6,  6,
22    8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,
23    8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,  8,
24   10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10,
25   10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10,
26   10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10,
27   10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10,
28   10, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11,
29   11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11,
30   11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11,
31   11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11,
32   11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11,
33   11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11,
34   11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11,
35   11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11,  0,
36 };
37
38 static int recenter_nonneg(int v, int m) {
39   if (v > (m << 1))
40     return v;
41   else if (v >= m)
42     return ((v - m) << 1);
43   else
44     return ((m - v) << 1) - 1;
45 }
46
47 static int remap_prob(int v, int m) {
48   int i;
49   static const int map_table[MAX_PROB - 1] = {
50     // generated by:
51     //   map_table[j] = split_index(j, MAX_PROB - 1, MODULUS_PARAM);
52      20,  21,  22,  23,  24,  25,   0,  26,  27,  28,  29,  30,  31,  32,  33,
53      34,  35,  36,  37,   1,  38,  39,  40,  41,  42,  43,  44,  45,  46,  47,
54      48,  49,   2,  50,  51,  52,  53,  54,  55,  56,  57,  58,  59,  60,  61,
55       3,  62,  63,  64,  65,  66,  67,  68,  69,  70,  71,  72,  73,   4,  74,
56      75,  76,  77,  78,  79,  80,  81,  82,  83,  84,  85,   5,  86,  87,  88,
57      89,  90,  91,  92,  93,  94,  95,  96,  97,   6,  98,  99, 100, 101, 102,
58     103, 104, 105, 106, 107, 108, 109,   7, 110, 111, 112, 113, 114, 115, 116,
59     117, 118, 119, 120, 121,   8, 122, 123, 124, 125, 126, 127, 128, 129, 130,
60     131, 132, 133,   9, 134, 135, 136, 137, 138, 139, 140, 141, 142, 143, 144,
61     145,  10, 146, 147, 148, 149, 150, 151, 152, 153, 154, 155, 156, 157,  11,
62     158, 159, 160, 161, 162, 163, 164, 165, 166, 167, 168, 169,  12, 170, 171,
63     172, 173, 174, 175, 176, 177, 178, 179, 180, 181,  13, 182, 183, 184, 185,
64     186, 187, 188, 189, 190, 191, 192, 193,  14, 194, 195, 196, 197, 198, 199,
65     200, 201, 202, 203, 204, 205,  15, 206, 207, 208, 209, 210, 211, 212, 213,
66     214, 215, 216, 217,  16, 218, 219, 220, 221, 222, 223, 224, 225, 226, 227,
67     228, 229,  17, 230, 231, 232, 233, 234, 235, 236, 237, 238, 239, 240, 241,
68      18, 242, 243, 244, 245, 246, 247, 248, 249, 250, 251, 252, 253,  19,
69   };
70   v--;
71   m--;
72   if ((m << 1) <= MAX_PROB)
73     i = recenter_nonneg(v, m) - 1;
74   else
75     i = recenter_nonneg(MAX_PROB - 1 - v, MAX_PROB - 1 - m) - 1;
76
77   i = map_table[i];
78   return i;
79 }
80
81 static int prob_diff_update_cost(vpx_prob newp, vpx_prob oldp) {
82   int delp = remap_prob(newp, oldp);
83   return update_bits[delp] * 256;
84 }
85
86 static void encode_uniform(vpx_writer *w, int v) {
87   const int l = 8;
88   const int m = (1 << l) - 191;
89   if (v < m) {
90     vpx_write_literal(w, v, l - 1);
91   } else {
92     vpx_write_literal(w, m + ((v - m) >> 1), l - 1);
93     vpx_write_literal(w, (v - m) & 1, 1);
94   }
95 }
96
97 static INLINE int write_bit_gte(vpx_writer *w, int word, int test) {
98   vpx_write_literal(w, word >= test, 1);
99   return word >= test;
100 }
101
102 static void encode_term_subexp(vpx_writer *w, int word) {
103   if (!write_bit_gte(w, word, 16)) {
104     vpx_write_literal(w, word, 4);
105   } else if (!write_bit_gte(w, word, 32)) {
106     vpx_write_literal(w, word - 16, 4);
107   } else if (!write_bit_gte(w, word, 64)) {
108     vpx_write_literal(w, word - 32, 5);
109   } else {
110     encode_uniform(w, word - 64);
111   }
112 }
113
114 void vp10_write_prob_diff_update(vpx_writer *w, vpx_prob newp, vpx_prob oldp) {
115   const int delp = remap_prob(newp, oldp);
116   encode_term_subexp(w, delp);
117 }
118
119 int vp10_prob_diff_update_savings_search(const unsigned int *ct,
120                                         vpx_prob oldp, vpx_prob *bestp,
121                                         vpx_prob upd) {
122   const int old_b = cost_branch256(ct, oldp);
123   int bestsavings = 0;
124   vpx_prob newp, bestnewp = oldp;
125   const int step = *bestp > oldp ? -1 : 1;
126
127   for (newp = *bestp; newp != oldp; newp += step) {
128     const int new_b = cost_branch256(ct, newp);
129     const int update_b = prob_diff_update_cost(newp, oldp) + vp10_cost_upd256;
130     const int savings = old_b - new_b - update_b;
131     if (savings > bestsavings) {
132       bestsavings = savings;
133       bestnewp = newp;
134     }
135   }
136   *bestp = bestnewp;
137   return bestsavings;
138 }
139
140 int vp10_prob_diff_update_savings_search_model(const unsigned int *ct,
141                                               const vpx_prob *oldp,
142                                               vpx_prob *bestp,
143                                               vpx_prob upd,
144                                               int stepsize) {
145   int i, old_b, new_b, update_b, savings, bestsavings, step;
146   int newp;
147   vpx_prob bestnewp, newplist[ENTROPY_NODES], oldplist[ENTROPY_NODES];
148   vp10_model_to_full_probs(oldp, oldplist);
149   memcpy(newplist, oldp, sizeof(vpx_prob) * UNCONSTRAINED_NODES);
150   for (i = UNCONSTRAINED_NODES, old_b = 0; i < ENTROPY_NODES; ++i)
151     old_b += cost_branch256(ct + 2 * i, oldplist[i]);
152   old_b += cost_branch256(ct + 2 * PIVOT_NODE, oldplist[PIVOT_NODE]);
153
154   bestsavings = 0;
155   bestnewp = oldp[PIVOT_NODE];
156
157   if (*bestp > oldp[PIVOT_NODE]) {
158     step = -stepsize;
159     for (newp = *bestp; newp > oldp[PIVOT_NODE]; newp += step) {
160       if (newp < 1 || newp > 255)
161         continue;
162       newplist[PIVOT_NODE] = newp;
163       vp10_model_to_full_probs(newplist, newplist);
164       for (i = UNCONSTRAINED_NODES, new_b = 0; i < ENTROPY_NODES; ++i)
165         new_b += cost_branch256(ct + 2 * i, newplist[i]);
166       new_b += cost_branch256(ct + 2 * PIVOT_NODE, newplist[PIVOT_NODE]);
167       update_b = prob_diff_update_cost(newp, oldp[PIVOT_NODE]) +
168           vp10_cost_upd256;
169       savings = old_b - new_b - update_b;
170       if (savings > bestsavings) {
171         bestsavings = savings;
172         bestnewp = newp;
173       }
174     }
175   } else {
176     step = stepsize;
177     for (newp = *bestp; newp < oldp[PIVOT_NODE]; newp += step) {
178       if (newp < 1 || newp > 255)
179         continue;
180       newplist[PIVOT_NODE] = newp;
181       vp10_model_to_full_probs(newplist, newplist);
182       for (i = UNCONSTRAINED_NODES, new_b = 0; i < ENTROPY_NODES; ++i)
183         new_b += cost_branch256(ct + 2 * i, newplist[i]);
184       new_b += cost_branch256(ct + 2 * PIVOT_NODE, newplist[PIVOT_NODE]);
185       update_b = prob_diff_update_cost(newp, oldp[PIVOT_NODE]) +
186           vp10_cost_upd256;
187       savings = old_b - new_b - update_b;
188       if (savings > bestsavings) {
189         bestsavings = savings;
190         bestnewp = newp;
191       }
192     }
193   }
194
195   *bestp = bestnewp;
196   return bestsavings;
197 }
198
199 void vp10_cond_prob_diff_update(vpx_writer *w, vpx_prob *oldp,
200                                const unsigned int ct[2]) {
201   const vpx_prob upd = DIFF_UPDATE_PROB;
202   vpx_prob newp = get_binary_prob(ct[0], ct[1]);
203   const int savings = vp10_prob_diff_update_savings_search(ct, *oldp, &newp,
204                                                           upd);
205   assert(newp >= 1);
206   if (savings > 0) {
207     vpx_write(w, 1, upd);
208     vp10_write_prob_diff_update(w, newp, *oldp);
209     *oldp = newp;
210   } else {
211     vpx_write(w, 0, upd);
212   }
213 }