first pass at making an integer-only flavor of the libraries. move FLAC__real out...
[platform/upstream/flac.git] / src / libFLAC / include / private / lpc.h
1 /* libFLAC - Free Lossless Audio Codec library
2  * Copyright (C) 2000,2001,2002,2003,2004  Josh Coalson
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  *
8  * - Redistributions of source code must retain the above copyright
9  * notice, this list of conditions and the following disclaimer.
10  *
11  * - Redistributions in binary form must reproduce the above copyright
12  * notice, this list of conditions and the following disclaimer in the
13  * documentation and/or other materials provided with the distribution.
14  *
15  * - Neither the name of the Xiph.org Foundation nor the names of its
16  * contributors may be used to endorse or promote products derived from
17  * this software without specific prior written permission.
18  *
19  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
20  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
21  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
22  * A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
23  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
24  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
25  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
26  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
27  * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
28  * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
29  * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
30  */
31
32 #ifndef FLAC__PRIVATE__LPC_H
33 #define FLAC__PRIVATE__LPC_H
34
35 #ifdef HAVE_CONFIG_H
36 #include <config.h>
37 #endif
38
39 #include "private/float.h"
40 #include "FLAC/format.h"
41
42 /*
43  *      FLAC__lpc_compute_autocorrelation()
44  *      --------------------------------------------------------------------
45  *      Compute the autocorrelation for lags between 0 and lag-1.
46  *      Assumes data[] outside of [0,data_len-1] == 0.
47  *      Asserts that lag > 0.
48  *
49  *      IN data[0,data_len-1]
50  *      IN data_len
51  *      IN 0 < lag <= data_len
52  *      OUT autoc[0,lag-1]
53  */
54 void FLAC__lpc_compute_autocorrelation(const FLAC__real data[], unsigned data_len, unsigned lag, FLAC__real autoc[]);
55 #ifndef FLAC__NO_ASM
56 #  ifdef FLAC__CPU_IA32
57 #    ifdef FLAC__HAS_NASM
58 void FLAC__lpc_compute_autocorrelation_asm_ia32(const FLAC__real data[], unsigned data_len, unsigned lag, FLAC__real autoc[]);
59 void FLAC__lpc_compute_autocorrelation_asm_ia32_sse_lag_4(const FLAC__real data[], unsigned data_len, unsigned lag, FLAC__real autoc[]);
60 void FLAC__lpc_compute_autocorrelation_asm_ia32_sse_lag_8(const FLAC__real data[], unsigned data_len, unsigned lag, FLAC__real autoc[]);
61 void FLAC__lpc_compute_autocorrelation_asm_ia32_sse_lag_12(const FLAC__real data[], unsigned data_len, unsigned lag, FLAC__real autoc[]);
62 void FLAC__lpc_compute_autocorrelation_asm_ia32_3dnow(const FLAC__real data[], unsigned data_len, unsigned lag, FLAC__real autoc[]);
63 #    endif
64 #  endif
65 #endif
66
67 /*
68  *      FLAC__lpc_compute_lp_coefficients()
69  *      --------------------------------------------------------------------
70  *      Computes LP coefficients for orders 1..max_order.
71  *      Do not call if autoc[0] == 0.0.  This means the signal is zero
72  *      and there is no point in calculating a predictor.
73  *
74  *      IN autoc[0,max_order]                      autocorrelation values
75  *      IN 0 < max_order <= FLAC__MAX_LPC_ORDER    max LP order to compute
76  *      OUT lp_coeff[0,max_order-1][0,max_order-1] LP coefficients for each order
77  *      *** IMPORTANT:
78  *      *** lp_coeff[0,max_order-1][max_order,FLAC__MAX_LPC_ORDER-1] are untouched
79  *      OUT error[0,max_order-1]                   error for each order
80  *
81  *      Example: if max_order is 9, the LP coefficients for order 9 will be
82  *               in lp_coeff[8][0,8], the LP coefficients for order 8 will be
83  *                       in lp_coeff[7][0,7], etc.
84  */
85 void FLAC__lpc_compute_lp_coefficients(const FLAC__real autoc[], unsigned max_order, FLAC__real lp_coeff[][FLAC__MAX_LPC_ORDER], FLAC__double error[]);
86
87 /*
88  *      FLAC__lpc_quantize_coefficients()
89  *      --------------------------------------------------------------------
90  *      Quantizes the LP coefficients.  NOTE: precision + bits_per_sample
91  *      must be less than 32 (sizeof(FLAC__int32)*8).
92  *
93  *      IN lp_coeff[0,order-1]    LP coefficients
94  *      IN order                  LP order
95  *      IN FLAC__MIN_QLP_COEFF_PRECISION < precision
96  *                                desired precision (in bits, including sign
97  *                                bit) of largest coefficient
98  *      OUT qlp_coeff[0,order-1]  quantized coefficients
99  *      OUT shift                 # of bits to shift right to get approximated
100  *                                LP coefficients.  NOTE: could be negative.
101  *      RETURN 0 => quantization OK
102  *             1 => coefficients require too much shifting for *shift to
103  *              fit in the LPC subframe header.  'shift' is unset.
104  *         2 => coefficients are all zero, which is bad.  'shift' is
105  *              unset.
106  */
107 int FLAC__lpc_quantize_coefficients(const FLAC__real lp_coeff[], unsigned order, unsigned precision, FLAC__int32 qlp_coeff[], int *shift);
108
109 /*
110  *      FLAC__lpc_compute_residual_from_qlp_coefficients()
111  *      --------------------------------------------------------------------
112  *      Compute the residual signal obtained from sutracting the predicted
113  *      signal from the original.
114  *
115  *      IN data[-order,data_len-1] original signal (NOTE THE INDICES!)
116  *      IN data_len                length of original signal
117  *      IN qlp_coeff[0,order-1]    quantized LP coefficients
118  *      IN order > 0               LP order
119  *      IN lp_quantization         quantization of LP coefficients in bits
120  *      OUT residual[0,data_len-1] residual signal
121  */
122 void FLAC__lpc_compute_residual_from_qlp_coefficients(const FLAC__int32 data[], unsigned data_len, const FLAC__int32 qlp_coeff[], unsigned order, int lp_quantization, FLAC__int32 residual[]);
123 void FLAC__lpc_compute_residual_from_qlp_coefficients_wide(const FLAC__int32 data[], unsigned data_len, const FLAC__int32 qlp_coeff[], unsigned order, int lp_quantization, FLAC__int32 residual[]);
124 #ifndef FLAC__NO_ASM
125 #  ifdef FLAC__CPU_IA32
126 #    ifdef FLAC__HAS_NASM
127 void FLAC__lpc_compute_residual_from_qlp_coefficients_asm_ia32(const FLAC__int32 data[], unsigned data_len, const FLAC__int32 qlp_coeff[], unsigned order, int lp_quantization, FLAC__int32 residual[]);
128 void FLAC__lpc_compute_residual_from_qlp_coefficients_asm_ia32_mmx(const FLAC__int32 data[], unsigned data_len, const FLAC__int32 qlp_coeff[], unsigned order, int lp_quantization, FLAC__int32 residual[]);
129 #    endif
130 #  endif
131 #endif
132
133 /*
134  *      FLAC__lpc_restore_signal()
135  *      --------------------------------------------------------------------
136  *      Restore the original signal by summing the residual and the
137  *      predictor.
138  *
139  *      IN residual[0,data_len-1]  residual signal
140  *      IN data_len                length of original signal
141  *      IN qlp_coeff[0,order-1]    quantized LP coefficients
142  *      IN order > 0               LP order
143  *      IN lp_quantization         quantization of LP coefficients in bits
144  *      *** IMPORTANT: the caller must pass in the historical samples:
145  *      IN  data[-order,-1]        previously-reconstructed historical samples
146  *      OUT data[0,data_len-1]     original signal
147  */
148 void FLAC__lpc_restore_signal(const FLAC__int32 residual[], unsigned data_len, const FLAC__int32 qlp_coeff[], unsigned order, int lp_quantization, FLAC__int32 data[]);
149 void FLAC__lpc_restore_signal_wide(const FLAC__int32 residual[], unsigned data_len, const FLAC__int32 qlp_coeff[], unsigned order, int lp_quantization, FLAC__int32 data[]);
150 #ifndef FLAC__NO_ASM
151 #  ifdef FLAC__CPU_IA32
152 #    ifdef FLAC__HAS_NASM
153 void FLAC__lpc_restore_signal_asm_ia32(const FLAC__int32 residual[], unsigned data_len, const FLAC__int32 qlp_coeff[], unsigned order, int lp_quantization, FLAC__int32 data[]);
154 void FLAC__lpc_restore_signal_asm_ia32_mmx(const FLAC__int32 residual[], unsigned data_len, const FLAC__int32 qlp_coeff[], unsigned order, int lp_quantization, FLAC__int32 data[]);
155 #    endif /* FLAC__HAS_NASM */
156 #  elif defined FLAC__CPU_PPC
157 void FLAC__lpc_restore_signal_asm_ppc_altivec_16(const FLAC__int32 residual[], unsigned data_len, const FLAC__int32 qlp_coeff[], unsigned order, int lp_quantization, FLAC__int32 data[]);
158 void FLAC__lpc_restore_signal_asm_ppc_altivec_16_order8(const FLAC__int32 residual[], unsigned data_len, const FLAC__int32 qlp_coeff[], unsigned order, int lp_quantization, FLAC__int32 data[]);
159 #  endif/* FLAC__CPU_IA32 || FLAC__CPU_PPC */
160 #endif /* FLAC__NO_ASM */
161
162 /*
163  *      FLAC__lpc_compute_expected_bits_per_residual_sample()
164  *      --------------------------------------------------------------------
165  *      Compute the expected number of bits per residual signal sample
166  *      based on the LP error (which is related to the residual variance).
167  *
168  *      IN lpc_error >= 0.0   error returned from calculating LP coefficients
169  *      IN total_samples > 0  # of samples in residual signal
170  *      RETURN                expected bits per sample
171  */
172 FLAC__double FLAC__lpc_compute_expected_bits_per_residual_sample(FLAC__double lpc_error, unsigned total_samples);
173 FLAC__double FLAC__lpc_compute_expected_bits_per_residual_sample_with_error_scale(FLAC__double lpc_error, FLAC__double error_scale);
174
175 /*
176  *      FLAC__lpc_compute_best_order()
177  *      --------------------------------------------------------------------
178  *      Compute the best order from the array of signal errors returned
179  *      during coefficient computation.
180  *
181  *      IN lpc_error[0,max_order-1] >= 0.0  error returned from calculating LP coefficients
182  *      IN max_order > 0                    max LP order
183  *      IN total_samples > 0                # of samples in residual signal
184  *      IN bits_per_signal_sample           # of bits per sample in the original signal
185  *      RETURN [1,max_order]                best order
186  */
187 unsigned FLAC__lpc_compute_best_order(const FLAC__double lpc_error[], unsigned max_order, unsigned total_samples, unsigned bits_per_signal_sample);
188
189 #endif