fixed integer overflow warnings

Jenkins warns on left shift of negative numbers and non-aligned read
of int. This commit fixed the two issues.

Change-Id: I389a7fb6a572c643902e40a4c10fefef94500d2c

Merge "Correctly set the segment_id prediction flag and context"

Merge "Align struct to 32 bytes"

Merge "Limit mv search range for first pass and mbgraph"

Align struct to 32 bytes

Change-Id: I32fd813af7dd2a7d451f5fda278ea888b181fa8e

Merge "Moving from int_mv* to MV* (2)."

Merge "Replacing txfm with tx."

Merge "Removing unused SUBMVREF_COUNT constant."

Merge "Adding vp9_get_entropy_contexts function."

Merge "Removing redundant 'extern' keyword."

Removing unused SUBMVREF_COUNT constant.

Change-Id: I302ab4603553352a84b57bc89bc9e3d037978d29

Adding vp9_get_entropy_contexts function.

Change-Id: Ife0dd29fb4ad65c7e12ac5f1db8cea4ed81de488

Replacing txfm with tx.

Renaming txfm_stepdown_count to tx_stepdown_count and max_txfm_size to
max_tx_size.

Change-Id: Ifc173e22c78240e561a57c4c741b64b1b8fc6fef

Merge "Cleaning up vp9_update_nmv_count function."

Cleaning up vp9_update_nmv_count function.

Using best_mv[2] array instead of two separate variables.

Change-Id: Iefa0a41f5c42c42f2c66cef26750da68405f0f25

Removing redundant 'extern' keyword.

Change-Id: Ie51306689c0dc527a8aa12d3984389dd8f360dea

Replacing unsigned char* with uint8_t*.

Change-Id: I99a1880aee015ae16311ba05a31aa307df89bef2

Correctly set the segment_id prediction flag and context

This fix a bug introduced by ac6093d179d8488f90bf10c6d0abcc48be327d28

Change-Id: I0700a4daf7a6a2471074f81a4596352287fb2ac9

Limit mv search range for first pass and mbgraph

Both first pass and mbgraph search use block size 16x16 for motion
estimation. This commit put a limit of motion vector range. The
effective range allows the entire 16x16 with required subpel
interpolation input to be completely outside image border, but
not any further away from image border.

Change-Id: Id70a5ed08be49e70959f064859d72adc7d775d08

Moving from int_mv* to MV* (2).

Updating fractional_mv_step_fp and fractional_mv_step_comp_fp function
types.

Change-Id: I601c4378bc39ac3ffd4e295d9cbd8e1f74829d46

Merge "Remove redundant mode update in sub8x8 decoding"

Merge "Moving from int_mv to MV."

Merge "Replace memcpy with vpx_memcpy"

Replace memcpy with vpx_memcpy

Also removed obselete comment

Change-Id: Iae1664777d76383639c637ee786e0d50fc45819a

Rename defined constants

The change is to better reflect the nature of the constants.

Change-Id: Icabac6e9bceefbdb3f03f8218f88ef75943c30fb

Prevent using uninitialized value in RD decision

INT64_MAX may be assigned as RDCOST when RDCSOST computation is skipped
for speed, this commit to prevent INT64_MAX from being used as real
RDCOST in transform size decision.

Change-Id: I89a945134191bbdea1f1431ade70424ac079eaac

Merge "Change to prevent invalid memory access"

Merge "Adding best_mv[2] array instead of two variables."

Merge "Small tweak in the constant quality parameter"

Merge "vpxenc: Stop writing the WebM FrameRate element."

vpxenc: Stop writing the WebM FrameRate element.

The FrameRate element has been deprecated.

Change-Id: I68ac496e7b33685a100a45d2772e0ff30eb6a811

Merge "Enable per transformed block zero coeffs forcing"

Merge "Calculate rd cost per transformed block"

Small tweak in the constant quality parameter

Improves results a little.

Change-Id: I7bcac02dbb65b43a993445cf557c520197114e5c

Merge "Number of instructions in fdct4_1d_sse2 reduced by two."

Change to prevent invalid memory access

After change of MI context storage , mi_8x8[]  pointer may be null for
a block outside of image border. The commit changes to access the data
only after validation of mi_row and mi_col.

Change-Id: I039c4eb486a228ea9d8e5f35ab9ae6717d718bf3

Number of instructions in fdct4_1d_sse2 reduced by two.

Mathematically the results are the same.

Change-Id: I1c5126cd3ca64e8515ca6331e0989c6f7dd651a0

Remove redundant mode update in sub8x8 decoding

The probability model used to code prediction mode is conditioned
on the immediate above and left 8x8 blocks' prediction modes. When
the above/left block is coded in sub8x8 mode, we use the prediction
mode of the bottom-right sub8x8 block as the reference to generate
the context.

This commit moves the update of mbmi.mode out of the sub8x8 decoding
loop, hence removing redundant update steps and keeping the bottom-
right block's mode for the decoding process of next blocks.

Change-Id: I1e8d749684d201c1a1151697621efa5d569218b6

change to prevent computatio of log(0.0)

Change-Id: I5759f309f94a2b5c1297e6db3735c52986d3ecb2

fix integer overflow in vp8

Change-Id: I62550a7a883115f3ce878710cf3bb039bea54390

Merge "Correct 3 step search site initialziation"

Merge "Hide global symbols for macho32/64"

Correct 3 step search site initialziation

39c7b01d accidently reverted the row/col initialization, which broke
mv clamps, which is dependent on the sites for valid motion vector
range. This commit fixed the issue.

Change-Id: Ibcce0226e0360b1ef483fe760b2e33f1af4bf494

Hide global symbols for macho32/64

Added hiding global symbols for macho32 and macho64 in x86inc.asm.
This was done to fix exported symbol issue in Chrome build.

Change-Id: I08d5c559b985b82f655b537469fee125615e78c0

Enable per transformed block zero coeffs forcing

This commit enables forcing all coefficients zero per transformed
block, when its rate-distortion cost is lower than regular coeff
quantization.

The overall performance improvement (including its parent patch on
calculating rd cost per transformed block) at speed 1:
derf:  0.298%
yt:    0.452%
hd:    0.741%
stdhd: 0.006%

Change-Id: I66005fe0fd7af192c3eba32e02fd6d77952accb5

Merge "Remove redundant mv_pred use for sub8x8 blocks"

Improves constant qual, constrained qual turned on

Adds modeled functions to decide the qp for altref frames in constant q
mode similar to other functions in use in bitrate mode.

Also turns on the constrained quality mode (end-usage=2) option which
was turned off before. Basic testing shows the mode works in principle,
to cap bitrate to the target-bitrate specified, while allowing lower
bitrate depending on the cq-level specified. The mode will need to be
improved over time.

Results for constant quality vs bitrate control mode:
derfraw300/fullderfraw: +3.0% at constant quality over bitrate control.
fullstdhdraw: +4.341%
stdhdraw250: +5.361%

Change-Id: If5027c9ec66c8e88d33e47062c6cb84a07b1cda9

Merge "Cleanup in vp9_init3smotion_compensation."

Merge "thumb: Extend the regexp for handling negative register indexing"

Use lowercase instruction in assembly

The iOS compiler does not recognize BLE:
bad instruction `BLE idct32_transpose_pair_loop'

Change-Id: I7426694c66bc31caf939a2d5000968da1222c15b

Calculate rd cost per transformed block

This commit makes the rate-distortion optimization loop evaluate
the rd costs of regular quantization and all zero coeffs, per
transformed block. It improves speed 1 compression performance:

derf: 0.245%
yt:   0.515%

For a large partition that consists multiple transformed blocks,
this allows more flexibility to selectively force a portion of
them coded as all zero coeffs, as well be continued in the next
patches.

Change-Id: I211518be4179747b57375696f017d1160cc91851

Adding best_mv[2] array instead of two variables.

Change-Id: I584fe50f73879f6a72fada45714ef80893b6d549

Moving from int_mv to MV.

Converting vp9_mv_bit_cost, mv_err_cost, and mvsad_err_cost
functions for now.

Change-Id: I60e3cc20daef773c2adf9a18e30bc85b1c2eb211

Cleanup in vp9_init3smotion_compensation.

Change-Id: Ie47f53e76bc9530475c8c6d24e9b7a5a0189de56

Merge "Adding get_scan_and_band function."

Remove redundant mv_pred use for sub8x8 blocks

The sub8x8 blocks has its own motion vector reference scheme. The
mv_pred is only used blocks of sizes 8x8 and above, to find the
starting point for motion search.

This change does not change any coding behavior. It makes the
encoding process slightly faster. (0.5% speed-up for local test on
speed 1.)

Change-Id: I746ee6ef0eac19aa3621be014afa12be8d82cbb9

Merge "Refactor 8x8 fwd transform unit test"

Merge "fix vp8-only build"

change to avoid invalid memory read.

The fake token EOSB may cause invaild memory read in pack token, this
commit reworked the loop to avoid such invalid read.

Change-Id: I37fdfce869b44a7f90003f82a02f84c45472a457

fix integer overflow errors

Change-Id: I76f440a917832c02d7a727697b225bac66b99f56

Adding get_scan_and_band function.

Extracting get_scan_and_band function from get_entropy_context to
remove duplicated code.

Change-Id: I5da1f5a60263017e887da68bc834317b5f084cb2

thumb: Extend the regexp for handling negative register indexing

Now the same regexp that previously handled cases such as
"ldr r1, [r2, -r3]" also can handle the first operand being omitted
as in "pld [r2, -r3]".

This fixes building vp9_convolve8*neon.asm in thumb mode (and thus,
for Windows Phone as well).

Change-Id: I20c1c3f2bfb2587fb5fa523b863972a7fe30d8ff

Merge "Removing redundant code from vp9_mcomp.c."

Merge "Removing redundant coef calculation + cleanup."

Merge "Fixing typo in the encoder."

Merge "Fix x86inc.asm to build PIC code correctly"

Fix x86inc.asm to build PIC code correctly

Current x86inc.asm didn't handle 32bit PIC build properly.
TEXTRELs were seen in the library built. The PIC macros from
libvpx's x86_abi_support.asm was used to fix this problem.
The assembly code was modified to use the macros.

Notes: We need this fix in for decoder building. Functions in
encoder will be fixed later.

Change-Id: Ifa548d37b1d0bc7d0528db75009cc18cd5eb1838

Merge "Modified resize unit test to output test vector"

Removing redundant coef calculation + cleanup.

Adding temp variable for &x->plane[0], inlining src_diff values.

Change-Id: I24c08a5425a6da6fd66f5b0278f2fce74f9989b2

Removing redundant code from vp9_mcomp.c.

Replacing ((1 << MV_MAX_BITS) - 1) with MV_MAX, adding const
qualifiers, reusing computed values.

Change-Id: I7b46d47f6c644b079d9c3478116a9de465a9baec

Fixing typo in the encoder.

Change-Id: I168efdc366eecf638694f357ccad2f4eba7e2fdb

fix vp8-only build

Change-Id: Id9ce44f3364dd57b30ea491d956a2a0d6186be05

Merge "Silence a bunch of MSVC warnings"

Clean up second ref check in sub8x8 rd loop

This commit cleans up the second reference check in the
rate-distortion optimization loop of sub8x8 blocks.

Change-Id: Ife68feaa4cddbfad2878c9b44d3012788d634f97

Modified resize unit test to output test vector

Modified the resize unit test so that it optionally
writes the encoded bitstream to file. The macro
WRITE_COMPRESSED_STREAM should be set to 1 to enable
output of the test bitstream; it is set to 0 by default.

Change-Id: I7d436b1942f935da97db6d84574a98d379f57fb1

Silence a bunch of MSVC warnings

Change-Id: I16633269582a640809dca27572bbe99efa6369fc

Remove redundant argument in get_sub_block_mv

The sub8x8 check can be directly inferred from block_idx, hence
removed from the arguments if get_sub_block_mv.

Change-Id: Ib766d57e81248fb92df0f6d9b163e6c77b933ccd

Merge "Minor clean up."

Merge "Adjustment to mode_skip_start."

Refactor 8x8 fwd transform unit test

This commit reworked the unit test for 8x8 forward transform. It
allows scalability to cover various implemented versions.

Change-Id: I5594bd3e2307bb5bec764eaffd8860caa260e432

Merge "Fix failure to copy data files if content changes"

Fix failure to copy data files if content changes

Jenkins was failing to detect the case where an existing
file is recreated with new content. In this case, thinking
that the file already existed, Jenkins did not re-copy the
file as it should have.

By adding the file test-data.sha1 as a dependendency to
the LIBVPX_TEST_DATA build target the files will be
recopied if the MD5 of an existing file changes.

This could be further improved to only copy files that
have changed rather than copying the whole set as done in
this patch.

(Thanks to jzern@ who diagnozed ithe problem and suggested
this fix).

Change-Id: Icea7c61a95189bc639fec83020c28c70da5b2b41

Merge "Speed up iht8x8 by rearranging instructions. Speed improves from 282% to 302% faster based on assembly-perf."

Speed up iht8x8 by rearranging instructions.
Speed improves from 282% to 302% faster based on assembly-perf.

Change-Id: I08c5c1a542d43361611198f750b725e4303d19e2

fix a problem where an invalid mv used in search

The commit added reset of pred_mv at the beginning of each SB64x64
partition mv search, also limited the usage of pred_mv only when
search on the largest partition is already done. This is to fix
a crash at speed 1/2 encoder where an invalid mv is used in mv
search.

Change-Id: I39010177da76d054e3c90b7899a44feb2e3a5b1b

Minor clean up.

Removed some unused code and minor cleanup
/ reordering.

Change-Id: I4083ae56aeb8edfe9b85aa2f42a16aa28d19da94

Adjustment to mode_skip_start.

Corrected values relating to modified mode order.

Change-Id: I24fccba3af4bc16721d5e7e51888a66305bfa7fe

Merge "Revert "Improved 8t filters""

Merge "Minor adjustment in unit tests"

Revert "Improved 8t filters"

This is incompatible with most toolchains other than gcc.

Revert "Deleted #include <inttypes.h>"

This reverts commit 4d018be950ef8b056a7c797a22ee58012443df26.

This reverts commit d22a504d11a15dc3eab666859db0046b5a7d75c5.

Change-Id: I1751dc6831f4395ee064e6748281418e967e1dcf

Merge "Adaptive motion search control"

Adaptive motion search control

This commit enables adaptive constraint on motion search range for
smaller partitions, given the motion vectors of collocated larger
partition as a candidate initial search point.

It makes speed 0 runtime of bus at CIF and 2000 kbps goes from
167s down to 162s (3% speed-up), at 0.01dB performance gains. In
the settings of speed 1, this makes the runtime goes from 33687 ms
to 32142 ms (4.5% speed-up), at 0.03dB performance gains.

Compression performance wise, it gains at speed 1:
derf  0.118%
yt    0.237%
hd    0.203%
stdhd 0.438%

Change-Id: Ic8b34c67810d9504a9579bef2825d3fa54b69454

Merge "Clean up of the search best filter speed feature"

Minor adjustment in unit tests

The CpuSpeedTest is extended to cover 2pass good quality with CpuUsed
from 0 to 4. The BordersTest is changed to use CpuUsed 1 for faster
turn around.

Change-Id: I005e89adee7fe63af4b1f2a76a3a13ea826feadf

Merge "Fix VP9_mode_order[]"

Merge "New mode_info_context storage -- undo revert"

Fix VP9_mode_order[]

Mis-merge of the following change managed to break mode order
and delete two mode options (new alt ref and near alt ref)
It also created a situation where we could test two undefined
modes off the end of the VP9_mode_order[] data structure.
  "clang warnings : remove split and i4x4_pred fake modes"
  "Change Id: I8ef3c*"

Initial testing on Akiyo at speed 2.
101.35  44.567  44.447 improves to
96.82  44.915  44.815

Approx 0.3-0.4db gain and 2.5% size reduction

Change-Id: Icff813e7c0778d140ad4f0eea18cf1ed203c4e34

Merge "Deleted #include <inttypes.h>"

Merge "fix clang warning in rdopt"

Merge "Add neon optimize iht8x8 which is 282% faster than C."