vpx_dsp/x86/avg_intrin_sse2: fix int sanitizer warnings
authorHien Ho <hienho@google.com>
Tue, 1 Oct 2019 22:38:25 +0000 (15:38 -0700)
committerHien Ho <hienho@google.com>
Wed, 23 Oct 2019 22:55:56 +0000 (15:55 -0700)
Unit Test: VP9/AqSegmentTest. VP9/CpuSpeedTest, AVX2/Loop8Test6Param

implicit conversion from type 'int' of value 59741 (32-bit, signed) to
type 'int16_t' (aka 'short') changed the value to -5795 (16-bit, signed)

BUG=webm:1615

Change-Id: I2e5b688a97c3caa29d4b8a817b95a4986b81a562

vpx_dsp/x86/avg_intrin_sse2.c

index 5aba903..f469be1 100644 (file)
@@ -571,7 +571,7 @@ int vpx_vector_var_sse2(const int16_t *ref, const int16_t *src, const int bwl) {
   v1 = _mm_srli_epi64(sse, 32);
   sse = _mm_add_epi32(sse, v1);
 
-  mean = _mm_extract_epi16(sum, 0);
+  mean = (int16_t)_mm_extract_epi16(sum, 0);
 
   return _mm_cvtsi128_si32(sse) - ((mean * mean) >> (bwl + 2));
 }