vp8/common/arm/neon/sixtappredict8x4_neon.asm

   1 ;
   2 ;  Copyright (c) 2010 The WebM project authors. All Rights Reserved.
   3 ;
   4 ;  Use of this source code is governed by a BSD-style license
   5 ;  that can be found in the LICENSE file in the root of the source
   6 ;  tree. An additional intellectual property rights grant can be found
   7 ;  in the file PATENTS.  All contributing project authors may
   8 ;  be found in the AUTHORS file in the root of the source tree.
   9 ;
  10
  11
  12     EXPORT  |vp8_sixtap_predict8x4_neon|
  13     ARM
  14     REQUIRE8
  15     PRESERVE8
  16
  17     AREA ||.text||, CODE, READONLY, ALIGN=2
  18
  19 filter8_coeff
  20     DCD     0,  0,  128,    0,   0,  0,   0,  0
  21     DCD     0, -6,  123,   12,  -1,  0,   0,  0
  22     DCD     2, -11, 108,   36,  -8,  1,   0,  0
  23     DCD     0, -9,   93,   50,  -6,  0,   0,  0
  24     DCD     3, -16,  77,   77, -16,  3,   0,  0
  25     DCD     0, -6,   50,   93,  -9,  0,   0,  0
  26     DCD     1, -8,   36,  108, -11,  2,   0,  0
  27     DCD     0, -1,   12,  123,  -6,   0,  0,  0
  28
  29 ; r0    unsigned char  *src_ptr,
  30 ; r1    int  src_pixels_per_line,
  31 ; r2    int  xoffset,
  32 ; r3    int  yoffset,
  33 ; r4    unsigned char *dst_ptr,
  34 ; stack(r5) int  dst_pitch
  35
  36 |vp8_sixtap_predict8x4_neon| PROC
  37     push            {r4-r5, lr}
  38
  39     adr             r12, filter8_coeff
  40     ldr             r4, [sp, #12]           ;load parameters from stack
  41     ldr             r5, [sp, #16]           ;load parameters from stack
  42
  43     cmp             r2, #0                  ;skip first_pass filter if xoffset=0
  44     beq             secondpass_filter8x4_only
  45
  46     add             r2, r12, r2, lsl #5     ;calculate filter location
  47
  48     cmp             r3, #0                  ;skip second_pass filter if yoffset=0
  49
  50     vld1.s32        {q14, q15}, [r2]        ;load first_pass filter
  51
  52     beq             firstpass_filter8x4_only
  53
  54     sub             sp, sp, #32             ;reserve space on stack for temporary storage
  55     vabs.s32        q12, q14
  56     vabs.s32        q13, q15
  57
  58     sub             r0, r0, #2              ;move srcptr back to (line-2) and (column-2)
  59     mov             lr, sp
  60     sub             r0, r0, r1, lsl #1
  61
  62     vdup.8          d0, d24[0]              ;first_pass filter (d0-d5)
  63     vdup.8          d1, d24[4]
  64     vdup.8          d2, d25[0]
  65
  66 ;First pass: output_height lines x output_width columns (9x8)
  67     vld1.u8         {q3}, [r0], r1          ;load src data
  68     vdup.8          d3, d25[4]
  69     vld1.u8         {q4}, [r0], r1
  70     vdup.8          d4, d26[0]
  71     vld1.u8         {q5}, [r0], r1
  72     vdup.8          d5, d26[4]
  73     vld1.u8         {q6}, [r0], r1
  74
  75     pld             [r0]
  76     pld             [r0, r1]
  77     pld             [r0, r1, lsl #1]
  78
  79     vmull.u8        q7, d6, d0              ;(src_ptr[-2] * vp8_filter[0])
  80     vmull.u8        q8, d8, d0
  81     vmull.u8        q9, d10, d0
  82     vmull.u8        q10, d12, d0
  83
  84     vext.8          d28, d6, d7, #1         ;construct src_ptr[-1]
  85     vext.8          d29, d8, d9, #1
  86     vext.8          d30, d10, d11, #1
  87     vext.8          d31, d12, d13, #1
  88
  89     vmlsl.u8        q7, d28, d1             ;-(src_ptr[-1] * vp8_filter[1])
  90     vmlsl.u8        q8, d29, d1
  91     vmlsl.u8        q9, d30, d1
  92     vmlsl.u8        q10, d31, d1
  93
  94     vext.8          d28, d6, d7, #4         ;construct src_ptr[2]
  95     vext.8          d29, d8, d9, #4
  96     vext.8          d30, d10, d11, #4
  97     vext.8          d31, d12, d13, #4
  98
  99     vmlsl.u8        q7, d28, d4             ;-(src_ptr[2] * vp8_filter[4])
 100     vmlsl.u8        q8, d29, d4
 101     vmlsl.u8        q9, d30, d4
 102     vmlsl.u8        q10, d31, d4
 103
 104     vext.8          d28, d6, d7, #2         ;construct src_ptr[0]
 105     vext.8          d29, d8, d9, #2
 106     vext.8          d30, d10, d11, #2
 107     vext.8          d31, d12, d13, #2
 108
 109     vmlal.u8        q7, d28, d2             ;(src_ptr[0] * vp8_filter[2])
 110     vmlal.u8        q8, d29, d2
 111     vmlal.u8        q9, d30, d2
 112     vmlal.u8        q10, d31, d2
 113
 114     vext.8          d28, d6, d7, #5         ;construct src_ptr[3]
 115     vext.8          d29, d8, d9, #5
 116     vext.8          d30, d10, d11, #5
 117     vext.8          d31, d12, d13, #5
 118
 119     vmlal.u8        q7, d28, d5             ;(src_ptr[3] * vp8_filter[5])
 120     vmlal.u8        q8, d29, d5
 121     vmlal.u8        q9, d30, d5
 122     vmlal.u8        q10, d31, d5
 123
 124     vext.8          d28, d6, d7, #3         ;construct src_ptr[1]
 125     vext.8          d29, d8, d9, #3
 126     vext.8          d30, d10, d11, #3
 127     vext.8          d31, d12, d13, #3
 128
 129     vmull.u8        q3, d28, d3             ;(src_ptr[1] * vp8_filter[3])
 130     vmull.u8        q4, d29, d3
 131     vmull.u8        q5, d30, d3
 132     vmull.u8        q6, d31, d3
 133
 134     vqadd.s16       q7, q3                  ;sum of all (src_data*filter_parameters)
 135     vqadd.s16       q8, q4
 136     vqadd.s16       q9, q5
 137     vqadd.s16       q10, q6
 138
 139     vld1.u8         {q3}, [r0], r1          ;load src data
 140
 141     vqrshrun.s16    d22, q7, #7             ;shift/round/saturate to u8
 142     vqrshrun.s16    d23, q8, #7
 143     vqrshrun.s16    d24, q9, #7
 144     vqrshrun.s16    d25, q10, #7
 145
 146     vld1.u8         {q4}, [r0], r1
 147     vst1.u8         {d22}, [lr]!            ;store result
 148     vld1.u8         {q5}, [r0], r1
 149     vst1.u8         {d23}, [lr]!
 150     vld1.u8         {q6}, [r0], r1
 151     vst1.u8         {d24}, [lr]!
 152     vld1.u8         {q7}, [r0], r1
 153     vst1.u8         {d25}, [lr]!
 154
 155     ;first_pass filtering on the rest 5-line data
 156     vmull.u8        q8, d6, d0              ;(src_ptr[-2] * vp8_filter[0])
 157     vmull.u8        q9, d8, d0
 158     vmull.u8        q10, d10, d0
 159     vmull.u8        q11, d12, d0
 160     vmull.u8        q12, d14, d0
 161
 162     vext.8          d27, d6, d7, #1         ;construct src_ptr[-1]
 163     vext.8          d28, d8, d9, #1
 164     vext.8          d29, d10, d11, #1
 165     vext.8          d30, d12, d13, #1
 166     vext.8          d31, d14, d15, #1
 167
 168     vmlsl.u8        q8, d27, d1             ;-(src_ptr[-1] * vp8_filter[1])
 169     vmlsl.u8        q9, d28, d1
 170     vmlsl.u8        q10, d29, d1
 171     vmlsl.u8        q11, d30, d1
 172     vmlsl.u8        q12, d31, d1
 173
 174     vext.8          d27, d6, d7, #4         ;construct src_ptr[2]
 175     vext.8          d28, d8, d9, #4
 176     vext.8          d29, d10, d11, #4
 177     vext.8          d30, d12, d13, #4
 178     vext.8          d31, d14, d15, #4
 179
 180     vmlsl.u8        q8, d27, d4             ;-(src_ptr[2] * vp8_filter[4])
 181     vmlsl.u8        q9, d28, d4
 182     vmlsl.u8        q10, d29, d4
 183     vmlsl.u8        q11, d30, d4
 184     vmlsl.u8        q12, d31, d4
 185
 186     vext.8          d27, d6, d7, #2         ;construct src_ptr[0]
 187     vext.8          d28, d8, d9, #2
 188     vext.8          d29, d10, d11, #2
 189     vext.8          d30, d12, d13, #2
 190     vext.8          d31, d14, d15, #2
 191
 192     vmlal.u8        q8, d27, d2             ;(src_ptr[0] * vp8_filter[2])
 193     vmlal.u8        q9, d28, d2
 194     vmlal.u8        q10, d29, d2
 195     vmlal.u8        q11, d30, d2
 196     vmlal.u8        q12, d31, d2
 197
 198     vext.8          d27, d6, d7, #5         ;construct src_ptr[3]
 199     vext.8          d28, d8, d9, #5
 200     vext.8          d29, d10, d11, #5
 201     vext.8          d30, d12, d13, #5
 202     vext.8          d31, d14, d15, #5
 203
 204     vmlal.u8        q8, d27, d5             ;(src_ptr[3] * vp8_filter[5])
 205     vmlal.u8        q9, d28, d5
 206     vmlal.u8        q10, d29, d5
 207     vmlal.u8        q11, d30, d5
 208     vmlal.u8        q12, d31, d5
 209
 210     vext.8          d27, d6, d7, #3         ;construct src_ptr[1]
 211     vext.8          d28, d8, d9, #3
 212     vext.8          d29, d10, d11, #3
 213     vext.8          d30, d12, d13, #3
 214     vext.8          d31, d14, d15, #3
 215
 216     vmull.u8        q3, d27, d3             ;(src_ptr[1] * vp8_filter[3])
 217     vmull.u8        q4, d28, d3
 218     vmull.u8        q5, d29, d3
 219     vmull.u8        q6, d30, d3
 220     vmull.u8        q7, d31, d3
 221
 222     vqadd.s16       q8, q3                  ;sum of all (src_data*filter_parameters)
 223     vqadd.s16       q9, q4
 224     vqadd.s16       q10, q5
 225     vqadd.s16       q11, q6
 226     vqadd.s16       q12, q7
 227
 228     vqrshrun.s16    d26, q8, #7             ;shift/round/saturate to u8
 229     vqrshrun.s16    d27, q9, #7
 230     vqrshrun.s16    d28, q10, #7
 231     vqrshrun.s16    d29, q11, #7                ;load intermediate data from stack
 232     vqrshrun.s16    d30, q12, #7
 233
 234 ;Second pass: 8x4
 235 ;secondpass_filter
 236     add             r3, r12, r3, lsl #5
 237     sub             lr, lr, #32
 238
 239     vld1.s32        {q5, q6}, [r3]          ;load second_pass filter
 240     vld1.u8         {q11}, [lr]!
 241
 242     vabs.s32        q7, q5
 243     vabs.s32        q8, q6
 244
 245     vld1.u8         {q12}, [lr]!
 246
 247     vdup.8          d0, d14[0]              ;second_pass filter parameters (d0-d5)
 248     vdup.8          d1, d14[4]
 249     vdup.8          d2, d15[0]
 250     vdup.8          d3, d15[4]
 251     vdup.8          d4, d16[0]
 252     vdup.8          d5, d16[4]
 253
 254     vmull.u8        q3, d22, d0             ;(src_ptr[-2] * vp8_filter[0])
 255     vmull.u8        q4, d23, d0
 256     vmull.u8        q5, d24, d0
 257     vmull.u8        q6, d25, d0
 258
 259     vmlsl.u8        q3, d23, d1             ;-(src_ptr[-1] * vp8_filter[1])
 260     vmlsl.u8        q4, d24, d1
 261     vmlsl.u8        q5, d25, d1
 262     vmlsl.u8        q6, d26, d1
 263
 264     vmlsl.u8        q3, d26, d4             ;-(src_ptr[2] * vp8_filter[4])
 265     vmlsl.u8        q4, d27, d4
 266     vmlsl.u8        q5, d28, d4
 267     vmlsl.u8        q6, d29, d4
 268
 269     vmlal.u8        q3, d24, d2             ;(src_ptr[0] * vp8_filter[2])
 270     vmlal.u8        q4, d25, d2
 271     vmlal.u8        q5, d26, d2
 272     vmlal.u8        q6, d27, d2
 273
 274     vmlal.u8        q3, d27, d5             ;(src_ptr[3] * vp8_filter[5])
 275     vmlal.u8        q4, d28, d5
 276     vmlal.u8        q5, d29, d5
 277     vmlal.u8        q6, d30, d5
 278
 279     vmull.u8        q7, d25, d3             ;(src_ptr[1] * vp8_filter[3])
 280     vmull.u8        q8, d26, d3
 281     vmull.u8        q9, d27, d3
 282     vmull.u8        q10, d28, d3
 283
 284     vqadd.s16       q7, q3                  ;sum of all (src_data*filter_parameters)
 285     vqadd.s16       q8, q4
 286     vqadd.s16       q9, q5
 287     vqadd.s16       q10, q6
 288
 289     vqrshrun.s16    d6, q7, #7              ;shift/round/saturate to u8
 290     vqrshrun.s16    d7, q8, #7
 291     vqrshrun.s16    d8, q9, #7
 292     vqrshrun.s16    d9, q10, #7
 293
 294     vst1.u8         {d6}, [r4], r5          ;store result
 295     vst1.u8         {d7}, [r4], r5
 296     vst1.u8         {d8}, [r4], r5
 297     vst1.u8         {d9}, [r4], r5
 298
 299     add             sp, sp, #32
 300     pop             {r4-r5,pc}
 301
 302 ;--------------------
 303 firstpass_filter8x4_only
 304     vabs.s32        q12, q14
 305     vabs.s32        q13, q15
 306
 307     sub             r0, r0, #2              ;move srcptr back to (line-2) and (column-2)
 308     vld1.u8         {q3}, [r0], r1          ;load src data
 309
 310     vdup.8          d0, d24[0]              ;first_pass filter (d0-d5)
 311     vld1.u8         {q4}, [r0], r1
 312     vdup.8          d1, d24[4]
 313     vld1.u8         {q5}, [r0], r1
 314     vdup.8          d2, d25[0]
 315     vld1.u8         {q6}, [r0], r1
 316     vdup.8          d3, d25[4]
 317     vdup.8          d4, d26[0]
 318     vdup.8          d5, d26[4]
 319
 320 ;First pass: output_height lines x output_width columns (4x8)
 321     pld             [r0]
 322     pld             [r0, r1]
 323     pld             [r0, r1, lsl #1]
 324
 325     vmull.u8        q7, d6, d0              ;(src_ptr[-2] * vp8_filter[0])
 326     vmull.u8        q8, d8, d0
 327     vmull.u8        q9, d10, d0
 328     vmull.u8        q10, d12, d0
 329
 330     vext.8          d28, d6, d7, #1         ;construct src_ptr[-1]
 331     vext.8          d29, d8, d9, #1
 332     vext.8          d30, d10, d11, #1
 333     vext.8          d31, d12, d13, #1
 334
 335     vmlsl.u8        q7, d28, d1             ;-(src_ptr[-1] * vp8_filter[1])
 336     vmlsl.u8        q8, d29, d1
 337     vmlsl.u8        q9, d30, d1
 338     vmlsl.u8        q10, d31, d1
 339
 340     vext.8          d28, d6, d7, #4         ;construct src_ptr[2]
 341     vext.8          d29, d8, d9, #4
 342     vext.8          d30, d10, d11, #4
 343     vext.8          d31, d12, d13, #4
 344
 345     vmlsl.u8        q7, d28, d4             ;-(src_ptr[2] * vp8_filter[4])
 346     vmlsl.u8        q8, d29, d4
 347     vmlsl.u8        q9, d30, d4
 348     vmlsl.u8        q10, d31, d4
 349
 350     vext.8          d28, d6, d7, #2         ;construct src_ptr[0]
 351     vext.8          d29, d8, d9, #2
 352     vext.8          d30, d10, d11, #2
 353     vext.8          d31, d12, d13, #2
 354
 355     vmlal.u8        q7, d28, d2             ;(src_ptr[0] * vp8_filter[2])
 356     vmlal.u8        q8, d29, d2
 357     vmlal.u8        q9, d30, d2
 358     vmlal.u8        q10, d31, d2
 359
 360     vext.8          d28, d6, d7, #5         ;construct src_ptr[3]
 361     vext.8          d29, d8, d9, #5
 362     vext.8          d30, d10, d11, #5
 363     vext.8          d31, d12, d13, #5
 364
 365     vmlal.u8        q7, d28, d5             ;(src_ptr[3] * vp8_filter[5])
 366     vmlal.u8        q8, d29, d5
 367     vmlal.u8        q9, d30, d5
 368     vmlal.u8        q10, d31, d5
 369
 370     vext.8          d28, d6, d7, #3         ;construct src_ptr[1]
 371     vext.8          d29, d8, d9, #3
 372     vext.8          d30, d10, d11, #3
 373     vext.8          d31, d12, d13, #3
 374
 375     vmull.u8        q3, d28, d3             ;(src_ptr[1] * vp8_filter[3])
 376     vmull.u8        q4, d29, d3
 377     vmull.u8        q5, d30, d3
 378     vmull.u8        q6, d31, d3
 379
 380     vqadd.s16       q7, q3                  ;sum of all (src_data*filter_parameters)
 381     vqadd.s16       q8, q4
 382     vqadd.s16       q9, q5
 383     vqadd.s16       q10, q6
 384
 385     vqrshrun.s16    d22, q7, #7             ;shift/round/saturate to u8
 386     vqrshrun.s16    d23, q8, #7
 387     vqrshrun.s16    d24, q9, #7
 388     vqrshrun.s16    d25, q10, #7
 389
 390     vst1.u8         {d22}, [r4], r5         ;store result
 391     vst1.u8         {d23}, [r4], r5
 392     vst1.u8         {d24}, [r4], r5
 393     vst1.u8         {d25}, [r4], r5
 394
 395     pop             {r4-r5,pc}
 396
 397 ;---------------------
 398 secondpass_filter8x4_only
 399 ;Second pass: 8x4
 400     add             r3, r12, r3, lsl #5
 401     sub             r0, r0, r1, lsl #1
 402     vld1.s32        {q5, q6}, [r3]          ;load second_pass filter
 403     vabs.s32        q7, q5
 404     vabs.s32        q8, q6
 405
 406     vld1.u8         {d22}, [r0], r1
 407     vld1.u8         {d23}, [r0], r1
 408     vld1.u8         {d24}, [r0], r1
 409     vdup.8          d0, d14[0]              ;second_pass filter parameters (d0-d5)
 410     vld1.u8         {d25}, [r0], r1
 411     vdup.8          d1, d14[4]
 412     vld1.u8         {d26}, [r0], r1
 413     vdup.8          d2, d15[0]
 414     vld1.u8         {d27}, [r0], r1
 415     vdup.8          d3, d15[4]
 416     vld1.u8         {d28}, [r0], r1
 417     vdup.8          d4, d16[0]
 418     vld1.u8         {d29}, [r0], r1
 419     vdup.8          d5, d16[4]
 420     vld1.u8         {d30}, [r0], r1
 421
 422     vmull.u8        q3, d22, d0             ;(src_ptr[-2] * vp8_filter[0])
 423     vmull.u8        q4, d23, d0
 424     vmull.u8        q5, d24, d0
 425     vmull.u8        q6, d25, d0
 426
 427     vmlsl.u8        q3, d23, d1             ;-(src_ptr[-1] * vp8_filter[1])
 428     vmlsl.u8        q4, d24, d1
 429     vmlsl.u8        q5, d25, d1
 430     vmlsl.u8        q6, d26, d1
 431
 432     vmlsl.u8        q3, d26, d4             ;-(src_ptr[2] * vp8_filter[4])
 433     vmlsl.u8        q4, d27, d4
 434     vmlsl.u8        q5, d28, d4
 435     vmlsl.u8        q6, d29, d4
 436
 437     vmlal.u8        q3, d24, d2             ;(src_ptr[0] * vp8_filter[2])
 438     vmlal.u8        q4, d25, d2
 439     vmlal.u8        q5, d26, d2
 440     vmlal.u8        q6, d27, d2
 441
 442     vmlal.u8        q3, d27, d5             ;(src_ptr[3] * vp8_filter[5])
 443     vmlal.u8        q4, d28, d5
 444     vmlal.u8        q5, d29, d5
 445     vmlal.u8        q6, d30, d5
 446
 447     vmull.u8        q7, d25, d3             ;(src_ptr[1] * vp8_filter[3])
 448     vmull.u8        q8, d26, d3
 449     vmull.u8        q9, d27, d3
 450     vmull.u8        q10, d28, d3
 451
 452     vqadd.s16       q7, q3                  ;sum of all (src_data*filter_parameters)
 453     vqadd.s16       q8, q4
 454     vqadd.s16       q9, q5
 455     vqadd.s16       q10, q6
 456
 457     vqrshrun.s16    d6, q7, #7              ;shift/round/saturate to u8
 458     vqrshrun.s16    d7, q8, #7
 459     vqrshrun.s16    d8, q9, #7
 460     vqrshrun.s16    d9, q10, #7
 461
 462     vst1.u8         {d6}, [r4], r5          ;store result
 463     vst1.u8         {d7}, [r4], r5
 464     vst1.u8         {d8}, [r4], r5
 465     vst1.u8         {d9}, [r4], r5
 466
 467     pop             {r4-r5,pc}
 468
 469     ENDP
 470
 471 ;-----------------
 472
 473     END