simd/jiss2int-64.asm

   1 ;
   2 ; jiss2int-64.asm - accurate integer IDCT (64-bit SSE2)
   3 ;
   4 ; Copyright 2009 Pierre Ossman <ossman@cendio.se> for Cendio AB
   5 ; Copyright 2009 D. R. Commander
   6 ;
   7 ; Based on
   8 ; x86 SIMD extension for IJG JPEG library
   9 ; Copyright (C) 1999-2006, MIYASAKA Masaru.
  10 ; For conditions of distribution and use, see copyright notice in jsimdext.inc
  11 ;
  12 ; This file should be assembled with NASM (Netwide Assembler),
  13 ; can *not* be assembled with Microsoft's MASM or any compatible
  14 ; assembler (including Borland's Turbo Assembler).
  15 ; NASM is available from http://nasm.sourceforge.net/ or
  16 ; http://sourceforge.net/project/showfiles.php?group_id=6208
  17 ;
  18 ; This file contains a slow-but-accurate integer implementation of the
  19 ; inverse DCT (Discrete Cosine Transform). The following code is based
  20 ; directly on the IJG's original jidctint.c; see the jidctint.c for
  21 ; more details.
  22 ;
  23 ; [TAB8]
  24
  25 %include "jsimdext.inc"
  26 %include "jdct.inc"
  27
  28 ; --------------------------------------------------------------------------
  29
  30 %define CONST_BITS      13
  31 %define PASS1_BITS      2
  32
  33 %define DESCALE_P1      (CONST_BITS-PASS1_BITS)
  34 %define DESCALE_P2      (CONST_BITS+PASS1_BITS+3)
  35
  36 %if CONST_BITS == 13
  37 F_0_298 equ      2446           ; FIX(0.298631336)
  38 F_0_390 equ      3196           ; FIX(0.390180644)
  39 F_0_541 equ      4433           ; FIX(0.541196100)
  40 F_0_765 equ      6270           ; FIX(0.765366865)
  41 F_0_899 equ      7373           ; FIX(0.899976223)
  42 F_1_175 equ      9633           ; FIX(1.175875602)
  43 F_1_501 equ     12299           ; FIX(1.501321110)
  44 F_1_847 equ     15137           ; FIX(1.847759065)
  45 F_1_961 equ     16069           ; FIX(1.961570560)
  46 F_2_053 equ     16819           ; FIX(2.053119869)
  47 F_2_562 equ     20995           ; FIX(2.562915447)
  48 F_3_072 equ     25172           ; FIX(3.072711026)
  49 %else
  50 ; NASM cannot do compile-time arithmetic on floating-point constants.
  51 %define DESCALE(x,n)  (((x)+(1<<((n)-1)))>>(n))
  52 F_0_298 equ     DESCALE( 320652955,30-CONST_BITS)       ; FIX(0.298631336)
  53 F_0_390 equ     DESCALE( 418953276,30-CONST_BITS)       ; FIX(0.390180644)
  54 F_0_541 equ     DESCALE( 581104887,30-CONST_BITS)       ; FIX(0.541196100)
  55 F_0_765 equ     DESCALE( 821806413,30-CONST_BITS)       ; FIX(0.765366865)
  56 F_0_899 equ     DESCALE( 966342111,30-CONST_BITS)       ; FIX(0.899976223)
  57 F_1_175 equ     DESCALE(1262586813,30-CONST_BITS)       ; FIX(1.175875602)
  58 F_1_501 equ     DESCALE(1612031267,30-CONST_BITS)       ; FIX(1.501321110)
  59 F_1_847 equ     DESCALE(1984016188,30-CONST_BITS)       ; FIX(1.847759065)
  60 F_1_961 equ     DESCALE(2106220350,30-CONST_BITS)       ; FIX(1.961570560)
  61 F_2_053 equ     DESCALE(2204520673,30-CONST_BITS)       ; FIX(2.053119869)
  62 F_2_562 equ     DESCALE(2751909506,30-CONST_BITS)       ; FIX(2.562915447)
  63 F_3_072 equ     DESCALE(3299298341,30-CONST_BITS)       ; FIX(3.072711026)
  64 %endif
  65
  66 ; --------------------------------------------------------------------------
  67         SECTION SEG_CONST
  68
  69         alignz  16
  70         global  EXTN(jconst_idct_islow_sse2)
  71
  72 EXTN(jconst_idct_islow_sse2):
  73
  74 PW_F130_F054    times 4 dw  (F_0_541+F_0_765), F_0_541
  75 PW_F054_MF130   times 4 dw  F_0_541, (F_0_541-F_1_847)
  76 PW_MF078_F117   times 4 dw  (F_1_175-F_1_961), F_1_175
  77 PW_F117_F078    times 4 dw  F_1_175, (F_1_175-F_0_390)
  78 PW_MF060_MF089  times 4 dw  (F_0_298-F_0_899),-F_0_899
  79 PW_MF089_F060   times 4 dw -F_0_899, (F_1_501-F_0_899)
  80 PW_MF050_MF256  times 4 dw  (F_2_053-F_2_562),-F_2_562
  81 PW_MF256_F050   times 4 dw -F_2_562, (F_3_072-F_2_562)
  82 PD_DESCALE_P1   times 4 dd  1 << (DESCALE_P1-1)
  83 PD_DESCALE_P2   times 4 dd  1 << (DESCALE_P2-1)
  84 PB_CENTERJSAMP  times 16 db CENTERJSAMPLE
  85
  86         alignz  16
  87
  88 ; --------------------------------------------------------------------------
  89         SECTION SEG_TEXT
  90         BITS    64
  91 ;
  92 ; Perform dequantization and inverse DCT on one block of coefficients.
  93 ;
  94 ; GLOBAL(void)
  95 ; jsimd_idct_islow_sse2 (void * dct_table, JCOEFPTR coef_block,
  96 ;                        JSAMPARRAY output_buf, JDIMENSION output_col)
  97 ;
  98
  99 ; r10 = jpeg_component_info * compptr
 100 ; r11 = JCOEFPTR coef_block
 101 ; r12 = JSAMPARRAY output_buf
 102 ; r13 = JDIMENSION output_col
 103
 104 %define original_rbp    rbp+0
 105 %define wk(i)           rbp-(WK_NUM-(i))*SIZEOF_XMMWORD ; xmmword wk[WK_NUM]
 106 %define WK_NUM          12
 107
 108         align   16
 109         global  EXTN(jsimd_idct_islow_sse2)
 110
 111 EXTN(jsimd_idct_islow_sse2):
 112         push    rbp
 113         mov     rax,rsp                         ; rax = original rbp
 114         sub     rsp, byte 4
 115         and     rsp, byte (-SIZEOF_XMMWORD)     ; align to 128 bits
 116         mov     [rsp],rax
 117         mov     rbp,rsp                         ; rbp = aligned rbp
 118         lea     rsp, [wk(0)]
 119         collect_args
 120
 121         ; ---- Pass 1: process columns from input.
 122
 123         mov     rdx, r10        ; quantptr
 124         mov     rsi, r11                ; inptr
 125
 126 %ifndef NO_ZERO_COLUMN_TEST_ISLOW_SSE2
 127         mov     eax, DWORD [DWBLOCK(1,0,rsi,SIZEOF_JCOEF)]
 128         or      eax, DWORD [DWBLOCK(2,0,rsi,SIZEOF_JCOEF)]
 129         jnz     near .columnDCT
 130
 131         movdqa  xmm0, XMMWORD [XMMBLOCK(1,0,rsi,SIZEOF_JCOEF)]
 132         movdqa  xmm1, XMMWORD [XMMBLOCK(2,0,rsi,SIZEOF_JCOEF)]
 133         por     xmm0, XMMWORD [XMMBLOCK(3,0,rsi,SIZEOF_JCOEF)]
 134         por     xmm1, XMMWORD [XMMBLOCK(4,0,rsi,SIZEOF_JCOEF)]
 135         por     xmm0, XMMWORD [XMMBLOCK(5,0,rsi,SIZEOF_JCOEF)]
 136         por     xmm1, XMMWORD [XMMBLOCK(6,0,rsi,SIZEOF_JCOEF)]
 137         por     xmm0, XMMWORD [XMMBLOCK(7,0,rsi,SIZEOF_JCOEF)]
 138         por     xmm1,xmm0
 139         packsswb xmm1,xmm1
 140         packsswb xmm1,xmm1
 141         movd    eax,xmm1
 142         test    rax,rax
 143         jnz     short .columnDCT
 144
 145         ; -- AC terms all zero
 146
 147         movdqa  xmm5, XMMWORD [XMMBLOCK(0,0,rsi,SIZEOF_JCOEF)]
 148         pmullw  xmm5, XMMWORD [XMMBLOCK(0,0,rdx,SIZEOF_ISLOW_MULT_TYPE)]
 149
 150         psllw   xmm5,PASS1_BITS
 151
 152         movdqa    xmm4,xmm5             ; xmm5=in0=(00 01 02 03 04 05 06 07)
 153         punpcklwd xmm5,xmm5             ; xmm5=(00 00 01 01 02 02 03 03)
 154         punpckhwd xmm4,xmm4             ; xmm4=(04 04 05 05 06 06 07 07)
 155
 156         pshufd  xmm7,xmm5,0x00          ; xmm7=col0=(00 00 00 00 00 00 00 00)
 157         pshufd  xmm6,xmm5,0x55          ; xmm6=col1=(01 01 01 01 01 01 01 01)
 158         pshufd  xmm1,xmm5,0xAA          ; xmm1=col2=(02 02 02 02 02 02 02 02)
 159         pshufd  xmm5,xmm5,0xFF          ; xmm5=col3=(03 03 03 03 03 03 03 03)
 160         pshufd  xmm0,xmm4,0x00          ; xmm0=col4=(04 04 04 04 04 04 04 04)
 161         pshufd  xmm3,xmm4,0x55          ; xmm3=col5=(05 05 05 05 05 05 05 05)
 162         pshufd  xmm2,xmm4,0xAA          ; xmm2=col6=(06 06 06 06 06 06 06 06)
 163         pshufd  xmm4,xmm4,0xFF          ; xmm4=col7=(07 07 07 07 07 07 07 07)
 164
 165         movdqa  XMMWORD [wk(8)], xmm6   ; wk(8)=col1
 166         movdqa  XMMWORD [wk(9)], xmm5   ; wk(9)=col3
 167         movdqa  XMMWORD [wk(10)], xmm3  ; wk(10)=col5
 168         movdqa  XMMWORD [wk(11)], xmm4  ; wk(11)=col7
 169         jmp     near .column_end
 170 %endif
 171 .columnDCT:
 172
 173         ; -- Even part
 174
 175         movdqa  xmm0, XMMWORD [XMMBLOCK(0,0,rsi,SIZEOF_JCOEF)]
 176         movdqa  xmm1, XMMWORD [XMMBLOCK(2,0,rsi,SIZEOF_JCOEF)]
 177         pmullw  xmm0, XMMWORD [XMMBLOCK(0,0,rdx,SIZEOF_ISLOW_MULT_TYPE)]
 178         pmullw  xmm1, XMMWORD [XMMBLOCK(2,0,rdx,SIZEOF_ISLOW_MULT_TYPE)]
 179         movdqa  xmm2, XMMWORD [XMMBLOCK(4,0,rsi,SIZEOF_JCOEF)]
 180         movdqa  xmm3, XMMWORD [XMMBLOCK(6,0,rsi,SIZEOF_JCOEF)]
 181         pmullw  xmm2, XMMWORD [XMMBLOCK(4,0,rdx,SIZEOF_ISLOW_MULT_TYPE)]
 182         pmullw  xmm3, XMMWORD [XMMBLOCK(6,0,rdx,SIZEOF_ISLOW_MULT_TYPE)]
 183
 184         ; (Original)
 185         ; z1 = (z2 + z3) * 0.541196100;
 186         ; tmp2 = z1 + z3 * -1.847759065;
 187         ; tmp3 = z1 + z2 * 0.765366865;
 188         ;
 189         ; (This implementation)
 190         ; tmp2 = z2 * 0.541196100 + z3 * (0.541196100 - 1.847759065);
 191         ; tmp3 = z2 * (0.541196100 + 0.765366865) + z3 * 0.541196100;
 192
 193         movdqa    xmm4,xmm1             ; xmm1=in2=z2
 194         movdqa    xmm5,xmm1
 195         punpcklwd xmm4,xmm3             ; xmm3=in6=z3
 196         punpckhwd xmm5,xmm3
 197         movdqa    xmm1,xmm4
 198         movdqa    xmm3,xmm5
 199         pmaddwd   xmm4,[rel PW_F130_F054]       ; xmm4=tmp3L
 200         pmaddwd   xmm5,[rel PW_F130_F054]       ; xmm5=tmp3H
 201         pmaddwd   xmm1,[rel PW_F054_MF130]      ; xmm1=tmp2L
 202         pmaddwd   xmm3,[rel PW_F054_MF130]      ; xmm3=tmp2H
 203
 204         movdqa    xmm6,xmm0
 205         paddw     xmm0,xmm2             ; xmm0=in0+in4
 206         psubw     xmm6,xmm2             ; xmm6=in0-in4
 207
 208         pxor      xmm7,xmm7
 209         pxor      xmm2,xmm2
 210         punpcklwd xmm7,xmm0             ; xmm7=tmp0L
 211         punpckhwd xmm2,xmm0             ; xmm2=tmp0H
 212         psrad     xmm7,(16-CONST_BITS)  ; psrad xmm7,16 & pslld xmm7,CONST_BITS
 213         psrad     xmm2,(16-CONST_BITS)  ; psrad xmm2,16 & pslld xmm2,CONST_BITS
 214
 215         movdqa  xmm0,xmm7
 216         paddd   xmm7,xmm4               ; xmm7=tmp10L
 217         psubd   xmm0,xmm4               ; xmm0=tmp13L
 218         movdqa  xmm4,xmm2
 219         paddd   xmm2,xmm5               ; xmm2=tmp10H
 220         psubd   xmm4,xmm5               ; xmm4=tmp13H
 221
 222         movdqa  XMMWORD [wk(0)], xmm7   ; wk(0)=tmp10L
 223         movdqa  XMMWORD [wk(1)], xmm2   ; wk(1)=tmp10H
 224         movdqa  XMMWORD [wk(2)], xmm0   ; wk(2)=tmp13L
 225         movdqa  XMMWORD [wk(3)], xmm4   ; wk(3)=tmp13H
 226
 227         pxor      xmm5,xmm5
 228         pxor      xmm7,xmm7
 229         punpcklwd xmm5,xmm6             ; xmm5=tmp1L
 230         punpckhwd xmm7,xmm6             ; xmm7=tmp1H
 231         psrad     xmm5,(16-CONST_BITS)  ; psrad xmm5,16 & pslld xmm5,CONST_BITS
 232         psrad     xmm7,(16-CONST_BITS)  ; psrad xmm7,16 & pslld xmm7,CONST_BITS
 233
 234         movdqa  xmm2,xmm5
 235         paddd   xmm5,xmm1               ; xmm5=tmp11L
 236         psubd   xmm2,xmm1               ; xmm2=tmp12L
 237         movdqa  xmm0,xmm7
 238         paddd   xmm7,xmm3               ; xmm7=tmp11H
 239         psubd   xmm0,xmm3               ; xmm0=tmp12H
 240
 241         movdqa  XMMWORD [wk(4)], xmm5   ; wk(4)=tmp11L
 242         movdqa  XMMWORD [wk(5)], xmm7   ; wk(5)=tmp11H
 243         movdqa  XMMWORD [wk(6)], xmm2   ; wk(6)=tmp12L
 244         movdqa  XMMWORD [wk(7)], xmm0   ; wk(7)=tmp12H
 245
 246         ; -- Odd part
 247
 248         movdqa  xmm4, XMMWORD [XMMBLOCK(1,0,rsi,SIZEOF_JCOEF)]
 249         movdqa  xmm6, XMMWORD [XMMBLOCK(3,0,rsi,SIZEOF_JCOEF)]
 250         pmullw  xmm4, XMMWORD [XMMBLOCK(1,0,rdx,SIZEOF_ISLOW_MULT_TYPE)]
 251         pmullw  xmm6, XMMWORD [XMMBLOCK(3,0,rdx,SIZEOF_ISLOW_MULT_TYPE)]
 252         movdqa  xmm1, XMMWORD [XMMBLOCK(5,0,rsi,SIZEOF_JCOEF)]
 253         movdqa  xmm3, XMMWORD [XMMBLOCK(7,0,rsi,SIZEOF_JCOEF)]
 254         pmullw  xmm1, XMMWORD [XMMBLOCK(5,0,rdx,SIZEOF_ISLOW_MULT_TYPE)]
 255         pmullw  xmm3, XMMWORD [XMMBLOCK(7,0,rdx,SIZEOF_ISLOW_MULT_TYPE)]
 256
 257         movdqa  xmm5,xmm6
 258         movdqa  xmm7,xmm4
 259         paddw   xmm5,xmm3               ; xmm5=z3
 260         paddw   xmm7,xmm1               ; xmm7=z4
 261
 262         ; (Original)
 263         ; z5 = (z3 + z4) * 1.175875602;
 264         ; z3 = z3 * -1.961570560;  z4 = z4 * -0.390180644;
 265         ; z3 += z5;  z4 += z5;
 266         ;
 267         ; (This implementation)
 268         ; z3 = z3 * (1.175875602 - 1.961570560) + z4 * 1.175875602;
 269         ; z4 = z3 * 1.175875602 + z4 * (1.175875602 - 0.390180644);
 270
 271         movdqa    xmm2,xmm5
 272         movdqa    xmm0,xmm5
 273         punpcklwd xmm2,xmm7
 274         punpckhwd xmm0,xmm7
 275         movdqa    xmm5,xmm2
 276         movdqa    xmm7,xmm0
 277         pmaddwd   xmm2,[rel PW_MF078_F117]      ; xmm2=z3L
 278         pmaddwd   xmm0,[rel PW_MF078_F117]      ; xmm0=z3H
 279         pmaddwd   xmm5,[rel PW_F117_F078]       ; xmm5=z4L
 280         pmaddwd   xmm7,[rel PW_F117_F078]       ; xmm7=z4H
 281
 282         movdqa  XMMWORD [wk(10)], xmm2  ; wk(10)=z3L
 283         movdqa  XMMWORD [wk(11)], xmm0  ; wk(11)=z3H
 284
 285         ; (Original)
 286         ; z1 = tmp0 + tmp3;  z2 = tmp1 + tmp2;
 287         ; tmp0 = tmp0 * 0.298631336;  tmp1 = tmp1 * 2.053119869;
 288         ; tmp2 = tmp2 * 3.072711026;  tmp3 = tmp3 * 1.501321110;
 289         ; z1 = z1 * -0.899976223;  z2 = z2 * -2.562915447;
 290         ; tmp0 += z1 + z3;  tmp1 += z2 + z4;
 291         ; tmp2 += z2 + z3;  tmp3 += z1 + z4;
 292         ;
 293         ; (This implementation)
 294         ; tmp0 = tmp0 * (0.298631336 - 0.899976223) + tmp3 * -0.899976223;
 295         ; tmp1 = tmp1 * (2.053119869 - 2.562915447) + tmp2 * -2.562915447;
 296         ; tmp2 = tmp1 * -2.562915447 + tmp2 * (3.072711026 - 2.562915447);
 297         ; tmp3 = tmp0 * -0.899976223 + tmp3 * (1.501321110 - 0.899976223);
 298         ; tmp0 += z3;  tmp1 += z4;
 299         ; tmp2 += z3;  tmp3 += z4;
 300
 301         movdqa    xmm2,xmm3
 302         movdqa    xmm0,xmm3
 303         punpcklwd xmm2,xmm4
 304         punpckhwd xmm0,xmm4
 305         movdqa    xmm3,xmm2
 306         movdqa    xmm4,xmm0
 307         pmaddwd   xmm2,[rel PW_MF060_MF089]     ; xmm2=tmp0L
 308         pmaddwd   xmm0,[rel PW_MF060_MF089]     ; xmm0=tmp0H
 309         pmaddwd   xmm3,[rel PW_MF089_F060]      ; xmm3=tmp3L
 310         pmaddwd   xmm4,[rel PW_MF089_F060]      ; xmm4=tmp3H
 311
 312         paddd   xmm2, XMMWORD [wk(10)]  ; xmm2=tmp0L
 313         paddd   xmm0, XMMWORD [wk(11)]  ; xmm0=tmp0H
 314         paddd   xmm3,xmm5               ; xmm3=tmp3L
 315         paddd   xmm4,xmm7               ; xmm4=tmp3H
 316
 317         movdqa  XMMWORD [wk(8)], xmm2   ; wk(8)=tmp0L
 318         movdqa  XMMWORD [wk(9)], xmm0   ; wk(9)=tmp0H
 319
 320         movdqa    xmm2,xmm1
 321         movdqa    xmm0,xmm1
 322         punpcklwd xmm2,xmm6
 323         punpckhwd xmm0,xmm6
 324         movdqa    xmm1,xmm2
 325         movdqa    xmm6,xmm0
 326         pmaddwd   xmm2,[rel PW_MF050_MF256]     ; xmm2=tmp1L
 327         pmaddwd   xmm0,[rel PW_MF050_MF256]     ; xmm0=tmp1H
 328         pmaddwd   xmm1,[rel PW_MF256_F050]      ; xmm1=tmp2L
 329         pmaddwd   xmm6,[rel PW_MF256_F050]      ; xmm6=tmp2H
 330
 331         paddd   xmm2,xmm5               ; xmm2=tmp1L
 332         paddd   xmm0,xmm7               ; xmm0=tmp1H
 333         paddd   xmm1, XMMWORD [wk(10)]  ; xmm1=tmp2L
 334         paddd   xmm6, XMMWORD [wk(11)]  ; xmm6=tmp2H
 335
 336         movdqa  XMMWORD [wk(10)], xmm2  ; wk(10)=tmp1L
 337         movdqa  XMMWORD [wk(11)], xmm0  ; wk(11)=tmp1H
 338
 339         ; -- Final output stage
 340
 341         movdqa  xmm5, XMMWORD [wk(0)]   ; xmm5=tmp10L
 342         movdqa  xmm7, XMMWORD [wk(1)]   ; xmm7=tmp10H
 343
 344         movdqa  xmm2,xmm5
 345         movdqa  xmm0,xmm7
 346         paddd   xmm5,xmm3               ; xmm5=data0L
 347         paddd   xmm7,xmm4               ; xmm7=data0H
 348         psubd   xmm2,xmm3               ; xmm2=data7L
 349         psubd   xmm0,xmm4               ; xmm0=data7H
 350
 351         movdqa  xmm3,[rel PD_DESCALE_P1]        ; xmm3=[rel PD_DESCALE_P1]
 352
 353         paddd   xmm5,xmm3
 354         paddd   xmm7,xmm3
 355         psrad   xmm5,DESCALE_P1
 356         psrad   xmm7,DESCALE_P1
 357         paddd   xmm2,xmm3
 358         paddd   xmm0,xmm3
 359         psrad   xmm2,DESCALE_P1
 360         psrad   xmm0,DESCALE_P1
 361
 362         packssdw  xmm5,xmm7             ; xmm5=data0=(00 01 02 03 04 05 06 07)
 363         packssdw  xmm2,xmm0             ; xmm2=data7=(70 71 72 73 74 75 76 77)
 364
 365         movdqa  xmm4, XMMWORD [wk(4)]   ; xmm4=tmp11L
 366         movdqa  xmm3, XMMWORD [wk(5)]   ; xmm3=tmp11H
 367
 368         movdqa  xmm7,xmm4
 369         movdqa  xmm0,xmm3
 370         paddd   xmm4,xmm1               ; xmm4=data1L
 371         paddd   xmm3,xmm6               ; xmm3=data1H
 372         psubd   xmm7,xmm1               ; xmm7=data6L
 373         psubd   xmm0,xmm6               ; xmm0=data6H
 374
 375         movdqa  xmm1,[rel PD_DESCALE_P1]        ; xmm1=[rel PD_DESCALE_P1]
 376
 377         paddd   xmm4,xmm1
 378         paddd   xmm3,xmm1
 379         psrad   xmm4,DESCALE_P1
 380         psrad   xmm3,DESCALE_P1
 381         paddd   xmm7,xmm1
 382         paddd   xmm0,xmm1
 383         psrad   xmm7,DESCALE_P1
 384         psrad   xmm0,DESCALE_P1
 385
 386         packssdw  xmm4,xmm3             ; xmm4=data1=(10 11 12 13 14 15 16 17)
 387         packssdw  xmm7,xmm0             ; xmm7=data6=(60 61 62 63 64 65 66 67)
 388
 389         movdqa    xmm6,xmm5             ; transpose coefficients(phase 1)
 390         punpcklwd xmm5,xmm4             ; xmm5=(00 10 01 11 02 12 03 13)
 391         punpckhwd xmm6,xmm4             ; xmm6=(04 14 05 15 06 16 07 17)
 392         movdqa    xmm1,xmm7             ; transpose coefficients(phase 1)
 393         punpcklwd xmm7,xmm2             ; xmm7=(60 70 61 71 62 72 63 73)
 394         punpckhwd xmm1,xmm2             ; xmm1=(64 74 65 75 66 76 67 77)
 395
 396         movdqa  xmm3, XMMWORD [wk(6)]   ; xmm3=tmp12L
 397         movdqa  xmm0, XMMWORD [wk(7)]   ; xmm0=tmp12H
 398         movdqa  xmm4, XMMWORD [wk(10)]  ; xmm4=tmp1L
 399         movdqa  xmm2, XMMWORD [wk(11)]  ; xmm2=tmp1H
 400
 401         movdqa  XMMWORD [wk(0)], xmm5   ; wk(0)=(00 10 01 11 02 12 03 13)
 402         movdqa  XMMWORD [wk(1)], xmm6   ; wk(1)=(04 14 05 15 06 16 07 17)
 403         movdqa  XMMWORD [wk(4)], xmm7   ; wk(4)=(60 70 61 71 62 72 63 73)
 404         movdqa  XMMWORD [wk(5)], xmm1   ; wk(5)=(64 74 65 75 66 76 67 77)
 405
 406         movdqa  xmm5,xmm3
 407         movdqa  xmm6,xmm0
 408         paddd   xmm3,xmm4               ; xmm3=data2L
 409         paddd   xmm0,xmm2               ; xmm0=data2H
 410         psubd   xmm5,xmm4               ; xmm5=data5L
 411         psubd   xmm6,xmm2               ; xmm6=data5H
 412
 413         movdqa  xmm7,[rel PD_DESCALE_P1]        ; xmm7=[rel PD_DESCALE_P1]
 414
 415         paddd   xmm3,xmm7
 416         paddd   xmm0,xmm7
 417         psrad   xmm3,DESCALE_P1
 418         psrad   xmm0,DESCALE_P1
 419         paddd   xmm5,xmm7
 420         paddd   xmm6,xmm7
 421         psrad   xmm5,DESCALE_P1
 422         psrad   xmm6,DESCALE_P1
 423
 424         packssdw  xmm3,xmm0             ; xmm3=data2=(20 21 22 23 24 25 26 27)
 425         packssdw  xmm5,xmm6             ; xmm5=data5=(50 51 52 53 54 55 56 57)
 426
 427         movdqa  xmm1, XMMWORD [wk(2)]   ; xmm1=tmp13L
 428         movdqa  xmm4, XMMWORD [wk(3)]   ; xmm4=tmp13H
 429         movdqa  xmm2, XMMWORD [wk(8)]   ; xmm2=tmp0L
 430         movdqa  xmm7, XMMWORD [wk(9)]   ; xmm7=tmp0H
 431
 432         movdqa  xmm0,xmm1
 433         movdqa  xmm6,xmm4
 434         paddd   xmm1,xmm2               ; xmm1=data3L
 435         paddd   xmm4,xmm7               ; xmm4=data3H
 436         psubd   xmm0,xmm2               ; xmm0=data4L
 437         psubd   xmm6,xmm7               ; xmm6=data4H
 438
 439         movdqa  xmm2,[rel PD_DESCALE_P1]        ; xmm2=[rel PD_DESCALE_P1]
 440
 441         paddd   xmm1,xmm2
 442         paddd   xmm4,xmm2
 443         psrad   xmm1,DESCALE_P1
 444         psrad   xmm4,DESCALE_P1
 445         paddd   xmm0,xmm2
 446         paddd   xmm6,xmm2
 447         psrad   xmm0,DESCALE_P1
 448         psrad   xmm6,DESCALE_P1
 449
 450         packssdw  xmm1,xmm4             ; xmm1=data3=(30 31 32 33 34 35 36 37)
 451         packssdw  xmm0,xmm6             ; xmm0=data4=(40 41 42 43 44 45 46 47)
 452
 453         movdqa  xmm7, XMMWORD [wk(0)]   ; xmm7=(00 10 01 11 02 12 03 13)
 454         movdqa  xmm2, XMMWORD [wk(1)]   ; xmm2=(04 14 05 15 06 16 07 17)
 455
 456         movdqa    xmm4,xmm3             ; transpose coefficients(phase 1)
 457         punpcklwd xmm3,xmm1             ; xmm3=(20 30 21 31 22 32 23 33)
 458         punpckhwd xmm4,xmm1             ; xmm4=(24 34 25 35 26 36 27 37)
 459         movdqa    xmm6,xmm0             ; transpose coefficients(phase 1)
 460         punpcklwd xmm0,xmm5             ; xmm0=(40 50 41 51 42 52 43 53)
 461         punpckhwd xmm6,xmm5             ; xmm6=(44 54 45 55 46 56 47 57)
 462
 463         movdqa    xmm1,xmm7             ; transpose coefficients(phase 2)
 464         punpckldq xmm7,xmm3             ; xmm7=(00 10 20 30 01 11 21 31)
 465         punpckhdq xmm1,xmm3             ; xmm1=(02 12 22 32 03 13 23 33)
 466         movdqa    xmm5,xmm2             ; transpose coefficients(phase 2)
 467         punpckldq xmm2,xmm4             ; xmm2=(04 14 24 34 05 15 25 35)
 468         punpckhdq xmm5,xmm4             ; xmm5=(06 16 26 36 07 17 27 37)
 469
 470         movdqa  xmm3, XMMWORD [wk(4)]   ; xmm3=(60 70 61 71 62 72 63 73)
 471         movdqa  xmm4, XMMWORD [wk(5)]   ; xmm4=(64 74 65 75 66 76 67 77)
 472
 473         movdqa  XMMWORD [wk(6)], xmm2   ; wk(6)=(04 14 24 34 05 15 25 35)
 474         movdqa  XMMWORD [wk(7)], xmm5   ; wk(7)=(06 16 26 36 07 17 27 37)
 475
 476         movdqa    xmm2,xmm0             ; transpose coefficients(phase 2)
 477         punpckldq xmm0,xmm3             ; xmm0=(40 50 60 70 41 51 61 71)
 478         punpckhdq xmm2,xmm3             ; xmm2=(42 52 62 72 43 53 63 73)
 479         movdqa    xmm5,xmm6             ; transpose coefficients(phase 2)
 480         punpckldq xmm6,xmm4             ; xmm6=(44 54 64 74 45 55 65 75)
 481         punpckhdq xmm5,xmm4             ; xmm5=(46 56 66 76 47 57 67 77)
 482
 483         movdqa     xmm3,xmm7            ; transpose coefficients(phase 3)
 484         punpcklqdq xmm7,xmm0            ; xmm7=col0=(00 10 20 30 40 50 60 70)
 485         punpckhqdq xmm3,xmm0            ; xmm3=col1=(01 11 21 31 41 51 61 71)
 486         movdqa     xmm4,xmm1            ; transpose coefficients(phase 3)
 487         punpcklqdq xmm1,xmm2            ; xmm1=col2=(02 12 22 32 42 52 62 72)
 488         punpckhqdq xmm4,xmm2            ; xmm4=col3=(03 13 23 33 43 53 63 73)
 489
 490         movdqa  xmm0, XMMWORD [wk(6)]   ; xmm0=(04 14 24 34 05 15 25 35)
 491         movdqa  xmm2, XMMWORD [wk(7)]   ; xmm2=(06 16 26 36 07 17 27 37)
 492
 493         movdqa  XMMWORD [wk(8)], xmm3   ; wk(8)=col1
 494         movdqa  XMMWORD [wk(9)], xmm4   ; wk(9)=col3
 495
 496         movdqa     xmm3,xmm0            ; transpose coefficients(phase 3)
 497         punpcklqdq xmm0,xmm6            ; xmm0=col4=(04 14 24 34 44 54 64 74)
 498         punpckhqdq xmm3,xmm6            ; xmm3=col5=(05 15 25 35 45 55 65 75)
 499         movdqa     xmm4,xmm2            ; transpose coefficients(phase 3)
 500         punpcklqdq xmm2,xmm5            ; xmm2=col6=(06 16 26 36 46 56 66 76)
 501         punpckhqdq xmm4,xmm5            ; xmm4=col7=(07 17 27 37 47 57 67 77)
 502
 503         movdqa  XMMWORD [wk(10)], xmm3  ; wk(10)=col5
 504         movdqa  XMMWORD [wk(11)], xmm4  ; wk(11)=col7
 505 .column_end:
 506
 507         ; -- Prefetch the next coefficient block
 508
 509         prefetchnta [rsi + DCTSIZE2*SIZEOF_JCOEF + 0*32]
 510         prefetchnta [rsi + DCTSIZE2*SIZEOF_JCOEF + 1*32]
 511         prefetchnta [rsi + DCTSIZE2*SIZEOF_JCOEF + 2*32]
 512         prefetchnta [rsi + DCTSIZE2*SIZEOF_JCOEF + 3*32]
 513
 514         ; ---- Pass 2: process rows from work array, store into output array.
 515
 516         mov     rax, [original_rbp]
 517         mov     rdi, r12        ; (JSAMPROW *)
 518         mov     rax, r13
 519
 520         ; -- Even part
 521
 522         ; xmm7=col0, xmm1=col2, xmm0=col4, xmm2=col6
 523
 524         ; (Original)
 525         ; z1 = (z2 + z3) * 0.541196100;
 526         ; tmp2 = z1 + z3 * -1.847759065;
 527         ; tmp3 = z1 + z2 * 0.765366865;
 528         ;
 529         ; (This implementation)
 530         ; tmp2 = z2 * 0.541196100 + z3 * (0.541196100 - 1.847759065);
 531         ; tmp3 = z2 * (0.541196100 + 0.765366865) + z3 * 0.541196100;
 532
 533         movdqa    xmm6,xmm1             ; xmm1=in2=z2
 534         movdqa    xmm5,xmm1
 535         punpcklwd xmm6,xmm2             ; xmm2=in6=z3
 536         punpckhwd xmm5,xmm2
 537         movdqa    xmm1,xmm6
 538         movdqa    xmm2,xmm5
 539         pmaddwd   xmm6,[rel PW_F130_F054]       ; xmm6=tmp3L
 540         pmaddwd   xmm5,[rel PW_F130_F054]       ; xmm5=tmp3H
 541         pmaddwd   xmm1,[rel PW_F054_MF130]      ; xmm1=tmp2L
 542         pmaddwd   xmm2,[rel PW_F054_MF130]      ; xmm2=tmp2H
 543
 544         movdqa    xmm3,xmm7
 545         paddw     xmm7,xmm0             ; xmm7=in0+in4
 546         psubw     xmm3,xmm0             ; xmm3=in0-in4
 547
 548         pxor      xmm4,xmm4
 549         pxor      xmm0,xmm0
 550         punpcklwd xmm4,xmm7             ; xmm4=tmp0L
 551         punpckhwd xmm0,xmm7             ; xmm0=tmp0H
 552         psrad     xmm4,(16-CONST_BITS)  ; psrad xmm4,16 & pslld xmm4,CONST_BITS
 553         psrad     xmm0,(16-CONST_BITS)  ; psrad xmm0,16 & pslld xmm0,CONST_BITS
 554
 555         movdqa  xmm7,xmm4
 556         paddd   xmm4,xmm6               ; xmm4=tmp10L
 557         psubd   xmm7,xmm6               ; xmm7=tmp13L
 558         movdqa  xmm6,xmm0
 559         paddd   xmm0,xmm5               ; xmm0=tmp10H
 560         psubd   xmm6,xmm5               ; xmm6=tmp13H
 561
 562         movdqa  XMMWORD [wk(0)], xmm4   ; wk(0)=tmp10L
 563         movdqa  XMMWORD [wk(1)], xmm0   ; wk(1)=tmp10H
 564         movdqa  XMMWORD [wk(2)], xmm7   ; wk(2)=tmp13L
 565         movdqa  XMMWORD [wk(3)], xmm6   ; wk(3)=tmp13H
 566
 567         pxor      xmm5,xmm5
 568         pxor      xmm4,xmm4
 569         punpcklwd xmm5,xmm3             ; xmm5=tmp1L
 570         punpckhwd xmm4,xmm3             ; xmm4=tmp1H
 571         psrad     xmm5,(16-CONST_BITS)  ; psrad xmm5,16 & pslld xmm5,CONST_BITS
 572         psrad     xmm4,(16-CONST_BITS)  ; psrad xmm4,16 & pslld xmm4,CONST_BITS
 573
 574         movdqa  xmm0,xmm5
 575         paddd   xmm5,xmm1               ; xmm5=tmp11L
 576         psubd   xmm0,xmm1               ; xmm0=tmp12L
 577         movdqa  xmm7,xmm4
 578         paddd   xmm4,xmm2               ; xmm4=tmp11H
 579         psubd   xmm7,xmm2               ; xmm7=tmp12H
 580
 581         movdqa  XMMWORD [wk(4)], xmm5   ; wk(4)=tmp11L
 582         movdqa  XMMWORD [wk(5)], xmm4   ; wk(5)=tmp11H
 583         movdqa  XMMWORD [wk(6)], xmm0   ; wk(6)=tmp12L
 584         movdqa  XMMWORD [wk(7)], xmm7   ; wk(7)=tmp12H
 585
 586         ; -- Odd part
 587
 588         movdqa  xmm6, XMMWORD [wk(9)]   ; xmm6=col3
 589         movdqa  xmm3, XMMWORD [wk(8)]   ; xmm3=col1
 590         movdqa  xmm1, XMMWORD [wk(11)]  ; xmm1=col7
 591         movdqa  xmm2, XMMWORD [wk(10)]  ; xmm2=col5
 592
 593         movdqa  xmm5,xmm6
 594         movdqa  xmm4,xmm3
 595         paddw   xmm5,xmm1               ; xmm5=z3
 596         paddw   xmm4,xmm2               ; xmm4=z4
 597
 598         ; (Original)
 599         ; z5 = (z3 + z4) * 1.175875602;
 600         ; z3 = z3 * -1.961570560;  z4 = z4 * -0.390180644;
 601         ; z3 += z5;  z4 += z5;
 602         ;
 603         ; (This implementation)
 604         ; z3 = z3 * (1.175875602 - 1.961570560) + z4 * 1.175875602;
 605         ; z4 = z3 * 1.175875602 + z4 * (1.175875602 - 0.390180644);
 606
 607         movdqa    xmm0,xmm5
 608         movdqa    xmm7,xmm5
 609         punpcklwd xmm0,xmm4
 610         punpckhwd xmm7,xmm4
 611         movdqa    xmm5,xmm0
 612         movdqa    xmm4,xmm7
 613         pmaddwd   xmm0,[rel PW_MF078_F117]      ; xmm0=z3L
 614         pmaddwd   xmm7,[rel PW_MF078_F117]      ; xmm7=z3H
 615         pmaddwd   xmm5,[rel PW_F117_F078]       ; xmm5=z4L
 616         pmaddwd   xmm4,[rel PW_F117_F078]       ; xmm4=z4H
 617
 618         movdqa  XMMWORD [wk(10)], xmm0  ; wk(10)=z3L
 619         movdqa  XMMWORD [wk(11)], xmm7  ; wk(11)=z3H
 620
 621         ; (Original)
 622         ; z1 = tmp0 + tmp3;  z2 = tmp1 + tmp2;
 623         ; tmp0 = tmp0 * 0.298631336;  tmp1 = tmp1 * 2.053119869;
 624         ; tmp2 = tmp2 * 3.072711026;  tmp3 = tmp3 * 1.501321110;
 625         ; z1 = z1 * -0.899976223;  z2 = z2 * -2.562915447;
 626         ; tmp0 += z1 + z3;  tmp1 += z2 + z4;
 627         ; tmp2 += z2 + z3;  tmp3 += z1 + z4;
 628         ;
 629         ; (This implementation)
 630         ; tmp0 = tmp0 * (0.298631336 - 0.899976223) + tmp3 * -0.899976223;
 631         ; tmp1 = tmp1 * (2.053119869 - 2.562915447) + tmp2 * -2.562915447;
 632         ; tmp2 = tmp1 * -2.562915447 + tmp2 * (3.072711026 - 2.562915447);
 633         ; tmp3 = tmp0 * -0.899976223 + tmp3 * (1.501321110 - 0.899976223);
 634         ; tmp0 += z3;  tmp1 += z4;
 635         ; tmp2 += z3;  tmp3 += z4;
 636
 637         movdqa    xmm0,xmm1
 638         movdqa    xmm7,xmm1
 639         punpcklwd xmm0,xmm3
 640         punpckhwd xmm7,xmm3
 641         movdqa    xmm1,xmm0
 642         movdqa    xmm3,xmm7
 643         pmaddwd   xmm0,[rel PW_MF060_MF089]     ; xmm0=tmp0L
 644         pmaddwd   xmm7,[rel PW_MF060_MF089]     ; xmm7=tmp0H
 645         pmaddwd   xmm1,[rel PW_MF089_F060]      ; xmm1=tmp3L
 646         pmaddwd   xmm3,[rel PW_MF089_F060]      ; xmm3=tmp3H
 647
 648         paddd   xmm0, XMMWORD [wk(10)]  ; xmm0=tmp0L
 649         paddd   xmm7, XMMWORD [wk(11)]  ; xmm7=tmp0H
 650         paddd   xmm1,xmm5               ; xmm1=tmp3L
 651         paddd   xmm3,xmm4               ; xmm3=tmp3H
 652
 653         movdqa  XMMWORD [wk(8)], xmm0   ; wk(8)=tmp0L
 654         movdqa  XMMWORD [wk(9)], xmm7   ; wk(9)=tmp0H
 655
 656         movdqa    xmm0,xmm2
 657         movdqa    xmm7,xmm2
 658         punpcklwd xmm0,xmm6
 659         punpckhwd xmm7,xmm6
 660         movdqa    xmm2,xmm0
 661         movdqa    xmm6,xmm7
 662         pmaddwd   xmm0,[rel PW_MF050_MF256]     ; xmm0=tmp1L
 663         pmaddwd   xmm7,[rel PW_MF050_MF256]     ; xmm7=tmp1H
 664         pmaddwd   xmm2,[rel PW_MF256_F050]      ; xmm2=tmp2L
 665         pmaddwd   xmm6,[rel PW_MF256_F050]      ; xmm6=tmp2H
 666
 667         paddd   xmm0,xmm5               ; xmm0=tmp1L
 668         paddd   xmm7,xmm4               ; xmm7=tmp1H
 669         paddd   xmm2, XMMWORD [wk(10)]  ; xmm2=tmp2L
 670         paddd   xmm6, XMMWORD [wk(11)]  ; xmm6=tmp2H
 671
 672         movdqa  XMMWORD [wk(10)], xmm0  ; wk(10)=tmp1L
 673         movdqa  XMMWORD [wk(11)], xmm7  ; wk(11)=tmp1H
 674
 675         ; -- Final output stage
 676
 677         movdqa  xmm5, XMMWORD [wk(0)]   ; xmm5=tmp10L
 678         movdqa  xmm4, XMMWORD [wk(1)]   ; xmm4=tmp10H
 679
 680         movdqa  xmm0,xmm5
 681         movdqa  xmm7,xmm4
 682         paddd   xmm5,xmm1               ; xmm5=data0L
 683         paddd   xmm4,xmm3               ; xmm4=data0H
 684         psubd   xmm0,xmm1               ; xmm0=data7L
 685         psubd   xmm7,xmm3               ; xmm7=data7H
 686
 687         movdqa  xmm1,[rel PD_DESCALE_P2]        ; xmm1=[rel PD_DESCALE_P2]
 688
 689         paddd   xmm5,xmm1
 690         paddd   xmm4,xmm1
 691         psrad   xmm5,DESCALE_P2
 692         psrad   xmm4,DESCALE_P2
 693         paddd   xmm0,xmm1
 694         paddd   xmm7,xmm1
 695         psrad   xmm0,DESCALE_P2
 696         psrad   xmm7,DESCALE_P2
 697
 698         packssdw  xmm5,xmm4             ; xmm5=data0=(00 10 20 30 40 50 60 70)
 699         packssdw  xmm0,xmm7             ; xmm0=data7=(07 17 27 37 47 57 67 77)
 700
 701         movdqa  xmm3, XMMWORD [wk(4)]   ; xmm3=tmp11L
 702         movdqa  xmm1, XMMWORD [wk(5)]   ; xmm1=tmp11H
 703
 704         movdqa  xmm4,xmm3
 705         movdqa  xmm7,xmm1
 706         paddd   xmm3,xmm2               ; xmm3=data1L
 707         paddd   xmm1,xmm6               ; xmm1=data1H
 708         psubd   xmm4,xmm2               ; xmm4=data6L
 709         psubd   xmm7,xmm6               ; xmm7=data6H
 710
 711         movdqa  xmm2,[rel PD_DESCALE_P2]        ; xmm2=[rel PD_DESCALE_P2]
 712
 713         paddd   xmm3,xmm2
 714         paddd   xmm1,xmm2
 715         psrad   xmm3,DESCALE_P2
 716         psrad   xmm1,DESCALE_P2
 717         paddd   xmm4,xmm2
 718         paddd   xmm7,xmm2
 719         psrad   xmm4,DESCALE_P2
 720         psrad   xmm7,DESCALE_P2
 721
 722         packssdw  xmm3,xmm1             ; xmm3=data1=(01 11 21 31 41 51 61 71)
 723         packssdw  xmm4,xmm7             ; xmm4=data6=(06 16 26 36 46 56 66 76)
 724
 725         packsswb  xmm5,xmm4             ; xmm5=(00 10 20 30 40 50 60 70 06 16 26 36 46 56 66 76)
 726         packsswb  xmm3,xmm0             ; xmm3=(01 11 21 31 41 51 61 71 07 17 27 37 47 57 67 77)
 727
 728         movdqa  xmm6, XMMWORD [wk(6)]   ; xmm6=tmp12L
 729         movdqa  xmm2, XMMWORD [wk(7)]   ; xmm2=tmp12H
 730         movdqa  xmm1, XMMWORD [wk(10)]  ; xmm1=tmp1L
 731         movdqa  xmm7, XMMWORD [wk(11)]  ; xmm7=tmp1H
 732
 733         movdqa  XMMWORD [wk(0)], xmm5   ; wk(0)=(00 10 20 30 40 50 60 70 06 16 26 36 46 56 66 76)
 734         movdqa  XMMWORD [wk(1)], xmm3   ; wk(1)=(01 11 21 31 41 51 61 71 07 17 27 37 47 57 67 77)
 735
 736         movdqa  xmm4,xmm6
 737         movdqa  xmm0,xmm2
 738         paddd   xmm6,xmm1               ; xmm6=data2L
 739         paddd   xmm2,xmm7               ; xmm2=data2H
 740         psubd   xmm4,xmm1               ; xmm4=data5L
 741         psubd   xmm0,xmm7               ; xmm0=data5H
 742
 743         movdqa  xmm5,[rel PD_DESCALE_P2]        ; xmm5=[rel PD_DESCALE_P2]
 744
 745         paddd   xmm6,xmm5
 746         paddd   xmm2,xmm5
 747         psrad   xmm6,DESCALE_P2
 748         psrad   xmm2,DESCALE_P2
 749         paddd   xmm4,xmm5
 750         paddd   xmm0,xmm5
 751         psrad   xmm4,DESCALE_P2
 752         psrad   xmm0,DESCALE_P2
 753
 754         packssdw  xmm6,xmm2             ; xmm6=data2=(02 12 22 32 42 52 62 72)
 755         packssdw  xmm4,xmm0             ; xmm4=data5=(05 15 25 35 45 55 65 75)
 756
 757         movdqa  xmm3, XMMWORD [wk(2)]   ; xmm3=tmp13L
 758         movdqa  xmm1, XMMWORD [wk(3)]   ; xmm1=tmp13H
 759         movdqa  xmm7, XMMWORD [wk(8)]   ; xmm7=tmp0L
 760         movdqa  xmm5, XMMWORD [wk(9)]   ; xmm5=tmp0H
 761
 762         movdqa  xmm2,xmm3
 763         movdqa  xmm0,xmm1
 764         paddd   xmm3,xmm7               ; xmm3=data3L
 765         paddd   xmm1,xmm5               ; xmm1=data3H
 766         psubd   xmm2,xmm7               ; xmm2=data4L
 767         psubd   xmm0,xmm5               ; xmm0=data4H
 768
 769         movdqa  xmm7,[rel PD_DESCALE_P2]        ; xmm7=[rel PD_DESCALE_P2]
 770
 771         paddd   xmm3,xmm7
 772         paddd   xmm1,xmm7
 773         psrad   xmm3,DESCALE_P2
 774         psrad   xmm1,DESCALE_P2
 775         paddd   xmm2,xmm7
 776         paddd   xmm0,xmm7
 777         psrad   xmm2,DESCALE_P2
 778         psrad   xmm0,DESCALE_P2
 779
 780         movdqa    xmm5,[rel PB_CENTERJSAMP]     ; xmm5=[rel PB_CENTERJSAMP]
 781
 782         packssdw  xmm3,xmm1             ; xmm3=data3=(03 13 23 33 43 53 63 73)
 783         packssdw  xmm2,xmm0             ; xmm2=data4=(04 14 24 34 44 54 64 74)
 784
 785         movdqa    xmm7, XMMWORD [wk(0)] ; xmm7=(00 10 20 30 40 50 60 70 06 16 26 36 46 56 66 76)
 786         movdqa    xmm1, XMMWORD [wk(1)] ; xmm1=(01 11 21 31 41 51 61 71 07 17 27 37 47 57 67 77)
 787
 788         packsswb  xmm6,xmm2             ; xmm6=(02 12 22 32 42 52 62 72 04 14 24 34 44 54 64 74)
 789         packsswb  xmm3,xmm4             ; xmm3=(03 13 23 33 43 53 63 73 05 15 25 35 45 55 65 75)
 790
 791         paddb     xmm7,xmm5
 792         paddb     xmm1,xmm5
 793         paddb     xmm6,xmm5
 794         paddb     xmm3,xmm5
 795
 796         movdqa    xmm0,xmm7     ; transpose coefficients(phase 1)
 797         punpcklbw xmm7,xmm1     ; xmm7=(00 01 10 11 20 21 30 31 40 41 50 51 60 61 70 71)
 798         punpckhbw xmm0,xmm1     ; xmm0=(06 07 16 17 26 27 36 37 46 47 56 57 66 67 76 77)
 799         movdqa    xmm2,xmm6     ; transpose coefficients(phase 1)
 800         punpcklbw xmm6,xmm3     ; xmm6=(02 03 12 13 22 23 32 33 42 43 52 53 62 63 72 73)
 801         punpckhbw xmm2,xmm3     ; xmm2=(04 05 14 15 24 25 34 35 44 45 54 55 64 65 74 75)
 802
 803         movdqa    xmm4,xmm7     ; transpose coefficients(phase 2)
 804         punpcklwd xmm7,xmm6     ; xmm7=(00 01 02 03 10 11 12 13 20 21 22 23 30 31 32 33)
 805         punpckhwd xmm4,xmm6     ; xmm4=(40 41 42 43 50 51 52 53 60 61 62 63 70 71 72 73)
 806         movdqa    xmm5,xmm2     ; transpose coefficients(phase 2)
 807         punpcklwd xmm2,xmm0     ; xmm2=(04 05 06 07 14 15 16 17 24 25 26 27 34 35 36 37)
 808         punpckhwd xmm5,xmm0     ; xmm5=(44 45 46 47 54 55 56 57 64 65 66 67 74 75 76 77)
 809
 810         movdqa    xmm1,xmm7     ; transpose coefficients(phase 3)
 811         punpckldq xmm7,xmm2     ; xmm7=(00 01 02 03 04 05 06 07 10 11 12 13 14 15 16 17)
 812         punpckhdq xmm1,xmm2     ; xmm1=(20 21 22 23 24 25 26 27 30 31 32 33 34 35 36 37)
 813         movdqa    xmm3,xmm4     ; transpose coefficients(phase 3)
 814         punpckldq xmm4,xmm5     ; xmm4=(40 41 42 43 44 45 46 47 50 51 52 53 54 55 56 57)
 815         punpckhdq xmm3,xmm5     ; xmm3=(60 61 62 63 64 65 66 67 70 71 72 73 74 75 76 77)
 816
 817         pshufd  xmm6,xmm7,0x4E  ; xmm6=(10 11 12 13 14 15 16 17 00 01 02 03 04 05 06 07)
 818         pshufd  xmm0,xmm1,0x4E  ; xmm0=(30 31 32 33 34 35 36 37 20 21 22 23 24 25 26 27)
 819         pshufd  xmm2,xmm4,0x4E  ; xmm2=(50 51 52 53 54 55 56 57 40 41 42 43 44 45 46 47)
 820         pshufd  xmm5,xmm3,0x4E  ; xmm5=(70 71 72 73 74 75 76 77 60 61 62 63 64 65 66 67)
 821
 822         mov     rdx, JSAMPROW [rdi+0*SIZEOF_JSAMPROW]
 823         mov     rsi, JSAMPROW [rdi+2*SIZEOF_JSAMPROW]
 824         movq    XMM_MMWORD [rdx+rax*SIZEOF_JSAMPLE], xmm7
 825         movq    XMM_MMWORD [rsi+rax*SIZEOF_JSAMPLE], xmm1
 826         mov     rdx, JSAMPROW [rdi+4*SIZEOF_JSAMPROW]
 827         mov     rsi, JSAMPROW [rdi+6*SIZEOF_JSAMPROW]
 828         movq    XMM_MMWORD [rdx+rax*SIZEOF_JSAMPLE], xmm4
 829         movq    XMM_MMWORD [rsi+rax*SIZEOF_JSAMPLE], xmm3
 830
 831         mov     rdx, JSAMPROW [rdi+1*SIZEOF_JSAMPROW]
 832         mov     rsi, JSAMPROW [rdi+3*SIZEOF_JSAMPROW]
 833         movq    XMM_MMWORD [rdx+rax*SIZEOF_JSAMPLE], xmm6
 834         movq    XMM_MMWORD [rsi+rax*SIZEOF_JSAMPLE], xmm0
 835         mov     rdx, JSAMPROW [rdi+5*SIZEOF_JSAMPROW]
 836         mov     rsi, JSAMPROW [rdi+7*SIZEOF_JSAMPROW]
 837         movq    XMM_MMWORD [rdx+rax*SIZEOF_JSAMPLE], xmm2
 838         movq    XMM_MMWORD [rsi+rax*SIZEOF_JSAMPLE], xmm5
 839
 840         uncollect_args
 841         mov     rsp,rbp         ; rsp <- aligned rbp
 842         pop     rsp             ; rsp <- original rbp
 843         pop     rbp
 844         ret
 845
 846 ; For some reason, the OS X linker does not honor the request to align the
 847 ; segment unless we do this.
 848         align   16