simd/jidctflt-sse.asm

   1 ;
   2 ; jidctflt.asm - floating-point IDCT (SSE & MMX)
   3 ;
   4 ; Copyright 2009 Pierre Ossman <ossman@cendio.se> for Cendio AB
   5 ;
   6 ; Based on the x86 SIMD extension for IJG JPEG library
   7 ; Copyright (C) 1999-2006, MIYASAKA Masaru.
   8 ; For conditions of distribution and use, see copyright notice in jsimdext.inc
   9 ;
  10 ; This file should be assembled with NASM (Netwide Assembler),
  11 ; can *not* be assembled with Microsoft's MASM or any compatible
  12 ; assembler (including Borland's Turbo Assembler).
  13 ; NASM is available from http://nasm.sourceforge.net/ or
  14 ; http://sourceforge.net/project/showfiles.php?group_id=6208
  15 ;
  16 ; This file contains a floating-point implementation of the inverse DCT
  17 ; (Discrete Cosine Transform). The following code is based directly on
  18 ; the IJG's original jidctflt.c; see the jidctflt.c for more details.
  19 ;
  20 ; [TAB8]
  21
  22 %include "jsimdext.inc"
  23 %include "jdct.inc"
  24
  25 ; --------------------------------------------------------------------------
  26
  27 %macro  unpcklps2 2     ; %1=(0 1 2 3) / %2=(4 5 6 7) => %1=(0 1 4 5)
  28         shufps  %1,%2,0x44
  29 %endmacro
  30
  31 %macro  unpckhps2 2     ; %1=(0 1 2 3) / %2=(4 5 6 7) => %1=(2 3 6 7)
  32         shufps  %1,%2,0xEE
  33 %endmacro
  34
  35 ; --------------------------------------------------------------------------
  36         SECTION SEG_CONST
  37
  38         alignz  16
  39         global  EXTN(jconst_idct_float_sse)
  40
  41 EXTN(jconst_idct_float_sse):
  42
  43 PD_1_414        times 4 dd  1.414213562373095048801689
  44 PD_1_847        times 4 dd  1.847759065022573512256366
  45 PD_1_082        times 4 dd  1.082392200292393968799446
  46 PD_M2_613       times 4 dd -2.613125929752753055713286
  47 PD_0_125        times 4 dd  0.125       ; 1/8
  48 PB_CENTERJSAMP  times 8 db  CENTERJSAMPLE
  49
  50         alignz  16
  51
  52 ; --------------------------------------------------------------------------
  53         SECTION SEG_TEXT
  54         BITS    32
  55 ;
  56 ; Perform dequantization and inverse DCT on one block of coefficients.
  57 ;
  58 ; GLOBAL(void)
  59 ; jsimd_idct_float_sse (void *dct_table, JCOEFPTR coef_block,
  60 ;                       JSAMPARRAY output_buf, JDIMENSION output_col)
  61 ;
  62
  63 %define dct_table(b)    (b)+8           ; void *dct_table
  64 %define coef_block(b)   (b)+12          ; JCOEFPTR coef_block
  65 %define output_buf(b)   (b)+16          ; JSAMPARRAY output_buf
  66 %define output_col(b)   (b)+20          ; JDIMENSION output_col
  67
  68 %define original_ebp    ebp+0
  69 %define wk(i)           ebp-(WK_NUM-(i))*SIZEOF_XMMWORD ; xmmword wk[WK_NUM]
  70 %define WK_NUM          2
  71 %define workspace       wk(0)-DCTSIZE2*SIZEOF_FAST_FLOAT
  72                                         ; FAST_FLOAT workspace[DCTSIZE2]
  73
  74         align   16
  75         global  EXTN(jsimd_idct_float_sse)
  76
  77 EXTN(jsimd_idct_float_sse):
  78         push    ebp
  79         mov     eax,esp                         ; eax = original ebp
  80         sub     esp, byte 4
  81         and     esp, byte (-SIZEOF_XMMWORD)     ; align to 128 bits
  82         mov     [esp],eax
  83         mov     ebp,esp                         ; ebp = aligned ebp
  84         lea     esp, [workspace]
  85         push    ebx
  86 ;       push    ecx             ; need not be preserved
  87 ;       push    edx             ; need not be preserved
  88         push    esi
  89         push    edi
  90
  91         get_GOT ebx             ; get GOT address
  92
  93         ; ---- Pass 1: process columns from input, store into work array.
  94
  95 ;       mov     eax, [original_ebp]
  96         mov     edx, POINTER [dct_table(eax)]           ; quantptr
  97         mov     esi, JCOEFPTR [coef_block(eax)]         ; inptr
  98         lea     edi, [workspace]                        ; FAST_FLOAT *wsptr
  99         mov     ecx, DCTSIZE/4                          ; ctr
 100         alignx  16,7
 101 .columnloop:
 102 %ifndef NO_ZERO_COLUMN_TEST_FLOAT_SSE
 103         mov     eax, DWORD [DWBLOCK(1,0,esi,SIZEOF_JCOEF)]
 104         or      eax, DWORD [DWBLOCK(2,0,esi,SIZEOF_JCOEF)]
 105         jnz     near .columnDCT
 106
 107         movq    mm0, MMWORD [MMBLOCK(1,0,esi,SIZEOF_JCOEF)]
 108         movq    mm1, MMWORD [MMBLOCK(2,0,esi,SIZEOF_JCOEF)]
 109         por     mm0, MMWORD [MMBLOCK(3,0,esi,SIZEOF_JCOEF)]
 110         por     mm1, MMWORD [MMBLOCK(4,0,esi,SIZEOF_JCOEF)]
 111         por     mm0, MMWORD [MMBLOCK(5,0,esi,SIZEOF_JCOEF)]
 112         por     mm1, MMWORD [MMBLOCK(6,0,esi,SIZEOF_JCOEF)]
 113         por     mm0, MMWORD [MMBLOCK(7,0,esi,SIZEOF_JCOEF)]
 114         por     mm1,mm0
 115         packsswb mm1,mm1
 116         movd    eax,mm1
 117         test    eax,eax
 118         jnz     short .columnDCT
 119
 120         ; -- AC terms all zero
 121
 122         movq      mm0, MMWORD [MMBLOCK(0,0,esi,SIZEOF_JCOEF)]
 123
 124         punpckhwd mm1,mm0                       ; mm1=(** 02 ** 03)
 125         punpcklwd mm0,mm0                       ; mm0=(00 00 01 01)
 126         psrad     mm1,(DWORD_BIT-WORD_BIT)      ; mm1=in0H=(02 03)
 127         psrad     mm0,(DWORD_BIT-WORD_BIT)      ; mm0=in0L=(00 01)
 128         cvtpi2ps  xmm3,mm1                      ; xmm3=(02 03 ** **)
 129         cvtpi2ps  xmm0,mm0                      ; xmm0=(00 01 ** **)
 130         movlhps   xmm0,xmm3                     ; xmm0=in0=(00 01 02 03)
 131
 132         mulps   xmm0, XMMWORD [XMMBLOCK(0,0,edx,SIZEOF_FLOAT_MULT_TYPE)]
 133
 134         movaps  xmm1,xmm0
 135         movaps  xmm2,xmm0
 136         movaps  xmm3,xmm0
 137
 138         shufps  xmm0,xmm0,0x00                  ; xmm0=(00 00 00 00)
 139         shufps  xmm1,xmm1,0x55                  ; xmm1=(01 01 01 01)
 140         shufps  xmm2,xmm2,0xAA                  ; xmm2=(02 02 02 02)
 141         shufps  xmm3,xmm3,0xFF                  ; xmm3=(03 03 03 03)
 142
 143         movaps  XMMWORD [XMMBLOCK(0,0,edi,SIZEOF_FAST_FLOAT)], xmm0
 144         movaps  XMMWORD [XMMBLOCK(0,1,edi,SIZEOF_FAST_FLOAT)], xmm0
 145         movaps  XMMWORD [XMMBLOCK(1,0,edi,SIZEOF_FAST_FLOAT)], xmm1
 146         movaps  XMMWORD [XMMBLOCK(1,1,edi,SIZEOF_FAST_FLOAT)], xmm1
 147         movaps  XMMWORD [XMMBLOCK(2,0,edi,SIZEOF_FAST_FLOAT)], xmm2
 148         movaps  XMMWORD [XMMBLOCK(2,1,edi,SIZEOF_FAST_FLOAT)], xmm2
 149         movaps  XMMWORD [XMMBLOCK(3,0,edi,SIZEOF_FAST_FLOAT)], xmm3
 150         movaps  XMMWORD [XMMBLOCK(3,1,edi,SIZEOF_FAST_FLOAT)], xmm3
 151         jmp     near .nextcolumn
 152         alignx  16,7
 153 %endif
 154 .columnDCT:
 155
 156         ; -- Even part
 157
 158         movq      mm0, MMWORD [MMBLOCK(0,0,esi,SIZEOF_JCOEF)]
 159         movq      mm1, MMWORD [MMBLOCK(2,0,esi,SIZEOF_JCOEF)]
 160         movq      mm2, MMWORD [MMBLOCK(4,0,esi,SIZEOF_JCOEF)]
 161         movq      mm3, MMWORD [MMBLOCK(6,0,esi,SIZEOF_JCOEF)]
 162
 163         punpckhwd mm4,mm0                       ; mm4=(** 02 ** 03)
 164         punpcklwd mm0,mm0                       ; mm0=(00 00 01 01)
 165         punpckhwd mm5,mm1                       ; mm5=(** 22 ** 23)
 166         punpcklwd mm1,mm1                       ; mm1=(20 20 21 21)
 167
 168         psrad     mm4,(DWORD_BIT-WORD_BIT)      ; mm4=in0H=(02 03)
 169         psrad     mm0,(DWORD_BIT-WORD_BIT)      ; mm0=in0L=(00 01)
 170         cvtpi2ps  xmm4,mm4                      ; xmm4=(02 03 ** **)
 171         cvtpi2ps  xmm0,mm0                      ; xmm0=(00 01 ** **)
 172         psrad     mm5,(DWORD_BIT-WORD_BIT)      ; mm5=in2H=(22 23)
 173         psrad     mm1,(DWORD_BIT-WORD_BIT)      ; mm1=in2L=(20 21)
 174         cvtpi2ps  xmm5,mm5                      ; xmm5=(22 23 ** **)
 175         cvtpi2ps  xmm1,mm1                      ; xmm1=(20 21 ** **)
 176
 177         punpckhwd mm6,mm2                       ; mm6=(** 42 ** 43)
 178         punpcklwd mm2,mm2                       ; mm2=(40 40 41 41)
 179         punpckhwd mm7,mm3                       ; mm7=(** 62 ** 63)
 180         punpcklwd mm3,mm3                       ; mm3=(60 60 61 61)
 181
 182         psrad     mm6,(DWORD_BIT-WORD_BIT)      ; mm6=in4H=(42 43)
 183         psrad     mm2,(DWORD_BIT-WORD_BIT)      ; mm2=in4L=(40 41)
 184         cvtpi2ps  xmm6,mm6                      ; xmm6=(42 43 ** **)
 185         cvtpi2ps  xmm2,mm2                      ; xmm2=(40 41 ** **)
 186         psrad     mm7,(DWORD_BIT-WORD_BIT)      ; mm7=in6H=(62 63)
 187         psrad     mm3,(DWORD_BIT-WORD_BIT)      ; mm3=in6L=(60 61)
 188         cvtpi2ps  xmm7,mm7                      ; xmm7=(62 63 ** **)
 189         cvtpi2ps  xmm3,mm3                      ; xmm3=(60 61 ** **)
 190
 191         movlhps   xmm0,xmm4                     ; xmm0=in0=(00 01 02 03)
 192         movlhps   xmm1,xmm5                     ; xmm1=in2=(20 21 22 23)
 193         mulps     xmm0, XMMWORD [XMMBLOCK(0,0,edx,SIZEOF_FLOAT_MULT_TYPE)]
 194         mulps     xmm1, XMMWORD [XMMBLOCK(2,0,edx,SIZEOF_FLOAT_MULT_TYPE)]
 195
 196         movlhps   xmm2,xmm6                     ; xmm2=in4=(40 41 42 43)
 197         movlhps   xmm3,xmm7                     ; xmm3=in6=(60 61 62 63)
 198         mulps     xmm2, XMMWORD [XMMBLOCK(4,0,edx,SIZEOF_FLOAT_MULT_TYPE)]
 199         mulps     xmm3, XMMWORD [XMMBLOCK(6,0,edx,SIZEOF_FLOAT_MULT_TYPE)]
 200
 201         movaps  xmm4,xmm0
 202         movaps  xmm5,xmm1
 203         subps   xmm0,xmm2               ; xmm0=tmp11
 204         subps   xmm1,xmm3
 205         addps   xmm4,xmm2               ; xmm4=tmp10
 206         addps   xmm5,xmm3               ; xmm5=tmp13
 207
 208         mulps   xmm1,[GOTOFF(ebx,PD_1_414)]
 209         subps   xmm1,xmm5               ; xmm1=tmp12
 210
 211         movaps  xmm6,xmm4
 212         movaps  xmm7,xmm0
 213         subps   xmm4,xmm5               ; xmm4=tmp3
 214         subps   xmm0,xmm1               ; xmm0=tmp2
 215         addps   xmm6,xmm5               ; xmm6=tmp0
 216         addps   xmm7,xmm1               ; xmm7=tmp1
 217
 218         movaps  XMMWORD [wk(1)], xmm4   ; tmp3
 219         movaps  XMMWORD [wk(0)], xmm0   ; tmp2
 220
 221         ; -- Odd part
 222
 223         movq      mm4, MMWORD [MMBLOCK(1,0,esi,SIZEOF_JCOEF)]
 224         movq      mm0, MMWORD [MMBLOCK(3,0,esi,SIZEOF_JCOEF)]
 225         movq      mm5, MMWORD [MMBLOCK(5,0,esi,SIZEOF_JCOEF)]
 226         movq      mm1, MMWORD [MMBLOCK(7,0,esi,SIZEOF_JCOEF)]
 227
 228         punpckhwd mm6,mm4                       ; mm6=(** 12 ** 13)
 229         punpcklwd mm4,mm4                       ; mm4=(10 10 11 11)
 230         punpckhwd mm2,mm0                       ; mm2=(** 32 ** 33)
 231         punpcklwd mm0,mm0                       ; mm0=(30 30 31 31)
 232
 233         psrad     mm6,(DWORD_BIT-WORD_BIT)      ; mm6=in1H=(12 13)
 234         psrad     mm4,(DWORD_BIT-WORD_BIT)      ; mm4=in1L=(10 11)
 235         cvtpi2ps  xmm4,mm6                      ; xmm4=(12 13 ** **)
 236         cvtpi2ps  xmm2,mm4                      ; xmm2=(10 11 ** **)
 237         psrad     mm2,(DWORD_BIT-WORD_BIT)      ; mm2=in3H=(32 33)
 238         psrad     mm0,(DWORD_BIT-WORD_BIT)      ; mm0=in3L=(30 31)
 239         cvtpi2ps  xmm0,mm2                      ; xmm0=(32 33 ** **)
 240         cvtpi2ps  xmm3,mm0                      ; xmm3=(30 31 ** **)
 241
 242         punpckhwd mm7,mm5                       ; mm7=(** 52 ** 53)
 243         punpcklwd mm5,mm5                       ; mm5=(50 50 51 51)
 244         punpckhwd mm3,mm1                       ; mm3=(** 72 ** 73)
 245         punpcklwd mm1,mm1                       ; mm1=(70 70 71 71)
 246
 247         movlhps   xmm2,xmm4                     ; xmm2=in1=(10 11 12 13)
 248         movlhps   xmm3,xmm0                     ; xmm3=in3=(30 31 32 33)
 249
 250         psrad     mm7,(DWORD_BIT-WORD_BIT)      ; mm7=in5H=(52 53)
 251         psrad     mm5,(DWORD_BIT-WORD_BIT)      ; mm5=in5L=(50 51)
 252         cvtpi2ps  xmm4,mm7                      ; xmm4=(52 53 ** **)
 253         cvtpi2ps  xmm5,mm5                      ; xmm5=(50 51 ** **)
 254         psrad     mm3,(DWORD_BIT-WORD_BIT)      ; mm3=in7H=(72 73)
 255         psrad     mm1,(DWORD_BIT-WORD_BIT)      ; mm1=in7L=(70 71)
 256         cvtpi2ps  xmm0,mm3                      ; xmm0=(72 73 ** **)
 257         cvtpi2ps  xmm1,mm1                      ; xmm1=(70 71 ** **)
 258
 259         mulps     xmm2, XMMWORD [XMMBLOCK(1,0,edx,SIZEOF_FLOAT_MULT_TYPE)]
 260         mulps     xmm3, XMMWORD [XMMBLOCK(3,0,edx,SIZEOF_FLOAT_MULT_TYPE)]
 261
 262         movlhps   xmm5,xmm4                     ; xmm5=in5=(50 51 52 53)
 263         movlhps   xmm1,xmm0                     ; xmm1=in7=(70 71 72 73)
 264         mulps     xmm5, XMMWORD [XMMBLOCK(5,0,edx,SIZEOF_FLOAT_MULT_TYPE)]
 265         mulps     xmm1, XMMWORD [XMMBLOCK(7,0,edx,SIZEOF_FLOAT_MULT_TYPE)]
 266
 267         movaps  xmm4,xmm2
 268         movaps  xmm0,xmm5
 269         addps   xmm2,xmm1               ; xmm2=z11
 270         addps   xmm5,xmm3               ; xmm5=z13
 271         subps   xmm4,xmm1               ; xmm4=z12
 272         subps   xmm0,xmm3               ; xmm0=z10
 273
 274         movaps  xmm1,xmm2
 275         subps   xmm2,xmm5
 276         addps   xmm1,xmm5               ; xmm1=tmp7
 277
 278         mulps   xmm2,[GOTOFF(ebx,PD_1_414)]     ; xmm2=tmp11
 279
 280         movaps  xmm3,xmm0
 281         addps   xmm0,xmm4
 282         mulps   xmm0,[GOTOFF(ebx,PD_1_847)]     ; xmm0=z5
 283         mulps   xmm3,[GOTOFF(ebx,PD_M2_613)]    ; xmm3=(z10 * -2.613125930)
 284         mulps   xmm4,[GOTOFF(ebx,PD_1_082)]     ; xmm4=(z12 * 1.082392200)
 285         addps   xmm3,xmm0               ; xmm3=tmp12
 286         subps   xmm4,xmm0               ; xmm4=tmp10
 287
 288         ; -- Final output stage
 289
 290         subps   xmm3,xmm1               ; xmm3=tmp6
 291         movaps  xmm5,xmm6
 292         movaps  xmm0,xmm7
 293         addps   xmm6,xmm1               ; xmm6=data0=(00 01 02 03)
 294         addps   xmm7,xmm3               ; xmm7=data1=(10 11 12 13)
 295         subps   xmm5,xmm1               ; xmm5=data7=(70 71 72 73)
 296         subps   xmm0,xmm3               ; xmm0=data6=(60 61 62 63)
 297         subps   xmm2,xmm3               ; xmm2=tmp5
 298
 299         movaps    xmm1,xmm6             ; transpose coefficients(phase 1)
 300         unpcklps  xmm6,xmm7             ; xmm6=(00 10 01 11)
 301         unpckhps  xmm1,xmm7             ; xmm1=(02 12 03 13)
 302         movaps    xmm3,xmm0             ; transpose coefficients(phase 1)
 303         unpcklps  xmm0,xmm5             ; xmm0=(60 70 61 71)
 304         unpckhps  xmm3,xmm5             ; xmm3=(62 72 63 73)
 305
 306         movaps  xmm7, XMMWORD [wk(0)]   ; xmm7=tmp2
 307         movaps  xmm5, XMMWORD [wk(1)]   ; xmm5=tmp3
 308
 309         movaps  XMMWORD [wk(0)], xmm0   ; wk(0)=(60 70 61 71)
 310         movaps  XMMWORD [wk(1)], xmm3   ; wk(1)=(62 72 63 73)
 311
 312         addps   xmm4,xmm2               ; xmm4=tmp4
 313         movaps  xmm0,xmm7
 314         movaps  xmm3,xmm5
 315         addps   xmm7,xmm2               ; xmm7=data2=(20 21 22 23)
 316         addps   xmm5,xmm4               ; xmm5=data4=(40 41 42 43)
 317         subps   xmm0,xmm2               ; xmm0=data5=(50 51 52 53)
 318         subps   xmm3,xmm4               ; xmm3=data3=(30 31 32 33)
 319
 320         movaps    xmm2,xmm7             ; transpose coefficients(phase 1)
 321         unpcklps  xmm7,xmm3             ; xmm7=(20 30 21 31)
 322         unpckhps  xmm2,xmm3             ; xmm2=(22 32 23 33)
 323         movaps    xmm4,xmm5             ; transpose coefficients(phase 1)
 324         unpcklps  xmm5,xmm0             ; xmm5=(40 50 41 51)
 325         unpckhps  xmm4,xmm0             ; xmm4=(42 52 43 53)
 326
 327         movaps    xmm3,xmm6             ; transpose coefficients(phase 2)
 328         unpcklps2 xmm6,xmm7             ; xmm6=(00 10 20 30)
 329         unpckhps2 xmm3,xmm7             ; xmm3=(01 11 21 31)
 330         movaps    xmm0,xmm1             ; transpose coefficients(phase 2)
 331         unpcklps2 xmm1,xmm2             ; xmm1=(02 12 22 32)
 332         unpckhps2 xmm0,xmm2             ; xmm0=(03 13 23 33)
 333
 334         movaps  xmm7, XMMWORD [wk(0)]   ; xmm7=(60 70 61 71)
 335         movaps  xmm2, XMMWORD [wk(1)]   ; xmm2=(62 72 63 73)
 336
 337         movaps  XMMWORD [XMMBLOCK(0,0,edi,SIZEOF_FAST_FLOAT)], xmm6
 338         movaps  XMMWORD [XMMBLOCK(1,0,edi,SIZEOF_FAST_FLOAT)], xmm3
 339         movaps  XMMWORD [XMMBLOCK(2,0,edi,SIZEOF_FAST_FLOAT)], xmm1
 340         movaps  XMMWORD [XMMBLOCK(3,0,edi,SIZEOF_FAST_FLOAT)], xmm0
 341
 342         movaps    xmm6,xmm5             ; transpose coefficients(phase 2)
 343         unpcklps2 xmm5,xmm7             ; xmm5=(40 50 60 70)
 344         unpckhps2 xmm6,xmm7             ; xmm6=(41 51 61 71)
 345         movaps    xmm3,xmm4             ; transpose coefficients(phase 2)
 346         unpcklps2 xmm4,xmm2             ; xmm4=(42 52 62 72)
 347         unpckhps2 xmm3,xmm2             ; xmm3=(43 53 63 73)
 348
 349         movaps  XMMWORD [XMMBLOCK(0,1,edi,SIZEOF_FAST_FLOAT)], xmm5
 350         movaps  XMMWORD [XMMBLOCK(1,1,edi,SIZEOF_FAST_FLOAT)], xmm6
 351         movaps  XMMWORD [XMMBLOCK(2,1,edi,SIZEOF_FAST_FLOAT)], xmm4
 352         movaps  XMMWORD [XMMBLOCK(3,1,edi,SIZEOF_FAST_FLOAT)], xmm3
 353
 354 .nextcolumn:
 355         add     esi, byte 4*SIZEOF_JCOEF                ; coef_block
 356         add     edx, byte 4*SIZEOF_FLOAT_MULT_TYPE      ; quantptr
 357         add     edi,      4*DCTSIZE*SIZEOF_FAST_FLOAT   ; wsptr
 358         dec     ecx                                     ; ctr
 359         jnz     near .columnloop
 360
 361         ; -- Prefetch the next coefficient block
 362
 363         prefetchnta [esi + (DCTSIZE2-8)*SIZEOF_JCOEF + 0*32]
 364         prefetchnta [esi + (DCTSIZE2-8)*SIZEOF_JCOEF + 1*32]
 365         prefetchnta [esi + (DCTSIZE2-8)*SIZEOF_JCOEF + 2*32]
 366         prefetchnta [esi + (DCTSIZE2-8)*SIZEOF_JCOEF + 3*32]
 367
 368         ; ---- Pass 2: process rows from work array, store into output array.
 369
 370         mov     eax, [original_ebp]
 371         lea     esi, [workspace]                        ; FAST_FLOAT *wsptr
 372         mov     edi, JSAMPARRAY [output_buf(eax)]       ; (JSAMPROW *)
 373         mov     eax, JDIMENSION [output_col(eax)]
 374         mov     ecx, DCTSIZE/4                          ; ctr
 375         alignx  16,7
 376 .rowloop:
 377
 378         ; -- Even part
 379
 380         movaps  xmm0, XMMWORD [XMMBLOCK(0,0,esi,SIZEOF_FAST_FLOAT)]
 381         movaps  xmm1, XMMWORD [XMMBLOCK(2,0,esi,SIZEOF_FAST_FLOAT)]
 382         movaps  xmm2, XMMWORD [XMMBLOCK(4,0,esi,SIZEOF_FAST_FLOAT)]
 383         movaps  xmm3, XMMWORD [XMMBLOCK(6,0,esi,SIZEOF_FAST_FLOAT)]
 384
 385         movaps  xmm4,xmm0
 386         movaps  xmm5,xmm1
 387         subps   xmm0,xmm2               ; xmm0=tmp11
 388         subps   xmm1,xmm3
 389         addps   xmm4,xmm2               ; xmm4=tmp10
 390         addps   xmm5,xmm3               ; xmm5=tmp13
 391
 392         mulps   xmm1,[GOTOFF(ebx,PD_1_414)]
 393         subps   xmm1,xmm5               ; xmm1=tmp12
 394
 395         movaps  xmm6,xmm4
 396         movaps  xmm7,xmm0
 397         subps   xmm4,xmm5               ; xmm4=tmp3
 398         subps   xmm0,xmm1               ; xmm0=tmp2
 399         addps   xmm6,xmm5               ; xmm6=tmp0
 400         addps   xmm7,xmm1               ; xmm7=tmp1
 401
 402         movaps  XMMWORD [wk(1)], xmm4   ; tmp3
 403         movaps  XMMWORD [wk(0)], xmm0   ; tmp2
 404
 405         ; -- Odd part
 406
 407         movaps  xmm2, XMMWORD [XMMBLOCK(1,0,esi,SIZEOF_FAST_FLOAT)]
 408         movaps  xmm3, XMMWORD [XMMBLOCK(3,0,esi,SIZEOF_FAST_FLOAT)]
 409         movaps  xmm5, XMMWORD [XMMBLOCK(5,0,esi,SIZEOF_FAST_FLOAT)]
 410         movaps  xmm1, XMMWORD [XMMBLOCK(7,0,esi,SIZEOF_FAST_FLOAT)]
 411
 412         movaps  xmm4,xmm2
 413         movaps  xmm0,xmm5
 414         addps   xmm2,xmm1               ; xmm2=z11
 415         addps   xmm5,xmm3               ; xmm5=z13
 416         subps   xmm4,xmm1               ; xmm4=z12
 417         subps   xmm0,xmm3               ; xmm0=z10
 418
 419         movaps  xmm1,xmm2
 420         subps   xmm2,xmm5
 421         addps   xmm1,xmm5               ; xmm1=tmp7
 422
 423         mulps   xmm2,[GOTOFF(ebx,PD_1_414)]     ; xmm2=tmp11
 424
 425         movaps  xmm3,xmm0
 426         addps   xmm0,xmm4
 427         mulps   xmm0,[GOTOFF(ebx,PD_1_847)]     ; xmm0=z5
 428         mulps   xmm3,[GOTOFF(ebx,PD_M2_613)]    ; xmm3=(z10 * -2.613125930)
 429         mulps   xmm4,[GOTOFF(ebx,PD_1_082)]     ; xmm4=(z12 * 1.082392200)
 430         addps   xmm3,xmm0               ; xmm3=tmp12
 431         subps   xmm4,xmm0               ; xmm4=tmp10
 432
 433         ; -- Final output stage
 434
 435         subps   xmm3,xmm1               ; xmm3=tmp6
 436         movaps  xmm5,xmm6
 437         movaps  xmm0,xmm7
 438         addps   xmm6,xmm1               ; xmm6=data0=(00 10 20 30)
 439         addps   xmm7,xmm3               ; xmm7=data1=(01 11 21 31)
 440         subps   xmm5,xmm1               ; xmm5=data7=(07 17 27 37)
 441         subps   xmm0,xmm3               ; xmm0=data6=(06 16 26 36)
 442         subps   xmm2,xmm3               ; xmm2=tmp5
 443
 444         movaps  xmm1,[GOTOFF(ebx,PD_0_125)]     ; xmm1=[PD_0_125]
 445
 446         mulps   xmm6,xmm1               ; descale(1/8)
 447         mulps   xmm7,xmm1               ; descale(1/8)
 448         mulps   xmm5,xmm1               ; descale(1/8)
 449         mulps   xmm0,xmm1               ; descale(1/8)
 450
 451         movhlps   xmm3,xmm6
 452         movhlps   xmm1,xmm7
 453         cvtps2pi  mm0,xmm6              ; round to int32, mm0=data0L=(00 10)
 454         cvtps2pi  mm1,xmm7              ; round to int32, mm1=data1L=(01 11)
 455         cvtps2pi  mm2,xmm3              ; round to int32, mm2=data0H=(20 30)
 456         cvtps2pi  mm3,xmm1              ; round to int32, mm3=data1H=(21 31)
 457         packssdw  mm0,mm2               ; mm0=data0=(00 10 20 30)
 458         packssdw  mm1,mm3               ; mm1=data1=(01 11 21 31)
 459
 460         movhlps   xmm6,xmm5
 461         movhlps   xmm7,xmm0
 462         cvtps2pi  mm4,xmm5              ; round to int32, mm4=data7L=(07 17)
 463         cvtps2pi  mm5,xmm0              ; round to int32, mm5=data6L=(06 16)
 464         cvtps2pi  mm6,xmm6              ; round to int32, mm6=data7H=(27 37)
 465         cvtps2pi  mm7,xmm7              ; round to int32, mm7=data6H=(26 36)
 466         packssdw  mm4,mm6               ; mm4=data7=(07 17 27 37)
 467         packssdw  mm5,mm7               ; mm5=data6=(06 16 26 36)
 468
 469         packsswb  mm0,mm5               ; mm0=(00 10 20 30 06 16 26 36)
 470         packsswb  mm1,mm4               ; mm1=(01 11 21 31 07 17 27 37)
 471
 472         movaps  xmm3, XMMWORD [wk(0)]   ; xmm3=tmp2
 473         movaps  xmm1, XMMWORD [wk(1)]   ; xmm1=tmp3
 474
 475         movaps  xmm6,[GOTOFF(ebx,PD_0_125)]     ; xmm6=[PD_0_125]
 476
 477         addps   xmm4,xmm2               ; xmm4=tmp4
 478         movaps  xmm5,xmm3
 479         movaps  xmm0,xmm1
 480         addps   xmm3,xmm2               ; xmm3=data2=(02 12 22 32)
 481         addps   xmm1,xmm4               ; xmm1=data4=(04 14 24 34)
 482         subps   xmm5,xmm2               ; xmm5=data5=(05 15 25 35)
 483         subps   xmm0,xmm4               ; xmm0=data3=(03 13 23 33)
 484
 485         mulps   xmm3,xmm6               ; descale(1/8)
 486         mulps   xmm1,xmm6               ; descale(1/8)
 487         mulps   xmm5,xmm6               ; descale(1/8)
 488         mulps   xmm0,xmm6               ; descale(1/8)
 489
 490         movhlps   xmm7,xmm3
 491         movhlps   xmm2,xmm1
 492         cvtps2pi  mm2,xmm3              ; round to int32, mm2=data2L=(02 12)
 493         cvtps2pi  mm3,xmm1              ; round to int32, mm3=data4L=(04 14)
 494         cvtps2pi  mm6,xmm7              ; round to int32, mm6=data2H=(22 32)
 495         cvtps2pi  mm7,xmm2              ; round to int32, mm7=data4H=(24 34)
 496         packssdw  mm2,mm6               ; mm2=data2=(02 12 22 32)
 497         packssdw  mm3,mm7               ; mm3=data4=(04 14 24 34)
 498
 499         movhlps   xmm4,xmm5
 500         movhlps   xmm6,xmm0
 501         cvtps2pi  mm5,xmm5              ; round to int32, mm5=data5L=(05 15)
 502         cvtps2pi  mm4,xmm0              ; round to int32, mm4=data3L=(03 13)
 503         cvtps2pi  mm6,xmm4              ; round to int32, mm6=data5H=(25 35)
 504         cvtps2pi  mm7,xmm6              ; round to int32, mm7=data3H=(23 33)
 505         packssdw  mm5,mm6               ; mm5=data5=(05 15 25 35)
 506         packssdw  mm4,mm7               ; mm4=data3=(03 13 23 33)
 507
 508         movq      mm6,[GOTOFF(ebx,PB_CENTERJSAMP)]      ; mm6=[PB_CENTERJSAMP]
 509
 510         packsswb  mm2,mm3               ; mm2=(02 12 22 32 04 14 24 34)
 511         packsswb  mm4,mm5               ; mm4=(03 13 23 33 05 15 25 35)
 512
 513         paddb     mm0,mm6
 514         paddb     mm1,mm6
 515         paddb     mm2,mm6
 516         paddb     mm4,mm6
 517
 518         movq      mm7,mm0               ; transpose coefficients(phase 1)
 519         punpcklbw mm0,mm1               ; mm0=(00 01 10 11 20 21 30 31)
 520         punpckhbw mm7,mm1               ; mm7=(06 07 16 17 26 27 36 37)
 521         movq      mm3,mm2               ; transpose coefficients(phase 1)
 522         punpcklbw mm2,mm4               ; mm2=(02 03 12 13 22 23 32 33)
 523         punpckhbw mm3,mm4               ; mm3=(04 05 14 15 24 25 34 35)
 524
 525         movq      mm5,mm0               ; transpose coefficients(phase 2)
 526         punpcklwd mm0,mm2               ; mm0=(00 01 02 03 10 11 12 13)
 527         punpckhwd mm5,mm2               ; mm5=(20 21 22 23 30 31 32 33)
 528         movq      mm6,mm3               ; transpose coefficients(phase 2)
 529         punpcklwd mm3,mm7               ; mm3=(04 05 06 07 14 15 16 17)
 530         punpckhwd mm6,mm7               ; mm6=(24 25 26 27 34 35 36 37)
 531
 532         movq      mm1,mm0               ; transpose coefficients(phase 3)
 533         punpckldq mm0,mm3               ; mm0=(00 01 02 03 04 05 06 07)
 534         punpckhdq mm1,mm3               ; mm1=(10 11 12 13 14 15 16 17)
 535         movq      mm4,mm5               ; transpose coefficients(phase 3)
 536         punpckldq mm5,mm6               ; mm5=(20 21 22 23 24 25 26 27)
 537         punpckhdq mm4,mm6               ; mm4=(30 31 32 33 34 35 36 37)
 538
 539         pushpic ebx                     ; save GOT address
 540
 541         mov     edx, JSAMPROW [edi+0*SIZEOF_JSAMPROW]
 542         mov     ebx, JSAMPROW [edi+1*SIZEOF_JSAMPROW]
 543         movq    MMWORD [edx+eax*SIZEOF_JSAMPLE], mm0
 544         movq    MMWORD [ebx+eax*SIZEOF_JSAMPLE], mm1
 545         mov     edx, JSAMPROW [edi+2*SIZEOF_JSAMPROW]
 546         mov     ebx, JSAMPROW [edi+3*SIZEOF_JSAMPROW]
 547         movq    MMWORD [edx+eax*SIZEOF_JSAMPLE], mm5
 548         movq    MMWORD [ebx+eax*SIZEOF_JSAMPLE], mm4
 549
 550         poppic  ebx                     ; restore GOT address
 551
 552         add     esi, byte 4*SIZEOF_FAST_FLOAT   ; wsptr
 553         add     edi, byte 4*SIZEOF_JSAMPROW
 554         dec     ecx                             ; ctr
 555         jnz     near .rowloop
 556
 557         emms            ; empty MMX state
 558
 559         pop     edi
 560         pop     esi
 561 ;       pop     edx             ; need not be preserved
 562 ;       pop     ecx             ; need not be preserved
 563         pop     ebx
 564         mov     esp,ebp         ; esp <- aligned ebp
 565         pop     esp             ; esp <- original ebp
 566         pop     ebp
 567         ret
 568
 569 ; For some reason, the OS X linker does not honor the request to align the
 570 ; segment unless we do this.
 571         align   16