simd/jfdctint-sse2-64.asm

   1 ;
   2 ; jfdctint.asm - accurate integer FDCT (64-bit SSE2)
   3 ;
   4 ; Copyright 2009 Pierre Ossman <ossman@cendio.se> for Cendio AB
   5 ; Copyright (C) 2009, D. R. Commander.
   6 ;
   7 ; Based on the x86 SIMD extension for IJG JPEG library
   8 ; Copyright (C) 1999-2006, MIYASAKA Masaru.
   9 ; For conditions of distribution and use, see copyright notice in jsimdext.inc
  10 ;
  11 ; This file should be assembled with NASM (Netwide Assembler),
  12 ; can *not* be assembled with Microsoft's MASM or any compatible
  13 ; assembler (including Borland's Turbo Assembler).
  14 ; NASM is available from http://nasm.sourceforge.net/ or
  15 ; http://sourceforge.net/project/showfiles.php?group_id=6208
  16 ;
  17 ; This file contains a slow-but-accurate integer implementation of the
  18 ; forward DCT (Discrete Cosine Transform). The following code is based
  19 ; directly on the IJG's original jfdctint.c; see the jfdctint.c for
  20 ; more details.
  21 ;
  22 ; [TAB8]
  23
  24 %include "jsimdext.inc"
  25 %include "jdct.inc"
  26
  27 ; --------------------------------------------------------------------------
  28
  29 %define CONST_BITS      13
  30 %define PASS1_BITS      2
  31
  32 %define DESCALE_P1      (CONST_BITS-PASS1_BITS)
  33 %define DESCALE_P2      (CONST_BITS+PASS1_BITS)
  34
  35 %if CONST_BITS == 13
  36 F_0_298 equ      2446           ; FIX(0.298631336)
  37 F_0_390 equ      3196           ; FIX(0.390180644)
  38 F_0_541 equ      4433           ; FIX(0.541196100)
  39 F_0_765 equ      6270           ; FIX(0.765366865)
  40 F_0_899 equ      7373           ; FIX(0.899976223)
  41 F_1_175 equ      9633           ; FIX(1.175875602)
  42 F_1_501 equ     12299           ; FIX(1.501321110)
  43 F_1_847 equ     15137           ; FIX(1.847759065)
  44 F_1_961 equ     16069           ; FIX(1.961570560)
  45 F_2_053 equ     16819           ; FIX(2.053119869)
  46 F_2_562 equ     20995           ; FIX(2.562915447)
  47 F_3_072 equ     25172           ; FIX(3.072711026)
  48 %else
  49 ; NASM cannot do compile-time arithmetic on floating-point constants.
  50 %define DESCALE(x,n)  (((x)+(1<<((n)-1)))>>(n))
  51 F_0_298 equ     DESCALE( 320652955,30-CONST_BITS)       ; FIX(0.298631336)
  52 F_0_390 equ     DESCALE( 418953276,30-CONST_BITS)       ; FIX(0.390180644)
  53 F_0_541 equ     DESCALE( 581104887,30-CONST_BITS)       ; FIX(0.541196100)
  54 F_0_765 equ     DESCALE( 821806413,30-CONST_BITS)       ; FIX(0.765366865)
  55 F_0_899 equ     DESCALE( 966342111,30-CONST_BITS)       ; FIX(0.899976223)
  56 F_1_175 equ     DESCALE(1262586813,30-CONST_BITS)       ; FIX(1.175875602)
  57 F_1_501 equ     DESCALE(1612031267,30-CONST_BITS)       ; FIX(1.501321110)
  58 F_1_847 equ     DESCALE(1984016188,30-CONST_BITS)       ; FIX(1.847759065)
  59 F_1_961 equ     DESCALE(2106220350,30-CONST_BITS)       ; FIX(1.961570560)
  60 F_2_053 equ     DESCALE(2204520673,30-CONST_BITS)       ; FIX(2.053119869)
  61 F_2_562 equ     DESCALE(2751909506,30-CONST_BITS)       ; FIX(2.562915447)
  62 F_3_072 equ     DESCALE(3299298341,30-CONST_BITS)       ; FIX(3.072711026)
  63 %endif
  64
  65 ; --------------------------------------------------------------------------
  66         SECTION SEG_CONST
  67
  68         alignz  16
  69         global  EXTN(jconst_fdct_islow_sse2)
  70
  71 EXTN(jconst_fdct_islow_sse2):
  72
  73 PW_F130_F054    times 4 dw  (F_0_541+F_0_765), F_0_541
  74 PW_F054_MF130   times 4 dw  F_0_541, (F_0_541-F_1_847)
  75 PW_MF078_F117   times 4 dw  (F_1_175-F_1_961), F_1_175
  76 PW_F117_F078    times 4 dw  F_1_175, (F_1_175-F_0_390)
  77 PW_MF060_MF089  times 4 dw  (F_0_298-F_0_899),-F_0_899
  78 PW_MF089_F060   times 4 dw -F_0_899, (F_1_501-F_0_899)
  79 PW_MF050_MF256  times 4 dw  (F_2_053-F_2_562),-F_2_562
  80 PW_MF256_F050   times 4 dw -F_2_562, (F_3_072-F_2_562)
  81 PD_DESCALE_P1   times 4 dd  1 << (DESCALE_P1-1)
  82 PD_DESCALE_P2   times 4 dd  1 << (DESCALE_P2-1)
  83 PW_DESCALE_P2X  times 8 dw  1 << (PASS1_BITS-1)
  84
  85         alignz  16
  86
  87 ; --------------------------------------------------------------------------
  88         SECTION SEG_TEXT
  89         BITS    64
  90 ;
  91 ; Perform the forward DCT on one block of samples.
  92 ;
  93 ; GLOBAL(void)
  94 ; jsimd_fdct_islow_sse2 (DCTELEM *data)
  95 ;
  96
  97 ; r10 = DCTELEM *data
  98
  99 %define wk(i)           rbp-(WK_NUM-(i))*SIZEOF_XMMWORD ; xmmword wk[WK_NUM]
 100 %define WK_NUM          6
 101
 102         align   16
 103         global  EXTN(jsimd_fdct_islow_sse2)
 104
 105 EXTN(jsimd_fdct_islow_sse2):
 106         push    rbp
 107         mov     rax,rsp                         ; rax = original rbp
 108         sub     rsp, byte 4
 109         and     rsp, byte (-SIZEOF_XMMWORD)     ; align to 128 bits
 110         mov     [rsp],rax
 111         mov     rbp,rsp                         ; rbp = aligned rbp
 112         lea     rsp, [wk(0)]
 113         collect_args
 114
 115         ; ---- Pass 1: process rows.
 116
 117         mov     rdx, r10        ; (DCTELEM *)
 118
 119         movdqa  xmm0, XMMWORD [XMMBLOCK(0,0,rdx,SIZEOF_DCTELEM)]
 120         movdqa  xmm1, XMMWORD [XMMBLOCK(1,0,rdx,SIZEOF_DCTELEM)]
 121         movdqa  xmm2, XMMWORD [XMMBLOCK(2,0,rdx,SIZEOF_DCTELEM)]
 122         movdqa  xmm3, XMMWORD [XMMBLOCK(3,0,rdx,SIZEOF_DCTELEM)]
 123
 124         ; xmm0=(00 01 02 03 04 05 06 07), xmm2=(20 21 22 23 24 25 26 27)
 125         ; xmm1=(10 11 12 13 14 15 16 17), xmm3=(30 31 32 33 34 35 36 37)
 126
 127         movdqa    xmm4,xmm0             ; transpose coefficients(phase 1)
 128         punpcklwd xmm0,xmm1             ; xmm0=(00 10 01 11 02 12 03 13)
 129         punpckhwd xmm4,xmm1             ; xmm4=(04 14 05 15 06 16 07 17)
 130         movdqa    xmm5,xmm2             ; transpose coefficients(phase 1)
 131         punpcklwd xmm2,xmm3             ; xmm2=(20 30 21 31 22 32 23 33)
 132         punpckhwd xmm5,xmm3             ; xmm5=(24 34 25 35 26 36 27 37)
 133
 134         movdqa  xmm6, XMMWORD [XMMBLOCK(4,0,rdx,SIZEOF_DCTELEM)]
 135         movdqa  xmm7, XMMWORD [XMMBLOCK(5,0,rdx,SIZEOF_DCTELEM)]
 136         movdqa  xmm1, XMMWORD [XMMBLOCK(6,0,rdx,SIZEOF_DCTELEM)]
 137         movdqa  xmm3, XMMWORD [XMMBLOCK(7,0,rdx,SIZEOF_DCTELEM)]
 138
 139         ; xmm6=( 4 12 20 28 36 44 52 60), xmm1=( 6 14 22 30 38 46 54 62)
 140         ; xmm7=( 5 13 21 29 37 45 53 61), xmm3=( 7 15 23 31 39 47 55 63)
 141
 142         movdqa  XMMWORD [wk(0)], xmm2   ; wk(0)=(20 30 21 31 22 32 23 33)
 143         movdqa  XMMWORD [wk(1)], xmm5   ; wk(1)=(24 34 25 35 26 36 27 37)
 144
 145         movdqa    xmm2,xmm6             ; transpose coefficients(phase 1)
 146         punpcklwd xmm6,xmm7             ; xmm6=(40 50 41 51 42 52 43 53)
 147         punpckhwd xmm2,xmm7             ; xmm2=(44 54 45 55 46 56 47 57)
 148         movdqa    xmm5,xmm1             ; transpose coefficients(phase 1)
 149         punpcklwd xmm1,xmm3             ; xmm1=(60 70 61 71 62 72 63 73)
 150         punpckhwd xmm5,xmm3             ; xmm5=(64 74 65 75 66 76 67 77)
 151
 152         movdqa    xmm7,xmm6             ; transpose coefficients(phase 2)
 153         punpckldq xmm6,xmm1             ; xmm6=(40 50 60 70 41 51 61 71)
 154         punpckhdq xmm7,xmm1             ; xmm7=(42 52 62 72 43 53 63 73)
 155         movdqa    xmm3,xmm2             ; transpose coefficients(phase 2)
 156         punpckldq xmm2,xmm5             ; xmm2=(44 54 64 74 45 55 65 75)
 157         punpckhdq xmm3,xmm5             ; xmm3=(46 56 66 76 47 57 67 77)
 158
 159         movdqa  xmm1, XMMWORD [wk(0)]   ; xmm1=(20 30 21 31 22 32 23 33)
 160         movdqa  xmm5, XMMWORD [wk(1)]   ; xmm5=(24 34 25 35 26 36 27 37)
 161         movdqa  XMMWORD [wk(2)], xmm7   ; wk(2)=(42 52 62 72 43 53 63 73)
 162         movdqa  XMMWORD [wk(3)], xmm2   ; wk(3)=(44 54 64 74 45 55 65 75)
 163
 164         movdqa    xmm7,xmm0             ; transpose coefficients(phase 2)
 165         punpckldq xmm0,xmm1             ; xmm0=(00 10 20 30 01 11 21 31)
 166         punpckhdq xmm7,xmm1             ; xmm7=(02 12 22 32 03 13 23 33)
 167         movdqa    xmm2,xmm4             ; transpose coefficients(phase 2)
 168         punpckldq xmm4,xmm5             ; xmm4=(04 14 24 34 05 15 25 35)
 169         punpckhdq xmm2,xmm5             ; xmm2=(06 16 26 36 07 17 27 37)
 170
 171         movdqa     xmm1,xmm0            ; transpose coefficients(phase 3)
 172         punpcklqdq xmm0,xmm6            ; xmm0=(00 10 20 30 40 50 60 70)=data0
 173         punpckhqdq xmm1,xmm6            ; xmm1=(01 11 21 31 41 51 61 71)=data1
 174         movdqa     xmm5,xmm2            ; transpose coefficients(phase 3)
 175         punpcklqdq xmm2,xmm3            ; xmm2=(06 16 26 36 46 56 66 76)=data6
 176         punpckhqdq xmm5,xmm3            ; xmm5=(07 17 27 37 47 57 67 77)=data7
 177
 178         movdqa  xmm6,xmm1
 179         movdqa  xmm3,xmm0
 180         psubw   xmm1,xmm2               ; xmm1=data1-data6=tmp6
 181         psubw   xmm0,xmm5               ; xmm0=data0-data7=tmp7
 182         paddw   xmm6,xmm2               ; xmm6=data1+data6=tmp1
 183         paddw   xmm3,xmm5               ; xmm3=data0+data7=tmp0
 184
 185         movdqa  xmm2, XMMWORD [wk(2)]   ; xmm2=(42 52 62 72 43 53 63 73)
 186         movdqa  xmm5, XMMWORD [wk(3)]   ; xmm5=(44 54 64 74 45 55 65 75)
 187         movdqa  XMMWORD [wk(0)], xmm1   ; wk(0)=tmp6
 188         movdqa  XMMWORD [wk(1)], xmm0   ; wk(1)=tmp7
 189
 190         movdqa     xmm1,xmm7            ; transpose coefficients(phase 3)
 191         punpcklqdq xmm7,xmm2            ; xmm7=(02 12 22 32 42 52 62 72)=data2
 192         punpckhqdq xmm1,xmm2            ; xmm1=(03 13 23 33 43 53 63 73)=data3
 193         movdqa     xmm0,xmm4            ; transpose coefficients(phase 3)
 194         punpcklqdq xmm4,xmm5            ; xmm4=(04 14 24 34 44 54 64 74)=data4
 195         punpckhqdq xmm0,xmm5            ; xmm0=(05 15 25 35 45 55 65 75)=data5
 196
 197         movdqa  xmm2,xmm1
 198         movdqa  xmm5,xmm7
 199         paddw   xmm1,xmm4               ; xmm1=data3+data4=tmp3
 200         paddw   xmm7,xmm0               ; xmm7=data2+data5=tmp2
 201         psubw   xmm2,xmm4               ; xmm2=data3-data4=tmp4
 202         psubw   xmm5,xmm0               ; xmm5=data2-data5=tmp5
 203
 204         ; -- Even part
 205
 206         movdqa  xmm4,xmm3
 207         movdqa  xmm0,xmm6
 208         paddw   xmm3,xmm1               ; xmm3=tmp10
 209         paddw   xmm6,xmm7               ; xmm6=tmp11
 210         psubw   xmm4,xmm1               ; xmm4=tmp13
 211         psubw   xmm0,xmm7               ; xmm0=tmp12
 212
 213         movdqa  xmm1,xmm3
 214         paddw   xmm3,xmm6               ; xmm3=tmp10+tmp11
 215         psubw   xmm1,xmm6               ; xmm1=tmp10-tmp11
 216
 217         psllw   xmm3,PASS1_BITS         ; xmm3=data0
 218         psllw   xmm1,PASS1_BITS         ; xmm1=data4
 219
 220         movdqa  XMMWORD [wk(2)], xmm3   ; wk(2)=data0
 221         movdqa  XMMWORD [wk(3)], xmm1   ; wk(3)=data4
 222
 223         ; (Original)
 224         ; z1 = (tmp12 + tmp13) * 0.541196100;
 225         ; data2 = z1 + tmp13 * 0.765366865;
 226         ; data6 = z1 + tmp12 * -1.847759065;
 227         ;
 228         ; (This implementation)
 229         ; data2 = tmp13 * (0.541196100 + 0.765366865) + tmp12 * 0.541196100;
 230         ; data6 = tmp13 * 0.541196100 + tmp12 * (0.541196100 - 1.847759065);
 231
 232         movdqa    xmm7,xmm4             ; xmm4=tmp13
 233         movdqa    xmm6,xmm4
 234         punpcklwd xmm7,xmm0             ; xmm0=tmp12
 235         punpckhwd xmm6,xmm0
 236         movdqa    xmm4,xmm7
 237         movdqa    xmm0,xmm6
 238         pmaddwd   xmm7,[rel PW_F130_F054]       ; xmm7=data2L
 239         pmaddwd   xmm6,[rel PW_F130_F054]       ; xmm6=data2H
 240         pmaddwd   xmm4,[rel PW_F054_MF130]      ; xmm4=data6L
 241         pmaddwd   xmm0,[rel PW_F054_MF130]      ; xmm0=data6H
 242
 243         paddd   xmm7,[rel PD_DESCALE_P1]
 244         paddd   xmm6,[rel PD_DESCALE_P1]
 245         psrad   xmm7,DESCALE_P1
 246         psrad   xmm6,DESCALE_P1
 247         paddd   xmm4,[rel PD_DESCALE_P1]
 248         paddd   xmm0,[rel PD_DESCALE_P1]
 249         psrad   xmm4,DESCALE_P1
 250         psrad   xmm0,DESCALE_P1
 251
 252         packssdw  xmm7,xmm6             ; xmm7=data2
 253         packssdw  xmm4,xmm0             ; xmm4=data6
 254
 255         movdqa  XMMWORD [wk(4)], xmm7   ; wk(4)=data2
 256         movdqa  XMMWORD [wk(5)], xmm4   ; wk(5)=data6
 257
 258         ; -- Odd part
 259
 260         movdqa  xmm3, XMMWORD [wk(0)]   ; xmm3=tmp6
 261         movdqa  xmm1, XMMWORD [wk(1)]   ; xmm1=tmp7
 262
 263         movdqa  xmm6,xmm2               ; xmm2=tmp4
 264         movdqa  xmm0,xmm5               ; xmm5=tmp5
 265         paddw   xmm6,xmm3               ; xmm6=z3
 266         paddw   xmm0,xmm1               ; xmm0=z4
 267
 268         ; (Original)
 269         ; z5 = (z3 + z4) * 1.175875602;
 270         ; z3 = z3 * -1.961570560;  z4 = z4 * -0.390180644;
 271         ; z3 += z5;  z4 += z5;
 272         ;
 273         ; (This implementation)
 274         ; z3 = z3 * (1.175875602 - 1.961570560) + z4 * 1.175875602;
 275         ; z4 = z3 * 1.175875602 + z4 * (1.175875602 - 0.390180644);
 276
 277         movdqa    xmm7,xmm6
 278         movdqa    xmm4,xmm6
 279         punpcklwd xmm7,xmm0
 280         punpckhwd xmm4,xmm0
 281         movdqa    xmm6,xmm7
 282         movdqa    xmm0,xmm4
 283         pmaddwd   xmm7,[rel PW_MF078_F117]      ; xmm7=z3L
 284         pmaddwd   xmm4,[rel PW_MF078_F117]      ; xmm4=z3H
 285         pmaddwd   xmm6,[rel PW_F117_F078]       ; xmm6=z4L
 286         pmaddwd   xmm0,[rel PW_F117_F078]       ; xmm0=z4H
 287
 288         movdqa  XMMWORD [wk(0)], xmm7   ; wk(0)=z3L
 289         movdqa  XMMWORD [wk(1)], xmm4   ; wk(1)=z3H
 290
 291         ; (Original)
 292         ; z1 = tmp4 + tmp7;  z2 = tmp5 + tmp6;
 293         ; tmp4 = tmp4 * 0.298631336;  tmp5 = tmp5 * 2.053119869;
 294         ; tmp6 = tmp6 * 3.072711026;  tmp7 = tmp7 * 1.501321110;
 295         ; z1 = z1 * -0.899976223;  z2 = z2 * -2.562915447;
 296         ; data7 = tmp4 + z1 + z3;  data5 = tmp5 + z2 + z4;
 297         ; data3 = tmp6 + z2 + z3;  data1 = tmp7 + z1 + z4;
 298         ;
 299         ; (This implementation)
 300         ; tmp4 = tmp4 * (0.298631336 - 0.899976223) + tmp7 * -0.899976223;
 301         ; tmp5 = tmp5 * (2.053119869 - 2.562915447) + tmp6 * -2.562915447;
 302         ; tmp6 = tmp5 * -2.562915447 + tmp6 * (3.072711026 - 2.562915447);
 303         ; tmp7 = tmp4 * -0.899976223 + tmp7 * (1.501321110 - 0.899976223);
 304         ; data7 = tmp4 + z3;  data5 = tmp5 + z4;
 305         ; data3 = tmp6 + z3;  data1 = tmp7 + z4;
 306
 307         movdqa    xmm7,xmm2
 308         movdqa    xmm4,xmm2
 309         punpcklwd xmm7,xmm1
 310         punpckhwd xmm4,xmm1
 311         movdqa    xmm2,xmm7
 312         movdqa    xmm1,xmm4
 313         pmaddwd   xmm7,[rel PW_MF060_MF089]     ; xmm7=tmp4L
 314         pmaddwd   xmm4,[rel PW_MF060_MF089]     ; xmm4=tmp4H
 315         pmaddwd   xmm2,[rel PW_MF089_F060]      ; xmm2=tmp7L
 316         pmaddwd   xmm1,[rel PW_MF089_F060]      ; xmm1=tmp7H
 317
 318         paddd   xmm7, XMMWORD [wk(0)]   ; xmm7=data7L
 319         paddd   xmm4, XMMWORD [wk(1)]   ; xmm4=data7H
 320         paddd   xmm2,xmm6               ; xmm2=data1L
 321         paddd   xmm1,xmm0               ; xmm1=data1H
 322
 323         paddd   xmm7,[rel PD_DESCALE_P1]
 324         paddd   xmm4,[rel PD_DESCALE_P1]
 325         psrad   xmm7,DESCALE_P1
 326         psrad   xmm4,DESCALE_P1
 327         paddd   xmm2,[rel PD_DESCALE_P1]
 328         paddd   xmm1,[rel PD_DESCALE_P1]
 329         psrad   xmm2,DESCALE_P1
 330         psrad   xmm1,DESCALE_P1
 331
 332         packssdw  xmm7,xmm4             ; xmm7=data7
 333         packssdw  xmm2,xmm1             ; xmm2=data1
 334
 335         movdqa    xmm4,xmm5
 336         movdqa    xmm1,xmm5
 337         punpcklwd xmm4,xmm3
 338         punpckhwd xmm1,xmm3
 339         movdqa    xmm5,xmm4
 340         movdqa    xmm3,xmm1
 341         pmaddwd   xmm4,[rel PW_MF050_MF256]     ; xmm4=tmp5L
 342         pmaddwd   xmm1,[rel PW_MF050_MF256]     ; xmm1=tmp5H
 343         pmaddwd   xmm5,[rel PW_MF256_F050]      ; xmm5=tmp6L
 344         pmaddwd   xmm3,[rel PW_MF256_F050]      ; xmm3=tmp6H
 345
 346         paddd   xmm4,xmm6               ; xmm4=data5L
 347         paddd   xmm1,xmm0               ; xmm1=data5H
 348         paddd   xmm5, XMMWORD [wk(0)]   ; xmm5=data3L
 349         paddd   xmm3, XMMWORD [wk(1)]   ; xmm3=data3H
 350
 351         paddd   xmm4,[rel PD_DESCALE_P1]
 352         paddd   xmm1,[rel PD_DESCALE_P1]
 353         psrad   xmm4,DESCALE_P1
 354         psrad   xmm1,DESCALE_P1
 355         paddd   xmm5,[rel PD_DESCALE_P1]
 356         paddd   xmm3,[rel PD_DESCALE_P1]
 357         psrad   xmm5,DESCALE_P1
 358         psrad   xmm3,DESCALE_P1
 359
 360         packssdw  xmm4,xmm1             ; xmm4=data5
 361         packssdw  xmm5,xmm3             ; xmm5=data3
 362
 363         ; ---- Pass 2: process columns.
 364
 365         movdqa  xmm6, XMMWORD [wk(2)]   ; xmm6=col0
 366         movdqa  xmm0, XMMWORD [wk(4)]   ; xmm0=col2
 367
 368         ; xmm6=(00 10 20 30 40 50 60 70), xmm0=(02 12 22 32 42 52 62 72)
 369         ; xmm2=(01 11 21 31 41 51 61 71), xmm5=(03 13 23 33 43 53 63 73)
 370
 371         movdqa    xmm1,xmm6             ; transpose coefficients(phase 1)
 372         punpcklwd xmm6,xmm2             ; xmm6=(00 01 10 11 20 21 30 31)
 373         punpckhwd xmm1,xmm2             ; xmm1=(40 41 50 51 60 61 70 71)
 374         movdqa    xmm3,xmm0             ; transpose coefficients(phase 1)
 375         punpcklwd xmm0,xmm5             ; xmm0=(02 03 12 13 22 23 32 33)
 376         punpckhwd xmm3,xmm5             ; xmm3=(42 43 52 53 62 63 72 73)
 377
 378         movdqa  xmm2, XMMWORD [wk(3)]   ; xmm2=col4
 379         movdqa  xmm5, XMMWORD [wk(5)]   ; xmm5=col6
 380
 381         ; xmm2=(04 14 24 34 44 54 64 74), xmm5=(06 16 26 36 46 56 66 76)
 382         ; xmm4=(05 15 25 35 45 55 65 75), xmm7=(07 17 27 37 47 57 67 77)
 383
 384         movdqa  XMMWORD [wk(0)], xmm0   ; wk(0)=(02 03 12 13 22 23 32 33)
 385         movdqa  XMMWORD [wk(1)], xmm3   ; wk(1)=(42 43 52 53 62 63 72 73)
 386
 387         movdqa    xmm0,xmm2             ; transpose coefficients(phase 1)
 388         punpcklwd xmm2,xmm4             ; xmm2=(04 05 14 15 24 25 34 35)
 389         punpckhwd xmm0,xmm4             ; xmm0=(44 45 54 55 64 65 74 75)
 390         movdqa    xmm3,xmm5             ; transpose coefficients(phase 1)
 391         punpcklwd xmm5,xmm7             ; xmm5=(06 07 16 17 26 27 36 37)
 392         punpckhwd xmm3,xmm7             ; xmm3=(46 47 56 57 66 67 76 77)
 393
 394         movdqa    xmm4,xmm2             ; transpose coefficients(phase 2)
 395         punpckldq xmm2,xmm5             ; xmm2=(04 05 06 07 14 15 16 17)
 396         punpckhdq xmm4,xmm5             ; xmm4=(24 25 26 27 34 35 36 37)
 397         movdqa    xmm7,xmm0             ; transpose coefficients(phase 2)
 398         punpckldq xmm0,xmm3             ; xmm0=(44 45 46 47 54 55 56 57)
 399         punpckhdq xmm7,xmm3             ; xmm7=(64 65 66 67 74 75 76 77)
 400
 401         movdqa  xmm5, XMMWORD [wk(0)]   ; xmm5=(02 03 12 13 22 23 32 33)
 402         movdqa  xmm3, XMMWORD [wk(1)]   ; xmm3=(42 43 52 53 62 63 72 73)
 403         movdqa  XMMWORD [wk(2)], xmm4   ; wk(2)=(24 25 26 27 34 35 36 37)
 404         movdqa  XMMWORD [wk(3)], xmm0   ; wk(3)=(44 45 46 47 54 55 56 57)
 405
 406         movdqa    xmm4,xmm6             ; transpose coefficients(phase 2)
 407         punpckldq xmm6,xmm5             ; xmm6=(00 01 02 03 10 11 12 13)
 408         punpckhdq xmm4,xmm5             ; xmm4=(20 21 22 23 30 31 32 33)
 409         movdqa    xmm0,xmm1             ; transpose coefficients(phase 2)
 410         punpckldq xmm1,xmm3             ; xmm1=(40 41 42 43 50 51 52 53)
 411         punpckhdq xmm0,xmm3             ; xmm0=(60 61 62 63 70 71 72 73)
 412
 413         movdqa     xmm5,xmm6            ; transpose coefficients(phase 3)
 414         punpcklqdq xmm6,xmm2            ; xmm6=(00 01 02 03 04 05 06 07)=data0
 415         punpckhqdq xmm5,xmm2            ; xmm5=(10 11 12 13 14 15 16 17)=data1
 416         movdqa     xmm3,xmm0            ; transpose coefficients(phase 3)
 417         punpcklqdq xmm0,xmm7            ; xmm0=(60 61 62 63 64 65 66 67)=data6
 418         punpckhqdq xmm3,xmm7            ; xmm3=(70 71 72 73 74 75 76 77)=data7
 419
 420         movdqa  xmm2,xmm5
 421         movdqa  xmm7,xmm6
 422         psubw   xmm5,xmm0               ; xmm5=data1-data6=tmp6
 423         psubw   xmm6,xmm3               ; xmm6=data0-data7=tmp7
 424         paddw   xmm2,xmm0               ; xmm2=data1+data6=tmp1
 425         paddw   xmm7,xmm3               ; xmm7=data0+data7=tmp0
 426
 427         movdqa  xmm0, XMMWORD [wk(2)]   ; xmm0=(24 25 26 27 34 35 36 37)
 428         movdqa  xmm3, XMMWORD [wk(3)]   ; xmm3=(44 45 46 47 54 55 56 57)
 429         movdqa  XMMWORD [wk(0)], xmm5   ; wk(0)=tmp6
 430         movdqa  XMMWORD [wk(1)], xmm6   ; wk(1)=tmp7
 431
 432         movdqa     xmm5,xmm4            ; transpose coefficients(phase 3)
 433         punpcklqdq xmm4,xmm0            ; xmm4=(20 21 22 23 24 25 26 27)=data2
 434         punpckhqdq xmm5,xmm0            ; xmm5=(30 31 32 33 34 35 36 37)=data3
 435         movdqa     xmm6,xmm1            ; transpose coefficients(phase 3)
 436         punpcklqdq xmm1,xmm3            ; xmm1=(40 41 42 43 44 45 46 47)=data4
 437         punpckhqdq xmm6,xmm3            ; xmm6=(50 51 52 53 54 55 56 57)=data5
 438
 439         movdqa  xmm0,xmm5
 440         movdqa  xmm3,xmm4
 441         paddw   xmm5,xmm1               ; xmm5=data3+data4=tmp3
 442         paddw   xmm4,xmm6               ; xmm4=data2+data5=tmp2
 443         psubw   xmm0,xmm1               ; xmm0=data3-data4=tmp4
 444         psubw   xmm3,xmm6               ; xmm3=data2-data5=tmp5
 445
 446         ; -- Even part
 447
 448         movdqa  xmm1,xmm7
 449         movdqa  xmm6,xmm2
 450         paddw   xmm7,xmm5               ; xmm7=tmp10
 451         paddw   xmm2,xmm4               ; xmm2=tmp11
 452         psubw   xmm1,xmm5               ; xmm1=tmp13
 453         psubw   xmm6,xmm4               ; xmm6=tmp12
 454
 455         movdqa  xmm5,xmm7
 456         paddw   xmm7,xmm2               ; xmm7=tmp10+tmp11
 457         psubw   xmm5,xmm2               ; xmm5=tmp10-tmp11
 458
 459         paddw   xmm7,[rel PW_DESCALE_P2X]
 460         paddw   xmm5,[rel PW_DESCALE_P2X]
 461         psraw   xmm7,PASS1_BITS         ; xmm7=data0
 462         psraw   xmm5,PASS1_BITS         ; xmm5=data4
 463
 464         movdqa  XMMWORD [XMMBLOCK(0,0,rdx,SIZEOF_DCTELEM)], xmm7
 465         movdqa  XMMWORD [XMMBLOCK(4,0,rdx,SIZEOF_DCTELEM)], xmm5
 466
 467         ; (Original)
 468         ; z1 = (tmp12 + tmp13) * 0.541196100;
 469         ; data2 = z1 + tmp13 * 0.765366865;
 470         ; data6 = z1 + tmp12 * -1.847759065;
 471         ;
 472         ; (This implementation)
 473         ; data2 = tmp13 * (0.541196100 + 0.765366865) + tmp12 * 0.541196100;
 474         ; data6 = tmp13 * 0.541196100 + tmp12 * (0.541196100 - 1.847759065);
 475
 476         movdqa    xmm4,xmm1             ; xmm1=tmp13
 477         movdqa    xmm2,xmm1
 478         punpcklwd xmm4,xmm6             ; xmm6=tmp12
 479         punpckhwd xmm2,xmm6
 480         movdqa    xmm1,xmm4
 481         movdqa    xmm6,xmm2
 482         pmaddwd   xmm4,[rel PW_F130_F054]       ; xmm4=data2L
 483         pmaddwd   xmm2,[rel PW_F130_F054]       ; xmm2=data2H
 484         pmaddwd   xmm1,[rel PW_F054_MF130]      ; xmm1=data6L
 485         pmaddwd   xmm6,[rel PW_F054_MF130]      ; xmm6=data6H
 486
 487         paddd   xmm4,[rel PD_DESCALE_P2]
 488         paddd   xmm2,[rel PD_DESCALE_P2]
 489         psrad   xmm4,DESCALE_P2
 490         psrad   xmm2,DESCALE_P2
 491         paddd   xmm1,[rel PD_DESCALE_P2]
 492         paddd   xmm6,[rel PD_DESCALE_P2]
 493         psrad   xmm1,DESCALE_P2
 494         psrad   xmm6,DESCALE_P2
 495
 496         packssdw  xmm4,xmm2             ; xmm4=data2
 497         packssdw  xmm1,xmm6             ; xmm1=data6
 498
 499         movdqa  XMMWORD [XMMBLOCK(2,0,rdx,SIZEOF_DCTELEM)], xmm4
 500         movdqa  XMMWORD [XMMBLOCK(6,0,rdx,SIZEOF_DCTELEM)], xmm1
 501
 502         ; -- Odd part
 503
 504         movdqa  xmm7, XMMWORD [wk(0)]   ; xmm7=tmp6
 505         movdqa  xmm5, XMMWORD [wk(1)]   ; xmm5=tmp7
 506
 507         movdqa  xmm2,xmm0               ; xmm0=tmp4
 508         movdqa  xmm6,xmm3               ; xmm3=tmp5
 509         paddw   xmm2,xmm7               ; xmm2=z3
 510         paddw   xmm6,xmm5               ; xmm6=z4
 511
 512         ; (Original)
 513         ; z5 = (z3 + z4) * 1.175875602;
 514         ; z3 = z3 * -1.961570560;  z4 = z4 * -0.390180644;
 515         ; z3 += z5;  z4 += z5;
 516         ;
 517         ; (This implementation)
 518         ; z3 = z3 * (1.175875602 - 1.961570560) + z4 * 1.175875602;
 519         ; z4 = z3 * 1.175875602 + z4 * (1.175875602 - 0.390180644);
 520
 521         movdqa    xmm4,xmm2
 522         movdqa    xmm1,xmm2
 523         punpcklwd xmm4,xmm6
 524         punpckhwd xmm1,xmm6
 525         movdqa    xmm2,xmm4
 526         movdqa    xmm6,xmm1
 527         pmaddwd   xmm4,[rel PW_MF078_F117]      ; xmm4=z3L
 528         pmaddwd   xmm1,[rel PW_MF078_F117]      ; xmm1=z3H
 529         pmaddwd   xmm2,[rel PW_F117_F078]       ; xmm2=z4L
 530         pmaddwd   xmm6,[rel PW_F117_F078]       ; xmm6=z4H
 531
 532         movdqa  XMMWORD [wk(0)], xmm4   ; wk(0)=z3L
 533         movdqa  XMMWORD [wk(1)], xmm1   ; wk(1)=z3H
 534
 535         ; (Original)
 536         ; z1 = tmp4 + tmp7;  z2 = tmp5 + tmp6;
 537         ; tmp4 = tmp4 * 0.298631336;  tmp5 = tmp5 * 2.053119869;
 538         ; tmp6 = tmp6 * 3.072711026;  tmp7 = tmp7 * 1.501321110;
 539         ; z1 = z1 * -0.899976223;  z2 = z2 * -2.562915447;
 540         ; data7 = tmp4 + z1 + z3;  data5 = tmp5 + z2 + z4;
 541         ; data3 = tmp6 + z2 + z3;  data1 = tmp7 + z1 + z4;
 542         ;
 543         ; (This implementation)
 544         ; tmp4 = tmp4 * (0.298631336 - 0.899976223) + tmp7 * -0.899976223;
 545         ; tmp5 = tmp5 * (2.053119869 - 2.562915447) + tmp6 * -2.562915447;
 546         ; tmp6 = tmp5 * -2.562915447 + tmp6 * (3.072711026 - 2.562915447);
 547         ; tmp7 = tmp4 * -0.899976223 + tmp7 * (1.501321110 - 0.899976223);
 548         ; data7 = tmp4 + z3;  data5 = tmp5 + z4;
 549         ; data3 = tmp6 + z3;  data1 = tmp7 + z4;
 550
 551         movdqa    xmm4,xmm0
 552         movdqa    xmm1,xmm0
 553         punpcklwd xmm4,xmm5
 554         punpckhwd xmm1,xmm5
 555         movdqa    xmm0,xmm4
 556         movdqa    xmm5,xmm1
 557         pmaddwd   xmm4,[rel PW_MF060_MF089]     ; xmm4=tmp4L
 558         pmaddwd   xmm1,[rel PW_MF060_MF089]     ; xmm1=tmp4H
 559         pmaddwd   xmm0,[rel PW_MF089_F060]      ; xmm0=tmp7L
 560         pmaddwd   xmm5,[rel PW_MF089_F060]      ; xmm5=tmp7H
 561
 562         paddd   xmm4, XMMWORD [wk(0)]   ; xmm4=data7L
 563         paddd   xmm1, XMMWORD [wk(1)]   ; xmm1=data7H
 564         paddd   xmm0,xmm2               ; xmm0=data1L
 565         paddd   xmm5,xmm6               ; xmm5=data1H
 566
 567         paddd   xmm4,[rel PD_DESCALE_P2]
 568         paddd   xmm1,[rel PD_DESCALE_P2]
 569         psrad   xmm4,DESCALE_P2
 570         psrad   xmm1,DESCALE_P2
 571         paddd   xmm0,[rel PD_DESCALE_P2]
 572         paddd   xmm5,[rel PD_DESCALE_P2]
 573         psrad   xmm0,DESCALE_P2
 574         psrad   xmm5,DESCALE_P2
 575
 576         packssdw  xmm4,xmm1             ; xmm4=data7
 577         packssdw  xmm0,xmm5             ; xmm0=data1
 578
 579         movdqa  XMMWORD [XMMBLOCK(7,0,rdx,SIZEOF_DCTELEM)], xmm4
 580         movdqa  XMMWORD [XMMBLOCK(1,0,rdx,SIZEOF_DCTELEM)], xmm0
 581
 582         movdqa    xmm1,xmm3
 583         movdqa    xmm5,xmm3
 584         punpcklwd xmm1,xmm7
 585         punpckhwd xmm5,xmm7
 586         movdqa    xmm3,xmm1
 587         movdqa    xmm7,xmm5
 588         pmaddwd   xmm1,[rel PW_MF050_MF256]     ; xmm1=tmp5L
 589         pmaddwd   xmm5,[rel PW_MF050_MF256]     ; xmm5=tmp5H
 590         pmaddwd   xmm3,[rel PW_MF256_F050]      ; xmm3=tmp6L
 591         pmaddwd   xmm7,[rel PW_MF256_F050]      ; xmm7=tmp6H
 592
 593         paddd   xmm1,xmm2               ; xmm1=data5L
 594         paddd   xmm5,xmm6               ; xmm5=data5H
 595         paddd   xmm3, XMMWORD [wk(0)]   ; xmm3=data3L
 596         paddd   xmm7, XMMWORD [wk(1)]   ; xmm7=data3H
 597
 598         paddd   xmm1,[rel PD_DESCALE_P2]
 599         paddd   xmm5,[rel PD_DESCALE_P2]
 600         psrad   xmm1,DESCALE_P2
 601         psrad   xmm5,DESCALE_P2
 602         paddd   xmm3,[rel PD_DESCALE_P2]
 603         paddd   xmm7,[rel PD_DESCALE_P2]
 604         psrad   xmm3,DESCALE_P2
 605         psrad   xmm7,DESCALE_P2
 606
 607         packssdw  xmm1,xmm5             ; xmm1=data5
 608         packssdw  xmm3,xmm7             ; xmm3=data3
 609
 610         movdqa  XMMWORD [XMMBLOCK(5,0,rdx,SIZEOF_DCTELEM)], xmm1
 611         movdqa  XMMWORD [XMMBLOCK(3,0,rdx,SIZEOF_DCTELEM)], xmm3
 612
 613         uncollect_args
 614         mov     rsp,rbp         ; rsp <- aligned rbp
 615         pop     rsp             ; rsp <- original rbp
 616         pop     rbp
 617         ret
 618
 619 ; For some reason, the OS X linker does not honor the request to align the
 620 ; segment unless we do this.
 621         align   16