liboil/i386/splat_i386.c

   1 /*
   2  * LIBOIL - Library of Optimized Inner Loops
   3  * Copyright (c) 2004 David A. Schleef <ds@schleef.org>
   4  * All rights reserved.
   5  *
   6  * Redistribution and use in source and binary forms, with or without
   7  * modification, are permitted provided that the following conditions
   8  * are met:
   9  * 1. Redistributions of source code must retain the above copyright
  10  *    notice, this list of conditions and the following disclaimer.
  11  * 2. Redistributions in binary form must reproduce the above copyright
  12  *    notice, this list of conditions and the following disclaimer in the
  13  *    documentation and/or other materials provided with the distribution.
  14  *
  15  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
  16  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  17  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  18  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT,
  19  * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  20  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  21  * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  22  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
  23  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING
  24  * IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
  25  * POSSIBILITY OF SUCH DAMAGE.
  26  */
  27
  28 #ifdef HAVE_CONFIG_H
  29 #include "config.h"
  30 #endif
  31
  32 #include <liboil/liboilfunction.h>
  33 #include <liboil/liboilfunction.h>
  34
  35 OIL_DECLARE_CLASS(splat_u32_ns);
  36
  37 static void
  38 splat_u32_ns_i386_mmx (uint32_t *dest, uint32_t *src, int n)
  39 {
  40   while(n&0x7) {
  41     *dest++ = *src;
  42     n--;
  43   }
  44   if (n) asm volatile (
  45       "  mov $0, %%eax\n"
  46       "  movq (%1), %%mm0\n"
  47       "  punpckldq (%1), %%mm0\n"
  48       "1:\n"
  49       "  movntq %%mm0, (%0,%%eax)\n"
  50       "  movntq %%mm0, 8(%0,%%eax)\n"
  51       "  movntq %%mm0, 16(%0,%%eax)\n"
  52       "  movntq %%mm0, 24(%0,%%eax)\n"
  53       "  add $32, %%eax\n"
  54       "  decl %%ecx\n"
  55       "  jne 1b\n"
  56       "  sfence\n"
  57       "  emms\n"
  58       : "+r" (dest), "+r" (src)
  59       : "c" (n/8)
  60       : "eax");
  61 }
  62 OIL_DEFINE_IMPL_FULL (splat_u32_ns_i386_mmx, splat_u32_ns, OIL_IMPL_FLAG_MMX | OIL_IMPL_FLAG_MMXEXT);
  63
  64
  65