liboil/sse/copy_sse.c

   1 /*
   2  * Copyright (c) 2005
   3  *      Eric Anholt.  All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice, this list of conditions and the following disclaimer.
  10  * 2. Redistributions in binary form must reproduce the above copyright
  11  *    notice, this list of conditions and the following disclaimer in the
  12  *    documentation and/or other materials provided with the distribution.
  13  *
  14  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND
  15  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  16  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  17  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR BE LIABLE
  18  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  19  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  20  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  21  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  22  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  23  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  24  * SUCH DAMAGE.
  25  */
  26
  27 #ifdef HAVE_CONFIG_H
  28 #include "config.h"
  29 #endif
  30 #include <liboil/liboilclasses.h>
  31 #include <liboil/liboilfunction.h>
  32 #include <emmintrin.h>
  33
  34 #ifdef HAVE_I386
  35 #define SSE_FUNCTION __attribute__((force_align_arg_pointer))
  36 #else
  37 #define SSE_FUNCTION
  38 #endif
  39
  40 SSE_FUNCTION static void
  41 copy_u8_sse (uint8_t *dest, const uint8_t *src, int n)
  42 {
  43   for (; ((long)dest & 15) && (n > 0); n--) {
  44     *dest++ = *src++;
  45   }
  46   for (; n >= 16; n -= 16) {
  47     _mm_store_si128((__m128i *)dest, _mm_loadu_si128((__m128i *)src));
  48     src += 16;
  49     dest += 16;
  50   }
  51   for (; n > 0; n--) {
  52     *dest++ = *src++;
  53   }
  54 }
  55 OIL_DEFINE_IMPL_FULL (copy_u8_sse, copy_u8, OIL_IMPL_FLAG_SSE2);
  56
  57 SSE_FUNCTION static void
  58 copy_u8_sse_unroll2 (uint8_t *dest, const uint8_t *src, int n)
  59 {
  60   for (; ((long)dest & 15) && (n > 0); n--) {
  61     *dest++ = *src++;
  62   }
  63   for (; n >= 32; n -= 32) {
  64     _mm_store_si128((__m128i *)dest, _mm_loadu_si128((__m128i *)src));
  65     _mm_store_si128((__m128i *)(dest + 16), _mm_loadu_si128((__m128i *)(src + 16)));
  66     src += 32;
  67     dest += 32;
  68   }
  69   if (n >= 16) {
  70     _mm_store_si128((__m128i *)dest, _mm_loadu_si128((__m128i *)src));
  71     src += 16;
  72     dest += 16;
  73     n -= 16;
  74   }
  75   for (; n > 0; n--) {
  76     *dest++ = *src++;
  77   }
  78 }
  79 OIL_DEFINE_IMPL_FULL (copy_u8_sse_unroll2, copy_u8, OIL_IMPL_FLAG_SSE2);