powerpc: Add powerpc64 strspn optimization
authorAdhemerval Zanella <azanella@linux.vnet.ibm.com>
Wed, 19 Nov 2014 19:24:18 +0000 (14:24 -0500)
committerAdhemerval Zanella <azanella@linux.vnet.ibm.com>
Tue, 2 Dec 2014 12:15:58 +0000 (07:15 -0500)
This patch makes the POWER7 optimized strspn generic by using
default doubleword stores to zero the hash, instead of VSX
instructions. Performance on POWER7/POWER8 machines does not changed.

ChangeLog
sysdeps/powerpc/powerpc64/multiarch/Makefile
sysdeps/powerpc/powerpc64/multiarch/ifunc-impl-list.c
sysdeps/powerpc/powerpc64/multiarch/strspn-power7.S [deleted file]
sysdeps/powerpc/powerpc64/multiarch/strspn-ppc64.c [deleted file]
sysdeps/powerpc/powerpc64/multiarch/strspn.c [deleted file]
sysdeps/powerpc/powerpc64/strspn.S [moved from sysdeps/powerpc/powerpc64/power7/strspn.S with 75% similarity]

index 7d58833..d069e41 100644 (file)
--- a/ChangeLog
+++ b/ChangeLog
@@ -1,3 +1,14 @@
+2014-12-02  Adhemerval Zanella  <azanella@linux.vnet.ibm.com>
+
+       * sysdeps/powerpc/powerpc64/multiarch/Makefile [sysdep_routines]:
+       Remove strspn objetcs.
+       * sysdeps/powerpc/powerpc64/multiarch/ifunc-impl-list.c
+       (__libc_ifunc_impl_list): Remove strspn implementation.
+       * sysdeps/powerpc/powerpc64/multiarch/strspn-power7.S: Remove file.
+       * sysdeps/powerpc/powerpc64/multiarch/strspn-ppc64.c: Likewise.
+       * sysdeps/powerpc/powerpc64/power7/strspn.S: Remove file.
+       * sysdeps/powerpc/powerpc64/strspn.S: New file.
+
 2014-12-01  James Lemke  <jwlemke@codesourcery.com>
 
        [BZ #17581]
index abc9d2e..d6de5a5 100644 (file)
@@ -15,7 +15,7 @@ sysdep_routines += memcpy-power7 memcpy-a2 memcpy-power6 memcpy-cell \
                   wordcopy-power7 wordcopy-power6 wordcopy-ppc64 \
                   strcpy-power7 strcpy-ppc64 stpcpy-power7 stpcpy-ppc64 \
                   strrchr-power7 strrchr-ppc64 strncat-power7 strncat-ppc64 \
-                  strspn-power7 strspn-ppc64 strcspn-power7 strcspn-ppc64 \
+                  strcspn-power7 strcspn-ppc64 \
                   strpbrk-power7 strpbrk-ppc64 strncpy-power7 strncpy-ppc64 \
                   stpncpy-power7 stpncpy-ppc64 strcmp-power7 strcmp-ppc64 \
                   strcat-power7 strcat-ppc64 memmove-power7 memmove-ppc64 \
index 06d5be9..4a9e523 100644 (file)
@@ -272,14 +272,6 @@ __libc_ifunc_impl_list (const char *name, struct libc_ifunc_impl *array,
              IFUNC_IMPL_ADD (array, i, strncat, 1,
                              __strncat_ppc))
 
-  /* Support sysdeps/powerpc/powerpc64/multiarch/strspn.c.  */
-  IFUNC_IMPL (i, name, strspn,
-             IFUNC_IMPL_ADD (array, i, strspn,
-                             hwcap & PPC_FEATURE_HAS_VSX,
-                             __strspn_power7)
-             IFUNC_IMPL_ADD (array, i, strspn, 1,
-                             __strspn_ppc))
-
   /* Support sysdeps/powerpc/powerpc64/multiarch/strcspn.c.  */
   IFUNC_IMPL (i, name, strcspn,
              IFUNC_IMPL_ADD (array, i, strcspn,
diff --git a/sysdeps/powerpc/powerpc64/multiarch/strspn-power7.S b/sysdeps/powerpc/powerpc64/multiarch/strspn-power7.S
deleted file mode 100644 (file)
index 889dfee..0000000
+++ /dev/null
@@ -1,40 +0,0 @@
-/* Optimized strspn implementation for POWER7.
-   Copyright (C) 2014 Free Software Foundation, Inc.
-   This file is part of the GNU C Library.
-
-   The GNU C Library is free software; you can redistribute it and/or
-   modify it under the terms of the GNU Lesser General Public
-   License as published by the Free Software Foundation; either
-   version 2.1 of the License, or (at your option) any later version.
-
-   The GNU C Library is distributed in the hope that it will be useful,
-   but WITHOUT ANY WARRANTY; without even the implied warranty of
-   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
-   Lesser General Public License for more details.
-
-   You should have received a copy of the GNU Lesser General Public
-   License along with the GNU C Library; if not, see
-   <http://www.gnu.org/licenses/>.  */
-
-#include <sysdep.h>
-
-#undef EALIGN
-#define EALIGN(name, alignt, words)                            \
-  .section ".text";                                            \
-  ENTRY_2(__strspn_power7)                                     \
-  .align ALIGNARG(alignt);                                     \
-  EALIGN_W_##words;                                            \
-  BODY_LABEL(__strspn_power7):                                 \
-  cfi_startproc;                                               \
-  LOCALENTRY(__strspn_power7)
-
-#undef END
-#define END(name)                                              \
-  cfi_endproc;                                                 \
-  TRACEBACK(__strspn_power7)                                   \
-  END_2(__strspn_power7)
-
-#undef libc_hidden_builtin_def
-#define libc_hidden_builtin_def(name)
-
-#include <sysdeps/powerpc/powerpc64/power7/strspn.S>
diff --git a/sysdeps/powerpc/powerpc64/multiarch/strspn-ppc64.c b/sysdeps/powerpc/powerpc64/multiarch/strspn-ppc64.c
deleted file mode 100644 (file)
index b35af3e..0000000
+++ /dev/null
@@ -1,33 +0,0 @@
-/* Copyright (C) 2014 Free Software Foundation, Inc.
-   This file is part of the GNU C Library.
-
-   The GNU C Library is free software; you can redistribute it and/or
-   modify it under the terms of the GNU Lesser General Public
-   License as published by the Free Software Foundation; either
-   version 2.1 of the License, or (at your option) any later version.
-
-   The GNU C Library is distributed in the hope that it will be useful,
-   but WITHOUT ANY WARRANTY; without even the implied warranty of
-   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
-   Lesser General Public License for more details.
-
-   You should have received a copy of the GNU Lesser General Public
-   License along with the GNU C Library; if not, see
-   <http://www.gnu.org/licenses/>.  */
-
-#include <string.h>
-
-#define STRSPN __strspn_ppc
-#undef weak_alias
-#define weak_alias(name, aliasname) \
-  extern __typeof (__strspn_ppc) aliasname \
-    __attribute__ ((weak, alias ("__strspn_ppc")));
-#if IS_IN (libc) && defined(SHARED)
-# undef libc_hidden_builtin_def
-# define libc_hidden_builtin_def(name) \
-  __hidden_ver1(__strspn_ppc, __GI_strspn, __strspn_ppc);
-#endif
-
-extern __typeof (strspn) __strspn_ppc attribute_hidden;
-
-#include <string/strspn.c>
diff --git a/sysdeps/powerpc/powerpc64/multiarch/strspn.c b/sysdeps/powerpc/powerpc64/multiarch/strspn.c
deleted file mode 100644 (file)
index dd9ec18..0000000
+++ /dev/null
@@ -1,31 +0,0 @@
-/* Multiple versions of strspn. PowerPC64 version.
-   Copyright (C) 2014 Free Software Foundation, Inc.
-   This file is part of the GNU C Library.
-
-   The GNU C Library is free software; you can redistribute it and/or
-   modify it under the terms of the GNU Lesser General Public
-   License as published by the Free Software Foundation; either
-   version 2.1 of the License, or (at your option) any later version.
-
-   The GNU C Library is distributed in the hope that it will be useful,
-   but WITHOUT ANY WARRANTY; without even the implied warranty of
-   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
-   Lesser General Public License for more details.
-
-   You should have received a copy of the GNU Lesser General Public
-   License along with the GNU C Library; if not, see
-   <http://www.gnu.org/licenses/>.  */
-
-#if IS_IN (libc)
-# include <string.h>
-# include <shlib-compat.h>
-# include "init-arch.h"
-
-extern __typeof (strspn) __strspn_ppc attribute_hidden;
-extern __typeof (strspn) __strspn_power7 attribute_hidden;
-
-libc_ifunc (strspn,
-            (hwcap & PPC_FEATURE_HAS_VSX)
-            ? __strspn_power7
-            : __strspn_ppc);
-#endif
similarity index 75%
rename from sysdeps/powerpc/powerpc64/power7/strspn.S
rename to sysdeps/powerpc/powerpc64/strspn.S
index d587a67..daf5d5d 100644 (file)
@@ -1,4 +1,4 @@
-/* Optimized strspn implementation for PowerPC64/POWER7.
+/* Optimized strspn implementation for PowerPC64.
 
    Copyright (C) 2014 Free Software Foundation, Inc.
    This file is part of the GNU C Library.
@@ -25,8 +25,6 @@
    > hashing of needle.
    > hashing avoids scanning of duplicate entries in needle
      across the string.
-   > initializing the hash table with Vector instructions
-     by quadword access.
    > unrolling when scanning for character in string
      across hash table.  */
 
 
 #include <sysdep.h>
 
-#undef strspn
-
-       .machine  power7
 EALIGN(strspn, 4, 0)
-       CALL_MCOUNT 2
-
-       lbz r10, 0(r4)          /* load r10 with needle (r4)  */
-       addi r9, r1, -256       /* r9 is a hash of 256 bytes  */
-
-       li r5, 16               /* set r5 = 16 as offset  */
-       li r6, 32               /* set r6 = 32 as offset  */
-       li r8, 48               /* set r8 = 48 as offset  */
-
-/*Iniatliaze hash table with Zeroes in double indexed quadword accesses  */
-       xxlxor v0, v0, v0       /* prepare for initializing hash  */
-
-       stxvd2x v0, r0, r9      /* initialize 1st quadword  */
-       stxvd2x v0, r9, r5
-       stxvd2x v0, r9, r6
-       stxvd2x v0, r9, r8      /* initialize 4th quadword  */
-
-       addi r11, r9, 64        /* r11 is index to hash  */
-
-       stxvd2x v0, r0, r11     /* initialize 5th quadword  */
-       stxvd2x v0, r11, r5
-       stxvd2x v0, r11, r6
-       stxvd2x v0, r11, r8     /* initialize 8th quadword  */
-
-       addi r11, r9, 128       /* r11 is index to hash  */
-
-       stxvd2x v0, r0, r11     /* initialize 9th quadword  */
-       stxvd2x v0, r11, r5
-       stxvd2x v0, r11, r6
-       stxvd2x v0, r11, r8     /* initialize 12th quadword  */
-
-       addi r11, r9, 192       /* r11 is index to hash  */
-
-       stxvd2x v0, r0, r11     /* initialize 13th quadword  */
-       stxvd2x v0, r11, r5
-       stxvd2x v0, r11, r6
-       stxvd2x v0, r11, r8     /* initialize 16th quadword  */
-
+       CALL_MCOUNT 3
+
+       /* PPC64 ELF ABI stack is aligned to 16 bytes.  */
+       addi    r9,r1,-256
+       /* Clear the table with 0 values  */
+       li      r6, 0
+       li      r8, 4
+       mtctr   r8
+       mr      r10, r9
+       .align  4
+L(zerohash):
+       std     r6, 0(r10)
+       std     r6, 8(r10)
+       std     r6, 16(r10)
+       std     r6, 24(r10)
+       std     r6, 32(r10)
+       std     r6, 40(r10)
+       std     r6, 48(r10)
+       std     r6, 56(r10)
+       addi    r10, r10, 64
+       bdnz    L(zerohash)
+
+       lbz     r10,0(r4)
        li r8, 1                /* r8=1, marker into hash if found in
                                   needle  */
-
        cmpdi cr7, r10, 0       /* accept needle is NULL  */
        beq cr7, L(skipHashing) /* if needle is NULL, skip hashing  */
 
-       .p2align 4              /* align section to 16 byte boundary  */
+       .align 4                /* align section to 16 byte boundary  */
 L(hashing):
        stbx r8, r9, r10        /* update hash with marker for the pivot of
                                   the needle  */
@@ -106,7 +85,7 @@ L(skipHashing):
        li r10, 0               /* load counter = 0  */
        b L(beginScan)
 
-       .p2align 4              /* align section to 16 byte boundary  */
+       .align 4                /* align section to 16 byte boundary  */
 L(scanUnroll):
        lbzx r8, r9, r8         /* load r8 with hash value at index  */
        cmpwi cr7, r8, 0        /* if we hit marker in hash, we have found