String: Split memcpy tests so that parallel build is faster
authorNoah Goldstein <goldstein.w.n@gmail.com>
Wed, 10 Nov 2021 22:16:25 +0000 (16:16 -0600)
committerNoah Goldstein <goldstein.w.n@gmail.com>
Thu, 11 Nov 2021 02:14:09 +0000 (20:14 -0600)
No bug.

This commit splits test-memcpy.c into test-memcpy.c and
test-memcpy-large.c. The idea is parallel builds will be able to run
both in parallel speeding up the process.

Signed-off-by: Noah Goldstein <goldstein.w.n@gmail.com>
Reviewed-by: H.J. Lu <hjl.tools@gmail.com>
string/Makefile
string/test-memcpy-large.c [new file with mode: 0644]
string/test-memcpy-support.h [new file with mode: 0644]
string/test-memcpy.c

index 2199dd3..a7069ff 100644 (file)
@@ -48,9 +48,9 @@ routines      := strcat strchr strcmp strcoll strcpy strcspn          \
                   sigdescr_np sigabbrev_np strerrorname_np             \
                   strerrordesc_np
 
-strop-tests    := memchr memcmp memcpy memcmpeq memmove mempcpy memset \
-                  memccpy stpcpy stpncpy strcat strchr strcmp strcpy strcspn   \
-                  strlen strncmp strncpy strpbrk strrchr strspn memmem \
+strop-tests    := memchr memcmp memcpy memcpy-large memcmpeq memmove mempcpy   \
+                  memset memccpy stpcpy stpncpy strcat strchr strcmp strcpy    \
+                  strcspn strlen strncmp strncpy strpbrk strrchr strspn memmem \
                   strstr strcasestr strnlen strcasecmp strncasecmp     \
                   strncat rawmemchr strchrnul bcopy bzero memrchr      \
                   explicit_bzero
diff --git a/string/test-memcpy-large.c b/string/test-memcpy-large.c
new file mode 100644 (file)
index 0000000..4c4724f
--- /dev/null
@@ -0,0 +1,103 @@
+/* Test and measure memcpy functions.
+   Copyright (C) 1999-2021 Free Software Foundation, Inc.
+   This file is part of the GNU C Library.
+
+   The GNU C Library is free software; you can redistribute it and/or
+   modify it under the terms of the GNU Lesser General Public
+   License as published by the Free Software Foundation; either
+   version 2.1 of the License, or (at your option) any later version.
+
+   The GNU C Library is distributed in the hope that it will be useful,
+   but WITHOUT ANY WARRANTY; without even the implied warranty of
+   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+   Lesser General Public License for more details.
+
+   You should have received a copy of the GNU Lesser General Public
+   License along with the GNU C Library; if not, see
+   <https://www.gnu.org/licenses/>.  */
+
+/* test-memcpy-support.h contains all test functions.  */
+#include "test-memcpy-support.h"
+
+static void
+do_random_large_tests (void)
+{
+  size_t i, align1, align2, size;
+  for (i = 0; i < 32; ++i)
+    {
+      align1 = random ();
+      align2 = random ();
+      size = (random () % 0x1000000) + 0x200000;
+      do_test1 (align1, align2, size);
+    }
+
+  for (i = 0; i < 128; ++i)
+    {
+      align1 = random ();
+      align2 = random ();
+      size = (random () % 32768) + 4096;
+      do_test1 (align1, align2, size);
+    }
+}
+
+int
+test_main (void)
+{
+  size_t i, j;
+
+  test_init ();
+
+  printf ("%23s", "");
+  FOR_EACH_IMPL (impl, 0)
+  printf ("\t%s", impl->name);
+  putchar ('\n');
+
+  do_test (0, 0, getpagesize () - 1);
+
+  for (i = 0x200000; i <= 0x2000000; i += i)
+    {
+      for (j = 64; j <= 1024; j <<= 1)
+        {
+          do_test1 (0, j, i);
+          do_test1 (4095, j, i);
+          do_test1 (4096 - j, 0, i);
+
+          do_test1 (0, j - 1, i);
+          do_test1 (4095, j - 1, i);
+          do_test1 (4096 - j - 1, 0, i);
+
+          do_test1 (0, j + 1, i);
+          do_test1 (4095, j + 1, i);
+          do_test1 (4096 - j, 1, i);
+
+          do_test1 (0, j, i + 1);
+          do_test1 (4095, j, i + 1);
+          do_test1 (4096 - j, 0, i + 1);
+
+          do_test1 (0, j - 1, i + 1);
+          do_test1 (4095, j - 1, i + 1);
+          do_test1 (4096 - j - 1, 0, i + 1);
+
+          do_test1 (0, j + 1, i + 1);
+          do_test1 (4095, j + 1, i + 1);
+          do_test1 (4096 - j, 1, i + 1);
+
+          do_test1 (0, j, i - 1);
+          do_test1 (4095, j, i - 1);
+          do_test1 (4096 - j, 0, i - 1);
+
+          do_test1 (0, j - 1, i - 1);
+          do_test1 (4095, j - 1, i - 1);
+          do_test1 (4096 - j - 1, 0, i - 1);
+
+          do_test1 (0, j + 1, i - 1);
+          do_test1 (4095, j + 1, i - 1);
+          do_test1 (4096 - j, 1, i - 1);
+        }
+    }
+
+  do_random_large_tests ();
+  return ret;
+}
+
+#include <support/test-driver.c>
diff --git a/string/test-memcpy-support.h b/string/test-memcpy-support.h
new file mode 100644 (file)
index 0000000..419158a
--- /dev/null
@@ -0,0 +1,168 @@
+/* Support for testing and measuring memcpy functions.
+   Copyright (C) 1999-2021 Free Software Foundation, Inc.
+   This file is part of the GNU C Library.
+
+   The GNU C Library is free software; you can redistribute it and/or
+   modify it under the terms of the GNU Lesser General Public
+   License as published by the Free Software Foundation; either
+   version 2.1 of the License, or (at your option) any later version.
+
+   The GNU C Library is distributed in the hope that it will be useful,
+   but WITHOUT ANY WARRANTY; without even the implied warranty of
+   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+   Lesser General Public License for more details.
+
+   You should have received a copy of the GNU Lesser General Public
+   License along with the GNU C Library; if not, see
+   <https://www.gnu.org/licenses/>.  */
+
+/* This fail contains the actual memcpy test functions. It is included
+   in test-memcpy.c and test-memcpy-large.c.  They are split because
+   the tests take a long time to run and splitting them allows for
+   simpler parallel testing.  */
+
+#ifndef MEMCPY_RESULT
+#define MEMCPY_RESULT(dst, len) dst
+#define MIN_PAGE_SIZE 131072
+#define TEST_MAIN
+#define TEST_NAME "memcpy"
+#define TIMEOUT (8 * 60)
+#include "test-string.h"
+
+char *simple_memcpy (char *, const char *, size_t);
+char *builtin_memcpy (char *, const char *, size_t);
+
+IMPL (simple_memcpy, 0)
+IMPL (builtin_memcpy, 0)
+IMPL (memcpy, 1)
+char *
+simple_memcpy (char *dst, const char *src, size_t n)
+{
+  char *ret = dst;
+  while (n--)
+    *dst++ = *src++;
+  return ret;
+}
+
+char *
+builtin_memcpy (char *dst, const char *src, size_t n)
+{
+  return __builtin_memcpy (dst, src, n);
+}
+#endif
+typedef char *(*proto_t) (char *, const char *, size_t);
+
+static void
+do_one_test (impl_t *impl, char *dst, const char *src, size_t len)
+{
+  size_t i;
+
+  /* Must clear the destination buffer set by the previous run.  */
+  for (i = 0; i < len; i++)
+    dst[i] = 0;
+
+  if (CALL (impl, dst, src, len) != MEMCPY_RESULT (dst, len))
+    {
+      error (0, 0, "Wrong result in function %s %p %p", impl->name,
+             CALL (impl, dst, src, len), MEMCPY_RESULT (dst, len));
+      ret = 1;
+      return;
+    }
+
+  if (memcmp (dst, src, len) != 0)
+    {
+      error (0, 0,
+             "Wrong result in function %s dst %p \"%.*s\" src %p \"%.*s\" len "
+             "%zu",
+             impl->name, dst, (int)len, dst, src, (int)len, src, len);
+      ret = 1;
+      return;
+    }
+}
+
+static void
+do_test (size_t align1, size_t align2, size_t len)
+{
+  size_t i, j, repeats;
+  char *s1, *s2;
+
+  align1 &= 4095;
+  if (align1 + len >= page_size)
+    return;
+
+  align2 &= 4095;
+  if (align2 + len >= page_size)
+    return;
+
+  s1 = (char *)(buf1 + align1);
+  s2 = (char *)(buf2 + align2);
+  for (repeats = 0; repeats < 2; ++repeats)
+    {
+      for (i = 0, j = 1; i < len; i++, j += 23)
+        s1[i] = j;
+
+      FOR_EACH_IMPL (impl, 0)
+      do_one_test (impl, s2, s1, len);
+    }
+}
+
+static void
+do_test1 (size_t align1, size_t align2, size_t size)
+{
+  void *large_buf;
+  size_t mmap_size, region_size;
+
+  align1 &= (page_size - 1);
+  if (align1 == 0)
+    align1 = page_size;
+
+  align2 &= (page_size - 1);
+  if (align2 == 0)
+    align2 = page_size;
+
+  region_size = (size + page_size - 1) & (~(page_size - 1));
+
+  mmap_size = region_size * 2 + 3 * page_size;
+  large_buf = mmap (NULL, mmap_size, PROT_READ | PROT_WRITE,
+                    MAP_PRIVATE | MAP_ANON, -1, 0);
+  if (large_buf == MAP_FAILED)
+    {
+      puts ("Failed to allocate large_buf, skipping do_test");
+      return;
+    }
+  if (mprotect (large_buf + region_size + page_size, page_size, PROT_NONE))
+    error (EXIT_FAILURE, errno, "mprotect failed");
+
+  size_t array_size = size / sizeof (uint32_t);
+  uint32_t *dest = large_buf + align1;
+  uint32_t *src = large_buf + region_size + 2 * page_size + align2;
+  size_t i;
+  size_t repeats;
+  for (repeats = 0; repeats < 2; repeats++)
+    {
+      for (i = 0; i < array_size; i++)
+        src[i] = (uint32_t)i;
+      FOR_EACH_IMPL (impl, 0)
+      {
+        memset (dest, -1, size);
+        CALL (impl, (char *)dest, (char *)src, size);
+        if (memcmp (src, dest, size))
+          {
+            for (i = 0; i < array_size; i++)
+              if (dest[i] != src[i])
+                {
+                  error (0, 0,
+                         "Wrong result in function %s dst \"%p\" src \"%p\" "
+                         "offset \"%zd\"",
+                         impl->name, dest, src, i);
+                  ret = 1;
+                  munmap ((void *)large_buf, mmap_size);
+                  return;
+                }
+          }
+      }
+      dest = large_buf + region_size + 2 * page_size + align1;
+      src = large_buf + align2;
+    }
+  munmap ((void *)large_buf, mmap_size);
+}
index 101d51c..70f9e02 100644 (file)
    License along with the GNU C Library; if not, see
    <https://www.gnu.org/licenses/>.  */
 
-#ifndef MEMCPY_RESULT
-# define DO_EXTRA_TESTS
-# define MEMCPY_RESULT(dst, len) dst
-# define MIN_PAGE_SIZE 131072
-# define TEST_MAIN
-# define TEST_NAME "memcpy"
-# define TIMEOUT (8 * 60)
-# include "test-string.h"
-
-char *simple_memcpy (char *, const char *, size_t);
-char *builtin_memcpy (char *, const char *, size_t);
-
-IMPL (simple_memcpy, 0)
-IMPL (builtin_memcpy, 0)
-IMPL (memcpy, 1)
-
-char *
-simple_memcpy (char *dst, const char *src, size_t n)
-{
-  char *ret = dst;
-  while (n--)
-    *dst++ = *src++;
-  return ret;
-}
-
-char *
-builtin_memcpy (char *dst, const char *src, size_t n)
-{
-  return __builtin_memcpy (dst, src, n);
-}
-#endif
-
-typedef char *(*proto_t) (char *, const char *, size_t);
-
-static void
-do_one_test (impl_t *impl, char *dst, const char *src,
-            size_t len)
-{
-  size_t i;
-
-  /* Must clear the destination buffer set by the previous run.  */
-  for (i = 0; i < len; i++)
-    dst[i] = 0;
-
-  if (CALL (impl, dst, src, len) != MEMCPY_RESULT (dst, len))
-    {
-      error (0, 0, "Wrong result in function %s %p %p", impl->name,
-            CALL (impl, dst, src, len), MEMCPY_RESULT (dst, len));
-      ret = 1;
-      return;
-    }
-
-  if (memcmp (dst, src, len) != 0)
-    {
-      error (0, 0, "Wrong result in function %s dst %p \"%.*s\" src %p \"%.*s\" len %zu",
-            impl->name, dst, (int) len, dst, src, (int) len, src, len);
-      ret = 1;
-      return;
-    }
-}
-
-static void
-do_test (size_t align1, size_t align2, size_t len)
-{
-  size_t i, j, repeats;
-  char *s1, *s2;
-
-  align1 &= 4095;
-  if (align1 + len >= page_size)
-    return;
-
-  align2 &= 4095;
-  if (align2 + len >= page_size)
-    return;
-
-  s1 = (char *) (buf1 + align1);
-  s2 = (char *) (buf2 + align2);
-  for (repeats = 0; repeats < 2; ++repeats)
-    {
-      for (i = 0, j = 1; i < len; i++, j += 23)
-        s1[i] = j;
-
-      FOR_EACH_IMPL (impl, 0)
-        do_one_test (impl, s2, s1, len);
-    }
-}
+/* test-memcpy-support.h contains all test functions.  */
+#include "test-memcpy-support.h"
 
 static void
 do_random_tests (void)
@@ -114,182 +30,108 @@ do_random_tests (void)
   for (n = 0; n < ITERATIONS; n++)
     {
       if (n == 0)
-       {
-         len = getpagesize ();
-         size = len + 512;
-         size1 = size;
-         size2 = size;
-         align1 = 512;
-         align2 = 512;
-       }
+        {
+          len = getpagesize ();
+          size = len + 512;
+          size1 = size;
+          size2 = size;
+          align1 = 512;
+          align2 = 512;
+        }
       else
-       {
-         if ((random () & 255) == 0)
-           size = 65536;
-         else
-           size = 768;
-         if (size > page_size)
-           size = page_size;
-         size1 = size;
-         size2 = size;
-         i = random ();
-         if (i & 3)
-           size -= 256;
-         if (i & 1)
-           size1 -= 256;
-         if (i & 2)
-           size2 -= 256;
-         if (i & 4)
-           {
-             len = random () % size;
-             align1 = size1 - len - (random () & 31);
-             align2 = size2 - len - (random () & 31);
-             if (align1 > size1)
-               align1 = 0;
-             if (align2 > size2)
-               align2 = 0;
-           }
-         else
-           {
-             align1 = random () & 63;
-             align2 = random () & 63;
-             len = random () % size;
-             if (align1 + len > size1)
-               align1 = size1 - len;
-             if (align2 + len > size2)
-               align2 = size2 - len;
-           }
-       }
+        {
+          if ((random () & 255) == 0)
+            size = 65536;
+          else
+            size = 768;
+          if (size > page_size)
+            size = page_size;
+          size1 = size;
+          size2 = size;
+          i = random ();
+          if (i & 3)
+            size -= 256;
+          if (i & 1)
+            size1 -= 256;
+          if (i & 2)
+            size2 -= 256;
+          if (i & 4)
+            {
+              len = random () % size;
+              align1 = size1 - len - (random () & 31);
+              align2 = size2 - len - (random () & 31);
+              if (align1 > size1)
+                align1 = 0;
+              if (align2 > size2)
+                align2 = 0;
+            }
+          else
+            {
+              align1 = random () & 63;
+              align2 = random () & 63;
+              len = random () % size;
+              if (align1 + len > size1)
+                align1 = size1 - len;
+              if (align2 + len > size2)
+                align2 = size2 - len;
+            }
+        }
       p1 = buf1 + page_size - size1;
       p2 = buf2 + page_size - size2;
       c = random () & 255;
       j = align1 + len + 256;
       if (j > size1)
-       j = size1;
+        j = size1;
       for (i = 0; i < j; ++i)
-       p1[i] = random () & 255;
+        p1[i] = random () & 255;
 
       FOR_EACH_IMPL (impl, 1)
-       {
-         j = align2 + len + 256;
-         if (j > size2)
-           j = size2;
-         memset (p2, c, j);
-         res = (unsigned char *) CALL (impl,
-                                       (char *) (p2 + align2),
-                                       (char *) (p1 + align1), len);
-         if (res != MEMCPY_RESULT (p2 + align2, len))
-           {
-             error (0, 0, "Iteration %zd - wrong result in function %s (%zd, %zd, %zd) %p != %p",
-                    n, impl->name, align1, align2, len, res,
-                    MEMCPY_RESULT (p2 + align2, len));
-             ret = 1;
-           }
-         for (i = 0; i < align2; ++i)
-           {
-             if (p2[i] != c)
-               {
-                 error (0, 0, "Iteration %zd - garbage before, %s (%zd, %zd, %zd)",
-                        n, impl->name, align1, align2, len);
-                 ret = 1;
-                 break;
-               }
-           }
-         for (i = align2 + len; i < j; ++i)
-           {
-             if (p2[i] != c)
-               {
-                 error (0, 0, "Iteration %zd - garbage after, %s (%zd, %zd, %zd)",
-                        n, impl->name, align1, align2, len);
-                 ret = 1;
-                 break;
-               }
-           }
-         if (memcmp (p1 + align1, p2 + align2, len))
-           {
-             error (0, 0, "Iteration %zd - different strings, %s (%zd, %zd, %zd)",
-                    n, impl->name, align1, align2, len);
-             ret = 1;
-           }
-       }
-    }
-}
-
-static void
-do_test1 (size_t align1, size_t align2, size_t size)
-{
-  void *large_buf;
-  size_t mmap_size, region_size;
-
-  align1 &= (page_size - 1);
-  if (align1 == 0)
-    align1 = page_size;
-
-  align2 &= (page_size - 1);
-  if (align2 == 0)
-    align2 = page_size;
-
-  region_size = (size + page_size - 1) & (~(page_size - 1));
-
-  mmap_size = region_size * 2 + 3 * page_size;
-  large_buf = mmap(NULL, mmap_size, PROT_READ | PROT_WRITE,
-                   MAP_PRIVATE | MAP_ANON, -1, 0);
-  if (large_buf == MAP_FAILED)
-    {
-      puts ("Failed to allocate large_buf, skipping do_test1");
-      return;
-    }
-  if (mprotect (large_buf + region_size + page_size, page_size, PROT_NONE))
-    error (EXIT_FAILURE, errno, "mprotect failed");
-
-  size_t array_size = size / sizeof (uint32_t);
-  uint32_t *dest = large_buf + align1;
-  uint32_t *src = large_buf + region_size + 2 * page_size + align2;
-  size_t i;
-  size_t repeats;
-  for(repeats = 0; repeats < 2; repeats++)
-    {
-      for (i = 0; i < array_size; i++)
-        src[i] = (uint32_t) i;
-      FOR_EACH_IMPL (impl, 0)
-        {
-          memset (dest, -1, size);
-          CALL (impl, (char *) dest, (char *) src, size);
-          for (i = 0; i < array_size; i++)
-        if (dest[i] != src[i])
+      {
+        j = align2 + len + 256;
+        if (j > size2)
+          j = size2;
+        memset (p2, c, j);
+        res = (unsigned char *)CALL (impl, (char *)(p2 + align2),
+                                     (char *)(p1 + align1), len);
+        if (res != MEMCPY_RESULT (p2 + align2, len))
           {
             error (0, 0,
-               "Wrong result in function %s dst \"%p\" src \"%p\" offset \"%zd\"",
-               impl->name, dest, src, i);
+                   "Iteration %zd - wrong result in function %s (%zd, %zd, "
+                   "%zd) %p != %p",
+                   n, impl->name, align1, align2, len, res,
+                   MEMCPY_RESULT (p2 + align2, len));
             ret = 1;
-            munmap ((void *) large_buf, mmap_size);
-            return;
           }
-        }
-      dest = large_buf + region_size + 2 * page_size + align1;
-      src = large_buf + align2;
-    }
-  munmap ((void *) large_buf, mmap_size);
-}
-
-static void
-do_random_large_tests (void)
-{
-  size_t i, align1, align2, size;
-  for (i = 0; i < 32; ++i)
-    {
-      align1 = random ();
-      align2 = random ();
-      size = (random() % 0x1000000) + 0x200000;
-      do_test1 (align1, align2, size);
-    }
-
-  for (i = 0; i < 128; ++i)
-    {
-      align1 = random ();
-      align2 = random ();
-      size = (random() % 32768) + 4096;
-      do_test1 (align1, align2, size);
+        for (i = 0; i < align2; ++i)
+          {
+            if (p2[i] != c)
+              {
+                error (0, 0,
+                       "Iteration %zd - garbage before, %s (%zd, %zd, %zd)", n,
+                       impl->name, align1, align2, len);
+                ret = 1;
+                break;
+              }
+          }
+        for (i = align2 + len; i < j; ++i)
+          {
+            if (p2[i] != c)
+              {
+                error (0, 0,
+                       "Iteration %zd - garbage after, %s (%zd, %zd, %zd)", n,
+                       impl->name, align1, align2, len);
+                ret = 1;
+                break;
+              }
+          }
+        if (memcmp (p1 + align1, p2 + align2, len))
+          {
+            error (0, 0,
+                   "Iteration %zd - different strings, %s (%zd, %zd, %zd)", n,
+                   impl->name, align1, align2, len);
+            ret = 1;
+          }
+      }
     }
 }
 
@@ -302,7 +144,7 @@ test_main (void)
 
   printf ("%23s", "");
   FOR_EACH_IMPL (impl, 0)
-    printf ("\t%s", impl->name);
+  printf ("\t%s", impl->name);
   putchar ('\n');
 
   for (i = 0; i < 18; ++i)
@@ -323,7 +165,7 @@ test_main (void)
   for (i = 3; i < 32; ++i)
     {
       if ((i & (i - 1)) == 0)
-       continue;
+        continue;
       do_test (0, 0, 16 * i);
       do_test (i, 0, 16 * i);
       do_test (0, i, 16 * i);
@@ -339,7 +181,6 @@ test_main (void)
     }
 
   do_test (0, 0, getpagesize ());
-
   do_random_tests ();
 
   do_test1 (0, 0, 0x100000);
@@ -380,50 +221,7 @@ test_main (void)
           do_test1 (4096 - j, 1, i);
         }
     }
-#ifdef DO_EXTRA_TESTS
-  for (i = 0x200000; i <= 0x2000000; i += i)
-    {
-      for (j = 64; j <= 1024; j <<= 1)
-        {
-          do_test1 (0, j, i);
-          do_test1 (4095, j, i);
-          do_test1 (4096 - j, 0, i);
-
-          do_test1 (0, j - 1, i);
-          do_test1 (4095, j - 1, i);
-          do_test1 (4096 - j - 1, 0, i);
 
-          do_test1 (0, j + 1, i);
-          do_test1 (4095, j + 1, i);
-          do_test1 (4096 - j, 1, i);
-
-          do_test1 (0, j, i + 1);
-          do_test1 (4095, j, i + 1);
-          do_test1 (4096 - j, 0, i + 1);
-
-          do_test1 (0, j - 1, i + 1);
-          do_test1 (4095, j - 1, i + 1);
-          do_test1 (4096 - j - 1, 0, i + 1);
-
-          do_test1 (0, j + 1, i + 1);
-          do_test1 (4095, j + 1, i + 1);
-          do_test1 (4096 - j, 1, i + 1);
-
-          do_test1 (0, j, i - 1);
-          do_test1 (4095, j, i - 1);
-          do_test1 (4096 - j, 0, i - 1);
-
-          do_test1 (0, j - 1, i - 1);
-          do_test1 (4095, j - 1, i - 1);
-          do_test1 (4096 - j - 1, 0, i - 1);
-
-          do_test1 (0, j + 1, i - 1);
-          do_test1 (4095, j + 1, i - 1);
-          do_test1 (4096 - j, 1, i - 1);
-        }
-    }
-#endif
-  do_random_large_tests ();
   return ret;
 }