libgo/go/strings/strings_test.go

   1 // Copyright 2009 The Go Authors. All rights reserved.
   2 // Use of this source code is governed by a BSD-style
   3 // license that can be found in the LICENSE file.
   4
   5 package strings_test
   6
   7 import (
   8         "bytes"
   9         "io"
  10         "math/rand"
  11         "reflect"
  12         . "strings"
  13         "testing"
  14         "unicode"
  15         "unicode/utf8"
  16         "unsafe"
  17 )
  18
  19 func eq(a, b []string) bool {
  20         if len(a) != len(b) {
  21                 return false
  22         }
  23         for i := 0; i < len(a); i++ {
  24                 if a[i] != b[i] {
  25                         return false
  26                 }
  27         }
  28         return true
  29 }
  30
  31 var abcd = "abcd"
  32 var faces = "☺☻☹"
  33 var commas = "1,2,3,4"
  34 var dots = "1....2....3....4"
  35
  36 type IndexTest struct {
  37         s   string
  38         sep string
  39         out int
  40 }
  41
  42 var indexTests = []IndexTest{
  43         {"", "", 0},
  44         {"", "a", -1},
  45         {"", "foo", -1},
  46         {"fo", "foo", -1},
  47         {"foo", "foo", 0},
  48         {"oofofoofooo", "f", 2},
  49         {"oofofoofooo", "foo", 4},
  50         {"barfoobarfoo", "foo", 3},
  51         {"foo", "", 0},
  52         {"foo", "o", 1},
  53         {"abcABCabc", "A", 3},
  54         // cases with one byte strings - test special case in Index()
  55         {"", "a", -1},
  56         {"x", "a", -1},
  57         {"x", "x", 0},
  58         {"abc", "a", 0},
  59         {"abc", "b", 1},
  60         {"abc", "c", 2},
  61         {"abc", "x", -1},
  62 }
  63
  64 var lastIndexTests = []IndexTest{
  65         {"", "", 0},
  66         {"", "a", -1},
  67         {"", "foo", -1},
  68         {"fo", "foo", -1},
  69         {"foo", "foo", 0},
  70         {"foo", "f", 0},
  71         {"oofofoofooo", "f", 7},
  72         {"oofofoofooo", "foo", 7},
  73         {"barfoobarfoo", "foo", 9},
  74         {"foo", "", 3},
  75         {"foo", "o", 2},
  76         {"abcABCabc", "A", 3},
  77         {"abcABCabc", "a", 6},
  78 }
  79
  80 var indexAnyTests = []IndexTest{
  81         {"", "", -1},
  82         {"", "a", -1},
  83         {"", "abc", -1},
  84         {"a", "", -1},
  85         {"a", "a", 0},
  86         {"aaa", "a", 0},
  87         {"abc", "xyz", -1},
  88         {"abc", "xcz", 2},
  89         {"a☺b☻c☹d", "uvw☻xyz", 2 + len("☺")},
  90         {"aRegExp*", ".(|)*+?^$[]", 7},
  91         {dots + dots + dots, " ", -1},
  92 }
  93 var lastIndexAnyTests = []IndexTest{
  94         {"", "", -1},
  95         {"", "a", -1},
  96         {"", "abc", -1},
  97         {"a", "", -1},
  98         {"a", "a", 0},
  99         {"aaa", "a", 2},
 100         {"abc", "xyz", -1},
 101         {"abc", "ab", 1},
 102         {"a☺b☻c☹d", "uvw☻xyz", 2 + len("☺")},
 103         {"a.RegExp*", ".(|)*+?^$[]", 8},
 104         {dots + dots + dots, " ", -1},
 105 }
 106
 107 // Execute f on each test case.  funcName should be the name of f; it's used
 108 // in failure reports.
 109 func runIndexTests(t *testing.T, f func(s, sep string) int, funcName string, testCases []IndexTest) {
 110         for _, test := range testCases {
 111                 actual := f(test.s, test.sep)
 112                 if actual != test.out {
 113                         t.Errorf("%s(%q,%q) = %v; want %v", funcName, test.s, test.sep, actual, test.out)
 114                 }
 115         }
 116 }
 117
 118 func TestIndex(t *testing.T)        { runIndexTests(t, Index, "Index", indexTests) }
 119 func TestLastIndex(t *testing.T)    { runIndexTests(t, LastIndex, "LastIndex", lastIndexTests) }
 120 func TestIndexAny(t *testing.T)     { runIndexTests(t, IndexAny, "IndexAny", indexAnyTests) }
 121 func TestLastIndexAny(t *testing.T) { runIndexTests(t, LastIndexAny, "LastIndexAny", lastIndexAnyTests) }
 122
 123 var indexRuneTests = []struct {
 124         s    string
 125         rune rune
 126         out  int
 127 }{
 128         {"a A x", 'A', 2},
 129         {"some_text=some_value", '=', 9},
 130         {"☺a", 'a', 3},
 131         {"a☻☺b", '☺', 4},
 132 }
 133
 134 func TestIndexRune(t *testing.T) {
 135         for _, test := range indexRuneTests {
 136                 if actual := IndexRune(test.s, test.rune); actual != test.out {
 137                         t.Errorf("IndexRune(%q,%d)= %v; want %v", test.s, test.rune, actual, test.out)
 138                 }
 139         }
 140 }
 141
 142 const benchmarkString = "some_text=some☺value"
 143
 144 func BenchmarkIndexRune(b *testing.B) {
 145         if got := IndexRune(benchmarkString, '☺'); got != 14 {
 146                 b.Fatalf("wrong index: expected 14, got=%d", got)
 147         }
 148         for i := 0; i < b.N; i++ {
 149                 IndexRune(benchmarkString, '☺')
 150         }
 151 }
 152
 153 func BenchmarkIndexRuneFastPath(b *testing.B) {
 154         if got := IndexRune(benchmarkString, 'v'); got != 17 {
 155                 b.Fatalf("wrong index: expected 17, got=%d", got)
 156         }
 157         for i := 0; i < b.N; i++ {
 158                 IndexRune(benchmarkString, 'v')
 159         }
 160 }
 161
 162 func BenchmarkIndex(b *testing.B) {
 163         if got := Index(benchmarkString, "v"); got != 17 {
 164                 b.Fatalf("wrong index: expected 17, got=%d", got)
 165         }
 166         for i := 0; i < b.N; i++ {
 167                 Index(benchmarkString, "v")
 168         }
 169 }
 170
 171 var explodetests = []struct {
 172         s string
 173         n int
 174         a []string
 175 }{
 176         {"", -1, []string{}},
 177         {abcd, 4, []string{"a", "b", "c", "d"}},
 178         {faces, 3, []string{"☺", "☻", "☹"}},
 179         {abcd, 2, []string{"a", "bcd"}},
 180 }
 181
 182 func TestExplode(t *testing.T) {
 183         for _, tt := range explodetests {
 184                 a := SplitN(tt.s, "", tt.n)
 185                 if !eq(a, tt.a) {
 186                         t.Errorf("explode(%q, %d) = %v; want %v", tt.s, tt.n, a, tt.a)
 187                         continue
 188                 }
 189                 s := Join(a, "")
 190                 if s != tt.s {
 191                         t.Errorf(`Join(explode(%q, %d), "") = %q`, tt.s, tt.n, s)
 192                 }
 193         }
 194 }
 195
 196 type SplitTest struct {
 197         s   string
 198         sep string
 199         n   int
 200         a   []string
 201 }
 202
 203 var splittests = []SplitTest{
 204         {abcd, "a", 0, nil},
 205         {abcd, "a", -1, []string{"", "bcd"}},
 206         {abcd, "z", -1, []string{"abcd"}},
 207         {abcd, "", -1, []string{"a", "b", "c", "d"}},
 208         {commas, ",", -1, []string{"1", "2", "3", "4"}},
 209         {dots, "...", -1, []string{"1", ".2", ".3", ".4"}},
 210         {faces, "☹", -1, []string{"☺☻", ""}},
 211         {faces, "~", -1, []string{faces}},
 212         {faces, "", -1, []string{"☺", "☻", "☹"}},
 213         {"1 2 3 4", " ", 3, []string{"1", "2", "3 4"}},
 214         {"1 2", " ", 3, []string{"1", "2"}},
 215         {"123", "", 2, []string{"1", "23"}},
 216         {"123", "", 17, []string{"1", "2", "3"}},
 217 }
 218
 219 func TestSplit(t *testing.T) {
 220         for _, tt := range splittests {
 221                 a := SplitN(tt.s, tt.sep, tt.n)
 222                 if !eq(a, tt.a) {
 223                         t.Errorf("Split(%q, %q, %d) = %v; want %v", tt.s, tt.sep, tt.n, a, tt.a)
 224                         continue
 225                 }
 226                 if tt.n == 0 {
 227                         continue
 228                 }
 229                 s := Join(a, tt.sep)
 230                 if s != tt.s {
 231                         t.Errorf("Join(Split(%q, %q, %d), %q) = %q", tt.s, tt.sep, tt.n, tt.sep, s)
 232                 }
 233                 if tt.n < 0 {
 234                         b := Split(tt.s, tt.sep)
 235                         if !reflect.DeepEqual(a, b) {
 236                                 t.Errorf("Split disagrees with SplitN(%q, %q, %d) = %v; want %v", tt.s, tt.sep, tt.n, b, a)
 237                         }
 238                 }
 239         }
 240 }
 241
 242 var splitaftertests = []SplitTest{
 243         {abcd, "a", -1, []string{"a", "bcd"}},
 244         {abcd, "z", -1, []string{"abcd"}},
 245         {abcd, "", -1, []string{"a", "b", "c", "d"}},
 246         {commas, ",", -1, []string{"1,", "2,", "3,", "4"}},
 247         {dots, "...", -1, []string{"1...", ".2...", ".3...", ".4"}},
 248         {faces, "☹", -1, []string{"☺☻☹", ""}},
 249         {faces, "~", -1, []string{faces}},
 250         {faces, "", -1, []string{"☺", "☻", "☹"}},
 251         {"1 2 3 4", " ", 3, []string{"1 ", "2 ", "3 4"}},
 252         {"1 2 3", " ", 3, []string{"1 ", "2 ", "3"}},
 253         {"1 2", " ", 3, []string{"1 ", "2"}},
 254         {"123", "", 2, []string{"1", "23"}},
 255         {"123", "", 17, []string{"1", "2", "3"}},
 256 }
 257
 258 func TestSplitAfter(t *testing.T) {
 259         for _, tt := range splitaftertests {
 260                 a := SplitAfterN(tt.s, tt.sep, tt.n)
 261                 if !eq(a, tt.a) {
 262                         t.Errorf(`Split(%q, %q, %d) = %v; want %v`, tt.s, tt.sep, tt.n, a, tt.a)
 263                         continue
 264                 }
 265                 s := Join(a, "")
 266                 if s != tt.s {
 267                         t.Errorf(`Join(Split(%q, %q, %d), %q) = %q`, tt.s, tt.sep, tt.n, tt.sep, s)
 268                 }
 269                 if tt.n < 0 {
 270                         b := SplitAfter(tt.s, tt.sep)
 271                         if !reflect.DeepEqual(a, b) {
 272                                 t.Errorf("SplitAfter disagrees with SplitAfterN(%q, %q, %d) = %v; want %v", tt.s, tt.sep, tt.n, b, a)
 273                         }
 274                 }
 275         }
 276 }
 277
 278 type FieldsTest struct {
 279         s string
 280         a []string
 281 }
 282
 283 var fieldstests = []FieldsTest{
 284         {"", []string{}},
 285         {" ", []string{}},
 286         {" \t ", []string{}},
 287         {"  abc  ", []string{"abc"}},
 288         {"1 2 3 4", []string{"1", "2", "3", "4"}},
 289         {"1  2  3  4", []string{"1", "2", "3", "4"}},
 290         {"1\t\t2\t\t3\t4", []string{"1", "2", "3", "4"}},
 291         {"1\u20002\u20013\u20024", []string{"1", "2", "3", "4"}},
 292         {"\u2000\u2001\u2002", []string{}},
 293         {"\n™\t™\n", []string{"™", "™"}},
 294         {faces, []string{faces}},
 295 }
 296
 297 func TestFields(t *testing.T) {
 298         for _, tt := range fieldstests {
 299                 a := Fields(tt.s)
 300                 if !eq(a, tt.a) {
 301                         t.Errorf("Fields(%q) = %v; want %v", tt.s, a, tt.a)
 302                         continue
 303                 }
 304         }
 305 }
 306
 307 var FieldsFuncTests = []FieldsTest{
 308         {"", []string{}},
 309         {"XX", []string{}},
 310         {"XXhiXXX", []string{"hi"}},
 311         {"aXXbXXXcX", []string{"a", "b", "c"}},
 312 }
 313
 314 func TestFieldsFunc(t *testing.T) {
 315         for _, tt := range fieldstests {
 316                 a := FieldsFunc(tt.s, unicode.IsSpace)
 317                 if !eq(a, tt.a) {
 318                         t.Errorf("FieldsFunc(%q, unicode.IsSpace) = %v; want %v", tt.s, a, tt.a)
 319                         continue
 320                 }
 321         }
 322         pred := func(c rune) bool { return c == 'X' }
 323         for _, tt := range FieldsFuncTests {
 324                 a := FieldsFunc(tt.s, pred)
 325                 if !eq(a, tt.a) {
 326                         t.Errorf("FieldsFunc(%q) = %v, want %v", tt.s, a, tt.a)
 327                 }
 328         }
 329 }
 330
 331 // Test case for any function which accepts and returns a single string.
 332 type StringTest struct {
 333         in, out string
 334 }
 335
 336 // Execute f on each test case.  funcName should be the name of f; it's used
 337 // in failure reports.
 338 func runStringTests(t *testing.T, f func(string) string, funcName string, testCases []StringTest) {
 339         for _, tc := range testCases {
 340                 actual := f(tc.in)
 341                 if actual != tc.out {
 342                         t.Errorf("%s(%q) = %q; want %q", funcName, tc.in, actual, tc.out)
 343                 }
 344         }
 345 }
 346
 347 var upperTests = []StringTest{
 348         {"", ""},
 349         {"abc", "ABC"},
 350         {"AbC123", "ABC123"},
 351         {"azAZ09_", "AZAZ09_"},
 352         {"\u0250\u0250\u0250\u0250\u0250", "\u2C6F\u2C6F\u2C6F\u2C6F\u2C6F"}, // grows one byte per char
 353 }
 354
 355 var lowerTests = []StringTest{
 356         {"", ""},
 357         {"abc", "abc"},
 358         {"AbC123", "abc123"},
 359         {"azAZ09_", "azaz09_"},
 360         {"\u2C6D\u2C6D\u2C6D\u2C6D\u2C6D", "\u0251\u0251\u0251\u0251\u0251"}, // shrinks one byte per char
 361 }
 362
 363 const space = "\t\v\r\f\n\u0085\u00a0\u2000\u3000"
 364
 365 var trimSpaceTests = []StringTest{
 366         {"", ""},
 367         {"abc", "abc"},
 368         {space + "abc" + space, "abc"},
 369         {" ", ""},
 370         {" \t\r\n \t\t\r\r\n\n ", ""},
 371         {" \t\r\n x\t\t\r\r\n\n ", "x"},
 372         {" \u2000\t\r\n x\t\t\r\r\ny\n \u3000", "x\t\t\r\r\ny"},
 373         {"1 \t\r\n2", "1 \t\r\n2"},
 374         {" x\x80", "x\x80"},
 375         {" x\xc0", "x\xc0"},
 376         {"x \xc0\xc0 ", "x \xc0\xc0"},
 377         {"x \xc0", "x \xc0"},
 378         {"x \xc0 ", "x \xc0"},
 379         {"x \xc0\xc0 ", "x \xc0\xc0"},
 380         {"x ☺\xc0\xc0 ", "x ☺\xc0\xc0"},
 381         {"x ☺ ", "x ☺"},
 382 }
 383
 384 func tenRunes(ch rune) string {
 385         r := make([]rune, 10)
 386         for i := range r {
 387                 r[i] = ch
 388         }
 389         return string(r)
 390 }
 391
 392 // User-defined self-inverse mapping function
 393 func rot13(r rune) rune {
 394         step := rune(13)
 395         if r >= 'a' && r <= 'z' {
 396                 return ((r - 'a' + step) % 26) + 'a'
 397         }
 398         if r >= 'A' && r <= 'Z' {
 399                 return ((r - 'A' + step) % 26) + 'A'
 400         }
 401         return r
 402 }
 403
 404 func TestMap(t *testing.T) {
 405         // Run a couple of awful growth/shrinkage tests
 406         a := tenRunes('a')
 407         // 1.  Grow.  This triggers two reallocations in Map.
 408         maxRune := func(rune) rune { return unicode.MaxRune }
 409         m := Map(maxRune, a)
 410         expect := tenRunes(unicode.MaxRune)
 411         if m != expect {
 412                 t.Errorf("growing: expected %q got %q", expect, m)
 413         }
 414
 415         // 2. Shrink
 416         minRune := func(rune) rune { return 'a' }
 417         m = Map(minRune, tenRunes(unicode.MaxRune))
 418         expect = a
 419         if m != expect {
 420                 t.Errorf("shrinking: expected %q got %q", expect, m)
 421         }
 422
 423         // 3. Rot13
 424         m = Map(rot13, "a to zed")
 425         expect = "n gb mrq"
 426         if m != expect {
 427                 t.Errorf("rot13: expected %q got %q", expect, m)
 428         }
 429
 430         // 4. Rot13^2
 431         m = Map(rot13, Map(rot13, "a to zed"))
 432         expect = "a to zed"
 433         if m != expect {
 434                 t.Errorf("rot13: expected %q got %q", expect, m)
 435         }
 436
 437         // 5. Drop
 438         dropNotLatin := func(r rune) rune {
 439                 if unicode.Is(unicode.Latin, r) {
 440                         return r
 441                 }
 442                 return -1
 443         }
 444         m = Map(dropNotLatin, "Hello, 세계")
 445         expect = "Hello"
 446         if m != expect {
 447                 t.Errorf("drop: expected %q got %q", expect, m)
 448         }
 449
 450         // 6. Identity
 451         identity := func(r rune) rune {
 452                 return r
 453         }
 454         orig := "Input string that we expect not to be copied."
 455         m = Map(identity, orig)
 456         if (*reflect.StringHeader)(unsafe.Pointer(&orig)).Data !=
 457                 (*reflect.StringHeader)(unsafe.Pointer(&m)).Data {
 458                 t.Error("unexpected copy during identity map")
 459         }
 460 }
 461
 462 func TestToUpper(t *testing.T) { runStringTests(t, ToUpper, "ToUpper", upperTests) }
 463
 464 func TestToLower(t *testing.T) { runStringTests(t, ToLower, "ToLower", lowerTests) }
 465
 466 func BenchmarkMapNoChanges(b *testing.B) {
 467         identity := func(r rune) rune {
 468                 return r
 469         }
 470         for i := 0; i < b.N; i++ {
 471                 Map(identity, "Some string that won't be modified.")
 472         }
 473 }
 474
 475 func TestSpecialCase(t *testing.T) {
 476         lower := "abcçdefgğhıijklmnoöprsştuüvyz"
 477         upper := "ABCÇDEFGĞHIİJKLMNOÖPRSŞTUÜVYZ"
 478         u := ToUpperSpecial(unicode.TurkishCase, upper)
 479         if u != upper {
 480                 t.Errorf("Upper(upper) is %s not %s", u, upper)
 481         }
 482         u = ToUpperSpecial(unicode.TurkishCase, lower)
 483         if u != upper {
 484                 t.Errorf("Upper(lower) is %s not %s", u, upper)
 485         }
 486         l := ToLowerSpecial(unicode.TurkishCase, lower)
 487         if l != lower {
 488                 t.Errorf("Lower(lower) is %s not %s", l, lower)
 489         }
 490         l = ToLowerSpecial(unicode.TurkishCase, upper)
 491         if l != lower {
 492                 t.Errorf("Lower(upper) is %s not %s", l, lower)
 493         }
 494 }
 495
 496 func TestTrimSpace(t *testing.T) { runStringTests(t, TrimSpace, "TrimSpace", trimSpaceTests) }
 497
 498 var trimTests = []struct {
 499         f               string
 500         in, cutset, out string
 501 }{
 502         {"Trim", "abba", "a", "bb"},
 503         {"Trim", "abba", "ab", ""},
 504         {"TrimLeft", "abba", "ab", ""},
 505         {"TrimRight", "abba", "ab", ""},
 506         {"TrimLeft", "abba", "a", "bba"},
 507         {"TrimRight", "abba", "a", "abb"},
 508         {"Trim", "<tag>", "<>", "tag"},
 509         {"Trim", "* listitem", " *", "listitem"},
 510         {"Trim", `"quote"`, `"`, "quote"},
 511         {"Trim", "\u2C6F\u2C6F\u0250\u0250\u2C6F\u2C6F", "\u2C6F", "\u0250\u0250"},
 512         //empty string tests
 513         {"Trim", "abba", "", "abba"},
 514         {"Trim", "", "123", ""},
 515         {"Trim", "", "", ""},
 516         {"TrimLeft", "abba", "", "abba"},
 517         {"TrimLeft", "", "123", ""},
 518         {"TrimLeft", "", "", ""},
 519         {"TrimRight", "abba", "", "abba"},
 520         {"TrimRight", "", "123", ""},
 521         {"TrimRight", "", "", ""},
 522         {"TrimRight", "☺\xc0", "☺", "☺\xc0"},
 523 }
 524
 525 func TestTrim(t *testing.T) {
 526         for _, tc := range trimTests {
 527                 name := tc.f
 528                 var f func(string, string) string
 529                 switch name {
 530                 case "Trim":
 531                         f = Trim
 532                 case "TrimLeft":
 533                         f = TrimLeft
 534                 case "TrimRight":
 535                         f = TrimRight
 536                 default:
 537                         t.Errorf("Undefined trim function %s", name)
 538                 }
 539                 actual := f(tc.in, tc.cutset)
 540                 if actual != tc.out {
 541                         t.Errorf("%s(%q, %q) = %q; want %q", name, tc.in, tc.cutset, actual, tc.out)
 542                 }
 543         }
 544 }
 545
 546 type predicate struct {
 547         f    func(rune) bool
 548         name string
 549 }
 550
 551 var isSpace = predicate{unicode.IsSpace, "IsSpace"}
 552 var isDigit = predicate{unicode.IsDigit, "IsDigit"}
 553 var isUpper = predicate{unicode.IsUpper, "IsUpper"}
 554 var isValidRune = predicate{
 555         func(r rune) bool {
 556                 return r != utf8.RuneError
 557         },
 558         "IsValidRune",
 559 }
 560
 561 func not(p predicate) predicate {
 562         return predicate{
 563                 func(r rune) bool {
 564                         return !p.f(r)
 565                 },
 566                 "not " + p.name,
 567         }
 568 }
 569
 570 var trimFuncTests = []struct {
 571         f       predicate
 572         in, out string
 573 }{
 574         {isSpace, space + " hello " + space, "hello"},
 575         {isDigit, "\u0e50\u0e5212hello34\u0e50\u0e51", "hello"},
 576         {isUpper, "\u2C6F\u2C6F\u2C6F\u2C6FABCDhelloEF\u2C6F\u2C6FGH\u2C6F\u2C6F", "hello"},
 577         {not(isSpace), "hello" + space + "hello", space},
 578         {not(isDigit), "hello\u0e50\u0e521234\u0e50\u0e51helo", "\u0e50\u0e521234\u0e50\u0e51"},
 579         {isValidRune, "ab\xc0a\xc0cd", "\xc0a\xc0"},
 580         {not(isValidRune), "\xc0a\xc0", "a"},
 581 }
 582
 583 func TestTrimFunc(t *testing.T) {
 584         for _, tc := range trimFuncTests {
 585                 actual := TrimFunc(tc.in, tc.f.f)
 586                 if actual != tc.out {
 587                         t.Errorf("TrimFunc(%q, %q) = %q; want %q", tc.in, tc.f.name, actual, tc.out)
 588                 }
 589         }
 590 }
 591
 592 var indexFuncTests = []struct {
 593         in          string
 594         f           predicate
 595         first, last int
 596 }{
 597         {"", isValidRune, -1, -1},
 598         {"abc", isDigit, -1, -1},
 599         {"0123", isDigit, 0, 3},
 600         {"a1b", isDigit, 1, 1},
 601         {space, isSpace, 0, len(space) - 3}, // last rune in space is 3 bytes
 602         {"\u0e50\u0e5212hello34\u0e50\u0e51", isDigit, 0, 18},
 603         {"\u2C6F\u2C6F\u2C6F\u2C6FABCDhelloEF\u2C6F\u2C6FGH\u2C6F\u2C6F", isUpper, 0, 34},
 604         {"12\u0e50\u0e52hello34\u0e50\u0e51", not(isDigit), 8, 12},
 605
 606         // tests of invalid UTF-8
 607         {"\x801", isDigit, 1, 1},
 608         {"\x80abc", isDigit, -1, -1},
 609         {"\xc0a\xc0", isValidRune, 1, 1},
 610         {"\xc0a\xc0", not(isValidRune), 0, 2},
 611         {"\xc0☺\xc0", not(isValidRune), 0, 4},
 612         {"\xc0☺\xc0\xc0", not(isValidRune), 0, 5},
 613         {"ab\xc0a\xc0cd", not(isValidRune), 2, 4},
 614         {"a\xe0\x80cd", not(isValidRune), 1, 2},
 615         {"\x80\x80\x80\x80", not(isValidRune), 0, 3},
 616 }
 617
 618 func TestIndexFunc(t *testing.T) {
 619         for _, tc := range indexFuncTests {
 620                 first := IndexFunc(tc.in, tc.f.f)
 621                 if first != tc.first {
 622                         t.Errorf("IndexFunc(%q, %s) = %d; want %d", tc.in, tc.f.name, first, tc.first)
 623                 }
 624                 last := LastIndexFunc(tc.in, tc.f.f)
 625                 if last != tc.last {
 626                         t.Errorf("LastIndexFunc(%q, %s) = %d; want %d", tc.in, tc.f.name, last, tc.last)
 627                 }
 628         }
 629 }
 630
 631 func equal(m string, s1, s2 string, t *testing.T) bool {
 632         if s1 == s2 {
 633                 return true
 634         }
 635         e1 := Split(s1, "")
 636         e2 := Split(s2, "")
 637         for i, c1 := range e1 {
 638                 if i > len(e2) {
 639                         break
 640                 }
 641                 r1, _ := utf8.DecodeRuneInString(c1)
 642                 r2, _ := utf8.DecodeRuneInString(e2[i])
 643                 if r1 != r2 {
 644                         t.Errorf("%s diff at %d: U+%04X U+%04X", m, i, r1, r2)
 645                 }
 646         }
 647         return false
 648 }
 649
 650 func TestCaseConsistency(t *testing.T) {
 651         // Make a string of all the runes.
 652         numRunes := int(unicode.MaxRune + 1)
 653         if testing.Short() {
 654                 numRunes = 1000
 655         }
 656         a := make([]rune, numRunes)
 657         for i := range a {
 658                 a[i] = rune(i)
 659         }
 660         s := string(a)
 661         // convert the cases.
 662         upper := ToUpper(s)
 663         lower := ToLower(s)
 664
 665         // Consistency checks
 666         if n := utf8.RuneCountInString(upper); n != numRunes {
 667                 t.Error("rune count wrong in upper:", n)
 668         }
 669         if n := utf8.RuneCountInString(lower); n != numRunes {
 670                 t.Error("rune count wrong in lower:", n)
 671         }
 672         if !equal("ToUpper(upper)", ToUpper(upper), upper, t) {
 673                 t.Error("ToUpper(upper) consistency fail")
 674         }
 675         if !equal("ToLower(lower)", ToLower(lower), lower, t) {
 676                 t.Error("ToLower(lower) consistency fail")
 677         }
 678         /*
 679                   These fail because of non-one-to-oneness of the data, such as multiple
 680                   upper case 'I' mapping to 'i'.  We comment them out but keep them for
 681                   interest.
 682                   For instance: CAPITAL LETTER I WITH DOT ABOVE:
 683                         unicode.ToUpper(unicode.ToLower('\u0130')) != '\u0130'
 684
 685                 if !equal("ToUpper(lower)", ToUpper(lower), upper, t) {
 686                         t.Error("ToUpper(lower) consistency fail");
 687                 }
 688                 if !equal("ToLower(upper)", ToLower(upper), lower, t) {
 689                         t.Error("ToLower(upper) consistency fail");
 690                 }
 691         */
 692 }
 693
 694 var RepeatTests = []struct {
 695         in, out string
 696         count   int
 697 }{
 698         {"", "", 0},
 699         {"", "", 1},
 700         {"", "", 2},
 701         {"-", "", 0},
 702         {"-", "-", 1},
 703         {"-", "----------", 10},
 704         {"abc ", "abc abc abc ", 3},
 705 }
 706
 707 func TestRepeat(t *testing.T) {
 708         for _, tt := range RepeatTests {
 709                 a := Repeat(tt.in, tt.count)
 710                 if !equal("Repeat(s)", a, tt.out, t) {
 711                         t.Errorf("Repeat(%v, %d) = %v; want %v", tt.in, tt.count, a, tt.out)
 712                         continue
 713                 }
 714         }
 715 }
 716
 717 func runesEqual(a, b []rune) bool {
 718         if len(a) != len(b) {
 719                 return false
 720         }
 721         for i, r := range a {
 722                 if r != b[i] {
 723                         return false
 724                 }
 725         }
 726         return true
 727 }
 728
 729 var RunesTests = []struct {
 730         in    string
 731         out   []rune
 732         lossy bool
 733 }{
 734         {"", []rune{}, false},
 735         {" ", []rune{32}, false},
 736         {"ABC", []rune{65, 66, 67}, false},
 737         {"abc", []rune{97, 98, 99}, false},
 738         {"\u65e5\u672c\u8a9e", []rune{26085, 26412, 35486}, false},
 739         {"ab\x80c", []rune{97, 98, 0xFFFD, 99}, true},
 740         {"ab\xc0c", []rune{97, 98, 0xFFFD, 99}, true},
 741 }
 742
 743 func TestRunes(t *testing.T) {
 744         for _, tt := range RunesTests {
 745                 a := []rune(tt.in)
 746                 if !runesEqual(a, tt.out) {
 747                         t.Errorf("[]rune(%q) = %v; want %v", tt.in, a, tt.out)
 748                         continue
 749                 }
 750                 if !tt.lossy {
 751                         // can only test reassembly if we didn't lose information
 752                         s := string(a)
 753                         if s != tt.in {
 754                                 t.Errorf("string([]rune(%q)) = %x; want %x", tt.in, s, tt.in)
 755                         }
 756                 }
 757         }
 758 }
 759
 760 func TestReadByte(t *testing.T) {
 761         testStrings := []string{"", abcd, faces, commas}
 762         for _, s := range testStrings {
 763                 reader := NewReader(s)
 764                 if e := reader.UnreadByte(); e == nil {
 765                         t.Errorf("Unreading %q at beginning: expected error", s)
 766                 }
 767                 var res bytes.Buffer
 768                 for {
 769                         b, e := reader.ReadByte()
 770                         if e == io.EOF {
 771                                 break
 772                         }
 773                         if e != nil {
 774                                 t.Errorf("Reading %q: %s", s, e)
 775                                 break
 776                         }
 777                         res.WriteByte(b)
 778                         // unread and read again
 779                         e = reader.UnreadByte()
 780                         if e != nil {
 781                                 t.Errorf("Unreading %q: %s", s, e)
 782                                 break
 783                         }
 784                         b1, e := reader.ReadByte()
 785                         if e != nil {
 786                                 t.Errorf("Reading %q after unreading: %s", s, e)
 787                                 break
 788                         }
 789                         if b1 != b {
 790                                 t.Errorf("Reading %q after unreading: want byte %q, got %q", s, b, b1)
 791                                 break
 792                         }
 793                 }
 794                 if res.String() != s {
 795                         t.Errorf("Reader(%q).ReadByte() produced %q", s, res.String())
 796                 }
 797         }
 798 }
 799
 800 func TestReadRune(t *testing.T) {
 801         testStrings := []string{"", abcd, faces, commas}
 802         for _, s := range testStrings {
 803                 reader := NewReader(s)
 804                 if e := reader.UnreadRune(); e == nil {
 805                         t.Errorf("Unreading %q at beginning: expected error", s)
 806                 }
 807                 res := ""
 808                 for {
 809                         r, z, e := reader.ReadRune()
 810                         if e == io.EOF {
 811                                 break
 812                         }
 813                         if e != nil {
 814                                 t.Errorf("Reading %q: %s", s, e)
 815                                 break
 816                         }
 817                         res += string(r)
 818                         // unread and read again
 819                         e = reader.UnreadRune()
 820                         if e != nil {
 821                                 t.Errorf("Unreading %q: %s", s, e)
 822                                 break
 823                         }
 824                         r1, z1, e := reader.ReadRune()
 825                         if e != nil {
 826                                 t.Errorf("Reading %q after unreading: %s", s, e)
 827                                 break
 828                         }
 829                         if r1 != r {
 830                                 t.Errorf("Reading %q after unreading: want rune %q, got %q", s, r, r1)
 831                                 break
 832                         }
 833                         if z1 != z {
 834                                 t.Errorf("Reading %q after unreading: want size %d, got %d", s, z, z1)
 835                                 break
 836                         }
 837                 }
 838                 if res != s {
 839                         t.Errorf("Reader(%q).ReadRune() produced %q", s, res)
 840                 }
 841         }
 842 }
 843
 844 var ReplaceTests = []struct {
 845         in       string
 846         old, new string
 847         n        int
 848         out      string
 849 }{
 850         {"hello", "l", "L", 0, "hello"},
 851         {"hello", "l", "L", -1, "heLLo"},
 852         {"hello", "x", "X", -1, "hello"},
 853         {"", "x", "X", -1, ""},
 854         {"radar", "r", "<r>", -1, "<r>ada<r>"},
 855         {"", "", "<>", -1, "<>"},
 856         {"banana", "a", "<>", -1, "b<>n<>n<>"},
 857         {"banana", "a", "<>", 1, "b<>nana"},
 858         {"banana", "a", "<>", 1000, "b<>n<>n<>"},
 859         {"banana", "an", "<>", -1, "b<><>a"},
 860         {"banana", "ana", "<>", -1, "b<>na"},
 861         {"banana", "", "<>", -1, "<>b<>a<>n<>a<>n<>a<>"},
 862         {"banana", "", "<>", 10, "<>b<>a<>n<>a<>n<>a<>"},
 863         {"banana", "", "<>", 6, "<>b<>a<>n<>a<>n<>a"},
 864         {"banana", "", "<>", 5, "<>b<>a<>n<>a<>na"},
 865         {"banana", "", "<>", 1, "<>banana"},
 866         {"banana", "a", "a", -1, "banana"},
 867         {"banana", "a", "a", 1, "banana"},
 868         {"☺☻☹", "", "<>", -1, "<>☺<>☻<>☹<>"},
 869 }
 870
 871 func TestReplace(t *testing.T) {
 872         for _, tt := range ReplaceTests {
 873                 if s := Replace(tt.in, tt.old, tt.new, tt.n); s != tt.out {
 874                         t.Errorf("Replace(%q, %q, %q, %d) = %q, want %q", tt.in, tt.old, tt.new, tt.n, s, tt.out)
 875                 }
 876         }
 877 }
 878
 879 var TitleTests = []struct {
 880         in, out string
 881 }{
 882         {"", ""},
 883         {"a", "A"},
 884         {" aaa aaa aaa ", " Aaa Aaa Aaa "},
 885         {" Aaa Aaa Aaa ", " Aaa Aaa Aaa "},
 886         {"123a456", "123a456"},
 887         {"double-blind", "Double-Blind"},
 888         {"ÿøû", "Ÿøû"},
 889 }
 890
 891 func TestTitle(t *testing.T) {
 892         for _, tt := range TitleTests {
 893                 if s := Title(tt.in); s != tt.out {
 894                         t.Errorf("Title(%q) = %q, want %q", tt.in, s, tt.out)
 895                 }
 896         }
 897 }
 898
 899 var ContainsTests = []struct {
 900         str, substr string
 901         expected    bool
 902 }{
 903         {"abc", "bc", true},
 904         {"abc", "bcd", false},
 905         {"abc", "", true},
 906         {"", "a", false},
 907 }
 908
 909 func TestContains(t *testing.T) {
 910         for _, ct := range ContainsTests {
 911                 if Contains(ct.str, ct.substr) != ct.expected {
 912                         t.Errorf("Contains(%s, %s) = %v, want %v",
 913                                 ct.str, ct.substr, !ct.expected, ct.expected)
 914                 }
 915         }
 916 }
 917
 918 var ContainsAnyTests = []struct {
 919         str, substr string
 920         expected    bool
 921 }{
 922         {"", "", false},
 923         {"", "a", false},
 924         {"", "abc", false},
 925         {"a", "", false},
 926         {"a", "a", true},
 927         {"aaa", "a", true},
 928         {"abc", "xyz", false},
 929         {"abc", "xcz", true},
 930         {"a☺b☻c☹d", "uvw☻xyz", true},
 931         {"aRegExp*", ".(|)*+?^$[]", true},
 932         {dots + dots + dots, " ", false},
 933 }
 934
 935 func TestContainsAny(t *testing.T) {
 936         for _, ct := range ContainsAnyTests {
 937                 if ContainsAny(ct.str, ct.substr) != ct.expected {
 938                         t.Errorf("ContainsAny(%s, %s) = %v, want %v",
 939                                 ct.str, ct.substr, !ct.expected, ct.expected)
 940                 }
 941         }
 942 }
 943
 944 var ContainsRuneTests = []struct {
 945         str      string
 946         r        rune
 947         expected bool
 948 }{
 949         {"", 'a', false},
 950         {"a", 'a', true},
 951         {"aaa", 'a', true},
 952         {"abc", 'y', false},
 953         {"abc", 'c', true},
 954         {"a☺b☻c☹d", 'x', false},
 955         {"a☺b☻c☹d", '☻', true},
 956         {"aRegExp*", '*', true},
 957 }
 958
 959 func TestContainsRune(t *testing.T) {
 960         for _, ct := range ContainsRuneTests {
 961                 if ContainsRune(ct.str, ct.r) != ct.expected {
 962                         t.Errorf("ContainsRune(%s, %s) = %v, want %v",
 963                                 ct.str, ct.r, !ct.expected, ct.expected)
 964                 }
 965         }
 966 }
 967
 968 var EqualFoldTests = []struct {
 969         s, t string
 970         out  bool
 971 }{
 972         {"abc", "abc", true},
 973         {"ABcd", "ABcd", true},
 974         {"123abc", "123ABC", true},
 975         {"αβδ", "ΑΒΔ", true},
 976         {"abc", "xyz", false},
 977         {"abc", "XYZ", false},
 978         {"abcdefghijk", "abcdefghijX", false},
 979         {"abcdefghijk", "abcdefghij\u212A", true},
 980         {"abcdefghijK", "abcdefghij\u212A", true},
 981         {"abcdefghijkz", "abcdefghij\u212Ay", false},
 982         {"abcdefghijKz", "abcdefghij\u212Ay", false},
 983 }
 984
 985 func TestEqualFold(t *testing.T) {
 986         for _, tt := range EqualFoldTests {
 987                 if out := EqualFold(tt.s, tt.t); out != tt.out {
 988                         t.Errorf("EqualFold(%#q, %#q) = %v, want %v", tt.s, tt.t, out, tt.out)
 989                 }
 990                 if out := EqualFold(tt.t, tt.s); out != tt.out {
 991                         t.Errorf("EqualFold(%#q, %#q) = %v, want %v", tt.t, tt.s, out, tt.out)
 992                 }
 993         }
 994 }
 995
 996 var makeFieldsInput = func() string {
 997         x := make([]byte, 1<<20)
 998         // Input is ~10% space, ~10% 2-byte UTF-8, rest ASCII non-space.
 999         for i := range x {
1000                 switch rand.Intn(10) {
1001                 case 0:
1002                         x[i] = ' '
1003                 case 1:
1004                         if i > 0 && x[i-1] == 'x' {
1005                                 copy(x[i-1:], "χ")
1006                                 break
1007                         }
1008                         fallthrough
1009                 default:
1010                         x[i] = 'x'
1011                 }
1012         }
1013         return string(x)
1014 }
1015
1016 var fieldsInput = makeFieldsInput()
1017
1018 func BenchmarkFields(b *testing.B) {
1019         b.SetBytes(int64(len(fieldsInput)))
1020         for i := 0; i < b.N; i++ {
1021                 Fields(fieldsInput)
1022         }
1023 }
1024
1025 func BenchmarkFieldsFunc(b *testing.B) {
1026         b.SetBytes(int64(len(fieldsInput)))
1027         for i := 0; i < b.N; i++ {
1028                 FieldsFunc(fieldsInput, unicode.IsSpace)
1029         }
1030 }