toke.c: Don't force \N{} into utf8 unnecessarily
authorKarl Williamson <public@khwilliamson.com>
Sun, 11 Nov 2012 21:47:53 +0000 (14:47 -0700)
committerKarl Williamson <public@khwilliamson.com>
Sun, 11 Nov 2012 22:34:03 +0000 (15:34 -0700)
commit94ca1619c5a35b493b5e6374422aac5b5fce4678
tree30876fd538e85f9c816f78dc9bbdae7124692de3
parent55025e0373118aae3b91192b1eb95b1aad0d6c9d
toke.c: Don't force \N{} into utf8 unnecessarily

regcomp.c no longer requires everything containing \N{} to be in UTF-8.
I'm not sure of the exact commit; it might even have been in 5.16.  But
it was done by the time 86e88272fdabc40e3b168a3cc43af5e86284d01b was
done.

Therefore we can remove the temporary code that forced utf8, and replace
it with code that handles the non-utf8 case.

Note that outside patterns, \N{} still forces utf8.  This is so that
Unicode semantics will be imposed on the string it resides in, no matter
how it is used.  Patterns have a flag that indicates Unicode semantics,
so don't need to be in utf8.
t/re/pat_advanced.t
toke.c