mro.c: Correct utf8 and bytes concatenation

The previous commit introduced some code that concatenates a pv on to
an sv and then does SvUTF8_on on the sv if the pv was utf8.

That can’t work if the sv was in Latin-1 (or single-byte) encoding
and contained extra-ASCII characters.  Nor can it work if bytes are
appended to a utf8 sv.  Both produce mangled utf8.

There is apparently no function apart from sv_catsv that handle
this.  So I’ve modified sv_catpvn_flags to handle this if passed the
SV_CATUTF8 (concatenating a utf8 pv) or SV_CATBYTES (cancatenating a
byte pv) flag.

This avoids the overhead of creating a new sv (in fact, sv_catsv
even copies its rhs in some cases, so that would mean creating two
new svs).  It might even be worthwhile to redefine sv_catsv in terms
of this....

mro UTF8 cleanup.

This patch also duplicates existing mro tests with copies that use
Unicode in identifiers, to test the mro code.

Since those tests trigger it, it also fixes a bug in the parsing
of *{...}: If the first character inside the braces is a non-ASCII
Unicode identifier character, the inside is now implicitly quoted
if it is just an identifier (just as it is with ASCII identifiers),
instead of being parsed as a bareword that would violate strict subs.

universal.c: ->can UTF8 cleanup.

universal.c: ->isa, sv_derived_from UTF8 cleanup.

This makes them both nul-and-UTF8 clean, although the latter
is somewhat superficial, as mro isn't clean yet.

(Tests coming once ->can and ->DOES are clean)

pp_sys.c: pp_tie and untie UTF8 cleanup.

pp.c: pp_substr for UTF-8 globs.

Since typeglobs may have the UTF8 flag set now, we need to avoid
testing SvCUR on a potential glob, as that would trip an assertion.

pp_ctl.c: pp_caller UTF8 cleanup.

sv.c: S_anonymise_cv_maybe UTF8 cleanup.

pp.c & sv.c: pp_ref UTF8 and null cleanup.

This adds a new function to sv.c, sv_ref, which is a nul-and-UTF8
clean version of sv_reftype. pp_ref now uses that.

sv_ref() not only returns the SV, but also takes in an SV
to modify, so we can say both sv_ref(TARG, obj, TRUE); and
sv = sv_ref(NULL, obj, TRUE);

Add a sv_sethek() function to sv.c

This is exported so that attributes.xs can use it.

pp.c: pp_bless UTF8 cleanup.

Some tests in t/uni/bless.t are TODO, as ref() isn't
clean yet.

op.c: Flag named methods if they are in UTF-8.

pp_hot.c: method_common is UTF-8 aware.

Not really useful yet, since named methods aren't correctly
flagged; that is to access a \x{30cb} method, you'd need
to do something like Obj->${\"\x{30cb}"}.

Committer’s note: I’m also including one piece of the ‘gv.c and
pp_ctl.c warnings’ patch so that the newly-added tests in this
commit pass.

gv.c: gv_fetchmethod_(flags|autoload) UTF8 cleanup.

gv.c: S_gv_get_super_pkg UTF8 cleanup.

gv.c: gv_fetchmeth_pvn_autoload UTF8 cleanup.

As with the previous commit, no Perl-level visible changes.

gv.c: gv_fetchmeth_pvn UTF8 cleanup.

Since gv_fetchmeth_pvn is primarily used from within gv.c,
and not much of anything is passing in the flag yet, this has
no visible changes on the Perl level; So tests remain
entirely in XS::APItest for the time being.

gv.c: gv_init_pvn now uses newCONSTSUB_flags.

pp.c: Make pp_rv2cv use gv_autoload_pvn()

pp_hot.c: pp_entersub UTF8 cleanup.

pp_ctl.c: pp_goto UTF8 cleanup.

gv.c: gv_autoload4 is now UTF-8 clean.

This also uncomments the UTF-8 tests in XS::APItest.

gv.c: gp_free UTF8 cleanup

Tests for UTF-8 GVs.

Basically t/op/gv.t with UTF-8 names. A vast majority of
the tests currently fail and are marked as TODO; Minus for
failures related to prototypes, these will start working
in the following commits.

op.c: newCONSTSUB and newXS UTF8 cleanup.

newXS was merged into newXS_flags; added a line in the docs
recommeding using that instead.

newCONSTSUB got a _flags version, which generates the CV in
the right glob if passed the UTF-8 flag.

sv.c: glob_assign_glob is now UTF-8 aware.

This means that
is($t = sub { *\x{30cb} }->(), "*main::\x{30cb}");
won't fail, as $t will get the right glob.
(Though possibly not the right stash, if that also has
UTF-8 in it. That will be done later.)

Basic tests for UTF-8 vars.

toke.c: S_scan_inputsymbol, initial GV-related UTF8 cleanup

toke.c: S_checkcomma, GV-related UTF8 cleanup

toke.c: yylex, GV-related UTF8 cleanup

toke.c: S_find_in_my_stash, GV-related UTF8 cleanup

toke.c: S_intuit_method, GV-related UTF8 cleanup

toke.c: S_intuit_more, GV-related UTF8 cleanup

toke.c: S_force_ident, GV-related UTF8 cleanup

pp.c: pp_rv2gv UTF8 cleanup.

Merge multi and flags params to gv_init_*

Since multi is a boolean (even though it’s typed as an int), there is
no need to have a separate parameter.  We can just use a flag bit.

gv.c: Initial gv_fetchpvn_flags and gv_stashpvn UTF8 cleanup

Now that a glob can be initialized and fetched in UTF-8,
the next commit will introduce some changes in toke.c to
actually test this.

Committer’s note: To keep tests passing I had to incorporate
the toke.c:S_pending_ident changes in the same patch.

constant.pm: Disable the UTF8 downgrade when unnecessary

The downgrade bug that constant.pm has to imitate is about to be fixed
in the next commit.  The bug workaround is itself a bug if the bug it
is trying to work around is not present.

Fix thinko in hek_eq_pvn_flags

Doing memEQ(str1, str2, len2) without checking the length
first will cause memEQ("forth","fort"...) to compare equal and
memEQ("fort","forth"...) to read unallocated memory.

This was only a potential future problem, as none of the callers reach
this branch.

hv.c: Stash-related UTF-8 cleanup.

This adds a new static function to hv.c, hek_eq_pvn_flags,
which replaces several memEQs.

It also cleans up hv_name_set and has the relevant calls
to hv_common and friends made UTF-8 aware.

Finally, it changes share_hek() to modify the hash passed
in if the pv was modified when downgrading.

gv.c: gv_name_set and gv_init_(etc) now initialize the GV's name as UTF-8 if passed the UTF8 flag.

newCONSTSUB is still unclean however, so constant subs are
still generated under a wrong name.

gv_fullname4 is also UTF-8 aware now; While that should've gotten
it's own commit and tests, it's not possible to test the
UTF-8 part without the gv_init changes, and it's not possible
to test the gv_init changes without gv_fullname4.
Chicken and egg, as it were. So let's compromise and
wait for the relevant tests once globs can be intiialized as
UTF-8 from the Perl level without XS magic.

SvUTF8() for globs.

This turns on the GV's UTF8 flag in sv.c when the GV is stringified.
This works the same way overloading and references work, in that the
SvUTF8 flag is only valid immediately after SvPV.

For Nick's much more detailed explanation, see
http://www.nntp.perl.org/group/perl.perl5.porters/2011/07/msg174703.html

Restore newGVgen to perlapi.pod

gv.c: newGVgen_flags and a flags parameter for gv_get_super_pkg.

Remove method param from gv_autoload_*

method is a boolean flag (typed I32, but used as a boolean) added by
commit 54310121b442.

These new gv_autoload_* functions have a flags parameter, so there’s
no reason for this extra effective bool.  We can just use a flag bit.

Remove 4 from new gv_autoload4_(sv|pvn?) functions

The 4 was added in commit 54310121b442 (inseparable changes during
5.003/4 developement), presumably the ‘Don't look up &AUTOLOAD in @ISA
when calling plain function’ part.

Before that, gv_autoload had three arguments, so the 4 indicated the
new version (with the method argument).

Since these new functions don’t all have four arguments, and since
they have a new naming convention, there is not reason for the 4.

Restore gv_autoload4 to perlapi.pod

Even if it’s not documented (which I hope to rectify), it should
still continue to be listed in perlapi.

gv.c: Added gv_autoload4_(sv|pv|pvn)

gv.c: Make Gv_AMupdate use gv_fetchmethod_sv_flags

gv.c: Added gv_fetchmethod_(sv|pv|pvn)_flags.

In addition from taking a flags parameter, it also takes the
length of the method; This will eventually make method
lookup nul-clean.

Minor correction to gv_fetchmeth_autoload.t

It was not doing the sanity check for all three functions.

Restore gv_fetchmeth_autoload to perlapi.pod

gv.c: Added gv_fetchmeth_(sv|pv|pvn)_autoload.

Remove comment from hv.c that no longer applies

Document and apiify hv name length/utf8 macros

Remove some _get variants of *NAMEUTF8 macros in [gh]v.h

For macros that returns flags, the _get convention implies that there
could be a _set variant some day.  But we don’t do that for flags.

Restore gv_fetchmeth to perlapi

Minor correction to gv_fetchmeth.t

It wasn’t doing the XS::APItest::gv_fetchmeth_type sanity check for
all three gv_fetchmeth* functions.

gv.c: Added gv_fetchmeth_(sv|pv|pvn).

I'm probably pushing this too early. Can't do the
Perl-level tests because of that. TODO.

Document gv_init*

gv.c: Added gv_init_(sv|pv|pvn), renamed gv_init_sv as gv_init_svtype.

gv_init_pvn() is the same as the old gv_init(), but takes
a flags parameter, which will be used for the UTF-8 cleanup.

The old gv_init() is now implemeneted as a macro in gv.h.

Also included is some minimal testing in XS::APItest.

Groundwork to allow cops and pmops to store the UTF8 flag

With threaded builds, cop.h and op.h get an extra member in their
structs, to save the UTF-8ness of the stash's name.

*STASH_set() checks for the flag, stores it through
*STASH_flags(), and *STASH() uses the latter to fetch the
correct scalar.

UTF-8 related macros in hv.h and gv.h

Groundwork for the following commits.

In bisect-runner.pl, if getconf exists, use it to report the number of CPUs.

Thanks to David Leadbeater for the suggestion.

Whitespace

Now with comma :(

_A is predefined in some precompiler environments

On HP-UX 10.20 in the HP C-ANSI-C environment

  CAT2(macro, _A)

expands to

  macro01

as _A obviously expands to 01. This fix "breaks" the token

Remove whitespace errors from bisect-runner.pl

2 trailing spaces and 1 piece of "trailing garbage" in a patch now gone.

bisect-runner.pl now runs all build commands with STDIN of /dev/null

This should avoid any problems with confused build commands wanting to read
from STDIN and causing the bisect to hang waiting on user input from the
terminal.

bisect-runner.pl should remove the stdin-is-a-tty test completely.

Before commit dfe9444ca7881e71, Configure would refuse to run if STDIN was
not a tty. dbcdc176dfaaa83c adapted bisect-runner.pl to deal with this by
skipping closing STDIN for old Configure. However, it's actually much simpler
and safer to patch Configure to remove the test, and then always run it with
STDIN closed. This also avoids problems with ./makedepend hanging on STDIN
in some cases.

Document why bisect.pl can't be in the checkout used for bisecting.

Add a sanity test to catch this case.

Improve bisect.pl's documentation.

bisect-runner.pl needs to add -L/usr/local/lib prior to 5.002 on FreeBSD.

This may well also be needed on some other platforms, but as it has to be
done in the middle of the Configure run, there isn't a clean cross-platform
way to do it.

With this, FreeBSD will build all extensions back to 5.001n, and miniperl
back to 5.000. I don't think that it's going to be possible to improve on
that (without cheating and using a config.sh imported from the "future").

bisect-runner.pl needs to inline $compile into the test for malloc.h

Prior to bd9b35c97ad661cc Configure had the malloc.h test before the
definition of $compile. With this, bisect-runner.pl can build all
extensions back to perl-5.002.

Add 'Fcntl' as a target for bisect-runner.pl.

This builds the Fcntl shared library, which provides a test of whether XS
modules can be built. Clarify that the 'perl' target does *not* build XS
modules.

Fix a bug with the 'lib/Config.pm' target and -e. This target will only build
miniperl, not perl, so -e needs to use the former to run the one-liner.

In bisect-runner.pl, patch Configure to test-compile #include <malloc.h>

On (at least) FreeBSD malloc.h just gives a compile error saying to use
stdlib.h instead. This is commit 01d07975f7ef0e7d, trimmed.

With this, bisect.pl can build perl-5.8.0 on FreeBSD.

Update Module-Load to CPAN version 0.22

  [DELTA]

  Changes for 0.22    Tue Oct  4 21:44:32 2011
  ============================================
  * Resolve possible security problem [http://goo.gl/YzHRU]
    where a '::' prefixed module can 'jump' out of @INC

In bisect-runner.pl always use blead's hitnts/freebsd.sh

There are rather too many version-specific FreeBSD hints fixes to patch
individually. Also, more than once the FreeBSD hints file has been written
in what turned out to be a rather non-future-proof style, with case
statements treating the most recent version as the exception, instead of
treating previous versions' behaviour explicitly and changing the default to
cater for the current behaviour. (As strangely, future versions inherit the
current behaviour.)

If /sbin/sysctl exists, use it to find the number of CPUs and hence a
default for the number of make jobs to run in parallel.

Note ExtUtils::ParseXS upgrade in perldelta

Upgrade ExtUtils::ParseXS to 3.05

No functional changes from 3.04_04, just a promotion to "stable".

In bisect-runner.pl, only force Configure's libpth on x86_64 Linux.

Also, if /proc/cpuinfo can be opened and parsed, default the make jobs to one
more than the number of CPUs. Otherwise, default to 2 jobs.

Show that blessed comes from Scalar::Util in code example

podcheck.t: Guard against weird input file types

This causes podcheck to only analyze non-zero length files that we can
read and are plain files or symbolic links.

Perhaps symbolic links should be skipped as well.  In the current blead,
experimenting with doing that made no difference.

bisect-runner.pl needs to patch ext/IPC/SysV/SysV.xs for "newer" Linux.

(dromedary is built from a sufficiently "special biologist word"
distribution that it doesn't need this)

bisect-runner.pl should check for t/perl when building test_prep.

Checking for perl doesn't spot the cases where make aborts after perl is
built but before test_prep is completed.

Fix two typos in the documentation for bisect-runner.pl

Documentation for bisect.pl and bisect-runner.pl

In bisect-runner.pl, fix a bug where a good "test_prep" build would skip.

The "skip"/continue logic was not aware that the build code could change
"test_prep" to "test-prep" or "test" on very old perls, and so was looking
for a file that did not exist, instead of ./perl, and then signaling a
"skip" because it could not find it.

Also fix a fencepost error for the -j test - 5.10.0 (inclusive) and later
are safe to build with paralllel make.

In bisect.pl, support matching on files generated by the build.

If --target isn't specified, then --match will match files in the repository.
If --target is specified, then --mach will match built files (and ignore files
in the repository)

Add 'config.h' as a known target. If a "binary" file matches, print only
the file name, not the "binary" match. Print the match count as part of the
good/bad report line.

If patching fails, bisect-runner.pl should report the name of the file.

When commit 0142f0ceeb8dc10a refactored the relevant code into apply_patch(),
it left "perl.c" hard coded into an error message.

Add another exception to dual-life.t

Module::Build’s tests create a file named something like

    cpan/Module-Build/MB-rrWnCs8O/Simple/bin/foo.PL

during testing, causing dual-life.t to fail when testing in
parallel.

This commit adds that to the list of exceptions, but since the
exact name can vary, it changes the exception list into a
regular expression.

Stop dual-life.t from failing during parallel testing

dual-life.t makes sure all dual-lifed scripts make their way into
utils/ during make.

ExtUtils::Install creates a test script in
dist/ExtUtils-Install/t/Big-Dummy/bin/program during testing.

dual-life.t should skip anything containing /t/, to avoid failing
erroneously.

Remove unused variable from S_set_caret_X

bisect-runner.pl must use Fcntl::S_IMODE() on the raw output from stat.

Fixes a bug whereby it was failing to mask out the non-file-mode bits from
the return value from stat when testing whether the mode had changed.

Update Unicode-Collate to CPAN version 0.79

  [DELTA]

  0.79  Sun Oct  2 20:31:01 2011
    - pod: [rt.cpan.org #70241] Fix minor grammar error in manpage
            by Harlan Lieberman-Berg.
    - 'suppress' no longer affects contractions via 'entry'.
    - U::C::Locale newly supports locales: as, fi__phonebook, gu.
    - added loc_as.t, loc_fiph.t, loc_gu in t.
    - updated some locales to CLDR 2.0 : ar, be, bg.

Update Digest to CPAN version 1.17

  [DELTA]

  2011-10-02   Gisle Aas <gisle@ActiveState.com>

   Release 1.17.

   Gisle Aas (6):
      Less noisy 'git status' output
      Merge pull request #1 from schwern/bug/require_eval
      Don't clobber $@ in Digest->new [RT#50663]
      More meta info added to Makefile.PL
      Fix typo in RIPEMD160 [RT#50629]
      Add schwern's test files

   Michael G. Schwern (5):
      Turn on strict.
      Convert tests to use Test::More
      Untabify
      Turn Digest::Dummy into a real file which exercises the Digest->new() require logic.
      Close the eval "require $module" security hole in Digest->new($algorithm)

Add 'config.sh' as a build target for bisect.pl

This allows one to bisect to find which commit caused Configure options to
stop/start Configure running to completion.

Permit bisect.pl to pass -D, -U and -A parameters to Configure.

This gives pretty much complete control of the configuration options for a
bisect run.

Refactor bisect-runner.pl to use the hashref interface to GetOptions().

This eliminates many lexical variables used only to hold option state.

Refactor bisect.pl to use Getopt::Long's pass_through option.

Add a --check-args option to bisect-runner.pl to validate the arguments that
bisect.pl doesn't know how to check (else the automatic start detection
will get very confused by invalid arguments). Switch bisect.pl to bundling,
which permits the "traditional" make argument form of -j4 to be used instead
of -j=4. As this actually makes -j=4 invalid syntax now (an error about the
unknown option "="), change the syntax messages.