utf8.c: White space only

This indents a block of code to match being in a newly created block

utf8.c: Don't invert beyond-Unicode code points

The Unicode properties are defined only on Unicode code points.  In the
past, this meant all property matches would fail for non-Unicode code
points.  However, starting with 5.15.1 some properties do succeed.  This
restores the previous behavior.

regexec.c: Add assertion check

This makes sure before there is a segfault that the is_() functions
actually have the side effect that this expects.

mk_PL_charclass.pl: Accept Unicode 6.1 syntax

The file read by this has a slightly changed format in 6.1

mk_PL_charclass.pl: Revise comments, gen'd header

bisect-runner.pl should "skip" if --force-manifest detects changes.

Teach bisect-runner.pl how to build perl back to perl-5.000.

It's unlikely that x86_64 Linux will ever be able to build extentions for
versions before e1666bf5602ae794 which upgraded MakeMaker to 3.7, although
there are still other problems at that commit which we don't (yet) work round.
The earliest released version that does build extensions is 5.002

For 5.002 we need to patch perl.c to avoid double calls to fclose() in the
-e handling code.
For 5.001 we need to force -Dusenm.
For 5.000 we need to patch Configure to allow spaces in -D, and to correctly
conclude that struct dirent does *not* contain a d_namlen member.

Add options --force-manifest and --test-build to bisect.pl

--force-manifest touches any files in MANIFEST that are missing. This avoids
hanging on 5.004 or earlier (where Configure's stdin is a tty) when Configure
detects the missing files and asks you if you want to stop. It's also useful
on 5.005 or later if you don't want to treat missing files as a "skip".
--test-build changes behaviour to treat failing to build the target exectuable
as a "fail", instead of a "skip".

[perl #99984] Incorrect errmsg with our $::é

Having PL_parser->error_count set to non-zero when utf8_heavy.pl tries
to do() one of its swashes results in ‘Compilation error’ being placed
in $@ during the do, even if it was successful.  This patch sets the
error_count to 0 before calling SWASHNEW, to prevent that.  It uses
SAVEI8, to make sure it is restored on scope exit.

Regen Configure and friends

After backporting Nicholas' work and slimming down metaconfig.h

Add more x-y aliases for x_y targets in Makefile

Consistently make test_prep identical to test-prep
for all x-y and x_y targets.

Avoid bisect-runner.pl hanging on pre-5.004 if a file in MANIFEST is missing.

Restore the package name to overload errors; fix crash

Commit bfcb351493b (which was backported to 5.8.8) caused these error
messages always to mention the overload package, instead of the pack-
age involved:

Can't resolve method "foo" overloading "+" in package "baz"
Stub found while resolving method "foo" overloading "+" in package "baz"

This commit fixes that.  A compiler warning alerted me to the possi-
bility of HvNAME being null, so I wrote a small test for that, found
that it crashed, and incorporated the fix for the crash into the same
commit (since it’s the same line of code).

Export DynaLoader symbols from libperl again

With 5.15.2 and the new xubpp, DynaLoader symbols were XS_INTERNAL, before
they were effectively XS_EXTERNAL. This broke B::C and possibly other
embedded apps which link to DynaLoader functions.

To build perl-5.003 bisect-runner.pl needs to force a value for trnl.

Without this the current makedepend will hang waiting on stdin.
Additionally, when bisecting this far back we need to watch out for the
//depot/perlext/Compiler branch, which has no Configure, patchlevel.h or
other perl source, but may be checked out by the bisect, as it is the second
parent of a8581515f26a081f. If the file Configure is missing, we exit 125
to signal a skip.

In bisect-runner.pl, don't close Configure's STDIN for 5.004

Before commit dfe9444ca7881e71, Configure would refuse to run if STDIN was
not a tty. With that commit, the tty requirement was dropped for -de and -dE.

Change the default start in bisect.pl from perl-5.005 to perl-5.004.

Add a --match option to bisect.pl, to locate source code changes.

In bisect-runner.pl, refactor the reporting code into report_and_exit().

bisect-runner.pl must clean up, even if it's skipping.

It modifies makedepend.SH before running Configure, and a failed build may
well modify other files. The bisect run will fail if git can't checkout
the next revision to test because a file is locally modified.

bisect.pl should still print the time taken if it fails.

(Bisect runs can legitimately return failure for various reasons, such as if
"There are only 'skip'ped commits left to test.")

Add an editor block, and convert the only tabs to spaces.

Document BEGIN, END, etc. in perlsyn

This adds a brief note that blocks can be preceded by a
compilation phase keyword and points the reader to
perlmod for the gory details.

Add lib/Config.pm as a target for bisect-runner.pl

Add -Ilib to the command line generated when -e is used.

Now you can use --target=lib/Config.pm -e 'use Config; ...' to test code
that needs Config, but doesn't require building perl.

bisect-runner.pl can build miniperl in parallel for earlier perl versions.

Makefile bugs that caused problems for parallel builds were for targets built
after miniperl.

Also add an editor block to bisect-runner.pl

Add Porting/bisect.pl, to automate bisecting a perl code test case.

update valgrind URL and platforms

Add darwin to the list of valgrind platforms

Makefile.SH: emit make valgrind* targets only on linux

This inserts several case $osname in linux) spitshell ... esac
statements to emit valgrind targets only where valgrind is available.
Platform dependence is better than checking for valgrind executable
because it serves as a subtle hint that it can be installed.
Other platforms can be added by those who have them.

Makefile.SH: fix ?= gmake-isms

commit c7b956bbbaff changed Makefile.SH to emit gmake-only syntax, fix
that by doing so only on linux, by inserting a spitshell dependent on
osname.  This isnt the most direct fix, but it starts to isolate
linux-only/mostly stuff, like test.valgrind.

perldelta for ExtUtils::MakeMaker version 6.61_01.

Update ExtUtils::MakeMaker to CPAN version 6.61_01

[DELTA]

6.61_01  Sat Sep 24 22:16:13 PDT 2011
    Win32
    * Liblist::Kid now checks the ActiveState MinGW library path environment
      variable [MITHALDU]
    * Further fixes to the Win32 quoting rules.  Fixes failures on VC8+.
      [rt.cpan.org #69528] [SHAY]

Add missing C on </p> construct

Make a new section for vars related to interpreter state

This is a little arbitrary, for example one could argue that @INC and %INC
belong in there. My main goal was to move stuff that you're less likely to
care about later in the document. Basically, this is the stuff that wizards
care about and mere mortals generally don't.

Move $0 and $$ together

Move uid & gid variable docs next to each other

Update README.freebsd with the new approach for making $^X absolute.

Merge the improved $^X absolute pathname conversion.

Note the improved $^X absolute pathname conversion in perldelta.pod

Teach Configure about "procselfexe" on Solaris and NetBSD

Configure would already find /proc/self/exe on NetBSD, where /proc/self is
a symlink to /proc/curproc. However, the revised probe avoids the extra
symlink traversal. Configure did not previously probe for the
relevant path on Solaris, /proc/self/path/a.out

Rename the description of /proc/curproc/file from BSD to FreeBSD, as it seems
that of the "big 3" BSDs, only FreeBSD uses this path.

Based on a patch from Johann 'Myrkraverk' Oskarsson.

In Configure, refactor the test for procselfexe into a loop.

This removes code duplication, and makes it easy to add more variants.
Based on a patch from Johann 'Myrkraverk' Oskarsson.

Where available, use _NSGetExecutablePath() to make $^X absolute.

In Configure, check whether _NSGetExecutablePath() can be used to find the
absolute pathname of the executable. If so, set usensgetexecutablepath in
config.sh and USE_NSGETEXECUTABLEPATH in config.h. If this is set, then use
this approach in S_set_caret_X() to canonicalise $^X as an absolute
path. This approach works on OS X, and possible on other platforms that
use dyld.

Where available, use sysctl() with KERN_PROC_PATHNAME to make $^X absolute.

In Configure, check whether sysctl() and KERN_PROC_PATHNAME can be used
to find the absolute pathname of the executable. If so, set
usekernprocpathname in config.sh and USE_KERN_PROC_PATHNAME in config.h.
If this is set, then use this approach in S_set_caret_X() to canonicalise
$^X as an absolute path. This approach works on (at least) FreeBSD, and
doesn't rely on the /proc filesystem existing, or /proc/curproc/file being
present.

Upgrade perlfaq from version 5.0150034 to 5.0150035

Avoid a "use of uninitialized value" warning from pwent.t

16acebfd4bd4723d refactored parts of t/op/pwent.t and enabled warnings.
The refactoring was not the cause - the previous t/op/pwent.t code would
warn if run with -w.

On OS X (and presumably any other platform where the test processes the
output of /usr/bin/dscl), where a user does not have a real name, dscl does
not output a corresponding line, and as a result the test's processing code
had undef in a data structure. The implicit conversion of this to an empty
string was correct for the test to pass, but generates a warning when
warnings are enabled. Hence disable this specific warning for the minimal
scope where the conversion is wanted behaviour.

Dual-life perlglossary.pod as part of perlfaq

Add 5.14.2 to perlhist

Add 5.14.2-RC1 to perlhist

Add the 5.14.2 perldelta

Add the 5.14.2 epigraph

podcheck.t: Work for scripts/utilities under VMS

 As noted in the comments in the code for this commit, VMS builds
 add a '.com' suffix to scripts and utilities and hence their names don't
 match what is in podcheck's db.  This canonicalizes such names
 back to what the db is expecting.

t/re/re_tests: Add TODO

perlrebackslash: Add missing paren to example

podcheck.t: New method for skipping .PL files

This reverts most of commit df80274d3278c640a5e0fbf3982950bb5ca9d7bc
and uses a different method to exclude .PL files, suggested by Nicholas
Clark.

It uses the MANIFEST to find such files and then excludes them based on
the full path name.

podcheck.t: Remove extra loop initialization

I think its clearer to put the subroutine call in each line of
initialization

podcheck.t: Move hash declaration to earlier in file

The only change is to move a block of code around.  This is to prepare
for future commits

podcheck.t: Move subroutine defn earlier in file

This is to prepare for future commits, to avoid a warning message
about prototype checking

podcheck.t: Don't calc value twice

podcheck.t: remove unused variable

Synchronise Module::CoreList version in Maintainers.pl

add a couple missing LEAVEs in perlio_async_run()

Avoid a double free with CORE->lc

The code for autovivifying coresubs for method calls ended up calling
hv_store(stash,name,len,(SV *)gv,0) where gv is already in the stash
under that entry.  Since hv_store takes ownership of one reference
count and decrements that of what it overwrites (which is the same gv
in this case), it ends up freeing the gv prematurely.

It ended up making that call because S_maybe_add_coresub needs the
stash to get its ENAME (which happens when called by gv_fetchmeth),
but it also assumed that the presence of the stash meant the gv
needed to be stored in it (as is the case with the other caller,
gv_fetchpvn_flags).

This patch reuses the fullen (full length) parameter as a flag to
indicate that that hv_store call should be skipped.

These workarounds for the assumptions that newATTRSUB makes are start-
ing to make inlining look very attractive....

regexp.t: print diagnostics with leading '#'

Some test platforms don't like unexpected output without the comment
prefix character

Add t/porting/checkcfgvar.t to run Porting/checkcfgvar.pl as a test.

Add TAP generation and a --tap option to Porting/checkcfgvar.pl.

In checkcfgvar.t, document its purpose, and the likely way to fix the
problems that it has flagged up. This is a prototype before adding similar
instructions to the other t/porting tests.

A small refactor of checkcfgvar.pl

For --list, only print the name out in one place.
Remove a now-redundant sort for --regen.
Alert the user if default values are not being added because --default was
not specified.

Refactor t/porting/regen.t to use TestInit q(T A);

Previously it had custom code to change directory to the top of the source
tree, and to convert the library paths to absolute. TestInit has common code
for this.

[perl #92898] Clarify (*THEN)’s scope

Document open fh, "<:"

Move the test for recursive call to Perl_load_module to t/io/perlio.t

It's a croak(), not a warning, so doesn't really belong in lib/warnings.t
[This also implicitly fixes the wrong expected output of 69dc7e4bdb8e397c]

Correct the expected results for the first perlio warnings subtest.

Test perl #96008: use and require affected by open.pm

[perl #96008] use and require are affected by the open pragma

% perl -e 'print "package F;\n # \xF1\n;1;"' > x.pl
% perl '-Mopen=:encoding(utf8)' -e 'require "x.pl"'
utf8 "\xF1" does not map to Unicode at x.pl line 1.

Bit of a surprising discovery; Turns out that passing a single ":" for
the layers skips the fetch from the context layers:
perl -wE 'use open qw( :encoding(UTF-8) ); open my $fh, "<:", "etc"; say PerlIO::get_layers($fh);'

That will only get the relevant default layers, while removing the
colons makes it work as usual -- So we can abuse this (mis)feature to
fix the bug.

Move/rewrite test for Recursive call to Perl_load_module

This test was relying on a bug in require that causes it to use what-
ever I/O layers are active in require‘s *caller* when opening a file
[perl #96008].

This rewrites the test using the example in ticket #75722.
Since it no longer has anything to do with open.pm, it is now in
t/lib/warnings/perlio.

Make CORE->method work

This will probably not be used, but ought to be here for complete-
ness’ sake.

Method lookup needs to trigger the autovivification of coresubs.
Since it does not use gv_fetchpvn_flags, the coresub-autovification is
now in a separate static function, so that both standard gv lookup and
method lookup can share it.

perlre: Note a bug's existence

re_tests: Add TODO test

podcheck.t: Add comment

Porting/cherrymaint: Add comment

manifest.t: Clarify a test's wording

base.pm: remove unused variable

base.pm no longer tracks loaded modules

Tracking modules loaded by base.pm to avoid reloading them means
that any module that wishes to force a reload can't just modify
%INC but must also interact with base.pm to clear its cache.

Removing the module-loaded checks have minimal impact.  The internal
call to require() is a NOP for a loaded module.  For an internal
package, the require() will fail with the same error message as
before, which base.pm then ignores.  Tracking modules loaded to avoid
this slight extra overhead is not worth the complexity for other
modules that wish to manipulate %INC.

Use a real compile to test for  stdbool.h

On some Solaris systems, <stdbool.h> is present, but will give an
error if used by a compiler that is not sufficiently c99-compliant.
Check for this by including <stdbool.h> and trying to compile a
short program that uses bool.

Signed-off-by: H.Merijn Brand <h.m.brand@xs4all.nl>

podcheck.t: clarify its pod

podcheck.t: Is problem if cpan/non-cpan have same NAME

If a module whose upstream is cpan has the same NAME as a module that
isn't, that is a problem that should be warned about, as we shouldn't be
shipping two identically named modules, even if one is not under Perl
core's control.  (If two cpan modules have the same name, it is a
problem as well, but not anything we can do anything about, so warn only
when cpan warnings are enabled.)

podcheck.t: Process files sorted caselessly

In some situations previously, case was not important in the sort order;
this extends that to all situations.

podcheck: Nits in comments

base.pm no longer modifies $VERSION

Previously, base.pm modified the $VERSION of modules it loaded to
the string "-1, set by base.pm".  This is not a valid lax version
string and thus could not be parsed by version.pm. (It is also an
encapsulation violation, as it modifies a global in another package.)

This patch removes the $VERSION modification code entirely and uses
a private hash to track which modules base.pm has successfully loaded.
This also eliminates a subtle bug in how base.pm was checking for
the existence of a package's VERSION scalar.

[Though the final mechanism is different, thank you to John Peacock for
proposing the initial patch to eliminate the "-1..." code from base.pm]

fold_grind.t: Ignore blank lines

This is in preparation for Unicode 6.1, which has blank lines in the
.txt file that fold_grind reads.  The line that strips off comments did
not work on plain null lines.

UCD.pm: accommodate non-standard mktables output

Generally mktables generates the most compact tables possible.  But this
should not be relied on, and when called with the -anotate option,
the mktables tables will not be compact.  This will compact
non-compacted tables when reading them.

UCD.pm: Only calculate hex once

This uses intermediate variables to store the output of hex(), with the
result that if there is an $end, its hex only is calculated once.

adding in the list archive URL for the announcement

Add an option to checkcfgvar.pl to add defaults for missing variables.

This eases the updates of the config.sh-format files when a new Configure
variable is added.

Add a --regen option to checkcfgvar.pl to regenerate config files.

Verify that the section of config file containing probed files is sorted
lexically. If --regen is used, updated the file on disk with a correctly
sorted version. (Except for configure.com, which has a different structure
not amenable to automatic analysis and update, hence still has to be
updated manually.)

Ensure all config files are correctly sorted.

Add empty Author and zip entries to symbian/config.sh and uconfig{,64}.sh

This brackets the probed values sections consistently across all config.sh
type files, between Author and zip inclusive.

Move PERL_CONFIG_SH to the end of NetWare/config.wc and symbian/config.sh,
and PERL_CONFIG_SH CONFIGDOTSH to the end of win32/config.ce, to be
consistent with the other config.sh files.

Sort epoc/config.sh

This brings it back to the regular order: header information, probed values,
information about arguments to Configure, and values propagated from a
previous run.

De-duplicate epoc/config.sh

"Don't Repeat Yourself" :-)

Eliminate duplicate contradictory values from epoc/config.sh.

The two values for quadtype have been present since epoc/config.sh was added
in 3a2f06e93704a418. quadtype is signed, (uquadtype is its unsigned
equivalent) hence remove the definition that uses unsigned long long.
The duplicate contradictory values for d_vendorarch were merged in by
b250498faaf6fbd0 (along with a lot of the non-contradictory duplication),
originating from commit eb0d51032951025d on the cfgperl branch.
The contradictory values for socksizetype arrived with the same commits.

Change checkcfgvar.pl to permit trailing comments on config lines.

Convert the comment for _a in config.ce to a trailing comment.

Tighten the checking regex in checkcfgvar.pl.

Fix the dubious line in symbian/config.sh which this exposes.

In checkcfgvar.pl, split the configure.com code out.

The configure.com handling is actually sufficiently different that it's
simpler to do it in its own loop. The two regexs for config.sh-style parsing
can be merged. Use non-capturing parens for the parts of regexs that don't
need to be captured.

[perl #99660] Remove elems from hashes before freeing them

Commit f50383f58 made the ‘HeVAL(entry) = &PL_sv_placeholder;’ in the
hash-element-deletion code unconditional.  In doing so, it put it
after the if/else statement containing the SvREFCNT_dec.  So the freed
SV was visible in the hash to destructors called by SvREFCNT_dec.

[perl #93590] $tainted ~~ [...] failing

When smartmatch is about to start, to avoid calling get-magic (e.g.,
FETCH methods) more than once, it copies any argument that has
get-magic.

Tainting uses get-magic to taint the expression.  Calling mg_get(sv)
on a tainted scalar causes PL_tainted to be set, causing any scalars
modified by sv_setsv_flags to be tainted.  That means that tainting
magic gets copied from one scalar to another.

So when smartmatch tries to copy the variable to avoid repeated calls
to magic, it still copies taint magic to the new variable.

For $scalar ~~ @array (or ~~ [...]), S_do_smartmatch calls itself
recursively for each element of @array, with $scalar (on the suppos-
edly non-magical copy of $scalar) on the left and the element on
the right.

In that recursive call, it again does the get-magic check and copies
the argument.  Since the copied of a tainted variable on the LHS is
magical, it gets copied again.  Since the first copy is a mortal
(marked TEMP) with a refcount of one, the second copy steal its
string buffer.

The outer call to S_do_smartmatch then proceeds with the second ele-
ment of @array, without realising that its copy of $scalar has lost
its string buffer and is now undefined.

So these produce incorrect results under -T (where $^X is ‘perl’):

    $^X =~ ["whatever", undef]  # matches
    $^X =~ ["whatever", "perl"] # fails

This problem did not start occurring until this commit:

commit 8985fe98dcc5c0af2fadeac15dfbc13f553ee7fc
Author: David Mitchell <davem@iabyn.com>
Date:   Thu Dec 30 10:32:44 2010 +0000

    Better handling of magic methods freeing the SV

mg_get used to increase the refcount unconditionally, pushing it on to
the mortals stack.  So the magical copy would have had a refcount of
2, preventing its string buffer from being stolen.  Now it has a ref-
erence count of 1.

This commit solves it by adding a new parameter to S_do_smartmatch
telling it that the variable has already been copied and does not even
need to be checked.  The $scalar~~@array case sets that parameter for
the recursive calls.  That avoids the whole string-stealing problem
*and* avoids extra unnecessary SVs.