Porting/pod_rules.pl should not warn about files that it is rebuilding.

Previously it would generate warnings about inconsistencies in files, even if
it was about to rewrite the file to be consistent.

Add Porting/new-perldelta.pl, which automates adding a new perldelta.

Strictly, "mostly automates", as it doesn't run `git add`, or test that the
build is clean. However, it simplifies a gnarly step in the release manager's
guide, so it's progress.

Flag to get_pod_metadata() whether generated files are expected.

This permits Porting/pod_rules.pl to be run from a clean checkout without
warning, which simplifies updating perl's version.

Refactor pod_lib.pl's get_pod_metadata() to remove a temporary array.

The intermediate array @cpanpods can be avoided by generating the lookup
hashes directly.

Rename %cpanpods_short to %cpanpods_leaf and $shortname to $leafname, as this
makes it clearer that each deals with leafnames.

Rename t/porting/buildtoc.t to pod_rules.t to reflect the previous change.

As it now calls Porting/pod_rules.pl, not pod/buildtoc, it makes little sense
to keep the previous name.

Create Porting/pod_rules.pl, with all non perltoc.pod code from buildtoc.

pod/buildtoc now only generates pod/perltoc.pod, and only takes a --quiet
option. All the other file (re)generation code is now in Porting/pod_rules.pl.

This splits functionality which generates a new file at build time from
functionality for maintainers, which edits files in place. This permits the
unwinding of some of commit 02cc404a20a8a345, which achieved net
simplification in pod/buildtoc by merging code paths dealing with new files
(only pod/perltoc.pod) and existing files being edited.

pod_rules.pl has a --tap option, instead of buildtoc's non-standard --test
option, and defaults to --build-all if no arguments are passed. As buildtoc
now does one job, it no longer takes a --build-toc option, hence all the
Makefiles which call it need updating.

In pod_lib.pl's get_pod_metadata(), generate lookup hashes directly.

Previously the code was structured to build arrays for various categories of
files, then generate hashes from those arrays. However, the arrays had no
other purpose, and the values in the hashes were only needed for truth tests,
so it's better to generate the lookup hashes directly.

@disk_pods hasn't actually been used since commit d5e2eea989a69524 refactored
pod/buildtoc to no longer chdir to the pod/ directory.

Extract from buildtoc the code that processes pod.lst, MANIFEST and perl.pod

This will permit splitting pod/buildtoc into two - one script used during
the build process to build pod/perltoc.pod, and used by maintainers to
regenerate sections of various Makefiles.

In buildtoc, refactor the code that reads pod.lst, MANIFEST and perl.pod

Move the code into a function, get_pod_metadata(), which returns a reference
to a hash of metadata. This replaces a swathe of global variables.

buildtoc --showfiles should report the correct pathnames.

The output of --showfiles has been garbled since commit d5e2eea989a69524
refactored pod/buildtoc to no longer chdir to the pod/ directory.

buildtoc --showfiles should only list the files to regenerated.

This fixes a bug caused by the refactoring of commit 9dce16cd064e70e6,
which caused --showfiles to always list list all known files, irrespective
of which had been specified with command line flags.

In buildtoc, don't use File::Spec when initialising %BuildFiles.

%BuildFiles is initialised from the leafnames of %Build, which is
initialised from %Targets, which always contains pathnames in Unix
format. Hence using File::Spec->splitpath() is actually erroneous, as it
will process pathnames assuming the format for the current platform.

In buildtoc, refactor the open ... or my_die pattern into a function.

This eliminates several variables used for filenames, including $masterpodfile,
which was declared as a global.

In buildtoc, make %Readmepods lexical, and $delta_target global.

%Readmepods is only used within the code to read pod.lst, pod/perlpod.pod
and MANIFEST, not by the generation code.
$delta_target is set by the reading code, but used in the generation code.

This makes the use of global and lexical variables more consistent.

In buildtoc, eliminate abs_from_top() as it now runs from the top level.

There's also no need to convert to native path specs, as no paths are passed
to external commands, and the perl runtime on all platforms understands
unambiguously Unix-like paths.

In pod/buildtoc, chdir to the top level of the source tree before running.

Originally buildtoc called chdir to ensure it ran from the pod/ directory.
However, this caused problems when the environment is set to honour UTF-8
locales, and the regex engine (attempts to) demand-load UTF-8 swashes,
because on *nix and VMS buildtoc is invoked with a relative path in @INC.
d5e2eea989a69524 fixed this by avoiding the chdir.

However, an equally valid solution is to run from the top level of the source
tree, because the actual use cases only have relative paths in @INC when
invoked from the top level, with absolute paths in @INC for the use cases
that invoke perltoc from other directories. Hence, it's always safe to change
to the top level of the source tree. This permits future simplification and
refactoring.

Localise $/ properly in UCD.pm

Localisation of $/ in the module’s main CV is undone once the module
finishes loading, and hence has no effect on its function after that.
Each function that uses readline has to localise $/ itself.

Detect whether ccache is available to bisect.

ccache will save time during a bisect but it may not always be availble.
Teach bisect-runner.pl to only use it if it is available.

turn off buggy optimisations in one HP compiler

Fixes [perl #103668].

Re-deprecate $[

This was something e1dccc0d3 removed that b82b06b8 failed to restore.

arybase.xs: Don’t use arybase::[

arybase was changing $[=1 to $arybase::[ = 1 to avoid any run-time
effects.  In case this module is ever dual-lifed, we ought to avoid
punctuation variables even outside the main stash.  See bug #76138.

This is a classic example of paranoia.

arybase.xs: Check that $[ is in the main stash

Check that $[ is in the main stash before doing anything magical with
$[=1.  This can only be in another stash if some other XS module has
overridden the check functions to change $[ to $foo::[.  But robust-
ness is good, right?

Add can_isa_ok.t to MANIFEST

Add class_ok() and object_ok() to t/test.pl.

Change every existing instance of isa_ok() to use object_ok().  This is safe because
before this point, t/test.pl's isa_ok() only worked on objects.  lib/dbmt_common.pl is
the last hold out because it uses Test::More.

These are like isa_ok() but they also check if it's a class or an object.
This lets the core tests defend against outlandish bugs while allowing
t/test.pl to retain feature parity with Test::More.

Patch t/test.pl so isa_ok() works with objects.

This mirrors can_ok() and Test::More.

Also add some tests for isa_ok() and can_ok().

Sun cc and CC do not support gcc attributes.

Similar code as in linux.sh

Detect SunOS CC workshop c++ compiler

Solaris 11 SunStudio 12.2. ships without cc, so CC must be used.
Detect it and set ccversion correctly

perldelta for #70151

Document S_doeval’s calling convention

This should make it easier for future maintainers, who now will not
have to figure out what I figured out.

[perl #70151] eval localises %^H at runtime

It doesn’t any more.

Now the hints are localised in a separate inner scope surrounding the
call to yyparse.  This meant moving hint-handling code from pp_require
and pp_entereval into S_doeval.

Some tests in t/comp/hints.t were testing for the buggy behaviour, so
they have been adjusted.

Basically, this fixes

    sub import {
        eval "strict->import"
    }

which should work the same way as

    sub import {
        strict->import
    }

but was not working because %^H and $^H were being localised to
the eval at its run time, not just its compilation.  So the values
assigned to %^H and $^H at the eval’s run time would simply be lost.

perldelta for PL_curcop localisation

Localise PL_curcop for BEGIN blocks

Usually when a BEGIN block exits it has to set PL_curcop to
&PL_compiling, so that subsequent compiled code in the surrounding
scope will have the right warning hints during compilation.

If an XS function creates a BEGIN block via newXS or newATTRSUB, how-
ever, the assumption that compilation will resume as soon as the block
exits is false.

This can be demonstrated with this code, which warns about CHECK and
INIT blocks created too late when it shouldn’t due to ‘no warnings’:

use warnings;
eval q|
  BEGIN{
    no warnings;
    package XS::APItest; require XSLoader; XSLoader::load()
  }
|;

In every case where it is correct for BEGIN to set PL_curcop to
&PL_compiling when it exits it is actually just restoring it to its
previous value, so localisation is the right fix.

Combine two blocks in pp_ctl.c:S_doeval

As of commit e4a21daa4e9 which removed the intervening code, there
have been two adjacent if blocks in S_doeval with the same condition.
They can be merged into one, to avoid confusing people (like me) try-
ing to understand the code.

eval.t: add bug number

eval.t: typos

Add --check-shebang to bisect-runner.pl, to avoid mistakes with #! lines

This allows bisect.pl to instruct bisect-runner.pl to check that the user's
testcase is not a script with a #! line which will run an installed perl.
This rapidly catches the potential error of specifying a test case that will
not actually be tested with the bisect-build perl. Without this, the user
may end up with an unexpected failure to bisect, and little clue as to what
the actual problem is.

Note in Porting/bisect.pl that its documentation is in bisect-runner.pl

It may not be obvious to anyone skimming for Pod that they need to look
elsewhere to find it.

Fix fatal bug in bisect-runner.pl for some 5.004 revisions.

Commit afc98f896ef0b0e2 tweaked bisect-runner.pl to patch a bug in perl.c
introduced in commit 2a92aaa05aa1acbf and fixed in commit 8490252049bf42d3.
However, it didn't check properly whether it should apply the patch at all,
hence caused bisect-runner.pl to abort for some other revisions. Now fixed.

Unused variable in in sv_eq

Fix misprint in doc of UNIVERSAL

avoid some test-time warnings

\x-ify non-ASCII chars in C string literal

expunge gratuitous Unicode punctuation in comments

$Config{locincpath} might be empty

This causes h2xs.t to fail on systems where that is the case

perldelta additions

feature.pm: Avoid repetition; save memory

Add 5.16 feature bundle

It needs to be added some time before the major version
bump, so now is as good a time as any.

perldelta up to 7c5c3d9b

Move a pp_entereval comment where it belongs.

Commit f9bddea7d2 divorced it from the code it was describing (dele-
tion of the FILEGV on eval exit).  That code was subsequently repeated
in various places by commit 78da7625.  The comment is now above the
first instance.

Internals::SvREFCNT() now treats reference counts as unsigned

Previously setting a large (negative in 32-bit signed) reference count
would be returned as a positive number on 64-bit builds and negative
on 32-bit builds.

[rt #103222] make Internals::SvREFCNT set/get consistent

match the definition of S_mro_gather_and_rename to its declaration

Based on the warning from:

http://www.nntp.perl.org/group/perl.daily-build.reports/2011/11/msg108741.html

which I haven't been able to produce in any other compiler.

In Perl_lex_start(), don't read the byte before SvPVX().

If len is 0, we shouldn't be reading from len - 1, as it's one before the
start of the buffer, and hence an out of bounds read.

Fixes a bug inadvertently added by commit 0abcdfa4c5da571f, restoring the
previous behaviour for the len == 0 case.

Update string copying in vms/vms.c

In several places strncpy was being used to copy a string of known
length with null handling done separately; those cases have been
converted to use memcpy.  Most uses of strncpy and strcpy have
been converted to my_strlcpy and most uses of strcat have been
converted to my_strlcat.

Update CGI to CPAN version 3.58

  [DELTA]

  Version 3.58 Nov 11th, 2011

    [DOCUMENTATION]
    - Clarify that using query_string() only has defined behavior when using the GET method. (RT#60813)

mktables: nits in comment and pod

mktables: Remove support for deprecated properties

As proposed and agreed some months ago, certain deprecated since 5.12
Unicode properties that Perl should never have exposed are removed.
These are Unicode-internal properties that are proper subsets of the
properties that should be used instead; and are used by Unicode for
stability reasons in constructing those supersets.

perlunicode: Update reference to Unicode standard

utf8.c: typo in comment

pp.c: Make sure variable is initialized

A compiler generated a warning about this.  It is the degenerate case
with an empty input, so isn't really a problem, but silence the warning

Add new mktables generated files to makefiles

This step was omitted from commit
0765b2b82b120f4e57571368932aa4863aba62f6

ignore some newer build generated files

Update CPANPLUS to CPAN version 0.9112

  [DELTA]

  Changes for 0.9112      Fri Nov 11 11:10:59 2011
  ================================================
  * The 'perlwrapper' is no longer required.

regexec.c: Bypass unneeded step

We don't have to convert from utf8 to code point to fold; instead can
call the function that starts from utf8

regcomp.c: Bypass unneeded step

We don't have to convert from utf8 to code point to fold; instead can
call the function that starts from utf8

Use new/revised case-changing functions in pp.c

The intelligence that formerly was only in the functions in pp.c has in
previous commits migrated downward to the base level functions in
utf8.c.  Most of this was enabled by removing user-defined case
changing.  It make the code smaller and more maintainable to not have to
repeat the intelligence needed to handle the special cases, at the cost
of one or two function call overheads, which could be eliminated by
converting to in-line functions

Some of this knowledge of special case changing is retained in
converting to titlecase, simply because I didn't see a way to eliminate
it. And in uppercase because, I felt it was worth it to keep the tight
loop.

utf8.c: Skip extra function calls

The function to_uni_fold() works without requiring conversion first to
utf8.

pp.c: Call subroutine instead of repeat code

Now that there is a function that can convert a latin1 character to
title or upper case without going out to swashes, we can call it instead
of repeating the code.  There is the additional overhead of a function
call, but this could be avoided if it comes down to it by making it
in-line.

pp.c: Remove macro no-longer called

pp.c: Call subroutine instead of repeat code

Now that there is a function that can convert a latin1 character to
title or upper case without going out to swashes, we can call it
instead of repeating the code.  There is the additional overhead of a
function call, but this could be avoided if it comes down to it by
making it in-line.  And this only happens when upper-casing y with
diaresis, and the micro sign

embed.fnc: Make _to_upper_title_latin1() avail to pp.c

If something like this were to be made more generally available, it
would be better to have two in-line functions, to_upper_latin1() and
to_title_latin1() that just call this underlying one with the correct
final parameter.

pp.c: White-space only

This outdents and reflows comments as a result of the removal of a
surrounding block

pp.c: Call subroutine instead of repeat code

Now that toLOWER_utf8() and toTITLE_utf8() have the intelligence to skip
going out to swashes for Latin1 code points, it's not so critical to
bypass calling them for these (for speed).  It simplifies things not to
have the intelligence repeated.  There is the additional overhead of two
function calls (minus the branches saved), but these could be avoided if
it comes down to it by making them in-line.

pp.c: White-space only

This outdents and reflows comments as a result of the removal of a
surrounding block

pp.c: Call subroutine instead of repeat code

Now that toUPPER_utf8() has the intelligence to skip going out to
swashes for Latin1 code points, it's not so critical to bypass calling
it for these (for speed).  It simplifies things not to have the
intelligence repeated.  There is the additional overhead of two function
calls (minus the branches saved), but these could be avoided if it comes
down to it by making them in-line.

pp.c: Add compiler hint

Almost always the input to uc() will be one of the other 253 Latin1
characters rather than one of the three that gets here.

pp.c: White-space only

This outdents and reflows comments as a result of the removal of a
surrounding block

pp.c: Call subroutine instead of repeat code

Now that toLOWER_utf8() has the intelligence to skip going out to
swashes for Latin1 code points, it's not so critical to bypass calling
it for these (for speed).  It simplifies things not to have the
intelligence repeated.  There is the additional overhead of two function
calls (minus the branches saved), but these could be avoided if it comes
down to it by making them in-line.

utf8.c: Add compiler hint

It's very rare that someone will be outputting these unusual code points

utf8.c: Add and revise comments

I now understand swashes enough to document them better; nits in other
comments

Re-order intrpvar.h to avoid false warnings about holes.

Under the default configuration options for ithreads on x86_64 *nix,
PERL_IMPLICIT_CONTEXT is defined. The variables specific to this are at the
end of the interpreter struct, and their size is not an integer multiple of
its alignment constraint. Hence there will always be a "hole". Move the
"hole" so that it is beyond the end of the structure. This avoids the Linux
tool "pahole", used for finding wasted space, from a false positive report
of a hole that can't be avoided.

Re-order intrpvar.h to avoid holes in the interpreter struct.

Because commit 45d91b83242e0418 needed to change a buffer size in a
per-thread variable, it created a hole in the ithreads interpreter struct,
as structure members after the buffer must be word aligned.

Re-order various structure members to avoid the hole.

podcheck.t: Add comment

This is in response to Tony Cook's noticing that the sort order changed,
but the data file was left in the old order.  The next time someone
changed things and did a regen, it got sorted, but the git diff showed
more changes, as a result, than there actually were in that commit.

perlunicode: Document that \p{user-defined} can match abvoe Unicode

utf8.c: Don't warn on \p{user-defined} for above-Unicode

Perl has allowed user-defined properties to match above-Unicode code
points, while falsely warning that it doesn't.  This removes that
warning.

utf8_heavy.pl: Pass up USER_DEFINED to outside swash

If a sub-swash is user-defined, then the master one is.

utf8.c: Handle swashes at UV_MAX

The code assumed that there is a code point above the highest value we
are looking at.  That is true except when we are looking at the highest
representable code point on the machine.  A special case is needed for
that.

utf8.c: Fix swash handling under USE_MORE_BITS

On a 32 bit machine with USE_MORE_BITS, a UV is 64 bits, but STRLEN is
32 bits.  A cast was missing during a bit complement that led to loss of
32 bits.

utf8.h: clarify comment

utf8.c: Make swashes work close to UV_MAX

When a code point is to be checked if it matches a property, a swatch of
the swash is read in.  Typically this is a block of 64 code points that
contain the one desired.  A bit map is set for those 64 code points,
apparently under the expectation that the program will desire code
points near the original.

However, it just adds 63 to the original code point to get the ending
point of the block.  When the original is so close to the maximum UV
expressible on the platform, this will overflow.

The patch is simply to check for overflow and if it happens use the max
possible.  A special case is still needed to handle the very maximum
possible code point, and a future commit will deal with that.

intrpvar.h: Increase size of variable that stores UTF8 bytes

A Perl utf8 string can occupy 13 bytes.  This only accepted up to 11,
causing a swash assertion failure for very large code points matching
Unicode properties.

Update CGI to CPAN version 3.57

  [DELTA]

  Version 3.57 Nov 9th, 2011

    [INTERNALS]
    - test failure in t/fast.t introduced in 3.56 is fixed. (Thanks to zefram and chansen).
    - Test::More requirement has been bumped to 0.98

  Version 3.56 Nov 8th, 2011

    [SECURITY]
    Use public and documented FCGI.pm API in CGI::Fast
        CGI::Fast was using an FCGI API that was deprecated and removed from
        documentation more than ten years ago. Usage of this deprecated API with
        FCGI >= 0.70 or FCGI <= 0.73 introduces a security issue.
        <https://rt.cpan.org/Public/Bug/Display.html?id=68380>
        <http://web.nvd.nist.gov/view/vuln/detail?vulnId=CVE-2011-2766>
        (Thanks to chansen)

    [INTERNALS]
    - tmp files are now cleaned up on VMS ( RT#69210, thanks to cberry@cpan.org )
    - Fixed test failure: done_testing() added to url.t (Thanks to Ryan Jendoubi)
    - Clarify preferred bug submission location in docs, and note that Mark Stosberg
      is the current maintainer.

Update Digest-SHA to CPAN version 5.63

  [DELTA]

  5.63  Tue Nov  8 02:36:42 MST 2011
  - added code to allow very large data inputs all at once
    -- previously limited to several hundred MB at a time
    -- many thanks to Thomas Drugeon for his elegant patch
  - removed outdated reference URLs from several test scripts
    -- these URLs aren't essential, and often go stale
    -- thanks to Leon Brocard for spotting this
      -- ref. rt.cpan.org #68740

UCD.t: Fix 'uninit' warning

An initialization was out of place

pat_advanced.t: Display better names for a few tests

regexec.c: Stop looking for match even sooner

This revised commit e067297c376fbbb5a0dc8428c65d922f11e1f4c6
slightly so that we round up to get the search stopping point.

We aren't matching partial characters, so if we were to match 3+1/3
characters, we really have to match 4 characters.

regexec.c: revise comment

mktables: Change member name for clarity

I find myself being confused by the old-name

Fix volatile declaration

Commit 24efd69ba77ba76cd714519dccee88f45820d8b4 introduced a VOL
declaration.  I thought I had tested this, but apparently not.  It needs
to apply to the pointee instead of the pointer.

regexec.c: typo in comment