Test that UTF-8 in the look-ahead of (?(?=...)...) restarts the sizing parse.

S_reg() recurses to itself to parse various constructions used as the
conditionals in conditional matching. Look-aheads and look-behinds can turn
out to need to be sized as UTF-8, which can cause the inner S_reg() to use
the macro REQUIRE_UTF8 is used to restart the parse. Test that this is
handled correctly.

Test that S_grok_bslash_N() copes if S_reg() restarts the sizing parse.

S_reg() can discover midway through parsing the pattern to determine its
size, that the pattern will actually need to be encoded as UTF-8. If
calculations so far have been done in terms of bytes, then the macro
REQUIRE_UTF8 is used to restart the parse, so that sizes can be calculated
correctly for UTF-8.

It is possible to trigger this restart when processing multi-character
charnames interpolated into the pattern using \N{}. Test that this is
handled correctly.

Remove unreachable duplicate (?#...) parsing code from S_reg()

I believe that this code was rendered unreachable when perl 5.001 added
code to S_nextchar() to skip over embedded comments. Adrian Enache noted
this in March 2003, and proposed a patch which removed it. See
http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/2003-03/msg00840.html

The patch wasn't applied at that time, and when he sent it again August,
he omitted that hunk. See
http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/2003-08/msg01820.html

That version was applied as commit e994fd663a4d8acc.

Perl_sv_uni_display() needs to be aware of RX_WRAPPED()

Commit 8d919b0a35f2b57a changed the storage location of the string in
SVt_REGEXP. It updated most code to deal with this, but missed the use of
SvPVX_const() in Perl_sv_uni_display(). This breaks dumping regular
expressions which have the UTF-8 flag set.

perldelta for debugger changes

bump version on perl5db.pl

lib/perl5db.pl: Workaround rt#116771 by putting DB::Obj inside BEGIN { }

lib/perl5db.t: Add test for bug #116771, autotrace crashes debugger

lib/perl5db.t: Add test for bug #116769, Frame=2 crashes debugger

lib/perl5db.pl: refactor all calls to IO::Handle via ->autoflush to a short local function.

This hopefully resovles https://rt.perl.org/rt3/Ticket/Display.html?id=116769
and any issue similar to that which I may not have been unlucky enough
to fall upon.

bump Tie-File's test version to match the module version

detect each() after insert and produce warnings when we do

Inserting into a hash that is being traversed with each()
has always produced undefined behavior. With hash traversal
randomization this is more pronounced, and at the same
time relatively easy to spot. At the cost of an extra U32
in the xpvhv_aux structure we can detect that the xhv_rand
has changed and then produce a warning if it has.

It was suggested on IRC that this should produce a fatal
error, but I couldn't see a clean way to manage that with
"strict", it was much easier to create a "severe" (internal)
warning, which is enabled by default but suppressible with
C<no warnings "internal";> if people /really/ wanted.

ensure that inserting into a hash causes its hash iteration order to change

This serves two functions, it makes it harder for an attacker
to learn useful information by viewing the output of keys(),
and it makes "insert during traversal" errors much easier to
spot, as they will almost always produce degenerate behavior.

perturb insertion order and update xhv_rand during insertion and S_hsplit()

When inserting into a hash results in a collision the order of the items
in the bucket chain is predictable (FILO), and can be used to determine
that a collision has occured.

When a hash is too small for the number of items it holds we double
its size and remap the items as required. During this process the
keys in a bucket will reverse order, and exposes information to an
attacker that a collision has occured.

We therefore use the PL_hash_rand_bits() and the S_ptr_hash()
infrastructure to randomly "perturb" the order that colliding
items are inserted into the bucket chain. During insertion and
mapping instead of doing a simple "insert to top" we check the low
bit of PL_hash_rand_bits() and depending if it is set or not we
insert at the top of the chain, otherwise second from the top.
The end result being that the order in a bucket is less predictable,
which should make it harder for an attacker to spot a collision.

Every insert (via hv_common), and bucket doubling (via hsplit())
results in us updating PL_hash_rand_bits() using "randomish" data
like the hashed bucket address, the hash of the inserted item, and
the address of the inserted item.

This also updates the xhv_rand() of the hash, if there is one, during
S_hsplit() so that the iteration order changes when S_hsplit() is
called. This also is intended to make it harder for an attacker to
aquire information about collisions.

Harden hashes against hash seed discovery by randomizing hash iteration

Adds:

S_ptr_hash() - A new static function in hv.c which can be used to
hash a pointer or integer.

PL_hash_rand_bits - A new interpreter variable used as a cheap
provider of "semi-random" state for use by the hash infrastructure.

xpvhv_aux.xhv_rand - Used as a mask which is xored against the
xpvhv_aux.riter during iteration to randomize the order the actual
buckets are visited.

PL_hash_rand_bits is initialized as interpreter start from the random
hash seed, and then modified by "mixing in" the result of ptr_hash()
on the bucket array pointer in the hv (HvARRAY(hv)) every time
hv_auxinit() allocates a new iterator structure.

The net result is that every hash has its own iteration order, which
should make it much more difficult to determine what the current hash
seed is.

This required some test to be restructured, as they tested for something
that was not necessarily true, we never guaranteed that two hashes with
the same keys would produce the same key order, we merely promised that
using keys(), values(), or each() on the same hash, without any
insertions in between, would produce the same order of visiting the
key/values.

rework ROTL definitions (and add ROTL_UV)

default to PERL_FUNC_ONE_AT_A_TIME_HARD for all builds

For testing, but maybe for ever

silence signed mistmatch in comparison warning in Murmurhash

as far as I can tell 'i' can only be positive here.

add a hardened one-at-a-time hash variant

Mix in additional randomness into the final value.

Split out hash functions into new file and turn into inline static functions

This includes various tweaks related to building SipHash and other
cleanup.

add a "hash quality score" to Hash::Util::bucket_stats()

update ExtUtils-MakeMaker to github v6.65_01

Perl core specific highlights:
* Fix hash related issues for 5.18.
* Do not hard code the list of perl header files - discover them from disk instead
* Don't need completely different include file collector on VMS.

emphasize signal names over numbers in kill() docs

Add Felipe Gasper to AUTHORS

dist/bignum/lib/bignum.pm: Fix broken pod link

ext/Pod-Html/testdir/perlvar-copy.pod: Fix broken pod links

dist/bignum/lib/bigrat.pm: Fix broken pod link

dist/bignum/lib/bigint.pm: Fix broken pod link

Math/BigRat.pm: Fix some broken pod links

This also changes the link to blog() to an internal one; it remains
broken, but should be documented in this pod, not outside it

libnetcfg.PL: Fix broken pod link

Math-BigInt: Fix some broken links

Tie/File.pm: Fix pod broken link typo

podcheck.t: Note existence of some CPAN modules

constant.pm: Rmv ref in pod to non-existent module

pod/perldiag: Document some regex messages

pod/perldiag: Document new messages for qr/(?[ ])/

perldiag: Nits

pod/perlre: Italicize text to indicate non-literal

Also, changes a reference to the section into an actual link.

perldiag.pod: Fix broken link

fix a segfault in run-time qr//s with (?{})

While assembling the regex, it was was examining CONSTs in the optree
using the wrong pad. When consts are moved into the pad on threaded
builds, segvs might be the result.

Update Getopt-Long to CPAN version 2.39

  [DELTA]

  Changes in version 2.39
  -----------------------

  * Fix unneccessary warnings when @ARGV contains undefs (yes, it
    happens).

  * Passing an object as first argument to the callback handler for <>
    turned out to be a problem in cases where the argument was passed to
    other modules, e.g., Archive::Tar. Revert the change since the added
    functionality of the object is not really relevant for the <>
    callback function.

  * Silence the deprecation warnings from newgetopt.pl for the purpose
    of testing. These tests will be removed along with newgetopt.pl in
    the next major release of perl.
    http://perl5.git.perl.org/perl.git/commit/b814bbfa9a2087bc

  * Eliminiate spurious warning.

  * Retain taintedness of command line option values.

  * Document that you need to check GetOptions return value :).

  * Several other minor documentation fixes and enhancements.

  * Fix bug  #67577 Parsing of type 'o' not correct for multiple values

Eliminate duplication.

toke.c, S_scan_ident: Ignore whitespace on both sides of ${ ... }

${ var } (and ${ \7LOBAL_PHASE}) were broken by 32833930e. However,
it turns out that the behavior prior to that commit was already
strange:

${ .};              # Legal
${. };              # Illegal
${ . };             # Illegal
${  \7LOBAL_PHASE}; # Legal
${  ^GLOBAL_PHASE}; # Illegal
${^GLOBAL_PHASE };  # Illegal

This commit restores ${ var } and makes all of the above work by
always ignoring spaces on both sides of ${ ... }.

Upgrade to Net::Ping 2.40.  This should silence much of the black
smoke seen on Windows and Cygwin coming from Net::Ping.

Data-Dumper on CPAN is sync'd with blead

Data::Dumper version bump and changelog for release

Data::Dumper test compatibility fixes for older Perls

Ported from Jim Keenan's changes in the DD github repository.

Add security warning about eval'ing DD output

As if it isn't obvious, but, well, people do it.

Update File-Temp to CPAN version 0.23

  [DELTA]

  ---- Release V0.23 CPAN ----

  * Build.PL: Use Module::Build

  * Temp.pm: internally holds absolute path for cleanup (Fixes RT #44924)

  * t/rmtree.t: (new) Test temp dir removal explicitly.

  * t/tempfile.t: Correctly tests directory removal from chdir.

  * Temp.pm: Clean up temp directory on exit even if it is the
  current directory. Patch supplied by Ed Avis and fixes RT #45246.

  * Temp.pm: Defer unlinking tempfiles if initial unlink fails
  instad of croaking; fixes problems on NFS (RT #82720)

  * Temp.pm: Allow leading template to new() for consistency with
  newdir()

  * Temp.pm: Calling tempfile or tempdir as a class method now
  produce a more useful fatal error message

  * Temp.pm: new/newdir/tempfile/tempdir now all allow either
  a leading template argument or a TEMPLATE option

  * Temp.pm: Overload numify with refaddr() in same manner as IO::File
  (closes RT #47397 from Kevin Ryde)

Allow Data::Dumper to work on older Perls

Commit 0eb30aebe20a48d634d4e484bc9e6005dffc1420 changed D:D to use the
macro isWORDCHAR instead of isALNUM.  The problem is that this macro is
not defined in older Perls.  This new commit defines isWORDCHAR to be
isALNUM when it isn't already defined, thus avoiding the problem.

Signed-off-by: David Golden <dagolden@cpan.org>

Maintainers.pl needs sync for Net-Ping

Apply two POD corrections supplied by SHIRAKATA Kentaro++.

For: RT #117153 and #117155.

Removed needless comment in for.t

Moved t/cmd/lexsub.t, t/cmd/while.t to t/op; split t/cmd/for.t to two pieces, one in t/op/for.t. Update and sort MANIFEST.

From work done at NY Perl Hackathon by Charlie Gonzalez and Taqqai Karim.

For: RT #116615

Update Net-Ping to 2.39.

CPAN Module-CoreList be 2.84

Update JSON-PP to CPAN version 2.27202

  [DELTA]

  2.27202  Wed Mar 13 15:41:22 2013
    - license in Makefile.PL was missing

  2.27201  Wed Mar 13 13:22:33 2013
    - occasionally failed in t/019_incr.t in Perl 5.17.6 or more
          (because of hash iterator randomization)
          reported and patched by demerphq
          https://rt.cpan.org/Public/Bug/Display.html?id=83421

make the recent changes to makedepend more portable

Solaris complained about the length of the label and produced broken
dependencies.  This caused -Dusedtrace builds to fail since
perldtrace.h wasn't being built.

restore building perl5**.dll and perl.exe on WinCE

extension building problems remain but the 2 above files will build be
built for WinCE with the following 3 commands, replace the folder name with
what you selected for $(MACHINE) in makefile.ce

nmake all
nmake -f makefile.ce wince-x86-hpc-wce300\perl517.dll
nmake -f makefile.ce wince-x86-hpc-wce300\perl.exe

makefile.ce:
- -debug:full and -pdb:none are obsolete compiler flags,
  and add -opt:ref:icf, to sync eVC makefile with modern VC's makefile
- create a shortcut for easily creating preprocessed (.i) files for
  debugging on the command line
- add new interp .c files that were added over the years
- the Dynaloader build process for Win32 was drastically changed in
  commit 281da5eaa8 , fix to reflect this, a "nmake all" on the Win32 build
  will create the correct dynaloader .c files for the ce makefile to use
  later
- nothing depended on .\xconfig.h in the ce makefile, so there was an error
  that it was missing, fix that
- rebase the CE perl5**.dll to same as on Win32 makefile, makes
  debugging/diassembly much easier when the dll is not relocated at runtime
- config.sh seems to be a win32 build file, while the script configpm
  wants a .sh file in \Cross, so change config.sh dependency to that

win32/Makefile:
- add a preprocess target to easily create .i files for debugging by hand

makedef.pl:
- read the comments in the script
- config.h is Win32 file, not a WinCE file, so use xconfig.h when
  under WinCE

lib/.gitignore
- Cross.pm is made during the build process, it shouldn't ever be commited

win32/.gitignore
- xconfig.h is made during the build process, it shouldn't ever be commited

win32/wince.c
- identifier isnan is defed to _isnan somewhere, this created an infinite
  loop when CE perl was run

time64.c utf8.c fix for WinCE

copy from VC build config_H.vc to eVC build config_H.ce, this is not the
correct way to fix config_H.ce, but nobody has responded on how to
automatically regenerate config_H.ce in
http://www.nntp.perl.org/group/perl.perl5.porters/2013/01/msg197853.html

Fix some ASAN-identified problems

Clang under Address sanitizer is showing several problems when building
Perl, having to do when a limit reaches I32_MAX.  This commit fixes
those problems by doing special tests for I32_MAX, and preventing
overflow.

perlsyn.pod: Nit

Change preferred email for Shirakata Kentaro

Porting/checkAUTHORS.pl: Clarify comment

Fix Peek.t under PERL_OLD_COPY_ON_WRITE

under the old COW, the IV slot of non-IOK PVPVs was used for COW
purposes, So don't assume its zero.

pp_entersub optimization

There is code in pp_entersub() that specifically handles the case where
AvARRAY(@_) != AvALLOC(@_), and tries to be more efficient than just
realloc()ing AvALLOC().

However, @_'s that have been shifted or messed with are usually cleaned up
or abandoned by CLEAR_ARGARRAY/POPSUB anyway, so this code is (probably)
never called.  So remove it.
In a worst case, it would just mean that realloc() is called
unnecessarily, which would be slower, but still correct.

[perl #117095] state var init getting skipped

Add test case for this bug, which was actually fixed 6 months ago with
ad9e6ae10fb581c6c053b862286f8e187063c3ab.

fix year of 5.16.3 in perlhist

EBCDIC has the Unicode bug too

We have not had a working modern Perl on EBCDIC for some years.  When I
started out, comments and code led me to conclude erroneously that
natively it supported semantics for all 256 characters 0-255.  It turns
out that I was wrong; it natively (at least on some platforms) has the
same rules (essentially none) for the characters which don't correspond
to ASCII onees, as the rules for these on ASCII platforms.

This commit is documentation only, mostly just removing the special
mentions of EBCDIC.

add 5.16.3 to blead:pod/perlhist.pod

add perl5163delta.pod to blead

add the 5.16.3 epigraph, link to 5.14.4 announcement

Sync Module-CoreList and version in Maintainers.pl

corelist --feature is actually on available >= v5.16.0

perlapi: Nits

Update Module-CoreList for v5.16.3

fix typo in epigraphs.pod

add 5.14.4 to perlhist

add perl5144delta

Finalise Module-CoreList for v5.14.4

Update Module-CoreList with v5.14.4 data

Add the 5.14.4 epigraph to epigraphs.pod

Correct version data for Module::CoreList in 5.16.2

Update Digest-SHA to CPAN version 5.84

  [DELTA]

  5.84  Sat Mar  9 17:36:08 MST 2013
    - untweaked Makefile.PL to remove dependencies of SHA.c
        -- dependencies were breaking builds on VMS
        -- retaining dependencies provides too little benefit
            for cost of portable workaround

reorder intrpvar.h

Move more of the more commonly-used PL_ variables towards the front of the
file (and thus to the top of the interpreter struct on MULTIPLICITY
builds).

This helps ensure that "hot" variables are clustered together on the same
small number of cache lines, and also that the machine code to load them
will have shorter offsets, which on some architectures may be achieved
with shorter instructions.

The "hotness" has been determined purely by my subjective judgement rather
than any profiling. It's still open for the later to be done.

(Only simple shunting of whole lines has been done; no changes have been
made to individual lines.)

PATCH: [perl #117101] toke.c: Make \$$1 work again.

Commit 3283393 replaced the use of isWORDCHAR (\p{Word}) in scan_ident
with isIDFIRST (\p{XIDS}). Generally this was not troublesome, since
there are other places that deal with variables matching \d, but
one use of isWORDCHAR had given digit variables an unintended special
case:
$$1 meant ${$1}, whereas $$@ or $$* were syntax errors.

This commit restores the special case for \p{POSIX_Digit} variables.

Bump version of Term::ReadLine

commit 20a5039af69d81e9003664af771f2dd5e0446c2b changed this module's
pod but  didn't bump the version.

Get Configure in sync with metaconfig

Add bootstrap_charset/BOOTSTRAP_CHARSET for non-ASCII architectures

Standardize spelling of 'supersede' throughout the distribution.

Change two instances of 'supercede' to match many more instances of the
former.

perlebcdic.pod: Document 2 fcns; nits

The functions to convert code points from/to native were not previously
documented.  This also fixes some heading issues.

Minor corrections to descriptions of files in Porting/.

Try to explain a little more how the metaconfig information
is intended to be used.

regen/unicode_constants.pl: Change #define name

This was added in the 5.17 series so there's no code relying on its
current name.  I think that the abbreviation is clearer.

regen/unicode_constants.pl: Make portable to non-ASCII

This now uses the U+ notation to indicate code points, which is
unambiguous not matter what the platform's character set is.  (charnames
accepts the U+ notation)

regen/unicode_constants.pl: Remove unused constant

This was added in the 5.17 series, so can't be yet in the field; and
isn't needed.

regen/unicode_constants.pl: Pass through input comments

The data can now have comments, which are converted to C and passed
through

regen/unicode_constants.pl: Convert '-' in names to '_'

Unicode character names can have dashes in them.  These aren't accepted
in C macro names.  Change so both blanks and the hyphen-minus are
converted to underscores.

Skip io/eintr.t on QNX Neutrino too

Update perlfaq to CPAN version 5.0150042

  [DELTA]

  5.0150042 Wed  6 Mar 2013 14:37:08 +0100
    * Fix dodgy link as reports in #114260 of cpan RT (ranguard)
    * Hex typo (Martin Becker)
    * Typo (joaquinferrero)

Bring core up to version-0.9902

The attached patch bring the core Perl version code (including a fairly
significant leak when run in a tight loop) up to parity with CPAN
0.9902.  This deals with all open issues except:

   https://rt.cpan.org/Ticket/Display.html?id=81294

which I am having a hard time modeling.

John

Signed-off-by: Chris 'BinGOs' Williams <chris@bingosnet.co.uk>