toke.c: Don’t depend on sv_force_normal’s good graces

when parsing ‘keyword =>’ with comments or line breaks before the =>.

sv_force_normal will allow modification of read-only values at compile
time.  While this might be convenient, it has resulted in many bugs
elsewhere, so I am trying to change that.  This is a necessary pre-
requisite.

Copy scalar refs returned from @INC filters

This commit:

4464f08ea532be08ea7f0c44d0eb6e285a0c36fb is the first bad commit
commit 4464f08ea532be08ea7f0c44d0eb6e285a0c36fb
Author: Nicholas Clark <nick@ccl4.org>
Date:   Fri Oct 23 16:54:10 2009 +0100

    S_run_user_filter() can use the filter GV itself for the cache buffer.

    This saves allocating an extra SV head and body.

caused this:

$ perl -e '@INC = sub { \$_ }; eval { require foo }; $a = $_;'
Bizarre copy of IO in sassign at -e line 1.

Well, passing the existing string to filter_add causes that string
*itself* to be upgraded to SVt_PVIO, which is clearly not a good thing
if the caller can still reference it.  So we end up with $ bound to an
IO thingy.

And if the referent is a REGEXP, we get a crash during global destruc-
tion, or at least we did until the previous commit, which stopped
REGEXP->PVIO upgrades from being legal.  (Clearly they don’t work.)

The easiest way to fix this is to copy the string into a new scalar,
which then gets upgraded to PVIO.

Stop SVt_REGEXPs from being upgraded.

Any code that is going to write over a REGEXP will call
sv_force_normal first, which converts it to

This code started crashing in 5.12:

$_ = qr//;
@INC = sub { $_ };
require foo;

Search pattern not terminated at /loader/0x7fe3b082c2e8/foo.pm line 1.
Compilation failed in require at - line 4.
Segmentation fault: 11

With current bleadperl:

foo.pm did not return a true value at - line 4.
Segmentation fault: 11

This change makes it like this instead:

Can't upgrade REGEXP (8) to 15 at - line 3.

which is certainly an improvement.  We shouldn’t be getting any error
at all (OK, just a syntax error because (?^:) is not a valid expres-
sion), and the next commit will fix that, but this commit at least
turns a crash into a panic, in case future changes accidentally send a
regexp through sv_upgrade(sv, SVt_PVIO).

dump.c: Dump PV fields of SVt_PVIOs

Yes, these can hold PVs when source filters are involved.

util.c: Stop ck_index/fbm_compile from abusing readonliness

There is currently a convenient exception in sv_force_normal that
allows read-only scalars to be modified at compile time.

I want to get rid of it, since most code that relies on it is buggy.

So stop ck_index from relying on that when it calls fbm_compile by
stopping fbm_compile from triggering the error by forcing stringifica-
tion of variables that are already strings.

Stop ck_index from flattening other people’s SVs

By passing to fbm_compile the SV that is the second argument to
index(), ck_index causes it to be stringified.

That means, for example, that dualvars will lose their numeric
representation and regexps will be flattened (affecting regexp
code blocks).

This patch allows POK-only SVs to be compiled into BMs in place, as
it just adds magic and does not otherwise affect them.  Other SVs get
copied first.

Also, I avoided a compile-time uninitialized warning by not running
fbm_compile on undef SVs.

sv.h: Correct assertion in BmUSEFUL

BmUSEFUL uses the NV slot, not the IV slot.  So asserting that it is
not IOK is not all that useful.

Stop fbm_compile from flattening refs

References can change their stringification any time, so flattening
them ahead of time for efficiency gives incorect results.

Also, using a reference constant as the second argument to index
would result in the constant itself being flattened, even when used
elsewhere.

index.t: Comment final brace

otherwise it can be quite confusing

Stop split from mangling constants

At compile time, if split occurs on the right-hand side of an assign-
ment to a list of scalars, if the limit argument is a constant con-
taining the number 0 then it is modified in place to hold one more
than the number of scalars.

This means ‘constants’ can change their values, if they happen to be
in the wrong place at the wrong time:

$ ./perl -Ilib -le 'use constant NULL => 0; ($a,$b,$c) = split //, $foo, NULL; print NULL'
4

I considered checking the reference count on the SV, but since XS code
could create its own const ops with weak references to the same cons-
tants elsewhere, the safest way to avoid modifying someone else’s SV
is to mark the split op in ck_split so we know the SV belongs to that
split op alone.

Also, to be on the safe side, turn off the read-only flag before modi-
fying the SV, instead of relying on the special case for compile time
in sv_force_normal.

Increase $DBM_Filter::utf8::VERSION to 0.03

Increase perl5db.pl’s $VERSION to 1.41

Increase $integer::VERSION to 1.01

Increase $deprecate::VERSION to 0.03

Increase $Tie::Scalar::VERSION to 1.03

Increase $Tie::Hash::VERSION to 1.05

Increase $Tie::Array::VERSION to 1.06

Increase $Getopt::Std::VERSION to 1.09

Increase $File::Basename::VERSION to 2.85

Increase $ExtUtils::XSSymSet::VERSION to 1.3

Increase $English::VERSION to 1.07

Increase $DBM_Filter::null::VERSION to 0.03

Increase $DBM_Filter::int32::VERSION to 0.03

Increase $DBM_Filter::encode::VERSION to 0.03

Increase $DBM_Filter::compress::VERSION to 0.03

Increase $DBM_Filter::VERSION to 0.06

Increase $DB::VERSION to 1.07

Increase $Class::Struct::VERSION to 0.65

Increase $Benchmark::VERSION to 1.17

Increase $XS::APItest::VERSION to 0.54

Increase $I18N::Langinfo::VERSION to 0.11

Increase $Hash::Util::FieldHash::VERSION to 1.12

Increase $Devel::Peek::VERSION to 1.12

Increase $B::Concise::VERSION to 0.97

Increase $Safe::VERSION to 2.37

Increase $File::Spec::Win32::VERSION to 3.42

Increase $File::Spec::VMS::VERSION to 3.42

Increase $strict::VERSION to 1.08

Increase $vmsish::VERSION to 1.04

Fixed verbatim lines in POD over 79 characters

Documentation corrections from Wallace Reis++.

For RT #118593, 118595, 118597, 118599.

add PL_reg_intflags_name to globvar.sym - used in debugging regex engine

Fix and add tests for *PRUNE/*THEN plus leading non-greedy +

"aaabc" should match /a+?(*THEN)bc/ with "abc".

Show intflags as well as extflags

Treat a consecutive semicolons in a prototype as 1

This also intentionally ignores spaces; they're ignored by
the toker, but if the prototype was set externally, they
may have leaked in. This is just for the method/not method
checks.

Correction to Perl version number.

As reported by niels@thykier.net++ in RT #118575.

Update Text-ParseWords to CPAN version 3.29

  [DELTA]

  3.29
  Remove pod test from distribution

Update Params-Check to CPAN version 0.38

  [DELTA]

Changes for 0.38    Thu Jun 20 10:43:37 2013
============================================
* Typo fixes by David Steinbrunner

Update HTTP-Tiny to CPAN version 0.033

  [DELTA]

0.033     2013-06-21 06:26:51 America/New_York

  [FIXED]

  - Modifying the 'agent' attribute with the accessor will append the
    default agent string, just like setting it during construction

0.032     2013-06-20 11:41:24 America/New_York

  [ADDED]

  - Added 'no_proxy' attribute, defaulting to $ENV{no_proxy}

Module-CoreList is 2.92 on CPAN

perldata: More identifier definition fix

Commit 9c1129c7de15ff8044f606550980c47f8c1724e9 did not update the
(?(DEFINE).  This does that.

Increase $B::VERSION to 1.44

Remove BmRARE and BmPREVIOUS

These were only used by the study code, which was disabled in 5.16.0
and removed shortly thereafter.

Update perlsub.pod for lvalue subroutines.

PATCH [perl #118563]: Fix perldata ident defn

The formal definition of identifiers was missing the fact that every
character in an identifier must match \w.  This also adds some
explanation.

release_managers_guide.pod: amended based on v5.19.1 experience

Improved struct pmop alignment fix - avoid the slow path on 64 bit systems.

Commit c2a50ddb1bed6576 works round an alignment bug in the slab allocator
for 32 bit systems built with 64 bit IVs. However, the C pre-processor logic
meant that the test path was enabled on true 64 bit systems. It's not needed
there, so improve the logic so that it isn't compiled for platforms where
pointers are 64 bit.

[perl #118305] make dtrace sub-entry probe support lexsubs

No tests, because I don’t know how to write them.

See also <https://rt.perl.org/rt3/Ticket/Display.html?id=118305#txn-1221543>.

I have tested this manually, so I know it works and no longer crashes.

Hopefully someone else can follow this up with tests.

optree_constants.t: Correct line number in comment

Why we need a reference like this is beyond me, but it is extremely
fragile, because even cosmetic changes to gv.t will throw it off.
That said, at least the next person looking at it won’t be as puzzled
as I was (until the next gv.t change).

perldiag: Document ‘Can't call mro_method_changed_in()’

Revert "portport: remove DG/UX"

This reverts commit 28371e3dbee6234e13f1dfa4afb650ba7691ebfc.

Porting/epigraphs.pod: add link to release announcement

Benchmark.t: fix skip() argument order

stub Module::CoreList for v5.19.2

bump version to v5.19.2

new perldelta

Porting/epigraphs.pod: add v5.19.1 and v5.19.0 epigraphs

add cpan/autodie/t/truncate_me to makerel @writables list

finalize perldelta.pod for v5.19.1

update perlhist for v5.19.1

update Module::CoreList for v5.19.1 release

portport: remove DG/UX

Fix Perl version references in INSTALL

Also update the RMG to remind people to do this for the "late" bumps in
BLEAD-POINT and BLEAD-FINAL releases

add some tests for Perl #71922

Apparently this is fixed now. But add tests

Rough draft of perldelta for v5.19.1

Added some things that were missing; deleted lots of boilerplate and
unused sections.

Module updates are not done, as Module::CoreList needs updating first.
Acknowlegements are not done, either.

bump Time::Piece VERSION to 1.2002

t/porting/customized.t: consistent data file sorting

Update Maintainers.PL for divergence from cpan

I've noted some files customized in blead and marked
Devel::PPPort as 'undef' upstream as it appears unmaintained
and rjbs has asked the maintainer to switch it to blead.

With this change, core-cpan-diff on the 'cpan' upstream is clean.

fix core-cpan-diff treatment of 'undef'

perldelta for #118047

[perl #118047] Don’t warn for tr//a/c

Since /c means to invert the search list (the empty string), making
it match all characters, it doesn’t make sense to warning about the
replacement list (a) being longer than the search list.

Update Archive-Tar to CPAN version 1.92

  [DELTA]

  * important changes in version 1.92 18/09/2013 (David Steinbrunner)
  - typo fixes

If miniperl fails the simple Exporter test, print a message and bail out.

Previously the Makefile rule for miniperl would attempt to automatically run
minitest if the simple Exporter test failed. It did this by recursively
calling make in the same directory, which is not a totally safe thing to do
even at the best of times.

However commit cb251201d6951395, necessary to simplify other parts of the
toolchain bootstrapping, has made it easy to trigger an infinite loop of
Makefile recursion if miniperl is unable to run the simple Exporter test.

So, for now, defuse the trap by avoiding the recursive make call. A better
long term solution will be to set up and run minitest by something other than
a Makefile target, such as a shell script. As it's not immediately obvious how
to best integrate this with ./runtests, commit this simpler fix for now.

For *nix, only delete the ppport.h files that we created.

Given that we have the list of places to create ppport.h files easily
accessible, it's easy to delete only the files that we created, and avoid a
find recursing into all of ext/, dist/ and cpan/. This also means that if
anyone drops a module from CPAN into ext/ to build it as part of the core,
any ppport.h it has won't be wiped out by the core. This is one of the few
things that goes wrong, as the rest of the distclean target is very careful
to only delete files that it knows that the build process built.

perldelta: note the change to "goto" in perlfunc

replace weird C<goto-TYPE> with C<goto TYPE>

the hyphenated form dates to a0d0e21, the Perl 5.000 commit

nothing else looks this way, and the difference seems to win
us nothing

document that goto-EXPR will treat a subref differently

This has been the case since Perl 5.8 at least, and possibly longer.

This resolves [perl #118523].

lib/locale.t: Remove workaround for now fixed #108378

UTF8f

This new format string allows char*s to be interpolated with the
utf8ness and length specified as well:

Perl_croak(aTHX_ "Couldn't twiggle the twoggle in \"%"UTF8f"\"",
                  is_utf8, len, s);

This commit changes one function call in gv.c to use UTF8f (it should
go faster now) as an example of its use.

This was brought up in ticket #113824.  This commit does not fix
#113824, but provides groundwork that makes it easier to fix.

perlfunc: Add caveat about string eval containing NV scalar

perlapi: Add note to isASCII

perlrecharclass: Nits

pp.c: Use correct size for two arrays.

The number of bytes the result of changing the case of a single UTF-8
character is given by UTF8_MAXBYTES_CASE.  In one of these arrays, space
is saved by using the proper #define; in the other there is no change
except on EBCDIC platforms.

perldelta for locale fixes

This is the delta for 68e8f474bc686a86c064b695b9c7400313d7af65,
and b127e37e51c21b0a36755dcd19811be931a03d83.

In FindExt, use File::Find instead of shelling out to a dir command.

The FindExt code is tested on *nix, and at least some systems have a dir
executable, which generates warnings to stderr when invoked with parameters
intended for the Win32 dir command.

File::Find is portable, and avoids starting a new process.

Add Module::CoreList::Utils to perldelta as a new module.

Add documentation for Module::CoreList::Utils

Correct module links in perldelta

perldelta for #118297

copied from f4612955aa389 on the maint-5.18 branch

Update release managers guide to note to bump Module::CoreList::Utils version too