Bring perldiag/‘Assigning non-zero to $[’ closer to reality

Or closer to what will imminently be its reality

Restore ‘Assigning non-zero to $[’ to perldiag

This was removed by b82b06b8ca32.  The message is coming back soon, at
least under ‘use 5.016’....

perldelta_template: revise text about incompatible changes

utf8.c: Change prototypes of two functions

_to_uni_fold_flags() and _to_fold_latin1() now have their flags
parameter be a boolean.  The name 'flags' is retained in case the usage
ever expands instead of calling it by the name of the only use this
currently has.

This is as a result of confusion between this and _to_ut8_fold_flags()
which does have more than one flag possibility.

scope.c: Allow successful saving of PL_tainted

leave_scope() saves and restores PL_tainted upon entry and exit.  This
means that any attempt to save this variable on the stack will fail, as
its unstacked value will overwrite the popped one.

To counteract this, we update our saved version with the popped value.

pp.c: Changing case of utf8 strings under locale uses locale for < 255

As proposed on p5p and approved, this changes the functions uc(), lc(),
ucfirst(), and lcfirst() to respect locale for code points < 255; and
use Unicode semantics for those above 255.  This results in better, but
not perfect results, as noted in the changed pods, and brings these
functions into line with how regular expression pattern matching already
works.

utf8.c: White-space changes only

This indents previous lines that are now within new blocks

utf8.c: Allow Changed behavior of utf8 under locale

This changes the 4 case changing functions to take extra parameters to
specify if the utf8 string is to be processed under locale rules when
the code points are < 256.  The current functions are changed to macros
that call the new versions so that current behavior is unchanged.

An additional, static, function is created that makes sure that the
255/256 boundary is not crossed during the case change.

utf8.c: Add comment

locale.t: Prepare for adding more tests

This custom TAP output .t has hard-coded test numbers.  Rather than
disturb those, I plan to add tests that come after all the current ones,
and this paves the way for that.

locale.t: Add ability to output a message with 'ok'

locale.t uses its own custom TAP messages.  This changes the 'ok' sub
to accept another parameter, a test description to add to the TAP line.
And it changes the taint functions to produce a generic one of these

Revise feature.pm documentation

core-cpan-diff: clarify phrasing of missing file warning

Fix Maintainers.pl and META.yml for removal of lib/version.t

Merge CPAN version.pm tests into CORE.

It has become increasingly difficult to maintain the CPAN tests
and the CORE tests, so include the [subtly edited] CPAN tests
into the CORE code instead.  NOTE: this also bumps $VERSION to
match the forthcoming CPAN release.

Signed-off-by: David Golden <dagolden@cpan.org>

Update threads to CPAN version 1.86

  [DELTA]

  1.86 Wed Dec 14 21:12:51 2011
    - Fix for mingw-w64 build due to setjmp difference

Sync Module-CoreList MANIFEST file with what is on CPAN

Fix Module::Build entry in Maintainers.pl

Corrected path for CUSTOMIZED and updated the documentation of
CUSTOMIZED as a reminder for others.

Update Maintainers.pl to quiet DAGOLDEN core-cpan-diff warnings

Reformatted Maintainers.pl for whitespace and layout consistency

(12:16:39) autarch: can I just run perltidy on the whole file?
(12:16:59) rjbs: Yes.
(12:17:14) ***rjbs will take the heat, if there is any, unless you actually BREAK something. :-)
(12:17:30) rjbs: where something is not "my custom Maintainers.pl parser, written in 1995"

More files to exclude from the core-cpan-diff

perlfunc: Document kill without list of processes

perlsec: Fix example to localize $@.

Not doing this can cause hard-to-find bugs.

op/taint.t: localize $@

This is so the subroutine's calling 'eval' won't affect things outside
it.

locale.t: Don't destroy caller's $@

This bug was very hard for me to find.  Leave the outside $@ untouched.

perllocale: Don't mention /l modifier

The /l modifier really shouldn't be used explicitly.  So remove this
mention of it.  It is documented in perlre, with appropriate cautions
against its explicit use.

perllocale: Nits

This adds a clarification, a couple grammar and typo fixes, and outdents
some verbatim sections to fit within 79 columns.

charnames: Add %Carp::Internal entry

This will be useful in a future commit.  charnames is about to be split
into two modules, one called by the other, and warnings::warn() would
otherwise return if warnings are enabled in the parent module.

charnames and perlapi: pod nits

charnames: "Add 'use re "/aa"'

This should add a slight performance improvement, and is usable since
all names are ASCII

Ignore all tests in xt/ or tests of the form t/release-.*

Normalise some of the module updates in perldelta

Update Digest-SHA to CPAN version 5.70

  [DELTA]

  5.70  Wed Dec 14 02:32:10 MST 2011
  - added BITS mode to addfile method and shasum
    -- partial-byte inputs now possible via files/STDIN
    -- allows shasum to check all 8074 NIST Msg vectors
      -- previously required special programming

perldelta: Turn one-liner into a block of code

so the line isn’t too long.

perldelta up to 1881532246

EU::ParseXS: Silence undefined-value-in-addition warning

Nothing serious, just happened sometimes when reporting line numbers for
errors. But warning during build process.

Update CPAN-Meta-YAML to CPAN version 0.005

  [DELTA]

  0.005     2011-12-13 12:57:24 EST5EDT

  - Generated from ADAMK/YAML-Tiny-1.50.tar.gz

  - Fix documentation to clarify that users are responsible for
    UTF-8 encoding/decoding

[RT #78266] Don't leak memory when accessing named captures that didn't match

Since 5.10 (probably 44a2ac759e) named captures have been leaking
memory when they're used, don't actually match, but are later
accessed. E.g.:

    $ perl -wle 'for (1..10_000_000) { if ("foo" =~ /(foo|(?<capture>bar))?/) { my $capture = $+{capture} } } system "ps -o rss $$"'
      RSS
    238524

Here we match the "foo" branch of our regex, but since we've used a
name capture we'll end up running the code in
Perl_reg_named_buff_fetch, which allocates a newSVsv(&PL_sv_undef) but
never uses it unless it's trying to return an array.

Just change that code not to allocate scalars we don't plan to
return. With this fix we don't leak any memory since there's nothing
to leak anymore.

    $ ./perl -Ilib -wle 'for (1..10_000_000) { if ("foo" =~ /(foo|(?<capture>bar))?/) { my $capture = $+{capture} } } system "ps -o rss $$"'
      RSS
     3528

This reverts commit b28f4af8cf94eb18c0cfde71e9625081912499a8 ("Fix
allocating something in the first place is a better solution than
allocating it, not using it, and then freeing it.

Add Johannes Plunien to AUTHORS

Add testcase for #78266.

Fix #78266: Memory leak with named regexp captures.

Make scalar() propagate lvalueness

As mentioned in ticket #24346, scalar() should not change lvalueness.
The fact that it did was a side effect of the implementation and a
bug.  foo(scalar substr(....)) should pass a substr lvalue to foo just
as it would without scalar() or with a $ prototype (which is meant to
be equivalent to scalar()).

This also makes it possible to force scalar context in list assignment
to lvalue subroutines, as in (foo(), scalar bar()) = @list.

perldelta for is_utf8_string()

Set all version object math ops to noop

Explicitly handle all math operations with version objects as noop
instead of letting Perl handle it magically with nomethod.

Signed-off-by: David Golden <dagolden@cpan.org>

fix make_patchnum.pl branch determination

A previous commit of mine, 9077509c9b9bc1871867a5fba4351b95c670298d,
tried to handle the case where the output of 'git branch' was

    * (no branch)
      blead

to stop it outputting  a 'Use of uninitialized value' warning.
However, my "fix" broke in the case where multiple branches are listed
with the current not the first:

      blead
    * tmp1
      tmp2

Hopefully this fixes it properly.

perldelta for e7d0a3fbd9 (tying PVMG COWs)

perldelta up to 0ea03996e7

Update Socket to CPAN version 1.96

  [DELTA]

  1.96    CHANGES:
         * Fix Socket.t to use ok() instead of is() where required - RT73039
         * Complete rewrite of module docs; list all the constants and
           functions, updated SYNOPSIS
         * Added convenient Exporter tag :addrinfo for all the gai/gni-related
           symbols
         * Provide static synthesized newSVpvn_flags() replacement for older
           Perls
         * Implement getnameinfo() NIx_NOHOST and NIx_NOSERV extension flags

  1.95    CHANGES:
         * Implement the remaining AI_*, EAI_* and NI_* constants from
           Socket::GetAddrInfo
         * Declare configure-time dependency on ExtUtils::Constants 0.23 for
           when building out of core
         * Initial attempt at dual-life extraction from bleadperl

Remove explicit support for pre-7.0 VMS and pre-6.0 DEC C.

OpenVMS v7.0 was released in 1995.  There have been no reports of
recent releases of Perl building on versions that far back, yet we
still have quite a bit of code that explicitly supports versions
*prior* to v7.0.

There is a similar story for DEC C v6.0.  It was released in 1998,
and has been superceded by numerous subsequent versions.  Yet the
VMS-specific code in the core is littered with workarounds and
hacks that defend against deficiencies in very old compiler
versions.

This code is for all practical purposes no longer maintained or
maintainable, so the best path forward seems to be to remove it.
Anyone able and willing to commit to long-term support of it
could argue for its restoration, assuming Perl 5.14.x is not
adequate.

Remove local $_ from Exporter

This was added in commit 732bb7c2d4f.

The changes in that commit did not necessitate the addition of
local $_.  So the localisation is wasting CPU cycles.  Worse, it
causes bugs in 5.12 and earlier.  (local $_ is always wrong if you
don’t control what is in $_ already, because it could be a read-only
tied variable.)  Actually, it causes bugs in 5.14-15 still, because
it seems that the changes to ‘local $_’ still weren’t sufficient (it
still calls FETCH, but not STORE).  That itself needs fixing, but that
should not obviate the need for this change, as Exporter has been liv-
ing a double life.

Increase $Exporter::VERSION to 5.66

Update CPANPLUS to CPAN version 0.9113

  [DELTA]

  Changes for 0.9113      Fri Dec  9 16:05:07 2011
  ================================================
  * Add more detail and reason for NA to NA reports

perlguts: nits

This fixes a few typos, adds a few clarifications, and fixes too wide
verbatim lines

document run_multiple_progs

test for various fatal messages from op.c

refactor croak.t to be data driven (like warnings.t)

Increase ExtUtils::Packlist::VERSION to 1.45

Correct POD formatting error: '=back' should be within '=begin =end' block.

Increase $I18N::LangTags::VERSION to 0.38

update link to ISO 639-2

Update UNIVERSAL::VERSION POD to reflect reality.

This should have been done when version objects were originally
added to the core back in 5.10.0.  Mea culpa.

[I bumped UNIVERSAL.pm version and added a perldelta entry. -- DG]

Signed-off-by: David Golden <dagolden@cpan.org>

Sync up tests with upstream version.pm

Pull in the contents of t/coretests.pm (more or less) from the CPAN
release of version.pm.

Signed-off-by: David Golden <dagolden@cpan.org>

Use syntax from perlguts for testing objects

The following paragraph is in perlguts.pod:

   To check if you've got an object derived from a specific class you have
   to write:

       if (sv_isobject(sv) && sv_derived_from(sv, class)) { ... }

which does the right thing with magical things like tied scalars.

Signed-off-by: David Golden <dagolden@cpan.org>

Revert 9bf41c1d to UNIVERSAL::VERSION

Return the previous behavior where CLASS->VERSION will return a
stringified version object of the contents of $CLASS::VERSION.

Signed-off-by: David Golden <dagolden@cpan.org>

Fix segfault on overloaded arithmetic assignment

Consider an arithmetic assignment operation of the form

  $left += $right

A segfault was occuring in the case where $right is an overloaded object
but $left is not; and where $right does not override "+=" but does
provide a 'nomethod' override.  Internally, Perl_amagic_call was
attempting to clone $left as if it were an overloaded object, causing the
segfault.  This commit fixes the segfault by only cloning the left
operand when the left operand is the overloaded one.

Remove "support" for using malloc.c outside the perl core distribution.

It only ever worked properly in 5.005.

Commit d720c4410d3a0730 from June 1998 is the first known version of malloc.c
that would compile stand alone, without needing a config.h
Commit 5bbd1ef51ee0ebfa from December 1998 will not compile by default,
but will if one provides suitable definitions of simple macros on the command
line.
Commit 427181846486e3aa from September 1999 will not compile with command
line flags alone.

12 years later, no-one has reported problems, so it's safe to remove this.

Remove commented-out "support" for perl's malloc with x2p.

In 1998 commit 30e2e4257067d5f8 stated

    temporarily disable perl malloc for a2p until we clean up
    conflicting malloc() declarations everywhere

and nothing has changed since. 13 years later, no-one has reported problems,
so it's safe to remove it.

perl.h can include embed.h in the same location on all operating systems.

Commit 22c35a8c2392967a (October 1988) added a #include "embed.h" later in
perl.h for when building with PERL_OBJECT defined. Commit d18c61170a306915
(November 1988) added an effectively duplicate #include for all WIN32.

Commit 0cb9638729211ea7 (June 1999) corrected the made the earlier #include
in perl.h also conditional on !PERL_OBJECT (in addition to the
!PERL_FOR_X2P added by 22c35a8c2392967a), but it wasn't until commit
d18c61170a306915 (November 1999) that this changed this to !WIN32, and
embed.h was included exactly once by perl.h (as a2p never actually includes
perl.h).

Commit acfe0abcedaf592f (August 2001) removed the PERL_OBJECT code from
perl.h, reducing the duplication somewhat, but commit 96e176bf068724d0
(October 2001) created analogous special case duplication for VMS, and
commit 27da23d53ccce622 (April 2005) for Symbian. Commit eb8433b7af0f2e09
(March 2006) then neatly put the same #ifndef PERL_MAD code after all 4
locations that included embed.h and commit b3f24c00097febc1 (April 2006)
made the same correction in all 4 places.

But, the daft part of all this is that there was no reason why Win32 was
special - every other operating system can build perl with embed.h included
later in perl.h

Hence the earlier 3 locations can be eliminated, and the was-just-Win32
location made unconditional.

Which saves some lines of code. But fewer lines than are in this commit
message.

perl.h doesn't need special cases for x2p, as x2p doesn't include it.

Commit 22c35a8c2392967a in October 1998 added an #if !defined(PERL_FOR_X2P)
guard to prevent perl.h from including embed.h when being used to compile
a2p. However, this was not needed even then, because embed.h only contains
pre-processor directives (mostly #define) related to tokens unused in a2p's
C code, so its continued inclusion would not have any effect. Moreover a2p
never actually included perl.h from its own code - only its copy of malloc.c
would include perl.h, and that only if perl was configured to use its own
malloc. But even x2p's use of malloc.c had been "temporarily disabled" by
commit 30e2e4257067d5f8 1 month earlier, so there was never a need for this.

Remove the obsolete code for NO_EMBED from sdbm.h

Support for NO_EMBED was removed by commit 22c35a8c2392967 in 1998.
Minitrue attempted to eliminate all mention of it in 2003 with commit
a0a44e237c19cc2b, but missed this code in sdbm.h

Update READMEs and Pod with the updated URLs at lists.perl.org

Made "c [line_num]" working again.

This is a bug-fix to
https://rt.perl.org/rt3//Public/Bug/Display.html?id=104820 .

Both the fix and a regression tests were added.

perldelta up to e08f19f5d07

Test out-of-bounds warning with lv substr

perldelta up to a74fb2cdc8f

plus some later commits dealing with substr

perldelta up to 611272bb8

stat() fix for write but not read permission on a directory.

9b9f19dadd2 missed one corner case where we do actually need to
stat the directory file and not just the name without the .DIR. If
we have write but not read access to the directory, then
stat('foo.DIR') succeeds but stat('foo') fails.  So if the first
stat failed fileify and try again.

perldelta up to 47a0660e68

perldelta for efcf35c4ce

perldelta up to c70a25495

perldelta up to e38acfd7

Retroactively add newCONSTSUB_flags to 5154delta

[perl #97476] Deparse not() following the llafr

not() follows the looks-like-a-function rule, unlike its high-prece-
dence counterpart.  So deparsing

    not +($foo || die) && $baz

as

    not ($foo || die) && $baz

is incorrect, as the && $baz part is no longer part of the argu-
ment to not().

[perl #77172] Deparse &{&} as &{&}, not &&

&& is always tokenised as the logical-and operator, and never as the
&{&} subroutine.  B::Deparse needs to know about this.

(Oddly enough, ** can be exponentiation or the *{*} glob.)

More tests for deparsing warn()+1, etc.

[perl #74740] Deparse -(f()) correctly

-(f()) was being deparsed as -f(), which is a filetest operator.

Extra parens are needed for negation if the child op deparses with a
single letter at the beginning.

Don’t warn for open local *FH

There is this ancient ‘Precedence problem’ warning that warns for open
followed by a bareword and then an operator that would have made open
into a unary-precedence operator in Perl 4.  It was not taking into
account that the bareword might be a Perl keyword.  In that case it
shouldn’t be warning.

Deparse pipe(local *FH, local *FH) correctly

This is a follow-up to commit 2462c3cca (bug #63558).

I made it work with the first argument, but forgot the second.

Deparse (eof)+1 correctly

If the parentheses are omitted, it means eof(1).

To fix this, we surround the keyword with parentheses (if necessary
according to precedence) if it is an unop, because a final () has a
special meaning for some unops.

For listops, we use surrounding parentheses only if the llafr does
not apply.  Otherwise we use a final ().

[perl #63558] Deparse open local(*FH) correctly

open FH and open local(*FH) compile down to the same structure
(open *FH), but with a flag set on the rv2gv (*{}) op for the
local case.

B::Deparse was special-casing rv2gv for ops with * in their prototype,
but without consideration for the flag.

Deparse dump as CORE::dump

Since dump() warns without CORE::, and since the two variants are
indistinguishable after compilation, always deparse dump() as
CORE::dump.

Deparse filetest ops without llafr

Before this commit, (-e $_) + 72 deparsed incorrectly, because it
became -e($_) + 72, equivalent to -e ($_+72).

Concerning the removed comment, it’s more important to produce correct
code than nice-looking code.

Fix use VERSION test failures under PERL_UNICODE

use VERSION now checks whether HINT_LOCALIZE_HH is set, which indi-
cates that %^H has been modified.  If it is set, it does ‘no feature’
first, regardless of the version number.

Some tests were checking that feature.pm is not loaded for use 5.8.8.
Now it is sometimes, particularly if PERL_UNICODE has been set, as it
adds keys to %^H.

For now, I’ve tweaked the tests.  It would be nice if version declara-
tions could load and unload features without loading feature.pm, just
as they do with strictures.

Deparse CORE::do+{} and CORE::do({}) correctly

Commit 94bb57f91b missed the CORE:: variant.

Fix deparsing of "" =~ <any OPf_SPECIAL op>

This is a regression in 5.14.

$ ./perl -Ilib -MO=Deparse -e '"" =~ do{}'
'' =~ ($_ =~ do {
    ()
});
-e syntax OK

Commit a539498ab05 fixed the deparsing of "foo" =~ (1?/foo/:/bar/),
in which /foo/ is implicitly bound to $_.  Due to constant folding,
the whole condition expression is reduced to "foo" =~ /foo/, but with
/foo/ still bound to $_.  /foo/ is marked OPf_SPECIAL, which allows
us to distinguish the cases.  The fix, which added "$_ =~" explic-
itly, did not check that the op was a match op, so any op on the rhs
with the OPf_SPECIAL flag set could trigger the same special case.

Deparse.pm: More functions that do not follow llafr

See the previous commit.

Again, whether we apply the llafr to loop exits shouldn’t be about
whether parentheses look nice, but whether the final code parses
correctly.

[perl #77096] Deparse return and do without llafr

‘return’ and ‘do-file’ are exempt from the ‘looks-like-a-function
rule’ (llafr).

B::Deparse was intentionally ignoring that:

While it might produce nice-looking code, the final code compiles dif-
ferently in many cases, so we simply cannot ignore these ops’ disre-
gard for that rule.

deparse.t: Add bug number

[perl #47361] Deparse do +{} and do({}) correctly

These are both variants of do-file syntax.

Correct a bug in the previous commit (bb35dd48)

The test in bisect-runner.pl for when to apply the fix of commit
c955f1177b2e311d was not correct - it would also attempt to apply the patch
to commit c955f1177b2e311d and later, not just to commits before
c955f1177b2e311d.