Imported Upstream version 5.21.1

Change-Id: I3fcd41967e40b5ec543422d736ec57972d462464
Signed-off-by: DongHun Kwak <dh0128.kwak@samsung.com>

Imported Upstream version 5.21.0

Change-Id: Ie65b3441733239a8f37f59f154b3fe47b07742da
Signed-off-by: DongHun Kwak <dh0128.kwak@samsung.com>

Imported Upstream version 5.20.3

Change-Id: I6fa6898367b24309a61a48cc9b3028e34eba499e
Signed-off-by: DongHun Kwak <dh0128.kwak@samsung.com>

Imported Upstream version 5.20.2

Change-Id: I7c76e059b29c2b82cb61c784e8f4e88eccebd569
Signed-off-by: DongHun Kwak <dh0128.kwak@samsung.com>

Imported Upstream version 5.20.1

Change-Id: Ifcfb0af65c356f98e5fbd9ea99d486d4c70e2c7a
Signed-off-by: DongHun Kwak <dh0128.kwak@samsung.com>

skip RC tags when checking versions diffs

update v5.20.0 release date in Module::CoreList

update v5.20.0 release date in perlhist

patchlevel: we are a release candidate no more!

Obituary for Greg McCarroll.

Remove note of test failures on FAT that were fixed by perl #21442's fixes

The list of tests fixed doesn't exactly match the list in README.win32, but
all tests now pass when building/testing on FAT with the Windows OS on NTFS.

Update PathTools version in Porting

Document known test failure in mingw.org builds of gcc-4.8.1 (at least)

This came up in perl #121643, but I forgot to add a note of this Known
Problem.

Note that the minimum supported gcc (on Windows) is 3.4.5

Earlier versions (from www.mingw.org, at least) will build perl, but have
a linker bug that causes various tests to fail due to problems with
SDBM_File.dll. See perl #121936 for details.

Add notice for removal of find2perl, s2p and a2p

perldelta: Note patch fixed a bunch of tickets

Unbeknownst to the authors, several other tickets got fixed.

perldelta: update known problems

perlfunc: Should chdir("/") immed after chroot

Inspired by Coverity perl5 CID 28931: Insecure chroot: (CHROOT)
chroot_call.

The Perl chroot() is a thin wrapper around the system call, so the
chdir("/") should not go there.  But adding a note about the chdir()
being a good idea to perlfunc/chroot.

The committer reworded the inserted text for grammar and readability,
and the commit message to conform to git standards, and is pushing the
commit with the concurrence of the author.

PATCH: [perl #121630]: perlpod clarification

patchlevel: we are now v5.20.0-RC1

update perlhist for v5.20.0

remove the perl519*delta documents

perldelta: update modules sections for 5.20.0

perldelta: generate acknowledgements for 5.20.0

update CoreList for 5.20.0

POSIX.pod: Add clarification for strtod();

document the API signature change for Perl_regexec_flags()

and its related plugin structure pointer

inspired by https://rt.perl.org/Ticket/Display.html?id=121868 which was
also broken by ea3daa5d5f60389b105c00d4f7d05b5c2f2155f2

Fix commit 90674eaa88

Spotted by Daniel Dragan. We use GetEnvironmentStringsW() (deliberately so:
see commit 4f46e52b00), so we must use FreeEnvironmentStringsW() to match.

Add links for perl bug tickets in previous commit

perldelta for #121676

[perl #121676] Fix memory leak in backticks and system

Introduced by perl #113536. It doesn't actually leak on Windows XP due to
differences in the implementation of GetEnvironmentStringsW() compared to
later OSes, but the missing FreeEnvironmentStrings() was technically wrong
anyway, and does now bite. Thanks for Daniel Dragan for finding this.

use skip_all; test.pl plan does not support skip_all

Fix broken Makefile on Solaris 10.

This uses sed to avoid the problem of the sh not being modern enough.

The commiter moved the sed so it appears in just one place.

clarify SvPV documentation

perldelta: trim an absurd amount of trailing whitespace

perldelta: add obituary entry for Diana Rosa

[perl #121854] use re 'taint' regression

Commit v5.19.8-533-g63baef5 changed the handling of locale-dependent
regexes so that the pattern was considered tainted at compile-time, rather
than determining it each time at run-time whenever it executed a
locale-dependent node. Unfortunately due to the conflating of two flags,
RXf_TAINTED and RXf_TAINTED_SEEN, it had the side effect of permanently
marking a pattern as tainted once it had had a single tainted result.

E.g.

    use re qw(taint);
    use Scalar::Util qw(tainted);
    for ($^X, "abc") {
        /(.*)/ or die;
        print "not " unless tainted("$1"); print "tainted\n";
    };

which from 5.19.9 onwards output:

    tainted
    tainted

but with this commit (and with 5.19.8 and earlier), it now outputs:

    tainted
    not tainted

The RXf_TAINTED flag indicates that the pattern itself is tainted, e.g.

    $r = qr/$tainted_value/

while the RXf_TAINTED_SEEN flag means that the results of the last match
are tainted, e.g.

    use re 'tainted';
    $tainted =~ /(.*)/;
    # $1 is tainted

Pre 63baef5, the code used to look like:

    at run-time:

        turn off RXf_TAINTED_SEEN;
        while (nodes to execute) {
            switch(node) {
            case
                BOUNDL: /* and other locale-specific ops */
                    turn on RXf_TAINTED_SEEN;
                    ...;
            }
        }
        if (tainted || RXf_TAINTED)
            turn on RXf_TAINTED_SEEN;

63baef5 changed it to:

    at compile-time:

        if (pattern has locale ops)
            turn on RXf_TAINTED_SEEN;

    at run-time:

        while (nodes to execute) {
            ...
        }
        if (tainted || RXf_TAINTED)
            turn on RXf_TAINTED_SEEN;

This commit changes it to:

    at compile-time;

        if (pattern has locale ops)
            turn on RXf_TAINTED;

    at run-time:

        turn off RXf_TAINTED_SEEN;
        while (nodes to execute) {
            ...
        }
        if (tainted || RXf_TAINTED)
            turn on RXf_TAINTED_SEEN;

Correct v5.19.12-isms in Module-CoreList

bump the version to 5.20.0-RC0 to start on the road to release!

patchlevel: call it RC0 until RC1

there are no longer any problems in perldelta for now

replace 5.19.12 (never happening) with 5.20.0 in corelist

resort win32/pod.mak to please pod_rules.t

add known modules from perl520delta

regenerate META.json

perldelta: correct busted perldiag links

bump version to 5.20.0, install 5.20 perldelta

perlsub: Fix too-long verbatim line length

This was introduced by commit d3f8a934ef964c0f488e9c692275435d8ea2e291
which reverted earlier fixes, including this pod problem.

perlapi: Give more accurate value for needed free space

When converting to UTF-8, one usually doesn't need 14 bytes available
space, which is what previously was claimed  It acutally depends on the
value being converted.  This change gives the precise value.

ensure qw//, q'' and '' report line on a missing terminator

scan_str() only sets PL_multi_end on success, but the qw, q amd '' cases
were calling the COPLINE_SET_FROM_MULTI_END; macro before reporting
failure, overwriting the line used for reporting errors.

For the simplest case, as in the ticket and the tests, PL_multi_end is
zero, so the error is reported without a line number.

Revert "[perl #79908] Stop sub inlining from breaking closures"

This reverts commit 137da2b05b4b7628115049f343163bdaf2c30dbb. See the
"How about having a recommended way to add constant subs dynamically?"
thread on perl5-porters, specifically while it sucks that we have this
bug, it's been documented to work this way since 5.003 in "Constant
Functions" in perlsub:

    If the result after optimization and constant folding is either a
    constant or a lexically-scoped scalar which has no other references,
    then it will be used in place of function calls made without C<&>

    -- http://perldoc.perl.org/perlsub.html#Constant-Functions

Since we've had this documented bug for a long time we should introduce
this fix in a deprecation cycle rather than silently slowing down code
that assumes it's going to be optimized by constant folding.

I didn't revert the tests it t/op/sub.t, but turned them into TODO tests
instead.

Conflicts:
t/op/sub.t

perlsub: Improve the "Constant Functions" documentation

Ever since perl-5.003_95-19-g5431012 which incorporated this patch:

      Title:  "Improve and update documentation of constant subs"
       From:  Tom Phoenix <rootbeer@teleport.com>
     Msg-ID:  <Pine.GSO.3.96.970331122546.14185C-100000@kelly.teleport.com>
       Date:  Mon, 31 Mar 1997 13:05:54 -0800 (PST)
      Files:  pod/perlsub.pod

We've documented that "BEGIN { my $x = 1; *X = sub () { $x } }" creates
an inlined subroutine, we just weren't doing so very explicitly. Patch
the documentation so that we now have explicit examples for the behavior
mentioned in the first paragraph of the section.

This also adds an explicit mention of the behavior reported as a bug in
[RT #79908], shows the user that you can just use B::Deparse rather than
relying on a warning to see the effects of inlining, and replaces a
contrived way to avoid inlining with just adding a "return".

While writing these docs I found a bug in the warning behavior mentioned
here, which I filed as [RT #121841]

Merge branch 'perldelta' into blead

perldelta: mention the possible doom of EBCDIC

perldelta: standardize on Americanized spellings

one document, one standard

perldelta: crosslink to 5.18.0 delta for padrange

perldelta: nitpicks

List::Gather now has a patch upstream

perl5200delta: Correct which gcc versions we add -fwrapv for

perldelta: Data::Clone 0.004 works correctly on blead

[perl #121771] this new diagnostic was removed in 2e6f7c2a54

perldelta for 9625867354

remove a duplicate paragraph

merge paragraphs about Intel C++ Compiler

nitpicks

perldelta: correct Configure args for COW

perldelta: remove text duplicated mere lines above

perldelta: it will be perl520.dll, not perl519.dll

perldelta: better tense for mentioning an old version

perldelta: mark subroutine signatures as experimental

khw perl52000 changes

perldelta: remove some XXX todo text

perldelta: group regexp fixes

perldelta: group lexical subroutine fixes

perldelta: group debugger fixes

remove notice of changes entirely internal to 5.19.x

incorporate perl51911delta into perl5200delta

perldelta: edit up through but not including Selected Bug Fixes

first pass editing up through "Configuration and Compilation"

reorder "incompatible changes" section

reorder "core enhancements" section

incorporate perl51910delta into perl5200delta

incorporate perl5199delta into perl5200delta

incorporate perl5198delta into perl5200delta

incorporate perl5197delta into perl5200delta

incorporate perl5196delta into perl5200delta

incorporate perl5195delta into perl5200delta

incorporate perl5194delta into perl5200delta

incorporate perl5193delta into perl5200delta

incorporate perl5192delta into perl5200delta

incorporate perl5191delta into perl5200delta

incorporate perl5190delta into perl5200delta

sv.c: fix closing comment

replace /* with */

it didn't matter because it was immediately followed by another comment

document sv_gets() internals

sv_gets() contains some very dense code. while trying to rewrite I
learned a lot about it worked, and Nicholas asked me to update
the comments. So here they are. Hope this saves someone some heartache
trying to understand this code.

Implement "max waste" thresholds to avoid problems with COW and deliberately overallocated pvs

COW does not play nicely with "preallocate" algorithms.

More specifically code like sv_gets() wants to preallocate a large
buffer into $_ for performance reasons.

Prior to COW this was just fine. When someone assigned $_ to a
less volatile variable only the used portion of the buffer was copied,
and the extended buffer would be reused by sv_gets() and all was well.

With COW however this process is foiled. The preallocated buffer
get shared, and then when $_ is updated the buffer is dropped from $_,
leaving the other SV holding ownership of the overallocated buffer,
and causing sv_gets() to allocate a new buffer entirely. This process
would then repeat consuming time and lots of memory.

This patch introduces a "wastage" check to COW. When decided if we
should COW a string we look at the ratio and difference of SvCUR(sv)
and SvLEN(sv), which represent the "actual string length" and the
"allocated string length". When the difference exceeds a hard threshold,
or when the ration exceeds a designated factor then we do not COW.

This means that strings with large overallocations are not COWed.
Exactly how this works out in practice, where SvGROW() *always*
overallocates, is an open question.

See: https://rt.perl.org/Ticket/Display.html?id=121796

This patch also slightly tweaks SvGROW() not to do roundup on the first
allocation of the pv. Odds are good that the initial request realy does
want exactly what they expected. (SvGROW contrary to what the name
suggests is used for bother *extended* the size of a pv, and
initializing it the first time.)

[perl #121505] include -fwrapv by default for GCC 4.3 and later

perlre: Update obsolete example

/foo{4,3}/ now emits a message, contrary to what the pod claims.  Use a
different example that doesn't emit a message

Revert "Upgrade Devel::PPPort from 3.21 to 3.22"

This reverts commit 8e5dcc37de4ab79d8ec6f30798947ae97355ff2a, since
the SvREFCNT_dec_NN is bad (leaks).

Fix Encode 2.60 with g++

The recently added Encode 2.60 won't compile with g++, due to assigning
a const char * const pointer to a char* struct field.

The intent of the code itself is a bit unclear, but it appears to be
to set SvPVX as a read-only alias of a const string, using the SvLEN()=0
trick to avoid it being freed.

Fix the g++ builds by casting away the constness, and add some asserts and
comments to make it less unclear what's going on.

re-apply: Upgrade to Encode-2.60

Commit dc396cc293 was reverted by 547245703 due to issues under g++.
This commit re-applies the original commit; the next commit will fix those
issues.

-----

This upgrade includes the blead customizations from 080a704606 and
9e9002efd1 (amongst other changes) so that Perl 5.20.0 can ship with an
official CPAN release of Encode.