Fixed regressions in corelist with display of 0 ending perls

v5.x.10 perls were displaying twice in -a output

Both v5.x.0 and v5.x.10 perls were displaying twice in -v output

my_plvarsp nulling and PERL_GLOBAL_STRUCT_PRIVATE

With PERL_GLOBAL_STRUCT_PRIVATE, all "global" vars are in a malloc()d
structure pointed to by the static var my_plvarsp. At exit, this struct is
freed and my_plvarsp is set to NULL.

My previous commit c1181d2b skipped the free if PL_veto_cleanup is set
(as it would be if other threads are still running for example), but
still left my_plvarsp getting set to NULL. Thus other threads could still
deref a null pointer if they accessed a "global" var just as the main
thread was exiting.

This commit makes the veto skip the NULLing in addition to the freeing.

This commit is quite late into the code freeze, but it's a follow-up to the
earlier attempt to get smokes not to fail, and all the affected code is
within #ifdef PERL_GLOBAL_STRUCT_PRIVATE, so it shouldn't affect
mainstream builds at all. (Famous last words.)

perlapi: Clarify NUL handling for 2 fcns; nits

The string input to these two functions must be NUL terminated when the
length parameter is 0.

RMG - Note that the release announcement's web link will be in the email headers

Thanks to Smylers <Smylers@stripey.com> for this revelation!
http://nntp.perl.org/group/perl.perl5.porters/214662

[perl #121662] use a more stringent check for -DPERL_DISABLE_PMC

which Tom produced updated patch for, but then I grabbed the wrong
patch.

Make the test suite pass with -DPERL_DISABLE_PMC

Commit 9fdd5a7ac74817cfaab6 introduced new tests that fail when building
perl without PMC support.  In such cases, skip these new tests.

Avoid double quotes in switchM.t runperl args.

The new tests added in 9fdd5a7ac74817 were sending runperl a -e
command with double quotes around it, which confuses matters on
VMS where arguments get double quotes added unless they already
have them.  The solution is simple: just use the 'prog' parameter
to runperl and let runperl handle the quoting.

perldiag: Clarify non-char warning

What to do in this situation is currently subject to ticket
[perl #121226],  This more clearly documents what happens now.

[perl #121681] fix documentation of delete at the end of an array

Prepare Module::CoreList for 5.19.12 (not that it's expected to exist...)

Module-CoreList 3.10 released to CPAN

Add 5.19.11 epigraph

Bump version for 5.19.12 (not that it's expected to exist...)

Create new perldelta for 5.19.12 (not that it's expected to exist...)

Update Porting/Maintainers.pl - ExtUtils::Install was updated by 68659711db

Update perlhist

Finalize perldelta

Update Module::CoreList for 5.19.11

perldelta - Fill in the last remaining "todo"

Upgrade CPAN from version 2.05-TRIAL2 to 2.05

perldelta - Update, remove boilerplates, and do some copy-editing

Also update the template for utilities: a =head3 doesn't look right
directly under a =head1 so make it a =head2 instead.

Fill in perldelta for CPAN upgrade in commit 45a1388464

Also record that that commit actually upgraded CPAN to 2.05-TRIAL2, not
2.05-TRIAL.

perldelta for perlbug changes.

Update the other version number in ExtUtils::Install

perldelta for b51c3e77db (VMS glob changes).

ExtUtils-Install/t/Install.t: better -w tests

I recently added some tests to Install.t to check that files weren't
writeable. I used "-w $file", which gives a false positive if run as
root. So this commit changes the test to do a stat then test (mode & 0200);
hopefully that emulation on non-POSIX platforms is good enough for this to
be a valid test. perlport makes no mention of what stat->mode contains
on non-POSIX platforms.

(Chris fixed this this with 84d7dacc0cf1f by skipping the test if running
as root, but the current commit is more robust, in that is still tests for
correctness under root.)

perldelta - Consistent perl bug formatting

"[perl #1234]" is used as footnotes to text, but "perl #1234" reads better
in the body of the text.

perldelta - Mention a bug number

perldelta - Use canonical perl bug URL throughout for consistency

perldelta - Note a known problem with some MinGW builds on Windows

This came up on [perl #121643].

Skip writable tests in ExtUtils-Install when root

Bump ExtUtils::Install to 1.66

import experimental.pm

ExtUtils::Install was upgraded to 1.65 by 9345802d17

Upgrade Win32 from version 0.48 to 0.49

This fixes the build with gcc-4.8.1 from http://www.mingw.org and thus
resolves perl #121643.

perldelta for 78beb4ca6d

perldelta for e141190569

Remove unused variable

Fix DllMain definition to fix building with gcc-4.8.1 from mingw.org

This partly fixes perl #121643.

Set Off_t et al correctly for USE_LARGE_FILES builds on Windows

The canned config files used to build miniperl.exe (with some updates
applied by Makefile / makefile.mk) have the non-USE_LARGE_FILES settings
for Off_t, LSEEKSIZE and Off_t_size, resulting in an uninitialized memory
read in win32_fseek() in miniperl.exe, which recently started causing
exetype.pl to write a 4GB wperl.exe during the build of a 64-bit perl.

Change Makefile / makefile.mk to use the correct settings for the build of
miniperl.exe. This fixes perl #121471.

Bump ExtUtils::Install version to 1.65

Update perldelta for #121512 (9fdd5a7ac7)

perldelta: add entry for //m fix

run/locale.t: reindent block

Re-indent a block of code after the previous commit added an extra scope.
Whitespace-only change

run/locale.t: silence shell warnings

A couple of tests do

    local $ENV{LC_ALL} = "invalid";
    fresh_perl_is(...);

this causes a shell to be invoked with an invalid locale. Some shells
such as bash, become very noisy in this case:

    $ LC_ALL=invalid /bin/sh -c 'echo yes'
    /bin/sh: warning: setlocale: LC_ALL: cannot change locale (invalid): No such file or directory
    yes
    $

Silence these warnings by temporarily closing STDERR. Since the
fresh_perl_is() scripts themselves are run with STDERR set to /dev/null
anyway, this isn't a hardship.

perldelta updates

ExtUtils::Install handle symbolic and hard links

[perl #72028]

When upgrading an already-installed file, ExtUtils::Install could mess up
the permissions of files if the old versions of files were hard or
symbolic links. For example, if the Foo module had been installed as
lib/Foo.pm and for some reason (perhaps due to OS packaging) that file was
hard-linked to other/Foo.pm or replaced with a symbolic link to
other/Foo.pm, then when trying to install a newer release of Foo, the
permissions of the other/Foo.pm file could end up messed up.

This was due to ExtUtils::Install changing the permissions of the old file
before unlinking it; if the file was a link, then the linked file would
get the chmod instead. Since on POSIXy platforms it is the directory
permissions, not the file permissions, that affect whether a file can be
unlinked, the chmod was redundant anyway. So on these platforms, skip the
chmod.

I've also added tests for symlinked and hard-linked files.

[perl #120998] avoid caller() crashing on eval '' stack frames

Starting from v5.17.3-150-g19bcb54e caller() on an eval frame would
end up calling Perl_sv_grow() with newlen = 0xFFFFFFFF on 32-bit
systems.

This eventually started segfaulting with v5.19.0-442-gcbcb2a1 which
added code to round up allocations to the nearest 0x100, setting
newlen to 0, faulting when sv_setpvn() attempted to copy its source
string into the zero space provided.

PerlIO.pm: Make pod :utf8 caution more prominent

The :utf8 layer continues to have security issues.  This moves the
warning about that to earlier where it's more likely to be seen, and
makes it stand out more.

POSIX.pod: Nits

Most of the changes are to add C<> around code snippets, like function
macro and constant names.

There are a couple of grammar changes.

The only sort-of substantive change is that strtod() does respect
setlocale.  Previously it said it *should* respect setlocale.

PATCH: [perl #90646] perlop.pod: Clarify & | and ^ binary operations

initialise PL_watch_pvx

This global var is only used in debugging builds, but with
PERL_GLOBAL_STRUCT_PRIVATE builds, it gives valgrind errors. Just
initialise it to NULL.

I was originally trying to replicate smoke failures of
dist/Thread-Queue/t/07_lock.t under PERL_GLOBAL_STRUCT_PRIVATE, and
valgrind complained.

Attempt to satisfy CRLF expectations in perlbug on Windows.

Make perlbug encoding-agnostic in handling prepared reports.

Guessing the encoding of a report file prepared ahead of time is
really, well, too much guesswork, plus there are at least a couple
of mistakes in the implementation.  And we weren't even trying to
guess for reports created on-the-fly in an editor, which is a bit
inconsistent.

So handle prepared reports the same way as on-the-fly reports and
attachments, which means all I/O is done using the :raw layer.

This is only "Unicode-aware" in the sense that we're aware there
are a lot of encodings out there and we're trying not to mangle
them in transit by accidental conversion.  We're not doing any
explicit character set conversions and we shouldn't assert in the
MIME headers that we know what character set we're sending because
we don't.

Upgrade CPAN from 2.04-TRIAL to 2.05-TRIAL

-fwrapv is broken prior to gcc-4.3 (googled and patched by Zefram)

gcc 4.9 by default does some optimizations that break perl (#121505)

Patch by Tony Cook

PERL_GLOBAL_STRUCT threads issue

A test in op/threads.t roughly equivalent to this:

    use threads;
    sub f {};
    async \&f;

was randomly failing smokes under the combination of PERL_GLOBAL_STRUCT and
ASan.

This is due to the fact that, under PERL_GLOBAL_STRUCT, "global" vars
are actually allocated, and are freed as the very last thing before
exiting (later than perl_destruct()). In the code above, the created
thread is still exeecuting at this point, and so may access those "global"
vars.  ASan can detect that such a var is being accessed after being
freed; in this case due to PL_ppaddr being indexed in call_sv().

This is easily fixed using the PL_veto_cleanup mechanism; don't do those
final frees if there are still threads running.

perldelta updates

perldiag - Restore nitpick corrections

These were corrected in 4a70680af1 but then undone (presumably by
accident) in 727b63796f.

[perl #21442] on Win32, skip tests that won't work on FAT when on FAT

FAT doesn't support link() and its access time resolution is only to
the day.

[perl #21442] skip link() tests where the filesystem doesn't support them

[perl #21442] only check link() error codes where link() works

Skip the tests on non-NTFS.

[perl #21442] fix fs.t failures on Win32 FAT drive

See ticket for details. This commit does not fix all issues in #21442.

perldiag: Correct misstatement

It's not non-alphabetic characters that are discouraged; its the
characters X where \cX doesn't map to a control that are discouraged

tighten Storable's recognition of tied SVs

Since commit ff44333e5a9d9dca5272bb166df463607ebd3020, being RMAGICAL
and having tie magic is not sufficient to recognise an SV as tied.
When magic is turned off for mg_set(), the RMAGICAL flag is now left on,
so that vstrings will be recognised as such.  So Storable needs to check
whether the tie magic it sees is actually in effect, by also looking at
the GMAGICAL and SMAGICAL flags.

speed up miniperl require on Win32

These 3 optimizations reduce the number of, usually failing, I/O calls
for each "require" for miniperl only. None are appropriate except for
Win32. See #121119 for details.

nitpicks

Missed perldelta for 437e3a7 (for v5.19.8)

RT-121512 - Allow -I/dir/ with trailing slash to find .pmc files.

6b0bdd7f2041803dc3ec72b53d28052705861967 updated -I to not add a
trailing '/' if one was already present, but failed to update the
length of the resulting SV to account for the lack of another character.
This caused later checks based off of that length to fail (in this case,
seeing if the last 3 characters of the string are .pm).

bump version on debugger

add Hiroo Hayashi to AUTHORS

properly reset ReadLine's knowledge of handles after pager

[perl #121456]

Synchronise Carp with CPAN version 1.3301

Porting/acknowledgements.pl - Use correct quotes in perl command-line

File-Glob/t/basic.t: avoid race condition

Test 2 does a glob('*') in the t/ directory, and compares that with the
results of readdir('.'). If we're doing parallel testing, temporary files
and stuff may get created in t/, resulting in a race condition and
occasional random failures.

Fix this by chdir()ing to t/base/ first. The timestamp on this directory
on my system seems to indicate that nothing currently creates tmp files in
that dir, and given that these are basic tests, that's relatively unlikely
to change.

Correct typo in commit b38d7779bd

fix documentation of HeUTF8 return value

perl5182delta typo fixes

Escaping fix.

Missing full stop added.

RMG - Update note about adding new perldelta in BLEAD-FINAL/MAINT releases

Add pod/perl5182delta.pod

utf8: add tests for behavior change in v5.15.6-407-gc710240, and more

In v5.15.6-407-gc710240 Father Chrysostomos patched utf8::decode() so it
would call SvPV_force_nolen() on its argument. This meant that calling
utf8::decode() with a non-blessed non-overloaded reference would now
coerce the reference scalar to a string, i.e. before we'd do:

    $ ./perl -Ilib -MDevel::Peek -wle 'use strict; print $]; my $s = shift; my $s_ref = \$s; utf8::decode($s_ref); Dump $s_ref; print $$s_ref' ævar
    5.019011
    SV = IV(0x2579fd8) at 0x2579fe8
      REFCNT = 1
      FLAGS = (PADMY,ROK)
      RV = 0x25c33d8
      SV = PV(0x257ab08) at 0x25c33d8
        REFCNT = 2
        FLAGS = (PADMY,POK,pPOK)
        PV = 0x25a1338 "\303\246var"\0
        CUR = 5
        LEN = 16
    ævar

But after calling SvPV_force_nolen(sv) we'd instead do:

    $ ./perl -Ilib -MDevel::Peek -wle 'use strict; print $]; my $s = shift; my $s_ref = \$s; utf8::decode($s_ref); Dump $s_ref; print $$s_ref' ævar
    5.019011
    SV = PVIV(0x140e4b8) at 0x13e7fe8
      REFCNT = 1
      FLAGS = (PADMY,POK,pPOK)
      IV = 0
      PV = 0x140c578 "SCALAR(0x14313d8)"\0
      CUR = 17
      LEN = 24
    Can't use string ("SCALAR(0x14313d8)") as a SCALAR ref while "strict refs" in use at -e line 1.

I think this is arguably the right thing to do, we wouln't actually utf8
decode the containing scalar so this reveals bugs in code that passed
references to utf8::decode(), what you want is to do this instead:

    $ ./perl -CO -Ilib -MDevel::Peek -wle 'use strict; print $]; my $s = shift; my $s_ref = \$s; utf8::decode($$s_ref); Dump $s_ref; print $$s_ref' ævar
    5.019011
    SV = IV(0x1aa8fd8) at 0x1aa8fe8
      REFCNT = 1
      FLAGS = (PADMY,ROK)
      RV = 0x1af23d8
      SV = PV(0x1aa9b08) at 0x1af23d8
        REFCNT = 2
        FLAGS = (PADMY,POK,pPOK,UTF8)
        PV = 0x1ad0338 "\303\246var"\0 [UTF8 "\x{e6}var"]
        CUR = 5
        LEN = 16
    ævar

However I think we should be more consistent here, e.g. we'll die when
utf8::upgrade() gets passed a reference, but utf8::downgrade() just
passes it through. I'll file a bug for that separately.

Fix comments and pod that mention 5.20 erroneously

In certain places in the documentation, "5.20" is no longer applicable.
Also, a message referred to in perldiag got reworded, but our checks did
not catch that perldiag should have been updated.

Adjust conflicting documentation about \s vis-à-vis \cK

# New Ticket Created by  Thomas Sibley
# Please include the string:  [perl #121558]
# in the subject line of all future correspondence about this issue.
# <URL: https://rt.perl.org/Ticket/Display.html?id=121558 >

See attached patch against blead.

>From 84a704858995060ef78a39372ca7e2572c6141a3 Mon Sep 17 00:00:00 2001
From: Thomas Sibley <tsibley@cpan.org>
Date: Tue, 1 Apr 2014 13:49:26 -0700
Subject: [PATCH] =?UTF-8?q?Adjust=20conflicting=20documentation=20about=20?=
 =?UTF-8?q?\s=20vis-=C3=A0-vis=20\cK?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

It makes little sense to say that \s matches \cK unconditionally in the
same sentence as saying it matches \cK conditionally (>= Perl 5.18).

I suppose the intention could have been to specify the full char class
in the documentation from 5.18 onwards while still noting when that
change happened (the introducing commit, d28d802, was only on 5.17+),
but the sentence structure and convention in the rest of the document
suggests otherwise.

PATCH: [perl #119499] "$!" with UTF-8 flag

This disables the code that sets the UTF-8 flag when "$!" is UTF-8.
This is being done to get v5.20 out the door, with changes to follow in
v5.21.  See towards the end of the discussion of this ticket.

Unfortunately this change will cause #112208 to no longer be fixed.

PATCH: [perl 121317] Gconvert() obeys LC_NUMERIC without "use locale"

This reverts part of bc8ec7cc020d0562094a551b280fd3f32bf5eb04.
leaving LC_NUMERIC set to the C locale at start-up.  This allows the
tests for quite a few XS modules to pass, as they (and likely the
modules themselves) are expecting a dot as the decimal point character.
However,such modules remain vulnerable to explicit calls to setlocale()
by the Perl code or other modules,

See the ticket's discussion for ideas on how to fix this better in 5.21
going forward.

I did not add tests because this fix only affects XS code that is not in
the Perl API, and we don't have any infrastructure for testing that.
Building such infrastructure seems to me to be too much for the code
freeze situation we are in, and all this is planned to change very early
in v5.21 anyway.

perllocale: Nits

The hyperlink text looks wrong in html

perllocale: Note that $^E acts the same as $!

mg.c: Fix comment typo

missing word in perl5200delta.pod

I missed out "will" in
1ffb44d62eaa2f08535ed009ec13d81bfb7ad840

Reword Windows makefile comments to explain the "help" logic about USE_MULTI

There is logic to auto-enable USE_MULTI if either USE_ITHREADS or USE_IMP_SYS
(which both require USE_MULTI) are enabled, but this is not mentioned in
the comments. Explain it so that users don't get confused when trying to
disable USE_MULTI.

Reported in [perl #121494].

Start updating perldelta for 5.19.11

Commit b776cec188 missed these RMG steps when preparing Module::CoreList for 5.19.11

perldelta: /\C/ will be an error in 5.24

Update the recently added perldelta entry to say that /\C/ will become an
error rather than becoming equal to /./.

RMG - refer to BLEAD-POINT/BLEAD-FINAL releases for consistency and clarity

RMG - note that CPAN module upgrades are subject to code freeze restrictions

(As confirmed on p5p by RJBS on 24 March 2014.)

RMG - we no longer have UPSTREAM => 'undef' in Porting/Maintainers.pl

Maintainers.pl synchronised for CPAN release of ExtUtils-Install

fix killpg on Win32, to meet posix expectations for killpg

On Win32 Perls built without PERL_IMPLICIT_SYS, killpg from win32.c was
directly called by Perl_apply, yet killpg's return value had Win32
behavior, not POSIX behavior. Modify killpg token to have same meaning as
PerlProcKillpg/PerlProc_killpg has on PERL_IMPLICIT_SYS builds. Use a
macro rather than create a win32_killpg C function since win32_killpg would
be nothing but a call to win32_kill anyways. win32_kill contains the Win32
to POSIX semantics conversion code. Rename old killpg to my_killpg since
it has no use outside of win32.c. The psuedo-PID code in win32_kill also
played a factor in not writing a separate win32_killpg that calls
my_killpg. This fix is tested by kill0.t passing on
no-PERL_IMPLICIT_SYS builds.

[perl #121230]

perlrebackslash, perlreref.pod: White space only

Fit verbatim lines into 79 columns

Revert "Add support for test.valgrind parallel testing"

This reverts commit f0aff2daa44923f600f6e1f2429a2add2214a9d5
"Add support for test.valgrind parallel testing"

This patch was accidentally pushed (by me); it breaks some things.  We
will wait to add this support until after 5.20