perldelta for c70927a6ffc3ca

perldelta for #119161

perldelta for bf1b738b6/#118931

perldelta for d4a823b3

perldelta for d4a823b39

perldelta for bbfdc870/#118691

perldelta for ce0d59fdd1c/#7503,#118753

perldelta for 1b268608/#118753

perldelta for 4f62cd62/#118693

perldelta for 3a6ce63

perldelta for 25451ceff7

perldelta: missing fullstop

perl5200delta: Devel::NYTProf is fixed

5.06 works with bleadperl.

Reduce false positives for @hsh{$s} and @ary[$s] warnings

This resolves tickets #28380 and #114024.

Commit 95a31aad5 did something similar to this for the new %hash{...}
syntax.  This commit extends it to @ slices and combines the two
code paths.

The heuristics in toke.c can easily produce false positives.  So the
op is flagged as being a candidate for the warning.  Then when op.c
has the op tree available, it examines it to see whether the heuristic
may have been a false positive.

This avoids bugs with qw "foo bar baz" and sub calls triggering
the warning.

The source code is no longer available for the warning, so we recon-
struct it from the op tree, skipping the subscript if it is anything
other than a const op.

This means that @hash{$foo} comes out as @hash{...} and @hash{foo} as
@hash{"foo"}.  It also meeans that @hash{"]"} is displayed correctly
instead of as @hash{"].

Commit 95a31aad5 also modified the heuristic for %hash{...} to exempt
qw altogether.  But it did not exempt it if it was preceded by a tab.
So this commit rectifies that.

This commit also improves the false positive detection by exempting
any ops returning lists that can get past toke.c’s heuristic.  I went
through the entire list of ops, but I may have missed some.

Also, @ slices on the lhs of = are exempt, as they change the context
and are hence actually useful.

dump.c: Dump SLICEWARNING flag for kv[ah]slice, too

I accidentally omitted this in commit 95a31aad5.

Move ‘Scalar value better written as’ tests from toke to op

I am about to move the warning itself from toke.c to op.c.  Moving the
tests, too, makes them easier to find for future maintainters who see
it in op.c.

op.c: Factor out common varname code

Upgrade Encode from version 2.54 to 2.55

Remove a __BORLANDC__ stowaway

Support for __BORLANDC__ was axed (actually, chainsawed) in 378eeda70c.

Fix the VC6 build on Windows following commit 3be8f09452

The VC6 compiler has slightly flaky support for __int64 and chokes on util.c
when using the 64-bit implementation of drand48, so switch it to the 32-bit
version instead.

fix O_CREAT without O_TRUNC in cpan/autodie/t/utf8_open.t

Awaiting upstream application as [CPAN RT#87237].

Test kv slices in places that expect %{}

op.c:leave_scope: use mg_free before sv_force_normal

This is part of ticket #119295.

Commit 7fa949d (5.19.3) allowed copy-on-write with compile-time con-
stants.  That caused this to fail:

use Variable::OnDestruct:
{
 my $h = "foo";
 on_destruct $h, sub { warn defined $_[0] ? $_[0] : "undef" };
 $x++; # prev statement must not be last in the block
}

It prints undef instead of foo.

It turns out this is much older:

use Variable::OnDestruct;
{
 my $h = __PACKAGE__;
 on_destruct $h, sub { warn defined $_[0] ? $_[0] : "undef" };
 $x++; # prev statement must not be last in the block
}

This one prints undef starting with 5.17.3 (a6d7a4ac1).

But even before that, this prints undef:

use Variable::OnDestruct;
{
 my $h = \1;
 on_destruct $h, sub { warn defined $_[0] ? $_[0] : "undef" };
 $x++; # prev statement must not be last in the block
}

In all these cases, the scalar is getting undefined before free magic
triggers (Variable::OnDestruct uses free magic).

Usually when a scalar is freed, the magic is triggered before anything
else.  When a lexical scalar is ‘freed’ on scope exit (cleared for
reuse on scope entry), the order is different.  References, globs and
copy-on-write scalars become undefined (via sv_force_normal) before
magic is triggered.

There is no reason for the order to be different here, and it causes
unpredictable behaviour (you never know when you will or will not have
a cow).  So change the order in scope exit to match regular freeing.

#ifdef DEBUGGING, not QDEBUGGING, in regcomp.c

[Merge] Key/value hash and array slices

Document the %hash{$scalar} warning

Fewer false positives for %hash{$scalar} warning

Instead of warning in the lexer, flag the op and then warn in op.c,
when the op tree is available, so we don’t end up warning for actual
lists or for sub calls.

Also, only warn in scalar context, as in list context $hash{$scalar}
and %hash{$scalar} do different things.

In op.c we no longer have easy access to the source code, so recon-
struct the hash/array access based on the op tree.  This means
%hash{foo} becomes %hash{"foo"}.  We only reconstruct constant keys,
so %hash{++$x} becomes %hash{...}.  This also corrects erroneous
dumps, like %hash{"} for %hash{"}"}.

Instead of triggering the warning solely based on the op tree, we
still keep the heuristic in toke.c, so that common workarounds for
that warning (e.g., {q<key>} and {("key")}) continue to work.

The heuristic in toke.c is tweaked to avoid warning for qw().

In a future commit I plan to extend this to the existing @array[0] and
@hash{key} warnings, to avoid false positives.

pp.c: Allow 64-bit stack offsets in kv[ah]slice

Improve new slice docs in perldata.pod

perldata.pod: Capitalise =head3 consistently

perldata.pod: consistent spaces after dots

pp.c:pp_kvhslice: remove unused var

Increase $B::Deparse::VERSION to 1.23

Increase $Opcode::VERSION to 1.26

Add new opcodes to Opcode.pm

Sort MANIFEST

Use diag_listed_as two suppress two diag.t failures

Add two missing perldiag entries

Hard-code op name in ck_exists|delete errors

The reason is manifold:
• ck_exists and ck_delete are each only ever called with one op type,
  so we can hard-code the op, which takes less code.
• The messages in perldiag are more helpful if they include
  the op name.
• Changing them in op.c too avoids the need for
  diag_listed_as clutter.

(I know, two of these are not listed in perldiag yet.  I’m get-
ting to that.)

Suppress a warning in kvhslice.t

The bugginess of the ‘Scalar value better written as...’ warning
applies to %new{silce} syntax, too.

update manifest

short documentation for key/value hash/array slices

test index/value array slices

test key/value hash slices

index/value array slice operation

kvaslice operator that imlements %a[0,2,4] syntax which
result in list of index/value pairs. Implemented in
consistency with "key/value hash slice" operator.

scalar value %x{'a'} better written as $x{'a'}

key/value hash slice operation

kvhslice operator that implements %h{1,2,3,4} syntax which
returns list of key value pairs rather than just values
(regular slices).

Move BmUSEFUL to the IV slot from the NV slot, simplifying union _xnvu.

This change is made possible by commit 8922e4382e9c1488 (June 2013), which
eliminated BmPREVIOUS, which had been using the IV slot.

Preserve undef identity in const ops

This fixes the one remaining issue in ticket #105906.

Under ithreads, the constants are transferred to the pad at compile
time.  Since the pads are AVs, and since AVs used &PL_sv_undef to rep-
resent unused slots, &PL_sv_undef could not be stored in the pad, and
so was copied.

That meant the same constant would produce a different scalar at each
call site:

$  ./perl -Ilib -le 'BEGIN { $::{z} = \undef }  for(z,z) { print \$_ }'
SCALAR(0x7fecb38062e0)
SCALAR(0x7fecb3806100)

Commit ce0d59f changed the way AVs work, so now we *can* store
&PL_sv_undef in an AV meaningfully, and there is no longer any need
for this copying hack.

convert mktables to parent.pm instead of base.pm

perldelta for e7ab04ce5

[perl #115928] use a consistent internal rand on all platforms

[perl #115928] we don't use drand48_r or random_r any longer

Removing this should mean that metaconfig will remove the units from
the built Configure

[perl #115928] Configure now selects our internal drand48()

revert config_h.SH changes, now handled by Configure

[perl #115928] a consistent (public) rand() implementation

Based on Yves's random branch work.

This version makes the new random number visible to external modules,
for example, List::Util's XS shuffle() implementation.

I've also added a 64-bit implementation when HAS_QUAD is true, this
should be significantly faster, even on 32-bit CPUs.  This is intended to
produce exactly the same sequence as the original implementation.

The original version of this commit retained the "freebsd" name from
Yves's original work for the function and data structure names.  I've
removed "freebsd" from most function names so the name isn't an issue
if we choose to replace the implementation,

perlreapi: use parent in example, not base

overload tests: use parent instead of base

XS-Typemap tests: use parent instead of base

B: use parent instead of base

Pod::Html: use parent instead of base

Hash::Util::FieldHash: use parent instead of base

FileCache: use parent instead of base

Allow semi-colon on TYPEMAP: line to work without it on the closing delim.

This means:

TYPEMAP: <<FOO;
Something T_IV
FOO

will now work.

perldelta - IO and File::Find have been upgraded

Upgrade perlfaq from version 5.0150043 to 5.0150044

File::Find: diagnostics in case of a failed chdir

perldiag: Rewrap an entry for better splain output

Correct the citation for Peter McIlroy's sorting paper.

Also update John P. Linderman's e-mail address.

Update John P. Linderman's e-mail address in AUTHORS.

Upgrade autodie from version 2.20 to 2.21

One change pushed upstream has been assimilated, the other not yet.

SADAHIRO confirms that Unicode::(Collate|Normalize) can be UPSTREAM=>'cpan'

Upgrade Module::Metadata from version 1.000017 to 1.000018

The taint.t test can now be included since it no longer uses Test::Fatal.

EXCLUDE Module-Metadata's t/taint.t: we don't have Test::Fatal in core

Upgrade Perl-OSType from version 1.004 to 1.005

Upgrade Module::Metadata from version 1.000016 to 1.000017

[perl #88814] sigdispatch.t work on openbsd 5.2

perlapi: Add doc for my_strlcpy, my_strlcat

regcomp.c: Use Perl_form() instead of buggy sprintf

Commit 4cabb89a737018190d4e09360a6615e19160709f introduced tests
which include trying to look up a Unicode property whose name
is an upper Latin-range character.  This caused errors and a segfault
on some but not all patforms.  It also turns out that the error is in
some locales but not others.

The problem was there all along, and this commit merely exposed it; and
the bug is in the libc sprintf() for those platforms, which was used
to create the look-up property name.  This version of sprintf() turns
out to be locale-sensitive, and in a UTF-8 locale, it refuses to format
a %s that isn't valid UTF-8.  My guess is that sprintf and printf share
implementation, and such sensitivity may be warranted for printf, but
certainly not for sprintf.  It is undocumented behavior.  And it is
incorrect UTF-8 handling even if one were to output UTF-8 only.  The
reason for that is any malformed text should be turned into the
REPLACEMENT CHARACTER, not just skipped over.  This is a potential
security hole in in this sprintf() version.

The solution I ended up for Perl is to replace the sprintf() with
Perl_form().  I also looked at my_strlcpy() and friends.  Neither one is
as convenient as the buggy sprintf.  Feel free to replace this with
something better.

Use separate macros for byte vs uv Unicode

This removes a macro not yet even in a development release, and splits
its calls into two classes: those where the input is a byte; and those
where it can be any unsigned integer.  The byte implementation avoids a
function call on EBCDIC platforms.

[perl #118091] Split gv_fetchpvn_flags into smaller functions

gv.c: Split part of find_default_stash into gv_is_in_main.

gv_is_in_main() checks if an unqualified identifier is in the main::
stash.

gv.c: Rename magicalize_gv into gv_magicalize, make it more specific.

Namely, gv_magicalize no longer stores the GV into the stash, which
is gv_fetchpvn_flags' job.

gv.c, gv_fetchpvn_flags: Split another chunk of magic-checking code.

This bit is called when a GV already exists, but it's name is length-one
and it's on the main:: stash, so it might have multiple kinds of magic,
like $! and %!, or @+ and %+.

gv.c, gv_fetchpvn_flags: Comments for when the glob already exists.

gv.c: Explain the purpose of the <none>:: stash a bit.

It's primarily a historical oddity. Its main purpose is to store
variables after an exception from 'use strict "vars"':

    eval q{ use strict; $foo = 1 };
    warn keys %{"<none>::"};

gv_fetchpvn_flags: Simplify some warnings code

This line originally checked isLEXWARN_on and had two different code
paths depending on that -- one of which called ckWARN(), which already
checks for isLEXWARN_off, so rather than doing duplicate work, we
just call ckWARN().

gv.c: Move the code that magicalizes new globs into magicalize_gv().

gv.c: Begin splitting gv_fetchpvn_flags into smaller helper functions.

This commit takes a chunk of code out of gv_fetchpvn_flags and
turns it into two fuctions: parse_gv_stash_name and find_default_stash.

release schedule: placeholders for the future

perldiag: Fix severity of Unicode mapping warning

The "does not map to Unicode" warning severity was incorrect.  It is
not fatal and can be controlled with the "utf8" category.

Oops, the HTTP::Tiny upgrade was 0.034->0.035, not 0.34->0.35

Upgrade HTTP::Tiny from version 0.34 o 0.35

EXCLUDE t/00-compile.t, which has been rewritten and no longer works in
core. (Other t/00-compile.t files from the same CPAN author are already
EXCLUDED.)

Fix Windows compilation failure introduced by 946095af78

Patch taken from
Message-ID: <CA+nL+nad64D8hegnphMLnkLLR6dvcAj1X4eqV3CofMg=xdyu_Q@mail.gmail.com>

Added release manager test for copyright year

Test that README and perl -v copyright years match

Enhance runperl doc to mention its return value

[Merge] Make regexp error messages utf8-clean

Make the "Switch condition not recognized" error message UTF-8 clean

t/re/reg_mesg.t: Tests for latin1 error messages/warnings