Disambiguate map { }

Mention Porting/sync-with-cpan

Add Porting/sync-with-cpan

It helps if you actually commit the changes you make. :(

Script to help out upgrading a cpan/ distro.

This one is not complete yet, and its portability can be much improved.
But it helps me out right now, and it wouldn't be fair to keep it all to
myself.

Upgrade Locale-Codes to 3.21

stop S_forget_pmop() SEGVing

Commit 5bec93be re-purposed the SvMAGIC field of hashes being freed, on
the grounds that (a) any magic had been freed, (b) the refcnt was zero, so
no-one else could mess with the hash.

Unfortunately in the non-threaded case, PMOPs for m?? regexes have a
non-refcounted link back to their stash. When the stash is freed, any subs
in the stash are freed, which frees the PMOPs, which then see the freed
stash, and assume it still has magic because SvMAGIC is non-null.

The quick fix is to check the SvMAGICAL flags first; a longer term fix
would be to avoid the weak ref (e.g. by always using the threaded variant
of PmopSTASH, which stores the stash's *name* rather than a pointer to the
stash).

Merge branch 'blead' of ssh://perl5.git.perl.org/gitroot/perl into blead

Exclude perlcritic.rc files.

Listed perlcritic.rc in the @IGNORABLE array of Porting/Maintainers.pl,
and removed the files from the new cpan/CPAN-Meta and cpan/HTTP-Tiny distros.

List the new files that came with the upgrade of CPAN-Meta

Ran zlib2ansi script against zlib-src/ to fix K&R-isms

Upgrade HTTP::Tiny to 0.017.

Upgrade cpan/CPAN-Meta to 2.120630

Some files in cpan/Compress-Raw-Zlib have the x bit set.

Fixes type in commit 14c554185

In commit 14c554185, I updated the version of the wrong distro in
Porting/Maintainers.pl. This fixes this error.

Merge branch 'blead' of ssh://perl5.git.perl.org/gitroot/perl into blead

Upgrade Compress::Raw::Zlib to 2.051.

Upgrade Compress-Raw-Bzip2 to version 2.049.

load Algorithm::Diff later in corelist-perldelta

corelist-perldelta.pl is a bit schizophrenic. The part to generate the
new Perldelta text does not need Algorithm::Diff, but wants to be
run with the freshly built Perl. Ideally, the two usages get
clarified and split up into two separate programs. The added documentation
tries to give two helpful usages of the program.

avoid some long-line errors in podcheck of Term-Readline

new patch for Term::ReadLine event loop support

  https://rt.perl.org/rt3/Ticket/Display.html?id=108470

This is more work from Darin McBride and Rocco Caputo to get the event
loop code offered earlier working, tested, and documented.

Upgrade cpan/Archive-Tar to 1.84

Upgrade Archive-Extract to 0.60

make the pod2html tests work with fs with vols

  my $cwd = Cwd::cwd();
  my $new_dir  = catdir $cwd, "t";
  my $infile   = catfile $new_dir, "$podfile.pod";

Prior to these changes, we were getting the volume from $cwd, above, and
then basically ignoring it.  When the cwd was c:\foo, ignoring the
volume in the catdir/catfile operations would munge things to C:\foo,
which meant that later a native check of path prefix would fail:
C:\foo is not a prefix of c:\foo\bar because of the case difference in
the volume name.

The is a legitimate fix, but the code is still problematic in other
places because (a) it tends to do path operations with no consideration
for volumes and (b) it has at least one place where it decides whether
path X is below path Y by using substr/index instead of path checking
routines.

Sisyphus's fix for pod2html

perldelta for die propgation fix

[rt #111654] properly propgate tainted errors

A magic value (such as a tainted string) may not have POK set, so call
SvPV() to find out if there's something in ERRSV to report.

Possibly this should be using SvPV_nomg(), but this is the first
request for magic in this code.  Maybe the code above should be
calling SvGETMAGIC() before checking SvROK().

[rt #111654] TODO test for tainted die propagation

Document the updated version of Pod::Simple

Upgrade Pod-Simple to 3.20. This should fix issue 111520.

sdbm.c: fix off-by-one access to global ".dir"

Detected by clang -faddress-sanitizer.

The bug came in 081f72ad6fa2b76e0b3cd9046371b2dbd9130114, where
we started calculating lengths with sizeof on string constants
instead of using strlen.  Since string constants include the null
byte, sizeof(".dir"), for example, is 5, but we've been copying 6
bytes.

This patch resolves [perl #111586] and includes revisions by the
committer.

regen pod issues

perlvar: Fix long lines

Also, make all indented code start with a four-space indent.  Before
this it was inconsistent throughout.

Dear perlvar: ${^WARNING_BITS} was added in 5.6

perlvar: Document ${^WARNING_BITS} better

Don’t refer people to warnings.pm for more information, as it
contains no more information about this variable.

Explain the scoping and also mention that the values are
considered internal.

Stop warning hint-checking from doing bad reads

Setting ${^WARNING_BITS} should not allow perl to read past the end of
a mallocked buffer.  Previously the internal warning buffer would be
copied straight from ${^WARNING_BITS}, so a short value assigned to
that variable would cause the internal warning-checking code to read
past the end of the buffer (probably not in actual practice, due to
malloc’s rounding up, but theoretically).  Now, the buffer that is
allocated for storing the warning bits is padded with nulls to make it
long enough to prevent bad reads.

The stored length is still the same as what was assigned to
${^WARNING_BITS}, so that the value that comes out of it is the same
length (UTF8-ness aside)--not that it makes much difference in prac-
tice though, since only warnings.pm should care about this.

This came up as part of perl #111500.

Porting/bisect.pl: Typos in diag msg

fix warning in test.pl diagnostics output.

2f137bbd018b assumed that $name is always defined, but it isn't
always, and when it's not the resulting undefined value warning
could corrupt test output and even make TODO tests trigger failure
with "unexpected output at test 0."

fix typo in src comment

pods: Note future deprecation of unescaped "{"

perllexwarn: Fix typos

begin filling the 5.16.0 delta from 5.15.8

This is largely a copy and paste job.

another bus ride worth of collected delta editing

omnibus perl5160delta editing mess

Omnibus not because it does all the editing, but because I did it
while riding the bus.

The preliminary editing is about 10% done.  Once things are better
pruned and in their place, I will go through to edit the prose.

fix slowdown in nested hash freeing

Commit 104d7b69 made sv_clear free hashes iteratively rather than recursively;
however, my code didn't record the current hash index when freeing a
nested hash, which made the code go quadratic when freeing a large hash
with inner hashes, e.g.:

    my $r; $r->{$_} = { a => 1 } for 1..10_0000;

This was noticeable on such things as CPAN.pm being very slow to exit.

This commit fixes this by squirrelling away the old hash index in the
now-unused SvMAGIC field of the hash being freed.

clarify that Apr 1 is not a hard RC0 date

replace bogus non-ASCII dashlike char with -

This was presumably brought in when I foolishly copied and pasted
the output from a version of groff that was over-eager to promote
"ugly" ASCII characters to "beautiful" non-ASCII ones.

fix documentation for exec's warning behavior

This should self-consistently and correctly identify when exec
will warn.

[ commit message rewritten by rjbs ]

Grammar and clarity fixes for exists() in pod/perlfunc.pod

# New Ticket Created by  "Pau Amma"
# Please include the string:  [perl #111470]
# in the subject line of all future correspondence about this issue.
# <URL: https://rt.perl.org:443/rt3/Ticket/Display.html?id=111470 >

See subject for suitable commit message

TODO Failing tests for warnings in utf8 subcategories

regcomp.sym: Fix out-dated description

As a result of commit fab2782b37b5570d7f8f8065fd7d18621117ed49
the description is no longer valid.  This node type is trieable.

rework how the trie logic handles the newer EXACT nodetypes

This cleans up and simplifies and extends how the trie
logic interacts with the new node types. This change ultimately
makes the EXACTFU, EXACTFU_SS, EXACTFU_NO_TRIE (renamed to
EXACTFU_TRICKYFOLD) work properly with the trie engine regardless
of whether the string is utf8 or latin1.

This patch depends on the following:

    EXACT              => utf8 or "binary" text

    EXACTFU            => either pre-folded utf8, or latin1 that has to be folded as though it was utf8
    EXACTFU_SS         => special case of EXACTFU to handle \xDF/ss (affects latin1 treatment)
    EXACTFU_TRICKYFOLD => special case of EXACTFU to handle tricky non-latin1 fold rules

    EXACTF             => "old style fold logic" untriable nodetype
    EXACTFA            => (currently) untriable nodetype
    EXACTFL            => (currently) untriable nodetype

See the comments in regcomp.sym for these fold types.

This patch involves a number of distinct, but related parts. Starting
from compilation:

* Simplify how we detect a triable sequence given the new nodetypes,
  this also probably fixed some "bugs" in how we detected certain
  sequences, like /||foo|bar/.

* Simplify how we read EXACTFU nodes under utf8 by removing the now
  redundant folding logic (EXACTFU nodes under utf8 are prefolded).
  Also extend this logic to handle latin1 patterns properly (in
  conjunction with  other changes)

* Part of the problems associated with EXACTFU_SS and EXACTFU_TRICKYFOLD
  have to do with how the trie logic interacts with the minlen logic.
  This change handles both by pessimising the minlen when encounting
  these nodetypes. One observation is that the minlen logic is basically
  broken, and works only because it conflates bytes and codepoints in
  such a way that we more or less always get a value small enough that things work out
  anyway. Fixing that is properly is the job of another patch.

* Part of the problem of doing folding under unicode rules is that
  there are a lot of foldings possible, some with strange rules. This
  means that the bitmap logic does not work correctly in all cases,
  as we currently do not have any way to populate it properly.
  So this patch disables the bitmap entirely when folding is involved
  until that is fixed.

The end result of this is: we can TRIE/AHOCORASICK any sequence of
EXACT, or EXACTFU (ish) nodes, regardless of utf8 or not, but we disable
the bitmap when folding.

A note for follow up relating to this patch is that the way EXACTFU_XXX
nodes are currently dealt with we wont build the "maximal" trie because
of their presence, instead creating a "jumptrie" consisting of either a
leading EXACTFU node followed by a EXACTFU_XXX node, or vice versa. We
should eventually address that.

make test.pl show test number and name in failure diagnostics output

The old output would show only the line number as diagnostics
but not the test number, nor the test name, which often contains
very useful information. This patch makes sure this is visible in
the diagnostics output of test failures.

Sync Module-CoreList version in Maintainers.pl with CPAN

add "get rt.perl permissions" to RMG

update release schedule for next releasers

Added Dave Rolsky and Max Maischein to the KEEPERS OF THE PUMPKIN.

attributes.pm: Consistent spaces after dots in pod

attributes.pm: Add caveat about lvalue subs

[perl #107366] Allow attributes to set :lvalue on defined sub

This provides enough rope for those who want to hang themselves, and
also for those who know how to use the rope without hanging them-
selves. :-)

Since this is not generally a reliable thing to be doing, a warning is emitted whenever :lvalue is turned on or off on a defined subroutine.

But attributes.pm will flip the flag anyway.  :lvalue in a sub declar-
ation still refuses to modify a defined Perl sub, as before.

Add ambs to Maintainers.pl for ExtUtils::CBuilder

Stop the indexer from processing private modules

perldata: Two spaces after dots, please

Explain why program must close __DATA__ handle.

Adapted from suggestion by David Golden++.  For RT #37033.

Bump Pod::Html version.

Portability tweaks to Pod::Html's cache.t.

We need to unixify the current working directory since we're going
to be comparing to the pod root that has been unixified internally
in Pod::Html.

Also clean up all versions of the generated files.

Better cross-platform unixify for Pod::Html.

This is mostly borrowed from CPANPLUS with additional tweaks to
handle corner cases presented by the Pod::Html tests.  It seems
to work on VMS, Windows, and Mac OS X.

Also tweak _save_page to make the call to ab2rel more robust in
the case wherethe base is a special string indicating the current
working directory ('./', '[]', or '.\') rather than a literal path.

Different differences for Pod::Html tests.

Windows has FC (file compare), VMS has DIFFERENCES, and Linux is
certainly not the only OS that can do unified diff.

regcomp.c: Add comment

regcomp.c: Add comment, reorder #define more logically

re/pat.t: Remove obsolete comment

(?foo:...) loses passed in charset

This commit looks for the passed-in charset, and overrides it only if it
is /d and the pattern requires /u.  Previously the passed-in value was
ignored.

Patch [perl #111400] [:upper:] broken for above Latin1

This was an off-by-one error caused by my failing to realize that things
had to be done differently at the 255/256 boundary depending on whether
U+00FF matched or did not match the property.

Two properties were affected, [:upper:] and [:punct:].  The bug was that
all code points above the first one > 255 that legitimately matches the
property will match whether or not they should.  In the case of
[:upper:], this meant that effectively anything from 256..infinity
matched.  For [:punct:], it was anything above U+037D.

Corion's release is done. Check him off

av_fetch: de-duplicate small bit of code

make the code slightly smaller by changing

    if (A)
return X;
    if (B)
return X;

into
    `
    if (A || B)
return X;

Merge the fixes for RT #37033 into blead.

The parser should always close the file handle that it opened.

Previously it would leave the file handle open if it was (equal to) stdin,
on the assumption that this must have been because no script name was
supplied on the interpreter command line, so the interpreter was defaulting
to reading the script from standard input.

However, if the program has closed STDIN, then the next file handle opened
(for any reason) will have file descriptor 0. So in this situation, the
handle that require opened to read the module would be mistaken for the above
situation and left open. Effectively, this leaked a file handle.

This is now fixed, by explicitly tracking from parser creation time whether
it should keep the file handle open, and only setting this flag when
defaulting to reading the main program from standard input. This resolves
RT #37033.

Move the close-on-exec logic to one place, at the end of S_open_script().

Now that the logic for stdin is implemented as an early return of NULL from
S_open_script(), in all cases that reach the end of S_open_script(), rsfp
is non-NULL, and a file handle that we wish to set to close on exec.

Change S_open_script() to return NULL to signal "read from stdin".

Move the logic to assign PerlIO_stdin() to rsfp from S_open_script() to its
only caller, S_parse_body().

In perl.c, change S_open_script() to return rsfp.

Previously it was being passed &rsfp as a parameter, because it was
returning another value, fdscript. However, the return value has been
ignored since commit cc69b689ee7c2745 removed suidperl in January 2009.

In struct yy_parser, change lex_flags to a U8, from part of a bitfield.

lex_flags holds 4 flag bits, with multiple flag bits manipulated together
at times, so they can't be split out into individual bitfields. This change
permits the C compiler to generate simpler code, reducing toke.o by about
400 bytes on this platform, but doesn't change the size of the structure.

lex_flags was added in commit 802a15e9c01d1a0b in August 2011, so is not in
any stable release.

Improve the tests for -x

Test the error message generated when -x can't find a "#!perl" line.
Test that this error message still appears when -x is used with -e.

Improve the tests for the -n and -p switches.

Verify that -p actually runs the code in the program body.
Verify that -n doesn't implicitly print out the contents of $_.
For both, verify that an END block runs after the implicit loop.

Simplify platform specific code in t/run/cloexec.t

Don't assign to two lexical variables, $Is_VMS and $Is_Win32, only to use
them immediately for the same purpose - to skip the entire test.
In turn, there's no need to conditionally set $quote to a value suitable for
VMS or Win32, when neither OS ever runs the test.

The code has been this way since the file was added by commit
742218b34f58f961 in Nov 2006. Hence I don't think that the vestigial $quote
logic corresponds to pre-commit version that did run on these platforms.
Instead I infer that it has come from t/op/exec.t, used as a template for
running sub-scripts in a portable fashion.

perldiag: Reflow for better splain output

Add an example how to fix '%s: command not found'

Increase $attributes::VERSION to 0.18

doco improvement for attributes.pm

It seems that many people have trouble understanding how to add custom
attributes to their subroutines.  Here's a doc patch that will
hopefully make things clearer:

Make CPAN upstream for File::Temp

It was set to undef, which meant it hadn’t been discussed.  In actuality,
it is actively maintained on CPAN.  See, for instance:

    https://rt.cpan.org/Ticket/Display.html?id=75077#txn-1038945

So this brings Maintainers.pl closer in line with reality.

Don’t ‘normalise’ hints for bare ‘no feature’

‘Normalise’ in this case means to set $^H to indicate that features
are in %^H (FEATURE_BUNDLE_CUSTOM) and to make %^H contain the current
feature set.

Since ‘no feature’ sets the default feature bundle in $^H, this is
unnecessary in that case.

regen/feature.pl: Show perl.h line num in error msg

perlfunc: bad wording

It is not features not in the current version, but those not in the
requested version, that are disabled.

arybase.xs: Wrap PL_check safely

Increase $arybase::VERSION to 0.05

don't taint $$ determined by getpid()

Reading $$ in a tainted expression was tainting the internal sv_setiv()
on $$.  Since the value being set came directly from getpid(), it's
always safe, so override the tainting there.  Fixes [perl #109688].

update perlfunc.html generator

The format of the individual function HTML files has changed.  The index
generator needs to update to successfully extract the NAME sections.
Fixes [perl #107870].

delay allocating trans table until needed

Previously, a table was being allocated for OP_TRANS(|R), in a
PVOP arrangement, as soon as the op was built.  However, it wasn't
used immediately, and for UTF8-flagged ops it would be thrown away,
replaced by an SV-based translation table in a SVOP or PADOP arrangement.
This mutation of the op structure occurred in pmtrans(), some time after
original op building.  If an error occurred before pmtrans(), requiring
the op to be freed, op_clear() would be misled by the UTF8 flags into
treating the PV as an SV or pad index, causing crashes in the latter
case [perl #102858].  op_clear() was implicitly assuming that pmtrans()
had been performed, due to lacking any explicit indication of the op's
state of construction.

Now, the PV table is allocated by pmtrans(), when it's actually going to
populate it.  The PV doesn't get allocated at all for UTF8-flagged ops.
Prior to pmtrans(), the op_pv/op_sv/op_padix field is all bits zero,
so there's no problem with freeing the op.

Update the link for Module-Build/core integration

mktables: Correct Unicode 6.1 omission

Unicode 6.1 erroneously omitted Takri as a script that uses two
characters, and have voted to publish the correction that this patch
makes.  There isn't an official Corrigendum yet.

correct a Pod foible that broke blead

Add description of new change process for dev.perl.org

Leo prefers now direct pull requests via Github.