perldelta - Wrap to 79 columns

perldelta - Document Module::Pluggable changes

Tweak the test from 35f7559499c4a614 to work with PERL_UNICODE set.

perldelta

Remove duplicate note about B::Concise, fix a typo and note that
Module-Pluggable is now upgraded.

Upgrade to Module-Pluggable 4.2

The core build process cannot use Build.PL since Module::Build and/or its
prerequisites may not have been built yet, so EXCLUDE that and retain our
(already CUSTOMIZED) Makefile.PL instead for now.

Add new Win32 test script to MANIFEST

The file was added by c3c06741ad.

Fix t/op/magic.t on Windows

These tests have been failing since they were added by 613c63b465, but
we can now fix them using new Win32 APIs.

perldelta - note changes in Win32 0.45

perldelta - note changes in Encode 2.47

Upgrade to Sys-Syslog 0.30

This now incorporates blead's customization of t/syslog.t. Also,
win32/PerlLog_RES.uu shouldn't be listed as EXCLUDED since it is
actually included!

Update to Win32-0.45 from CPAN

Update Encode to CPAN version 2.47

  [DELTA]

  $Revision: 2.47 $ $Date: 2012/08/15 05:36:16 $
  ! Encode.pm
    POD Fixes: Copyright and mail address
  ! Makefile.PL
    Added LICENSE => 'perl'
  ! lib/Encode/GSM0338.pm t/gsm0338.t
    REALLY fixed RT#75670: Wrong decoding for GSM 3.38 character \x09
    ucm/gsm0338.ucm is dropped from MANIFEST since 2.25
    but I was fixing the wrong file!
    https://rt.cpan.org/Ticket/Display.html?id=75670

Add Joaquin Ferrero to AUTHORS

perlvar.pod, line 1337, bad filehandle

perldelta for 7ef30830/#114018

perldelta for 35f7559499, B::Concise dumping formats

perldelta for 2c658e55b, no formats after comp errors

perldelta for format parsing fixes

perldelta for ee23553f1b7 & c782dc1db597

perldelta for f32c7e864b6: recursive formats

perldelta for 9a71543479/#78550

perldelta for cae5dbbe30b

perldelta for 3207fc6be29

perldelta for #114222: use constant {()}

Test initial tick in sub declaration

Allow test_bootstrap.t to run from the top level

pad.c apidocs: Missing fullstop

fix a comment: this tests perl #91852 not 91850

noted by mauke (James Rustle) in #p5p

Upgrade to Pod-Simple 3.23

Missed other typo in README.cygwin

Yes, it was on the same line as the other one.

Eagle-eyed Jerry Hedden spotted that one.

Update perldelta to describe changes in all module upgrades so far

Correct a typo in README.cygwin

Also changed the current version of Cygwin to 1.7.16 and changed
a 'disencouraged' to 'discouraged'. There were both uses in the
document this at least makes the use consistent.

Document new diagnostic message added by d903973c05

Tidy up comments and formatting in d903973c05

fix RT#88840, don't terminate a child fork psuedo process in DLL Loader Lock

TerminateThread will terminate a thread but leaks all resources
of that thread, and all locks will never be released, as documented in MSDN.
There is no alternative to locks not being released that I see, but atleast
-e "if ($pid=fork){kill(9,$pid)} else {sleep 5}"
in fork.t won't deadlock with this patch since win32_start_child be reached before
TerminateThread happens. The 5 ms timeout can be increased if problems
arise in the future. The HWND of the child is delivered by win32_start_child
very early, before any perl bytecode is executed, therefore the delay is
keeping in spirit with a kill 9. In any case, if the child thread fails
to schedule, (a DllMain in DLL_THREAD_ATTACH of some DLL in the process
deadlocks or does very long (over 5 ms right now) sync IO), the parent interp
will bail out.

Document that newCONSTSUB{,_flags} takes ownership of a reference to the SV.

Also note the collusion between op_const_cv() and cv_clone(), whereby the
former returns a fresh copy of the SV to the latter, which is then immediately
passed to newCONSTSUB.

XS::APItest::newCONSTSUB was not handling SV reference counts correctly.

newCONSTSUB() and newCONSTSUB_flags() take ownership of (one reference to)
the passed-in SV. As the XS wrapper is passing in a SV taken from the stack,
it needs to up the reference count by one in order to avoid later bugs.

Use ALIAS to provide XS::APItest::newCONSTSUB and newCONSTSUB_flags

Previously both C routines were wrapped with newCONSTSUB_type, which used a
"type" parameter to determine which C code to call. Use an ALIAS to bind the
code to two names, and eliminate the "type" parameter.

This makes the test code clearer. It's not perfect, as the XS wrapper
XS::APItest::newCONSTSUB has a flags parameter whereas the underlying C code
does not, but fixing this would require considerably more XS hackery.

Clean up temporary test file in Search-Dict test

Need to untie before unlink on Windows.

Regenerate test data for porting/customized.t

More tweaks to Maintainers.pl

- One CGI test is currently customized
- Nine Text::Balanced tests are currently customized
- One Test::Harness test is currently customized and another is renamed,
requiring a MAP; plus all the module version numbers are bumped
- Getopt::Long doesn't require a MAP

I have requested new CPAN versions of various CPAN distros that are
currently customized with changes which should be merged back upstream
with a view to getting them back in sync as they are intended to be.
Namely: CGI, Sys-Syslog, Test-Harness, Text-Balanced and Text-Tabs+Wrap.

Insert missing words into SvPV_force* documentation

Fix broken links in perldelta

Clearly, I need to be more vigilant about running porting/*.t before
pushing things which I'm sure couldn't possibly break anything...

Minor perldelta changes

including wrapping lines to 79 columns in the template pod.

Begin editing perldelta for 5.17.3

Add list of modules upgraded so far, plus a few tidy-ups.

Bump $Win32CORE::VERSION

The .c file was changed by 2e94d7323a.

Mark missing CPAN distribution files as EXCLUDED from the core

All tests and test data are already excluded, and I don't think
cpan-mirrors belongs in the perl core either.

Better description for Pod::Find.

skip failing leak test under -Dmad

a test for a leaky regex introduced by d97935e0 leaks under MAD:
because it uses eval, and eval leaks under MAD.
So skip it in this case.

Update Encode to CPAN version 2.46

  [DELTA]

  $Revision: 2.46 $ $Date: 2012/08/12 05:49:30 $
  ! Encode.pm
    Fixed: RT#78917 for I18N-Charset: Fails with Encode 2.45
    To be more exact, 2.45 broke Encode->encodings(':all')
    https://rt.cpan.org/Ticket/Bug/Display.html?id=78917

Update Module-Load-Conditional to CPAN version 0.54

  [DELTA]

  Changes for 0.54    Sun Aug 12 09:10:13 BST 2012
  =================================================
  * VMS test fixes from Craig Berry

Sync Module-CoreList version with CPAN

mktables: Rebuild if local Makefile has changed

Normally, mktables is called from the Makefile at the base level.  But
during development, it may manually be called from the directory (and
hence that directory's Makefile).  This patch causes it to rebuild if
that Makefile changes.

perlre: Nits

This fixes some grammar ("either" legally should refer to only a
dual-valued option set) and removes unnecessary distracting detail.

regcomp.c: Optimization not valid for Latin Sharp S

The regex optimizer optimizes some quantifier expressions into simpler
versions.  It turns out that these optimizations don't work on a
quantified, folded LATIN SMALL LETTER SHARP S under /d.  This is due to
the size differential of the fold from the source.

This commit omits the optimization if this circumstance occurs anywhere
in the regex prior to the determination of whether to optimize or not.
I tried adding a parameter to study_chunk() to indicate more locally if
the optimization should be excluded or not; but my first attempt did not
fix the bug, and I chose to not pursue that line.  This character is so
abnormal that it's probably best anyway to be overly cautious when
confronted with it.

regcomp.c: Extract duplicate code to common function

Comments warned about keeping the two code sections in sync; this commit
takes the portions that are identical and makes a common function out of
them, so the synchronization becomes automatic.

regcomp.c: Make sure counter same in passes 1 and 2

The number of elements was not being incremented in pass 1, whereas that
number is needed later on in pass 1.  This did not cause a
bug, as currently, in pass 1 we care only if the count is 1 or not, and
this occurred only in a case where it would get incremented properly to
more than 1 anyway.  But this is a potential bug that should be
squelched before it happens.

regcomp.c: Comments only

The diffs will show more than this, as a block of comments was moved and
revised

regcomp.c: Use old paradigm in dealing with flags recursively

In a recursive call to reg(), instead of passing our flags pointer, pass
a new one and upon return or in that result with the existing one.  I
can see why this should be done, as you don't want to lose what you
already have, as reg() will start by resetting it to 0.  I don't know
why one ands it with the known flags, but I'm presuming there is a
reason, and so am copying the paradigm.  I searched the commit messages
and didn't find anything.  No tests failed, and I didn't figure out a
test that would fail.

regcomp.c: Create NOTHING node when would have been 0 length EXACT

It's peculiar circumstances indeed that would get to this point in the
code with an EXACT node to be created, but nothing to populate it with.
Perhaps it is impossible; I'm not sure.  But commit
5f820f894e71b6970a5aa0fd763a84b647fd628a changed the behavior, which I
discovered in later re-reading the code.  Probably the node would be
populated with a single NUL.  Just in case it is possible to get here
under these peculiar circumstances, this commit adds code to handle the
case, with a NOTHING node instead of a 0 length EXACT.

regcomp.c: Set flags when optimizing a [char class]

A bracketed character class containing a single Latin1-range character
has long been optimized into an EXACT node.  Also, flags are set to
include SIMPLE.  However, EXACT nodes containing code points that are
different when encoded under UTF-8 versus not UTF-8 should not be marked
simple.

To fix this, the address of the flags parameter is now passed to
regclass(), the function that parses bracketed character classes, which
now sets it appropriately.  The unconditional setting of SIMPLE that was
always done in the code after calling regclass() has been removed.

In addition, the setting of the flags for EXACT nodes has been pushed
into the common function that populates them.

regclass() will also now increment the naughtiness count if optimized to
a node that normally does that.  I do not understand this heuristic
behavior very well, and could not come up with a test case for it;
experimentation revealed that there are no test cases in our test suite
for which naughtiness makes any difference at all.

regcomp.c: change pattern to utf8 if needed in \N{}

This patch is in preparation for future patches that will no longer
always make any pattern that contains \N{} be encoded in UTF-8.  Thus
this patch doesn't actually change anything, but enables future ones.

re/re_tests: Correct Todo test

This test was not doing what it purported to test.  It should show that
a /[s\xDF]/i would not match 'ss', because the 's' is seen in the class,
and not the \xDF (which matches 'ss' under /i) in the appropriate
strings

re.pm: Nits in pod

This has clarifications, grammar changes, and reflowing to fit into 79
columns

Add some tests for [\N{}]

Upgrade Compress-Raw-Zlib to 2.056

pp_require thread safety for VMS.

When we translate path names of required modules into Unix format,
we haven't (recently) been using the optional second argument to
the translation routines,[1] an argument that supplies a buffer for
the translation.  That causes them to use a static buffer. Which
means that if two or more different threads are doing a require
operation at the same time, they will be blindly sharing the same
buffer.

So allocate buffers as we need them and make them mortal so they
will go away at the next state transition.

[1] Use of an automatic variable for the buffer was removed way
back in 46fc3d4c69a0ad.

OptreeCheck.pm: typo

coreamp: Fix test; correct test name

toke.c: Remove unnecessary assignment

S_scan_formline never needs to do PL_bufptr = s, because it returns s,
and all the code paths that follow the one spot that calls it them-
selves assign s to PL_bufptr.

toke.c: Set PL_lex_state less when scanning formats

This (in yylex) is the only code that calls scan_formline:

    case LEX_FORMLINE:
PL_lex_state = PL_parser->form_lex_state;
s = scan_formline(PL_bufptr);
if (!PL_lex_formbrack)
{
    formbrack = 1;
    goto rightbracket;
}
PL_bufptr = s;
return yylex();
    }

It is only reached when PL_lex_state is LEX_FORMLINE.  scan_formline
itself does not even look at PL_lex_state.  It does set it, though,
unless it has reached the end of the format (setting PL_lex_formbrack
to 0) or the end of input.

This means we end up flipping it back and forth between two values.

We don’t have to set PL_lex_state before scan_formline() at all.  Hav-
ing scan_formline only set it when it does not need to be LEX_FORMLINE
simplifies things, resulting in less code and fewer assignments.

toke.c: One less token for missing format args

In commit 705fe0e5f8a, when I made the parser understand format syntax
itself, I had to add special handling for a terminating dot where for-
mat arguments were expected:

format =
@
.

The parser expects every format argument line to look like this:

formarg : /* NULL */
{ $$ = NULL; }
| FORMLBRACK stmtseq FORMRBRACK
{ $$ = op_unscope($2); }
;

When the line break is encountered after the @, the FORMLBRACK token
is emitted, and the lexer switches into ‘normal’ (as opposed to for-
mat picture) mode.  When the final dot is encountered, since the
FORMLBRACK has already been emitted, the lexer has to conjure up a
FORMRBRACK as well, to avoid a syntax error.

I had it producing a semicolon before the FORMRBRACK, but that is not
necessary, because stmtseq can be null.  So this commit removes it.

Deparse multiple stmts in format line correctly

They were being output on separate lines, resulting in the second
statement being treated as a format picture, etc.  This affected
cases like this:

format =
@
$x; $y
.

B::Concise: Two unused vars

One was made unnecessary by 35f7559499.  The other was added by
35f7559499 and never used.  I forgot to clean up once I had things
working.

Fix command-line argument quoting in Porting/cmpVERSION.pl

Windows, NetWare and VMS want double-quotes, other OSes want single quotes.

Florian Ragwitz is scheduled for 5.17.4, Sep 20

bump $VERSION for Porting/Maintainers.pm to placate cmp_version.t

7f58bf11 is the first modification of Porting/Maintainers.pm since the
last release, hence cmp_version.t complains.

Fix interpretation of empty list of EXCLUDED files in Maintainers.pl

All files in a distro were wrongly reported as CPAN only if EXCLUDED was
given as []. Fixed that, but really there is no need to specify EXCLUDED
as [] anyway.

Blead no longer customizes Test-Harness's t/testargs.t

The customization added by 6359c64336 was incorporated into Test-Harness
3.24.

pod/perlpodstyle.pod is not customized for blead

The file lives in pod/ rather than cpan/podlators/pod/ but that is already
catered for by the MAP entry. The file contents are identical so there is
no need for a CUSTOMIZED entry, the presence of which causes core-cpan-diff
to complain that blead customizations are missing.

Blead no longer customizes autodie's t/open.t

The customization added by 4b074b7191 was incorporated into autodie 2.11.

Newlines in a runperl() prog cause trouble so use progfile instead

This fixes "Format not terminated at -e line 2, at end of line" errors
on Windows (at least) coming from the new tests added by commit 35f7559499.

Remove spurious instruction to bump the perl version number from the RMG

Commit 30f926b5f1 moved version bump instructions from the start to the end
of the BLEAD-POINT release instructions, but it also left behind an
instruction in-between ("...if you didn't do it earlier...") which it
should have deleted, leaving the document looking like two version bumps
are required for a monthly blead release.

buildtoc is no longer the thing

Following these instructions failed, so I checked with Nicholas, whom
I knew had done some work on this stuff in the last year.  He suggested
this change, which worked out.

add Module::CoreList data for 5.16.1

This does not include a version bump, since one will be made for the
5.17.3 release anyway, and for being a big rewrite of the data backend,
and probably for other reasons.

add perl-5.16.1 to perlhist

add the 5.16.1 perldelta

add epigraphs for 5.16.1

and fix some whitespace on 5.16.0

Don't write Windows EOLs in CoreList.(pm|pod) when updating them on Windows

Don't write Windows EOLs in MANIFEST when sorting it on Windows

Upgrade Module-Build to 0.4002

Upgrade Encode to 2.45

Upgrade to Time-Local 1.2300

Files are already up to date, but Maintainers.pl is not.

Upgrade Module-Metadata to 1.000010

Upgrade Module-Load-Conditional to 0.52

[perl #114018] Let eval close over stale vars in active sub

See also commit cae5dbbe30.

These two lines should never produce different values:

    print $x, "\n";
    print eval '$x', "\n";

But they were producing different values if $x happened to have the
tale flag set.  Even if my in false conditional is not supported (this
was the cause of the bug report), it should still work; and it is
not the only way to get a stale lexical in an active sub (just the
easiest way).

As long as the sub containing the eval is active, the eval should be
able to see the same variables, stale or not.

However, this does get a bit tricky in cases like this, which legiti-
mately warn (from t/lib/warnings/pad):

{
    my $x = 1;
    $y = \$x; # force abandonment rather than clear-in-place at scope exit
    sub f2 { eval '$x' }
}
f2();

In this case the f2 sub does not explicitly close over the $x, so by
the time the eval is reached the ‘right’ $x is gone.

It is only in those cases where the sub containing the eval has
the stale variable in its own pad that we can safely ignore the
stale flag.

B::Concise: Document formats

Don’t let format arguments ‘leak out’ of formline

When parsing formats, the lexer invents tokens to feed to the parser.

So when the lexer dissects this:

format =
@<<<< @>>>>
$foo, $bar, $baz
.

The parser actually sees this (the parser knows that = . is like { }):

format =
; formline "@<<<< @>>>>\n", $foo, $bar, $baz;
.

The lexer makes no effort to make sure that the argument line is con-
tained within formline’s arguments.  To make

{ do_stuff; $foo, bar }

work, the lexer supplies a ‘do’ before the block, if it is
inside a format.

This means that

$a, $b; $c, $d

feeds ($a, $b) to formline, wheras

{ $a, $b; $c, $d }

feeds ($c, $d) to formline.  It also has various other
strange effects:

This script prints "# 0" as I would expect:

print "# ";
format =
@
(0 and die)
.
write

This one, locking parentheses, dies because ‘and’ has low precedence:

print "# ";
format =
@
0 and die
.
write

This does not work:

my $day = "Wed";
format =
@<<<<<<<<<<
({qw[ Sun 0 Mon 1 Tue 2 Wed 3 Thu 4 Fri 5 Sat 6 ]}->{$day})
.
write

You have to do this:

my $day = "Wed";
format =
@<<<<<<<<<<
({my %d = qw[ Sun 0 Mon 1 Tue 2 Wed 3 Thu 4 Fri 5 Sat 6 ]; \%d}->{$day})
.
write

which is very strange and shouldn’t even be valid syntax.

This does not work, because ‘no’ is not allowed in an expression:

use strict;
$::foo = "bar"
format =
@<<<<<<<<<<<
no strict; $foo
.
write;

Putting a block around it makes it work.  Putting a semicolon before
‘no’ stop it from being a syntax error, but it silently does the
wrong thing.

I thought I could fix all these by putting an implicit do { ... }
around the argument line and removing the special-casing for an open-
ing brace, allowing anonymous hashrefs to work in formats, such
that this:

format =
@<<<< @>>>>
$foo, $bar, $baz
.

would turn into this:

format =
; formline "@<<<< @>>>>\n", do { $foo, $bar, $baz; };
.

But that will lead to madness like this ‘working’:

format =
@
}+do{
.

It would also stop lexicals declared in one format line from being
visible in another.

So instead this commit starts being honest with the parser.  We still
have some ‘invented’ tokens, to indicate the start and end of a format
line, but now it is the parser itself that understands a sequence of
format lines, instead of being fed generated code.

So the example above is now presented to the parser like this:

format = ; FORMRBRACK
"@<<<< @>>>>\n" FORMLBRACK $foo, $bar, $baz ; FORMRBRACK
; .

Note about the semicolons:  The parser expects to see a semicolon at
the end of each statement.  So the lexer has to supply one before
FORMRBRACK.  The final dot goes through the same code that handles
closing braces, which generates a semicolon for the same reason.  It’s
easier to make the parser expect a semicolon before the final dot than
to change the } code in the lexer.  We use the } code for . because it
handles the internal variables that keep track of how many nested lev-
els there, what kind, etc.

The extra ;FORMRBRACK after the = is there also to keep the lexer sim-
ple (ahem).  When a newline is encountered during ‘normal’ (as opposed
to format picture) parsing inside a format, that’s when the semicolon
and FORMRBRACK are emitted.  (There was already a semicolon there
before this commit.  I have just added FORMRBRACK in the same spot.)

B::Concise: Dump formats upon request

B::Concise: Fix -nobanner

It was only working when B::Concise was passed a code ref.