Added release manager test for copyright year

Test that README and perl -v copyright years match

Enhance runperl doc to mention its return value

[Merge] Make regexp error messages utf8-clean

Make the "Switch condition not recognized" error message UTF-8 clean

t/re/reg_mesg.t: Tests for latin1 error messages/warnings

regcomp.c: Introduce vFAIL2utf8f to replace the APPLY(X,Y) hack

The APPLY() hack was added in the previous commit to get
vFAIL4("%"UTF8f, UTF8fARG(a,b,c)) working.  Without it,
vFAIL4 would complain about missing arguments, since it only
saw one, but if replaced with vFAIL2, then Simple_vFAIL2 would
complain about having too many arguments.

This commit introduces a vFAIL2utf8f macro that works around
this and enables us to remove the hack.

regcomp.c: Make all warnings and error messages UTF-8 clean

regcomp.c, S_compile_runtime_code: croak using the SVf format

This makes error messages from code like this:

    $f = "(?{q\0foo\0 + \x{FFFF}})";
    "a" =~ /^a$f/;

Be both UTF-8 and nul clean.

toke.c: "Unrecognized character" error shouldn't leak memory or mangle characters.

This error could've leaked memory if used within as eval, and could
cut off in the middle of a character, leaving worthless binary data
in the error message.

pp_ctl.c:pp_goto: Cast a boolean properly

Otherwise we might end up using AvARRAY on a tied array.

Remove PERL_MICRO where it is conditionally used with other defines

There are several cases where PERL_MICRO is used combined with defines
not set in uconfig.h, the additional test isn't needed.

Remove including config.h (and co) in perlio.h

As far as I can tell this is entirely dead code.

Remove defining DIR* to void* on microperl

It's possible some older systems want sys/dir.h rather than dirent.h to
define DIR, however this is just a nasty workaround to the actual issue.

Use PERL_INT_MAX, this works in microperl

Simplify the conditional logic for COW_REFCNT in Devel::Peek's test.

Instead of having a comment on each COW_REFCNT line to skip the line on
earlier versions, move the skip into the existing code which skips the same
lines on current versions built without COW.

Fix Devel::Peek's tests when building with -DPERL_NO_COW

One test had a pattern with a (?:...)? construction split across two lines,
specifically enclosing the newline at the end of a line, and the line that
followed.

When perl is built with -DPERL_NO_COW or -DPERL_OLD_COPY_ON_WRITE the test's
do_test() driver routine would remove the second line, which included the
closing ')?', leaving a an invalid regex. The solution is to remove the
(?: )? completely, as the driver routine's line removal has the same intent
as the (?: )? construction.

perldelta - Two more module upgrades

Correct typos reported by Terry Speirs++.

For: RT #119673

Update EXCLUDED for CPAN-Meta-Requirements following 7cb95fb75d

rt119311.t: typo

Make &xsub and goto &xsub work with tied @_

This is the only place where tied @_ does not work, and there appears
to be no reason why it shouldn’t, apart from the fact that it hasn’t
been implemented.

Commit 67955e0c was what made &xsub work to begin with.  93965878572
introduced tied arrays and added the comment to pp_entersub saying
that @_ is not tiable.

goto &xsub has worked since perl 5.000, but 93965878572 did not make
it work with tied arrays.

Dumper.xs: Update comment

perl5200delta: 2 modules fixed; one misspelt

ExtUtils::Command has been synchronised to CPAN

Upgrade Parse::CPAN::Meta from version 1.4405 to 1.4407

Upgrade ExtUtils::CBuilder from version 0.280210 to 0.280212

Upgrade CPAN::Meta from version 2.132140 to 2.132510

Sort the list of IGNORABLES in Porting/Maintainers.pl

Add mods from #119433 to perl5200delta

perlio.c: misuse of SvPV_nolen_const

SvPV_nolen_const takes only one argument and does not return
a length.

Fix buffer overflow with overlong identifiers

This was introduced by commit 32833930e32dc in 5.17.10.

$  ./perl -Ilib -e Foooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
Identifier too long at -e line 1.
Segmentation fault: 11

(That was an amusing use of macro parentheses for the while condition,
at least while it lasted.)

Fix -DP output

broken by b66f3475d343.

$ ./perl -Ilib -DP
Screamer: entering, ptr=140185618803200, cnt=0
Screamer: entering: PerlIO * thinks ptr=140185618803200, cnt=%z, base=0
Screamer: going to getc, ptr=140185618803200, cnt=%z
^C

The format is %zd, not %z.

Don’t let reblessing point SvSTASH to a half-freed stash

We should set SvSTASH before calling SvREFCNT_dec on its old value,
otherwise we could free the old stash and trigger a DESTROY that sees
the object blessed into the half-freed stash.

Currently, a second call to bless inside DESTROY can trigger ‘Attempt
to free unreferenced scalar’, because it calls SvREFCNT_dec a second
time on the stash that already has a reference count of 0.

Fix assertion failure with -DT -e\"

$ ./perl -DT -e\"
Assertion failed: (s), function S_printbuf, file toke.c, line 479.
Abort trap: 6

[perl #117265] fix various problems with safesyscalls

- handling "" overloading correctly
- avoid an extraneous warning from glob()

[perl #117265] move the "glob failed" warning to the point of failure

This avoids an extraneous warning when globbing fails for other reasons.

[perl #117265] do most glob \0 checks in the same place

and before we do much processing

[perl #117265] correctly handle overloaded strings

[perl #117265] TODO tests for overloading issues

Fix line numbers with #! -d:foo and PERL5DB=$'\n'

Commit 2179133 inadvertently stopped the PERL5DB env var from being
truncated just before the first line break.  (I’m considering that
a bug fix.)

The result is that #!perl -d:foo will throw the line numbers off by
one, as will line breaks in PERL5DB:

$ PERL5DB='sub DB::DB{}'$'\n\n\n''' ./perl -dle 'warn "ok"'
ok at -e line 4.

#!perl -d:foo has thrown off line numbers since f0e67a1d291 in 5.12.

This commit fixes both, by storing the line number of #! -d or the
number 0 for -d on the command line in the new PL_parser->preambling
member, which now overrides any number in PL_curcop.

Test line breaks in PERL5DB

$ PERL5DB='sub DB::DB{} die' perl5.18.1 -dle 'print "ok"'
Died.
$ PERL5DB='sub DB::DB{}
die' perl5.18.1 -dle 'print "ok"'
ok

So everything after the line break is ignored.

In bleadperl:

$ PERL5DB='sub DB::DB{} die' ./perl -dle 'print "ok"'
Died.
$ PERL5DB='sub DB::DB{}
die' ./perl -dle 'print "ok"'
Died at -e line 1.

Now the whole environment variable is used.  This was probably changed
by commit 2179133.

Let’s call it a bug fix and test it.

(The ‘at -e line 1’ is not right, but the next commit will fix it.)

op.c:newSTATEOP: remove unnecessary null check

If PL_parser is null, then the else block will crash on
PL_parser->copline.

ExtUtils::Manifest has been synchronised to CPAN

Revert "Let av_push accept NULL values"

This reverts commit 7b6e8075e45ebc684565efbe3ce7b70435f20c79.

It turns out to be problematic, because it causes NULLs on the stack,
which XSUBs may trip on.

My main reason for it was actually to try to resolve some CPAN
failures, but it turns out that other fixes have removed the
need for that.

Move herelines out of the lex_shared struct

Previously, the line number was localised in lexing scopes.  herelines
had to be in the lex_shared struct so that inner lexing scopes
could peek into values belonging to outer lexing scopes and set the
herelines value belonging to the same scope that a here-doc body was
extracted from.  (herelines records how much extra to increase the
line number at the next line ending, to jump over a here-doc.)

In commit ffdb8b167e, I changed things so that lexing scopes no longer
localised the line number, except for here-docs, and the line number
was incremented within the inner lexing scope, instead of during the
initial scan for the terminator.  That meant the herelines value had
to be copied into the inner lexing scope.

For nested here-docs, the inner here-doc’s body is always inside the
outer here-doc, so no peeking into outer scopes is necessary.

Hence, there is no longer any reason for herelines to be inside the
lex_shared struct.  We can put it directly inside the parser struct.
Here-docs will localise it.  Other quote-like constructs will not (and
can avoid the copy.)

Respect #line directives in here-docs

#line directives in here-docs used to be ignored after the heredoc:

<<END
${
#line 27
print __LINE__,"\n" # prints 27
}
END
; print __LINE__, "\n"; # prints 7

This commit changes that by recording in PL_multi_end the end of
the here-doc (more precisely, the last line of the body, before the
terminator) during the initial parse to find the terminator.  When
the body is parsed for double-quotish stuff, at the very end (in
sublex_done) the last line number is compared with the one recorded.
Any differences are applied to the current ‘herelines’ value, which
records how many line numbers need to be skipped when the line ending
after the here-doc marked (<<END) is reached.

It conflicts with a line number workaround in op.c, which hasn’t done
anything since I accidentally disabled it in 5.18.

Added in 0244c3a40, this code set the current line number to the end
of the here-doc when creating the substitution op for s//<<foo/e.
Before that, since the line number was localised to the lexing scope,
the new line number set by the here-doc would be undone when the s///
finished, throwing off all subsequent line numbers.

Commit 83944c0156 solved the problem of the line number for code after
the here-doc marker having the wrong line number (because the here-doc
parser would increase the line number by the number of lines in the
here-doc body straightaway).  It introduced the ‘herelines’ value,
recording how many lines the here-doc body contained, but without
updating the line number yet, so that code after the <<marker would
have the right line, but the next \n would increment the line number
by herelines+1.  That accidentally stopped PL_multi_end from having
the right value, disabling the line number code in op.c.  But the
other changes rendered that code unnecessary.

regcomp.c:current_re_engine: Avoid %^H lookup when possible

Modification of %^H sets a flag in PL_hints, so we can check
that flag to avoid the slight overhead of has lookup if %^H
has not been used.

Fix line numbers in <<foo,<<bar

This used to print 9:

<<foo, <<bar
a
b
c
d
e
f
g
foo
${warn __LINE__ }
bar

even though the __LINE__ marker is on line 10.  In perl 5.18, I broke
it further, making it print 2.

This commit makes it print 10.  We just need to make sure
PL_multi_start is set correctly in scan_heredoc for a second here-doc
marker on the same line.

toke.c: In sublex_push use multi_close to detect here-doc

It is a lot simpler this way.  scan_heredoc already sets PL_multi_close
to '<' (the only code that does it).  That value does not appear to
be used anywhere.  Now it is.

Furthermore, this removes assumptions that the next commit will
likely violate.

perldelta - More recent module upgrades

Data-Dumper/Dumper.pm: An EBCDIC fix

Change the range 0-7F to the portable equivalent [:ascii:]

Term::ReadLine has been synchronised to CPAN

Bump $Term::ReadLine::VERSION

Add Tokuhiro Matsuno to AUTHORS

added Term::ReadLine::EditLine support

Term::ReadLine has been synchronised to CPAN

Fix processing of PERL_ENV_TABLES.

In a35dcc95dd24524931e I "improved" string safety in vms/vms.c by
converting to my_strlcpy and my_strlcat, but mangled the length
argument to my_strlcat when adding the name of the logical name
table specified in PERL_ENV_TABLES. This caused the command string
to be truncated, so a command that, for example, should have been:

    $ Show Logical * /Table=LNM$JOB
    ...

actually became:

    $ Show Logical * /Table=
    %DCL-W-VALREQ, missing qualifier or keyword value - supply all required values

Plus it turns out the strings holding the names of the tables were
being stored in dynamic string descriptors and were not
NUL-terminated, but the strl* functions require NUL-terminated
arguments.  So change those to static string descriptors and
allocate the exact amount of storage needed including room for a
NUL.

This was a regression in 5.16.0, first reported a couple of days
ago by Mark Daniel on comp.os.vms:

Date: Fri, 06 Sep 2013 12:56:01 +0930
From: Mark Daniel <mark.daniel [AT] wasd.vsm.com.au>
Newsgroups: comp.os.vms
Message-ID: <52294b4a$0$2875$c3e8da3$76491128@news.astraweb.com>

TODO: Figure out how and where to test this.

Fix PerlIO_get_cnt and friends

These functions worked with ints instead of SSize_t,

Fix segfault in filehandle duplication

Previously PerlIOBase_dup didn't check if pushing the new layer succeeded
before (optionally) setting the utf8 flag. This could cause
segfaults-by-nullpointer.

Let av_push accept NULL values

Now that NULL is used for a nonexistent element, it is easy for XS
code to pass it to av_push().  av_store already accepts NULL, and
av_push already works with it on non-debugging builds, so there is
really no need for this restriction.

Stop Devel'Peek'Dump with no args from crashing

I accidentally broke this in commit xxxxxxxx (5.19.3).  The crash hap-
pened at compile time.

regcomp.c:S_concat_pat: Allow 64-bit array offsets

Make /@array/ handle nonexistent array elements

Commit ce0d59f changed AVs to use NULLs for nonexistent elements.

S_concat_pat in regcomp.c needs to account for that, to
avoid crashing.

Allow 64-bit array and stack offsets in entersub & goto

I don’t have enough memory to test this, but it needs to be done even-
tually anyway.

Stop &xsub and goto &xsub from crashing on undef *_

$ perl -e 'undef *_; &Internals::V'
Segmentation fault: 11
$ perl -e 'sub { undef *_; goto &Internals::V }->()'
$ perl5.18.1 -e 'sub { undef *_; goto &Internals::V }->()'
Segmentation fault: 11

The goto case is actually a regression from 5.16 (049bd5ffd62), as
goto used to ignore changes to *_.  (Fixing one bug uncovers another.)

We shouldn’t assume that GvAV(PL_defgv) (*_{ARRAY}) gives us anything.

While we’re at it, since we have to add extra checks anyway, use them
to speed up empty @_ in goto (by checking items, rather than arg).

Updated ExtUtils::CBuilder to 0.280210

perldelta - Note recent module upgrades

PATCH: [perl #119601] Bleadperl breaks ETHER/Devel-Declare

I will not otherwise mention that stealing .c code from the core is a
dangerous practice.

This is actually a bug in the module, which had been masked until now.
The first two parameters to utf8_to_uvchr_buf() are both U8*.  But  both
's' and PL_bufend are char*.  The 's' has a cast to U8* in the failing
line, but not PL_bufend.

Interestingly, the line in the official toke.c (introduced in 4b88fb76)
has always been right, so the stealer didn't copy it correctly.

What de69f3af3 did was turn this former function call into a macro that
manipulates the parameters and calls another function, thereby removing
a layer of function call overhead.  The manipulation involves
subtracting 's' from PL_bufend, and this fails to compile due to the
missing cast on the latter parameter.

The problem goes away if the macro casts both parameters to U8*, and
that is what this commit does.

Remove Configure hints for the old AT&T 3b1.

I am unaware of any successful builds since the 5.005 era.

pp_goto: document the different branches

Te various different forms of goto (and dump) take different branches
through this big function. Document which branches handle which variants.
Also document the use of OPf_SPECIAL in OP_DUMP.

Update ExtUtils-MakeMaker to CPAN version 6.76

  [DELTA]

6.76 Fri Sep  6 13:32:42 BST 2013

    No changes from 6.75_04

6.75_04 Thu Sep  5 12:07:59 BST 2013
    Bug fixes:
    * Sanitise make on MSWin32 when reporting Makefile type

6.75_03 Tue Sep  3 00:24:23 BST 2013
    New features:
    * Added RECURSIVE_TEST_FILES attribute to 'test'
    * Report the type of Makefile being generated

    Bug fixes:
    * RT#17041 more sortification of hashes to Makefile

6.75_02 Sun Sep  1 21:50:48 BST 2013
    Bug fixes:
    * RT#49043 binmode STDIN breaks prompt() on MSWin32
    * RT#14505 Handle -Wl,-rpath correctly
    * RT#17041 Sort manification and copying events for perceptive
      cleanliness

6.75_01 Thu Aug 29 15:06:27 BST 2013
    New features:
    * Added NO_PERLLOCAL option to allow suppression of writing
      installs to perllocal.pod
    * Added NO_PACKLIST option to allow suppression of writing
      packlist files for installations

    Bug Fixes:
    * RT#32894 deal with legitimate linker flags correctly
    * RT#88222 check that Time::HiRes has 'stat' before using it

    Doc Fixes:
    * RT#87350 Document DLEXT parameter (sisyphus)

Update README copyright to 2013

For RT #119625.

Put AV defelem creation code in one place

Use defelems for (goto) &xsub calls

Before ce0d59f:

$ perl -e '++$#_; &utf8::encode'
Modification of a read-only value attempted at -e line 1.

As of ce0d59f:

$ ./perl -Ilib -e '++$#_; &utf8::encode'
Assertion failed: (sv), function Perl_sv_utf8_encode, file sv.c, line 3581.
Abort trap: 6

Calling sub { utf8::encode($_[0]) } should be more or less equivalent
to calling utf8::encode, but it is not in this case:

$ ./perl -Ilib -we '++$#_; &{sub { utf8::encode($_[0]) }}'
Use of uninitialized value in subroutine entry at -e line 1.

In the first two examples above, an implementation detail is leaking
through.  What you are seeing is not the array element, but a place-
holder that indicates an element that has not been assigned to yet.

We should use defelem magic so that what the XSUB assigns to will cre-
ate an array element (as happens with utf8::encode($_[0])).

All of the above applies to goto &xsub as well.

pp_hot.c:pp_aelem: Use _NN in one spot

This av can never be null here.  av_len will already have failed an
assertion if it is.

Make pp_splice handle nonexistent array elements

Commit ce0d59f changed AVs to use NULLs for nonexistent elements.

pp_splice needs to take that into account and avoid pushing NULLs on
to the stack.

Update Time-Piece to CPAN version 1.23

  [DELTA]

  1.23      2013-09-06
        - add a LICENSE file (thanks, John Peacock!)
        - make sure Time::Seconds loads Exporter, which it relies on (thanks,
          GFUJI and TOKUHIROM!)
        - fix day of year parsing (like "%y%j") (thanks, Doug Wilson)

more Slavic intelligibility: added Bosnian to Serbian and Croatian

Bump $VERSION.

For: RT #72594

Stop autodie test from changing a file to stop Git whining about uncommitted changes

The patch has been sent upstream as CPAN#88444.

perldelta - Add note about DynaLoader change (commit 1e5d7f5401)

Locale::Codes has been upgraded from version 3.26 to 3.27

PATCH: Bump Locale-Codes from 3.26 to 3.27

I just released Locale-Codes-3.27 which contains the core modules
Locale::Country, Locale::Language, and Locale::Currency.  The patch is
attached here.

====
Background:

The core modules Locale::Country, Locale::Language, and
Locale::Currency(all part of the Locale-Codes distribution) should be
updated on aregular basis. They contain "codes" from various internet
standardswhich change over time.

I plan on releasing new versions at 4 times a year to keep the
codesup-to-date. At this point, I'm not planning on any significant
codechanges (other than bug fixes), so the only significant
changesbetween releases should be to update the codes.

>From 708ae6e6e8a6e839cb9510513b82ee95eec80260 Mon Sep 17 00:00:00 2001
From: Sullivan Beck <sbeck@cpan.org>
Date: Thu, 5 Sep 2013 09:12:04 -0400
Subject: [PATCH] Bump Locale-Codes from 3.26 to 3.27

Signed-off-by: Chris 'BinGOs' Williams <chris@bingosnet.co.uk>

Make perltodo.pod match other deleted documents

Have the title make clear it's now only a link to the to-do list.

Re-arrange the body content so the most useful thing — the link to the
current to-do list — is first and the history afterwards.

For RT #119615.

Add titles to deleted OO docs

Helpful somebody who encounters these documents or their titles realize
they contain links to where current information can be found.

For RT #119615, based on Father Chrysostomos's comment in RT #119571.

Add missing word

For RT #119615.

List deleted docs alphabetically

perlrepository was added at the end in 5edbc4ff, when I apparently failed
to notice the list was in alphabetical order.

For RT #119615.

Multiple commits in 1 attachment in Patch Guide

In the Super Quick Patch Guide, if a change involves multiple commits, put
them all in a single perlbug attachment.

Father Chrysostomos says it's easier like this, in a comment on
RT #119599.

It simplifies the instructions, and avoiding the need to mention mail
clients.

util.c:my_pclose: Use NULL in PL_fdpid

PL_fdpid is an AV, and as of ce0d59f AVs use NULL for nonexist-
ent elements.

Without using NULL for deleted elements of PL_fdpid, we end up with
pipes appearing to be open after they have actually been closed.

I don’t know how to write a test for this, but it makes
Proc::ParallelLoop pass its tests.

Update perlguts for the magic flags changes in 5.18

perlguts: Note that SvUTF8 is meaningful only after SvPV

perlguts: consistent spaces after dots

It was inconsistent throughout.

Update perlguts for NULL in AVs

Remove references to GNU DLD from Configure and config.sh scripts.

Specifically eliminated i_dld, a variable indicating that <dld.h> should be
included, and remove dld from the list of wanted libraries.

Remove support for GNU DLD in DynaLoader.

GNU DLD was a library that provided dynamic linking on a.out based systems.
The last release was in 1996, and it has been superseded by dlopen.

Move functions prematurely placed into mathoms back to utf8.c

These functions are still called by some CPAN-upstream modules, so can't
go into mathoms until those are fixed.  There are other changes needed
in these modules, so I'm deferring sending patching to their maintainers
until I know all the necessary changes.

regcomp.c: Don't use mathoms function

utf8n_to_uvuni() is on its way out.  Instead, this code knows that the
UTF-8 it is looking at is valid (having been already checked earlier in
the regex compilation process), so use valid_utf8_to_uvchr().  This
allows us to get rid of a flag variable.

perlapi: Remove newly obsolete statement

Since commit 010ab96b9b802bbf77168b5af384569e053cdb63, this function is
now longer a wrapper, so shouldn't be described as such.

When sending an email manually so it can have multiple patches, point out
that Mutt can construct the email for you.

Obviously this isn't as generally relevant as the rest of the Guide, since
patchers will use many different mail clients. But it's a significant boon
for those who do use Mutt, and a very short addition to the Guide.

Mutt is singled out simply because it has this functionality; I suspect
that most other widely used mail clients don't.

Committer: Removed trailing whitespace.  Applied patch manually because other
lines in the file had been rebroken and patch no longer applied cleanly.

For: RT #119599

Multiple commits in Super Quick Patch Guide

How to use perlbug when a change is a series of commits, not a single
commit.

This is the advice RJBS gave me over IRC. Including it in the guide should
avoid him having to repeat the advice to others.

Committer: Added single quotes around one keyboard command.

For: RT #119599