Add length and flags arguments to Perl_pad_add_name().

Currently only pad_add_STATE and pad_add_FAKE are used. The length is cross-
checked against strlen() on the pointer, but the intent is to re-work the entire
pad API to be UTF-8 aware, from the current situation of char * pointers only.

Add length and flags arguments to Perl_pad_check_dup().

Currently only pad_add_OUR is used. The length is cross-checked against
strlen() on the pointer, but the intent is to re-work the entire pad API to
be UTF-8 aware, from the current situation of char * pointers only.

Add length and flags arguments to Perl_allocmy().

Currently no flags bits are used, and the length is cross-checked against
strlen() on the pointer, but the intent is to re-work the entire pad API to
be UTF-8 aware, from the current situation of char * pointers only.

Fix warnings from win32 gcc compilers

More cleanup of utfebcdic.h and utf8.h

Attached is a patch that removes from utfebcdic.h most definitions that
are common to it and utf8.h, and moves them to the common area of
utf8.h.  The duplicate ones that are retained are each an integral part
of a larger related set that do differ between the headers.

Some of the definitions had started to drift, so this brings them back
into line, with a lowered possibility of future drift.  In particular
the ones for the 'lazy' macros did not do quite as intended, especially
in the EBCDIC case.  The bugs were a small performance hit only, in that
the macro was not quite as lazy as expected, and so loaded utf8_heavy.pl
possibly unnecessarily.  In examining these, I noted that the utf8.h
definition of the start byte of a utf8 encoded string accepts invalid
start bytes 0xC0 and 0xC1.  These are invalid because they are for
overlong encodings of ASCII code points.  One is not supposed to allow
these, and there have been security attacks, according to Wikipedia,
against code that does.  But I don't know all the ramifications for Perl
of changing to exclude these, so I left it alone, but added a comment
(and an item on my personal todo list to check into it).

I made some comment clarifications, and removed some definitions marked
as obsolete in utf8.h that are in fact no longer used.

I added some synonyms for existing macros that more clearly reflect the
use that I intend to put them to in future patches.

From ba581aa4db767e5531ec0c0efdea5de4e9b09921 Mon Sep 17 00:00:00 2001
From: Karl Williamson <khw@khw-desktop.(none)>
Date: Mon, 9 Nov 2009 08:38:24 -0700
Subject: [PATCH] Clean up utf headers

Signed-off-by: H.Merijn Brand <h.m.brand@xs4all.nl>

perl.exp was not built in time on systems that required it (AIX, ...)
and it always needed that, but re-ordering of targets has exposed that

In Perl_pad_check_dup(), use sv rather than name for diagnostics.

It already knows its length, and it will be UTF-8 clean in the future.

MANIFEST was missing two files

Update IPC::Cmd to cpan version 0.51_01

  Changes for 0.51_01 Sun Nov  8 22:36:33 GMT 2009
  =================================================
  * Apply patch from Petya Kohts, RT #50398, which adds
    run_forked()

Tweak the GV downgrading of f7461760 to avoid free or nearly freed GVs.

It's possible during global destruction that the GV is freed before the
optree. Whilst the SvREFCNT_inc is happy to bump from 0 to 1 on a freed SV,
the corresponding SvREFCNT_dec from 1 to 0 will trigger an assertion
failure, because the entry to sv_clear checks that the scalar is not already
freed.  A check of for !SvIS_FREED(gv) turns out to be invalid, because
during global destruction the reference count can be forced down to zero
(with SVf_BREAK set).  In which case raising to 1 and then dropping to 0
triggers cleanup before it should happen.  I *think* that this might
actually be a general, systematic, weakness of the whole idea of SVf_BREAK,
in that code *is* allowed to raise and lower references during global
destruction, so any *valid* code that happens to do this during global
destruction might well trigger premature cleanup.

SvREFCNT_inc already checks if the SV is non-NULL

SvREFCNT_dec already checks if the SV is non-NULL (continued)

'use strict' and 'use warnings' in test generated by h2xs

Bareword sub lookups

Attached is a patch that changes how the tokeniser looks up subroutines,
when they're referenced by a bareword, for prototype and const-sub
purposes.  Formerly, it has looked up bareword subs directly in the
package, which is contrary to the way the generated op tree looks up
the sub, via an rv2cv op.  The patch makes the tokeniser generate the
rv2cv op earlier, and dig around in that.

The motivation for this is to allow modules to hook the rv2cv op
creation, to affect the name->subroutine lookup process.  Currently,
such hooking affects op execution as intended, but everything goes wrong
with a bareword ref where the tokeniser looks at some unrelated CV,
or a blank space, in the package.  With the patch in place, an rv2cv
hook correctly affects the tokeniser and therefore the prototype-based
aspects of parsing.

The patch also changes ck_subr (which applies the argument context and
checking parts of prototype behaviour) to handle subs referenced by an
RV const op inside the rv2cv, where formerly it would only handle a gv
op inside the rv2cv.  This is to support the most likely kind of
modified rv2cv op.

The attached patch is the resulting revised version of the bareword
sub patch.  It incorporates the original patch (allowing rv2cv op
hookers to control prototype processing), the GV-downgrading addition,
and a mention in perldelta.

Make my_exit behave the same as the Perl exit. And add tests for it

Rationale: This makes the behaviour of my_exit consistent, so it no
longer depends on whether a subroutine was called using call_sv or as a
normal using an entersub op. Previously, the exit code was sometimes
converted to an exception.

Add assertions about there being no leftover scopes when enter perl_destruct.

pad_findmy APIification

Since Nicholas made pad_findmy() part of the public API
(f8f98e0a8bdbde83a9cdc3573d818f69d0a64c78), here's a consequential
change to XS::APItest::KeywordRPN.

Correctly document export of I18N::Langinfo

[perl #70303] I18N::Langinfo docs "nothing exported"

Merge branch 'blead' of ssh://perl5.git.perl.org/gitroot/perl into blead

s/AvLEN/AvMAX/ in perlguts

s/AvLEN/AvMAX/ in perlguts

Define specially handled chars; and clean-up ebcdic vs unicode

Add mingw-w64 non-crosscompiling config files

Files provided by Sisyphus with this comment: "Attached are the 2
addtional files that we need in the win32 folder. (I did a dos2unix on
them so, hopefully the line endings will be right.) These files are
needed to accommodate the particular 64-bit mingw compiler that
Strawberry Perl will be using. They'll actually be used as the default
64-bit mingw templates."

Skip some Pod::Simple tests on VMS that think case is always preserved.

Already in the upstream queue at:

https://rt.cpan.org/Ticket/Display.html?id=51184

note that release engineers need to make sure graham is aware of them

Add length and flags arguments to Perl_pad_findmy(), moving it to the public API.

Currently no flags bits are used, and the length is cross-checked against
strlen() on the pointer, but the intent is to re-work the entire pad API to be
UTF-8 aware, from the current situation of char * pointers only.

Placate a warning from Borland's compiler.

Merge commit 'origin/blead' into blead

Avoid circularity in $(LIBBASEFILES) definition in Win32 dmake makefile

C++ fail with KeywordRPN

A smoke using g++ has revealed:

>KeywordRPN.c: In function 'void XS_XS__APItest__KeywordRPN_import(CV*)':
>KeywordRPN.c:320: error: expected unqualified-id before 'class'
>KeywordRPN.c:320: error: expected initializer before 'class'
>KeywordRPN.c: In function 'void XS_XS__APItest__KeywordRPN_unimport(CV*)':
>KeywordRPN.c:357: error: expected unqualified-id before 'class'
>KeywordRPN.c:357: error: expected initializer before 'class'
>make[1]: *** [KeywordRPN.o] Error 1
>Unsuccessful make(ext/XS-APItest-KeywordRPN): code=512 at make_ext.pl line 449.
>make: *** [lib/auto/XS/APItest/KeywordRPN/KeywordRPN.so] Error 25

I used "class" as a variable name, but in C++ it's a keyword.  Patch
attached.  Someone should also add a note about C++ compatibility to
perlhack.pod.

-zefram

Signed-off-by: H.Merijn Brand <h.m.brand@xs4all.nl>

refine Carp caller() fix and add tests

Add legacy.pm to Maintainers

Merge branch 'legacy-pragma' into blead

Conflicts:
MANIFEST

bump Carp version number

Addded a pointer to the documentation on how Configure is maintained

Add a line directive to op.c and perl.c such that error messages refer to the original files insted of to the copied files perlmini.c and opmini.c

Add a "return NORMAL" to a DIE at the end of a function to prevent compiler warnings (the "return NORMAL"s are never reached).

Check to see if there was a body which needs freeing using the old_type instead of the arena flag, which is not set with PURIFY

Complete the fix for Win32 link following commits 88e1f1a and 406ca27

move JMPENV_JUMP to die_where and mark it as "noreturn"

Have Carp respect CORE::GLOBAL::caller if it exists

Carp frequently gets loaded very early, before tools that want to
override caller().  Previously, caller() was only in Carp::Heavy,
which was only loaded on demand (thus after any CORE::GLOBAL::caller
override).  This patch unbreaks anything expecting the old behavior.

Partially fix Win32 link following commit 88e1f1a

There is currently still a linker error about PL_keyword_plugin.

Describe how Configure patches should be done

Detection (and warning) of char size in bits

SvREFCNT_dec already checks if the SV is non-NULL

Mention git resources in header
Use $cpp instead of cpp

regen generated files changed by the previous patch -  facility to plug in syntax triggered by keywords

Implement facility to plug in syntax triggered by keywords

Date: Tue, 27 Oct 2009 01:29:40 +0000
From: Zefram <zefram@fysh.org>
To: perl5-porters@perl.org
Subject: bareword sub lookups

Attached is a patch that changes how the tokeniser looks up subroutines,
when they're referenced by a bareword, for prototype and const-sub
purposes.  Formerly, it has looked up bareword subs directly in the
package, which is contrary to the way the generated op tree looks up
the sub, via an rv2cv op.  The patch makes the tokeniser generate the
rv2cv op earlier, and dig around in that.

The motivation for this is to allow modules to hook the rv2cv op
creation, to affect the name->subroutine lookup process.  Currently,
such hooking affects op execution as intended, but everything goes wrong
with a bareword ref where the tokeniser looks at some unrelated CV,
or a blank space, in the package.  With the patch in place, an rv2cv
hook correctly affects the tokeniser and therefore the prototype-based
aspects of parsing.

The patch also changes ck_subr (which applies the argument context and
checking parts of prototype behaviour) to handle subs referenced by an
RV const op inside the rv2cv, where formerly it would only handle a gv
op inside the rv2cv.  This is to support the most likely kind of modified
rv2cv op.

[This commit includes the Makefile.PL for XS-APITest-KeywordRPN missing
from the original patch, as well as updates to perldiag.pod and a
MANIFEST sort]

Updated CPANPLUS::Dist::Build to cpan version 0.41_01

Updated CPANPLUS to cpan version 0.89_07

Document qr overloading in perldelta

Deprecate use of := to mean an empty attribute list in my $pi := 4;

An accident of Perl's parser meant that my $pi := 4; was parsed as an empty
attribute list. Empty attribute lists are ignored, hence the above is
equivalent to my $pi = 4; However, the fact that it is currently valid syntax
means that := cannot be used as new token, without silently changing the
meaning of existing code.

Hence it is now deprecated, so that it can subsequently be removed, allowing
the possibility of := to be used as a new token with new semantics.

[PATCH] [perl #20321] Non-destructive Perl_av_make

Don't let sv_setsv swipe temps in av_make, since the source array
might have multiple references to the same temp scalar (e.g. from
a list slice).

Slow down split in scalar context :-)

Here’s a patch to include the bug number in the test script.

And 68971 can be resolved, too. Sorry for the duplicate!

Signed-off-by: H.Merijn Brand <h.m.brand@xs4all.nl>

S_utf16_textfilter() was not returning EOF correctly in some situations.

Tweak the filename regexp in parser.t so that ./TEST -utf16 op/parser.t passes.

Remove Perl_pmflag() from the public API, and mark it as deprecated.

regcomp.c stopped using it before 5.10, leaving only toke.c. The only code on
CPAN that uses it is copies of regcomp.c. Replace it with a static function,
with a cleaner interface.

Improvements to qr-overload tests

- Fix test for error message
- Add negative test cases
- Remove unneeded evals

Bump overload.pm's VERSION (plus some spelling nits)

Documentation for the 'qr' overload.

Implement the 'qr' overload type.

If this is defined, it will be called instead of stringification
whenever an object is used as a regexp or interpolated into a regexp.
This will fall back to stringification even without C<fallback => 1>,
for compatibility.

An overloaded 'qr' must return either a REGEXP or a ref to a REGEXP
(such as created by qr//). Any further overloading on the return value
will be ignored.

Add a new overload type, "qr".

Use of SV* instead of message, msglen, utf8 to contain error message

Revert "Re: [perl #38809][PATCH] loss of stack elements with a do block inside a return"

This reverts commit 60aa6a1aa894dd62b8194841a6d6c80c15079dba.

Re: [perl #38809][PATCH] loss of stack elements with a do block inside a return

[PATCH] Todo test for [perl #38133] (was: [regex] backref problem with quantified groups)

This patch was modified to work with the updated file locations.

[PATCH] extra tests for t/op/tie.t (was RE: [perl #53482] I believe I found a bug with Readonly::XS that might actually be a guts bug.)

Adds additional tests with undef for smartmatch.

Updated plan count missing in the original patch.

Add assertion to JMPENV_POP to assert that the jumplevel popped is the top level jumplevel

[perl #69875] Slow down split in scalar context :-)

The patch to speed up split in scalar context broke Font::GlyphNames,
because it stops scalar(@array = split) from working. The attached
patch fixes this, and ineluctably slows it down slightly.

(Patch amended by replacing the 2nd GIMME_V macro call by the gimme
variable)

Improve warnings about known issues in (?{...}) blocks in the regex engine

remove all references to patching.pod

Refer to perlrepository.pod instead of patching.pod

Fix another reference to the now-gone patching.pod

Remove obsolete details on how to format a patch. Just point to perlrepository instead.

Clarify relationship of pattern modifiers and named subpatterns

Updated ExtUtils::CBuilder to 0.27

0.27 - Thu Oct 29 21:29:56 EDT 2009

 Other:
 - Removed Build.PL to avoid creating a circular dependency
 - Added version numbers to Windows compiler driver modules

0.26_05 - Sun Oct 25 17:29:02 EDT 2009

 Bugs fixed:
 - Fixed t/02link.t failures on cygwin with Perl 5.8 [David Golden]

 Other:
 - Made have_compiler (and have_cplusplus) quiet without echoing
   the test command to STDOUT [David Golden]

0.26_04 - Mon Oct 19 21:57:46 EDT 2009

 Enhancements:
 - Added 'have_cplusplus()' method to check for C++ support
 - Added patches for building Perl with mingw64 [Sisyphus]
 - Allow CC environment variable to override $Config{cc}

 Bugs fixed:
 - Fixed link executable command for Win32 MSVC (RT#40819) [Cosimo
   Streppone]
 - Removed MSVC version check when embedding a manifest file
   (RT #43002) [Steve Hay]

 Other:
 - Split Windows compiler driver packages into individual *.pm files

Propagate LDLIBPTH into run_tests - Fixes 5.12 blocker [perl #70057]

I'm leaving the bug open as it sounds like there's a better fix that
could go into Configure that Andy mentioned wanting to make. But I'm
removing the 5.12 blocking nature of the bug;

[PATCH] perlcommunity.pod: add information about OSDC.fr

Allow syswrite with offset same as length of string [perl #70095]

You are not really outside of the string then, but the effect will
always be a noop since the number of bytes written will be capped
to not exceed the length of the string as for other offsets.

Update CPANPLUS to cpan version 0.89_06

  Changes for 0.89_06     Thu Oct 29 14:55:25 2009
  ================================================
  * Fool the installer into replacing our scripts that were installed
    by core with versiononly set.
  * Handle PREREQS being mentioned twice in Makefile. Use _vcmp()
    to compare the versions, take the highest.

Remove unused variable

remove unnecessary (always true) condition in S_vdie

Update Module::Load::Conditional to cpan version 0.34

  Changes for 0.34    Thu Oct 29 09:22:48 GMT 2009
  =================================================
  * Remove DOS line endings from test files RT#50926
    reported by Steve Hay

Convert all Pod::Simple files to Unix line endings.

In response to Steve Hay's report in
[RT #50922](https://rt.cpan.org/Ticket/Display.html?id=50922).

Bump Exporter's version in blead after last patch

Test exported arrays and hashes without using defined()

Add missing files

Bring Pod::Simple up to 3.09 as on CPAN.

$#array should be accepted as a lvalue sub return value.

The OPpMAYBE_LVSUB flag wasn't set for OP_AV2ARYLEN, but the
new implementation of pp_av2arylen introduced by the previous
patch was relying on it. So, now, set this flag. Also add tests for
STORESIZE.

Avoid adding magic with rvalue $#a

Update CPANPLUS to cpan version 0.89_05

  Changes for 0.89_05     Tue Oct 27 09:24:55 2009
  ================================================
  * Change the way editing config files is called. This fixes RT #50832,
    reported by Dave Golden
  * Issue a warning in the shell if we are on MSWin32, don't have IPC::Run
    installed and are writing a log file.
  * Apply several patches from Alexandr Ciornii (CHORNY) RT #48636 that
    add toolchain versions listing to tester reports.

Better wording for the hash ~~ array docs

(suggested by Aristotle Pagaltzis -- see [perl #69957])

add an elipses to string/ref warnings when str longer than 32 chars

Wasted a few minutes more than necessary trying to work out why the
string was truncated when in fact it was the error message that was
truncating the string.

refine the documentation for deleting branches and altering history

Hashed out a prose description of the (largely existing) branching and topic branch policy.

Wrote down the existing "no, don't mess with blead's history, bozo"
setup

mg.c uses a fixed NGROUPS contant

# New Ticket Created by  casper.dik@sun.com
# Please include the string:  [perl #69977]
# in the subject line of all future correspondence about this issue.
# <URL: http://rt.perl.org/rt3/Ticket/Display.html?id=69977 >

This is a bug report for perl from casper.dik@sun.com,
generated with the help of perlbug 1.36 running under perl 5.10.0.

-----------------------------------------------------------------
[Please enter your report here]

In mg.c NGROUPS is defined as follows:

#if defined(HAS_SETGROUPS)
#  ifndef NGROUPS
#    define NGROUPS 32
#  endif
#endif

and uses it later here:

  2632  #ifdef HAS_SETGROUPS
  2633          {
  2634              const char *p = SvPV_const(sv, len);
  2635              Groups_t *gary = NULL;
  2636
  2637              while (isSPACE(*p))
  2638                  ++p;
  2639              PL_egid = Atol(p);
  2640              for (i = 0; i < NGROUPS; ++i) {
  2641                  while (*p && !isSPACE(*p))
  2642                      ++p;
  2643                  while (isSPACE(*p))
  2644                      ++p;
  2645                  if (!*p)
  2646                      break;
  2647                  if(!gary)
  2648                      Newx(gary, i + 1, Groups_t);
  2649                  else
  2650                      Renew(gary, i + 1, Groups_t);
  2651                  gary[i] = Atol(p);
  2652              }
  2653              if (i)
  2654                  (void)setgroups(i, gary);
  2655              Safefree(gary);
  2656          }
  2657  #else  /* HAS_SETGROUPS */

This should be changed as follows

disable non-unicode case insensitive trie matching

Also revert 8902bb05b18c9858efa90229ca1ee42b17277554 as it merely
masked one symptom of the deeper problems.

Also fixes RT #69973, which was a segfault which was exposed by
8902bb05, see the ticket for further details.

http://rt.perl.org/rt3//Public/Bug/Display.html?id=69973

At the code of this is the problem that in unicode matching a bunch
of code points have case folding rules beyond just A-Z/a-z. Since
the case folding rules are decided at runtime by the string, we cant
use the same TRIE tables for both unicode/non-unicode matching.

Until this is reconciled or some other solution is found case insensitive
matching only gets the TRIE optimisation when the pattern is uniocde.

From CaseFolding.txt:

00B5; C; 03BC; # MICRO SIGN
00C0; C; 00E0; # LATIN CAPITAL LETTER A WITH GRAVE
00C1; C; 00E1; # LATIN CAPITAL LETTER A WITH ACUTE
00C2; C; 00E2; # LATIN CAPITAL LETTER A WITH CIRCUMFLEX
00C3; C; 00E3; # LATIN CAPITAL LETTER A WITH TILDE
00C4; C; 00E4; # LATIN CAPITAL LETTER A WITH DIAERESIS
00C5; C; 00E5; # LATIN CAPITAL LETTER A WITH RING ABOVE
00C6; C; 00E6; # LATIN CAPITAL LETTER AE
00C7; C; 00E7; # LATIN CAPITAL LETTER C WITH CEDILLA
00C8; C; 00E8; # LATIN CAPITAL LETTER E WITH GRAVE
00C9; C; 00E9; # LATIN CAPITAL LETTER E WITH ACUTE
00CA; C; 00EA; # LATIN CAPITAL LETTER E WITH CIRCUMFLEX
00CB; C; 00EB; # LATIN CAPITAL LETTER E WITH DIAERESIS
00CC; C; 00EC; # LATIN CAPITAL LETTER I WITH GRAVE
00CD; C; 00ED; # LATIN CAPITAL LETTER I WITH ACUTE
00CE; C; 00EE; # LATIN CAPITAL LETTER I WITH CIRCUMFLEX
00CF; C; 00EF; # LATIN CAPITAL LETTER I WITH DIAERESIS
00D0; C; 00F0; # LATIN CAPITAL LETTER ETH
00D1; C; 00F1; # LATIN CAPITAL LETTER N WITH TILDE
00D2; C; 00F2; # LATIN CAPITAL LETTER O WITH GRAVE
00D3; C; 00F3; # LATIN CAPITAL LETTER O WITH ACUTE
00D4; C; 00F4; # LATIN CAPITAL LETTER O WITH CIRCUMFLEX
00D5; C; 00F5; # LATIN CAPITAL LETTER O WITH TILDE
00D6; C; 00F6; # LATIN CAPITAL LETTER O WITH DIAERESIS
00D8; C; 00F8; # LATIN CAPITAL LETTER O WITH STROKE
00D9; C; 00F9; # LATIN CAPITAL LETTER U WITH GRAVE
00DA; C; 00FA; # LATIN CAPITAL LETTER U WITH ACUTE
00DB; C; 00FB; # LATIN CAPITAL LETTER U WITH CIRCUMFLEX
00DC; C; 00FC; # LATIN CAPITAL LETTER U WITH DIAERESIS
00DD; C; 00FD; # LATIN CAPITAL LETTER Y WITH ACUTE
00DE; C; 00FE; # LATIN CAPITAL LETTER THORN
00DF; F; 0073 0073; # LATIN SMALL LETTER SHARP S

Rename to Porting/perldelta_template.pod so that t/porting/podcheck.t covers it.

Note that F<ext/> has become F<cpan/>, F<dist/> and F<ext/>