regexp_unicode_prop.t: Add tests, refactor

Refactor so that can test /i or not.  Add tests for using the new feature to
have user-defined properties work differently under /i.

pat-advanced.t: Add new test

regexp_unicode_prop.t: Comment nits

Add synonym \p{Titlecase}

Add PL_foldable - a list of chars that participate in folds

mktables remove obsolete never-used code

intrpvar.h: Clarify comment

_swash_inversion_hash Rmv X from embed, add const

This shouldn't be called from XS code.

Add initial inversion list object

Going forward the intent is to convert from swashes to the better-suited
inversion list data structure.  This adds rudimentary inversion lists that have
only the functionality needed for 5.14.  As a result, they are as much as
possible static to one file.

What's necessary for 5.14 is enough to allow folding of ANYOF nodes to be moved
from regexec to regcomp.  Why they are needed for that is to generate as
compact as possible class definitions; otherwise, very long linear lists might
be generated.  (They still may be, but that's inherent in the problem domain;
this generates as compact as possible, combining overlapping ranges, etc.)

The only two non-trivial methods in this object are from published algorithms.

regcomp.c: Generate different property for /i matching

This patch causes regcomp.c to generate a different property name under /i than
not.  utf8_heavy.pl will later resolve whether this is to match the same under
/i or not, based on the data structure generated by mktables.

This is part of moving non-locale folding into regcomp from regexec.  The
reasons are primarily security, but this has been planned to do at some point
anyway for performance.  It was not until a 5.13.X build that fixed the regexec
code that the case-insensitive matching mostly worked.  With that change, things like

    /\p{ASCII_Hex_Digit}+/i

would match non-ASCII characters, such as LATIN SMALL LIGATURE FF, and almost
certainly that would not be the expectation of the coder.  The Unicode
Standard is silent on the matter, but as of this writing, it appears that they
will act to recommend against caseless matching of properties; I get the sense
that they would never have thought someone would think to do it, but Perl has.
I ran some experiments, and actually very few properties have differences under
caseless matching anyway.  have submitted a proposal to them that says that,
but suggests that certain properties can be grandfathered-in.  Perl users have
come to expect that /\p{Uppercase}/i would match lower case letters, and have
written bug reports that they don't, until 5.13.X fixed them, but in addition
added the unintended wrinkle from the example above.

The design is for mktables to generate tables for /i matching for the few
properties that have differences, and to create a hash mapping the standard
table to the /i table, which is read by utf8_heavy.pl.  regcomp.c munges the
names of all properties under /i to be __foo_i.  The two initial underscores
make sure there is no conflict with existing single underscore initial tables.
utf8_heavy strips these off, and computes the table as normal from the
remaining unmunged name.  At the last moment, it looks up that name in the list
of those that have /i tables, and substitutes if found.

This completely hides all this from the swash mechanism and regexec.c.

This can't be completely hidden from user-defined properties.  Now, a boolean
will be passed to those subroutines indicating if /i is in effect or not.  They
are free to ignore it, but they can return a different set of code points
depending on its value.  They will be called once for each type, and the
results cached by the normal swash mechanism, which thinks these are two
different properties.

utf8_heavy: Use new mktables caseless feature

This patch causes utf8_heavy.pl to know about the new data structure that
mktables now generates to indicate what substitute table to use for one that
has different results under /i matching.

Note that regcomp.c, as of this commit, does not generate the names that would
exercise this code.

mktables: Set caseless equivalent tables

Only a few tables will be affected by /i matching.  This hard-codes them all.

Note that at the point of this commit, the rest of the code doesn't implement
this, so the pod changes will delayed until the rest of the infrastructure is
in place.

mktables: Add concept of caseless equiv table

This adds a new field to the table object giving what table it is equivalent to
under /i matching.

mktables: factor out sub that duplicates utf8_heavy

This code may eventually be placed so there's no duplication

regcomp.c: cl_and() fix

If ANDing two nodes together and they both have UNICODE_ALL set, the result
should also.  I don't have a test case for this, but the bug is exposed by some
commits soon to come in a test case in pat_advanced.t for cl_and.

update the manicheck step in the RMG to keep up with the times

remove cmpVERSION step from the RMG since abigail automated it

made abigail's new porting/cmp_version.t not scream about blead-upstream
module versions since we don't control them

Bump Attribute::Handlers version since it changed since the last cpan
release

Bump I18N::LangTgs::Detect since it changed since the last CPAN release

Bump IO::Select's version since it changed since the last cpan release

Bump Locale::Maketext's version

Make it so that it acts as if cmpVERSION.pl had not been passed the -x flag.

We'll check non-dual lived files first, then the dual lived ones.

Bump OS2::Process version since the docs changed triggering a test fail

Remove whitespace for pod fix.

Fix NAME section to be valid.

Make podchecker a little happier

Fix =item ambiguity and remove whitespace on empty line.

Pod cleanup for F<> and L<>

Add more L<> around links and F<> around filenames.
Fix one case where F<> had been incorrectly used instead of L<>.

update the release manager's guide to remove a now-autmated version
checking step.

Bump Carp.pm version since it now differs from 5.13.9

Perltidy Carp.pm and Carp.t

[committer's note: while we tend to avoid "perltidy this" commits which
 enforce a new author's style upon existing code, Dave's working to
 pick up an existing codebase with a horribly inconsistent style
 and modernize and (hopefully) dual-life it eventually]

Make Carp.pm strict and warnings safe.

Bump versions of modules changed since the last blead release (found by
abigail's new failing test)

Get the tag from git describe instead of $]

Merge branch 'blead' of ssh://perl5.git.perl.org/gitroot/perl into blead

Update IPC-Cmd to CPAN version 0.70

  [DELTA]

  Changes for 0.70    Mon Jan 31 20:34:09 GMT 2011
  =================================================
  * Apply a patch from Petya Kohts, RT #65276, with
    changes for run_forked:

    1) fix for the typo in the name of the signal
    2) changed default for clean_up_children (which
       seems to be the behavior expected by the majority of the users)
    3) added detection (and forwarding to the caller) of the case
       when run program is killed by signal
    4) kill_gently is now used in cases when parent died
       and when the executed program times out
    5) added options which allow to execute some user code
       in the beginning and at the end of the child

Turn exec flag off

Merge branch 'blead' of ssh://perl5.git.perl.org/gitroot/perl into blead

Turn Porting/cmpVERSION.pl into a test

Partially revert 4155e4fe

This disables the fix for [perl #36347], which made sure that unrefer-
enced objects were DESTROYed, marking the tests as to-do.

This bug fix broke three CPAN modules. I will probably not have time
to fix them before 5.14, so disabling the fix until after 5.14 seems
the safest option.

This resolves [perl #82542] and other related tickets.

Don't refer to specific line numbers in test code regex

[perl #83018] TEST PATCH: commit 95ea86d5 also fixes sprintf("%.2f")

This adds some more test cases about the bug that commit
95ea86d5 fixes.

The bug was that in the perl 5.12 branch, sprintf("%.2f") returns ""
whereas it should return "0.00" -- but this only applies in the very
special cases, not eg. when the template has extra characters. The
log message and the tests of that commit only talks about "%.0f", but
I think it would be worth to also test the "%.2f".

Perl_do_sv_dump: dump REGEXP body

Now that a regexp is a first-class SV, dump all the fields
of the 'struct regexp': it's just another SV body type

Perl_do_sv_dump: move stub REGEXP code

SVt_REGEXP was in the 'general SV fields' section; move it to the
'type-specific SV fields' section. Not that it does anything yet.

Perl_do_sv_dump: add some blank lines and headers

Make this long function easier on the eye by separating "paragraphs"
with a blank lines, and with a comment at the start of each major
section.

Remove vestigial ORANGE references

This was a temporary type used while regexes were in the process
of being promoted to first-class SVs

Skip the right number of tests in DosGlob.t.

Three times three is nine, last I checked.  Follow-up to:

dd2d1456ae6cdb1b6f476dd4923e18c36a45b6ea

fix a confusing open scope in pp_subst

just a white space change

Tidy up perlport.pod with more L<> around URLs.

Tidy up pod.

Add more L<> for http links and F<> for filenames.

embed.fnc: Add E flag to regcurly entry

On C++ builds, it wasn't getting seen in extensions.

S_regcurly needs thread context.

Actually I can't see any reason it actually *needs* thread context,
but 881ffab65cdbee2f146ada660e5593bad2e71472 added thread context
to the prototype without adding it to the function definition, thus
breaking builds with -Dusethreads.

Another address for Schubiger

[perl #82996] Use the user's from address as return-path in perlbug

Many systems thesedays don't have a valid internet domain name and
perlbug@perl.org does not accept email with a return-path that does not
resolve. Therefore pass the user's address to sendmail so it's less
likely to get stuck in a mail queue somewhere.

[perl #82988] Skip hanging taint.t test on MirBSD 10

This patch allows for make test to complete when perl is configured
with ithreads support (verified for MirBSD 10 on eurynome.mirbsd.org
where also the Test::Smoke core smoker runs).

[perl #82980] Typo fix in Attribute::Handlers

Reindent recent IPv6/getaddrinfo code consistently with the rest of the files

Add Larwan Berke (Apocalypse) to AUTHORS

Move IN6ADDR_ANY and IN6ADDR_LOOPBACK to @EXPORT_OK in Socket.pm, requested by Nicholas

Use embed.pl inline capabilities for regcurly

Change the regcurly definition to use the new inline abilities.

embed.fnc: Add inline function capability

This patch adds to embed.pl the capability to generate static inline functions.

mktables: simplify a little code

mktables: Rmv surrogates caution

As isolated surrogates are now accepted in the Perl core

perlapi: Clarify statement about av_push()

Contrary to the previous text, av_store() requires the user to deal with the
reference count of the scalar being added.

perldiag.pod: Expand \p in locale description

POD typo

Add another address for Jay Hannah to checkAUTHORS.pl

bmodpow() fails when GMP library is used.

This bug is not seen when the libraries Calc and FastCalc are used,
because their _modpow() method modifies the first argument. However,
the GMP library's _modpow() does not modify the first argument,
causing a so far undetected bug to show up and fail tests.

Using the Calc library prints the correct "-4":

    use Math::BigInt lib => Calc;
    $x = Math::BigInt->new(8);
    $y = Math::BigInt->new(8);
    $z = Math::BigInt->new(-5);
    print $x -> bmodpow($y, $z), "\n";

Using the GMP library prints the incorrect "--":

    use Math::BigInt lib => GMP;
    $x = Math::BigInt->new(8);
    $y = Math::BigInt->new(8);
    $z = Math::BigInt->new(-5);
    print $x -> bmodpow($y, $z), "\n";

Fix endless loop in Porting/makemeta.

File::Basename::dirname() returns the current device and directory
on VMS when there is no directory information in the path (i.e.,
you ran out of directories), and the current device and directory
are never ".".  Now that we run makemeta in the test suite, the
expectation that you always get "." was causing the test suite to
hang in a CPU-bound loop.

Switch ExtUtils::CBuilder to use Perl::OSType

Revert "pod/perlpolicy.pod: fix grammar in 70a565f"

This reverts commit 5ccb3a28fc30a358c7870c0f979a11d432b97664.

remove some stray apostrophes from perlpolicy

perldelta: 3bef022 depend on files needed for porting/buildtoc.t

regcomp: Add warning if tries to use \p in locale.

\p implies Unicode matching rules, which are likely going to be different than
the locale's.

toke.c: Add comment

[perl #38456] binmode FH, ":crlf" only modifies top crlf layer

When pushed on top of the stack, crlf will no longer enable crlf layers
lower in the stack. This will prevent unexpected results.

Suppress "Name used only once" warnings.

From Locale::Maketext and I18N::LangTags::Detect. To replicate, run
    perl -Idist/Locale-Maketext/lib -Icpan/IPC-Cmd/lib -Idist/I18N-LangTags/lib -we "use IPC::Cmd"

Fix test count introduced by previous commit

Commit 99ca48e139a839de3f512cb8cae93f1fe51062ab

regex: \p{} in pattern implies Unicode semantics

Now, a Unicode property match specified in the pattern will indicate that the pattern is meant for matching according to Unicode rules

perlre.pod: Fix omission of /a

Add Franz Fasching to AUTHORS

IO::Select: allow removal of IO::Handle objects without fileno

pod/perlpolicy.pod: fix grammar in 70a565f

Change the "was within" wording added in 70a565f to "was released
within".

clarify perlpolicy about which series are supported

that is, we try to support 5.10.1 for security fixes based on the
release date of 5.10.0, not 5.10.1

relative file in %BuildFiles

[Ævar: removed trailing whitespace from the original patch]

Signed-off-by: Ævar Arnfjörð Bjarmason <avar@cpan.org>

perlio.c: silence format warnings

Signed-off-by: Ævar Arnfjörð Bjarmason <avar@cpan.org>

add tests for #3516: \G in a m//g

as suggested in RT# #76706 by George Greer.

Made binmode $fh, ':scalar' DWIM

This silences this warning:
  $ perl -we 'open my $f, ">", \my $x; binmode $f, "scalar"'
  Use of uninitialized value in binmode at -e line 1.

Compile keywords.c on VMS.

Add Noirin Shirley to AUTHORS

more typo fix for perlxstut.pod

Update CGI to CPAN version 3.52

  [DELTA]

  Version 3.52

  [DOCUMENTATION]
  - The documentation for multi-line header handling was been updated to reflect
    the changes in 3.51. (Mark Stosberg, ntyni@iki.fi)

  [INTERNALS]
  - Add missing t/tmpfile.t file. (RT#64949)
  - Fix warning in t/cookie.t (RT#64570, Chris Williams, Rainer Tammer, Mark Stosberg)
  - Fixed logic bug in t/multipart_init.t (RT#64261, Niko Tyni)

Small change to perlretut and perlrequick to fix Bug 76604

Convert Safe's remaining hold out tests to Test::More

Convert Data::Dumper's overload.t to Test::More

Update Module::Build to CPAN version 0.3622

[DELTA]

0.3622 - Mon Jan 24 21:06:50 EST 2011

  - No changes from 0.36_21

0.36_21 - Fri Jan 21 11:01:28 EST 2011

  - Changed YAML::Tiny references to the new CPAN::Meta::YAML module
    instead, which is the YAML-variant that is going into the Perl core

0.36_20 - Fri Dec 10 15:36:03 EST 2010

  *** DEPRECATIONS ***

  - Module::Build::Version has been deprecated.  Module::Build now depends
    directly upon version.pm.  A pure-perl version has been bundled in inc/
    solely for bootstrapping in case configure_requires is not supported.
    M::B::Version remains as a wrapper around version.pm.

  - Module::Build::ModuleInfo has been deprecated.  Module::Build now
    depends directly upon Module::Metadata (which is an extraction of
    M::B::ModuleInfo intended for general reuse).  A pure-perl version has
    been bundled in inc/ solely for bootstrapping in case
    configure_requires is not supported. M::B::ModuleInfo remains as a
    wrapper around Module::Metadata.

  - Module::Build::YAML has been deprecated.  Module::Build now depends
    directly upon YAML::Tiny.  M::B::YAML remains as a subclass wrapper.
    The YAML_support feature has been removed, as YAML is now an ordinary
    dependency.

0.36_19 - Tue Dec  7 13:43:42 EST 2010

  Bug fixes:

  - Perl::OSType is declared as a 'configure_requires' dependency, but is
    also bundled in inc (and loaded if needed) [David Golden]

0.36_18 - Mon Dec  6 16:46:49 EST 2010

  Changes:

  - Added dependency on Perl::OSType to refactor and centralize
    management of OS type mapping [David Golden]

  - When parsing a version number out of a file, any trailing alphabetical
    characters will be dropped to avoid fatal errors when comparing version
    numbers.  These would have been dropped (with a warning) anyway during
    an ordinary numeric comparison. (RT#56071) [David Golden]

  Bug fixes:

  - A Perl interpreter mismatch between running Build.PL and running Build
    is now a fatal error, not a warning (RT#55183) [David Golden]

  - Bundled Module::Build::Version updated to bring into sync with CPAN
    version.pm 0.86 [David Golden]

  - No longer uses fake user 'foo' in t/tilde (RT#61793) [David Golden]

  - Won't fail tests if an ancient Tie::IxHash is installed
    [Christopher J. Madsen]

  - Correctly report missing metafile field names [David Golden]

  - Suppress uninitialized value errors during Pod creation
    on ActiveState Perl [David Golden]

  - Return to starting directory after install action; this is
    an attempt to fix an install.t heisenbug (RT#63003) [David Golden]

  - A broken version.pm load won't cause Module::Build::Version to
    die trying to install itself as a mock version (RT#59499)
    [Eric Wilhelm and David Golden]

  - PERL_DL_NONLAZY is now always set when tests are run
    (RT#56055) [Dmitry Karasik]

  - 'fakeinstall' will use .modulebuildrc actions for 'install' if
    no specific 'fakeinstall' options are provided (RT#57279)
    [David Golden]

  - Add install*script to search path for installdeps client
    and search site, then vendor, then core paths

  - Skip noexec tmpdir check on Windows (RT#55667) [Jan Dubois]

  - Arguments with key value pairs may now have keys with "-" in them
    (RT#53050) [David Golden]

  - Add quotemeta to t/tilde.t test to fix Cygwin fails
    [Chris Williams and David Golden]

  - Build script now checks that M::B is at least the same version
    of M::B as provided in 'configure_requires' in META
    (RT#54954) [David Golden]

0.36_17 - Wed Oct 27 18:08:36 EDT 2010

  Enhancements:

  - Added 'distinstall' action to run 'Build install' inside the
    generated distribution directory [Jeff Thalhammer]

0.36_16 - Thu Aug 26 12:44:07 EDT 2010

  Bug fixes:

  - Better error message in case package declaration is not found
    when searching for version. [Alexandr Ciornii]

  - Skips 'release_status' tests on perl < 5.8.1 due to buggy
    treatment of dotted-decimal version numbers [David Golden]

0.36_15 - Wed Aug 25 10:41:28 EDT 2010

  Bug fixes:

  - Added a mock Software::License to prevent t/properties/license.t
    from failing.

0.36_14 - Sun Aug 22 22:56:50 EDT 2010

  Enhancements:

  - Adds 'release_status' and 'dist_suffix' properties in preparation
    for adding CPAN Meta Spec 2 support.  'dist_suffix' will be set
    to 'TRIAL' automatically when necessary. [David Golden]

  - Makes 'license' more liberal.  You can now specify either a license
    key from the approved list (c.f. Module::Build::API) or just a
    Software::License subclass name (e.g. 'Perl_5').  This should
    provide better support for custom or proprietary licenses.
    [David Golden]

0.36_13 - Wed Jul 28 22:40:25 EDT 2010

 Bug-fixes:

 - Bundled Module::Build::Version updated to bring into sync with CPAN
   version.pm 0.82 [David Golden]

0.36_12 - Tue Jul 27 00:08:51 EDT 2010

  Enhancements:

  - Module::Build::Compat will now convert dotted-decimal prereqs into
    decimal rather than dying (and will warn about this). [Apocalypse]

  Bug fixes:

  - Caches case-sensitivity checks to boost performance, fixes
    RT#55162 and RT#56513 [Reini Urban]

  - Won't try to use ActivePerl doc generation tools without confirming
    that they are indeed installed. [David Golden]

  - Sets temporary $ENV{HOME} in testing to an absolute path, which fixes
    some issues when tested as part of the Perl core [Nicholas Clark]

  - Module::Build::ModuleInfo now warns instead of dying when a module
    has an invalid version.  ->version now just returns undef
    (RT#59593) [David Golden]

  Changes:

  - When authors do not specify Module::Build in configure_requires and
    Module::Build is automatically added, a warning will be issued
    showing the added prerequisite [David Golden]

  - Moved automatic configure_requires generation into get_metadata()
    and added an 'auto' argument to toggle it (on for META and off
    for MYMETA) [David Golden]

0.36_11 - Thu May 27 09:41:23 EDT 2010

  Bug fixes:

  - Handle META/MYMETA reading and writing within Module::Build to ensure
    utf8 mode on filehandles.  Now passes/gets only strings to YAML::Tiny
    or Module::Build::YAML

0.36_10 - Wed May 19 18:36:06 EDT 2010

  Bug fixes:

  - Fix failing t/manifypods.t on Windows from 0.36_09 changes [Klaus
    Eichner]

0.36_09 - Tue May 11 09:19:12 EDT 2010

  Bug fixes:

  - Improve HTML documentation generation on ActivePerl (RT#53478)
    [Scott Renner and Klaus Eichner]

0.36_08 - Mon Apr 26 08:00:15 EDT 2010

 Enhancements:

 - Give a list of valid licenses when given one we don't recognize
   (RT#55951) [Yanick Champoux]

 - Added 'Build manifest_skip' action to generate a default MANIFEST.SKIP
   [David Golden]

 Changes:

 - When temporarily generating a MANIFEST.SKIP when none exists, it will
   be removed on exit instead of hanging around until 'Build clean'.  This
   is less surprising/confusing and the 'Build manifest_skip' action
   is now available instead to bootstrap the file [David Golden]

 Bug fixes:

 - Fixed runtime error on cygwin when searching for an executable command
   during installdeps testing [David Golden]

remove duplicates in perlxstut.pod

correct myself's name in AUTHORS

[perl #82738] Add L<> to more links.

[perl #82730] Fix filename reference to perldelta_template.