regcomp.c: Use compiled-in inversion lists

This uses the compiled inversion lists to generate Posix character
classes and things like \v, \s inside bracketed character classes.

This paves the way for future optimizations, and fixes the bug which has
no formal bug number that /[[:ascii:]]/i matched non-Ascii characters,
such as the Kelvin sign, unlike /\p{ascii}/i.

Add compile-time inversion lists for POSIX classes

These will be used in regcomp.c to replace the existing bit-wise
handling of these, enabling subsequent optimizations.

These are compiled-in, and hence affect the memory footprint of every
program, including those that don't use Unicode.  The lists that aren't
tiny are therefore currently restricted to only the Latin1 range;
anything needed beyond that will have to be read in at execution time,
just as before.

The design allows for easy conversion from Latin1 to use the full
Unicode range, should it be deemed desirable for some or all of these.

regcomp.c: Use compile-time invlists

This creates three simple compile-time inversion lists from the data
that has been generated in a previous commit, and uses two of them.
Three PL_ variables are used to store them.

Add regen/mk_invlists.pl, charclass_invlists.h

This will be used to generate compile-time inversion lists in a C hdr
file that can be included in programs for initialization speed

Three simple inversion lists are included in this initial commit

regcomp.c: Add ability to have compiled-in inversion lists

This adds a routine that will take a C array and quickly create an
inversion list that points to that array.  Thus the array had better be
exactly the internal form that is required for an inversion list.  To
make sure that this doesn't get out of sync, a new field in the list's
header is created that is a combination of
version-number/inversion-list-type.

handy.h: Add comment

t/re/re_tests: Add Todo test

This bug was spotted by Tom Christiansen, but no bug report has been
written.  /[[:ascii:]]/i should match the same set of code points as
/\p{ASCII}/i.  But it is matching things outside the ASCII range

regcomp.c: Use new complement union

Previous commits have changed the API of invlist_union so the first
parameter can be NULL, and are to take the complement of the 2nd.  We
can take advantage of that to simplify this code.

regcomp.c: Add ability to take union of a complement

Previous commits have added the ability to the inversion list
intersection routine to take the complement of one of its inputs.
Likewise, for unions, this will be a frequent paradigm, and it is
cheaper to do the complement of an input in the routine than to
construct a new temporary that is the desired complement, and throw it
away.

regcomp.c: _invlist_subtract() becomes a macro

This function is no longer necessary, as it is just a call to the newly
created _invlist_intersection_maybe_complement_2nd() with the correct
parameters.

regcomp.c: Add ability to take intersection of complement

It turns out that it is a common paradigm to want to take the
intersection of an inversion list with the complement of another
inversion list.  In fact, this is the how to subtract the second
inversion list from the first, as what remains in the first after the
subtraction is everything in it that is not in the second.

It also turns out that it adds very few cycles to an intersection to
complement one (or both, should we choose to) of the operands.  By
adding this capability, we don't have to create a copy of the inverted
operand beforehand, just to throw it away.

regcomp.c: Use NULL first parameter to _invlist_union

A previous commit has changed _invlist_union() to accept a NULL
first parameter.  This takes advantage of that to simplify some code.

regcomp.c: Chg invlist_union() to accept NULL first param

It is common in a loop to keep adding inversion lists to a current
running total.  But the first time through, the current union list needs
to be initialized from NULL.  This puts that code in the function
instead of the callers each having to do it.

Add new email address for Reini Urban

Silence compiler warnings

Cf. RT #110208.
- Remove missing unused variables: op.c, regcomp.c
- Silence -Wformat type error: sv.c
- Cast first part of (,) expression as (void): gv.c

README.cygwin now has fewer pod issues, update known_pod_issues.dat

add Cygwin::sync_winenv [perl #110190]

Cygwin::sync_winenv should fix [CPAN #65052], ADODB missing
%COMMONPROGRAMFILES%.
sync_winenv code and solution by Chris Day.

Revise perlcygwin.pod for cygwin-1.7

cygwin does not support windows prior NT5 anymore.
cygwin paths are now all UTF8 encoded, special pathname
characters and names are now allowed.
Removed outdated cruft and fix wrong parts.

Update Module-Metadata to CPAN version 1.000009

  [DELTA]

  1.0.9 2012-02-08 12:00:00
    - API of 'provides' changed to require a 'version' argument to future
      proof the function against CPAN Meta Spec changes (DAGOLDEN)
    - Fatal errors now use 'croak' instead of 'die'; Carp added as
      prerequisite (DAGOLDEN)

Clean up Pod::Html's cache as part of distclean on *nix.

This has been done on win32 since commit b4a415570dc258dd in 2006.
However, the new Pod::Html caching code only uses one file, pod2htmd.tmp,
so remove now redundant cleanup code for pod2htmi.tmp.

Move lib/Pod/t/eol.t to ext/Pod-Html, as it's testing Pod::Html.

Convert triplicated code in lib/Pod/t/eol.t to a loop.

Refactor lib/Pod/t/eol.t

* use variables for the names of temporary files
* use lexicals for file handles
* check the return value of close
* use is() rather than ok() with ==
  [possibly still dubious that it's using unpack checksums for comparison,
   instead of SHAs or simply File::Compare]

The cleanup code in lib/Pod/t/eol.t needs updating to track Pod::Html changes.

eol.t gained code to clean up temporary files it generated as part of commit
0ec158f4b0db050a in 2002. The temporary file names used by Pod::Html were
changed by commit 33869856bc668ad8 in 2003, but eol.t had never been updated.

Add PERL_RELOCATABLE_INCPUSH to PL_non_bincompat_options, and hence -V output.

PERL_RELOCATABLE_INCPUSH was added in commit f31c6eed22759301. As it
causes a small specific behaviour change that isn't visible in any other
configuration option, it seems useful to indicate that the perl binary has
been compiled with it, to aid debugging. (Specifically, debugging of "Why
isn't this working?" when it failed to be enabled.)

Update Parse-CPAN-Meta to CPAN version 1.4402

  [DELTA]

  1.4402 Tue Feb 07 2012
      - Minor maintenance: standardized newlines to Unix style

Update CPAN-Meta-YAML to CPAN version 0.007

  [DELTA]

  0.007     2012-02-07 22:42:42 EST5EDT

    - Generated from ADAMK/YAML-Tiny-1.50.tar.gz

    - Documentation fix to replace missing abstract

Update Module-Metadata to CPAN version 1.000008

  [DELTA]

  1.0.8 2012-02-07 22:30:00
    - Adds 'provides' method to generate a CPAN META provides data structure
      correctly; use of package_versions_from_directory is discouraged (DAGOLDEN)

fix cygwin -Uuseithreads hints

Before -Uuseithreads resulted in a threaded perl. Now
-Uuseithreads and -Uusethreads DWIM

is_duplicate_pod() and get_pod_metadata() in pod_lib.pl modified $_

Reported by Reini Urban in RT #110078, installperl generated a warning and
failed to install CORE.pod, because is_duplicate_pod() modified $_
is_duplicate_pod() and get_pod_metadata() now both localise $_, to ensure
that they don't corrupt any caller's state.

avoid making a new top-level package for one helper

Update CPAN-Meta-YAML to CPAN version 0.006

  [DELTA]

  0.006     2012-02-06 20:51:47 EST5EDT

    - Generated from ADAMK/YAML-Tiny-1.50.tar.gz

    - Set back configure_requires prerequisite for ExtUtils::MakeMaker
      from 6.30 to 6.17 (per request from Andreas Koenig)

in Carp, fix circular dep on Perl 5.6

The circular dependency between Carp and warnings was causing trouble
with new versions of Carp against very old versions of warnings (versions
that were bundled with Perl 5.6).  No functional effect on blead.

add an alias for marcg's other email

Fix portability issue with Pod::Html test case

Modernize the use of open() (copied from old code)

Update MANIFEST

Re-add cache feature

./installhtml was unacceptably slow without pod2html caching,
so this commit re-adds it.

note which releases have shipped

this is to make it easier to scan and find which release
is the next unscheduled, unshipped one, so we (I) can see
how far off we have scheduled and whether a next volutneer
needs to be volunteered

Document the special meaning of "indir" on the shebang line

sync version.pm code with CPAN

Applied patch from John Peacock, but added whitespace fixes,
corrected pod link error and updated known Pod issues to reflect
a fix.

In t/porting/authors.t, correct a typo in the git log format string.

The format added in commit 3ea0c581844689ab had a typo - %cn (committer
name) used instead of %ce (committer e-mail).

In bisect-runner.pl, don't set $defines{cc} if printing usage messages.

ccache isn't needed to print a usage message. The current heuristic for
detecting ccache is noisy if it fails, which interferes with any usage or
error output.

bisect.pl --help should show the full documentation, not just the usage.

The initial paragraphs of documentation are actually more useful than most of
the options documentation. So show them too.

Suggested by David Leadbeater.

warnings.pm docs: clarify categories are in perllexwarn

Unicode::UCD move =item in pod

This merely moves a whole=item to another place, in preparation for
future commits

perldelta for Unicode::UCD::prop_invmap() changes

Unicode::UCD::prop_invmap() compress digit results

This changes the output of prop_invmap() for the Perl_Decimal_Digit
property to use code point deltas, similar to other properties.  This
causes the output to be 1/10 what it used to be.

UCD.t: White space only

Indent properly to account for these being in a newly formed block

Unicode::UCD::prop_invmap(): Make the NFKCCF property return deltas

The file for this property is stored in the old-style format for
backward compatibility with any applications that might be reading it
directly.  But the values should be returned through the Unicode::UCD
API as deltas for consistency with other, similar properties.

Unicode::UCD::prop_invmap(): Return deltas for the 'dm' property

Earlier commits caused the return of prop_invmap() for certain
properties to return deltas from code points instead of the code points
themselves, for compactness of storage and speed of searching.  This
causes the same for the 'dm' property, for consistency with the others,
even though the space savings is not large for this one; essentially the
same code can be used for the two types now; instead of an application
having to have special cases.

utf8.c: white-space only

This adds an indent now that the code is in a newly created block

utf8.c: Use the new compact case mapping tables

This changes the Perl core when looking up the
upper/lower/title/fold-case of a code point to use the newly created
more compact tables.  Currently the look-up is done by a linear search,
and the new tables are 54-61% of the size of the old ones, so that on
average searches are that much shorter

mktables: Generate some delta tables

This commit has the effect of changing the non-legacy tables for the lc,
uc, tc, and fc properties to use maps of deltas from the code points
instead of the code points themselves, thus shortening them
significantly, and hence the time required to search through them.

Note that these tables are new, and currently used only by Unicode::UCD.
A future commit will change the Perl core to use them.

mktables: Change generated file comment

All the files that mktables generates that are for external-to-core use
have now been changed so that the code requests explicitly for each that
they have the comment that says they are for external use, but it is
deprecated to use them.  That means that any files that haven't been so
explicitly set should have the comment instead that says they are for
internal use only.

mktables: Preserve old format in some tables

Future commits will cause tables that map to code points to, in general,
use deltas instead.  This ensures that files that contain tables and
have been mentioned publicly in the past continue to have their current
contents and format, so that applications that read them (such as
Unicode::Normalize) are unaffected.

Unicode::UCD: pod and comment nits

mktables: Allow generation of delta tables

Delta tables are those in which the mapping is not stored as-is, but is
modified to be the delta between the actual mapping and the code point
it is for.  This allows for smaller tables that are faster to search and
require less memory to store.

For example, consider the lower case mapping of A=>a, B=b, ... Z=>z.
Prior to this patch, this requires 26 entries in the table; now it
requires just one.  This is because A=65 and a=97.  We store 97-65=32.
And 32 is the same delta for each of A-Z, so we can store these as a
single range each with the same value, 32.

The delta tables tend to be half as large as the non-ones, or even
smaller.

This just enables the feature.  No tables currently use it.  For that,
changes in other Unicode::UCD need to be coordinated.

mktables: White-space, comments only

A previous commit has added two nested blocks surrounding the affected
code.  This looks like a big change, but it is in fact only white space
plus reflowing things to fit in an 80 column window, plus slight changes
to comments.

I verified that there were no code changes by using a diff command that
can ignore leading white space changes, and hence gave a more accurate
difference listing

mktables: Refactor if-else series

This is a slight refactoring to avoid using 'next' in the loop, and to
surround things with a bare block.  Future commits will want to
do common code at the bottom of the loop, including a redo of the bare
block.

Unicode::UCD::prop_invmap(): Use regex to get trie

This should speed up this test slightly

mktables: Don't generate no-longer used tables

Previous commits have removed all uses of these tables, so they are no
longer needed.

Unicode::UCD: Rmv uses of no-longer needed tables

Previous commits have expanded whats in the full case mapping tables
to include the simple maps as well.  Thus the specially constructed
tables need no longer be used, leading to simplification.

UCD.t: white space only

outdent now that surrounding block is removed

mktables: Include simple mappings in full tables

This changes the case change mapping tables to include the simple
mappings.  This was done in 5.14 for the case folding table.  The full
mappings are contained, as before, in a hash.  Now the simple mappings
they override (when doing multi-char case changing) are added to the
main body of the table, to the already existing simple mappings that
aren't overridden.

If the caller wants to do full mapping, it should look first in the
hash, and only if not found, look in the main body.  If the caller wants
only simple mapping, it ignores the hash.

This is already how the code in utf8.c that reads these tables is
constructed.

The .t is modified to take into account that these code points are now
in the main table body.

mktables: Add duplicate tables

This is for backwards compatibility.  Future commits will change these
tables that are generated by mktables to be more efficient.  But the
existence of them was advertised in v5.12 and v5.14, as something a Perl
program could use because the Perl core did not provide access to their
contents.  We can't change the format of those without some notice.

The solution adopted is to have two versions of the tables, one kept in
the original file name has the original format; and the other is free to
change formats at will.

This commit just creates copies of the original, with the same format.
Later commits will change the format to be more efficient.

We state in v5.16 that using these files is now deprecated, as the
information is now available through Unicode::UCD in a stable API.  But
we don't test for whether someone is opening and reading these files; so
the deprecation cycle should be somewhat long;  they will be unused, and
the only drawbacks to having them are some extra disk space and the time
spent in having to generate them at Perl build time.

This commit also changes the Perl core to use the original tables, so
that the new format can be gradually developed in a series of patches
without having to cut over the whole thing at once.

mktables: avoid some extra work

The object is already known to us as the loop variable, so no need to
derive it again; and change the loop variable name and one other
variable name to distinguish the table as being the full map one from
the simple map one

mktables: Allow non-standard initializations of properties

Some property tables have multiple values per code point.  These include
the final Name-equivalent property in which some code points have more
than one synonym; and the full case changing property tables that are
supersets of the simple case changing tables, in which some code points
have a full mapping that differs from the simple mapping.

Prior to this patch, these could not be initialized simply using the
Initialize parameter to the constructor, as it was unable to handle
multiple values per code point.

This also preserves the range type.

mktables: Comments, white-space and typo in message text only

mktables: Refactor populating simple case folding tables

These three tables are handled alike; this creates a loop to execute the
same instructions on each of them.  Currently there is so little to do,
that it wouldn't be worth it, except that future commits will add
complications, and this makes those easier to handle.

There is now a test that the input data is sane, and instead of
overwriting a value in a table with a known identical value, we skip
that.  This doesn't save much effort, because most of the work is
looking up the value (which we can now check sanity for), but again will
be useful for future commits.

mktables: Assume a leading zero means hex format

When calculating the format of a table, assume that there are no leading
zeros if it is a decimal number, but that means hex.

mktables: Don't populate the _stc table

This table was used only by Unicode::UCD which no longer uses it, and it
turns out that the data in it are redundant.  This is in preparation for
refactoring and removal of the table altogether.

Unicode::UCD: Don't read _stc table

It turns out that currently in Unicode 6.0, this table is redundant.
This prepares for removing it altogether.

mktables: Subroutine call needs to be fully qualified

As it is calling something in a different package

Unicode 6.1

This commit delivers the official Unicode character database files for
release 6.1, plus the final bits needed to cope with the changes in them
from release 6.0, including documentation.

charnames: pod nits

mktables: Cope with 6.1 Name_Alias changes

This property has an extra field.  So far, commits have allowed mktables
to cope with an extra field, with the value it would have if it had
existed in earlier Unicode releases.  This adds code to deal with the
values it will have in 6.1

Unicode::UCD: Cope with 6.1 Name_Alias changes

The format of this property in Unicode 6.1 is changing, so that the
previous algorithm for separating it out from Name.pl no longer works.

Update CPAN-Meta to CPAN version 2.120351

  [DELTA]

  2.120351  2012-02-03 23:01:45 America/New_York

    [OTHER]

    - Fixed CPAN packaging errors

  2.120350  2012-02-03 22:46:59 America/New_York

    [BUGFIX]

    - Work around a memory leak bug involving version objects
      in boolean context.

Avoid a warning from clang when compiling Data::Dumper.

There are other similar casts to void elsewhere in Dumper.xs

Remove ‘Useless use of "re" pragma’ warning

It’s wrong.

$ ./perl -Ilib -le 'use re; print re::regmust(qr/foo/)'
Useless use of "re" pragma at -e line 1.
foo

Useless, eh?  OK, then:

$ ./perl -Ilib -le 'print re::regmust(qr/foo/)'
Undefined subroutine &re::regmust called at -e line 1.

Increase $re::VERSION to 0.19

[perl #58608] Fix DD’s dumping of qr|\/|

By trying to escape / as \/, DD was turning \/ into \\/, producing
invalid qr//’s like qr/ \\/ /.  You can’t (and don’t need to) escape a
/ preceded by a backslash.  But you have to make sure \\/ gets escaped
properly as \\\/.  Counting forward from the beginning of the string
and ignoring escaped characters is the proper way to do it.

Data::Dumper/qr.t: This test is not strict-safe

Data::Dumper/qr.t: Add test names and diagnostics

Data::Dumper: qr.t: Add a pure-Perl TODO test

Update MANIFEST with dist/Data-Dumper/t/qr.t

[perl #58608] TODO tests for DD and qr|\/|

Increase $Cwd::VERSION to 3.39_02

Load File::Spec before using it in Cwd

[perl #109762] Stop !$^V from leaking

by mortalising the temporary SVs.

Increase $Data::Dumper::VERSION to 2.135_04

[perl #107372] DD and overloaded blessed globs

Data::Dumper’s Perl implementation was not working with overloaded
blessed globs, which it thought were strings.

The _dump routine was already copying the value to another variable,
but it was using ref \$original or \$original stringified to see
whether it was dealing with a glob.  Since the copy was already there,
it made sense for it to use ref \$copy instead.  So that’s what I
made it do.

For the sake or robustness, avoid reproducing Perl guts in test file

Add -c option to bisect-runner.pl, for use with -e

This allows one to easily bisect to find when a something became, or stopped
being, a (compile-time) syntax error.

Update Version-Requirements to CPAN version 0.101022

  [DELTA]

  0.101022  2012-02-03 10:29:59 America/New_York
    DEPRECATED DEPRECATED DEPRECATED DEPRECATED

    Version::Requirements is still DEPRECATED

    deprecation is only warned-about if not doing core perl tests,
    to quiet them up for the sake of porters' sanity

Correct a =head2 to a =head3 in perlfunc.pod

Commit 8f0d6a616731a3d1 added the 'Non-function Keywords by Cross-reference'
section, using =head3 to group by man page. However, the entry for entry
for perlsyn was typo'd as =head2.

Revert "Add IO::Socket::IP 0.08 as dual-life module"

This reverts commit 497f7de2d964167330f7260590736e9adb18899c.

update copyright years in Carp

Add IO::Socket::IP 0.08 as dual-life module

Signed-off-by: Chris 'BinGOs' Williams <chris@bingosnet.co.uk>