Remove unused variable from S_set_regclass_bit_fold()

Clarify m?PATTERN? is ok and only ?PATTERN? is not

Convert xhv_name in struct xpvhv_aux to be a union of HEK* and HEK**

This avoids a lot of casting. Nothing outside the perl core code is accessing
that member directly.

Update Unicode-Collate to CPAN version 0.68

  [DELTA]

  0.68  Tue Nov 23 20:17:22 2010
    - doc: clarified about (backwards => [ ]) and (backwards => undef).
    - separated t/backwds.t from t/test.t.
    - added cjk_b5.t, cjk_gb.t, cjk_ja.t, cjk_ko.t, cjk_py.t, cjk_st.t in t
      for CJK/*.pm without Locale.pm.

Document the refcount of version functions’ retval

When dup'ing CVs, only take the OP_REFCNT_LOCK if it is needed.

Previously it was being taken for all CVs, including XSUBS.

Also, refactor other non-XSUB specific code into the same if block.

No need to clone pad name 0, as it's never used.

Pad entry 0 is for @_, but no name is recorded for it, so the name slot is
always &PL_sv_undef.

Update IPC-Cmd to CPAN version 0.66

  [DELTA]

  Changes for 0.66    Tue Nov 23 12:10:24 GMT 2010
  =================================================
  * Apply documentation patch from Dan Dascalescu [RT # 63250]
  * Apply another documentation patch from Dan Dascalescu [RT #63251]
  * Fix an issue with _split_like_shell_win32() raised by tunakermit [RT #62961]

Fix multiple perldelta entries from buildtoc on VMS.

regcomp.h: Restore separate bit for LOC class

This commit partially reverts cefafd73018b048fa66d2b22250431112141955a
which unconditionally used a bitmap for classes like \w in ANYOF nodes
used in locales.  Unfortunately, I forgot to unconditionally allocate
that space, so things were getting corrupted.  It is scary that that did
not show up in my testing, but locales are hard to test.  It showed up
in a workspace without DEBUGGING.

This commit now causes the bitmap to be used only when necessary, at the
expense of using a precious bit in the flags field to indicate that it
is being used.  However, as events have turned out since that commit,
that flags bit isn't as precious as I thought.  It looks like we will
have to split the ANYOF node into two similar nodes, one of which is
variable length, as there are bugs due to the optimizer thinking it is
of length 1, when in fact it doesn't currently have to be.   That split
should allow more bits to be freed.

I'm retaining for now some ancillary code that was to help improve the
efficiency when that bit was removed; just in case we have to redo this.
But if we do, we have to unconditionally allocate the space we think we
are using.

Signed-off-by: David Golden <dagolden@cpan.org>

Only call mro_package_moved on new substashes

Commit 298d65111 added this mro_package_moved call.

It does not need to happen if the substash already exists, as it will
already have had effective names assigned to it.

It also may not be a good idea to set it in such cases, as it may make
a recursive call to mro_get_linear_isa. I know this is utter paranoia,
but someone may write a mro plugin that is not reëntrant. (The speed
gain is worth it, though.)

Don’t CLONE nameless hashes

The cloning code was trying to call CLONE on nameless hashes that nonetheless had an effective name (HvENAME).

This can happen if a nameless hash is assigned over a stash, as in

  *foo:: = {}

or if a stash is undefined:

  undef %foo::

(The effective name is how perl tracks the location internally, for
the sake of updating MRO caches.)

Clarify the hekp assignment in dump.c

[bracketed char class] fixes

This patch adds two functions for setting the ANYOF node bitmaps.  The
one for dealing with folds has intelligence as to what to do if unicode
semantics is in effect.

Together with previous commits, this fixes the unicode bug for bracketed
character classes, as far as known bugs go, so pods are updated as well.

fold_grind.t: Only test [char classes]

I meant to do this on the initial commit for this .t.  The
non-char-class tests show many failures now, as they are more
comprehensive than the reg_fold.t ones.  Until I iron those out, use
reg_fold.t for these.

handy.h: New #define to use new bit

This creates a new macro for use by regcomp to test the new bit
regarding non-ascii folds.

Because the semantics may change in the future to deal with multi-char
folds, the name of the macro is unwieldy and specific enough that no one
should be tempted to use it.

l1_char_class_tab.h: Add new bit to table.

The output of the revised Porting/mk_charclass.pl is here incorporated
into this .h., with a #define for the new bit that signifies if a
character participates in a fold with a non-latin1 character.

mk_PL_charclass.pl: Find non-latin1 folds

The output of this .pl is to be used as the main table in
l1_char_class_tab.h.  Add a new bit to indicate if a Latin1 character
particpates in a a simple fold with a character outside the Latin1
range.  This will be used by regcomp.c to make decisions about how to
compile regexes.

regexec.c: indent code in new block

This is a white-space, formatting only patch.  The previous commit
placed existing code in a new {block}.  This now indents it and
reformats it to still fit in 80 columns.  No logic changes are in it.

regexec.c: utf8 could fold to ascii/latin1

Some non-Latin1 characters fold to that range, and hence should be
tested against the generated bit map.

regcomp.c: Add comment

regcomp.c: Add comment

reg_fold.t: Don't duplicate fold_grind.t

This removes testing of bracketed character classes from reg_fold.t,
which are better tested by the new fold_grind.t

Add fold_grind.t

This .t is designed to mostly replace reg_fold.t.  it provides much more
comprehensive tests, but has a huge number of failures that should be
TODOs that I found it difficult to classify, so have deferred adding it
until now, when in a few commits, those will be whittled way down.

And, those would only come in testing things that aren't character
classes, which are currently commented out, and reg_fold.t is relied on
for testing those.

pp.c: tiny performance enhancement

I believe on many processors two increments are faster than two
additions

pp.c, utf8.c: Convert to use TWO_BYTE_UTF8_TO_UNI

utf8.h: Add macro TWO_BYTE_UTF8_TO_UNI()

The code to do this isn't obvious, as it was wrong in 5 different places
in two different files (forgetting one or both of the required
conversions to UTF (which is a no-op except on EBCDIC machines, or it
would have been detected sooner.)

Some of that code depended on left shifting being truncated in a U8.
This adds UTF_START_MASK so it can work in a larger width variable.

utfebcdic.h: comment additions, fix typo

regexec.c: Correct indent

mk_PL_charclass.pl: Correct comment

utf8_heavy: Guard against infinite recursion

If things aren't just so, it could be that utf8_heavy calls something
which requires a pattern, such as split or just a pattern match that
ends up calling utf8_heavy again, ad infinitum.  When this happens,
memory gets eaten up and the machine grinds to a halt, likely requiring a
manual forced reboot.

To prevent this undesirable situation, utf8_heavy now stacks all its
calls in progress, and if any is a repeat, panics.

Split ANYOF_NONBITMAP into two components

ANYOF_NONBITMAP means that the node can match things that aren't in its
bitmap.  Some things can match only when the target string is in utf8,
and some things can match even if it isn't.  If the target string is not
in utf8, and we know that the only possible match is when it is in utf8,
we know it can't match, and avoid a fruitless, expensive swash load.

This change also fixes a number of problems shown in t/re/grind_fold.t
that I will deliver soon.

regcomp.c: Optimizer wrongly turning off bit

ANYOF_UNICODE_ALL and ANYOF_NONBITMAP are not mutually exclusive, so
there is no need for the optimizer to make them so.

regcomp.c: Add explanatory comment

regcomp.h: Add comment

regcomp.h: Renumber ANYOF_EOS bit

This is in preparation for adding a new bit which for debugging ease
ought to be adjacent to another one.

regcomp.c: Fix indent

rename ANYOF_UNICODE to ANYOF_NONBITMAP

I am about the hone the meaning of this to mean that there is something
outside the bitmap that is matchable by the node, and the new name
reflects that more accurately.

I am not retaining the old name because I'm about to remove it from the
flags field to save a bit and avoid masking operations, and any code
that would be using it would break at that point.

perl.h: Add latin1 fold table

The adds a folding table that works on the full Latin1 character set,
except for three problematic characters that need special handling.
It is accessed by PL_fold_latin1.

regcomp.sym: Clarify comment

make regen needed

Nits in perlunicode.pod

regexec.c: Split EXACT, folding nodes in regrepeat

As I started working on fixing more bugs in regrepeat, I realized that
the EXACT node had enough different things going on from the folding
nodes that it was better to give it its own case statement.  This patch
does this and refactors the remaining code to compensate, and for
clarity.

PL_fold wrong for EBCDIC platforms.

The PL_fold table map on EBCDIC only works on the ASCII-subrange
characters, not the full native Latin1.

To fix this, I moved the table to utfebcdic.h for EBCDIC platforms, and
actually changed it to three tables, one for each of the code pages
known to Perl.

There is no EBCDIC platform available to test on.  What I did was hack
together a program from existing code that does EBCDIC transforms.  I
ran it in ASCII mode, and verified that the generated table was
identical to the Latin1 table I had previously constructed by hand and
extensively tested.  I then ran it on each of the three EBCDIC
transforms, and verified that each matched the places in the original
table that I knew were correct, all the ASCII alphabetics, the controls,
and a few other code points.

So these tables are at least as correct as the existing one, as they are
identical to it for [A-Z], [a-z].

perl.h: Expand comment

re/pat.t: Skip tests on EBCDIC

There's no convenient way to translate to EBCDIC in these tests, since
they don't use the normal test routines which have this facility.
Therefore, have to skip these tests on those platforms.

regcomp.sym: Fix descriptions

requires regen

regex free up bit in ANYOF node

This patch causes all locale ANYOF nodes to have a class bitmap (4
bytes) even if they don't have a class (such as \w, \d, [:posix:]).
This frees up a bit in the flags field that was used to signal if the
node had the bitmap.  I intend to use it instead to signal that loading
a swash, which is slow, can be bypassed.  Thus this is a time/space
tradeoff, applicable to not just locale nodes: adding a word to the
locale nodes saves time for all nodes.

I added the ANYOF_CLASS_TEST_ANY_SET() macro to determine quickly if
there are actually any classes in the node.

Minimal code was changed, so this can be easily reversed if another bit
frees up.

Another possibility is to share with the ANYOF_EOS bit instead, as this
is used just in the optimizer's start class, and only in regcomp.c.  But
this requires more careful coding.

Another possibility is to add a byte (hence likely at least 4 because of
alignment issues) to store extra flags.

And still another possibility is to add just the byte for the start
class, which would not need to affect other ANYOF nodes, since the EOS
bit is not used outside regcomp.c.  But various routines in regcomp
assume that the start class and other ANYOF nodes are interchangeable,
so this option would require more code changes.

regcomp.h: Add comment

regcomp.c: Remove references to old #define

Two #defines were recently collapsed to mean the same thing.
Standardize on using one of them.

regcomp.h: Reorder statements for clarity

Reorder #defines of bits so are in numerical order

Newly-created stashes may need effective names added

%x can't be used directly with pointers.

(I keep forgetting this.) Change the four occurrences in the new custom
op tests to UVxf with a PTR2UV around the pointer.

Remove redundant check

There is a similar check about fifty lines back.
And it is silly to check HvARRAY on a named hash.

mro_package_moved must act on all effective names

See the test case in the commit. It passes in 5.8.x and blead (as of
this commit), but not 5.10-5.13.7.

In every case the name to be passed to mro_gather_and_rename is cre-
ated using an SV, so we might as well pass that instead of extracting
the char array and length from it.

That allows us to pass an AV instead, if there are multiple names to
take into account.

Move the test for Win32's FindExt.pm to t/porting, and run it automatically.

The test was written as part of the work on migrating modules to cpan/ and
dist/, but at that time at least one of FindExt.pm and Configure was buggy with
the classification of at least one module (XS or non-XS). As that is now fixed,
move the test to t/porting, and run it routinely. This will ensure that the
Win32 code's classification of modules will remain consistent with Configure's.

Add flags param to hv_ename_*

We will need this for making the API UTF8-aware in 5.16
or whenever.

‘If you are upgrading from 5.13.6...’

Only clean up the generated perldelta

S_hfreeentries: keep OOK off unless adding something to aux

This small optimisation allows hv_undef to skips its if(SvOOK()) block
and all the checks inside it much of the time.

mktables: Clean up warning msg

This message actually printed, and I discovered the various components
ran together, needing white space to make it more readable.

mktables: comment typo and expand other comments

mktables: Smaller tables if not -DDEBUGGING

This patch frees up about .5Mb of disk space.  First, it omits an
unnecessary trailing tab in the output tables, at the cost of an extra
test.  Secondly, for non-debugging Perls, it omits the
helpful-to-developer comments at the beginning of each table file, and
changes the default to not output the other helpful-to-developer
comments that give the number of code points in each output range in the
tables.

Revert "Globs that are in the symbol table can be unglobbed"

This reverts b9e00b79 except for the tests.

This extra checking and saving of the FAKE flag is no longer necessary
as of the previous commit.

[perl #77926] Glob reification during localisation

This was supposed to have been fixed by 2acc3314e31a9, but the code it
added was in the wrong spot. (This is the code that makes *{} return a
new glob if its argument is FAKE.)

Consequently, local *$foo was localising $foo, not *$foo.

This changes the order of the statements and adds a test.

Correct test count in UCD.t

Increase Unicode'UCD::s version

UCD.pm: Add info about named sequence alternatives

The namedseq function is essentially obsolete, as the core has better
incorporated its abilities.  This adds documentation as to the
alternatives.

UCD.pm: Don't use CompositionExclusions.txt

The motiviation for this patch was to remove dependence of UCD on
another Unicode DB .txt file.

But the subroutine that uses it is out-of-date, now that this property,
and an even more convenient one are accessible from the core.  So the
documentation is also updated to educate people.

Instead of using the file, the routine just uses the core's access
method

UCD.pm: Don't use NamedSequences.txt, saves disk

This changes UCD to not use this file.  Instead it takes advantage of
the recent addition of named sequences being accessible through the \N{}
construct.  In one case where it returns a hash of all the named
sequences, it uses the same .pl file that \N{} does.  My guess is that
this routine's usefulness is now past, as named sequences are now
incorporated into the core.

Eliminate the newname param from mro_package_moved

Nothing is using this any more, as of the previous commit.

Make hv_undef leave HvENAME alone

unless called from sv_clear.

This is necessary as and undeffed stash, though it nominally becomes
just a plain hash and is not a stash any more, is still to be found
in the symbol table. It may even be in multiple places. HvENAME’s
raison d’être is to keep track of this. If the effective name is
deleted, then things can get out of sync as the test in the commit
demonstrates. This can cause problems if the hash is turned back
into a stash.

This does not change the deletion of the HvNAME, which is the only
difference between hv_clear and hv_undef on stashes that is visible
from Perl. caller still returns (unknown) or __ANON__::....

I tried to make this into several small commits, but each part of it
breaks things without the other parts, so this is one big commit.

These are the various parts:

• hv_undef no longer calls mro_package_named directly, as it deletes
  the effective name of the stash. It must only be called on sub-
  stashes, so hfreeentries has been modified to do that.

• hv_name_set, which has erased the HvENAME when passed a null arg
  for the value ever since effective names were added (a special case
  put it just for hv_undef), now leaves the HvENAME alone, unless the
  new HV_NAME_SETALL flag (set to 2 to allow for UTF8 in future)
  is passed.

• hv_undef does not delete the name before the call to hfreeentries
  during global destruction. That extra name deletion was added when
  hfreeentries stopped hiding the name, as CVs won’t be anonymised
  properly if they see it. It does not matter where the CVs point if
  they are to be freed shortly. This is just a speed optimisation, as
  it allows the name and effective name to be deleted in one fell
  swoop. Deleting just the name (not the effective name) can require a
  memory allocation.

• hv_undef calls mro_isa_changed_in as it used to (before it started
  using mro_package_moved), but now it happens after the entries are
  freed. Calling it first, as 5.13.6 and earlier versions did, was
  simply wrong.

• Both names are deleted from PL_stashcache. I inadvertently switched
  it back and forth between the two names in previous commits. Since
  it needed to be accounted for, it made no omit it, as that would
  just complicate things. (I think PL_stashcache is buggy, though I
  have yet to come up with a test case.)

• sv_clear now calls Perl_hv_undef_flags with the HV_NAME_SETALL
  flag, which is passed through to the second hv_name_set call,
  after hfreeentries. That determines whether the effective names
  are deleted.

• The changes at the end of hv_undef consist of pussyfooting to avoid
  unnecessary work. They make sure that everything is freed that needs
  to be and nothing is freed that must not be.

hv_undef .= _flags

Add flags param to hv_undef.

There is no mathom, as the changes that this will support
are by no means suitable for maint.

Fix hv_name_set when there is an HvENAME

This code was completely wrong and could even crash. This is not cur-
rently reached.

Add the new shiny perldelta file I neglected to add.

Update TOC for perl5.13.8

Created perldelta for v5.13.8

v5.13.7 epigram added.

Update the totals in perldelta with the last few commits

Add QNX Neutrino RTOS to list of platforms in perlport

Update Module::CoreList for v5.13.7

make regen; make regen_perly

Ahem. *Final* finalisation.

There was still an XXX section.

Finalisationtion of perldelta with updates for committers and stats

Fix a perldelta typo

perldelta for 249534c3

First pass at finalising perldelta, removing unrequired boilerplate

Bump the perl version in various places for v5.13.7

Bump Data::Dumper version as previous commit made a change

Typo in perldelta

Fix the test fix for older perls (5499dc3d6e47ea78). We're still on 5.13.6

Skip [perl #72332] DD test on 5.10.1

$ perl5.10.1 -le 'print *{*STDERR{IO}}'
Bus error

That crash is beyond DD’s control, so the test should be skipped.

Compare to lib.pm 0.63 on CPAN

Update mailing list and website for cpantesters in perlport

Update Maintainers.pl with new releases

'Upgrade' to AutoLoader 5.71

That release was a core => CPAN sync, so this is just a version bump.

Fix Data::Dumper test on old perls

Bump Math::BigInt::FastCalc to dev release as per Florian's request

Bump Math::BigRat to dev release as per Florian's request

Sync version of dist/Math-BigInt modules to 1.99_01 as per Florian's request

Add Unicode's minor 6.0 correction

Unicode just released a minor correction to 6.0.  This patch adds that.
Unfortunately, a test thought the old behavior was correct, and so had
to be modified as well.