regcomp.c: Revert to using regcomp.sym order

Now that the new nodes are grouped properly, we can use the fact that
the named backreferences all come after all the numbered backreferences,
as had been there before.

regcomp.sym: Re-order for better grouping

The recently added regnodes are moved to their respective equivalence
classes, and the named backreferences are moved to just after the
numbered backreferences

regcomp.sym: Remove misleading comments

Yves informed me that in spite of the comments giving precise node
numbers, those numbers can change, so new nodes can be mixed in with
their kin.  Remove those comments

Avoid setting PL_cv_has_eval unnecessarily

Quoting op.c:

/* /$x/ may cause an eval, since $x might be qr/(?{..})/  */

But the (?{..})’s compilation is only ever reached in the scope of
‘use re 'eval'’, so we can avoid setting PL_cv_has_eval (and the
slight overhead that entails) when that pragma is off.

[perl #66104] Bugs in extended regexp features

More precisely: Make run-time (?{...}) inherit pragmata.

This commit makes Perl_sv_compile_2op_is_broken (nice name!) copy the
hints from PL_curcop if invoked during run time. Usually they are
inherited from the code that is currently being compiled (which works
for $foo =~ /(?{...})/), but the code currently being compiled is not
the enclosing scope at run time ($bar = '(?{...})'; $foo =~ $bar),
hence the need for copying in a similar manner to pp_entereval.

Theoretically this code should also have to avoid copying a statement
label, but goto inside a regexp eval does not currently work, so I
cannot prove or disprove that yet.

The docs for SvRX and SvRXOK still refered to magic and the code snippet
was wrong.

Don't advertise PERL_HASH_SEED_EXPLICIT and NO_HASH_SEED

These (commented out) options had been advertised/documented in the
Makefile to make it easy to produce binary compatible builds of
Perl 5.8.x after the hash key randomization feature was introduced.
There is no reason to point out these customization option in
a prominent space.

Always build with crypt() support on Windows

The sources did support to drop win32/fcrypt.c from a Perl distribution
and build without a crypt() implementation to account for the paranoia
around distribution of encryption technology.  However sources and binaries
have been released for at least 10 years with all the code in place, so
there is not much point in making it configurable.

Uncomment and fix up tests at the end of Storable's blessed.t

These tests have never been "live", having been added, commented out, in 2004
as part of 754c00caaffe2ec6. The trick to make them work is to delete from the
symbol table, rather than merely attempting to undefine the subroutine.

Update ExtUtils-CBuilder to CPAN version 0.2800

  [DELTA]

  0.2800 - Mon Dec  6 16:05:46 EST 2010

    - No changes from 0.27_07

  0.27_07 - Wed Sep 29 21:48:55 EDT 2010

    Fixed:

    - Fixed t/02-link.t on perl < 5.8

  0.27_06 - Mon Sep 27 15:29:54 EDT 2010

    Fixed:

    - Preserves exit status on VMS [Craig Berry]

    - Fix Win32 split_like_shell escaping [Christian Walde]

  0.27_05 - Wed Jul 28 15:29:59 EDT 2010

    Fixed:

    - Tests no longer fail if user has set the CC environment variable

  0.27_04 - Mon Jul 26 22:41:43 EDT 2010

    Added:
    - handle c compiler and c++ compiler separately
      (adds requirement for IPC::Cmd) [Jens Rehsack]

    Others:
    - rely on File::Temp::tempfile and File::Spec::tmpdir to
      get unique file name for checking for compiler
      [Jens Rehsack]

    - Code base modernization and substantial code coverage improvments
      [Jim Keenan]

Perldelta for 22a3069

As contributed by Zefram on irc, with some pod markup added.

Get rid of PERL_MSVCRT_READFIX

The code works around a bug in very old versions of MSVCRT.dll.
The issue has been fixed a long time ago by Microsoft, so anyone
who has installed a Windows Service Pack in the last 10 years
or so won't be affected by the problem.

Remove dead Windows code

stopgap hack for $@ as unwinding reason indicator

Set $@ early in a die as well as late, so that it continues to function
as an unreliable indicator of whether unwinding in progress is due to
an exception.  This is a stopgap arrangement, until the unwinding process
can be introspected properly.

Clarify this is the Perl 5 interpreter for manpage and META

regcomp.c: Fix longjmp-related warnings

This patch should get rid of the compiler warnings recently introduced.

Another way to handle the pm_flags warning is to declare it to be
volatile, but not all compilers that perl uses apparently have that, so
I chose a longer way of introducting a new variable that isn't changed
within the jumpable area.  The others were fixed by not initializing
them before the jumpable area.

To-do tests for abnormal exiting from (?{})

Hideous to-do tests for (?{}) scoping issues

Un-TODO and un-SKIP the [perl #22354] tests

We can run these now that the regexp engine is reëntrant.

Emit warning for use re "/ul"

This was an omission on my part.

This should perhaps be an error, but I am just following what
‘use re’ already does with ‘use re "whatever"’.

regexec.c: Clean up initialized vars in switch

Commit cf5c578b88887f19f7fba519bbc12296 attempted to clean up d7ef4b73,
but did not get it quite right.  This fixes it, after consultation with
the author.

regcomp.c: small efficiency, portability fix

The code had hard-coded into it the ascii platform values for possible
start bytes.  There are macros that do that portably with no branches

regcomp.c: small efficiency improvement

The inline function repeats the test removed here.

regcomp.c: small efficiency gain

The 7-bit test operations always fail on non-ascii characters, therefore
it isn't needed to test each such character individually.  The loops
that do that and then set a bit for each character can therefore stop at
127 instead of 255 (the bitmaps are initialized to all zeros).  For
EBCDIC, the same applies, except that we have to map those 7-bits
characters to the 8-bit EBCDIC range.  This creates an extra array
lookup for each ebcdic character, but half as many times through the
loop.

For the complement of the 7-bit operations, we know that they will all
be set for the non-ascii characters.  Therefore, we don't need to test,
we can just unconditionally set those bits.  It would not be a good idea
to just do a memset on that range under /i, as each character that gets
chosen may have its fold added as well and that has to be looked up
individually.

regecomp, regexec: Use mnemonic character names

This patch replaces hex ordinals by macros containing the character
names, for clarity and portability to EBCDIC.

utf8.h: Need to make sure macro result fits in byte

The UTF8_TWO_BYTE_HI_nocast() macro has an error in it, in that the
START_MARK is larger than a byte, and only the last 8 bits of it are
relevant.  This hasn't caused a problem because the macro hasn't been
called directly, but from other macros that make sure the result gets
cast to a U8.

utf8.h: Add whitespace for readability

regcomp.c: Move code out of longjump area

This code should be done before the setjump to avoid the longjump
clobbering it.

[perl #80220] order of hash keys wrong in perlfunc.pod

Add Peter Holzer to AUTHORS

perldelta for Storable saving a code reference as UTF-8

Up Storable version to 2.25

Up Storable minor version

The change for storing UTF-8 coderefs necessitates this change.

Make Storable correctly store coderefs with UTF-8 flag

make empty string regexp stringify to the same thing regardless of unicode flags

make the jump point a little more obvious in a comment

Remove the Makefile command to touch perlmain.c after running makedepend.

Jerry D. Hedden was right to question whether this was now superfluous, because
as best I can tell it was *always* superfluous. Perl 5.000 shipped with a
Makefile rule to build perlmain.c using a shell script, with a dependency for
perlmain.c on makefile. [Lowercase makefile, now abstracted as $(FIRSTMAKEFILE).
This is generated by makedepend from Makefile, by calculating the dependency
rules to append to it.] The rule to generate perlmain.c had a prerequisite on
$(FIRSTMAKEFILE), and in turn $(FIRSTMAKEFILE) has a dependency on $(c), which
included perlmain.c. Hence there was a circular dependency, and the "solution"
to avoiding repeated rebuilds was to touch perlmain.c (if it exists), after
running makedepend.

As best I can tell there is no *actual* dependency for the correct generation
of perlmain.c on the contents of $(FIRSTMAKEFILE), as the relevant variables
are the same in both Makefile and $(FIRSTMAKEFILE). Hence this command should
have been removed, along with the dependency, years ago. However, no-one
spotted this until Jerry observed that fbcaf61123069fe4 changed the build
rules, and removed the dependency, but not the touch command.

[perl #71286] fallback/nomethod failures

This fixes two bugs related to overload and fallback on binary ops.

First, if *either* of the args has a 'nomethod', this will now be used;
previously the RH nomethod was ignored if the LH arg had fallback value
of undef or 1.

Second, if neither arg has a 'nomethod', then the fallback to the built-in
op will now only occur if *both* args have fallback => 1; previously it
would do so if the *RHS* had fallback => 1. Clearly the old behaviour was
wrong, but there were two ways to fix this: (a) *both* args have fallback
=> 1; (b) *either* arg has fallback=> 1. It could be argued either way,
but the the choice of 'both' was that classes that hadn't set 'fallback =>
1' were implicitly implying that their objects aren't suitable for
fallback, regardless of the presence of conversion methods.

This commit doesn't really need a delta entry

Remove lots of unused, VMS-specific variables.

Brought to you by -Duser_c_flags=/WARN=(ENABLE=LEVEL5,INFORMATIONAL=ALL)

Fix K&R-style function declaration.

Remove unused include file from vms/vms.c.

Document the explicit * in tie *$handle

perldelta for the tie $handle changes

Deprecate tie $handle without *

Fix up tests to work around tie $handle

Revert "[perl #77496] tied gets scalars and globs confused"

This reverts commit 8752206e276cffe588c0932b5a9f2331640e8447.

Revert "[perl #77688] tie $scalar can tie a handle"

This reverts commit 9aa8b00892d81bb5e94565d3cb9841dd57b7b9cf.

Revert "Make untie check the FAKE flag on globs"

This reverts commit 830748013f81bcc28d145baf4024efd1b6537704.

Windows 95 Chainsaw Massacre

Remove all supporting code for Windows 9x and Windows NT.  The
minimum supported version is Windows 2000 now.

Fix some unreachable and return nits in vms/vms.c.

Fix some =/== nits in vms/vms.c

[perl #80098] Bleadperl breaks Attribute::Lexical

If

@UNIVERSAL::ISA = "a";

and

@a::ISA = "b";

then methods are searched for in these orders:

main UNIVERSAL a b
UNIVERSAL a b UNIVERSAL a b
a b UNIVERSAL a b
b UNIVERSAL a b

For method lookup, looking at a stash twice causes no problems (except
for a SUPER bug I’ve just found--to be dealt with separately).

My fix to next::method in a5cd004 which made it do a second pass with
UNIVERSAL the way gv_fetchmeth does did not take into account that it
might return its caller (sub a::foo { return shift->next::can }),
causing an infinite loop.

This patch makes it check, on the second pass, whether each stash is
the stash at the start of the MRO list and breaks if that is the case,
so the MROs are effectively:

main UNIVERSAL a b
UNIVERSAL a b
a b UNIVERSAL
b UNIVERSAL a

(which is what they are effectively already for method lookup).

Update Locale-Codes to CPAN version 3.15

  [DELTA]

  3.15  2010-12-02 sbeck
        * NEW CODE(s)
        * Added version number to Makefile.PL/Build.PL requirement
          for POD testing modules.  RT 62247
        * Changed 'use vars' to 'our'

Fix C++ breakage introduced in d7ef4b73

C++ doesn't allow goto or switch to bypass initialized variable
declarations.  Also fix the function pointer type.

Nit in perluniintro.pod

Nit in perlunicode.pod

Nit in perlre.pod

Document Unicode doc fix

Nit in perlunicode.pod

re/fold_grind.t: Add tests for NREFFU, REFFU

This adds simple tests for these.  Inspection of the code indicated to
me that more complex tests were not warranted.

regcomp.c: Generate REFFU and NREFFU

This causes the new nodes that denote Unicode semantics in
backreferences to be generated when appropriate.

Because the addition of these nodes was at the end of the node list, the
arithmetic relation that previously was valid no longer is.

regexec.c: Handle REFFU and NREFFU; refactor

This adds handling of the Unicode folding semantics capture buffer
backreferences.  I've refactored the code so that the case statements
set up the type of folding, to avoid having to test for which in the
common code.

Also, the previous code was confusing fold case and lowercase.  There is
already a routine to handle the fold case, so that simplified things.

re/fold_grind.t: Refactor to test utf8 patterns.

The previous version wasn't really testing utf8 patterns.

regcomp.sym: Add REFFU and NREFFU nodes

These will be used for matching capture buffers case-insensitively using
Unicode semantics.

make regen will regenerate the delivered regnodes.h

regcomp.sym: update comment

regcomp.c: Use latin1 folding in synthetic start class

This is because the pattern may not specify unicode semantics, but if
the target matching string is in utf8, then unicode semantics may be
needed nonetheless.  So to avoid the regexec optimizer rejecting the
match, we need to allow for a possible false positive.

regcomp.c: utf8 pattern defaults to Unicode semantics

A utf8 pattern should force unicode semantics unless otherwise
overridden.  This means that the 'd' regex modifier means Unicode
semantics as well.

regcomp.c: teach tries about EXACTFU

regcomp.c: typo in comment

re/reg_fold.t: use array size for test counts

regcomp.c: Remove duplicate statement

The flags this statement cleared are cleared as part of the macro called
just before it.

[perl #64792] Document $? in perlfunc/exit

Upgrade if from version 0.06 to 0.0601

Fix compiler warning in hv.c on MSWin32

Fixes the following seen in a Steve Hay smoke test:

Compiler messages(MSWin32):
..\hv.c(1646) : warning C4244: 'initializing' : conversion from 'unsigned long ' to 'const char ', possible loss of data

Fix uninit compiler warning in mro.c

perldelta up to 6b7c6d959

perldelta for [perl #68654]

++substr $mro'VERSION, -1

[perl #68654] next::method doesn't see UNIVERSAL

This commit makes next::method retry with UNIVERSAL if it reaches the
end of the MRO list.

Make next_edgecases.t easier to deal with

This makes ./perl -Ilib t/mro/next_edgecases.t work and also
allows test functions to be called without parentheses.

Avoid two compiler warnings in B::cstring, spotted by Steve Hay's smoker.

Update Maintainers.pl for the CPAN'd version of Module-CoreList

Fix B test failure introduced in 6b7c6d9

perldelta up to 779bcb7d

Skip t/io/eintr.t on Cygwin, too - hangs

Fix memory leak in hfreeentries

The change that made hfreeentries keep the name in place when iterat-
ing (2d0d1ecc) caused this statement at the end of the loop to be a
no-op for named hashes, because the HvARRAY is always present at the
end of the loop (it contains the name):

if (!HvARRAY(hv)) {
    /* Good. No-one added anything this time round.  */
    break;
}

So this line was added (by the same change) before the freeing of the
linked lists:

/* If there are no keys, there is nothing left to free. */
if (!((XPVHV*) SvANY(hv))->xhv_keys) break;

But that means that this, immediately after the freeing of the linked
lists and just before the if(!HvARRAY(hv)):

if (array != orig_array) {
    Safefree(array);
}

was not being reached, resulting in a memory leak (that Nicholas
Clark found).

This is what would happen:

On entering hfreeentries, orig_array would be assigned the value
in HvARRAY.

   HvARRAY    = original array
   orig_array = original array

Then the main loop would be entered, which would assign
HvARRAY to array:

   HvARRAY    = original array
   orig_array = original array
   array      = original array

HvARRAY would be nulled out and assigned a new value by hv_auxinit:

   HvARRAY    = first new array
   orig_array = original array
   array      = original array

Then the loop would repeat:

   HvARRAY    = first new array
   orig_array = original array
   array      = first new array

Then the HvARRAY would once more be nulled and replaced via
hv_auxinit:

   HvARRAY    = second new array
   orig_array = original array
   array      = first new array

Then the if(no keys)break; statement would be reached, exit-
ing the loop:

   HvARRAY    = second new array
   orig_array = original array
   <nothing>  = first new array

So the first new array is never freed.

This commit skips the allocation of an extra array at the beginning of
the loop if there are no keys. Then it exits early at the same spot.

perldelta for mg_findext and sv_unmagicext

Suppress warning from t/op/attrs.t

[perl #77762] Constant assignment warning

With this patch:

$ ./perl -we 'sub A () {1}; if (0) {my $foo = A or die}'
$ ./perl -we 'sub A () {1}; if (0) {my $foo = 1 or die}'
Found = in conditional, should be == at -e line 1.

Since the value of a constant may not be known at the time the program
is written, it should be perfectly acceptable to do a constant assign-
ment in a conditional.

Restore building Encode's subextensions for a static build.

The special-casing in Configure still referred to ext/Encode, so likely this
was broken when Encode moved to cpan/

Fixes #79494, reported by Marc Lehmann.

In S_scan_const(), use my_snprintf() instead of my_sprintf().

Paranoid linkers warn about using sprintf(), and rightly so.

Use ' to avoid interpolation

[perl #79152] super-linear cache can prevent a valid match

The super-linear cache in regexec.c can prevent a valid match
from being detected. For example:

print "yay\n" if 'xayxay' =~ /(q1|.)*(q2|.)*(x(a|bc)*y){2,}/;

This should match, but it doesn't because the cache fails to
distinguish between matching the final xay to x(a|bc)*y as the
first instance of the {2,} and matching it in the same position
as the second instance.

This seems to do the trick.

Spelling: reminder -> remainder

Update perlguts for sv_unmagicext and mg_findext

Add tests for sv_{,un}magicext and mg_findext

Add mg_findext

Add sv_unmagicext

Eliminate strlen and strEQ usage in gv_fetchmethod

This commit brought to you with the aid of the campaign for elimination of
strlen().