regexp.h: document the fields of reg_substr_datum

In particular, specify that the various offset fields are char rather
than byte counts.

RT#120692 slow intuit with long utf8 strings

Some code in re_intuit_start() that tries to find the range of chars
to which the BM substr find can be applied, uses logic that is very
inefficient once utf8 was enabled. Basically the code tries to find
the maximum end-point where the substr could be found, by taking the
minimum of:

    * start + prog->check_offset_max + length(substr)
    * end   - prog->check_end_shift

Except that these values are in char lengths and need to be converted to
bytes before calling fbm_instr(). The code formerly involved scanning the
whole of the remaining string to determine how many chars it had.
By doing the calculation a different way, we can avoid this.

This makes the following two regexps each take milliseconds rather than
10s of seconds:

        my $s = 'ab' x 1_000_000;
        utf8::upgrade($s);
        1 while $s =~ m/\Ga+ba+b/g;
        $s=~ /^a{1,2}x/ for  1..10_000;

re_intuit_start(): re-indent a block of code

(whitespace-only changes)

A block of code had a confusing mixture of 4- and 2-space indents.
Re-indent to be consistently 4 chars. Also, wrap some long lines
and add a few blank lines for clarity.

regcomp utf8 len cache panic

Compiling this regex:

    /\x{100}[xy]\x{100}{2}/

caused this:

    panic: sv_len_utf8 cache 1 real 2

This was due to the code in S_study_chunk() mixing up char and byte
lengths when updating the utf8 length cache on a utf8 string that
had been extended by repeatedly duplicating the last n chars.

(The second test is for an issue introduced during an initial attempt to
fix this).

perldelta updates

merge basic zefram/purple_signatures into blead

t/run/locale.t: Rmv test that isn't generally valid

The return from setlocale() on a new locale is documented in Linux as
opaque, even though the Linux smokers we have return the name of the
new locale.  It turns out that VMS actually does return something
different, and this test fails there.  So, the test is testing for
something that just happens to be currently true on many of our systems;
hence isn't general, and hence shouldn't be tested for.

And, the test isn't necessary, as we can infer from the other tests in
the file that a locale passed via the environment actually takes hold,
as we do so for a locale which has a comma radix, and test that the
radix is correctly set.

Fix typo in perldelta.pod

-----------------------------------------------------------------

Make a literal "{" fatal after \b and \B in regexes

These have been deprecated since v5.14.

Add tests

These are for commit 421e43ba3017755892f18a5690b66a6ed8717fa9

util.c: Add comment.

I wonder if we need to worry about compatibility with a 1994 libc?

DynaLoader: On Android, define DLOPEN_WONT_DO_RELATIVE_PATHS

Android's linker will actually do relative paths just fine; the problem
is that it won't search from the current directory, only on
/vendor/lib, /system/lib, and whatever is in LD_LIBRARY_PATH.
While the core handles that just fine, bits of CPAN rather rightfully
expect this to work:

use lib 'foo'            # puts foo/ in @INC
use My::Module::In::Foo; # calls dlopen() with foo/My/Module/...
                         # which will likely fail

So we take this route instead.

CBuilder::Android: fix ->link() to respect wantarray.

Fix more tests to work on systems that don't define LC_ALL and friends

dquote_static.c: White-space only

Outdent code whose surrounding block was removed by the previous commit

Forbid "\c{" and \c{non-ascii}

These constructs have been deprecated since v5.14 with the intention of
making them fatal in 5.18.  This wasn't done; and is being done now.

handy.h Special case toCTRL('?') for EBCDIC

There is no change for ASCII platforms.  For EBCDIC ones, toCTRL('?")
and its inverse are special cased to map to/from the APC control
character, which is the outlier control on these platforms.  The reason
to special case this is that otherwise toCTRL('?') would map to a
graphic character, not a control.  By outlier, I mean it is the one
control not in the single block where all the other controls are placed.
Further, it corresponds on two of the platforms with 0xFF, which is
would be an EBCDIC rub-out character corresponding to an ASCII rub-out
(or DEL) 0x7F, which is what toCTRL('?') maps to on ASCII.  This is an
outlier control on ASCII not being a member of the C0 nor C1 controls.
Hence this make '?' mean the outlier control on both platforms.

B.pm: Bump version

Allow blead to compile under some g++

Various platforms are refusing to compile blead with g++ [perl #121151]
This patch, suggested by Tony Cook seems to work.  There may be a better
way to do it, so I'm not closing the ticket, but this gets things
working again.

fix Module::CoreList::is_core version comparision

fix Module::CoreList::is_core default perl version

Fix regression in floating mandatory string optimisation

In 304ee84bde82d4eee33b0d0ff03080b360eae72b I introduced a regression
where floating mandatory strings which were at known offsets started
being treated as though they were allowed "anywhere".

This patch fixes the bug, and adds tests to make sure it does not come
back.

See also discussion in Perl RT #121182.

https://rt.perl.org/Public/Bug/Display.html?id=121182

Eliminate stupid macro

Years ago I was lazy. False laziness. Today I undo that laziness. Sigh

File::Spec: Mopre extensive fix for #120593

The original fix only handled '.', this one handles all relative
paths.

t/uni/fold.t: use &LC_ALL with & to avoid strict errors

sv,c, sv_cmp_locale_flags: flags is unused if locales are disabled

sv.c: Remove leftover ifdef from the %vd format

Added missing prototypes.

This was mostly for XS functions defined in the core, but also
for a handful of functions in the :stdio layer.

Fix the prototypes of some functions without context

Their prototypes are (void), but the implementation was ()

Avoid compiler warnings by consistently using #ifdef instead of plain #if

.gitignore: Handle cross-compilation files better

perldelta for 0ecf23179326, none needed for a5368aebf374

Upgrade to threads 1.92

Upgrade to threads::shared 1.46

perldelta for IO::Socket::IP version 0.27

Tony: grammar fix and fix module sort order

Upgrade IO::Socket::IP to version 0.27

perldelta for e40f8e806ef

Don't test locales that are invalid for needed categories

When looking for locales to test, skip ones which aren't defined in
every locale category we care about.  This was motivated by a Net BSD
machine which has a Pig Latin locale, but it is defined only for
LC_MESSAGES.

This necessitated adding parameters to pass the desired locale(s), and
renaming a test function to indicate the current category it is valid
for.

Revert "'use utf8' should imply /u regex matching"

This reverts commit bfa0ee78b652802412c3cab86bb873ed67ea6550.

This commit turned out to be contentious, and since we are past the
contentious features freeze date, no matter what else, it should be
reverted.

The argument for the commit essentially boils down to 'use utf8'
indicates that the text within its scope should be treated as utf8.
That means that any patterns with literals in them should be treated as
utf8, but utf8-encoded patterns follow Unicode rules by definition.

The arguments against it are that code relies on the way it has always
worked (even if that was an oversight), and in fact several CPAN modules
were broken by it, [perl #121162].  Also it has been the stated intent
that 'use utf8' will eventually become a no-op, meaning all text will be
treated as utf8, and that shouldn't have to mean that backwards
compatibility will be broken then.

Add note of blead customizations for previous commit

vutil.c, vxs.inc: Avoid warnings from -Wmissing-prototypes -Wundef -Wunused-label

-Wmissing-prototypes was complaining about declaring XS()
functions without previously declaring a prototype.

-Wundef didn't like using #if foo instead of #ifdef foo

-Wunused-label warned because VER_{IV,NM,PV} were defined on all
versions of perl, but only used on < 5.17.2

Add tests and fix new fatal errors related to $/

In b3a2acfa0c0e4f8e48e1f6eb4d6fd143f293d2c6 I added new exceptions, but
forgot to test them properly. In the process I managed to partially break
the functionality, and since it was not tested I did not notice.

Ilmari on #p5p pointed out I forgot the test, and in the end I had to completely
rewrite the original patch.

Now tested as fully as I could. Thanks Ilmari.

Add porting test for Module-CoreList

When the perl version is bumped in blead, Module-CoreList
should be prepared to include a stub entry for this new version.

This tests for the existence of the stub-entry.

Upgrade libnet from version 1.24 to 1.25

ignore a test data file for a Locale-Codes test we don't ship

do not overflow when the pattern is unbounded

Exclude new vutil/Makefile.PL in cpan/version/

And now the rest of the sync to 0.9908

Add -DL option to trace setlocale calls

This will help field debugging of locale issues.

Revert "Fix handy.t for systems without $Config{d_isblank}."

This reverts commit d61570b1bbf3e2d76cc293690156fb361b054272.  This
commit was made unnecessary by commit
3f9a3488327f59f53c00adc132d91f19840e2a50.

Regenerate podcheck db due to recent 79col fixes

Commits 51b4c035919497f474ce46dcbdac1d2f3fd18a84 and
02257115537194d7a3b36a956d5643069f78c54f fixed some too-long verbatim
line issues.  I'm not sure why commit
b3a2acfa0c0e4f8e48e1f6eb4d6fd143f293d2c6 added them to the db, as they
were fixed before it was applied.  My guess is that the workspace had
not been rebased recently enough.

Module-CoreList prepared for v5.19.9

[perl #121028] avoid creating a shell process

Update Pod-Parser to CPAN version 1.62

  [DELTA]

 02-Feb-2014           Marek Rouchal                        <marekr@cpan.org>
 -----------------------------------------------------------------------------
 Version 1.62
 + CPAN#87891: More sanity checks in podselect()
   documentation patches by florent.angly@gmail.com, and a bit of stricter
   checking what clients pass to podselect()

DynaLoader: On android, dl_load_flags should always be 0x00

The linker ignores all the flags and works as if under RTLD_LOCAL,
so don't give users the headache of seeing warnings ala

"Can't make loaded symbols global on this platform while loading %s"

when using a module that subclasses DynaLoader and defines
dl_load_flags to anything else.

CBuilder, link: On Android, always return absolute paths to libraries

Several modules on CPAN expect being able to pass the library
name returned by ->link to DynaLoader::dl_load_file and have it Just Work.
However, because ->link returns relative paths, those modules ran afoul
of Android's linker, which will only look in a handful of hardcoded
system directories for relative libraries, plus whatever LD_LIBRARY_PATH
pointed to at the start of execution.

This commit makes ->link on Android always return an absolute path,
which will be found by the linker.

Update Compress-Raw-Zlib to CPAN version 2.065

  [DELTA]

  2.065 3 February 2014

      * [PATCH] resolve c++ build failure in core
        [#92657]

      * gcc -g3: final link failed: Memory exhausted
        [#88936]

Fix [[:blank:]] handling when no isblank() on platform

isblank() is a C99 construct,  Perl tries to handle the use of this on
C89 platforms by using the standard hard-coded definition.  However,
this code was not updated to account for UTF-8 locales when handling for
those was recently added (31f05a37c), since in a UTF-8 locale the
no-break space is also considered to be a blank.

This commit fixes that.  Previously regcomp.c generated the hard-coded
definitions when there was no isblank(), using #ifdef'd code.  That
special handling was removed, and [:blank:] is always treated just like
any other POSIX class.  The specialness of it is hidden entirely in
handy.h.  This simplifies the regcomp.c code slightly.  I considered
removing the special handling for isascii(), also a C99 construct, in
the name of simplicity over the slight speed that would be lost.  But
the special handling is only a single line in two places, so I left it
in.

deal with assignment to $/ better, deprecate edge cases, and forbid others

The actual behavior of $/ under various settings and how it is documented
varies quite a bit. Clarify the documentation, and add various checks
that are validated when setting $/.

The gist of the problem was that the way that weirdo ref assignments were
handled was mostly broken:

  * setting to a reference to an array, hash, or other higher level
  construct would behave similarly to setting it to a reference to a
  an integer, by numifying the ref and using it as an integer. This
  behavior was entirely undocumented.

  * setting to a reference to 0 or to -1 was *documented* in triggering
  "slurp" behavior, but actually did not. Instead it would set the
  separator to the stringified form of the ref, which would *appear* as
  slurp behavior due to the unlikelihood of a file actually containing
  a string which matched, however was less efficient, and if someone's
  luck were *terrible* might actually behave as a split.

In the future we wish to support more sophisticated ways of setting the
input record separator, possibly supporting things like:

  $/= [ "foo", "bar" ];
  $/= qr/foo|bar/;

Accordingly this patch *forbids* the use of a non scalar ref, and raises
a fatal exception when one does so.

Additionally it treats non-positive refs *exactly* the same as assigning
undef, *including* ignoring the original value and setting $/ to undef.
The means the implementation now matches the documentation. However
since this might involve some crazy script changing in behavior (as one
can't fetch back the original ref from $/) I have added a warning in
category "deprecated" advising the user what has happened and
recommending setting to "undef" explicitly.

As far as I can tell this will only *break* code doing extremely dodgy
things with $/.

While putting together this patch I encountered numerous problems with
porting tests. First off was porting/podcheck.t, which failed test without
saying why or what to do, even under TEST_VERBOSE=1. Then when I did a
regen to update the exceptions database and then used that information
to try to fix the reported problems it seems that it does not work properly
anyway.  Specifically you aren't allowed to have a / in the interesting
parts of a L<> reference. If you replace the / with an E<0x2f> then the
link is valid POD, but podcheck.t then considers it a broken link. If
you then  replace the / in perdiag with E<0x2f> as well then
porting/diag.t complains that you have an undocumented diagnostic!

Accordingly I used the --regen option of podcheck.t to add exceptions to
the exception database. I have no idea if the pod is correctly formatted
or not.

Add RXf_UNBOUNDED_QUANTIFIER and regexp->maxlen

The flag tells us that a pattern may match an infinitely long string.

The new member in the regexp struct tells us how long the string might
be.

With these two items we can implement regexp based $/

Bump version version and remove/update customisations

Sync bleadperl to version.pm 0.9908

Attached is a patch to bring blead up to date with the latest CPAN
release of version.pm 0.9908.  All tests pass (except the expected
porting/customized.t).

I'm hopeful that this will be the last update for a while.  Thanks to
Daniel Dragan for his insistent prodding to improve the code. ;-)

Thanks

John

>From c501530aa386a3ccbdb35bcccbccd35d70315651 Mon Sep 17 00:00:00 2001
From: John Peacock <jpeacock@cpan.org>
Date: Sun, 2 Feb 2014 11:57:44 -0500
Subject: [PATCH] Update bleadperl to CPAN 0.9908 release

Signed-off-by: Chris 'BinGOs' Williams <chris@bingosnet.co.uk>

PATCH [perl #121144]: \S, \W, etc fail for above ASCII

There were three things wrong with these couple of lines of code.that
help generate the synthetic start class (SSC).

1)  It used PL_regkind, instead of straight OP.  This meant that /u
    matches were treated the same as /d matches since they both have the
    same regkind.
2)  For what it thought was just for /d, it used the complement of
    ASCII, which matches 128-INFINITY, whereas it wanted 128-255 only..
3)  It did a union of this complement, instead of a subtract of the
    non-complement, forgetting that we are about to complement the
    result, so that if we want the end result to have something, we
    better have the input not have that something, or the complementing
    will screw it up.

Porting/Glossary: Entries should start with \t not blanks

For otherwise, they get turned into verbatim lines.  I don't know where
to document this.

Fix handy.t for systems without $Config{d_isblank}.

isblank() is a C99 function that may or may not be present,
meaning checking for what's blank under a non-POSIX/C locale may
not match Unicode code points that are considered blank, such as
non-breaking space.

Make the tests for these conditions TODO as it's possible Perl
could implement its own isblank() for these conditions, at least
for UTF-8 locales.

N.B.  If there are implementations that provde isblank() but have
it match only space and tab regardless of locale, this change
probably won't help.

t/re/charset.t probably needs similar treatment.

perldelta for f06c882585

[perl #77672] avoid a file handle redirection race

With multiple threads (and Win32 fork() is implemented in terms of
threads), Win32's popen() code had a race condition where a different
thread could write to the stdout (or read from the stdin) handle setup
for a child process.

Avoid this by using the Win32 API to supply the I/O handles instead of
redirecting them in the current process.

[perl #121134] prevent state variables from being merged into a padrange

Don't pull state vars into padrange ops

Test state vars following padranges [Perl #121134]

'use utf8' should imply /u regex matching

This should be true even if the pattern isn't in utf8.

more tests for signatures

README.qnx: Make verbatim line fit in 79 columns

Resolve c++ build fail in core

Upstreamed as CPAN RT#92657

Update IO-Compress to CPAN version 2.064

  [DELTA]

  2.064 1 February 2014

      * RT #90216: IO-Compress/t/050interop-gzip.t: Use android-compatible
        flags when calling gzip

Update Compress-Raw-Zlib to CPAN version 2.064

  [DELTA]

  2.064 1 February 2014

      * [PATCH] Handle non-PVs better
        [#91558]

      * Z_OK instead of Z_BUF_ERROR
        [#92521]

Update Compress-Raw-Bzip2 to CPAN version 2.064

  [DELTA]

  2.064 1 February 2014

      * [PATCH] Handle non-PVs better
        [#91558]

INSTALL, cross-compile section: It's 2014, stop living in the past

Spotted by Daniel Dragan on #p5p

more torture tests for signatures

Based on tests supplied by Robert 'phaylon' Sedlacek.

Merge blead into zefram/purple_signatures

subroutine signatures

Declarative syntax to unwrap argument list into lexical variables.
"sub foo ($a,$b) {...}" checks number of arguments and puts the
arguments into lexical variables.  Signatures are not equivalent to the
existing idiom of "sub foo { my($a,$b) = @_; ... }".  Signatures are only
available by enabling a non-default feature, and generate warnings about
being experimental.  The syntactic clash with prototypes is managed by
disabling the short prototype syntax when signatures are enabled.

Update ExtUtils-MakeMaker to CPAN version 6.88

  [DELTA]

6.88 Fri Jan 31 20:49:13 GMT 2014

    No changes from 6.87_05

6.87_05 Tue Jan 28 13:54:21 GMT 2014
    Bug fixes:
    * Synchronisation with blead to remove old cross-compilation model

6.87_04 Sun Jan 26 19:29:05 GMT 2014
    Bug fixes:
    * On Android, pass PERL_LIB through rel2abs().

6.87_03 Sun Jan 19 17:49:43 GMT 2014
    Bug fixes:
    * Get rid of unused printf arguments in dynamic_bs

6.87_02 Sat Jan 18 13:00:36 GMT 2014
    Doc fixes:
    * Update documentation for LICENSE attribute.

    Bug fixes:
    * Get rid of unused printf arguments in dir_target

6.87_01 Sun Jan 12 10:31:41 GMT 2014
    Doc fixes:
    * mention that TEST_REQUIRES is in v6.64 and above

Update perldelta_template.pod to include an "Errata From Previous Releases" section

I added this section to the latest perldelta, and Dave M pointed out
that it should become a standard section in the future, so I have added
it to the perldelta_template.pod

Simplify expression, cannot be ANCH_GPOS without being REG_GPOS_SEEN

Update perldelta with details about changes to regexp engine extflags

simplify redundant part of PREGf_ANCH_GPOS test

And add an assert to be sure that we are correct.

ignore vim backup files

Having tests fail because vim created a ~ file for something is just
annoying.

Make configpm produce better diagnostics for malformed glossary entries

Patch 8b6a017ccef7126ae5bcac137fa9a45de4f2c155 added some malformed
entries to Porting/Glossary. (The entries were missing a trailing
colon).

These malformed entries would produce a cryptic one-line warning,
but only when various files were being regenerated. To make things
more difficult these warnings would be produced at the top of, or
in the middle of a large stream of other compilation actions, easily
allowing one to overlook them. Even if you noticed them the information
provided did not make it particularly easy to figure out what was wrong.

This patch changes things so that the warnings contain more information,
it also causes configpm to die, and thus break the build process, once
it finishes scanning the glossary if there were any warnings during
processing. This allows us to avoid whackamole when dealing with multiple
broken entries, and makes it painfully obvious if there are issues
processing the glossary file, which should prevent any future repeat
of the errors in 8b6a017ccef7126.

Fix cross-compilation glossary entries

Patch 8b6a017ccef7126ae5bcac137fa9a45de4f2c155 added three
new entries to Porting/Glossary. These entries were malformed
from the point of view of configpm, which would warn about them.

This fixes the entries, by adding a missing colon to the first
line of each glossary entry.

rename REG_SEEN_WHATEVER to REG_WHATEVER_SEEN to match RXf_ and PREGf_ convention

Add "Errata From Previous Releases" section to perldelta.pod

Which we use to document a mistake in perl5180delta.pod.

This patch also removes the mistake from perl5180delta.pod

[perl #120626] Mention RDF::Trine in perl5200delta

handy.h: Add a cBOOL()

isascii() is used as a fallback for isASCII().  This would be on an
unusual platform or under unusual circumstances.  isascii() may return
values besides 0 and 1 which can cause things that are expecting a bool
to fail.

pp.c: Silence compiler warning

The only time the result of toFOLD_LC() can be larger than a byte is
in a UTF-8 locale, which has already been ruled out for this section of
code.

regcomp.c: Revert mistakenly changed line

Commit 31f05a37 mistakenly included a line that is supposed to be in a
future commit.  This reverts that until then; and adds a test for it, as
this was not caught by the test suite.

INSTALL: Updates to the cross-compilation section

Configure: use $undef, not plain undef

README.qnx: Add a section for cross-compilation

QNX hints: Add LC_ALL=C to targetenv

Glossary for targetenv