In bisect-runner.pl, patch older Configure to add -A

Having -A to append to options is incredibly useful in some situations, and
working round it can be hard, or have other side effects.

Patching to backport it has only taken about twice the time cost (so far!)
from problems caused by not having -A.

bisect-runner.pl now patches another 5.004-era build busting bug.

A missing comma in perl.c breaks about 50 revisions between 2a92aaa05aa1acbf
and 8490252049bf42d3^.

In bisect-runner.pl, make the code to report patching errors more robust.

Previously it was relying on matching an optional part of the patch to get
the name of the file. Now it matches a mandatory part of the patch to get it.

In bisect-runner.pl, refactor the code to extract previous versions of files.

All code to execute variants of git show is now abstracted into subroutines.

In bisect-runner.pl, refactor the code that applies and reverts commits.

This makes it clearer when it is applying or reverting entire commits from
git, distinct from arbitrary system calls, or arbitrary patches.

In bisect-runner.pl, refactor the code that opens and closes file handles.

Can't use autodie, as this code needs to be able to run with the system perl
alone, and autodie wasn't added until 5.10.1. Also, the approach taken here
provides the filename in the error message for a failed close.

allow for 2Gb+ memory allocations on 64-bit Win32 debug builds

long is 32-bit for the 64-bit Win32 memory model, so use the more
portable SSize_t.

Before the change:

C:\Users\tony\dev\perl\git\perl>perl -e "open my $f, 'dir |' or die; $x = ''; re
ad($f, $x, 4, 0x80000000)"
panic: realloc at -e line 1.

and after:

C:\Users\tony\dev\perl\git\perl>perl -e "open my $f, 'dir |' or die; $x = ''; re
ad($f, $x, 4, 0x80000000)"

C:\Users\tony\dev\perl\git\perl>git add util.c

Update CPANPLUS-Dist-Build to CPAN version 0.60

  [DELTA]

  0.60 Thu Oct 27 20:54:22 BST 2011
    - Eliminate the need to use 'perlwrapper' at all by using
      an equivalent one-liner.

Update HTTP-Tiny to CPAN version 0.016

  [DELTA]

  0.016     2011-10-26 23:05:50 America/New_York

  [BUG FIXES]

  - Fixed Perl 5.6 compatibility by emulating utf8::encode [David Golden]

Add Mark A. Stratman to AUTHORS

perlootut.pod: Removed redundant sentence

Stop csh_glob from reading past end of string

It was reading one byte too far, and looking at the trailing null.
This happened only in the case of an unmatched quote.

Make csh_glob remove quote-escaping backslashes

This commit does not change the output on Unix.  On Windows, where the
globbing engine does not usually treat backslashes as escapes, this
restores the behaviour to what it was before commit 0b0e6d70, for
cases like glob('a\"b c\"d').

Before 0b0e6d70, the preprocessing done by csh_glob (which it out-
sourced to Text::ParseWords) would remove backslash escapes, so the
globbing engine got to see a"b and c"d.

Since 0b0e6d70, the backslash escapes were no longer removed (because
in most cases they needed to remain, to avoid backslashitis), so the
globbing engine got to see a\"b and c\"d.  On Unix that made no dif-
ference, as the globbing engine treats \ as an escape character.  But
on Windows it doesn’t usually, so the output changed and produced a
literal a\"b.

This commit strips out quote-escaping backslashes in the prepro-
cessing code.

perlrebackslash: too grammer tweaks

Deparse CORE::do

Deparse CORE::glob

Increase $B::Deparse::VERSION to 1.09

PATCH: [perl #99928] Document that is not a bug

After consulting with Tom Christiansen, we decided that this is not a
bug.  The CR-LF sequence is considered a unit by Unicode, and so should
be inseperable, even when separating the two would cause a pattern to
match that otherwise fails.

PATCH: [perl #101970] /[[:lower:]]/i matches upper case

This bug is a regression in 5.14, in which /[[:lower:]]/i and
/[[:upper:]]/i no longer matched the opposite case.

The fix is to have these use a different table under /i matching, that
includes the correct /i code points.  These tables were already
available, just unused.

regcomp.c: Don't prefix posix props with Is

When confronted with something like [[:alpha:]], regcomp.c adds
IsPosixAlpha to the list of properties for code points above 255 to
match against when executing the pattern.  The 'Is' is extraneous, and
future commits will not want it.

Minor usability improvements to bisect.pl

* Canonicalise the start and end commit-ish to actual commits before changing
  what is checked out. This allows one to use HEAD for either.
* For git 1.6.6 and later, use git bisect reset HEAD to avoid one change of
  what is checked out
* Sanity test the end revision before the start revision (or the search for a
  start revision), as one compile of the end revision is likely to be faster
  than the search (particularly if the search fails), hence on average any
  problems will be reported earlier.

bisect-runner.pl needs to work around an OpenBSD/sparc compiler bug.

OpenBSD 4.6 has a sparc compiler bug that prevents building perl-5.8.0.
Work around this, as bisect.pl assumes that it can build all stable .0
releases.

In bisect-runner.pl, add -L/usr/local/lib in a non-OS-specific way.

It's not scalable to hack the hints file on an OS by OS basis to add
-L/usr/local/lib to ldflags, given that in reality any OS will need it, if
it happens to have "wanted" libraries installed in /usr/local. So apply
the relevant logic that deals with this in perl-5.001n's Configure to earlier
versions of Configure.

With this, we can remove the special case to add -L/usr/local/lib for
FreeBSD, and avoid writing similar code for OpenBSD.

File::Glob: short-circuit earlier for list cx

For <...> without spaces in list context, don’t even bother adding
file names returned by the glob engine to the cached array.  I origin-
ally added a short-circuit that would skip copying the file names from
the cached array on to the stack in that case, because the file names
are already there.  But we can also skip putting them in the array to
begin with, as the cached array is about to be deleted.

This should make things even faster.

File::Glob: Eliminate the doglob alias to bsd_glob

I’m referring here to CVs, not C functions.

Actually, bsd_glob is the alias to doglob.  doglob is no longer
called, as of commit 1bb8785ab1.  So this commit is actually renaming
doglob to bsd_glob and removing the alias.

Skip <~> test on VMS

Make dual-life.t emit full paths

When it fails, this makes it easier to see why.

Tweak dual-life.t’s exclusion list

to ignore ../cpan/Module-Build/MB-gADHN4rt/Simple/bin/foo

(without a .PL extension)

Test $x=wait under arybase

arybase.xs: Always check the op type in ck_*

Sometimes the previous check function will have replaced the op
with one of a different type.  In that case, the rest of arybase’s
check function does not apply and can even cause a crash for ops
with no children (e.g., $x=wait is optimised down to a simple wait
op with no children and with op_targ pointing to $x, if it is
lexical).

arybase.xs: Remove extraneous semicolon

Remove arybase’s Makefile.PL

It only existed to work around an ExtUtils::MakeMaker problem that is
now fixed

Fix CORE::glob

This commit makes CORE::glob bypassing glob overrides.

A side effect of the fix is that, with the default glob implementa-
tion, undefining *CORE::GLOBAL::glob no longer results in an ‘unde-
fined subroutine’ error.

Another side effect is that compilation of a glob op no longer assumes
that the loading of File::Glob will create the *CORE::GLOB::glob type-
glob.  ‘++$INC{"File/Glob.pm"}; sub File::Glob::csh_glob; eval '<*>';’
used to crash.

This is accomplished using a mechanism similar to lock() and
threads::shared.  There is a new PL_globhook interpreter varia-
ble that pp_glob calls when there is no override present.  Thus,
File::Glob (which is supposed to be transparent, as it *is* the
built-in implementation) no longer interferes with the user mechanism
for overriding glob.

This removes one tier from the five or so hacks that constitute glob’s
implementation, and which work together to make it one of the buggiest
and most inconsistent areas of Perl.

Rewrite csh_glob in C; fix two quoting bugs

This commit rewrites File::Glob::csh_glob (which implements perl’s
default globbing behaviour) in C.

This fixes a problem introduced by 0b0e6d70f.  If there is an
unmatched quotation mark, all attempts to parse the pattern are
discarded and it is treated as a single token.  Prior to 0b0e6d70f,
whitespace was stripped from both ends in that case.  As of 0b0e6d70f,
it was only stripped from the beginning.  This commit restores the
pre-0b0e6d70f behaviour with unmatched quotes.  It doesn’t take
'a"b\ ' into account (where the space is escaped), but that wasn’t
handled properly before 0b0e6d70f, either.

This also finishes making csh_glob consistent with regard to quota-
tion marks.  Commit 0b0e6d70f attempted to do that, but did not strip
out medial quotation marks, as in a"b"c.  Text::ParseWords does not
provide an interface for stripping out quotation marks but leaving
backslashes, which I tried to work around, not fully understanding
the implications.  Anyway, this new C implementation doesn’t use
Text::ParseWords.

The latter fix caused a test failure, but that test was there to make
sure the behaviour didn’t change depending on whether File::Glob
was loaded before the first mention of glob().  (In 5.6, loading
File::Glob first would make perl revert to external csh glob, ironic-
ally enough.)  This commit modifies the test to test for sameness,
rather than exact output.  In fact, this change causes perl and
miniperl to be consistent, and probably also causes glob to be more
consistent across platforms (think of VMS).

Another effect of the translation to C is that the Unicode Bug is
fixed with regard to splitting patterns.  The C code effectively does
/\s/a now (which I believe is the only sane behaviour in this case),
instead of treating the string differently depending on the UTF8 flag.
The Unicode Bug is still present with regard to actual globbing.

This commit introduces one regression.  This code:

    undef %File::Glob::;
    glob("nometachars");

will no longer return anything, because csh_glob no longer holds a
reference count on the $File::Glob::DEFAULT_FLAGS glob.  Any code that
does that is beyond crazy.

The big advantage to this patch is speed.  Something like
‘@files = <*>’ is 18% faster in a folder of 300 files.  For smaller
folders there should be an even more notable difference.

Speed up csh_glob

If it’s not going to be using the pattern at all (due to iteration),
there is absolutely no point in parsing it.

This will speed up CORE::glob and <...> as well, since they use
csh_glob by default.

Update HTTP-Tiny to CPAN version 0.015

  [DELTA]

  0.015     2011-10-26 16:42:26 America/New_York

  [BUG FIXES]

  - Make sure PERL_UNICODE doesn't affect PUT test data [Tony Cook]

  [DOCUMENTATION]

  - Fixed typo

bisect-runner.pl can now build all revisions on sparc64 Linux.

test_prep back to 5.001n, miniperl back to 5.000, for both 32 and 64 bit.
This requires backporting tweaks to the Linux hints file, and patching
early Configure to detect byteorder correctly as 87654321 when using
linker flags to build 64 bit.

bisect-runner.pl should patch unreliable C symbol detection code.

Fix Configure's symbol detection to that of commit 373dfab3839ca168 if it's
any intermediate version 5129fff43c4fe08c or later, as the intermediate
versions don't work correctly on (at least) Sparc Linux.

bisect-runner.pl now patches several build-busting-bugs between 5.004 & 5.005

This significantly reduces the number of "skip" revisions between 5.004 and
5.005, at worst speeding up bisects for problems which originate at this
time, at best permitting git bisect to locate the actual commit, instead of
a range of "skip"s.

bisect-runner.pl now copes when historical MANIFEST files list directories.

It had assumed that MANIFEST only listed files, which caused its
'force-manifest' code to choke on revisions between 27332437a2ed1941 and
bf3d9ec563d25054^ inclusive, as manifest contains ext/Thread/Thread

Update ExtUtils-MakeMaker to CPAN version 6.63_01

  [DELTA]

  6.63_01  Sun Oct 23 16:57:24 PDT 2011
    Bug Fixes
    * Stray $ in the PPD and meta files (for example, from the ABSTRACT)
      are now escaped.  [rt.cpan.org 71847]

    Possibly incompatible changes
    * echo() now escapes all dollar signs by default

    New Features
    * echo() has an option to allow make variable expansion.
    * echo() is now passed a hash of options (old style $appending flag
      still works for compatibility).
    * quote_literal() now escapes dollar signs, but allows make variables.
    * quote_literal() has an option to escape make variables.
    * escape_dollarsigns() to escape dollar signs but allow variables
    * escape_all_dollarsigns() to escape all dollar signs

    Improvements
    * The PPD VERSION is now derived from the VERSION variable in the Makefile
      rather than hard coded.

    Bundled Modules
    * Updated CPAN::Meta to 2.112621
    * Updated CPAN::Meta::YAML to 0.004
    * Updated JSON::PP to 2.27200

  6.62  Sun Oct 23 16:43:36 PDT 2011
    No changes from 6.61_01

Make new basic.t glob tests work on Win & VMS

I forgot about the default PERL_EXTERNAL_GLOB setting on VMS and the
special treatment of backslashes on Windows in bsd_glob.c.

Correct comment in Glob.pm

<...> is a double-quotish construct.

Remove part of intrpvar.h comment

This second sentence is no longer true as of 87b9e160.

Make File::Glob::csh_glob consisent wrt '"\

File::Glob::csh_glob, which is the routine implementing Perl’s own
glob function, is not consistent in its treatment of quotation marks
and backslashes.  It differs depending on whether there are white-
space characters in the pattern both preceded and followed by non-
whitespace.

Without whitespace, quotation marks are treated literally and back-
slashes are treated as escapes that cause metacharacters to be treated
literally.  So

    <"foo*">

looks for files with literal quotation marks in their name.

With whitespace, quotation marks are treated as word delimiters, so

    <"foo copy*">

will find file names matching /^foo copy/.  Backslash escapes are pro-
cessed twice, so one has to write

    glob '\\\** .\\\**'

to find files beginning with a literal ‘*’ or ‘.*’.  But simply

    glob '\**'

to find files beginning with ‘*’.  (Note that <> is a double-quotish
operator, so in <> those would have to be quadruple and double back-
slashes, respectively.)

There are two problems with the code:

1) Text::Parsewords is only used when there is whitespace present.  It
   should be used also for quotation marks, too, if they exist.
2) Text::Parsewords should not be removing backslash escapes.
3) Actually, there’s a third.  A final escaped space should also go
   through Text::ParseWords, instead of being stripped.

This commit fixes both things.

In bisect-runner.pl, default to 'cc' not 'gcc'.

With this, bisect-runner.pl can build on Solaris (at least x86 Solaris) back
to 5.000.

Make <~> work again under miniperl

Commit a3342be368 localised %ENV before calling csh for glob.  But
that causes <~> to stop working.  So this commit clears out %ENV
*except* for $ENV{HOME}.

It relies on the way magic works:  Before localising the %ENV hash, it
retrieves its $ENV{HOME} element, which is a magical scalar.  It calls
get-magic to store the value in the scalar itself, localises %ENV, and
then calls set-magic on the element, to signal (deceitfully) that an assignment has just happened.  So the cached value in the magical sca-
lar is used and assigned to the env var.

Add unit tests for Socket::{pack,unpack}_ipv6_mreq

TonyC: add new ipv6_mreq.t test script to MANIFEST

Wrap some IPv6 sockopt constants and ipv6_mreq structure

Add another e-mail address for Jim Meyering

don't segfault given string repeat count larger than 2^31

E.g., this overflows INT_MAX and overruns heap memory:

    $ perl -le 'print "v"x(2**31+1)'
    [Exit 139 (SEGV)]

(Perl_repeatcpy): Use the same type for "count" as our sole
callers in pp.c: IV (long), not I32 (int).  Otherwise, passing
the wider value to a narrower "I32 count"

ignore extra build product from ext/arybase/

fix g++ build breakage introduced in 03d9f026ae25

C++ requires a cast to convert from void * to other types.

perlfunc: List readpipe with qx

Add Laurent Dami to AUTHORS

Test dumpvar.pl with objects whose classes contain ‘=’

Examining objects through the 'x' command in the perl debugger doesn't
work if those objects are blessed into class names containing '='.

This is due to incorrect parsing through 'split' in dumpvar.pl line 165.

Synchronise Module::CoreList version in Maintainers.pl with CPAN

Update Unicode-Collate to CPAN version 0.81

  [DELTA]

  0.81  Sun Oct 23 21:32:36 2011
    - U::C::Locale newly supports locales: ml, mr, or, pa.
    - added loc_ml.t, loc_mr.t, loc_or.t, loc_pa.t in t.
    - updated some locales to CLDR 2.0 : mk, mt, nb, nn, ro, ru.

bisect-runner.pl now builds test_prep on OpenBSD back to 5.002

The historical OpenBSD hints file needs tweaking for compiler and linker
flags, and needs to be provided for revisions before it was added to the
source tree. perl.h and pp_sys.c need patching with the current (i.e. post
1996) #ifdef forest for [gs]etpgrp() variants. perl.h needs to include
<unistd.h> on OpenBSD, else POSIX.xs won't build.

OpenBSD also requires all the parallel Makefile fixes, as its make builds
targets in reverse lexical order, which reveals a lot of assumptions about
build order. (Such as Cwd nearly always being built in time, because it
sorts lexically far ahead of other XS modules dependant on it.)

bisect-runner.pl must patch Makefile.SH to avoid parallel make problems.

Patch in all 4 "extra_dep" rules for XS modules if any are needed as it
simplifies the implementation. It does no harm to have dependency rules for
XS modules "from the future", as they are ignored if the module is not
present. None were needed before Cwd was first converted to an XS module,
so use that as the test for applicability.

Remove a short-lived set of Makefile rules that attempted to run the regen
scripts if needed (commits 9fec149bb652b6e9 and 5bab1179608f81d8), as they
obscure whether correctly regenerated headers were checked in, and can cause
spurious rebuilds or timing-related parallel make failures.

Remove the code to explicitly set @INC in POSIX's Makefile.PL, as the @INC
it sets will cause build failures with make_ext.pl if Cwd isn't built first,
whereas the @INC set by make_ext.pl has no such issue.

bisect-runner.pl now runs the testcase for targets config.{sh,h}

Previously for these two targets it assumed --test-build if a --match
wasn't supplied, and never ran a test case if one was supplied. Now
--test-build must be specified explicitly, otherwise the test case will be
run. For example, this makes it easy to bisect using a testcase which greps
config.sh or config.h. (Of course, one can do roughly this with the --match
option, but this will match against all generated files, which may generate
false positives.)

[perl #101486] Make PL_curstash refcounted

This stops PL_curstash from pointing to a freed-and-reused scalar in
cases like ‘package Foo; BEGIN {*Foo:: = *Bar::}’.

In such cases, another BEGIN block, or any subroutine definition,
would cause a crash.  Now it just happily proceeds.  newATTRSUB and
newXS have been modified not to call mro_method_changed_in in such
cases, as it doesn’t make sense.

Update Archive-Extract to CPAN version 0.58

  [DELTA]

  Changes for 0.58    Sat Oct 22 20:25:00 2011
  ============================================
  * Apply patch from Craig A. Berry [rt#71846]
    make _untar_bin use Unix-syntax archive names
    on VMS

regexp_unicode_prop.t: Add tests.

These tests make sure that a user-defined property may be included as
part of another user-defined property.

perlunicode: Fix example.

5.14 restricted the names of user-defined property subroutines to begin
with 'Is' and 'In', as has always been documented.  But the example
in that documentation didn't follow that restriction.

Update perlfaq to CPAN version 5.0150036

  [DELTA]

  5.0150036 Sat 22 Oct 2011 16:20:34 +0100
    * Website moved from faq.perl.org -> learn.perl.org (ranguard)
    * Delete some questions/cleanup copy (ranguard)
    * Make perlfaq.pod shorter/cleaner (kablamo)
    * Many cleanups and corrections (shlomif)

Update HTTP-Tiny to CPAN version 0.014

  [DELTA]

  0.014     2011-10-20 13:54:13 America/New_York

  [NEW FEATURES]

  - Adds additional shorthand methods for all common HTTP verbs
    (HEAD, PUT, POST, DELETE) [David Golden]

  - post_form() method for POST-ing x-www-form-urlencoded data
    [David Golden]

  - www_form_urlencode() utility method [David Golden]

Reimplement $[ as a module

This commit reimplements $[ using PL_check hooks, custom pp func-
tions and ties.

Outside of its compile-time use, $[ is now parsed as a simple varia-
ble, so function calls like foo($[) are permitted, which was not the
case with the former implementation removed by e1dccc0.  I consider
that a bug fix.

The ‘That use of $[ is unsupported’ errors are out of necessity
deferred to run-time and implemented by a tied $[.

Indices between 0 and the array base are now treated consistently, as
are indices between a negative array base and zero.  That, too, is
a bug fix.

perlrecharclass: Nit

Fix a path in the release guide

Create a perldelta for 5.15.5

Add the 5.15.4 epigraph

Add a release announcement template to Porting

This makes it just a little bit easier for release managers
and also fixes the perennial north-hemisphere bias in the future
release date.

Fix the installation of pod2html

Add acknowledgements to the perldelta

Stop Porting/acknowledgements.pl from producing hatespace

Add 5.15.4 to perlhist

Remove the MANIFEST check from the release guide

We already have porting tests catching this. I really don't see how this could
end up being screwed or how it'd be more likely at this point during the release
process than at any other time.

Update Module::CoreList for 5.14.4

Bump the perl version in various places for 5.15.4

Get perldelta into mostly finished state

David changelogged this

Thanks, David!

[perl #101738] Make sv_sethek set the UTF8 flag correctly

It was only ever turning it on, and not turning it off if the sv hap-
pened to have it on from its previous use.

This caused ref() (which uses sv_sethek(TARG,...)) to return a shared
scalar with the UTF8 flag on, even if it was supposed to be off.

For shared scalars, the UTF8 flag on ASCII strings does make a differ-
ence.  The pv *and* the flags are used in hash lookup, for speed.

So a scalar returned by ref() with the UTF8 flag on by mistake would
not work in hash lookups.  exists $classes{ref $foo} would return
false, even if there were an entry for that class.

Remove untrue comment from t/op/ref.t

This has been untrue since it was added in commit 6e592b3a.

bisect-runner.pl now builds test_prep on NetBSD back to 5.002

The historical NetBSD hints need tweaking for dynamic linking flags, and
older versions of unixish.h needs tweaking to include <signal.h>

Remove my todo commits from perldelta template

perldelta entry for improved AV/etc OUTPUT typemaps

Document the new, fixed AV/etc typemaps

Make core-cpan-diff work with a minicpan

It was trying to download a test file that doesn't exist in minicpans.

Dennis has (yet) another e-mail address :)

Build failed in Jenkins: perl5 #80

Tiny typo, this will fix it:

[dkaarsemaker@dromedary perl]$ git diff

Signed-off-by: H.Merijn Brand <h.m.brand@xs4all.nl>

perldelta: document base.pm changes

regexec.c: Add another place to not re-fold

This adds regrepeat to no keep re-folding to the recent commits

regexec.c: Another place to not re-fold

A recent commit caused regexec.c to not keep calculating the folds in
one circumstance.  This one adds the case in regmatch

utf8.c: Don't use swash for to_uni_lower() latin1 calls

The lowercase of latin-1 range code points is known to the perl core, so
for those we can short-ciruit converting to utf8 and reading in a swash

regexec.c: Less work in /i matching

If you watch an execution trace of regexec /i, often you will see it
folding the same thing over and over, as it backtracks or searches
ahead.  regcomp.c has now been changed to always fold UTF-8 encoded
EXACTF and EXCACTFU nodes.  This allows these to not be re-folded each
time.

This commit does it just for find_by_class().  Other commits will expand
this technique for other cases.

utf8.c: Add comment

utf8.c: White space only

Indent newly formed blocks, and reflow comments and code to fit in
narrower space

utf8.c: Add 'input pre-folded' flags to foldEQ_utf8_flags

This adds flags so that if one of the input strings is known to already
have been folded, this routine can skip the (redundant) folding step.