Increase $B::Concise::VERSION to 0.87

Add evalbytes function

This function evaluates its argument as a byte string, regardless of
the internal encoding.  It croaks if the string contains characters
outside the byte range.  Hence evalbytes(" use utf8; '\xc4\x80' ")
will return "\x{100}", even if the original string had the UTF8 flag
on, and evalbytes(" '\xc4\x80' ") will return "\xc4\x80".

This has the side effect of fixing the deparsing of CORE::break under
‘use feature’ when there is an override.

parser.h: Rearrange constants

Put LEX_IGNORE_UTF8_HINTS near the only other constant passed
to lex_start

Forbid source filters in Unicode evals

Source filters have always been byte-level filters.  Therefore they
don’t make sense on Unicode strings, unless we are planning to add
new APIs to support it.  Until then, croak.

Increase $feature::VERSION to 1.23

eval STRING UTF8 cleanup.

(modified by the committer only to apply when the unicode_eval
feature is enabled)

Add unicode_eval feature

It doesn’t do anything yet.

Allow dual-life.t to be run outside t/

Tweak dual-life.t’s exceptions again

Boy, this script requires a *lot* of maintenance.

Fix hash.t’s miniperl skip

each() should not leave RITER set on empty hash

Commit 900ac0519e (5.11.0) sped up keys() on an empty hash by modify-
ing the iteration code not to loop through the buckets looking for an
entry if the number of keys is 0.  Interestingly, it had no visible
affect on keys(), but it *did* have one on each().  Resetting the ite-
rator’s current bucket number (RITER) used to be done inside that loop
in hv_iternext.  keys() always begins by resetting the iterator, so it
was unaffected.  But each %empty will leave the iterator as-is.  It
will be set on an empty hash if the last element was deleted while an
iterator was active.  This has buggy side-effects.

    $h{1} = 2;
    each %h;  # returns (1, 2)
    delete $h{1};
    each %h;  # returns false; should reset iterator
    $h{1}=2;
    print each %h, "\n";  # prints nothing

Commit 3b37eb248 (5.15.0), which changed the way S_hfreeentries works.
(S_hfreentries is called by all operators that empty hashes, such as
%h=() and undef %h.)  Now S_hfreentries does nothing if the hash is
empty.  That change on its own should have been harmless, but the
result was that even %h=() won’t reset RITER after each() has put
things in an inconsistent state.  This caused test failures in
Text::Tabulate.

So the solution, of course, is to complete the change made by
900ac0519e and reset the iterator properly in hv_iternext if the
hash is empty.

hv.c: comment typo

Glob.xs: remove unused vars

These are left over from the refactoring that took place
with commit 1bb8785a.

tie.t: typos

Perl_hv_kill_backrefs is also used in scope.c

Sorry for the smoke.

Hide pad vars from magic methods on scope exit

If, during scope exit, a pad var is being cleared for reuse, it needs
to be hidden from magic methods that might reference it through weak
references.  Otherwise they can end up modifying the var that will be
seen next time that scope is entered, by blessing it, etc.

Weak refs to pad hvs should go stale

When a lexical variable goes out of scope, as in

    {
        my %lexical_variable;
        ...
    }
    # no longer in scope here

it is supposed to disappear as far as Perl code can tell.  That the
same SV is reused the next time that scope is entered is an implement-
ation detail.

The move of hashes’ back-references from magic into the HvAUX struc-
ture in 5.10 caused this implementation detail to leak through.

Normally, weak references to pad variables going out of scope are
killed off:

    {
        my $scalar;
        weaken ($global_scalar = \$scalar);
    }
    # here $global_scalar is undef

When hashes’ back-references were moved, leave_scope was not updated
to account.  (For non-hash variables, it’s the mg_free call that takes
care of it.)  So in this case:

    {
        my %hash;
        weaken ($global_scalar = \%hash);
    }

$global_scalar would still reference a hash, but one marked PADSTALE.
Modifications to that hash through the reference would be visible the
next time the scope was entered.

sort MANIFEST

Remove vos/syslog.h from MANIFEST

Build perl using the dynamic linking capabilities of OpenVOS Release 17.1. Remove private copies of some POSIX functions that are now implemented by OpenVOS.

Add GNU/Hurd hints for NDBM_File

currently, there are few tests failing because of a broken NDBM module;
using the same hints as used on Linux (given that apparently the cause
is the same) makes the following tests pass:
  t/op/dbm.t
  cpan/autodie/t/dbmopen.t
  cpan/Memoize/t/errors.t
  cpan/Memoize/t/tie_ndbm.t
  ext/NDBM_File/t/ndbm.t
  lib/AnyDBM_File.t

Dominic Hargreaves adds: Note that the original git commit log [what
you see above] lists some tests which aren't affected in blead.

Fill out sv_upgrade docs

See commit 5a0c33f0f.

Restore VMS glob skip removed in 1bb8785a.

The test appears to be checking the handling of double quotes in
File::Glob::csh_glob(), but on VMS, we're not using that, we're
using Perl_vms_start_glob().  Perhaps the latter should do some
quote removal as well.

Fix hang in ext/POSIX/t/sysconf.t on GNU/Hurd

while compiling perl 5.14.2 on GNU/Hurd, I ran into what it seems a
undefined POSIX behaviour in ext/POSIX/t/sysconf.t.

      my $fd = POSIX::open($fifo, O_RDWR)
      or skip("could not open $fifo ($!)", 3 * @path_consts_fifo);

according to the POSIX open()[1] about O_RDWR,
  The result is undefined if this flag is applied to a FIFO.
.... which is actually our case.
Apparently Linux and *FreeBSD (and maybe also OSes) accept this
behaviour, but on GNU/Hurd this causes the open() call to block
undefinitely. Given there's nothing done with the FIFO if not querying
{,f}pathconf() values, the proposed solution I attached is to change
the opening mode to "O_RDONLY | O_NONBLOCK".

[1] http://pubs.opengroup.org/onlinepubs/9699919799/functions/open.html

Use SvUPGRADE, not sv_upgrade, in sv_sethek

This was causing some interesting HTML::Element failures, which were
only triggered by HTML::DOM’s test suite.

ref’s TARG can become tainted if another op in the same statement
turns on tainting for the rest of the statement, so it becomes a PVMG.
The next call to the same ref will try to sv_upgrade it to a PV (which
is lower).  Only the macro version, SvUPGRADE, checks whether the
upgrade is needed.

ref only calls sv_sethek when it has a blessed object for its argu-
ment, hence the strange-looking test.

Deparse ()[()]

A pushmark doesn’t have to have a sibling:

$ ./perl -Ilib -MO=Concise -e '()[()]'
6  <@> leave[1 ref] vKP/REFC ->(end)
1     <0> enter ->2
2     <;> nextstate(main 1 -e:1) v:{ ->3
5     <2> lslice vK/2 ->6
-        <1> ex-list lK ->4
3           <0> pushmark s ->4
-           <0> stub lP ->-
-        <1> ex-list lK ->5
4           <0> pushmark s ->5            <-- look here!
-e syntax OK

Stop @{""} = reverse @_ from crashing

Class::ClassDecorator was crashing during compilation on this line:

        @{"$name\::ISA"} = ( reverse @_ );

I presume this was due to commit 540dd770, which changed the way the
inplace-reverse optimisation is activated, because the crash happens
in S_inplace_aassign.  But deleting even one line of code here or
there makes the crash go away (hence the lack of tests).

This is my reasoning for how this commit eliminates the crash:

    @{""} = reverse @_

compiles down to

b     <2> aassign[t5] vKS/COMMON ->c
-        <1> ex-list lK ->8
3           <0> pushmark s ->4
7           <@> reverse[t4] lK/1 ->8
4              <0> pushmark s ->5
6              <1> rv2av[t3] lK/1 ->7
5                 <#> gv[*_] s ->6
-        <1> ex-list lK ->b
8           <0> pushmark s ->9
a           <1> rv2av[t1] lKRM*/1 ->b
-              <@> scope sK ->a
-                 <0> ex-nextstate v ->9
9                 <$> const[PV ""] s ->a

Notice that the second rv2av does not have an a gv op as its child,
but a scope instead.

In S_inplace_aassign, which checks to see whether the optimisation is
even possible, oleft refers to the second rv2av above (with scope as
its child; i.e., @{""}) while oright refers to the first rv2av (with
gv as its child; @_).

This check to make sure the left side is an array

    /* Check the lhs is an array */
    if (!oleft ||
(oleft->op_type != OP_RV2AV && oleft->op_type != OP_PADAV)
|| oleft->op_sibling
|| (oleft->op_private & OPpLVAL_INTRO)
    )
return;

does not check the op type of the rv2av’s child.

So this check, a little further on, to see whether the arrays are the
same on both sides (which applies only to rv2av; padav is handled
further on):

    /* check the array is the same on both sides */
    if (oleft->op_type == OP_RV2AV) {
if (oright->op_type != OP_RV2AV
    || !cUNOPx(oright)->op_first
    || cUNOPx(oright)->op_first->op_type != OP_GV
    || cGVOPx_gv(cUNOPx(oleft)->op_first) !=
       cGVOPx_gv(cUNOPx(oright)->op_first)
)
    return;

assumes that cUNOPx(oleft)->op_first is a gv op.

That is not the case when the lhs is @{""}, so
cGVOPx_gv(some_scope_op) ends up trying to read
((PADOP*)some_scope_op)->op_padix under threaded perls, passing
that ‘index’ (which is actually the scope op’s op_first field) to
PAD_SV[...], consequently reading past the end of the pad and possibly
into unallocated territory; hence the crash.

Make Storable load even with %INC modified

Modified to stop Log::Agent from loading, that is.

There’s at least one CPAN module that does it.  While that module
could be blamed, Storable used to be more robust in this area
before the AutoLoader extirpation, and there is nothing wrong with
robustness.

Errno does not escape archname

With a @ or $ or % character in the user-choosen archname, Errno fails.
I usually use @ to denote git tags in the archlib.

E.g. Possible unintended interpolation of @khwtk in string at ../lib/Errno.pm line 12

Update ExtUtils-MakeMaker to CPAN version 6.63_02

Make diag.t runnable outside t/

Warn for $[ ‘version’ checks

Following Michael Schwern’s suggestion, here is a warning for those
hapless folks who use $[ for version checks.

It applies whenever $[ is used in one of: < > <= >=

PATCH: [perl #101710] Regression with /i, latin1 chars.

The root cause of this bug is that it was assuming that a string was in
utf8 when it wasn't, and so was thinking that a byte was a starter byte
that wasn't, so was skipping ahead based on that starter byte.

In bisect.pl, provide a default test for --validate, and summary output.

If no test case is specified for --validate, use TEST to run t/base/*.t
We can't run minitest because some tests fail on earlier versions, and
bisect-runner.pl intentionally doesn't patch any regression tests.

Add -l and -w options to bisect-runner.pl, for use with -e

This allows simpler one-liners with -e and print, as one no longer needs to
add "\n" to all output. Reformat the example for --validate to use -l instead
of "\n".

In bisect.pl, use --start and --end to give ranges to --validate

This allows the user to specify a subset of revisions to test build.

Add --force-regen to bisect-runner.pl to regen_headers before building.

--force-regen runs C<make regen_headers> before building F<miniperl>. This
may fix a build that otherwise would skip because the generated headers at
that revision are stale. It's not the default because it conceals this error
in the true state of such revisions.

In bisect-runner.pl, remove "faking it" code from the main flow.

Refactor the code to fake a correct MANIFEST into force_manifest() and
force_manifest_cleanup(). Refactor the code that emulates -Dnoextensions
into fake_noextensions().

This should make it easier to see the main flow of the program.

In bisect-runner.pl, consolidate the code that patches extensions.

All the code that patches extensions extensions is now moved to patch_ext().

In bisect-runner.pl, consolidate the code that patches .SH and C files.

All the code that patches .SH files is now moved to patch_SH().
All the code that patches C files is now moved to patch_C().

In bisect-runner.pl, consolidate the code that patches Configure and hints.

All the code that patches Configure is now moved to patch_Configure().
All the code that patches hints files is now moved to patch_hints().

This should start to make it easier to see the main flow of the program.

Add a --validate option to bisect.pl to verify that stable releases build.

This is useful for validating a new OS/CPU/compiler combination, and for
checking that refactoring bisect-runner.pl hasn't broken any that previously
worked.

Fix third argument to setresgid call while setting $(.

[Committer's note: discussion on perl5-security-report concluded that
exploitability was low to nonexistent because any system that has setresgid
but not setregid will pretend to have the latter and define it in terms
of the former (see "#ifndef HAS_SETREGID" in perl.h).  But the bug should
be fixed in case that code gets exposed in the future.  The approach
taken in perl.h was also called into question and may elicit further
discussion and patching.]

Note: bug this only affects systems that have setresgid but not setregid
(since that codepath prefers the latter over the former). To the best of
my knowledge, no such systems exists (nor would it make much sense) so
this bug is probably not exploitable, but I can't guarantee that.

When the effective group is set using setresgid, it does this:
  setresgid((Gid_t)PL_gid, (Gid_t)-1, (Gid_t) 1);
That last 1 should have been a -1. Instead of leaving the saved GID
unchanged it sets it to to 1. This means privileges are not permanently
dropped, but instead the GID is set to 1 (if possible). The program can
thereafter change it's effective and real GIDs to 1.

perlfunc/glob: Explain use of quotes

perldelta update

t/porting/authors.t can send just the git log info needed by checkAUTHORS.pl

Using a custom pretty format to reduce the data passed drops the runtime by
about 25%. Admittedly small in absolute terms, but an easy change whose
gains will slowly accumulate.

Remove $date from Porting/checkAUTHORS.pl, which was never used.

It was added in commit 00229b9760c33911, along with the pattern which
captured the value of 'AuthorDate:', when checkAUTHORS.pl was converted to
parsing the output of git log instead of p4 log. Neither the old nor the new
code made any use of dates, hence the variable (and the capture) were never
needed.

Improve general GNU hints, needed for GNU/Hurd.

Bug-Debian: http://bugs.debian.org/636609

Patch-Name: fixes/hurd-hints.diff

With minor modifications to add Pino to AUTHORS.

Correct FreeBSD hints file for FreeBSD 10.0

Perl does not build on FreeBSD 10.0 because some checks in
hints/freebsd.sh think FreeBSD 10 is FreeBSD 1 and therefore enable
behaviour only appropriate for a.out systems.

The below patch was included in the lang/perl5.12 port and fixes its
build. The resulting binaries are also suitable to compile other ports.
I have also verified that this patch applies to lang/perl5.10 and
lang/perl5.14, making them build.

Add Jilles Tjoelker to AUTHORS.

Remove some repeated code in pp_regcomp

Fix =~ $str_overloaded (5.10 regression)

In 5.8.x, this code:

  use overload '""'=>sub { warn "stringify"; --$| ? "gonzo" : chr 256 };
  my $obj = bless\do{my $x};
  warn "$obj";
  print "match\n" if chr(256) =~ $obj;

prints

  stringify at - line 1.
  gonzo at - line 3.
  stringify at - line 1.
  match

which is to be expected.

In 5.10+, the stringification happens one extra time, causing a failed match:

  stringify at - line 1.
  gonzo at - line 3.
  stringify at - line 1.
  stringify at - line 1.

This logic in pp_regcomp is faulty:

    if (DO_UTF8(tmpstr)) {
assert (SvUTF8(tmpstr));
    } else if (SvUTF8(tmpstr)) {
... copy under ‘use bytes’...
    }
    else if (SvAMAGIC(tmpstr)) {
/* make a copy to avoid extra stringifies */
tmpstr = newSVpvn_flags(t, len, SVs_TEMP | SvUTF8(tmpstr));
    }

The SvAMAGIC check never happens when the UTF8 flag is on.

Increase $strict::VERSION to 1.05

unconfuse strict.pm documentation

my() does not localize variables, and reusing variable names is
confusing too

DosGlob: Comment typo

DosGlob: Don’t parse an pattern that will not be used

This is the same change for efficiency’s sake that was applied to
File::Glob in commit edfed4c3099a.

File::Glob: Consistent use of spaces after dots

(except after e.g.)

File::Glob: Remove docs specific to Mac Classic

These have been obsolete since commit e37778c28b in 2009.

Document File::Glob::csh_glob

In <https://rt.cpan.org/Ticket/Display.html?id=72021>, Damian Con-
way writes:

> PS: List::Maker previously followed the documented behaviour of
>     File::Glob, rather than the actual behaviour. So there's arguably a
>     bug in File::Glob as well. ;-)

List::Maker was forwarding calls to File::Glob::bsd_glob from its
global override in scopes where its override did not apply.  The
File::Glob documentation was misleading and implied that that was the
correct thing to do.

PATCH: [perl #101940]: BBC Tk

This commit that turned up this bug turns out merely exposes an
underlying problem that could be generated via other means.

regcomp.c was looking at the SvUTF8 flag on the input pattern before
doing an SvPV on it.  Generally the flag is considered not reliable
unless checked immediately after a SvPV.

I haven't been able to come up with a simple test case that reproduces
the bug.  I suspect that XS code is required to trigger it.

regcomp.c: Use no_mg for 2nd fetch of pattern

The pattern could be tied, for example, and so only want to access it
once.  I couldn't come up with a test case that actually exercised this,
but I can think of future changes to regcomp that would.

Fix spelling in comment

Glob.xs: Remove dMY_CXT from bsd_glob

It has been redundant since 1bb8785a (when bsd_glob was still
called doglob).

DosGlob: eliminate %iter

This hash is redundant, as the presence of an entry in %entries is
sufficient.

Increase $File::DosGlob::VERSION to 1.07

Glob.xs: Clarify comment

Glob.xs: Remove comment

This was obsoleted by commit f4cbf9907d.

Glob.xs: consting

Glob.xs: Be more parsimonious with SVs

Since this is XS code, we don’t have to store array references in
a hash.  We can just store the arrays themselves.

Glob.xs: Remove comment

This not longer applies really, as I’ve significantly modified it.

Oops: Fix Glob.xs assertion failure

This happens under :bsd_glob when <>/glob is called in list context.

Glob.xs: Eliminate x_GLOB_ITER

There is no need to keep a separate scalar to remember the number of
items in an array.  We can just use the array.

Document File::Glob’s :bsd_glob tag

Add :bsd_glob export tag to File::Glob [perl #96116]

This is intended to replace the :glob export tag.  The problem with
:glob is that the glob export (File::Glob::glob) does not support ite-
ration, but tries to return a whole list each time; hence it causes
while(<*>) to loop endlessly, as it is repeatedly returning the last
file (scalar context).

Since there may be code relying on that, we cannot easily change it,
but we can supplant it.

Since bsd_glob is already documented as supporting spaces in patterns
(that match spaces in file names; i.e., that are not separators), this
commit adds a :bsd_glob export tag that only differs from :glob in
that the exported glob() function iterates in scalar context.

An imminent commit will add documentation.

Glob.xs: Refactor iteration into separate function

Parsing of a glob pattern and iteration logic are now in separate
functions, so that another function (soon to be added) can share
the same iteration code.

Move the do() test in Deparse’s core.t

It should be in the list of unary, not nullary, functions.

I’m surprised the tests passed on non-mad builds.

Remove unnecessary cruft from the module example.

This makes it more like a real module would be written while retaining it's utility as a teaching boilerplate.

* require Exporter instead of use with no import
* Declare and initialize variables together.
* Eliminate archaic RCS/CVS versioning clutter.
* Explain what @ISA does.
* Remove archaic (and slower) &func syntax from exporting
* Remove %EXPORT_TAGS.  It's not explained and rarely used.
* Remove redundant @EXPORT_OK
* Use cleaner $priv_func->() syntax rather than &$priv_func.
* Eliminate prototypes, they're clutter, rarely used and dangerous.

TonyC: update known_pod_issues.dat

produce a properly sorted known_pod_issues.dat

e08998bf6 changed the generated sort order but didn't regen the file.

Fixed dative inaccuracy in perlmod.pod.

Remove unnecessary makefile fix-up code from bisect-runner.pl

As it always uses blead's version of makedepend, there's no need to correct
makefile and x2p/makefile for mistakes left by earlier versions of makedepend.

In bisect-runner.pl, patch older Configure to add -A

Having -A to append to options is incredibly useful in some situations, and
working round it can be hard, or have other side effects.

Patching to backport it has only taken about twice the time cost (so far!)
from problems caused by not having -A.

bisect-runner.pl now patches another 5.004-era build busting bug.

A missing comma in perl.c breaks about 50 revisions between 2a92aaa05aa1acbf
and 8490252049bf42d3^.

In bisect-runner.pl, make the code to report patching errors more robust.

Previously it was relying on matching an optional part of the patch to get
the name of the file. Now it matches a mandatory part of the patch to get it.

In bisect-runner.pl, refactor the code to extract previous versions of files.

All code to execute variants of git show is now abstracted into subroutines.

In bisect-runner.pl, refactor the code that applies and reverts commits.

This makes it clearer when it is applying or reverting entire commits from
git, distinct from arbitrary system calls, or arbitrary patches.

In bisect-runner.pl, refactor the code that opens and closes file handles.

Can't use autodie, as this code needs to be able to run with the system perl
alone, and autodie wasn't added until 5.10.1. Also, the approach taken here
provides the filename in the error message for a failed close.

allow for 2Gb+ memory allocations on 64-bit Win32 debug builds

long is 32-bit for the 64-bit Win32 memory model, so use the more
portable SSize_t.

Before the change:

C:\Users\tony\dev\perl\git\perl>perl -e "open my $f, 'dir |' or die; $x = ''; re
ad($f, $x, 4, 0x80000000)"
panic: realloc at -e line 1.

and after:

C:\Users\tony\dev\perl\git\perl>perl -e "open my $f, 'dir |' or die; $x = ''; re
ad($f, $x, 4, 0x80000000)"

C:\Users\tony\dev\perl\git\perl>git add util.c

Update CPANPLUS-Dist-Build to CPAN version 0.60

  [DELTA]

  0.60 Thu Oct 27 20:54:22 BST 2011
    - Eliminate the need to use 'perlwrapper' at all by using
      an equivalent one-liner.

Update HTTP-Tiny to CPAN version 0.016

  [DELTA]

  0.016     2011-10-26 23:05:50 America/New_York

  [BUG FIXES]

  - Fixed Perl 5.6 compatibility by emulating utf8::encode [David Golden]

Add Mark A. Stratman to AUTHORS

perlootut.pod: Removed redundant sentence

Stop csh_glob from reading past end of string

It was reading one byte too far, and looking at the trailing null.
This happened only in the case of an unmatched quote.

Make csh_glob remove quote-escaping backslashes

This commit does not change the output on Unix.  On Windows, where the
globbing engine does not usually treat backslashes as escapes, this
restores the behaviour to what it was before commit 0b0e6d70, for
cases like glob('a\"b c\"d').

Before 0b0e6d70, the preprocessing done by csh_glob (which it out-
sourced to Text::ParseWords) would remove backslash escapes, so the
globbing engine got to see a"b and c"d.

Since 0b0e6d70, the backslash escapes were no longer removed (because
in most cases they needed to remain, to avoid backslashitis), so the
globbing engine got to see a\"b and c\"d.  On Unix that made no dif-
ference, as the globbing engine treats \ as an escape character.  But
on Windows it doesn’t usually, so the output changed and produced a
literal a\"b.

This commit strips out quote-escaping backslashes in the prepro-
cessing code.

perlrebackslash: too grammer tweaks

Deparse CORE::do

Deparse CORE::glob

Increase $B::Deparse::VERSION to 1.09

PATCH: [perl #99928] Document that is not a bug

After consulting with Tom Christiansen, we decided that this is not a
bug.  The CR-LF sequence is considered a unit by Unicode, and so should
be inseperable, even when separating the two would cause a pattern to
match that otherwise fails.

PATCH: [perl #101970] /[[:lower:]]/i matches upper case

This bug is a regression in 5.14, in which /[[:lower:]]/i and
/[[:upper:]]/i no longer matched the opposite case.

The fix is to have these use a different table under /i matching, that
includes the correct /i code points.  These tables were already
available, just unused.

regcomp.c: Don't prefix posix props with Is

When confronted with something like [[:alpha:]], regcomp.c adds
IsPosixAlpha to the list of properties for code points above 255 to
match against when executing the pattern.  The 'Is' is extraneous, and
future commits will not want it.