Optimise substr assignment in void context

In void context we can optimise

    substr($foo, $bar, $baz) = $replacement;

to something like

    substr($foo, $bar, $baz, $replacement);

except that the execution order must be preserved.  So what we actu-
ally do is

    substr($replacement, $foo, $bar, $baz);

with a flag to indicate that the replacement comes first.  This means
we can also optimise assignment to two-argument substr the same way.

Although optimisations are not supposed to change behaviour,
this one does.

• It stops substr assignment from calling get-magic twice, which means
  the optimisation makes things less buggy than usual.
• It causes the uninitialized warning (for an undefined first argu-
  ment) to mention the substr operator, as it did before the previous
  commit, rather than the assignment operator.  I think that sort of
  detail is minor enough.

I had to make the warning about clobbering references apply whenever
substr does a replacement, and not only when used as an lvalue.  So
four-argument substr now emits that warning.  I would consider that a
bug fix, too.

Also, if the numeric arguments to four-argument substr and the
replacement string are undefined, the order of the uninitialized warn-
ings is slightly different, but is consistent regardless of whether
the optimisation is in effect.

I believe this will make 95% of substr assignments run faster.  So
there is less incentive to use what I consider the less readable form
(the four-argument form, which is not self-documenting).

Since I like naïve benchmarks, here are Before and After:

$ time ./miniperl -le 'do{$x="hello"; substr ($x,0,0) = 34;0}for 1..1000000'

real 0m2.391s
user 0m2.381s
sys 0m0.005s
$ time ./miniperl -le 'do{$x="hello"; substr ($x,0,0) = 34;0}for 1..1000000'

real 0m0.936s
user 0m0.927s
sys 0m0.005s

Don’t coerce $x immediately in foo(substr $x...)

This program:

    #!perl -l
    sub myprint { print @_ }
    print substr *foo, 1;
    myprint substr *foo, 1;

produces:

    main::foo
    Can't coerce GLOB to string in substr at - line 4.

Ouch!

I would expect \substr simply to give me a scalar that peeks into the
original string, but without modifying the original until the return
value of \substr is actually assigned to.

But it turns out that it coerces the original into a string immedi-
ately, unless it’s GMAGICAL.  I find the exception for magical varia-
ble rather befuddling.  I can only imagine it was for efficency (since
the stringified form will be overwritten when magic_setsubstr calls
SvGETMAGIC), but that doesn’t make sense as the original variable can
itself be modified between the return of the special lvalue and the
assignment to that lvalue.

Since magic_setsubstr itself coerces the variable into a string upon
assignment to the lvalue, we can just remove the coercion code from
pp_substr.

But that causes double uninitialized warnings in cases like
substr($undef, 0,0) = "lrep".

That happens because pp_substr is still stringifying the variable (but
without modifying it).  It has to do that, as it looks at the length
of the original string and accordingly adjusts the offsets stored in
the lvalue if they are negative or if they extend beyond the end of
the string.

So this commit takes the simple route of avoiding the warning in
pp_substr by only stringifying a variable that is SvOK if called in
lvalue context.

Hence, assignment to substr($tied...) will continue to call FETCH
twice, but that is not a new bug.

The ideal solution would be for the offsets to be translated in mg.c,
rather than in pp_substr.  But that would be a more involved change
(including most of this commit, which is therefore not wasted) with
potential backward-compatibility issue with negative numbers.

A side effect it that the ‘Attempt to use reference as lvalue in
substr’ warning now occurs during the assignment to the substr lvalue,
rather that substr itself.  This means it occurs even for tied varia-
bles, so things are now more consistent.

The example at the beginning could still croak if the glob were
replaced with a null string, so this commit only partially allevi-
ates the pain.

Optimise __SUB__ to a constant

If __SUB__ is not inside a closure, it can be optimised to a constant.
We can only do this in the peephole optimiser, as we cannot tell
whether PL_compcv will become a closure until we reach the end
of the sub.

The __SUB__ op cannot simply be replaced with a const op, as the par-
ent op is not readily available in the peephole optimiser and, hence,
we cannot change its pointer.

So we have to convert the runcv op itself into a const op.  So it
has to be the same size.  This commit makes it a PVOP, since newPVOP,
unlike newSVOP, allows a null pv.  To avoid adding workarounds to B
modules, I put an exception in newPVOP’s assertion, instead of chang-
ing the type in regen/opcodes.

But B::Deparse still had to be updated to avoid infinite recursion.

Update Unicode-Collate to CPAN version 0.87

  [DELTA]

  0.87  Sat Nov 26 17:01:42 2011
    - Now Locale/*.pl files are searched in @INC. (see [rt.cpan.org #72666])
    - added locale_version method to access the version number of Locale/*.pl.

correct some erroneous linking in 5.14.0 delta

Add AutoLoader upgrade to perldelta

Update B-Debug to CPAN version 1.17

  [DELTA]

  1.17 2011-11-25 rurban
        * FSF address change

bisect.pl avoids perl-5.004 and earlier on case insensitive systems.

bisect.pl now probes to see if the checkout is on a case insensitive file
system (such as the default HFS+ on OS X), and if so, uses perl-5.005 as
the earliest stable release to test.

This should make bisect.pl "just work" on a typical OS X system, for the
vast majority of use cases.

bisect-runner.pl now builds back to 5.005 on the default OS X filesystem.

OS X defaults to case-insensitive HFS+. perl-5.8.0 and later have hints
files to avoid a clash between Makefile and makefile, and hence can build
without problems. Teaching bisect-runner.pl to replicate this hints tweak
allows it to build perl-5.6.0 and perl-5.005 on a default HFS+.
However, only do this for a case insensitive filesystem, else it breaks
the build for 5.003 and earlier (which hardcode 'makefile' in places).

perl-5.004 and earlier won't work on a default HFS+ without a *lot* of
bodgery, as the distribution from that era has two files, Configure and
configure, which trample over each other and confuse git. There are case
clashes in later revisions, which may create unexpected failures for
some actions (versus the same action on a case sensitive file system) but
they don't appear to affect building any 5.*.0 revisions.

bisect-runner.pl can build back to 5.002 on OS X on a case sensitive HFS+
file system.

bisect-runner.pl should avoid ext/Hash/Util/FieldHash being built twice.

Commit 550428fe486b1888 stopped the invocation of ext/Hash/Util/Makefile.PL
automatically recursing to ext/Hash/Util/FieldHash/Makefile.PL, as make_ext
was also calling it directly. This then resulted in two makes running in
parallel in ext/Hash/Util/FieldHash, which could all end in tears (and
failed builds). Hence we need to apply this fix if it isn't present, to
avoid spurious build failures during bisect runs.

bisect-runner.pl can now build on AIX back to perl-5.002

Two "one line" fixes to Configure and pp_sys.c are enough to get all .0
stable releases to build. perl-5.001n also builds as far as miniperl.

This makes bisect.pl useful for diagnosing problems on AIX.

In bisect-runner.pl, fall back to context diffs for ancient patch binaries.

AIX supplies a pre-historic patch program, which certainly predates Linux
and is probably older than NT. It can't cope with unified diffs. Meanwhile,
it's hard enough to get git diff to output context diffs, let alone git show,
and nearly all the patches embedded here are unified. So it seems that the
path of least resistance is to convert unified diffs to context diffs.

In bisect-runner.pl, only shell out to patch from apply_patch().

Previously the system's patch binary was invoked from 3 places. Refactoring
the code to only call it from one place will make it easier to work around
ancient versions of patch that some vendors still supply.

.\win32\mdelete.bat not needed

From: "Konovalov, Vadim (Vadim)** CTR **" <vadim.konovalov@alcatel-lucent.com>
Subject: [PATCH v5.15.5-187] .\win32\mdelete.bat not needed
Date: Thu, 24 Nov 2011 21:48:26 +0100
Message-ID: <35BF8D9716175C43BB9D67CA60CC345E2E0284DD@FRMRSSXCHMBSC2.dc-m.alcatel-lucent.com>

Don’t warn for foo+1 with ($) proto

Commit 22393538 added the warning for (;$) prototypes, but
ended up adding it for ($) as well.

evalbytes should ignore outer utf8 declaration

A slight mistake in the evalbytes.t test script caused a lot of tests
not be testing what they were supposed to be testing for.  I used
'qq(\x...)' instead of qq('\x...').  (I.e., I was trying to embed lit-
eral Unicode characters in the string, rather than pass escapes to
evalbytes.)

I had wondered at the time why it worked without my doing anything, so
I probably should have looked deeper.

Upgrade AutoLoader to 5.72

Mostly just a FSF address update.

regen pod issues

perlgpl.pod: wrap long line

Increase $SelfLoader::VERSION to 1.19

Update references to the FSF's postal address

Test ambiguous warning with (;$) proto

When parsing subs with user-defined prototypes, store information needed to throw warnings

Suppress ‘once’ warning in gmagic.t

Add lib/perl5db/t/rt-104168 to MANIFEST

The attached patch adds to the debugger a capability I thought about
ages ago and which turned out to be absurdly easy to implement.  It adds
an optional parameter to the t(race) command, a maximum number of stack
frames to trace below the current one:, e.g.:

     t 3 - turn tracing on, trace up to 3 levels below current depth, be
silent below that
     t 2 fnord() - trace up to 2 levels deep in execution of fnord()

Since it is backwards compatible I added it to the legacy command set as
well, but that's certainly debatable.

‘Inline’ S_sv_unglob

S_sv_unglob is only called in one place, so inline it (but cheat, to
preserve blame history).

Make COW-clobbering faster

There is this special SV_COW_DROP_PV flag that gets passed to
sv_force_normal_flags to signal that the SV is about to be clobbered,
so there is no point in allocating a new PV.  But this flag was not
actually being used, until the previous commit commandeered it for
globs (despite the name).

Now it actually does what it says.

Before and after:

$ time ./perl -e '$x = __PACKAGE__, undef $x for 1..8000000'

real 0m5.758s
user 0m5.740s
sys 0m0.008s
$ time ./perl -e '$x = __PACKAGE__, undef $x for 1..8000000'

real 0m3.290s
user 0m3.282s
sys 0m0.006s

Make assignment over glob copies much faster

sv_force_normal is passed the SV_COW_DROP_PV flag if the scalar is
about to be written over.  That flag is not currently used.  We can
speed up assignment over fake GVs a lot by taking advantage of the flag.

Before and after:

$ time ./perl -e '$x = *foo, undef $x for 1..2000000'

real 0m4.264s
user 0m4.248s
sys 0m0.007s
$ time ./perl -e '$x = *foo, undef $x for 1..2000000'

real 0m1.820s
user 0m1.812s
sys 0m0.005s

Call FETCH once for rcatline

lib/version.t: suppress warning

perlfunc: Don’t put __SUB__ between substr entries

I made the mistake of putting it after the first =item substr,
instead of before it.

sysread should not ignore magic on its buffer

sysread uses SvPV_force, which has a bug in it.  Even if the SV_GMAGIC
flag is passed to sv_pvn_force_flags (which SvPV_force does), it
ignores magic in any typeglob argument.

Make sselect call fetch once

Not only does this commit make four-argument select call fetch once
on each argument (instead of sometimes 0 times), but it also checks
whether the argument is a string after calling fetch now, instead of
before, in determining whether to warn about a non-string.

Move substr tests under t/op

Commit a4499558 moved them under t/re along with the subst tests, but
these are unrelated to regexps.

Call FETCH once when chomping a tied ref

pp.c: Remove useless read-only check from S_do_chomp

After sv_force_normal_flags, the scalar will no longer be read-only,
except in those cases where sv_force_normal_flags croaks.  So this
check will never be true when SvFAKE was true.

Call FETCH once for $tied_ref =~ y/a/b/

Increase $IO::File::VERSION to 1.16

Remove ‘use File::Spec’ from IO::File

It is not using it any more.

__SUB__ should warn in void context

Use correct err msg in XS version check

When an XS module’s version is checked when it is loading, the string
"version" should be treated the same way as "versions" and emit the
‘Invalid version format’ error, instead of being treated as a version
object at first and then rejected by the validator with the ‘Invalid
version object’ error.

See also perl #102586.

Remove $SIG{__WARN__} from XSLoader.t

Nothing is using the results of this handler any more.

Produce right error msg for $ver < "version"

"version" was being treated as a version object and then failing
the validation check.  It should be treated as a string, just like
"versions":

$ perl5.15.4 -Ilib -e '$^V < "version"'
Invalid version object at -e line 1.

$ perl5.15.4 -Ilib -e '$^V < "versions"'
Invalid version format (dotted-decimal versions require at least three parts) at -e line 1.

See also perl #102586.

gv.c: Remove SV_GMAGIC from sv_catpvn_flags call.

This function doesn’t take that flag.  It wasn’t doing anything.

Update Pod-LaTeX to CPAN version 0.60

  [DELTA]

  added another LaTeX escape: --- => -{}-{}-

  Pod::LaTeX doesn't handle -- in PODs specially, passing it directly to
  LaTeX, which then proceeds to replace it with a single -. This patch
  replaces ----- with -{}-{}-{}-{}-

Update Unicode-Collate to CPAN version 0.86

  [DELTA]

  0.86  Wed Nov 23 17:16:00 2011
    - tailored compatibility ideographs as well as unified ideographs for
      the locales: ja, ko, zh__big5han, zh__gb2312han, zh__pinyin, zh__stroke.
    - added loc_cjkc.t in t.

Move the implementation of --validate from bisect.pl to bisect-runner.pl

--validate sets a default testcase by assigning to @ARGV if its empty. It
makes more sense to do this in bisect-runner.pl, as that processes options
fully, unlike bisect.pl, which passes most through. Hence bisect.pl doesn't
know if some elements of @ARGV are actually options, and hence no testcase
has been supplied, and hence the default is needed.

This change permits the use of --validate with build options such as -D to
work as expected.

Add a --make option to bisect.pl, to specify an alternate make command.

For example, one can utilise this to use gmake instead of the system make.

UNIVERSAL::VERSION should treat "version" as a string

It was treating it as a version object and then failing the validation
test, instead of treating it as an invalid version format, as it does
with "versions":

$ ./perl -Ilib -e'$VERSION = "versions"; main->VERSION(1)'
Invalid version format (dotted-decimal versions require at least three parts) at -e line 1.
$ ./perl -Ilib -e'$VERSION = "version"; main->VERSION(1)'
Invalid version object at -e line 1.

See also perl #102586.

printf "%vd", "version" should not SEGV

See perl #102586.

On AIX, bisect-runner.pl must patch Makefile.SH for parallel make issues.

It needs to emulate the bug fix of e6807d8ab22b761c, to ensure lib/Config.pm
is built before makedef.pl is run.

makedef.pl uses Config.pm, so needs a Makefile dependency on it.

Commit 9d6c7f2eccef26a6 changed makedef.pl to use Config.pm
Commit 208d7614b345d1fb refactored makedef.pl to read values from
%Config::Config, instead of reading directly from config.sh

Hence we can replace the dependency on config.sh with one on lib/Config.pm

[perl #102586] version->new("version") SEGVs

This adds an ROK check after calling sv_derived_from, as the latter
also works for class names.  It is done after sv_derived_from, rather
than before, as sv_derived_from calls get-magic.

arybase.xs be more defensive

There can be no other keys used with ab_ck_base but clang's static
analyzer has a point in complaining about the missing default case.
This is too fragile if any CHECK is added in BOOT.

Correct spelling of double free warning

The perldiag entry said ‘nonexistent’, which is correct.  hv.c said
‘non-existent’, which is, well, questionable.  They should be the
same, so I corrected hv.c.  I also added the %s%s to the end in
perldiag.

Correct perldiag entry for sv_replace panic

This commit changed the warning to an error and reworded it, but never
updated the docs (this commit completes the TODO):

perl-5.8.0-5715-g30e5c35
commit 30e5c352c9c1099120007e8b6e9318a33d99b3bb
Author: Nicholas Clark <nick@ccl4.org>
Date:   Thu Aug 25 13:46:31 2005 +0000

    Promote the warning about reference miscount in sv_replace to a panic.
    TODO - document the panics

    p4raw-id: //depot/perl@25330

perldiag: Fix categories of internal severe warnings

Some severe/default warnings in the internal and debugging categories
were listed as errors (P) or regular warnings (W).

sv.c/sv_insert_flags: typo

amagic_deref_call does not necessitate SPAGAIN

As amagic_deref_call pushes a new stack, PL_stack_sp will always have
the same value before and after, so SPAGAIN is unnecessary.

[Merge] [RT #36079] Convert ` to '

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Where sensible, replace consecutive single quotation marks with a double quotation mark.

[RT #36079] Due to test failures, revert conversion from backtick to single quote.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

Version bumps

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

op.c: typo

Make Data::Dumper UTF8- and null-clean with GVs

Update IO-Compress to CPAN version 2.043

  [DELTA]

  2.043 20 November 2011

      * IO::Compress::Base
        - Fixed issue that with handling of Zip files with two (or more)
          entries that were STORED. Symptom is the first is uncompressed
          ok, but the next will terminate early if the size of the file is
          greater than BlockSize.
          Regression test added to t/006zip.t
          [RT# 72548]

Update Compress-Raw-Bzip2 to CPAN version 2.043

  [DELTA]

  2.043 20 November 2011

      * No Changes

Update Compress-Raw-Zlib to CPAN version 2.043

  [DELTA]

  2.043 20 November 2011

      * No Changes

Update Archive-Tar to CPAN version 1.82

  [DELTA]

  * important changes in version 1.82 21/11/2011 (CDRAKE)
    - Adjustments to handle files >8gb (>0777777777777 octal)
    - Feature to return the MD5SUM of files in the archive

[perl #103766] Wrong $" warning in perl 5.14

This code:

    "@{[ $x ]}"

was producing the warning:

    Use of uninitialized value $" in join or string at -e line 1.

erroneously, as of commit 6d1f0892c.

Commit 6d1f0892c was meant to fix bug #72090, which caused the varia-
ble to be mentioned even for the > warning in this instance:

    $ ./perl -we '$a = @$a > 0'
    Use of uninitialized value $a in array dereference at -e line 1.
    Use of uninitialized value $a in numeric gt (>) at -e line 1.

The fix for #72090 was wrong, because the loop that it modified loops
through the kid ops, finding out how many candidates there are.  If
there is only one candidate left, it is used.  Skipping ops that could
be responsible for the undefined value just because we don’t want
to mention their variables is the wrong approach, at least in that
loop, as the blame will fall on whatever other op is left if there
is only one.

There is code further up to deal with the OP_RV2[AH]V case, that des-
cends explicitly into the child ops.  This commit tweaks that code to
descend only for the top-level op, to allow @{ $x } to warn still
about an uninitialised value used in array dereference.  Where @{...}
is an operand to the operator that is emitting the warning, we don’t
descend.  That is how #72090 should have been fixed to begin with, as
it has no odd side effects.

This bug (#103766) affects any other cases where there are two oper-
ands and one is @{...} or %{...}:

    $ perl5.15.4 -e 'use warnings "uninitialized"; $y = 6; $y + @{ $x }'
    Use of uninitialized value $x in array dereference at -e line 1.
    Use of uninitialized value $y in addition (+) at -e line 1.

$y is obviously not responsible there.

Move a test from t/lib/warnings/sv to .../9uninit

I think .../sv is for warnings originating from code in sv.c, not just
any uninitialized warnings, the code for handling which is in sv.c.
We have 9uninit for a reason.

In Perl_moreswitches(), merge the cases for 't' and 'T'.

Both bodies were the same, aside from hardcoded 't' and 'T', which can be
replaced with a variable.

Merge bisect-runner.pl fixes for 5.11-era parallel make bugs.

"all known" - that's a description to tempt fate. But bisect-runner.pl
should now avoid falling foul of make race conditions introduced from late
December 2008, and only resolved in January 2010.

Without the fixes, the parallel make bugs could mean that a bisect would
sometimes fail to build any revision in the range. The best case would be a
"skip" on an intermediate revision, and a slightly slower bisect run. The
worst case would be the bisect reporting failure to complete, giving a
range of skipped revisions instead of a definitive answer.

bisect-runner.pl now fixes all known 5.11-era parallel make bugs.

bisect-runner.pl now patches Makefile.SH to ensure that lib/Config_git.pl
is built before configpm is run, and that configpm is run exactly ones.

"all known" - that's a description to tempt fate. But bisect-runner.pl should
now avoid falling foul of make race conditions introduced from late December
2008, and only resolved in January 2010.

bisect-runner.pl now fixes another 5.11-era parallel make bug.

Emulate commit 2b63e250843b907e, by correcting Makefile.SH to correctly
describe the relationship between git_version.h, lib/Config_git.pl and
running make_patchnum.pl

bisect-runner.pl now fixes more 5.11-era make bugs.

bisect-runner.pl now patches Makefile.SH to ensure that git_version.h is built
before perl.o, for revisions between the addition of git_version.h, and the
addition of rules to ensure the correct build sequence.

bisect-runner.pl now fixes more 5.11-era parallel make bugs.

Backport two of the bugfixes from commit 0f13ebd5d71f8177 into earlier
revisions. Avoid running autodoc.pl or ./generate_uudmap more than once.

bisect-runner.pl now fixes some 5.11-era parallel make bugs.

bisect-runner.pl now patches Makefile.SH with correct dependencies for the
first iteration of incorporating the git version in perl -V output by
writing the files .patchnum or unpushed.h.

This era is important because contains the commit that merges Schwern's y2038
work, which is likely to be significant for some testcases.

Synchronise Module-CoreList version with what is teh on CPAN