Add lib/perl5db/t/rt-104168 to MANIFEST

The attached patch adds to the debugger a capability I thought about
ages ago and which turned out to be absurdly easy to implement.  It adds
an optional parameter to the t(race) command, a maximum number of stack
frames to trace below the current one:, e.g.:

     t 3 - turn tracing on, trace up to 3 levels below current depth, be
silent below that
     t 2 fnord() - trace up to 2 levels deep in execution of fnord()

Since it is backwards compatible I added it to the legacy command set as
well, but that's certainly debatable.

‘Inline’ S_sv_unglob

S_sv_unglob is only called in one place, so inline it (but cheat, to
preserve blame history).

Make COW-clobbering faster

There is this special SV_COW_DROP_PV flag that gets passed to
sv_force_normal_flags to signal that the SV is about to be clobbered,
so there is no point in allocating a new PV.  But this flag was not
actually being used, until the previous commit commandeered it for
globs (despite the name).

Now it actually does what it says.

Before and after:

$ time ./perl -e '$x = __PACKAGE__, undef $x for 1..8000000'

real 0m5.758s
user 0m5.740s
sys 0m0.008s
$ time ./perl -e '$x = __PACKAGE__, undef $x for 1..8000000'

real 0m3.290s
user 0m3.282s
sys 0m0.006s

Make assignment over glob copies much faster

sv_force_normal is passed the SV_COW_DROP_PV flag if the scalar is
about to be written over.  That flag is not currently used.  We can
speed up assignment over fake GVs a lot by taking advantage of the flag.

Before and after:

$ time ./perl -e '$x = *foo, undef $x for 1..2000000'

real 0m4.264s
user 0m4.248s
sys 0m0.007s
$ time ./perl -e '$x = *foo, undef $x for 1..2000000'

real 0m1.820s
user 0m1.812s
sys 0m0.005s

Call FETCH once for rcatline

lib/version.t: suppress warning

perlfunc: Don’t put __SUB__ between substr entries

I made the mistake of putting it after the first =item substr,
instead of before it.

sysread should not ignore magic on its buffer

sysread uses SvPV_force, which has a bug in it.  Even if the SV_GMAGIC
flag is passed to sv_pvn_force_flags (which SvPV_force does), it
ignores magic in any typeglob argument.

Make sselect call fetch once

Not only does this commit make four-argument select call fetch once
on each argument (instead of sometimes 0 times), but it also checks
whether the argument is a string after calling fetch now, instead of
before, in determining whether to warn about a non-string.

Move substr tests under t/op

Commit a4499558 moved them under t/re along with the subst tests, but
these are unrelated to regexps.

Call FETCH once when chomping a tied ref

pp.c: Remove useless read-only check from S_do_chomp

After sv_force_normal_flags, the scalar will no longer be read-only,
except in those cases where sv_force_normal_flags croaks.  So this
check will never be true when SvFAKE was true.

Call FETCH once for $tied_ref =~ y/a/b/

Increase $IO::File::VERSION to 1.16

Remove ‘use File::Spec’ from IO::File

It is not using it any more.

__SUB__ should warn in void context

Use correct err msg in XS version check

When an XS module’s version is checked when it is loading, the string
"version" should be treated the same way as "versions" and emit the
‘Invalid version format’ error, instead of being treated as a version
object at first and then rejected by the validator with the ‘Invalid
version object’ error.

See also perl #102586.

Remove $SIG{__WARN__} from XSLoader.t

Nothing is using the results of this handler any more.

Produce right error msg for $ver < "version"

"version" was being treated as a version object and then failing
the validation check.  It should be treated as a string, just like
"versions":

$ perl5.15.4 -Ilib -e '$^V < "version"'
Invalid version object at -e line 1.

$ perl5.15.4 -Ilib -e '$^V < "versions"'
Invalid version format (dotted-decimal versions require at least three parts) at -e line 1.

See also perl #102586.

gv.c: Remove SV_GMAGIC from sv_catpvn_flags call.

This function doesn’t take that flag.  It wasn’t doing anything.

Update Pod-LaTeX to CPAN version 0.60

  [DELTA]

  added another LaTeX escape: --- => -{}-{}-

  Pod::LaTeX doesn't handle -- in PODs specially, passing it directly to
  LaTeX, which then proceeds to replace it with a single -. This patch
  replaces ----- with -{}-{}-{}-{}-

Update Unicode-Collate to CPAN version 0.86

  [DELTA]

  0.86  Wed Nov 23 17:16:00 2011
    - tailored compatibility ideographs as well as unified ideographs for
      the locales: ja, ko, zh__big5han, zh__gb2312han, zh__pinyin, zh__stroke.
    - added loc_cjkc.t in t.

Move the implementation of --validate from bisect.pl to bisect-runner.pl

--validate sets a default testcase by assigning to @ARGV if its empty. It
makes more sense to do this in bisect-runner.pl, as that processes options
fully, unlike bisect.pl, which passes most through. Hence bisect.pl doesn't
know if some elements of @ARGV are actually options, and hence no testcase
has been supplied, and hence the default is needed.

This change permits the use of --validate with build options such as -D to
work as expected.

Add a --make option to bisect.pl, to specify an alternate make command.

For example, one can utilise this to use gmake instead of the system make.

UNIVERSAL::VERSION should treat "version" as a string

It was treating it as a version object and then failing the validation
test, instead of treating it as an invalid version format, as it does
with "versions":

$ ./perl -Ilib -e'$VERSION = "versions"; main->VERSION(1)'
Invalid version format (dotted-decimal versions require at least three parts) at -e line 1.
$ ./perl -Ilib -e'$VERSION = "version"; main->VERSION(1)'
Invalid version object at -e line 1.

See also perl #102586.

printf "%vd", "version" should not SEGV

See perl #102586.

On AIX, bisect-runner.pl must patch Makefile.SH for parallel make issues.

It needs to emulate the bug fix of e6807d8ab22b761c, to ensure lib/Config.pm
is built before makedef.pl is run.

makedef.pl uses Config.pm, so needs a Makefile dependency on it.

Commit 9d6c7f2eccef26a6 changed makedef.pl to use Config.pm
Commit 208d7614b345d1fb refactored makedef.pl to read values from
%Config::Config, instead of reading directly from config.sh

Hence we can replace the dependency on config.sh with one on lib/Config.pm

[perl #102586] version->new("version") SEGVs

This adds an ROK check after calling sv_derived_from, as the latter
also works for class names.  It is done after sv_derived_from, rather
than before, as sv_derived_from calls get-magic.

arybase.xs be more defensive

There can be no other keys used with ab_ck_base but clang's static
analyzer has a point in complaining about the missing default case.
This is too fragile if any CHECK is added in BOOT.

Correct spelling of double free warning

The perldiag entry said ‘nonexistent’, which is correct.  hv.c said
‘non-existent’, which is, well, questionable.  They should be the
same, so I corrected hv.c.  I also added the %s%s to the end in
perldiag.

Correct perldiag entry for sv_replace panic

This commit changed the warning to an error and reworded it, but never
updated the docs (this commit completes the TODO):

perl-5.8.0-5715-g30e5c35
commit 30e5c352c9c1099120007e8b6e9318a33d99b3bb
Author: Nicholas Clark <nick@ccl4.org>
Date:   Thu Aug 25 13:46:31 2005 +0000

    Promote the warning about reference miscount in sv_replace to a panic.
    TODO - document the panics

    p4raw-id: //depot/perl@25330

perldiag: Fix categories of internal severe warnings

Some severe/default warnings in the internal and debugging categories
were listed as errors (P) or regular warnings (W).

sv.c/sv_insert_flags: typo

amagic_deref_call does not necessitate SPAGAIN

As amagic_deref_call pushes a new stack, PL_stack_sp will always have
the same value before and after, so SPAGAIN is unnecessary.

[Merge] [RT #36079] Convert ` to '

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Where sensible, replace consecutive single quotation marks with a double quotation mark.

[RT #36079] Due to test failures, revert conversion from backtick to single quote.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

Version bumps

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

op.c: typo

Make Data::Dumper UTF8- and null-clean with GVs

Update IO-Compress to CPAN version 2.043

  [DELTA]

  2.043 20 November 2011

      * IO::Compress::Base
        - Fixed issue that with handling of Zip files with two (or more)
          entries that were STORED. Symptom is the first is uncompressed
          ok, but the next will terminate early if the size of the file is
          greater than BlockSize.
          Regression test added to t/006zip.t
          [RT# 72548]

Update Compress-Raw-Bzip2 to CPAN version 2.043

  [DELTA]

  2.043 20 November 2011

      * No Changes

Update Compress-Raw-Zlib to CPAN version 2.043

  [DELTA]

  2.043 20 November 2011

      * No Changes

Update Archive-Tar to CPAN version 1.82

  [DELTA]

  * important changes in version 1.82 21/11/2011 (CDRAKE)
    - Adjustments to handle files >8gb (>0777777777777 octal)
    - Feature to return the MD5SUM of files in the archive

[perl #103766] Wrong $" warning in perl 5.14

This code:

    "@{[ $x ]}"

was producing the warning:

    Use of uninitialized value $" in join or string at -e line 1.

erroneously, as of commit 6d1f0892c.

Commit 6d1f0892c was meant to fix bug #72090, which caused the varia-
ble to be mentioned even for the > warning in this instance:

    $ ./perl -we '$a = @$a > 0'
    Use of uninitialized value $a in array dereference at -e line 1.
    Use of uninitialized value $a in numeric gt (>) at -e line 1.

The fix for #72090 was wrong, because the loop that it modified loops
through the kid ops, finding out how many candidates there are.  If
there is only one candidate left, it is used.  Skipping ops that could
be responsible for the undefined value just because we don’t want
to mention their variables is the wrong approach, at least in that
loop, as the blame will fall on whatever other op is left if there
is only one.

There is code further up to deal with the OP_RV2[AH]V case, that des-
cends explicitly into the child ops.  This commit tweaks that code to
descend only for the top-level op, to allow @{ $x } to warn still
about an uninitialised value used in array dereference.  Where @{...}
is an operand to the operator that is emitting the warning, we don’t
descend.  That is how #72090 should have been fixed to begin with, as
it has no odd side effects.

This bug (#103766) affects any other cases where there are two oper-
ands and one is @{...} or %{...}:

    $ perl5.15.4 -e 'use warnings "uninitialized"; $y = 6; $y + @{ $x }'
    Use of uninitialized value $x in array dereference at -e line 1.
    Use of uninitialized value $y in addition (+) at -e line 1.

$y is obviously not responsible there.

Move a test from t/lib/warnings/sv to .../9uninit

I think .../sv is for warnings originating from code in sv.c, not just
any uninitialized warnings, the code for handling which is in sv.c.
We have 9uninit for a reason.

In Perl_moreswitches(), merge the cases for 't' and 'T'.

Both bodies were the same, aside from hardcoded 't' and 'T', which can be
replaced with a variable.

Merge bisect-runner.pl fixes for 5.11-era parallel make bugs.

"all known" - that's a description to tempt fate. But bisect-runner.pl
should now avoid falling foul of make race conditions introduced from late
December 2008, and only resolved in January 2010.

Without the fixes, the parallel make bugs could mean that a bisect would
sometimes fail to build any revision in the range. The best case would be a
"skip" on an intermediate revision, and a slightly slower bisect run. The
worst case would be the bisect reporting failure to complete, giving a
range of skipped revisions instead of a definitive answer.

bisect-runner.pl now fixes all known 5.11-era parallel make bugs.

bisect-runner.pl now patches Makefile.SH to ensure that lib/Config_git.pl
is built before configpm is run, and that configpm is run exactly ones.

"all known" - that's a description to tempt fate. But bisect-runner.pl should
now avoid falling foul of make race conditions introduced from late December
2008, and only resolved in January 2010.

bisect-runner.pl now fixes another 5.11-era parallel make bug.

Emulate commit 2b63e250843b907e, by correcting Makefile.SH to correctly
describe the relationship between git_version.h, lib/Config_git.pl and
running make_patchnum.pl

bisect-runner.pl now fixes more 5.11-era make bugs.

bisect-runner.pl now patches Makefile.SH to ensure that git_version.h is built
before perl.o, for revisions between the addition of git_version.h, and the
addition of rules to ensure the correct build sequence.

bisect-runner.pl now fixes more 5.11-era parallel make bugs.

Backport two of the bugfixes from commit 0f13ebd5d71f8177 into earlier
revisions. Avoid running autodoc.pl or ./generate_uudmap more than once.

bisect-runner.pl now fixes some 5.11-era parallel make bugs.

bisect-runner.pl now patches Makefile.SH with correct dependencies for the
first iteration of incorporating the git version in perl -V output by
writing the files .patchnum or unpushed.h.

This era is important because contains the commit that merges Schwern's y2038
work, which is likely to be significant for some testcases.

Synchronise Module-CoreList version with what is teh on CPAN

[perl #80628] __SUB__

After much alternation, altercation and alteration, __SUB__ is
finally here.

Test for lack of uninit warnings in sub redef

This adds tests for something I fixed ‘by mistake’ in efcf35c4, which
occurs from 5.8.0 to 5.15.5:

$ perl5.15.4  -le '
   use warnings "uninitialized";
   use constant {u=>undef,v=>undef};
   sub foo(){u} sub foo(){v}
'
Use of uninitialized value at -e line 1.
Use of uninitialized value at -e line 1.

sv.c: newSVpvf( → Perl_newSVpvf(aTHX_

I don’t know why this is necessary, but there are some strange
#defines surrounding this function.

Put sub redef warnings in one place

The logic surrounding subroutine redefinition warnings (to warn or not
to warn?) was in three places.  Over time, they drifted apart, to the\rpoint that newXS was following completely different rules.  It was
only warning for redefinition of functions in the autouse namespace.
Recent commits have brought it into conformity with the other redefi-
nition warnings.

Obviously it’s about time we put it in one function.

PATCH: [perl #104226]: Name.pm missing from unicore

The installperl script needed to be updated to include this file.

Make const redef warnings default in newXS

There is no reason why constant redefinition warnings should be
default warnings for sub foo(){1}, but not for newCONSTSUB (which
calls newXS, which triggers the warning).

To make this work properly, I also had to import sv.c’s ‘are these
const subs from the same SV originally?’ logic.  Constants created
with XS can have NULL for the SV (they return an empty list or
&PL_sv_undef), which means sv.c’s logic will stop *this=\&that from
warning if both this and that are such XS-created constants.
newCONSTSUB needed to be consistent with that.  It required tweaking a
test I added a few commits ago, which arguably shouldn’t have warned
the way it was written.

As of this commit (and before it, too, come to think of it),
newXS_len_flags’s calling convention is quite awful and would need to
be throughly re-thunk before being made into an API, or probably sim-
ply never made into an API.

Refactor newXS’s autouse logic

Putting inside the if() condition allows me to add an || in the
next commit.

utf8.c: typos in pod

PATCH: [perl #32080] is_utf8_string() reads too far

This function and is_utf8_string_loclen() are modified to check before
reading beyond the end of the string; and the pod for is_utf8_char()
is modified to warn about the buffer overflow potential.

utf8.h: Add missing parens

These weren't caught because it only is compiled on an EBCDIC platform,
and I had to fake it to force the compilation

utf8.h: define IS_UTF8_CHAR for EBCDIC

This is based on my eyeballing a file I had generated of the encodings
for Unicode code points, so could be wrong.  It does compile

utf8.h: White space only

This indents for clarity with the surrounding #if, and #end.

utfebcdic.h: Add synonymous macros

I8 is a synonym for 'UTF' in this context, and is more meaningful to me.

perldiag: constant redef warning is not always default

If the value of the new constant is the same as the old, this warning
only occurs under ‘use warnings 'redefine'’ and $^W=1, not under $^W=0
outside of any warnings scope.

perlsub: constant redef warning is default, not mandatory

Make constant sub redef warnings obey scope

In perldiag, this is listed as (S), which means that outside of any
use/no warnings scope it always warns, regardless of $^W.

But this warning was ignoring use/no warnings, too.

There were actually tests for this oddity, but I think those were
added by mistake, or this was just not thought through.  I cannot see
how this is not a bug.

autouse.t: suppress warnings

Don’t call an early-returning destructor

This speeds things up 2.8 times in my naïve benchmarks.

This applies to code like:

    use constant DEBUG => 1;
    DESTROY { return unless DEBUG; ... }

which gets optimised down to:

    DESTROY { return; ... }

Adding such a destructor will now have almost no impact on speed in
production.

Make newXS redefinition warning respect UTF8

Make newCONSTSUB use the right warning scope.

newCONSTSUB uses the compile-time warning hints, instead of the run-
time hints.  This means that

  use warnings;
  BEGIN {
    no warnings;
    some_XS_function_that_calls_new_CONSTSUB();
  }

may trigger a redefinition warning, whereas it should be analogous to

  use warnings;
  BEGIN {
    no warnings;
    *foo = \&bar;
  }

which does not warn.

newCONSTSUB localises PL_curcop and sets it to &PL_compiling.  When it
does that, it needs to copy the hints over.

Running tests inside eval is not reliable without a test count, so I
added one.

Restore autouse’s exemption from redef warnings

This also restores the subroutine redefinition warning for newly-cre-
ated XSUBs outside the autouse package.  See below.

This commit added the exemption to fix a known bug, that loading a
module and importing from it would cause a redefinition warning if
there were an autouse stub:

perl-5.004_03-1092-g2f34f9d
commit 2f34f9d4825ac9262ece854fc4c50479f4838ff8
Author: Ilya Zakharevich <ilya@math.berkeley.edu>
Date:   Mon Mar 2 16:36:02 1998 -0500

    Make autouse -w-safe

    p4raw-id: //depot/perl@781

The subroutine redefinition warning occurs in three places.
This commit removed the autouse exemption from two
of them.  I can’t see how it wasn’t a mistake, as <5104D4DBC598D211B5FE0000F8FE7EB202D49EE9@mbtlipnt02.btlabs.bt.co.uk>
(the apparent source of the patch, makes no mention of it:

perl-5.005_02-2920-ge476b1b
commit e476b1b5c29f354cf8dad61a9fc6d855bdfb5b7d
Author: Gurusamy Sarathy <gsar@cpan.org>
Date:   Sun Feb 20 22:58:09 2000 +0000

    lexical warnings update, ability to inspect bitmask in calling
    scope, among other things (from Paul Marquess)

    p4raw-id: //depot/perl@5170

This commit refactored things to remove some compiler warnings, but
in doing so reversed the logic of the condition, causing redefini-
tion warnings for newly-created XSUBs to apply only to subs from the
autouse package:

perl-5.8.0-5131-g66a1b24
commit 66a1b24beb76ea873ad4caa57ee3ab9df945afbf
Author: Andy Lester <andy@petdance.com>
Date:   Mon Jun 6 05:11:07 2005 -0500

    Random cleanups #47
    Message-ID: <20050606151107.GC7022@petdance.com>

    p4raw-id: //depot/perl@24735

I’ve basically reinstated the changes in 2f34f9d4, but with tests
this time.

It may not make sense for autouse to be exempt for newATTRSUB and
newXS, but keeping the logic surrounding the warning as close as
possible to being the same could allow future refactorings to
merge them.

sv.c: I missed a dot

Make sort {} and sort {()} equivalent

sub {} and sub{()} are equivalent.  In list context they both return
the empty list.  In scalar context they both return undef.  But sort
doesn’t seem to think so.  It croaks on sub{}.  This commit fixes that
and makes it consistent.

I left XSUBs alone, since I’m not sure how they are supposed
to behave.

Merge remote-tracking branch 'p5p/smoke-me/gsoc-pod' into blead