Add CVf_SLABBED flag

This will indicate that a CV has a reference count on, and ownership
of, a slab used for allocating ops.

fix 386a548 for fallback => undef

The default case for non-overloaded classes is fallback => 1, so saying
fallback => 1 on its own shouldn't enable overloading, but saying
fallback => undef on its own should (even though undef is the default
for overloaded classes).

perldelta for 27c6f44

"use overload fallback => 0" should enable overloading [perl #113010]

This makes

  package Foo;
  use overload fallback => 0;

and

  package Bar;
  use overload '+' => \&add, fallback => 0;

behave identically when an operator other than '+' is used.

Formats in closures called outside closures → crash

If a format closing over lexical variables is defined inside a clo-
sure, it must only be called directly inside that closure, not from
any other eval, sub, or format.

Calling it from anywhere else started causing a crash in 5.10.0,
because the format would try to close over variables in the currently-
running sub, using padoffsets intended for a completely unrelated pad.

This commit stops it from crashing by checking whether the currently-
running sub is a clone of the format’s outer sub (a closure proto-
type).  If it is not, the outer closure prototype is used, resulting
in ‘Variable is not available’ warnings.

This makes things work as well as they did in 5.8.  Ideally, we should
search the call stack for the topmost clone of the format’s outer sub;
but I’m saving that for another commit.

fix storing objects with reftype REF [perl #113880]

perldelta updates for 6728836, d60d201, 82f9620, 7878705

Don’t let formats outlive their outer subs

This began crashing in 5.11.3:

sub foo {
  sub bar {
    my ($a,$b,$c,$d,$e,$f,$g,$h,$i,$j,$k,$l,$m,$n,$o,$p,$q,$r,$s,$x);
    format =
@||||||
$x
.
  }
}
undef *bar;
write;

(On some systems, you need more alphabet soup to make it crash.)

This commit (just the perly.y part shown) caused it to crash:

commit 421f30ed1e95009450bdc7905bf3433ee806ea4f
Author: Zefram <zefram@fysh.org>
Date:   Tue Dec 15 11:48:31 2009 +0100

    [perl #22977] Bug in format/write

diff --git a/perly.y b/perly.y
index 18e5875..a61a6b3 100644
--- a/perly.y
+++ b/perly.y
@@ -511,7 +511,9 @@ peg : PEG
  ;

 format : FORMAT startformsub formname block
- { SvREFCNT_inc_simple_void(PL_compcv);
+ {
+   CV *fmtcv = PL_compcv;
+   SvREFCNT_inc_simple_void(PL_compcv);
 #ifdef MAD
    $$ = newFORM($2, $3, $4);
    prepend_madprops($1->tk_mad, $$, 'F');
@@ -521,6 +523,10 @@ format : FORMAT startformsub formname block
    newFORM($2, $3, $4);
    $$ = (OP*)NULL;
 #endif
+   if (CvOUTSIDE(fmtcv) && !CvUNIQUE(CvOUTSIDE(fmtcv))) {
+     SvREFCNT_inc_simple_void(fmtcv);
+     pad_add_anon((SV*)fmtcv, OP_NULL);
+   }
  }
  ;

Unfortunately, adding the format to the pad like that (to allow
pad_fixup_inner_anons to fix up formats as well as subs) is proble-
matic.  It causes the format’s CvOUTSIDE to be weak.  Since the for-
mat does not hold a reference count on its outer sub, that sub can be
freed before the format.  When that happens, regular subs are fixed
up by having CvOUTSIDE change to point to the grandparent.  If you
do that for formats, you run into a problem: Formats can be cloned
even when the outer sub is not running.  Formats are cloned whenever
invoked *by name* via write.  If CvOUTSIDE points to a different sub,
then closing over the scalars in specific pad offsets in that sub can
result in reading past the end of the pad.  If you don’t read past the
end of the pad, you are still making variables close over unrelated variables, so the inner $x could close over an outer @y, etc.  Subrou-
tines don’t have that problem, as they can only be cloned when they
have an outer sub.  (Even though the outer sub’s prototype, if it is a
closure, might have been freed, the outer sub itself is still running
and referenced by the context stack.)

This commit changes the direction of the weak reference between an
outer sub’s pad and an inner format, fixing the crash.

To do so, it has to store, not the format itself, but a weak RV point-
ing to the format, in the outer sub’s pad.

diagnostics.t: Restore test name removed by f0e510f

perldiag: Add missing regexp delims

propagate context into overloads [perl #47119]

amagic_call now does its best to propagate the operator's context into
the overload callback. It's not always possible - for instance,
dereferencing and stringify/boolify/numify always have to return a
value, even if it's not used, due to the way the overload callback works
in those cases - but the majority of cases should now work. In
particular, overloading <> to handle list context properly is now
possible.

For backcompat reasons (amagic_call and friends are technically public
api functions), list context will not be propagated unless specifically
requested via the AMGf_want_list flag. If this is passed, and the
operator is called in list context, amagic_call returns an AV* holding
all of the returned values instead of an SV*. Void context always
results in amagic_call returning &PL_sv_undef.

more in depth tests for 8e4ecf2

fix 4f8dbb2d

perly.*: update regen_perly checksum

regen_perly.pl: support latest bison-2.5.1

bison-2.5.1 adds less superfluous semicolons at the end of action blocks,
but works fine.

pp.c: Restore uninit warning to study

Also, prevent a crash when SvCUR is used on a non-PV.

clean up compilation warnings

add a few comments to bisect-runner.pl docs

./perl -Ilib t/op/sort.t won't do what you want, because tests that
don't use Test::More don't set an error code on their own, you need to
run it under the harness

[Merge] [perl #109408] Documentation that refers to Perl 5 as new

Quoting Brian Fraser:

So.
I more or less went ahead and did this, to some extent. To some other
extent the changes are stylistic, like consistently using v5.x.y instead of
5.x or 5.x.y or whatnot in perlvar (and only in perlvar, so as to avoid
bikeshedding). I also bumped most odd versions, post 5.6, to the next
stable release (so, for example, 5.7.1 became 5.8.0, and 5.9.0 became
5.10.0, but 5.005 is still 5.005).

There's only one big deletion, which was most of perltrap.pod -- It dealt
with traps for Perl 4 programmers migrating to Perl 5. It would be really
swell if someone could update perltrap for their other favorite language of
choice, since right now the document is severely lacking, only dealing with
awk, shell, C/C++, and Perl itself.

There's some stuff that I didn't really know about, so I left it alone,
including all of perlhack(tips)? and perl(re|deb)?guts.
One thing that came up in IRC while I was doing this is that having a table
in perlvar detailing in which version each variable became available would
be really swell. And I know that brian d foy compiled one for string/regex
escapes, which strikes me like a good candidate to get in as well.

[perl #109408] Documentation that refers to Perl 5 as new

Regened known_pod_issues.dat for the previous commits.

perlvar: #109408

perlutil: #109408

perluniintro: #109408

perlunifaq: #109408

perlunicode: #109408

perltrap: #109408

perlthrtut: #109408

perlsub: #109408

perlsec: #109408

perlrun: #109408

perlretut: #109408

perlreftut: #109408

perlref: #109408

perlrebackslash: #109408

perlre: #109408

perlport: #109408

perlpod: #109408

perlop: #109408

perlmod: #109408

perllocale: #109408

perlipc: #109408

perlfunc: #109408

perlform: #109408

perldsc: #109408

perldata: #109408

perlcall: #109408

diag.t: Skip, rather than, TODO for cat tests

Each item in the exception list for category/severity tests passes
either one or the other, so just skip them, to avoid passing to-do
tests, which are just a distraction.  Separating them into two lists
is probably overkill.

diag.t: Don’t emit erroneous passing to-do tests

The __CATEGORIES__ entries by definition exist in perldiag.

diagnostics.t: Tweak to get tests passing

I thought I had run it, hmm.

[Merge] perldiag.pod severity/category cleanup

diag.t: Check categories and severity

There was code already started for this, but never finished.  This
commit makes it work for the most part.

This is not smart enough yet to understand nested categories.  There
is a new exceptions list in the __DATA__ section for cases it can’t
handle, which are precious few.

diag.t: Use correct variable

Multiline messages are listed in the __DATA__ section with spaces
instead of line breaks.  When adding proper support for multiline err-
ors earlier, I made a slight mistake and caused multiline to-do mess-
ages to skip the to-do code path, because I was looking them up via
the name with line breaks ($name), rather than the name with line
breaks modified ($key).

This was causing it to fall down to the pass($key) below.

I want to add more tests down there, which will fail for multiline
to-do items.

diag.t: Load test.pl in BEGIN

so that parentheses can be omitted in tests to be added.

perldiag: ‘Unicode surrogate is illegal’ is a default warning

perldiag: ‘Code point is not Unicode’ is a default warning

perldiag: ‘Operation returns its argument’ is a default warning

perldiag: ‘...illegal for interchange’ is a default warning

perldiag: ‘UTF-16 surrogate U+%X’ is a default warning

perldiag: ‘Ambiguous use resolved as’ is always S

perldiag: Add cat for Lost precision

perldiag: ‘Regexp modifier after "-"’ should have no cat

Only warnings have categories.

perldiag: ‘Opening fh also as dir’ is a default warning

perldiag: ‘Opening dirhandle also as file’ is a default warning

perldiag: Add cat for Duplicate modifier

perldiag: ‘invalid option -D%c’ is a warning

perldiag: Don’t use L<<>>

diagnostics.pm isn’t smart enough to handle it, and programming it
for one case seems like overkill.

perldiag: Add cat for PERL_SIGNALS illegal

perldiag: ‘Unbalanced context’ is a default warning

perldiag: ‘Unbalanced tmps’ is a default warning

perldiag: ‘Unbalanced saves’ is a default warning

perldiag: ‘Unbalanced scopes’ is a default warning

perldiag: ‘Variable is not imported’ is a default warning

perldiag: ‘Scalars leaked’ is a warning

perldiag: Add cat for ‘Attempt to set length of freed array’

Squash repetitive code in pp.c:S_delete_local

The two branches of this were almost identical.  Not only is it unnec-
essary to repeat the code, but it is error-prone, as bug fixes have to
be done in both branches.

Null HeVAL and local delete → crash

The XS API allows hash entries to be created with null values.  perl
itself uses these internally, too.

Though they should rarely be seen by Perl code, Perl ops should still
be able to handle them without crashing (by croaking).  I fixed helem
and hslice in 5.16 (commit 746f6409), but missed localised deletions.

Make pp.c:pp_srand slightly less repetitive

Make srand treat "-1" as -1

It was returning U+FFFD for negative numbers, unless they
were strings.

The SvOK is to avoid double uninit warnings.  The !SvIsUV is for
efficiency.  We don’t need to coerce it to an NV if it is a UV
already, because we know it won’t pass that test.

Make srand respect magic

It was returning U+FFFD for negative numbers, but only for non-magical
variables.

AIX Hints file change

Ok, I think my earlier problem came from not cleaning up properly between
multiple compiles.  So I don't need to modify any test.

Proposed log entry:

When compiling many of the perl modules available from CPAN, an expectation
of C99 support seems implied by many authors.  Unfortunately, xlC doesn't
do this by default, we have to add -qlanglvl=extc99 to the ccflags to get
this to work.  And by the time we get to installing modules, this flag
is already set in Config.

So, add the flag unconditionally at the outset.  Also, remove
-qlonglong and -qlanglvl=extended from the flags to silence the warning that
extc99 includes them and that xlC is going to ignore it, using extc99 instead.

Signed-off-by: H.Merijn Brand <h.m.brand@xs4all.nl>

fix off-by-one when restoring hashes [perl #73972]

Storable tries to preallocate enough space for all of the elements it's
going to receive, both for efficiency reasons and because reallocation
triggers throwing away all of the placeholders in the hash (which are
used for restricted hashes) if the hash isn't already READONLY, and
since Storable rebuilds restricted hashes by first populating all of the
placeholders and then setting it READONLY at the end, this would break
things.

Unfortunately, it was allocating just slightly less than enough space -
hashes reallocate when they hit their limit, not when they exceed it,
and so if you tried to store a restricted hash with a number of keys
right on the boundary, it would trigger a reallocation and lose all of
the allowed keys that it had just stored. This fixes the issue by
allocating the correct amount of space to ensure that reallocation
doesn't happen.

Remove C++isms from doio.c

(Introduced by c2fd40cb02 and not tolerated by VC++ compiling a C file.)

perlrun typos from argrath@ub32.org [perl #113852]

[perl #112990] Simplify kill implementation and docs

Clean up kill implementation and clear up the docs in perlfunc to be less
ambiguous and encompass more of its behaviour.

a)   kill -INT => $pid;

was surprisingly doing a "kill 0, $pid" instead of being the same as "kill -2,
$pid" (killing the process group for $pid with an interrupt).  Now negative
signal names will be allowed and be the same as if the name was replaced with
the signal number it represents.

b) remove all calls to killpg() as killpg is defined in terms of kill anyway.

c) Clarify the use of signal names vs numbers in perlfunc so that using names
is not so well hidden, as well as explaining the usage of negative signal
numbers as well as negative process IDs.

[perl #113812] Handle null CvOUTSIDE in cv_clone

Commit a0d2bbd stopped closures from hanging on to their
enclosing subs.

This means that the outer sub can be freed before the closure.  Since
it is only the outer sub that references the closure prototype (in a
'&' entry in its pad), when the outer sub is freed the closure proto-
type goes with it.  Now if that closure itself contains a closure
(more precisely, a closure prototype in its pad, referenced by an
anoncode op), that inner closure prototype’s CvOUTSIDE points to the
first closure prototype.  When that first closure prototype is freed
the innermost closure prototype has its CvOUTSIDE set to whatever the
outermost sub’s CvOUTSIDE was set to, which could be null if it is
in its own file.  So when the first closure is called, it passes to
cv_clone a closure prototype with no CvOUTSIDE.

cv_clone used to crash if CvOUTSIDE was null.

Example:
$ cat foo.pl

# the main CV of the file is the outer sub in this case
my $x
$first_closure = sub {
    $inner_closure = sub { $x }
}
$ perl -e 'require "./foo.pl"; $first_closure->()'
Bus error

This commit makes it use find_runcv when CvOUTSIDE is null.

perldiag: Two space after dots

Also rewrap for slightly better splain output

fix test from previous commit

fix memory leak in @INC filters that die [perl #92252]

In t/op/stat.t, ensure that the output of ls is not localised.

t/op/stat.t parses the output of ls, and will get confused if localisation
happens to change the header line containing the total to a word starting
with the letter c. This fixes the build issue on a Czech locale reported
in http://perlmonks.org/?node=973257 and RT #113472.

[perl #45173] port the test to MSWin32

add comment about the atof change [perl #109318]

warn on -i with no input files given [perl #113410]

fix c++ compilation

use a less broken test for locale radix in atof [perl #109318]

fix some language/country codes

diag.t: Two to-done entries I missed

perldelta: make podcheck happy

perldelta for #73690, scalar(write)

perldelta for #112966/2c5f48c251e

perldelta for #113798, glob and PATH