regcomp.c: Optimize /[0-9]/ into /\d/a

The commonly used [0-9] can be optimized into a smaller, faster node
that means the same thing.

regcomp.c: Optimize e.g., /[^\w]/, /[[^:word:]]/ into /\W/

This optimizes character classes that have a single element that is one
of the ops that have the same meaning outside (namely \d, \h, \s, \w,
\v, :word:, :digit: and their complements) to that op.  Those
ops take less space than a character class and run faster.   An initial
'^' for complementing the class is also handled.

regcomp.c: Simply some node calculations

For the node types that have differing versions depending on the
character set regex modifiers, /d, /l, /u, /a, and /aa, we can use the
enum values as offsets from the base node number to derive the correct
one.  This eliminates a number of tests.

Because there is no DIGITU node type, I added placeholders for it (and
NDIGITU) to avoid some special casing of it (more important in future
commits).  We currently have many available node types, so can afford to
waste these two.

regcomp.sym: Reorder a couple of nodes

This causes all the nodes that depend on the regex modifier, BOUND,
BOUNDL, etc. to have the same relative ordering.  This will enable a
future commit to simplify generation of the correct node.

reg_fold.t: Make test cases non-optimizable away

This commit changes the bracketed character classes to include a
non-related character.  This is in preparation for a future commit which
would cause the current character classes to be optimized into EXACTish
nodes which would start passing TODO tests, but don't fix the underlying
problem with character classes.  That bug is that you can't split a
multi-char fold across nodes. It probably is not fixable in Perl without
a total restructuring of the regular expression mechanism.  For example,
"\N{LATIN SMALL LIGATURE FFI}" doesn't match /[f][f][i]/i.  But it would
if those got optimized into a single EXACTF node.  (The problem is not
limited to character classes, /(f)(f)(i)/i also doesn't match, and
can't, as $1, $2, and $3 are not well-defined.)

regcomp.c: Simplify compile time [^..] complement

This simply moves the code that populates the bitmap and combines the
two inversion lists to after the inversion (the differences are shown
much greater than there really are, since a move is done.)  This greatly
simplifies complementing the character class.

regcomp.c: Rename variable to reflect new purpose

This variable really holds the list of all code points the bracketed
character class matches; it's not just the ones not in the bitmap.

regcomp.c: Have a subroutine do the work

Since this code was originally written, the fold function has added
input flags that cause it to do the same thing this code does.  So do it
in the subroutine.

regcomp.c: Remove obsolete code

A previous commit has removed all calls to these two functions (moving a
large portion of the bit_fold() one to another place, and no longer sets
the variable.

regcomp.c: White-space, comments only

This indents, outdents previous code, based on new/removed outer blocks.
It reflows comments and code to fit into 80 columns, add/removes blank
lines, minor comment rewording

regcomp.c: Remove unnecessary 'if' test

A previous commit has refactored things, so this test is always true

regcomp.c: Use more inversion lists in [] char classes

This changes the building of bracketed character classes to use
inversion lists instead of a bitmap/inversion list combination.

This will lead in later commits to simplification and extending
optimizations to beyond the Latin1 range.

handy.h: Fix isBLANK_uni and isBLANK_utf8

These macros have never worked outside the Latin1 range, so this extends
them to work.

There are no tests I could find for things in handy.h, except that many
of them are called all over the place during the normal course of
events.  This commit adds a new file for such testing, containing for
now only with a few tests for the isBLANK's

no_utf8_pm.t: Add blank between 'not' and 'ok' in .t

fix compiler warning

Make formats close over the right closure

This was brought up in ticket #113812.

Formats that are nested inside closures only work if invoked from
directly inside that closure.  Calling the format from an inner sub
call won’t work.

Commit af41786fe57 stopped it from crashing, making it work as well
as 5.8, in that closed-over variables would be undefined, being
unavailable.

This commit adds a variation of the find_runcv function that can check
whether CvROOT matches an argument passed in.  So we look not for the
current sub, but for the topmost sub on the call stack that is a clone
of the closure prototype that the format’s CvOUTSIDE field points to.

[perl #113812] Always use find_runcv when cloning a sub

A closure prototype’s CvOUTSIDE pointer might have been modified if
its containing sub is freed first.  When a sub is cloned, the enclos-
ing sub is always the currently-running sub (not so for formats).

So this commit makes subs always use find_runcv, the way they did
before 71f882da828.

So the closure logic which was needed for formats is now moved into an
else branch that is used only for them.

[Merge] CV-based slab allocator for ops

This branch uses per-CV slabs for ops, so that ops can all be freed
after compilation errors, fixing memory leaks and a crash.

See commit 8be227ab5e for how it works.

Teach diagnostics.pm about %p

Increase $diagnostics::VERSION to 1.30

perldiag: Document ‘Slab leaked from cv’

When reusing op slots, only zero as much as needed

If an op slot is reused for a smaller op, we only need to zero out the
space used for the op, not the whole slot.

-DS should not invoke warnhook

I was using Perl_warn, both for its convenience, and because the line
numbers were extremely helpful in tracking bugs.

But it invokes the warnhook, if present, and also respects tied
STDERR.  We should be using Perl_debug_log.

Changing this also avoids the need for /* diag_listed_as: SKIPME */
all over the place.

op.c: Memory funcs need dVAR

fresh_perl.t: Skip #112312 tests on miniperl

They require attributes.pm.

Enlarge the last slot on an op slab to fit

For simplicity, op slots are never resized once they are allocated.
But they are reused after they are freed, if they are big enough.

When allocating the last op slot that will fit on a slab, we might as
well enlarge the slot to contain whatever space is left over, so this
slot, after being freed, can be reused for a larger op.

Define cv_forget_slab under PL_OP_SLAB_ALLOC

Instead of using #ifndef every time we call cv_forget_slab, just
define it as a no-op under PL_OP_SLAB_ALLOC.

Test perl #112312, crash on syntax error

I am having difficulty getting these tests to fail.  They crash when
run standalone, but always pass when run via fresh_perl.t.  Hopefully,
they will fail somewhere. :-)

Yes, fresh_perl.t does begin with this:

# ** DO NOT ADD ANY MORE TESTS HERE **

But t/comp/parser.t does not (and should not) use test.pl, so it is
very hard to test something like this.

Putting it here seemed slightly better than putting it in
its own file.

Test bug #111462, Safe + %^H + disallowed ops

perlhacktips: Update PERL_DEBUG_READONLY_OPS

PERL_IMPLICIT_SYS can use the new slab allocator

Add slab allocation diagnostics (under perl -DS)

These proved extremely useful for getting this slab allocator to work.

We might as well leave them in place for future debugging.

-DS option for slab allocation

CV-based slab allocation for ops

This addresses bugs #111462 and #112312 and part of #107000.

When a longjmp occurs during lexing, parsing or compilation, any ops
in C autos that are not referenced anywhere are leaked.

This commit introduces op slabs that are attached to the currently-
compiling CV.  New ops are allocated on the slab.  When an error
occurs and the CV is freed, any ops remaining are freed.

This is based on Nick Ing-Simmons’ old experimental op slab implemen-
tation, but it had to be rewritten to work this way.

The old slab allocator has a pointer before each op that points to a
reference count stored at the beginning of the slab.  Freed ops are
never reused.  When the last op on a slab is freed, the slab itself is
freed.  When a slab fills up, a new one is created.

To allow iteration through the slab to free everything, I had to have
two pointers; one points to the next item (op slot); the other points
to the slab, for accessing the reference count.  Ops come in different
sizes, so adding sizeof(OP) to a pointer won’t work.

The old slab allocator puts the ops at the end of the slab first, the
idea being that the leaves are allocated first, so the order will be
cache-friendly as a result.  I have preserved that order for a dif-
ferent reason:  We don’t need to store the size of the slab (slabs
vary in size; see below) if we can simply follow pointers to find
the last op.

I tried eliminating reference counts altogether, by having all ops
implicitly attached to PL_compcv when allocated and freed when the CV
is freed.  That also allowed op_free to skip FreeOp altogether, free-
ing ops faster.  But that doesn’t work in those cases where ops need
to survive beyond their CVs; e.g., re-evals.

The CV also has to have a reference count on the slab.  Sometimes the
first op created is immediately freed.  If the reference count of
the slab reaches 0, then it will be freed with the CV still point-
ing to it.

CVs use the new CVf_SLABBED flag to indicate that the CV has a refer-
ence count on the slab.  When this flag is set, the slab is accessible
via CvSTART when CvROOT is not set, or by subtracting two pointers
(2*sizeof(I32 *)) from CvROOT when it is set.  I decided to sneak the
slab into CvSTART during compilation, because enlarging the xpvcv
struct by another pointer would make all CVs larger, even though this
patch only benefits few (programs using string eval).

When the CVf_SLABBED flag is set, the CV takes responsibility for
freeing the slab.  If CvROOT is not set when the CV is freed or
undeffed, it is assumed that a compilation error has occurred, so the
op slab is traversed and all the ops are freed.

Under normal circumstances, the CV forgets about its slab (decrement-
ing the reference count) when the root is attached.  So the slab ref-
erence counting that happens when ops are freed takes care of free-
ing the slab.  In some cases, the CV is told to forget about the slab
(cv_forget_slab) precisely so that the ops can survive after the CV is
done away with.

Forgetting the slab when the root is attached is not strictly neces-
sary, but avoids potential problems with CvROOT being written over.
There is code all over the place, both in core and on CPAN, that does
things with CvROOT, so forgetting the slab makes things more robust
and avoids potential problems.

Since the CV takes ownership of its slab when flagged, that flag is
never copied when a CV is cloned, as one CV could free a slab that
another CV still points to, since forced freeing of ops ignores the
reference count (but asserts that it looks right).

To avoid slab fragmentation, freed ops are marked as freed and
attached to the slab’s freed chain (an idea stolen from DBM::Deep).
Those freed ops are reused when possible.  I did consider not reusing
freed ops, but realised that would result in significantly higher mem-
ory using for programs with large ‘if (DEBUG) {...}’ blocks.

SAVEFREEOP was slightly problematic.  Sometimes it can cause an op to
be freed after its CV.  If the CV has forcibly freed the ops on its
slab and the slab itself, then we will be fiddling with a freed slab.
Making SAVEFREEOP a no-op won’t help, as sometimes an op can be
savefreed when there is no compilation error, so the op would never
be freed.  It holds a reference count on the slab, so the whole
slab would leak.  So SAVEFREEOP now sets a special flag on the op
(->op_savefree).  The forced freeing of ops after a compilation error
won’t free any ops thus marked.

Since many pieces of code create tiny subroutines consisting of only
a few ops, and since a huge slab would be quite a bit of baggage for
those to carry around, the first slab is always very small.  To avoid
allocating too many slabs for a single CV, each subsequent slab is
twice the size of the previous.

Smartmatch expects to be able to allocate an op at run time, run it,
and then throw it away.  For that to work the op is simply mallocked
when PL_compcv has’t been set up.  So all slab-allocated ops are
marked as such (->op_slabbed), to distinguish them from mallocked ops.

All of this is kept under lock and key via #ifdef PERL_CORE, as it
should be completely transparent.  If it isn’t transparent, I would
consider that a bug.

I have left the old slab allocator (PL_OP_SLAB_ALLOC) in place, as
it is used by PERL_DEBUG_READONLY_OPS, which I am not about to
rewrite. :-)

Concerning the change from A to X for slab allocation functions:
Many times in the past, A has been used for functions that were
not intended to be public but were used for public macros.  Since
PL_OP_SLAB_ALLOC is rarely used, it didn’t make sense for Perl_Slab_*
to be API functions, since they were rarely actually available.  To
avoid propagating this mistake further, they are now X.

Add OP_FREED op type

This is a dummy op type that should never be seen by any code except
op allocation code (to come).

So it is not in the usual list of opcodes, but is #defined outside the
range valid of opcodes.

Flag ops that are on the savestack

This is to allow future commits to free dangling ops after errors.

If an op is on the savestack, then it is going to be freed by scope.c,
and op_free must not be called on it by anyone else.

So we flag such ops new.

dump.c: Dump CVf_SLABBED

Add CVf_SLABBED flag

This will indicate that a CV has a reference count on, and ownership
of, a slab used for allocating ops.

fix 386a548 for fallback => undef

The default case for non-overloaded classes is fallback => 1, so saying
fallback => 1 on its own shouldn't enable overloading, but saying
fallback => undef on its own should (even though undef is the default
for overloaded classes).

perldelta for 27c6f44

"use overload fallback => 0" should enable overloading [perl #113010]

This makes

  package Foo;
  use overload fallback => 0;

and

  package Bar;
  use overload '+' => \&add, fallback => 0;

behave identically when an operator other than '+' is used.

Formats in closures called outside closures → crash

If a format closing over lexical variables is defined inside a clo-
sure, it must only be called directly inside that closure, not from
any other eval, sub, or format.

Calling it from anywhere else started causing a crash in 5.10.0,
because the format would try to close over variables in the currently-
running sub, using padoffsets intended for a completely unrelated pad.

This commit stops it from crashing by checking whether the currently-
running sub is a clone of the format’s outer sub (a closure proto-
type).  If it is not, the outer closure prototype is used, resulting
in ‘Variable is not available’ warnings.

This makes things work as well as they did in 5.8.  Ideally, we should
search the call stack for the topmost clone of the format’s outer sub;
but I’m saving that for another commit.

fix storing objects with reftype REF [perl #113880]

perldelta updates for 6728836, d60d201, 82f9620, 7878705

Don’t let formats outlive their outer subs

This began crashing in 5.11.3:

sub foo {
  sub bar {
    my ($a,$b,$c,$d,$e,$f,$g,$h,$i,$j,$k,$l,$m,$n,$o,$p,$q,$r,$s,$x);
    format =
@||||||
$x
.
  }
}
undef *bar;
write;

(On some systems, you need more alphabet soup to make it crash.)

This commit (just the perly.y part shown) caused it to crash:

commit 421f30ed1e95009450bdc7905bf3433ee806ea4f
Author: Zefram <zefram@fysh.org>
Date:   Tue Dec 15 11:48:31 2009 +0100

    [perl #22977] Bug in format/write

diff --git a/perly.y b/perly.y
index 18e5875..a61a6b3 100644
--- a/perly.y
+++ b/perly.y
@@ -511,7 +511,9 @@ peg : PEG
  ;

 format : FORMAT startformsub formname block
- { SvREFCNT_inc_simple_void(PL_compcv);
+ {
+   CV *fmtcv = PL_compcv;
+   SvREFCNT_inc_simple_void(PL_compcv);
 #ifdef MAD
    $$ = newFORM($2, $3, $4);
    prepend_madprops($1->tk_mad, $$, 'F');
@@ -521,6 +523,10 @@ format : FORMAT startformsub formname block
    newFORM($2, $3, $4);
    $$ = (OP*)NULL;
 #endif
+   if (CvOUTSIDE(fmtcv) && !CvUNIQUE(CvOUTSIDE(fmtcv))) {
+     SvREFCNT_inc_simple_void(fmtcv);
+     pad_add_anon((SV*)fmtcv, OP_NULL);
+   }
  }
  ;

Unfortunately, adding the format to the pad like that (to allow
pad_fixup_inner_anons to fix up formats as well as subs) is proble-
matic.  It causes the format’s CvOUTSIDE to be weak.  Since the for-
mat does not hold a reference count on its outer sub, that sub can be
freed before the format.  When that happens, regular subs are fixed
up by having CvOUTSIDE change to point to the grandparent.  If you
do that for formats, you run into a problem: Formats can be cloned
even when the outer sub is not running.  Formats are cloned whenever
invoked *by name* via write.  If CvOUTSIDE points to a different sub,
then closing over the scalars in specific pad offsets in that sub can
result in reading past the end of the pad.  If you don’t read past the
end of the pad, you are still making variables close over unrelated variables, so the inner $x could close over an outer @y, etc.  Subrou-
tines don’t have that problem, as they can only be cloned when they
have an outer sub.  (Even though the outer sub’s prototype, if it is a
closure, might have been freed, the outer sub itself is still running
and referenced by the context stack.)

This commit changes the direction of the weak reference between an
outer sub’s pad and an inner format, fixing the crash.

To do so, it has to store, not the format itself, but a weak RV point-
ing to the format, in the outer sub’s pad.

diagnostics.t: Restore test name removed by f0e510f

perldiag: Add missing regexp delims

propagate context into overloads [perl #47119]

amagic_call now does its best to propagate the operator's context into
the overload callback. It's not always possible - for instance,
dereferencing and stringify/boolify/numify always have to return a
value, even if it's not used, due to the way the overload callback works
in those cases - but the majority of cases should now work. In
particular, overloading <> to handle list context properly is now
possible.

For backcompat reasons (amagic_call and friends are technically public
api functions), list context will not be propagated unless specifically
requested via the AMGf_want_list flag. If this is passed, and the
operator is called in list context, amagic_call returns an AV* holding
all of the returned values instead of an SV*. Void context always
results in amagic_call returning &PL_sv_undef.

more in depth tests for 8e4ecf2

fix 4f8dbb2d

perly.*: update regen_perly checksum

regen_perly.pl: support latest bison-2.5.1

bison-2.5.1 adds less superfluous semicolons at the end of action blocks,
but works fine.

pp.c: Restore uninit warning to study

Also, prevent a crash when SvCUR is used on a non-PV.

clean up compilation warnings

add a few comments to bisect-runner.pl docs

./perl -Ilib t/op/sort.t won't do what you want, because tests that
don't use Test::More don't set an error code on their own, you need to
run it under the harness

[Merge] [perl #109408] Documentation that refers to Perl 5 as new

Quoting Brian Fraser:

So.
I more or less went ahead and did this, to some extent. To some other
extent the changes are stylistic, like consistently using v5.x.y instead of
5.x or 5.x.y or whatnot in perlvar (and only in perlvar, so as to avoid
bikeshedding). I also bumped most odd versions, post 5.6, to the next
stable release (so, for example, 5.7.1 became 5.8.0, and 5.9.0 became
5.10.0, but 5.005 is still 5.005).

There's only one big deletion, which was most of perltrap.pod -- It dealt
with traps for Perl 4 programmers migrating to Perl 5. It would be really
swell if someone could update perltrap for their other favorite language of
choice, since right now the document is severely lacking, only dealing with
awk, shell, C/C++, and Perl itself.

There's some stuff that I didn't really know about, so I left it alone,
including all of perlhack(tips)? and perl(re|deb)?guts.
One thing that came up in IRC while I was doing this is that having a table
in perlvar detailing in which version each variable became available would
be really swell. And I know that brian d foy compiled one for string/regex
escapes, which strikes me like a good candidate to get in as well.

[perl #109408] Documentation that refers to Perl 5 as new

Regened known_pod_issues.dat for the previous commits.

perlvar: #109408

perlutil: #109408

perluniintro: #109408

perlunifaq: #109408

perlunicode: #109408

perltrap: #109408

perlthrtut: #109408

perlsub: #109408

perlsec: #109408

perlrun: #109408

perlretut: #109408

perlreftut: #109408

perlref: #109408

perlrebackslash: #109408

perlre: #109408

perlport: #109408

perlpod: #109408

perlop: #109408

perlmod: #109408

perllocale: #109408

perlipc: #109408

perlfunc: #109408

perlform: #109408

perldsc: #109408

perldata: #109408

perlcall: #109408

diag.t: Skip, rather than, TODO for cat tests

Each item in the exception list for category/severity tests passes
either one or the other, so just skip them, to avoid passing to-do
tests, which are just a distraction.  Separating them into two lists
is probably overkill.

diag.t: Don’t emit erroneous passing to-do tests

The __CATEGORIES__ entries by definition exist in perldiag.

diagnostics.t: Tweak to get tests passing

I thought I had run it, hmm.

[Merge] perldiag.pod severity/category cleanup

diag.t: Check categories and severity

There was code already started for this, but never finished.  This
commit makes it work for the most part.

This is not smart enough yet to understand nested categories.  There
is a new exceptions list in the __DATA__ section for cases it can’t
handle, which are precious few.

diag.t: Use correct variable

Multiline messages are listed in the __DATA__ section with spaces
instead of line breaks.  When adding proper support for multiline err-
ors earlier, I made a slight mistake and caused multiline to-do mess-
ages to skip the to-do code path, because I was looking them up via
the name with line breaks ($name), rather than the name with line
breaks modified ($key).

This was causing it to fall down to the pass($key) below.

I want to add more tests down there, which will fail for multiline
to-do items.

diag.t: Load test.pl in BEGIN

so that parentheses can be omitted in tests to be added.

perldiag: ‘Unicode surrogate is illegal’ is a default warning

perldiag: ‘Code point is not Unicode’ is a default warning

perldiag: ‘Operation returns its argument’ is a default warning

perldiag: ‘...illegal for interchange’ is a default warning

perldiag: ‘UTF-16 surrogate U+%X’ is a default warning

perldiag: ‘Ambiguous use resolved as’ is always S

perldiag: Add cat for Lost precision

perldiag: ‘Regexp modifier after "-"’ should have no cat

Only warnings have categories.

perldiag: ‘Opening fh also as dir’ is a default warning

perldiag: ‘Opening dirhandle also as file’ is a default warning