handy.: Add some tests for its API

handy.h: Fix broken is_ASCII_utf8()

Tests to follow in a future commit.

Correct err msg when calling stub w/no autoload fb

If an AUTOLOAD subroutine loads a sub by assigning to the glob, there
may be code elsewhere that has a reference to a stub, that is now
assigned over.  To cope with this situation, calls to undefined sub-
routines will fall back to whatever sub is in the subroutine’s owner
typeglob.  This has been the case since Perl 5.000.

But the error message that occurs if the typeglob happens to have no
sub in it is wrong:

$ perl -e '
   my $foosub = \&foo;
   undef *foo;
   &$foosub;
  '
Not a CODE reference at -e line 4.

as opposed to this:

$ perl -e '
   my $foosub = \&foo;
   &$foosub;
  '
Undefined subroutine &main::foo called at -e line 3.

They should both produce the same error message, because $foosub is a
code reference, albeit without a body.

anonsub.t: Improve test for [perl #71154]

When I authored commit 2c3743704, I thought I was just correcting the
error message at the time (from ‘Not a CODE reference’ to ‘Undefined
sub called’, since there is a sub), but it turns out I actually fixed
another bug at the same time.  Undefined anonymous subs were falling
back to supposedly-autoloaded __ANON__ subs.

Take this example, for instance:

    sub __ANON__ { warn 42 }
    $x = sub {};
    undef &$x;
    $x->();

This is the output I get:

$ pbpaste|perl5.14.0
42 at - line 1.
$ pbpaste|perl5.16.0
Undefined subroutine called at - line 4.

Let rv2cv-hook CVs’ protos participate in method intuition

Commit 39c012bc2fc2f1cf wasn’t enough.  If a subroutine has a proto-
type beginning with * then its name is treated as a sub call, even
when followed by a package name:

    {package Foo}
    sub Foo {}
    foo Foo; # Foo->foo

    {package Bar}
    sub bar (*) {}
    bar Bar; # bar(Bar)

This was not applying to subs looked up via rv2cv hooks.

fix -Uusedl builds

without the "static" linking produced a duplicate symbol error on
S_compile_runtime_code

perldelta: fix typo noticed by rurban

[perl #113016] Parse CORE::foo::bar as a bareword

CORE::print::foo was being parsed as CORE::print followed by
::foo, making it impossible to call a global override directly as
CORE::GLOBAL::uc().

The logic in toke.c that does the CORE:: special-casing was faulty.
This commit fixes it, by checking for a package separator after the
potential keyword.

That d = s part of the KEY_CORE case in yylex was added in perl 5.001
(748a9306) but apparently wasn’t doing anything.  That means I get to
move it before s+=2, now that I have a use for it.

I added the tests a little above the ‘Add new tests HERE’ label in
parser.t, to avoid conflicting with other patches I’m working on.

rv2cv hooks should not create 2nd-class subs

$ perl5.17.2 -Mblib -e 'sub foo{}; foo $bar; use Lexical::Sub baz => sub{}; baz $bar'
Can't call method "baz" on an undefined value at -e line 1.
$ perl5.17.2 -Mblib -e 'sub foo{}; foo bar; use Lexical::Sub baz => sub{}; baz bar'
Can't locate object method "baz" via package "bar" (perhaps you forgot to load "bar"?) at -e line 1.

So if you use Lexical::Sub, your sub doesn’t get to participate in
determining whether ‘foo $bar’ or ‘foo bar’ is a method call.

This is because Lexical::Sub uses an rv2cv hook to intercept sub
lookup.  And toke.c:S_intuit_method thinks there cannot be a CV with-
out a GV (which was the case when it was first written).

Commit f7461760 introduced this rv2cv hooking for bareword lookup, but
failed to update S_intuit_method accordingly.

toke.c: Correct comment

perldelta: note a few interesting changes

document the append parameter to sv_gets [perl #72244]

perldelta for 22831cc58b76.

Unquote spawned command verbs on VMS.

Prior to the current change,

$ foo "A" "b" "c"

worked, but the following didn't:

$ "foo" "A" "b" "c"
%DCL-E-PARSEFAIL, error parsing DCL$PATH:"foo".*
-RMS-F-FNM, error in file name

even if foo was a valid command or path.  It's illegal in DCL to
quote the command verb even if it's often necessary to quote the
parameters to it.

But various things in the wild (such as Test::Harness::_filtered_inc),
find it convenient or necessary to quote the command verb, so the
easiest way to support that is to unquote it before DCL sees it, and
that's what this change does.

Also, spaces within the first quoted item are now escaped so that
an image path containing spaces doesn't run afoul of subsequent
tokenizing based on spaces.

do-file should not force a bareword

A word following do is forced to be a bareword for do-sub’s sake.  But
if it is going to be interpreted as do-file after all, that does not
make sense.  ‘do subname;’ should call the sub and run the file whose
name it returns, instead of running the file named ‘subname’.

Let do.t run from the top level

do.t: Load test.pl at BEGIN time

so that parentheses can be omitted.

Test ‘Missing name in "my sub"’

both INT64_C and UINT64_C should be guarded [perl #76306]

rt #72232 - ignore wday/yday in mini_mktime as indirectly documented

perlfunc: clarify 'our' again for vars.pm behavior

rjbs discovered that vars.pm docs lie and it works within
a package, even across file scopes

perlfunc: clarify docs for 'package' [perl #113974]

This one word change clarifies that 'package' applies to
'lexically-scoped' variables rather than 'lexical' variables, which
people may misunderstand to mean only my/state declarations and thus be
confused by the nearby statements about it applying to 'our' as well.

No perldelta note was added as the change was trivial.

vars.pm: remove 'obsolete' description [perl #113974]

The phrase 'obsolete' in the abstract is not well defined
and may be inappropriate.  This commit removes it and clarifies
that use of vars.pm is discouraged when 'our' could be used
instead.

No perldelta note was added, as the change is trivial, despite
the version number bump.

correct the perlfunc explanation of use vars

perlfunc: clarify docs for 'our' [perl #113974]

In response to the thread, this attempts to clarify the aliasing and
scope of 'our' (as well as 'use vars').

[perl #112820] t/op/sprintf.t failure on FreeBSD 4.6

t/op/sprintf.t fails one test on FreeBSD 4.6
*Everything* else passes. This is a pleasant surprise.

Patch adds a skip for FreeBSD 4, and should not skip on FreeBSD 5 and later.
Tested on FreeBSD 7 too. Due to the way versions don't map to real numbers,
4.6 > 4.11, whereas 4.6 <= 4.9 (and 4.9 <= 4.9, 4.10 <= 4.9 and 4.11 <= 4.9)
so the skip skips for all releases of FreeBSD 4.

perldelta for 317f3b6

Increase $B::Concise::VERSION to 0.91

[perl #78064] print(const || bare) and const folding

Constant folding should not be able to change the meaning of print
followed by || or && or ?: with barewords as operands.

The previous commit recorded which constant ops are the result of con-
stant folding (including collapsing of conditionals).

This commit uses that information (OpCONST_FOLDED) to fix this.

Record folded constants in the op tree

Add Oleg Nesterov to AUTHORS

[perl #113980] pp_syscall: "I32 retval" truncates the returned value

I noticed today that syscall(9, ...) (mmap) doesn't work for me.

The problem is obvious, pp_syscall() uses I32 for retval and the
"long" address doesn't fit into "int".

The one-liner below should fix the problem.

Use ‘state’ in warning about sort {state $a}

op.c: Merge some code

perldelta: move several change notes to Selected Bug Fixes

They were in Configuration and Compilation

[perl #86136] Downgrade sort {my $a} to a warning

The code in toke.c for detecting lexical $a or $b used in a comparison
in a sort block was simply horrible.  If the last-used named list or
unary op (PL_last_lop_op) was sort, then it would scan for <=> or cmp
anywhere on the current line of code.  That meant that, although this
would die:

    my $a; sort { $a <=> $b } ()

This would do the wrong thing without complaint:

    my $a; sort { print; $a <=> $b } ()

And this would die, completely gratuitously:

    my $a; sort @t; $a + $cmp;

Since perl is only guessing that lexical $a or $b *might* have
been used accidentally, this should be a warning, and certainly
not an error.

Also, scanning the source code like that for <=> (even inside a
string!) can never work.  One would have to parse it and examine the
resulting op tree.

In fact, since we *are* parsing it anyway, we *can* examine
the op tree.

So that’s exactly what this commit does.  Based on the existing behav-
iour, but with far fewer false positives, it checks for a cmp or <=>
op as the last statement of a sort block and warns about any operand
that is a lexical $a or $b.

sv.c: Correct comment

S_varname is no longer static.

fix perlobj SUPER example [perl #113972]

parser.h: Add comments explaining *bufptr

parser.h: Correct comment explaining last_lop_op

sv.h: Improve docs of Sv[GS]ETMAGIC

fix compile warnings in malloc.c [perl #75340]

Refactor t/op/splice.t to use t/test.pl instead of making TAP by hand.

Add another address for Colin Kuskie to checkAUTHORS.pl

[rt.cpan.org #61577] VMS doesn't support UNIX sockets

A casual reading of t/io_unix.t might lead you to believe it might,
but VMS also doesn't support fork, so the io_unix.t tests are skipped
anyway.

Avoid needless use of deprecated exists on array elements

constant folding shouldn't change return value of while [perl #73618]

If the expression in while (EXPR) is a false constant, just return that
constant expression rather than OP_NULL during optimization.

Doesn't handle until loops yet, because "until (1)" is converted to
"while (!1)" by the parser, and so "!1" is already constant-folded to ''
by the time the while loop optree is constructed. Not sure what to do
about that.

toke.c: Merge UNI2 and UNIBRACK

The only difference between them is the PL_expect assignment,
which can be controlled by a constant parameter that the C
compiler will optimise away.

For #16249 - Overwrite PL_last_lop_op when eval() is called.

Otherwise, parsing later on down the road may use the previous value, which, if it was OP_PRINT, causes the parser to fail

perlfunc: Fix do-sub mistake

do &foo() is the do-file operator on the return value of the sub,
not just a sub call.

op.c:newFOROP: Fall back to realloc for unslabbed ops

When an op is allocated, PL_compcv is checked to see whether it can
hold an op slab if it does not hold one already.  If PL_compcv is not
usable, for whatever reason, it falls back to malloc.

Since the new slab allocator was added in commit 8be227a, newFOROP has
been assuming, probably correctly, that its listop which it needs to
enlarge to a loopop was allocated by slab.

Since newFOROP is an API function, we should err on the safe side and
check first whether the op is slab-allocated, falling back to realloc
if it is not.

To trigger this potential bug, one has to set things up such that
there is a usable pad available, but no usable PL_compcv.  I said
‘probably correctly’ above because this situation is highly unlikely
and probably indicative of bugs elsewhere.  (But we should still err
on the side of safety.)

Fix ill-named Test::Harness test and bump version.

env.opts.t by its very existence causes the test suite to die on
VMS with:

$ perl TEST ../cpan/Test-Harness/t/compat/env.opts.t
Can't read ../cpan/test-harness/t/compat/env.opts.t.
%RMS-F-SYN, file specification syntax error

Enabling the extended filename character set will fix this but that's
not (yet) the default setting.  So here we simply rename the file to
something legal.

Reported upstream as [rt.cpan.org #78127].

fix 64-bit compiler warning

pad.c: Improve intro_my docs

Put a cap on op slab sizes

If a subroutine is *really* big, we don’t want to allocate, say, 4MB
for ops when just over 2 will do, just because there was one op more
than could fit in 2MB.

Use find_runcv_where for pp_coreargs and pp_runcv

s/thinngy/thingy/ in a comment in sv.c

perldelta for 18042359, 9adbac0b

bump IO.pm version

cmpVERSION doesn't pick this up - should it?

[rt.cpan.org #61577] try harder to get socket information

also [perl #112736][debian #659075]

One of the tests may fail on HP-UX (but doesn't on the machine I have
access to)  I plan to monitor smokes and add skips as needed.

add Test::More as a prereq to Makefile.PL

bump IO::Socket version

document the limitations of protocol(), sockdomain(), socktype()

Determining these for a new_from_fd() socket has the following problems:

protocol() depends on SO_PROTOCOL, and socktype() on SO_TYPE, not
implemented on all systems.

sockdomain() depends on sockname(), which is documented as
unimplemented for AF_UNIX sockets on HP-UX.

I'm not sure that detail is useful in the documentation.

[rt.cpan.org #61577] try to populate socket info when not cached

The fixes are originally by Daniel Kahn Gillmor
<dkg@fifthhorseman.net>, but I've made other changes.

[rt.cpan.org #61577] propagate socket details on accept

[rt.cpan.org #61577] sockdomain and socktype undef on newly accepted sockets

There appears to be a flaw in IO::Socket where some IO::Socket objects
are unable to properly report their socktype, sockdomain, or protocol
(they return undef, even when the underlying socket is sufficiently
initialized to have these properties).

The attached patch should cover IO::Socket objects created via accept(),
new_from_fd(), new(), and anywhere else whose details haven't been
properly cached.

No new code should be executed on IO::Socket objects whose details are
already cached and present.

These tests were original written by Daniel Kahn Gillmor
<dkg@fifthhorseman.net>, I've mangled them for use in a hopefully
final fix for the issue.

Fix up pod references to deprecated function

Cloning a format whose outside has been undefined

This has crashed ever since 71f882da8, because the format tries to
close over a pad that does not exist:

sub x {
    {my ($a,$b,$c,$d,$e,$f,$g,$h,$i,$j,$k,$l,$m,$n,$o,$p,$q,$r,$s,$t,$u)}
    my $z;
    format =
@<<<
$z
.
}
undef &x;
write;

This commit adds checks for nonexistent pads, producing the ‘Variable
is not available’ warning in cases like this.

Fix perl -d’s "l" command.

The "l" command (without any arguments) got broken in blead, due to the
"use strict" patch because "$max = ..." was changed into "my $max = ..."
while $max should always be a global.

perldelta for 9d7bf4

op.c: S_op_integerize: -foo no longer needs an exception

pad.c: Update comments

[perl #113012] String negation under ‘use integer’

This makes the negation operator under the integer pragma (i_int) use
the same logic for determining whether to do string negation as the
regular negation operator.

Before, this did not happen at all under the integer pragma, except
for barewords, resulting in strange inconsistencies:

$ perl -le 'use integer; print -foo'
-foo
$ perl -le 'use integer; print -"foo"'
0

The code for string negation is now in a static routine in pp.c and is
used by both types of negation.

[perl #113006] perllocale: change Spanish to traditional Spanish

Nowadays, Spanish collation does not treat ch as a separate letter.

op.c: Remove unnecessary variable

This is left over from when I had the partially-filled slab at the end
of the chain, instead of second (which was never committed).

Don’t crash with formats in special blocks

Commit 421f30ed1e9 didn’t go far enough.  If a special block happens
to replace a stub, then a format trying to close over variables in the
special block will be pointing to the wrong outer sub.

Such stubs shouldn’t usually happen, but perl shouldn’t crash.

perlguts: Document that PV can point to non-string

regcomp.c: Optimize /[0-9]/ into /\d/a

The commonly used [0-9] can be optimized into a smaller, faster node
that means the same thing.

regcomp.c: Optimize e.g., /[^\w]/, /[[^:word:]]/ into /\W/

This optimizes character classes that have a single element that is one
of the ops that have the same meaning outside (namely \d, \h, \s, \w,
\v, :word:, :digit: and their complements) to that op.  Those
ops take less space than a character class and run faster.   An initial
'^' for complementing the class is also handled.

regcomp.c: Simply some node calculations

For the node types that have differing versions depending on the
character set regex modifiers, /d, /l, /u, /a, and /aa, we can use the
enum values as offsets from the base node number to derive the correct
one.  This eliminates a number of tests.

Because there is no DIGITU node type, I added placeholders for it (and
NDIGITU) to avoid some special casing of it (more important in future
commits).  We currently have many available node types, so can afford to
waste these two.

regcomp.sym: Reorder a couple of nodes

This causes all the nodes that depend on the regex modifier, BOUND,
BOUNDL, etc. to have the same relative ordering.  This will enable a
future commit to simplify generation of the correct node.

reg_fold.t: Make test cases non-optimizable away

This commit changes the bracketed character classes to include a
non-related character.  This is in preparation for a future commit which
would cause the current character classes to be optimized into EXACTish
nodes which would start passing TODO tests, but don't fix the underlying
problem with character classes.  That bug is that you can't split a
multi-char fold across nodes. It probably is not fixable in Perl without
a total restructuring of the regular expression mechanism.  For example,
"\N{LATIN SMALL LIGATURE FFI}" doesn't match /[f][f][i]/i.  But it would
if those got optimized into a single EXACTF node.  (The problem is not
limited to character classes, /(f)(f)(i)/i also doesn't match, and
can't, as $1, $2, and $3 are not well-defined.)

regcomp.c: Simplify compile time [^..] complement

This simply moves the code that populates the bitmap and combines the
two inversion lists to after the inversion (the differences are shown
much greater than there really are, since a move is done.)  This greatly
simplifies complementing the character class.

regcomp.c: Rename variable to reflect new purpose

This variable really holds the list of all code points the bracketed
character class matches; it's not just the ones not in the bitmap.

regcomp.c: Have a subroutine do the work

Since this code was originally written, the fold function has added
input flags that cause it to do the same thing this code does.  So do it
in the subroutine.

regcomp.c: Remove obsolete code

A previous commit has removed all calls to these two functions (moving a
large portion of the bit_fold() one to another place, and no longer sets
the variable.

regcomp.c: White-space, comments only

This indents, outdents previous code, based on new/removed outer blocks.
It reflows comments and code to fit into 80 columns, add/removes blank
lines, minor comment rewording

regcomp.c: Remove unnecessary 'if' test

A previous commit has refactored things, so this test is always true

regcomp.c: Use more inversion lists in [] char classes

This changes the building of bracketed character classes to use
inversion lists instead of a bitmap/inversion list combination.

This will lead in later commits to simplification and extending
optimizations to beyond the Latin1 range.

handy.h: Fix isBLANK_uni and isBLANK_utf8

These macros have never worked outside the Latin1 range, so this extends
them to work.

There are no tests I could find for things in handy.h, except that many
of them are called all over the place during the normal course of
events.  This commit adds a new file for such testing, containing for
now only with a few tests for the isBLANK's

no_utf8_pm.t: Add blank between 'not' and 'ok' in .t

fix compiler warning

Make formats close over the right closure

This was brought up in ticket #113812.

Formats that are nested inside closures only work if invoked from
directly inside that closure.  Calling the format from an inner sub
call won’t work.

Commit af41786fe57 stopped it from crashing, making it work as well
as 5.8, in that closed-over variables would be undefined, being
unavailable.

This commit adds a variation of the find_runcv function that can check
whether CvROOT matches an argument passed in.  So we look not for the
current sub, but for the topmost sub on the call stack that is a clone
of the closure prototype that the format’s CvOUTSIDE field points to.

[perl #113812] Always use find_runcv when cloning a sub

A closure prototype’s CvOUTSIDE pointer might have been modified if
its containing sub is freed first.  When a sub is cloned, the enclos-
ing sub is always the currently-running sub (not so for formats).

So this commit makes subs always use find_runcv, the way they did
before 71f882da828.

So the closure logic which was needed for formats is now moved into an
else branch that is used only for them.

[Merge] CV-based slab allocator for ops

This branch uses per-CV slabs for ops, so that ops can all be freed
after compilation errors, fixing memory leaks and a crash.

See commit 8be227ab5e for how it works.

Teach diagnostics.pm about %p

Increase $diagnostics::VERSION to 1.30

perldiag: Document ‘Slab leaked from cv’

When reusing op slots, only zero as much as needed

If an op slot is reused for a smaller op, we only need to zero out the
space used for the op, not the whole slot.

-DS should not invoke warnhook

I was using Perl_warn, both for its convenience, and because the line
numbers were extremely helpful in tracking bugs.

But it invokes the warnhook, if present, and also respects tied
STDERR.  We should be using Perl_debug_log.

Changing this also avoids the need for /* diag_listed_as: SKIPME */
all over the place.