podcheck.t: Add label to 'next' stmts for clarity

Merge branch 'rgs/overload' into blead

[perl #113050] Put fallback back under "()"

Unfortunately, there is code all over CPAN that assumes fallback is
stored under the "()" stash entry.  And that code also assumes that
the overloadedness flag (the existence of the CV) is in the same spot.
So much for encapsulation.

This commit changes overloading itself to use a different key, "((",
while having it search for "()" first, and then "((" only if "()" is
not found, to preserve compatibility with encapsulation-breaking code.

So the "((" key will only be used by gv.c if there is no fallback
value specified at all.

Increase $ExtUtils::ParseXS::Utilities::VERSION to 3.17

Increase $ExtUtils::ParseXS::VERSION to 3.17

ParseXS.pm: Only inc PL_amagic_generation before 5.9

Originally, overload would not oven be checked for if
amagic_generation was 0, so it was necessary to do
PL_amagic_generation++, in case this was the first class to have over-
loading.  Ever since perl-5.8.0-87-g439cb1c, PL_amagic_generation++
has been unnecessary, since the boot code for version objects incre-
ments it.  Furthermore, newXS was already doing PL_sub_generation++
before that, and now does mro_method_changed_in.  The code for check-
ing the staleness of the overload tables has always checked
sub_generation (and, later, the stash-specific generation numbers).

Excise PL_amagic_generation

The core is not using it any more.  Every CPAN module that increments
it also does newXS, which triggers mro_method_changed_in, which is
sufficient; so nothing will break.

So, to keep those modules compiling, PL_amagic_generation is now an
alias to PL_na outside the core.

op.c: One less func call for newXS

newXS calls newXS_flags, which calls newXS_len_flags.  This commit
makes newXS call the underlying function directly.

perlfunc: long lines

Add Igor Zaytsev to AUTHORS

[perl #111918] Fix thawing seen objects in STORABLE_attach hook

Before any thaw hook is called Storable creates a new blessed object that
is stored in a seen cache and then is provided to the hook. That is fine
for STORABLE_thaw which fills in this object and returns it. STORABLE_attach
on the other hand can create entirely new object by itself, so one
memoized before should be thrown out to be replaced by that new object.

Make CV * typemap entry support overloading

See RT #96872.

Purported equivalency isn't.

replace B::COP::stashflags by B::COP::stashlen

6379d4a9a (between 5.15.9 and 5.16.0) broke B::COP::stashflags which was added
in 5.15.4.

Fix mktables bug due to the previous overload fix

Due to the previous patch, perl can't generate the operator for .= in
package Property anymore (because fallback is '0' in that package), so
we need to work around that; this patch implements the least intrusive
workaround possible.

refactor macro to avoid compiler warning in regcomp.c

The compiler warning in regcomp.c (as noted in recent comment)
can be avoided by refactoring DO_POSIX_LATIN1_ONLY_KNOWN
to separate the case where sourcelist==l1_sourcelist

The committer changed the name of the new macro so he could understand
it better, and added a couple comments

perlebcdic: make verbatim line fit in 79 cols

regen/mk_invlists.pl: Fail if inversion list not found

This is instead of silently returning nothing.

perlebcdic: Narrow table to fit in 79 columns

This uses the abbreviations for control characters available officially
in Unicode 6.1, instead of the much longer names, thus enabling this
table to be narrowed.  With some space changes, it will fit in 79
columns.  The differences look large, but most go away under 'diff -b'.

The recipes are changed to correspond.

perlebcdic: Add a few commas for clarity

perlebcdic: remove trailing white space

regcomp.c: #define shorter synonym

The longer name is used to discourage XS writers from using this public
defined value, but is unwieldy.  It is clearer to create a shorter
synonym for it.

handy.h: New defn of isOCTAL_A() to free up bit

The new definition is likely slightly faster, as it replaces an array
lookup with a mask.

Comments are also added, listing the other possible candidates for this
treatment, though the speed differential is unclear as they would also
add an extra test.

A U32 is used to store the information about the various properties for
a character.  This frees up one bit of that for future other use.

utf8.c: Add nomix-ASCII option to to_fold functions

Under /iaa regex matching, folds that cross the ASCII/non-ASCII
boundary are prohibited.  This changes _to_uni_fold_flags() and
_to_utf8_fold_flags() functions to take a new flag which, when set,
tells them to not accept such folds.

This allows us to later move the intelligence for handling this
situation to these centralized functions.

utf8.c: Add assertion

regexec.c: Use foldcase instead of lower/upper

The way Perl deals with folds of ASCII-range characters, is to have an
array that maps to the opposite case character.  For example, fold[a] is
A, and fold[A] is a.  To see if a character matches a pattern character
case-insensitively, you compare it against the pattern character itself,
and if that fails, against the fold[pattern character].

Unfortunately that breaks down outside of ASCII, where the folds are not
necessarily one-to-one.  This code is a vestige of that original
paradim, and I'm converting it to use the more modern.  The apparent
reason it doesn't fail in fold_grind.t is that it is for CURLY nodes,
and CURLY is not currently set on EXACTish nodes unless the node
contains a single UTF-8 invariant character.   Effectively, that means
a character in the ASCII range.

I think parts of this could be simplified further, but I don't
understand the whole context of this code to undertake that.

utf8.c: Re-order if branches for speed

Probably the C optimizer does this anyway, but do the uncomplicated test
before the (mutually exclusive) complicated test (though the
complications are hidden in a macro).  The new first test is a
pre-requisite for the new 2nd test anyway.

regcomp.c: Wrap long comment to 80 columns

pp_pack.c: Use macro instead of its expansion

There is a macro that means this code; use it.

regexec.c: Don't allow malformations under EBCDIC

Previously, only under EBCDIC, malformed input was allowed here if
warnings are off.  This code probably needs to be rewritten, to do
proper folding, but I am not up to that right now.

utf8.c: Add comment

utf8n_to_uvuni(): Add a few compiler hints

Tell the compiler that malformed input is not likely, so it can optimize
accordingly.

podcheck.t: Allow checking old perldelta

The test was wrong, causing it to croak when an old perldelta file was
passed explicitly to podcheck.

utf8.c: Skip extraneous function call

This eliminates an intermediate function call by calling the base level
one directly.

utf8.c: Remove unnecessary validation

These two functions are to be called only on strings known to be valid,
so we can skip the validation.

utf8.c: Extra branch to avoid others in the typical case

This test eliminates all code points less than U+D800 from having to be
checked more than once, at the expense of an extra test for code points
that are larger

utf8.h, pp.c: Add UTF8_IS_REPLACEMENT macro, and use it

This should speed things up slightly, as it looks directly at the UTF-8
source, instead of having to decode it first.

utf8.h: Simplify expressions

These expressions, while valid, are overly complicated in order to make
it easy to separate out problematic code points in the future, such as
surrogates.  But we made a decision in 5.12 to not go in that direction,
but to accept such problematic code points in general.  I  haven't
heard any cause to regret that decision; if we ever want to go back, the
blame log will easily allow us to.

utf8.h: Comment improvementes, white-space

embed.fnc: Change formal param name to match docs

This is purely so that perlapi will be accurate in this regard.

doio.c: Add some comments

perlfunc: Add reference to simple folding docs

Experimentally add VT to \s definition

This commit is the minimal necessary to get \s to match the vertical
tab.  It is being done early in the 5.17 series in order to see what
repercussions there might be from doing this.

It may well be that we decide that this change will require a 'use
feature' to activate.  In any event there is significant documentation
of the behavior without the VT that this patch does not address at all.

Tom Christiansen asked Larry Wall why \s did not include VT, and
reported that Larry replied that he did not remember, but had no
objections to adding it.

mk_PL_charclass.pl: Don't use \w, \s

Now that these are partially compiled into the Perl core, we have a
chicken and egg problem if one changes.  Instead, use the \p{}
equivalent which doesn't have this problem.

Synchronise Module-CoreList in Maintainers.pl with teh CPAN

Lookup overloaded assignment operators when trying to swap the arguments

This is in the case where we search for an overloaded operator when
passing the AMGf_assign flag (we're executing an assignment operator
like +=).

At the very beginning of Perl_amagic_call, if the flag AMGf_noleft is
not passed, we first try to look up the overload method corresponding
to the assignment operator, then the normal one if fallback is
authorized. However, if this fails, when trying later to find
overload magic with the arguments swapped (if AMGf_noright is not
passed), this procedure was not used and we looked up directly the base
operation from which the assignment operator might be derived.
As a consequence of what an operator like += might have looked
autogenerated even when fallback=>0 was passed.

This change only necessitates a minor adjustment in lib/overload.t,
where an overloaded += method wasn't corresponding semantically to the
overloaded + method of the same class, which can be seen as a
pathological case.

Close the filehandle actually being tested in uni/readline.t
(Also allows the tempfile() to be unlink()ed :-)

perldelta for undef *_, &CORE::time crash

perldelta for while(each %h)

perldelta for pos %foo

perldelta for ‘no overload "invalid"’ warnings

perldelta for overload fallback inheritance

perldelta for overload caching bug fixes

perldelta for changed AMAGIC table mechanism

perldelta for File::stat’s -p

perldelta for vec w/2GB offsets

perldelta for File::stat -r warning

perldelta for method{}

perldelta for CORE:: and TARG

perldelta for undef *^H non-ambiguity

perldelta for Hash::Util changes

perldelta for modding $_[0] in STORABLE_freeze

perldelta for setting $^N

perldelta for copying call checkers to closures

perldelta for hvstore and %^H

perldelta for goto "\0"

perldelta for goto ""

Increase $Pod::Functions::VERSION to 1.06

The previous commit modified Pod::Functions by modifying perlfunc.pod,
but we have things set up in such a way that cmp_version.t won’t
see it.

Remove double space from Pod::Functions descr

Consistent spaces after dots in CORE.pod

op.c: Remove redundant assignment

This was added unnecessarily in commit ddeae0f14c.  It is a local
variable assigned to just before the function returns, so the value
is never used in the OP_UNDEF case.

Don’t crash with &CORE::foo after undefining *_

When a sub is called with & and no parentheses, no @_ is set up.  This
means the sub call sees the existing @_.  It also means that, if *_
has been undefined, there is no @_.

pp_coreargs was not accounting for this, and was doing
AvARRAY(GvAV(PL_defgv)) without checking that GvAV(PL_defgv) was non-
null.  It crashed as a result.

Test that ‘require v5’ ignores sub named v5

This is something I broke in my first (unapplied) attempt to clean up
require’s parsing madness.

Make while(each ...) imply defined($_ = ...)

This came up in ticket #108286.

Quoting Nicholas Clark:
>
>     while (<STDIN>)
>     while (<*>)
>
> These both always implicitly assigned to $_, always implicitly
> added defined.
>
>     while ($_ = <STDIN>)
>     while ($a = <STDIN>)
>     while ($_ = <*>)
>     while ($a = <*>)
>     while ($_ = readdir D)
>     while ($a = readdir D)
>     while ($_ = each %h)
>     while ($a = each %h)
>
> The implicit defined added was by commit 4b161ae29769b4a3,
> //depot/maint-5.004/perl@949
>
>
> BUT:
>
>     while (readdir D)
>
> The implicit assignment to $_ and defined test were both added in
> *2009* (by commit 114c60ecb1f7)
>
>
> leaving:
>
>     while (each %h)
>
>
> So it is the odd one out. And in 2009 we felt comfortable to add
> both the implicit assignment and the defined test in blead for
> readdir, as a bug fix, and have had no reports of it caus-
> ing problems.

[He asked:]
> > > So that's a bug?

[And I responded:]
> > That's what I was trying to ask. :-)
>
> OK, after a quite a bit of deliberation and digging, I'm of the opinion that
>
> 1: yes, it's a bug

...

> So, there's only one use of while(each %...) on CPAN outside of
> debugging or test code, and that's only go the potential to break
> due to assignment now happening to to $_. Compared with 29 matches
> for while\s*\(\s*readdir of which 4 are .pm files. So
>
> 2: I think it's safe to fix it, just like readdir was fixed.

Just *as* readdir was fixed! :-)

override.t: Remove obsolete comment

require_errors.t: Test <> error

Allow require_errors.t to be run from the top level

Remove OPpCONST_WARNING from B::Concise

Remove OPpCONST_WARNING

This was added to op.h in commit 599cee73:

commit 599cee73f2261c5e09cde7ceba3f9a896989e117
Author: Paul Marquess <paul.marquess@btinternet.com>
Date:   Wed Jul 29 10:28:45 1998 +0100

    lexical warnings; tweaks to places that didn't apply correctly
     Message-Id: <9807290828.AA26286@claudius.bfsec.bt.co.uk>
     Subject: lexical warnings patch for 5.005_50

    p4raw-id: //depot/perl@1773

dump.c was modified to dump in, in this commit:

commit bf91b999b25fa75a3ef7a327742929592a2e7e9c
Author: Simon Cozens <simon@netthink.co.uk>
Date:   Sun May 13 21:20:36 2001 +0100

    Op private flags
    Message-ID: <20010513202036.A21896@netthink.co.uk>

    p4raw-id: //depot/perl@10117

But is apparently completely unused anywhere.  And I want that bit.

coreamp.t: rename badly-named tests

op.c:ck_glob: Don’t do gv_fetchpv("CORE::GLOBAL::glob")

We have PL_globalstash precisely to avoid the nested stash lookup in
cases like these.

op.c: Remove a redundant ck_subr call from ck_require

newUNOP(OP_ENTERSUB, ...) already calls ck_subr, so wrapping it in
ck_subr(...) is unnecessary and wasteful of precious CPU time.

op.c: Remove a redundant ck_subr call from ck_glob

newUNOP(OP_ENTERSUB, ...) already calls ck_subr, so calling ck_subr on
its return value is unnecessary and wasteful of precious CPU time.

op.c: Remove a redundant ck_subr call from dofile

newUNOP(OP_ENTERSUB, ...) already calls ck_subr, so wrapping it in
ck_subr(...) is unnecessary and wasteful of precious CPU time.

op.c:ck_glob: Check PL_globhook before loading File::Glob

By loading File::Glob when there is no CORE::GLOBAL::glob, we just end
up calling Perl_load_module for every glob op, since File::Glob no
longer uses CORE::GLOBAL::glob by default.

We could just as well check whether PL_globhook is set, which would
be faster.

(File::Glob sets PL_globhook when it loads.  In 5.14, it didn’t
set anything, but ck_glob itself would set CORE::GLOBAL::glob to
File::Glob::csh_glob.)

Test <> ovrld with glob override

While doing a PL_glob_index experiment on a branch, I almost screwed
up the stack for those cases where glob is overridden and there is
iterator overloading.  The tests passed anyway, meaning we need
more tests.

cproto.t: Add tests for BEGIN, etc.

Make cproto.t more stringent

It was allowing prototype() to return undef where an empty string
was expected.

Make pos(@array) and pos(%hash) into errors

Currently pos has an effective prototype of (;\[$@%*]), and what it
does is rather interesting.

First, it produces a strange uninitialized warning:

$ ./perl -Ilib -we 'pos my @a = 3'
Use of uninitialized value within @a in scalar assignment at -e line 1.

There is no uninitialized value here.  The value ‘within @a’ is actu-
ally @a itself.  The code that produces the error message was written
under the (perfectly logical) assumption that an array would never be
passed to report_uninit().

Secondly, it adds pos magic to the array itself:

$ ./perl -Ilib -e 'pos @a = 3; use Devel::Peek; Dump \@a'
SV = IV(0x8039fc) at 0x803a00
  REFCNT = 1
  FLAGS = (TEMP,ROK)
  RV = 0x825b90
  SV = PVAV(0x804a04) at 0x825b90
    REFCNT = 2
    FLAGS = (SMG)
    MAGIC = 0x30cb20
      MG_VIRTUAL = &PL_vtbl_mglob
      MG_TYPE = PERL_MAGIC_regex_global(g)
    ARRAY = 0x0
    FILL = -1
    MAX = -1
    ARYLEN = 0x0
    FLAGS = (REAL)

This magic can never be used, as @a =~ /foo/g is equivalent to
scalar(@a) =~ /foo/g, and scalar(@a) returns a scalar containing the
length of the array, not the array itself.

This seems clearly a mistake.

pos forces lvalue context on its argument, making pos(3) a compile-
time error.

Internally, the main distinction between \$ (scalar lvalue) and
\[$@%*] (scalar lvalue, or some other type) prototypes is that the
function S_scalar_mod_type returns true for functions with the former,
but false for functions with the latter.  (Tangentially, \[$@%*] and
\[$@%&*] are distinguished by the special-casing in op_lvalue_flags
under case OP_ENTERSUB.)

S_scalar_mod_type returns false for pos.  I think it should return
true.  That is what this commit does, resulting in consistency
with read():

$ ./perl -Ilib -we 'read($1, @2, $3)'
Can't modify array dereference in read at -e line 1, near "$3)
"
Execution of -e aborted due to compilation errors.
$ ./perl -Ilib -we 'pos(@2)'
Can't modify array dereference in match position at -e line 1, near "@2)
"
Execution of -e aborted due to compilation errors.

Except when it comes to globs, since read refuses *foo for its second
argument, but pos(*foo) has always Just Worked, so there is no reason
to forbid it.

So, now, pos has an effective prototype of (;\[$*]).

[perl #112692] perlfunc: waitpid takes two args

[Merge] Update overload caches properly

This branch causes overload caches to update properly, instead of
remaining stale till the next ‘bless’.  Overloading also applies now
to objects that were created before a class had overloading, if over-
loading is added to a class at run time.

In the process of doing this, I fixed a few other bugs:
•  Overloaded classes can now inherit fallback.
• ‘no overload’ warns about invalid arguments.
•  use overload '+' => 'method::name' now supports double colons in
   the method name.  This is a regression from 5.003.  Apostrophes
   never stopped working, though.

The changes to the way overloading worked allowed me to simplify
things significantly and delete of lot of code, including eliminat-
ing type ‘A’ magic, for which overloading itself is named throughout
the source!

Correct Peek.t to account for flag changes

Check HvNAME in Gv_AMG

If a stash is undeffed, simple stringification could cause method
lookup to croak, because Gv_AMupdate is trying to look up methods to
fill the overload table.  Gv_AMupdate could be called to begin with
because the isa and method changes now cause the AMAGIC flag to be set
on the stash.

It was for this reason that I added HvAMAGIC_off to hv_undef.  But
putting the name check here seems a much more robust solution, as mro
linearisation triggered by hv_undef could croak, causing the flag not
to be unset by hv_undef.

overload.pm: Allow :: in method names

According to overload’s documentation, ‘[v]alues specified as strings
are interpreted as method names.’

But it behaves differently if the string contains a double colon:

use overload q\""\=>"bar::baz";
@bar::ISA = foo;
sub foo::baz{a}
warn bless[]
__END__
Undefined subroutine &bar::baz called at - line 4.

But apostrophes work as documented:

use overload q\""\=>"bar'baz";
@bar::ISA = foo;
sub foo::baz{a}
warn bless[]
__END__
a at - line 4.

I can’t see how the treatment of ::, introduced in a60067777, is not a
bug, though the method logic looks intentional:

+      if (not ref $sub and $sub !~ /::/) {

I suspect it was one of those things that was just not thought
through.  The pre-a60067777 logic was in gv.c, and treated strings
containing package separators just like any other strings:

          switch (SvTYPE(sv)) {
            default:
              if (!SvROK(sv)) {
                if (!SvOK(sv)) break;
gv = gv_fetchmethod(stash, SvPV(sv, na));
                if (gv) cv = GvCV(gv);
                break;
              }
              cv = (CV*)SvRV(sv);

overload.t: Make the undef %overload:: test useful

The test for undefining %overload:: no longer goes through the code
path that used to crash, because bless[] no longer updates overload
tables.  That now happens when overload methods are called.  So, even
if the bug were reintroduced, the test would pass without this change.

overload.t: Translate a comment into English :-)

Added by 0bdaccee3 and partly corrected by b0bf6df7d, this comment had
me befuddled enough to have to read it three times.

overload.t: Move a test

This block of tests was added by commit d411a6a9eb in the middle
of the numify tests, separating the Numify package from the tests
that used it.

The diff makes it look as though the Numify package got moved down,
but I can assure you that I moved the perl31793 block *up*!

overload.pm: This warning exists now

Update overload docs

Consign magic_setamagic to oblivion

Now that ‘A’ magic is gone, nothing is using this function.