mktables: Generate tables for chars that aren't in final fold pos

This starts with the existing table that mktables generates that lists
all the characters in Unicode that occur in multi-character folds, and
aren't in the final positions of any such fold.

It generates data structures with this information to make it quickly
available to code that wants to use it.  Future commits will use these
tables.

regen/mk_invlists: Add mode to generate above-Latin1 only

This change adds the ability to specify that an output inversion list is
to contain only those code points that are above Latin-1.  Typically,
the Latin-1 ones will be accessed from some other means.

Unicode::UCD::prop_invlist() Allow to return internal property

This creates an optional undocumented parameter to this function to
allow it to return the inversion list of an internal-only Perl property.
This will be used by other functions in Perl, but should not be
documented, as we don't want to encourage the use of internal-only
properties, which are subject to change or removal without notice.

mktables: Add comment to gen'd data file

mktables: grammar in comments

regen/mk_PL_charclass.pl: Remove obsolete code

Octals are no longer checked via this mechanism.

regcomp.c: Make invlist_search() usable from re_comp.c

This was a static function which I couldn't get to be callable from the
debugging version of regcomp.c.  This makes it public, but known only
in the regcomp.c source file.  It changes the name to begin with an
underscore so that if someone cheats by adding preprocessor #defines,
they still have to call it with the name that convention indicates is a
private function.

perlop:clarify wording

regcomp.c: Rename static fcn to better reflect its purpose

This function handles \N of any ilk, not just named sequences.

regcomp.c: Make comment more accurate

regcomp.c: Can now do /u instead of forcing to utf8

Now that there is a /u modifier, a regex doesn't have to be in UTF-8 in
order to force Unicode semantics.  Change this relict from the past.

regcomp.c: Comments update

This adds some comments and white-space lines, and updates other
comments to account for the fact that trie handling has changed since
they were written.

regcomp.c: Remove variable whose value needed just once

Previous commits have removed all but one instance of using this
variable, so just use the expression it equates to.

regcomp.c: White-space only

This indents and outdents to compensate for newly formed and orphan
blocks, respectively; and reflows comments to fit in 80 columns

regcomp.c: Trade stack space for time

Pass 1 of regular expression compilation merely calculates the size it
will need. (Note that Yves and I both think this is very suboptimal
behavior.)  Nothing is written out during this pass, but sizes are
just incremented.  The code in regcomp.c all knows this, and skips
writing things in pass 1.  However, when folding, code in other files is
called which doesn't have this size-only mode, and always writes its
results out.  Currently, regcomp handles this by passing to that code a
temporary buffer allocated for the purpose.  In pass1, the result is
simply ignored; in pass2, the results are copied to the correct final
destination.

We can avoid that copy by making the temporary buffer large enough to
hold the whole node, and in pass1, use it instead of the node.  The
non-regcomp code writes to the same relative spot in the buffer that it
will use for the real node.  In pass2 the real destination is used, and
the fold gets written directly to the correct spot.

Note that this increases the size pushed onto the stack, but code is
ripped out as well.

However, the main reason I'm doing this is not this speed-up; it is
because it is needed by future commits to fix a bug.

regcomp.c: Use mnemonic not numeric constant

Future commits will add other uses of this number.

regcomp.c: Resolve EBCDIC inconsistency towards simpler

This code has assumed that to_uni_fold() returns its folds in Unicode
(i.e.  Latin1) rather than native EBCDIC.  Other code in the core
assumes the opposite.  One has to change.  I'm changing this one, as the
issues should be dealt with at the lowest level possible, which is in
to_uni_fold().  Since we don't currently have an EBCDIC platform to test
on, making sure that it all hangs together will have to be deferred
until such time as we do.

By doing this we make this code simpler and faster.  The fold has
already been calculated, we just need to copy it to the final place
(done in pass2).

regcomp.c: Use function instead of repeating its code

A new flag to to_uni_fold() causes it to do the same work that this code
does, so just call it.

regcomp.c: Remove (almost) duplicate code

A previous commit opened the way to refactor this so that the two
fairly lengthy code blocks that are identical (except for changing the
variable <len>) can have one of them removed.

regcomp.c: Refactor so can remove duplicate code

This commit prepares the way for a later commit to remove a chunk of
essentially duplicate code.  It does this at the cost of an extra
test of a boolean each time through the loop.  But, it saves calculating
the fold unless necessary, a potentially expensive operation.  When the
next input is a quantifier that calculated fold is discarded, unused.
This commit avoids doing that calculation when the next input is a
quantifier.

Fix a perl5140delta typo in F<> markup.

(Patch predates the 5.14.0 release, but was missed at the time.)

[perl #114020] perlvar: warn against my $_

Update perlsyn for given aliasing $_

plus one typo fix

perlfunc/printf: corrections, clarifications

perlfunc: clarification

perlvar: Document all uses of implicit $_

perlfunc: Document implicit $_ in while(each)

[perl #114020, #90018, #53186] Make given alias $_

This commit makes given() alias $_ to the argument, using a slot in
the lexical pad if a lexical $_ is in scope, or $'_ otherwise.

This makes it work very similarly to foreach, and eliminates the
problem of List::Util functions not working inside given().

[perl #114368] perl -DA -e '' segfaults

Iterative freeing of hashes uses the SvMAGIC field for a different
purpose.  So clear it before calling hv_undef_flags, which calls
hv_assert, which expects any non-null value fo SvMAGIC to me magic.

fix icmp ping tests on cygwin

Net-Ping: creating an icmp socket requires admin access on recent cygwin

on recent Windows.

cygwin on XP can create an icmp socket as a normal user but can't do
anything with it.  On Vista or Win7 the process must be running as
an admin to create the socket.

If someone sees value in running the test on cygwin on XP, they can
provide a patch.

Net-Ping: add a sensible test note for the icmp ping test

fix the cygwin breakage introduced in 2f794ae1

All modern Win32 systems* require admin access to use ICMP sockets from
cygwin, the refactor in 2f794ae1 changed the condition for the skip,
producing a failure here when the test is run unprivileged under
cygwin.

* assuming XP can be called modern

Test that when directories in @INC are skipped, coderefs are still called.

For filenames that are absolute, or start with ./ or ../ only coderefs in
@INC are called - directories are skipped. Test this behaviour.

Avoid reading before the buffer start when generating errors from require.

In pp_require, the error reporting code treats file names ending /\.p?h\z/
specially. The detection code for this, as refactored in 2010 by commit
686c4ca09cf9d6ae, could read one or two bytes before the start of the
filename for filenames less than 3 bytes long. (Note this cannot happen with
module names given to use or require, as appending ".pm" will always make the
filename at least 3 bytes long.)

Add a USE_64_BIT_INT build option to the Windows makefiles.

Rather than adding more canned configurations, we dynamically set values
which differ from the standard 32-bit build options, and actually remove
the canned configurations for 64-bit builds too and do likewise for them.

The ~ARCHPREFIX~ games used by the outgoing .gc64 configuration needed
bringing into the remaining .gc configuration to maintain support for the
GCCCROSS build option.

Two tweaks to sv.c were required for the USE_64_BIT_INT option to work
with a VC++ build, allowing the I64 printf size specification. The GCC
build worked anyway since it uses ll rather than I64.

The motivation for this change came from a patch submitted by Sisyphus
<sisyphus1@optusnet.com.au>:
Message-ID: <6AC52DD00C96415A9E919A02F12DD05F@desktop2>

Makefile.SH needs to delete the perldelta symlink before creating it.

This seemingly redundant action seems to be necessary for maximum
portability on repeat makes - certainly HP-UX make will happily assume that
the target (the symlink) is out of date, attempt to re-run the rule, and
then fail because the `ln -s` command fails due to the target already
existing.

stop /$unchanging/ leaking

9f141731d83a1ac6294a5580a5b11ff41490309a, part of the re_eval jumbo fix,
introduced a leak. It incremented the ref count of a run-time regex each
time it was re-used, i.e. where the pattern hadn't changed.

fix a memory leak in sv_sethek(), amending 70b71ec84

the following code reproduced this issue on perl 5.16.0:

my $o = bless {};
while (1) {
    for my $r([], $o) {
        ref $r;
    }
}

x2p/str.c C++ clean-up.

Compiling str.c with HP C++ for OpenVMS says,

        FILE_ptr(fp) = (void*)ptr; /* LHS STDCHAR* cast non-portable */
.....................^
%CXX-E-INCASSOPN, a value of type "void *" cannot be assigned to an
          entity of type "char *"
at line number 213 in file D0:[craig.blead.x2p]str.c;1

    FILE_ptr(fp) = (void*)ptr; /* LHS STDCHAR* cast non-portable */
.................^
%CXX-E-INCASSOPN, a value of type "void *" cannot be assigned to an
          entity of type "char *"
at line number 233 in file D0:[craig.blead.x2p]str.c;1

So remove the void casts to avoid the errors.  This is an exact
mirror of d06fc7d4ca98, which also removed the void cast from an
equivalent line in perlio.c.  That was almost six years ago, so if
anything especially dire were going to happen without the cast, it
likely would have happened by now.

The casts were added by cc00df79d5 and 5faea5d5, the former of which
refers vaguely to "compiler worries" without specifying what they
were, but signedness warnings are a likely suspect.  We'll get those
again now, but warnings are less bad than errors.  A more robust
solution would be to add a Configure-time detection of the type of
FILE._ptr and cast everything to that.

An even more robust solution would be to eliminate all the "buffer
snooping" mechanisms and concede that maintaining an stdio
implementation is a job for stdio maintainers and not Perl
maintainers.

make re_compile core-engine specific

Originally, Perl_re_compile() was the entry point for perl's regex
compiler.  After commit 3c13cae629d936c43bca9d992cc445d93287af8e, this
function inadvertently became a wrapper meaning "execute the comp method
of the current engine". Change it back so that it always invokes only
perl's engine.

This fixes [perl #114302] Bleadperl v5.17.0-408-g3c13cae breaks
    DGL/re-engine-RE2-0.10.tar.gz

In Perl_scalarvoid(), avoid creating a temporary SV for simple messages.

If using an SV to generate a potentially UTF-8 error message, pass that SV
onward to the code that generates warnings, and use a SV-specific format.
Otherwise use a %s format and pass the char * pointer directly to
Perl_ck_warner(). This avoids creating a temporary SV just to hold a fixed
ASCII string, but retains the ability to generate clean UTF-8 error messages.

Storable: blessed long vstrings

I made a mistake in the long vstring code.  The stored blessing was
being ignored.

[perl #114338] Misleading prototype in perlapi manpage

[perl #113894] Storable support for vstrings

Get Storable’s blessed.t passing again in 5.8.1-

Back then, sub {} meant sub {wantarray?@_:undef}.

Storable.xs: Add comments to store_scalar concerning utf8

Storable: doc typos

Increase $Storable::VERSION to 2.38

scope.c: Don’t stringify globs on scope exit

This is a waste:

    /* Can clear pad variable in place? */
    if (SvREFCNT(sv) <= 1 && !SvOBJECT(sv)) {
/*
 * if a my variable that was made readonly is going out of
 * scope, we want to remove the readonlyness so that it can
 * go out of scope quietly
 */
if (SvPADMY(sv) && !SvFAKE(sv))
    SvREADONLY_off(sv);

if (SvTHINKFIRST(sv))
    sv_force_normal_flags(sv, SV_IMMEDIATE_UNREF);

We can simply drop the globness in sv_force_normal instead of flatten-
ing globs to strings.  The same applies to COWs.  The SV_COW_DROP_PV
flag accomplishes both.

Before and after:

$ time ./miniperl -e 'for (1..1000000) { my $x = *foo }'

real 0m2.324s
user 0m2.316s
sys 0m0.006s
$ time ./miniperl -e 'for (1..1000000) { my $x = *foo }'

real 0m0.848s
user 0m0.840s
sys 0m0.005s

Most magic.t tests can actually run on VMS.

Only the one that clears %ENV is a problem.

Correct skip count in magic.t after 613c63b465.

Remove -x permission from win32/win32.h

No idea why one of my previous commits added the bit.  I blame
Cygwin git and the fact that t/porting/exec-bit.t is skipped
on Windows.

Add PERL_NO_GET_CONTEXT to Win32CORE

Win32CORE is already ithreads aware, but was still making
Perl_get_context calls. This fixes that. Smaller machine code is the result.

Add MSVC noreturn to inside of the interp

12a2785c7e86f586a05cad9ff90ce673c68c3115 only turned on MSVC noreturn for
external DLL XS modules, not inside the interp (perl5**.dll). This commit
fixes that. For me (bulk88), with an -O1 build, perl517.dll dropped
from 1044KB to 1036KB after applying this.

Split __declspec(dllimport,noreturn) into 2 parts

I thought I did test commit 12a2785c with VC6 and it built without
errors, but I can no longer reproduce this.  Checking standard
CRT headers shows common usage (e.g. for longjmp() in setjmp.h) is
"__declspec(dllimport) __declspec(noreturn)", so let's use that
one instead.

Fix C pre-processor expression in Dumper.xs

Commit 153920a10f425609 added a second condition to an #ifdef in Dumper.xs,
but didn't change the #ifdef to #if defined. Clearly gcc can cope with the
resulting non-conformant pre-processor expression, but pickier compilers
(such as HP's) reject it. Re-write it in a way that everything accepts.

perlvar: Correct $^S’s description

diagnostics.t: Test BEGIN{die}

Revert "Increase $diagnostics::VERSION to 1.31"

This reverts commit c369a25dcc5e5c5b627a50d1c4b73c2be0b926b9.

I have just reverted the only other change to diagnostics.pm
since 5.17.2.

Revert "Use $^S instead of caller in splain"

This reverts commit 019070c31184a4deb57cb85f7e597a789c6c5b54.

I misunderstood $^S, and thought I could simplify the code.  Contrary
to what perlvar says, $^S is undefined not only during compilation of
an eval or module, but also during compilation of the main program.

perldelta for undef(&foo) and call checkers

Make undef &foo remove call checkers

The fact that the call checker is stored in magic is an implementation
detail.  cv_undef does not free magic, so the call checker lives on.

If we were to move the parameter prototype into magic internally, we
would not want undef to stop clearing it.  To me, the current situa-
tion with call checkers is similar.

pad.c: document cv_forget_slab

[perl #113940] Make make_ext delete Makefiles when version changes

This eliminates this annoyance:

$ ./perl -Ilib -MStorable -e0
Storable object version 2.37 does not match bootstrap parameter 2.38 at lib/XSLoader.pm line 95.
Compilation failed in require.
BEGIN failed--compilation aborted.

Remove some redundant magical flag checks

Now that gmagical svs use the OK flags the same way as muggles,
things like SvPOK || (SvGMAGICAL && SvPOKp) are no longer necessary.

Use $^S instead of caller in splain

Increase $diagnostics::VERSION to 1.31

perldelta: proto mismatch warnings

Fix scrambled and incorrect proto mismatch error

$ ./perl -Ilib -e 'use constant foo=>bar; sub foo(@);'
Prototype mismatch:: none vs (@) at -e line 1.
$ ./perl -Ilib -e 'sub foo(); sub foo(@);'
Prototype mismatch: () vs (@) at -e line 1.

Notice the double colon and the ‘none’ in the first example?

We also have this bug, where the prototype is the same, but we get the
warning anyway:

$ ./perl -Ilib -e 'use constant foo=>bar; sub foo();'
Prototype mismatch:: none vs () at -e line 1.

When the $::{foo} = \1 constant optimisation was added in 5.10.0, pro-
totype warnings were not taken into account.  A forward declaration
like sub foo() puts a string in the stash element.  newATTRSUB was
passing a non-SVt_NULL non-gv stash element to cv_ckproto_len_flags,
which assumed that !SvPOK meant no prototype.  That’s not the case
with a reference.

The double colon, which goes back to 5.8.4 (ebe643b99/59e7bac08e),
occurs when the sub name is not available:

$ perl5.8.4 -e 'sub foo; sub foo();'
Prototype mismatch:: none vs () at -e line 1.

(Before that the message was worse:
$ perl5.8.3 -e 'sub foo; sub foo();'
Prototype mismatch: vs () at -e line 1.)

In 5.10.0, it started applying to constants as well, which used to
show the sub name:

$ perl5.8.9 -e 'use constant foo=>bar; sub foo(@);'
Prototype mismatch: sub main::foo () vs (@) at -e line 1.
$ perl5.10.0 -e 'use constant foo=>bar; sub foo(@);'
Runaway prototype at -e line 1.
Prototype mismatch:: none vs (@) at -e line 1.

(‘Runaway prototype’ is already gone in blead [acfcf464b177, in which
I stated wrongly that the warning could only come about with stash
manipulation].)

This commit changes cv_ckproto_len_flags to assume that a reference
is a constant with an empty string for a prototype.  It also makes
newATTRSUB pass the sub name sv instead of a gv in those cases where
the stash element isn’t a gv.  This doesn’t restore things to exactly
the way they were before (foo instead of main::foo), but I’m not sure
it’s worth the added complexity of constructing the fully-qualified
name, just for a warning.

perldelta for 4499db7385 (vstr =~ s/a/a/)

sv.h: Document SvTHINKFIRST

Dumper.xs: Avoid scan_vstring on 5.17.3

Now that vstring set-magic is gone (4499db7385), there is no
PL_vtbl_vstring, so we cannot use it for detecting vstring
bugginess.

Increase $Data::Dumper::VERSION to 2.135_07

Oust sv_gmagical_2iv_please

The magic flags patch prevents this from ever being called, since the
OK flags work the same way for magic variables now as they have for
muggle vars, avoid these fiddly games.  (It was when writing it that I
realised the value of the magic flags proposal.)

Remove code for supporting 80286 based systems.

The 80286 was released two years before Perl 1, but the support code was
added with Perl 3. The chip hasn't been produced for more than 15 years -
even the 80386 hasn't been manufactured since 2007. Most of the other
memory model code was removed by commit 5869b1f143426909 in Sep 2000, so
support for 16 bit systems is long dead.

Remove dead code related to the Atari ST port of perl 4.0 patchlevel 19

The subdirectory containing the port specific files was purged when 5.000
was released, but changes made to other files were not removed.

Merge the refactoring of the filetest OPs' return code.

Comment the code with how filetest operators interact with the Perl stack.

Eliminate the macros FT_RETURN_FALSE() and FT_RETURN_TRUE().

As they now simply return the results of S_ft_return_false() and
S_ft_return_true() respectively, use this explicitly in the 7 places where
the macros had been used.

Refactor the macro FT_RETURN_TRUE() into the function S_ft_return_true()

This makes the true and false code paths as similar as possible. It also
eliminates a macro that the HP compiler was choking on.

Consolidate the code for returning false values from filetest operators.

Move the code that implements the non-stacking return processing from the
macro FT_RETURN_FALSE() into the static function S_ft_stacking_return_false().
Rename the function to S_ft_return_false() as it now handles all false cases.

Reorder S_ft_stacking_return_false().

Move the code which deals with setting the return value on perl's stack
ahead of the code which calculates which op to run next (the return value of
the C function).

Remove dSP from all filetest ops.

Following commit d2c4d2d1e22d3125, all filetest ops avoid manipulating the
stack pointer until the point of pushing a return value. As all the filetest
returns now go through either FT_RETURN_FALSE() or FT_RETURN_TRUE(), it's
viable to put the dSP inside those two macros and use *PL_stack_sp in place
of TOPs. This eliminates all uses of sp in the bodies of the functions
(explicit, or implicit via macros), and that makes it clear that the main
bodies of the functions are not manipulating the stack.

Replace the macro RETURNX() with its expansion in FT_RETURN_{FALSE,TRUE}

The macros FT_RETURN_FALSE and FT_RETURN_TRUE in pp_ctl.c are already very
complex, sufficient to trigger an internal failure in HP's compiler [and
possibly also some humans :-)]. Replacing RETURNX() with the 3 statements it
expands to makes the intent of macros clearer, and exposes more refactoring
possibilities.

perldelta for 1eb0b7be2ff1 (B::Deparse and loopex prec)

perldelta for 1f039d60d3 (last $foo)

perldelta for 2ba1f20ac3a (loopex prec docs)

perldelta for f6894bc8d44 and e52de15a29

perldelta for 42409c4069 (truncate FILENAME)

perldelta for 9a0c99494c and 06b58b76f31

perldelta for c9df4fdaad9 (dump LABEL leak)

doop.c: Simplify do_trans’ un-cow logic

Since it calls SvPV_force_nomg a little further on, there is no need
for a separate sv_force_normal call to handle COWs.

Fix C++ build broken by 1f039d60d3

The goto was bypassing initialisation.  Avoiding goto altogether actu-
ally simplifies things.

Flatten vstrings modified in place

A substitution forces its target to a string upon successful substitu-
tion, even if the substitution did nothing:

$ ./perl -Ilib -le '$a = *f; $a =~ s/f/f/; print ref \$a'
SCALAR

Notice that $a is no longer a glob after s///.

But vstrings are different:

$ ./perl -Ilib -le '$a = v102; $a =~ s/f/f/; print ref \$a'
VSTRING

I fixed this in 5.16 (1e6bda93) for those cases where the vstring ends
up with a value that doesn’t correspond to the actual string:

$ ./perl -Ilib -le '$a = v102; $a =~ s/f/o/; print ref \$a'
SCALAR

It works through vstring set-magic, that does the check and removes
the magic if it doesn’t match.

I did it that way because I couldn’t think of any other way to fix
bug #29070, and I didn’t realise at the time that I hadn’t fixed
all the bugs.

By making SvTHINKFIRST true on a vstring, we force it through
sv_force_normal before any in-place string operations.  We can also
make sv_force_normal handle vstrings as well.  This fixes all the lin-
gering-vstring-magic bugs in just two lines, making the vstring set-
magic (which is also slow) redundant.  It also allows the special case
in sv_setsv_flags to be removed.

Or at least that was what I had hoped.

It turns out that pp_subst, twists and turns in tortuous ways, and
needs special treatment for things like this.

And do_trans functions wasn’t checking SvTHINKFIRST when arguably it
should have.

I tweaked sv_2pv{utf8,byte} to avoid copying magic variables that do
not need copying.

pp.c:pp_trans: avoid redundant sv in transr

I think I added the if (OP_TRANSR) block to the wrong spot, because the
mortal scalar created just before it is only used for y/// without /r.

Document return to be exempt from the looks-like-a-function rule, like dump, goto and next.

perlfunc: document last/next EXPR

Also remove some repetitive text from goto, added in 2ba1f20ac3.

B::Deparse: loopexes have assignment prec

See ticket #113684 for detail.

Increase $B::Deparse::VERSION to 1.16