podcheck.t: Reword instructions slightly

This is to emphasize that things may be false positives, and
instead of jumping through hoops to shut it up, all you have
to do is --regen things.

More apidoc entries need \n\n before =cut

Improve wrapping of arguments in perlintern.pod

Commit dee6204dc made a huge improvement to the formatting of argument
lists in perlapi (except for one pesky little entry, namely caller_cx,
that is 81 columns).

But I forgot to look through perlintern.

This just looks comical:

                       struct refcounted_he * refcounted_he_new_pv(struct refcounted_he *parent,
                                                                   const char *key,
                                                                   U32 hash,
                                                                   SV *value,
                                                                   U32 flags)

On an eighty-column terminal that wraps like this:

                       struct refcounted_he * refcounted_he_new_pv(struct refcoun
ted_he *parent,
                                                                   const char *k
ey,
                                                                   U32 hash,
                                                                   SV *value,
                                                                   U32 flags)

Ugh!!

So, for entries with individual arguments that don’t fit, this commit
wraps them like this:

                       struct refcounted_he * refcounted_he_new_pv(
                                                  struct refcounted_he *parent,
                                                  const char *key, U32 hash,
                                                  SV *value, U32 flags
                                              )

re_eval: clear lexicals in the right pad

(?{...}) deliberately doesn't introduce a new scope (so that the affects of
local() can accumulate across multiple calls to the code). This also means
that the SAVEt_CLEARSVs pushed onto the save stack by lexical declarations
(i.e. (?{ my $x; ... }) also accumulate, and are only processed en-mass at
the end, on exit from the regex. Currently they are usually processed in
the wrong pad (the caller of the pattern, rather than the pads of the
individual code block(s)), leading to random misbehaviour and SEGVs.

Hence the long-standing advice to avoid lexical declarations within
re_evals.

We fix this by wrapping a pair of SAVECOMPPADs around each call to a code
block. Eventually the save stack will be a long accumulation of
SAVEt_CLEARSV's interspersed with SAVEt_COMPPAD's, that when popped
en-mass should unwind in the right order with the right pad at the right
time.

The price to pay for this is two extra additions to the save stack (which
accumulate) for each code call.

A few TODO tests in reg_eval_scope.t now pass, so I'm probably doing the
right thing ;-)

av.c: Add blank line before =cut

to fix the generated pod

Wrap argument lists in perl{api,intern}.pod

Add PL_valid_types_{IVX,NVX,PVX,RV,IV_set,NV_set} into globar.sym.

f1fb874192252653 added these 6 new global variables, but omitted to add them
to the list of exported symbols.

Sort globvar.sym lexically.

replace many SvTYPE assertions with lookup tables

Under a DEBUGGING build, this reduces the size of the perl binary by about
10%, and reduces the time to run the test suite by about 10-20%% (!)

Update CPANPLUS to CPAN version 0.9108

  [DELTA]

  Changes for 0.9108      Fri Jul 15 15:15:06 2011
  ================================================
  * Always use INSTALLER_MM for Module-Build

ensure SVs_PADTMP and SVs_PADTMP not both on

There's no reason for these two flags to ever both be on.
Fix the one place that was doing this, and assert that this never happens.

If this doesn't break anything, it opens the door to freeing a bit in
SvFLAGS. (woo hoo!)

Change sv_eq_pvn_flags()'s parameter pvlen from I32 to STRLEN.

Change its return type to bool from I32, as it only returns truth or falsehood.

Change was_lvalue_sub back to X; spell out the only use of it

OK, now I understand what’s happening.

If there is a public macro (PUSHSUB) that contains a call to a pri-
vate function (was_lvalue_sub), that function has to be exported, so
that non-core code can call it.  But if it is marked X, there is no
was_lvalue_sub shorthand macro visible to non-core code, so when the
PUSHSUB macro is expanded in such code, the was_lvalue_sub(...) bit
becomes a call to the function literally named was_lvalue_sub, as
opposed to Perl_lvalue_sub (and is compiled that way on forgiving
platforms).  Making it A makes that macro available to non-core code,
but also implies that it is available for direct use by extensions,
which is not the case with was_lvalue_sub.

So, this commit makes it X again, but spells it out in PUSHSUB, so
there is no need for the function’s macro to be available when
PUSHSUB is expanded.

Hence, there is no need for the was_lvalue_sub macro to exist, so this
commit also removes it.

See also these three commits:

c73b0699db
7b70e81778
777d901444

A typemap is a file, not a directory.

Perldelta for Dave's short-circuit optimization

fully short-circuit &&, ||, //

Currently in an expression like (A || B || C || D), if A is true, then
B, C and D aren't evaluated, but the 2nd, 3rd and 4th OR ops are *still*
executed. Use the peephole optimiser to bypass them.

i.e. change the op tree from

    - A - OR - OR - OR - X---
            \ /  \ /  \ /
             B    C    D
to
    - A - OR --------------------X---
            \                   /
             B - OR -----------/
           \          /
    C - OR --/
          \ /
   D

With this, the following code's execution time reduces from 1.6s to 0.9s
approx on my system:

    my $a = 1; my $b = 0; my $x = 0;
    for (1..10_000_000) {
if ($a || $b || $b || $b || $b || $b) {
    $x++;
}
    }

Make prototypes and declarations for Perl_pad_add_name_{pv,pvn,sv} agree.

cc76b5cc1552a605 added all 3 functions to the API, but declared prototypes
with const U32 flags, whilst the definitions had that parameter non-const.
Some compilers issue warnings about this inconsistency.

Add Porting/acknowledgements.pl to generate perldelta acknowledgements

reduce size of threads.t test

Commit 3c78429c102e0fe2ad30c60dfe52636b6071ef19 introduced a new test
that constructed and then evaled a very long string. Make that string less
long, as evaling it was consuming 100Mb on my debugging build, and a
smaller string still exercises the behaviour (i.e. fails on older perls).

Added -r option to corelist

This will display the release date of a given perl release.

If no perl release is specified, will list all perl releases
and release dates.

Update POD for 'corelist' so that the help page is more actual than illustrative

Signed-off-by: Chris 'BinGOs' Williams <chris@bingosnet.co.uk>

make peep optimiser recurse mostly only shallowly

Long blocks of code that include logical or loop ops (i.e. those with
multiple 'branches' of ops, such as op_other, op_redo etc) cause
Perl_rpeep to recurse deeply and eventaully SEGV.

For example this crashes, due to the ENTERLOOP:

    eval ("{\$x = 1 }\n" x 10000)

The deep recursion happens because the processing of the entire rest of
the code occurs in within the nested call. For example in the code

    A && B; C; D; E;

the ops are structured as

A -> AND -> C -> D -> E
       \   /
         B

where AND->op_next points to C, while AND->op_other points to B.
rpeep() would normally process each op in the op_next sequence in turn
(i.e. A/AND/C/D/E), but when it reaches AND, it recursively calls
rpeep(B), which happens to then process B/C/D/E. Finally it returns,
and the parent rpeep processes C, finds it's already done, and exits.

Clearly, if C,D,E etc also contain conditional/loop ops, then the
recursion level gradually stacks up.

The fix for this is to add a small deferred queue to rpeep().
Whenever rpeep wants to recurse with op_other or op_lastop etc,
it instead adds it to the deferred queue. Only if the queue is full is
rpeep actually called. The hope is that by deferring, when we do
eventually process it, enough of the main op_next chain has already been
processed to ensure that the child rpeep returns very early.

In the example above, processing of AND causes B to be added to the queue,
and the main rpeep process continues processing C, D etc. Sometime later,
the queue becomes full and B is processed via a recursive call to rpeep.
B is processed, and op_next is followed to C, but C is marked as already
processed, so the child rpeep returns almost immediately.

For LOOP ops, I've stopped following op_redoop and op_nextop, since
AFAIKT the ops these point to will also be reachable vie op_next anyway.
op_lastop is the exception; in while(1){..} only op_lastop points to the
rest of the code block.

Note that this commit doesn't guarantee only shallow recursion, it just
makes deep recursion fairly unlikely.

Note also that this commit causes the order of the processing of op_next
chains to be altered; this can affect the ordering of compiler warnings
and fatal messages among potentially other things.

Only add Perl_pad_setsv to the list of symbols if -DDEBUGGING is true.

This is needed on Win32 since cc76b5cc1552a605, which make Perl_pad_setsv part
of the public API, and thereby exported for the first time.

[perl #93324] Don’t autovivify *B:: in Carp

While this may be bending over backwards, this avoids causing problems
for the Perl compiler suite and also for various CPAN modules that use
A, B and C packages for testing.

perldelta update

Ahem, 0fce7163 was not enough

Fix a compiler warning

gimme is being set by POPBLOCK, but otherwise unused. PERL_UNUSED_VAR stops the
warning gcc generates for that.

Remove an unused variable

Don't include libutil.h on Linux

All it does is cause warnings on recent systems with that header installed. It's
required for some variants of FreeBSD only.

Dual-life Term::Complete

perldelta for the SvIsCOW fix

perldelta for recent SvREADONLY fixes

Merge UTF8 pad stuff

The series of commits in this branch add pad functions to the API and
make the pad fully UTF8-aware.

Previously, ‘use utf8; my $фу’ used to store raw UTF8 bytes in the
pad, without marking them as such.  So things sort of worked ‘by
accident’.

Fix perlintern links; regen known pod issues

Add a test count to fresh_perl_utf8.t

Add Brian Fraser to AUTHORS

This cleans the "Can't localize lexical variable" error.

Plus the test case from t/run/fresh_perl.t, but in UTF-8,
in t/op/fresh_perl_utf8.t
That file currently has only that test, but I intend to
port others from fresh_perl.t to test clean stashes/GVs.

Cleaned up warning messages in pad.c, plus related tests.

Tests for the pad cleanup.

Cleanup of pad fetching and storing. This version normalizes the data on both sides, which isn't required, but may be more efficient than leaving it to the comparison function.

Added sv_eq_pvn_flags to pad.c, which will be used by later commits.

Passing the flag to the pad functions in toke.c

Handling of the flag parameter in Perl_allocmy, instead of looking at the global flag.

pad.c: flags checking for the UTF8 flag when necessary

pad.h: Added a padadd_UTF8_NAME flag for pad_add_name_pvn.

Added a flags parameter to pad_findlex.

API tests for pad_findmy_*()

API test for find_rundefsv()

APIify pad functions

Move several pad functions into the core API.  Document the pad
functions more consistently for perlapi.  Fix the interface issues
around delimitation of lexical variable names, providing _pvn, _pvs,
_pv, and _sv forms of pad_add_name and pad_findmy.

Stop buildtoc from generating trailing whitespace

In win32/pod.mak, at least.

Move perlxs{,tut}.pod into the ExtUtils-ParseXS dist

Skip .xs files in t/ dirs  when comparing versions

podcheck.t --regen after the ParseXS merge

A perltodone! ExtUtils::ParseXS uses strict

This is thanks to James Keenan's work! Finally!

Fill in ExtUtils::ParseXS versions in delta

Merge branch 'smueller/eu_typemap' into blead

Much of ExtUtils::ParseXS was rewritten and cleaned up.
It has been made somewhat more extensible and now finally
uses strictures.

The logic for parsing, merging, and dumping XS typemaps was extracted
from ExtUtils::ParseXS into a module of its own, ExtUtils::Typemaps.
ExtUtils::Typemaps offers an interface to typemap handling outside of
the scope of the XS compiler itself.

As a first use case of the improved API an extensibility, typemaps can now
be included inline into XS code with a HEREDOC-like syntax:

  TYPEMAP: <<END_TYPEMAP
  MyType    T_IV
  END_TYPEMAP

Increase $Storable::VERSION

The recent CPAN release of 2.30 did not include the last two
changes to Storable.xs, so blead needs a new number.

Make Internals::SvREADONLY smarter

(aka: More fun with Hash::Util)

$ perl -lMHash::Util=lock_value
$h{a} = __PACKAGE__; lock_value %h, a; $h{a} = "3"; print $h{a}'
^D
3

OK, so it didn’t really lock it. Now for more fun:

$ perl -lMHash::Util=unlock_value
$h{a} = __PACKAGE__; unlock_value %h, a; $h{a} =~ y/ia/ao/;
print __PACKAGE__
^D
moan

There are three different ways to fix this:
1) Add an SvFAKE function to Internals:: (not *more* ‘internals’ for
   people [ahem, Const::Fast, ahem] to abuse!)
2) Use B::* functions in Hash::Util to check the flags (too slow)
3) Make Internals::SvREADONLY less ‘internal’, by having it deal with
   readonliness in general, rather than just the SVf_READONLY flag.

The third approach seems the most logical, so that’s what this
commit does.

There is one test in t/op/tr.t that uses Internals::SvREADONLY to
detect bovinity, so I’ve changed it to use B instead, as that will
have no effect on post-install efficiency.

(This approach also fixes Const::Fast’s bugginess, but that is purely
accidental.)

Make SvIsCOW honest about globs

SvIsCOW was ignoring the fact that it might be passed a
typeglob, which made its behaviour contradict its docs.

This fixes that and, in doing so, simplifies the
upcoming Internals::SvREADONLY fix.

Make it possible to have read-only glob copies

(aka Fun with Hash::Util)

This script gives ‘Modification of a read-only value’:

use Hash::Util lock_value;
*foo::; # autovivify
lock_value %::, foo::::;
*foo:: = [];

So far so good.  That’s to be expected.  But this one crashes:

use Hash::Util lock_value;
$a{h} = *foo;
lock_value %a, h;
$a{h} = [];

Under debugging builds, it gives assertion failures.

Anyone who knows how the flags work will see immediately what’s wrong,
but for the sake of those who don’t:

The SVf_FAKE flag is set on a copy of a typeglob, meaning that assign-
ing something other than a glob to it will overwrite the glob, instead
of writing to one of its slots.

The SVf_FAKE flag on a read-only (SVf_READONLY-flagged) string means
that it’s not actually read-only, but a copy-on-write string.

SVf_READONLY on a glob means that you can’t even assign *through* it.
See the first Hash::Util example above.

The crashing occurs when the two flags are combined.
sv_force_normal_flags assumes that anything marked fake AND read-only
is a copy-on-write string, so it proceeds to gut it, even if it’s
actually just corrupting a glob.

So this commit changes that check to take typeglobs into account.

Document full changeset in ExtUtils::ParseXS

Bump ExtUtils::ParseXS version to a dev version

Document the TYPEMAP XS keyword

It can be used for embedding typemaps in XS code. Very convenient
when generating XS!

Document the ExtUtils::ParseXS changes in perldelta

Attempt band-aid fix for win32 build failure

Add is_empty method to EU::Typemaps

Use lower case method name for current_line_number

My fault for botching this up originally, sorry.

Lose $Fallback global

Lose the $Overload global

Remove superfluous global "$errors"

Make $FH no longer a global

This is lying of course. It's now in the global $self->{FH},
but this is still the first step to fix its globalness.

Fix some error messages

Error handling/message improvements

- Move line number calculation to separate method
- Make death/Warn/blurt proper methods
  They pretended to be methods all along, but never were.
- Pass XS file name and line no. to typemap parser
  ... for better error messages from the typemap parser in
  case of embedded typemaps

Allow overriding line numbers and files while parsing strings

When parsing typemaps from strings, we used to print in-string
line numbers and <string> as the file name. In case of embedded
typemaps in XS code, we really want to refer back to the line
number and name of the XS file. This is now possible.

Support for embedded typemaps in XS

This implements embedded typemap documents with a heredoc-like
syntax. In your XS, use a block like the following:

TYPEMAP: <<END
Foo* T_SOMETHING

INPUT
T_SOMETHING
code
END

Update docs and exports to be in line with reality

check_conditional_preprocessor_statements is not a method

Also, lose some unsightly undef()s.

Make get_alias (nee GetAlias) a method

Make print_section a method

As with previous changes, checking whether a localization of $_ or
something along those lines is acceptable remains to be done.

Transform FOO_handlers to methods

More methods (merge_section)

Make PushXSStack a method

Transform some functions into methods on the proto-object

Some simple tests for errors

Better error checking/handling

Eliminate four unsightly magical hash refs

Previously, we'd be generating and passing around four lookup tables for
C-type to XS-type (type kind), C-type to prototype, XS-type to input map
code, and XS-type to output map code. This is now all handled by
ExtUtils::Typemaps.

Make trailing whitespace a newline at all times

use warnings

Make get_(in|out)putmap more flexible

They now also accept ctypes which are resolved to xstypes via the
typemap section.

Add targetable method

This does the same thing for a simple output map as the make_targetable
function in ExtUtils::ParseXS::Utilities does for all output maps. The
latter function is intended to be superseded by this new method.

Add comment explaining where terrible code comes from

... and it is not brought by the stork.

Document inception of EU::Typemaps

Bless singleton

Nah, implicit is bad

Lose now obsolete process_single_typemap()

This was the actual typemap parser. It is now parsed by
ExtUtils::Typemaps, so we don't need it any more!

Make ExtUtils::ParseXS use ExtUtils::Typemaps

This is just the quick'n'dirty conversion to make it use
EU::Typemaps. Eventually, we want to use it in its full object-oriented
goodness!

Do not use Carp, fix propagation of replace/skip

Using Carp in a module this early in the toolchain can cause ugly
failure. Carp can trigger loading overload. overload::StrVal can trigger
loading Scalar::Util. Scalar::Util::PP requires B. miniperl doesn't like
loading shared libraries.

This problem with Carp just shadowed the underlying problem that the
replace/skip options weren't propagated correctly.

Defer loading main module

More whitespace bug-compatibility

More compatibility testing