Correct test count in win32/runenv.t

Not having any way to test this, I hope it works.

This is based on smoke reports and my own counting of the is()
calls in the test script.

Use a switch in pp_prototype for compactness

[perl #94984] Remove prototypes for infix ops

This commit makes prototype("CORE::$_") return undef for these
infix ops, instead of the prototype (or error) shown here:

and ()
cmp Error: Cannot find an op number for cmp
eq  ($$)
ge  ($$)
gt  ($$)
le  ($$)
lt  ($$)
ne  ($$)
or  ()
x   Error: Cannot find an op number for x
xor ($$)

Those prototypes are not actually correct, and dying for what are real
Perl keywords is just mean.

perlapi.pod Enhancements

This is a patch to enhance perlapi.pod by providing Perl equivalents and
clarifying documentation where appropriate.

Fixes to allow win32 Perl to properly handle PERL5LIB.

On Windows Vista, 7 and 2008, the win32 API call
GetEnvironmentVariableA() does not return environment values
with string length of greater than 32766, even though
such variables are supported in the environment.

This consequently caused @INC not to be populated for
such values of PERL5LIB on those OSes, as reported in
RT #87322.

This commit reworks the code so that GetEnvironmentStrings()
is called if GetEnvironmentVariableA() indicates the requested
value is set in the environmtn.  The old fallback of consulting
the registry for variables beginning with "PERL" is retained, but
as a last-ditch fallback rather than the only recourse.

A new test file, t/win32/runenv.t has been added to validate
that the new behavior is working properly, as well as that
general environment variable handling is in accordance with
expectations, since t/run/runenv.t does not run on Win* platforms.
The new test file is essentially a non-forking clone of
t/run/runenv.t, with modifications to test cases to run properly
on Win* platforms, and with a new test case to test the new behavior.

Transform the loop in rpeep that handles the undeferred ops

Following commit f11ca51e41e898a77f1fd33b9e0371e69b1be73a, it is possible
to rewrite this loop to make it slightly more readable.

There should be no functional changes.

Test for [perl #87726] (warning from diagnostics.pm under -w)

Upgraded HTTP-Tiny to CPAN version 0.013

0.013     2011-07-17 23:14:22 America/New_York

  [NEW FEATURES]

  - $ENV{http_proxy} support added [Claes Jakobsson]

  [OTHER]

  - Internal/private errors converted from "croak" to "die" as internal
    errors are caught by "eval"

Perl_rpeep: undo tail recursion optimisation

commit 3c78429c102e0fe2ad30c60dfe52636b6071ef19 reduced the depth
of recursion in rpeep(), by deferring recursion into branches until a bit
later (so that the recursive call to rpeep was then likely to be shallow).
However, it went one step further: when the chain of op_next's had been
exhausted in the main loop, it processed any remaining deferrred branches
in the main loop rather than recursing. All nice and efficient, but it
broke the expectation that someone who had hooked into rpeep could follow
the chain of op_nexts in each call and visit *all* ops.

This commit removes that optimisation and restores the rpeep hook
expectancy. This shouldn't have any major effect on the depth of
recursion, and its minor inefficiency doesn't really matter for a
one-time compilation-time pass.

PL_bincompat_options was missing options that affect the interpreter struct.

It had most, but not all, C pre-processor options that change the size of the
interpreter struct.

In intrpvar.h, move all the USE_LOCALE_NUMERIC variables together.

a453c1697467fe60 added PL_numeric_radix_sv at the end of the interpreter struct
to avoid breaking binary compatibility. However, as we now explicitly no longer
guarantee compatibility across major releases, there's no reason not to move it
next to the other variables related to it.

Make Porting/corelist.pl fetch gzipped 02packages.details.txt from CPAN

Move Porting/corelist.pl from LWP::Simple/curl/wget to HTTP::Tiny

Enable autodie in Porting/corelist.pl

Actually test cop_*_label

Fix a wrong length in APItest.xs:test_coplabel

Bring cop label testing in line with intentions.

8375c93eec supplied tests for a newly exported API but the type
declarations for the arguments and return values didn't match the
types of the API being tested.

aebc0cbee0 renamed the functions without updating the calls to
those functions in the test.

Either of these could have been easily spotted by building with
g++ (or other readily available tools) before pushing.

This aside from the controversy over whether this particular API
is the one that should be publicly exported, so this all may be
reverted and replaced before 5.16.0, but hopefully it will unbreak
the build for now.

perlrecharclass: Nits

One nit is that the only difference between [\h\v] and \s is VT; it's
not just one difference.

Another nit is that the synonyms in the table may be to either
the ASCII or full-range depending on various things.

perlre: Nits

Dual-life Search::Dict

Update Pod-Simple to CPAN version 3.18

  [DELTA]

  2011-07-16   David E. Wheeler <david@justatheory.org>
        * Release 3.18

        Pod::Simple now properly parses Pod files using Mac OS Classic line-
        endings (\r). Marc Green/Google Summer of Code.

        Fixed test failure in 't/search50.t when the test finds a .pod but
        the module is in a .pm. Thanks to the cpan-testers who reported
        this when the test searched for Capture::Tiny.

re-indent some tests for readability

This makes it easier to see when the skip count needs to
be updated.

Skip tests sub_lval.t when attributes.pm cannot load

(e.g., under miniperl)

Correct skip count in perlio.t

This makes it pass under miniperl again.

perldelta update

porting/rmg: Expand on CoreList version bump

Rename store/fetch_cop_label as cop_*

This makes them consistent with other functions that put the basic
datum type first (like hv_*, sv_*, cophh_*).

Since fetch_cop_label is marked as experimental (M), this change
should be OK.

Export store_cop_label for the perl compiler

Clean up magic_methcall docs

This is rather unsightly, don’t you think?

magic_methcall
        Invoke a magic method (like FETCH).
        * sv and mg are the tied thingy and the tie magic; * meth is
        the name of the method to call; * argc is the number of args
        (in addition to $self) to pass to the method;
               the args themselves are any values following the argc
        argument.  * flags:
            G_DISCARD:     invoke method with G_DISCARD flag and don’t
        return a value
            G_UNDEF_FILL:  fill the stack with argc pointers to
        PL_sv_undef.
        Returns the SV (if any) returned by the method, or NULL on
        failure.

(That’s the ‘rendered’ nroff output.)

I would have used =over/=item/=back, but autodoc.pl doesn’t seem to
like those.

perlos2: Fix some link issues

The link to emxbind needs some explanation.  Perhaps on an os/2 system,
this command exists, but any link to it is using cpan's search which
doesn't find it

perl5123delta: should have NAME perl5123delta

basename: Change C<> to L<>

perlbeos: change some C<>'s into F<>'s

README.bs2000: lowercase perlBS200 to unbreak links

perlport: remove perlapollo link

podcheck.t: Reword instructions slightly

This is to emphasize that things may be false positives, and
instead of jumping through hoops to shut it up, all you have
to do is --regen things.

More apidoc entries need \n\n before =cut

Improve wrapping of arguments in perlintern.pod

Commit dee6204dc made a huge improvement to the formatting of argument
lists in perlapi (except for one pesky little entry, namely caller_cx,
that is 81 columns).

But I forgot to look through perlintern.

This just looks comical:

                       struct refcounted_he * refcounted_he_new_pv(struct refcounted_he *parent,
                                                                   const char *key,
                                                                   U32 hash,
                                                                   SV *value,
                                                                   U32 flags)

On an eighty-column terminal that wraps like this:

                       struct refcounted_he * refcounted_he_new_pv(struct refcoun
ted_he *parent,
                                                                   const char *k
ey,
                                                                   U32 hash,
                                                                   SV *value,
                                                                   U32 flags)

Ugh!!

So, for entries with individual arguments that don’t fit, this commit
wraps them like this:

                       struct refcounted_he * refcounted_he_new_pv(
                                                  struct refcounted_he *parent,
                                                  const char *key, U32 hash,
                                                  SV *value, U32 flags
                                              )

re_eval: clear lexicals in the right pad

(?{...}) deliberately doesn't introduce a new scope (so that the affects of
local() can accumulate across multiple calls to the code). This also means
that the SAVEt_CLEARSVs pushed onto the save stack by lexical declarations
(i.e. (?{ my $x; ... }) also accumulate, and are only processed en-mass at
the end, on exit from the regex. Currently they are usually processed in
the wrong pad (the caller of the pattern, rather than the pads of the
individual code block(s)), leading to random misbehaviour and SEGVs.

Hence the long-standing advice to avoid lexical declarations within
re_evals.

We fix this by wrapping a pair of SAVECOMPPADs around each call to a code
block. Eventually the save stack will be a long accumulation of
SAVEt_CLEARSV's interspersed with SAVEt_COMPPAD's, that when popped
en-mass should unwind in the right order with the right pad at the right
time.

The price to pay for this is two extra additions to the save stack (which
accumulate) for each code call.

A few TODO tests in reg_eval_scope.t now pass, so I'm probably doing the
right thing ;-)

av.c: Add blank line before =cut

to fix the generated pod

Wrap argument lists in perl{api,intern}.pod

Add PL_valid_types_{IVX,NVX,PVX,RV,IV_set,NV_set} into globar.sym.

f1fb874192252653 added these 6 new global variables, but omitted to add them
to the list of exported symbols.

Sort globvar.sym lexically.

replace many SvTYPE assertions with lookup tables

Under a DEBUGGING build, this reduces the size of the perl binary by about
10%, and reduces the time to run the test suite by about 10-20%% (!)

Update CPANPLUS to CPAN version 0.9108

  [DELTA]

  Changes for 0.9108      Fri Jul 15 15:15:06 2011
  ================================================
  * Always use INSTALLER_MM for Module-Build

ensure SVs_PADTMP and SVs_PADTMP not both on

There's no reason for these two flags to ever both be on.
Fix the one place that was doing this, and assert that this never happens.

If this doesn't break anything, it opens the door to freeing a bit in
SvFLAGS. (woo hoo!)

Change sv_eq_pvn_flags()'s parameter pvlen from I32 to STRLEN.

Change its return type to bool from I32, as it only returns truth or falsehood.

Change was_lvalue_sub back to X; spell out the only use of it

OK, now I understand what’s happening.

If there is a public macro (PUSHSUB) that contains a call to a pri-
vate function (was_lvalue_sub), that function has to be exported, so
that non-core code can call it.  But if it is marked X, there is no
was_lvalue_sub shorthand macro visible to non-core code, so when the
PUSHSUB macro is expanded in such code, the was_lvalue_sub(...) bit
becomes a call to the function literally named was_lvalue_sub, as
opposed to Perl_lvalue_sub (and is compiled that way on forgiving
platforms).  Making it A makes that macro available to non-core code,
but also implies that it is available for direct use by extensions,
which is not the case with was_lvalue_sub.

So, this commit makes it X again, but spells it out in PUSHSUB, so
there is no need for the function’s macro to be available when
PUSHSUB is expanded.

Hence, there is no need for the was_lvalue_sub macro to exist, so this
commit also removes it.

See also these three commits:

c73b0699db
7b70e81778
777d901444

A typemap is a file, not a directory.

Perldelta for Dave's short-circuit optimization

fully short-circuit &&, ||, //

Currently in an expression like (A || B || C || D), if A is true, then
B, C and D aren't evaluated, but the 2nd, 3rd and 4th OR ops are *still*
executed. Use the peephole optimiser to bypass them.

i.e. change the op tree from

    - A - OR - OR - OR - X---
            \ /  \ /  \ /
             B    C    D
to
    - A - OR --------------------X---
            \                   /
             B - OR -----------/
           \          /
    C - OR --/
          \ /
   D

With this, the following code's execution time reduces from 1.6s to 0.9s
approx on my system:

    my $a = 1; my $b = 0; my $x = 0;
    for (1..10_000_000) {
if ($a || $b || $b || $b || $b || $b) {
    $x++;
}
    }

Make prototypes and declarations for Perl_pad_add_name_{pv,pvn,sv} agree.

cc76b5cc1552a605 added all 3 functions to the API, but declared prototypes
with const U32 flags, whilst the definitions had that parameter non-const.
Some compilers issue warnings about this inconsistency.

Add Porting/acknowledgements.pl to generate perldelta acknowledgements

reduce size of threads.t test

Commit 3c78429c102e0fe2ad30c60dfe52636b6071ef19 introduced a new test
that constructed and then evaled a very long string. Make that string less
long, as evaling it was consuming 100Mb on my debugging build, and a
smaller string still exercises the behaviour (i.e. fails on older perls).

Added -r option to corelist

This will display the release date of a given perl release.

If no perl release is specified, will list all perl releases
and release dates.

Update POD for 'corelist' so that the help page is more actual than illustrative

Signed-off-by: Chris 'BinGOs' Williams <chris@bingosnet.co.uk>

make peep optimiser recurse mostly only shallowly

Long blocks of code that include logical or loop ops (i.e. those with
multiple 'branches' of ops, such as op_other, op_redo etc) cause
Perl_rpeep to recurse deeply and eventaully SEGV.

For example this crashes, due to the ENTERLOOP:

    eval ("{\$x = 1 }\n" x 10000)

The deep recursion happens because the processing of the entire rest of
the code occurs in within the nested call. For example in the code

    A && B; C; D; E;

the ops are structured as

A -> AND -> C -> D -> E
       \   /
         B

where AND->op_next points to C, while AND->op_other points to B.
rpeep() would normally process each op in the op_next sequence in turn
(i.e. A/AND/C/D/E), but when it reaches AND, it recursively calls
rpeep(B), which happens to then process B/C/D/E. Finally it returns,
and the parent rpeep processes C, finds it's already done, and exits.

Clearly, if C,D,E etc also contain conditional/loop ops, then the
recursion level gradually stacks up.

The fix for this is to add a small deferred queue to rpeep().
Whenever rpeep wants to recurse with op_other or op_lastop etc,
it instead adds it to the deferred queue. Only if the queue is full is
rpeep actually called. The hope is that by deferring, when we do
eventually process it, enough of the main op_next chain has already been
processed to ensure that the child rpeep returns very early.

In the example above, processing of AND causes B to be added to the queue,
and the main rpeep process continues processing C, D etc. Sometime later,
the queue becomes full and B is processed via a recursive call to rpeep.
B is processed, and op_next is followed to C, but C is marked as already
processed, so the child rpeep returns almost immediately.

For LOOP ops, I've stopped following op_redoop and op_nextop, since
AFAIKT the ops these point to will also be reachable vie op_next anyway.
op_lastop is the exception; in while(1){..} only op_lastop points to the
rest of the code block.

Note that this commit doesn't guarantee only shallow recursion, it just
makes deep recursion fairly unlikely.

Note also that this commit causes the order of the processing of op_next
chains to be altered; this can affect the ordering of compiler warnings
and fatal messages among potentially other things.

Only add Perl_pad_setsv to the list of symbols if -DDEBUGGING is true.

This is needed on Win32 since cc76b5cc1552a605, which make Perl_pad_setsv part
of the public API, and thereby exported for the first time.

[perl #93324] Don’t autovivify *B:: in Carp

While this may be bending over backwards, this avoids causing problems
for the Perl compiler suite and also for various CPAN modules that use
A, B and C packages for testing.

perldelta update

Ahem, 0fce7163 was not enough

Fix a compiler warning

gimme is being set by POPBLOCK, but otherwise unused. PERL_UNUSED_VAR stops the
warning gcc generates for that.

Remove an unused variable

Don't include libutil.h on Linux

All it does is cause warnings on recent systems with that header installed. It's
required for some variants of FreeBSD only.

Dual-life Term::Complete

perldelta for the SvIsCOW fix

perldelta for recent SvREADONLY fixes

Merge UTF8 pad stuff

The series of commits in this branch add pad functions to the API and
make the pad fully UTF8-aware.

Previously, ‘use utf8; my $фу’ used to store raw UTF8 bytes in the
pad, without marking them as such.  So things sort of worked ‘by
accident’.

Fix perlintern links; regen known pod issues

Add a test count to fresh_perl_utf8.t

Add Brian Fraser to AUTHORS

This cleans the "Can't localize lexical variable" error.

Plus the test case from t/run/fresh_perl.t, but in UTF-8,
in t/op/fresh_perl_utf8.t
That file currently has only that test, but I intend to
port others from fresh_perl.t to test clean stashes/GVs.

Cleaned up warning messages in pad.c, plus related tests.

Tests for the pad cleanup.

Cleanup of pad fetching and storing. This version normalizes the data on both sides, which isn't required, but may be more efficient than leaving it to the comparison function.

Added sv_eq_pvn_flags to pad.c, which will be used by later commits.

Passing the flag to the pad functions in toke.c

Handling of the flag parameter in Perl_allocmy, instead of looking at the global flag.

pad.c: flags checking for the UTF8 flag when necessary

pad.h: Added a padadd_UTF8_NAME flag for pad_add_name_pvn.

Added a flags parameter to pad_findlex.

API tests for pad_findmy_*()

API test for find_rundefsv()

APIify pad functions

Move several pad functions into the core API.  Document the pad
functions more consistently for perlapi.  Fix the interface issues
around delimitation of lexical variable names, providing _pvn, _pvs,
_pv, and _sv forms of pad_add_name and pad_findmy.

Stop buildtoc from generating trailing whitespace

In win32/pod.mak, at least.

Move perlxs{,tut}.pod into the ExtUtils-ParseXS dist

Skip .xs files in t/ dirs  when comparing versions

podcheck.t --regen after the ParseXS merge

A perltodone! ExtUtils::ParseXS uses strict

This is thanks to James Keenan's work! Finally!

Fill in ExtUtils::ParseXS versions in delta

Merge branch 'smueller/eu_typemap' into blead

Much of ExtUtils::ParseXS was rewritten and cleaned up.
It has been made somewhat more extensible and now finally
uses strictures.

The logic for parsing, merging, and dumping XS typemaps was extracted
from ExtUtils::ParseXS into a module of its own, ExtUtils::Typemaps.
ExtUtils::Typemaps offers an interface to typemap handling outside of
the scope of the XS compiler itself.

As a first use case of the improved API an extensibility, typemaps can now
be included inline into XS code with a HEREDOC-like syntax:

  TYPEMAP: <<END_TYPEMAP
  MyType    T_IV
  END_TYPEMAP

Increase $Storable::VERSION

The recent CPAN release of 2.30 did not include the last two
changes to Storable.xs, so blead needs a new number.

Make Internals::SvREADONLY smarter

(aka: More fun with Hash::Util)

$ perl -lMHash::Util=lock_value
$h{a} = __PACKAGE__; lock_value %h, a; $h{a} = "3"; print $h{a}'
^D
3

OK, so it didn’t really lock it. Now for more fun:

$ perl -lMHash::Util=unlock_value
$h{a} = __PACKAGE__; unlock_value %h, a; $h{a} =~ y/ia/ao/;
print __PACKAGE__
^D
moan

There are three different ways to fix this:
1) Add an SvFAKE function to Internals:: (not *more* ‘internals’ for
   people [ahem, Const::Fast, ahem] to abuse!)
2) Use B::* functions in Hash::Util to check the flags (too slow)
3) Make Internals::SvREADONLY less ‘internal’, by having it deal with
   readonliness in general, rather than just the SVf_READONLY flag.

The third approach seems the most logical, so that’s what this
commit does.

There is one test in t/op/tr.t that uses Internals::SvREADONLY to
detect bovinity, so I’ve changed it to use B instead, as that will
have no effect on post-install efficiency.

(This approach also fixes Const::Fast’s bugginess, but that is purely
accidental.)

Make SvIsCOW honest about globs

SvIsCOW was ignoring the fact that it might be passed a
typeglob, which made its behaviour contradict its docs.

This fixes that and, in doing so, simplifies the
upcoming Internals::SvREADONLY fix.

Make it possible to have read-only glob copies

(aka Fun with Hash::Util)

This script gives ‘Modification of a read-only value’:

use Hash::Util lock_value;
*foo::; # autovivify
lock_value %::, foo::::;
*foo:: = [];

So far so good.  That’s to be expected.  But this one crashes:

use Hash::Util lock_value;
$a{h} = *foo;
lock_value %a, h;
$a{h} = [];

Under debugging builds, it gives assertion failures.

Anyone who knows how the flags work will see immediately what’s wrong,
but for the sake of those who don’t:

The SVf_FAKE flag is set on a copy of a typeglob, meaning that assign-
ing something other than a glob to it will overwrite the glob, instead
of writing to one of its slots.

The SVf_FAKE flag on a read-only (SVf_READONLY-flagged) string means
that it’s not actually read-only, but a copy-on-write string.

SVf_READONLY on a glob means that you can’t even assign *through* it.
See the first Hash::Util example above.

The crashing occurs when the two flags are combined.
sv_force_normal_flags assumes that anything marked fake AND read-only
is a copy-on-write string, so it proceeds to gut it, even if it’s
actually just corrupting a glob.

So this commit changes that check to take typeglobs into account.

Document full changeset in ExtUtils::ParseXS

Bump ExtUtils::ParseXS version to a dev version

Document the TYPEMAP XS keyword

It can be used for embedding typemaps in XS code. Very convenient
when generating XS!

Document the ExtUtils::ParseXS changes in perldelta

Attempt band-aid fix for win32 build failure