Test for [perl #78586]

make regen_perly

[perl #78586] Bleadperl eae48c89 breaks TIMB/Devel-NYTProf-4.05.tar.gz

> $ perl -d:Trace <<END
> warn "1";
> {
>     warn "3";
> }
> warn "5";
> END
> >> -:1: warn "1";
> 1 at - line 1.
> >> -:5: warn "5";      <== wrong
> >> -:3:     warn "3";
> 3 at - line 3.
> >> -:5: warn "5";
> 5 at - line 5.

I believe this is fixed by a one line change (plus `make regen_perly`):

undef *glob should update isa(rev)

Increase threads’ version

Correct note about dir handles in threads.pm

Inline sv_cmp() and sv_cmp_locale() as macros wrapping their flags variants.

We can't move Perl_sv_cmp() and Perl_sv_cmp_locale() to mathoms.c, as they
are referenced by function pointer in pp_sort.c - pointers which require the
specific current calling signature.

Convert the flags argument for Perl_sv_{eq,cmp,cmp_locale}_flags() to U32.

These functions have not yet been in a stable release.
Going forwards, I think that we should consider converting all bitmap flags
arguments to *un*signed types. Most uses of I32 in the core are inappropriate.

Fix memory leaks in mro_package_moved

This commit adds a new HV_FETCH_EMPTY_HE flag for hv_common. It is to
be used in conjunction with HV_FETCH_LVALUE. It just stops the newly-
created HE from having a new undef scalar assigned to it.

This allows code to call hv_common just once instead of an hv_exists/
hv_store pair.

It was such a double hv_common call that I was trying to avoid with
HV_FETCH_LVALUE, without realising that it was leaking.

Rename PERLIO_BUFSIZ to PERLIOBUF_DEFAULT_BUFSIZ.

PERLIO_BUFSIZ was already in use by Encode::Unicode for the
PerlIOEncode_xxx layer, so it makes sense to specify that this
macro is for the PerlIOBuf_xxx layer and that it is a default
value that may eventually be settable at run-time.

Fix compilation with old xsubpps

croak_xs_usage is new in perl 5.10, but some version xsubpp emulate it on older
perls as well. However, really old xsubpps don't do that.

RT ticket #43694: as_int/as_number lose precision

The as_int/as_number methods lose precision because the wrong library
method is used for converting a library integer object to something that
is processed by Math::BigInt->new(). The method _num() returns a Perl
scalar, with an accuracy limited to the Perl's internal floating point
format. The correct is to use _str() which returns a string with all
digits preserved.

- t/bigfltpm.inc: add test case with more digits than is used in Perl's
  internal floating point format.

- t/bigfltpm.t: increase number of tests by one.

- lib/Math/BigFloat.pm: changed library method from _num() to _str().

Make the buffer size for the perlio layer a macro.

The 4K buffer size was chosen way back in bb9950b.  Significant performance
improvements are seen with larger buffer sizes, though the optimum size
likely varies by architecture and workload.  For starters, we'll leave the
default as-is but make the buffer size a macro and thus user-configurable via:

  sh Configure -Accflags=-DPERLIO_BUFSIZ=<number>

Choosing a better (larger) default is still TODO.

Move ExtUtils-Command from cpan/ to dist/

Randy Kobes passed away recently, so let's have p5p maintain it for now.

Move ExtUtils-Manifest from cpan/ to dist/

Randy Kobes passed away recently, so let's have p5p maintain it for now.

Corrected date of death for Randy Kobes

Based on published obituary rather than announcement
from University of Winnipeg.

http://www.passagesmb.com/obituary_details.cfm?ObitID=169229

Remove an unused variable

Disable bitwise operators

Some of them used to return wrong results, others just failed horribly. We're
disabling them alltogether, with a useful error message, until maybe someone
figures out how to make them DWIM.

In S_check_type_and_open() call PerlIO_openn() directly if possible.

This saves creating a mortal SV on every file require (and a strlen()).

This commit brought to you with the aid of the campaign for elimination of
strlen().

Change S_doopen_pm() and S_check_type_and_open() to take an SV parameter.

Previously S_doopen_pm() took a char */STRLEN pair, but it happened that the
pointer was always from an SV. So pass the SV directly.

perldelta: note passing of Randy Kobes

One more typo, reported by H.Merijn Brand

Some typo fixes reported by Tom Christiansen

Test that Opcode loads without warnings.

This will fail if there are untagged ops.

Tidy up ext/Opcode/t/Opcode.t.

Convert a loop with a die into regular tests. Don't declare lexicals ahead of
use. Don't even declare a lexical @o3, which isn't used.

Convert ext/Opcode/t/Opcode.t to Test::More.

The tests (including the still-TODO) mostly date from 1996.

Fix error in tryAMAGICunDEREF() introduced in 25a9ffce153b0e67.

tryAMAGICunDEREF() isn't used anywhere in the core. Add tests for it.

authorial perlipc edit

Looking through perlipc to make little fixes, it quickly became clear to me
that it had been patched with code by people with a Perl coding style, and
sometimes with an English language style, both very different to my own.

This made it seem like an old patchwork tattercloth that didn't fit
together very well.  It was confusing and detracted from the overall
message.  I've tried to fix all this.  I started with a recent git pull
and edited.  The result is something that is once again internally
self-consistent.

Delete paragraphs from mro.pm’s pod
which are no longer relevant

[perl #75176] Symbol::delete_package does not free certain memory associated with package::ISA

This commit makes @ISA changes and package aliasing update PL_isarev
properly, removing old, unnecessary entries in addition to adding new
entries. So now it is capable of shrinking, not just growing.

------------
Gory Details
------------

There is a chicken-and-egg problem when it comes to calling
mro_isa_changed_in on the affected classes: When an isa linearisation
is recalculated, it uses the existing linearisations of the super-
classes (if any) (or at least the DFS implementation does). Since an
assigned package (e.g., the *b:: in *a:: = *b::) can contain nested
packages that inherit from each other in any order (b::c isa b::c::d
or b::c::e isa b::c), this means that mro_isa_changed_in *must not* be
called on any stash while another stash contains stale data.

So mro_package_moved has been restructured. It is no longer recurs-
ive. The recursive code for iterating through nested stashes has been
moved into a separate, static routine: mro_gather_and_rename. Instead
of calling mro_isa_changed_in during the iteration, it adds all the
classes to ‘the big hash’, which mro_package_moved holds a pointer to.
When mro_gather_and_rename returns, mro_package_moved iterates through
the big hash twice: the first time to wipe caches; the second to call
mro_isa_changed_in on all the stashes.

This ‘big hash’ is now used in place of the seen_stashes that
mro_package_moved used before.

Both mro_package_moved and mro_isa_changed_in now use the existing
mrometa->isa hash to determine which classes used to be superclasses
of the stash in question. A separate routine, S_mro_clean_isarev,
deletes entries mention in isa, except for those that still exist in
the new isa hash.

mro_isa_changed_in now does two iterations through isarev, just like
mro_package_moved. It has to call get_linear_isa on the subclasses so
that it can see what is in the new meta->isa hash created thereby.
Consequently, it has to make sure that all the subclasses have their
caches deleted before it can update anything. It makes the same
changes to isarev for each subclass that are made further down on the
class for which mro_isa_changed_in was called. Yes, it is repetitive.
But calling mro_isa_changed_in recursively has more overhead and would
do more unnecessary work. (Maybe we could make some macros for this
repetitive code.)

The loop through the superclasses near the end of mro_isa_changed_in
no longer adds the subclasses to all the superclasses’ isarev hashes,
because that is taken care of further up.

------------
Side Effects
------------

One result of this change is that mro::is_universal no longer
returns true for classes that are no longer universal. I consider
that a bug fix.

-------------
Miscellaneous
-------------

This also removes obsolete comments in mro_isa_changed_in, concerning
fake and universal flags on stashes, that have been invalid since
dd69841bebe.

Update CGI.pm to CPAN version 3.50

  [DELTA]

  Version 3.50

  [SECURITY]
  1. The MIME boundary in multipart_init is now random.
     Thanks to Byron Jones, Masahiro Yamada, Reed Loden, and  Mark Stosberg
  2. Further improvements to handling of newlines embedded in header values.
     An exception is thrown if header values contain invalid newlines.
     Thanks to Michal Zalewski, Max Kanat-Alexander, Yanick Champoux,
     Lincoln Stein, Fr�d�ric Buclin and Mark Stosberg

  [DOCUMENTATION]
  1. Correcting/clarifying documentation for param_fetch(). Thanks to
        Ren�e B�cker. (RT#59132)

  [INTERNALS]
  1. Fixing https test in http.t. (RT#54768)
  2. Tests were added for multipart_init(). Thanks to Mark Stosberg and CGI::Simple.

Correct Math::BigInt::FastCalc version in perldelta

Upgrade Math::BigInt to version 1.98

Add Fingle Nark to AUTHORS

Excluding tests in sub-dirs

For modules that are not built, exclude tests in sub-directories under
/t.  For example: cpan/Module-Build/t/actions/installdeps.t

typos in comments/pod

Avoid a declaration after statement, accidentally added by 6079961fee8cf49c.

Code in ext/ isn't subject to the same compiler warnings regime as the
top-level core files, hence why this was missed.

In B.xs, remove the now unused first argument from make_sv_object().

After the previous change, all callers were passing in NULL and letting it
generate a new mortal SV for them.

In B.xs, use PPCODE rather than a typemap for output of T_SV_OBJ

This actually reduces both source code size and object code size (the latter
by almost 1K on this platform).

B::MAGIC::LENGTH(), not B::MAGIC::LEN(). Fixes #78864

b2adfa9b5e1682df inadvertently changed the name of the accessor for
mg->mg_len to B::MAGIC::LENGTH. Fix this.

In B.xs refactor cc_opclassname() to make_op_object().

All bar one of the callers to cc_opclassname() were using it in the same way -
to pass as the second argument of newSVrv(), whose first argument was a new
mortal, and return value was used with sv_setiv() and PTR2IV(). So clearly
*that* is the common code needed.

Inline the existing code (all 1 line of it) in the other location that called
cc_opclassname(). As the typemap was using cc_opclassname(), replace the 4
implicit uses of it with explicit PPCODE sections. Curiously, removing the use
of this typemap actually reduces the line count of B.xs

On this platform, this reduces the object code size by almost .5K.

Merge the implementation of B::COP::{io,warnings} using ALIAS.

On this platform, this reduces the object size by about .5K.

In B.xs, refactor make_warnings_object() to take a COP * instead of STRLEN *.

Merge the implementation of B::COP::{filegv,stash} using ALIAS.

On this platform, this reduces the object size by about 400 bytes for a threaded
build.

Merge the implementation of B::COP::{file,stashpv} using ALIAS.

On this platform, this reduces the object size by about .5K, for an unthreaded
build.

Merge the implementation of B::BM::TABLE with B::PV::{PV,PVX,PVBM} using ALIAS.

On this platform, this reduces the object code size by about .5K.

Remove unneeded PREFIXes from B.xs.

Merge the implementation of B::PV::PVBM with PVX and PV, using ALIAS.

Merge the implementation of B::PV::{PVX,PV} using ALIAS.

On this platform, this reduces the object size by .5K.

Refactor B::PV::PV to use newSVpvn_flags() for both arms of the if.

newSVpvn_flags(NULL, whatever, SVs_TEMP) is equivalent to sv_newmortal().

Merge the implementation of B::REGEXP::{REGEXP,precomp} using ALIAS.

In B::REGEX::precomp, use newSVpvn_flags() instead of newSVpvn().

Using newSVpvn_flags() and SVt_TEMP and an explicit push is one API call.
newSVpvn() and RETVAL results in a second API call, sv_2mortal(), in the return
typemap.

In B.xs, move the version dependant regexp code to be adjacent.

Move the aliasing of B::IV::RV as B::PV::RV from XS to Perl code.

This results in the same CV being used twice, rather than two CVs being created
that point to the same XS code implementation, shrinking the memory usage of B
slightly (168 bytes on this platform). It also is fewer source lines. :-)

regexec.c: Don't give up on fold matching early

As noted in the comments of the code, "a" =~ /[A]/i doesn't work currently
(except that regcomp.c knows about the ASCII characters and corrects for
it, but not always, for example in cases like "a" =~ /\p{Upper}/i.  This
patch catches all those).

It works by computing a list of all characters that (singly) fold to
another one, and then checking each of those.  The maximum length of
the list is 3 in the current Unicode standard.

I believe that a better long-term solution is to do this at compile
rather than execution time, by generating a closure of everything
matched.  But this can't be done now because the data structure would
need to be extensively revamped to list all non-byte characters, and
user-defined \p{} matches are not known at compile-time.

And it doesn't handle the multi-char folds.  There is a separate ticket
for those.

regexec.c: change variable name to its purpose

utf8.c: Add function to create inversion of swash

This adds _swash_inversion_hash() which takes a mapping swash and returns
a hash that is the inverse relation.  That is, given a code point, it
allows quick lookup of all code points that map to it.

The function is not for public use, as it will likely be revised, so is
not in the public API, and it's name begins with underscore.

It does not deal with multi-char mappings at this time, nor other swash
complications.

utf8.c: extract code into separate subroutine

This patch moves the code that reads a single line from the main body of
an input Unicode property table into a separate subroutine.  This is in
preparation for using it from another place

utf8.c: Add comments

I added comments as I was reading the code trying to understand it

Update File-Fetch to CPAN version 0.28

  [DELTA]

  Changes for 0.28        Sun Nov  7 21:22:26 2010
  =================================================
  * Added support for FreeBSDs 'fetch' command for
    both http and ftp schemes.

refactor GRAMPROG grammar slightly

Shift the structure of the GRAMPROG production (whole-file grammar)
to more closely match that of the other top-level productions.

Fix an out of bounds write in Data-Dumper with malformed utf8 input

When warnings are enabled and Dumper() is called with an invalid utf8
string that still has the UTF8 flag on, esc_q_utf8() miscounts the size
of the escaped string.

Correct grouping in S_reginclass

As pointed out by Karl Williamson.

Apparently the wrong grouping only introduced an inefficiency, not any bugs, so
the tests still passed.

Add Peter John Acklam to AUTHORS

RT ticket #61812: digit($n) with $n "out of range"

The _digit($n) method in Math::BigInt::Calc should return 0 when $n
refers to a leading zero digit. E.g., the number '314' is just the
same as '000314', except that the leading zeros omitted, so _digit($n)
should return '0' when $n refers to a leading zero digit.

- lib/Math/BigInt/Calc.pm: Improve comments in source code. Add code
  returning zero when input refers to a leading zero digit. Removed
  redundant zero padding in temporary string argument to substr().

- t/bigintc.t: Add four test cases verifying the behaviour. Increment
  number of test by four.

RT ticket #62643: typos in POD and code comments

Fix lots of typos and spelling errors in the documentation (POD)
and the comments in the code, without changing any of the actual
(executed) code.

- BUGS: Fixed typos.

- CHANGES: Fixed typos.

- HISTORY: Fixed typos.

- TODO: Fixed typos.

- examples/bigprimes.pl: Fixed typos.

- lib/Math/BigFloat.pm: Fixed typos.

- lib/Math/BigInt/Calc.pm: Fixed typos.

- lib/Math/BigInt.pm: Fixed typos.

- t/bigintpm.inc: Fixed typos.

- t/inf_nan.t: Fixed typos.

- t/mbimbf.inc: Fixed typos.

- t/mbimbf.t: Fixed typos.

RT ticket #62101: as_int() returns NaN for inf

Math::BigFloat -> binf() -> as_int() returns NaN, but should return
inf. In other words, if $x is a Math::BigFloat, then $x -> as_int()
shall return the same as Math::BigInt -> new($x). The bug appears both
for +inf and -inf.

-lib/Math/BigFloat.pm: Add two lines to catch the cases when the input
 is +/-inf and NaN, respectively.

-t/bare_mbf.t: incremented test count by 3

-t/bigfltpm.inc: add 3 tests, for +inf, -inf, and NaN

-t/bigfltpm.t: incremented test count by 3

-t/sub_mbf.t: incremented test count by 3

-t/with_sub.t: incremented test count by 3

RT ticket #61845: from_bin() documentation error

The documentation (POD) for the from_bin() method has a small error.
Binary numbers are prefixed by '0b', not '0x'.

- lib/Math/BigInt.pm: Fix documentation (POD) error.

Structure dist/Math-BigInt-FastCalc like the CPAN dist

This makes applying patches between them easier.

Update Unicode-Collate to CPAN version 0.66

  [DELTA]

  0.66  Sun Nov  7 10:47:30 2010
    - U::C::Locale newly supports locale: ko.
    - added Unicode::Collate::CJK::Korean for ko.
    - added t/loc_ko.t.
    - 12 compat. ideographs (e.g. U+FA0E) are treated as unified ideographs.
     (though DUCET also does it, now Unicode::Collate does it without DUCET.)
    - added t/compatui.t.
    ! Ideographs Ext.B (U+20000..U+2A6D6) can be overrided with UCA_Version 8.
      This is a long-standing behavior from Unicode::Collate 0.11 to 0.63.
      A wrong fix at 0.64 should be abandoned.

Synchronise Math::BigInt{,::FastCalc} with CPAN

Update File-Fetch to CPAN version 0.26

  [DELTA]

  Changes for 0.26        Sat Nov  6 23:30:59 2010
  =================================================
  * Added support for HTTP::Lite
  * Resolved issue with '-l' switch and iosock fetch

Fix a compiler warning

gcc said:
  regexec.c: In function ‘S_reginclass’:
  regexec.c:6305: warning: suggest parentheses around ‘&&’ within ‘||’

localize $@ during binmode (RT#78844)

Add Nicolas Kaiser to AUTHORS.

RT 78836: vms/vms.c: dubious expressions

I noticed two dubious expressions that look as if they were
intended to be assignments. The comment above the code says
it's broken.

Add new ops in Opcode, so it does not warn at compilation

The ops are the recently-introduced reach, rvalues, rkeys and transr.

G_VOID, G_SCALAR, and G_ARRAY are not separate bits anymore

Commit 2f8edad0d37e91319b6ba10b3745327ea49c179 made G_ARRAY
equal to G_SCALAR | G_VOID, contrary to perlcall.pod.

Bring the documentation up to date and add a test to prevent a similar
(although unlikely) accident in the future.

Added test for RT#78844

Eliminate a few more $op->private calls in Deparse

Make Deparse work with y/å/ø/

Test y///r with B::Deparse

Avoid a run-time miniperl check every time SWASHNEW is called

Remove details that changed over seven years ago.

FreeBSD 5.0 was released on 2003-01-17 so everyone should be used to
FreeBSD lacking Perl in its base system by now.

Clarify wording.

Refer to other documents more specifically

Link to perlbug's POD

utf8_heavy.pl: Make callable during Perl's compilation

It's possible for this to be called during the compilation phase of Perl
by miniperl before the Unicode tables have been built.  This patch
checks if dynamic loading is available, and if not evals the require
needed to gain access to the tables.  If it succeeds, the tables have
been built; if it doesn't, instead of dying, just return empty tables,
as currently the things being built don't require information outside
the ASCII range, which is hard-coded into Perl without needing the
tables.

In the future, that may not be the case, and then likely the tables will
have to be shipped with Perl, and make regen would be done to rebuild
them.

A hack for t/harness to restore the ability to run tests listed in @ARGV

Tweak the test from 98517ccb8d5e8751 to work with PERL_UNICODE set.

One should always generate the golden B::Concise output with PERL_UNICODE set
so that ${^OPEN} is set, as the test system knows how to take it out, not put
it in.

Document that the -Ci, -Co, and -CD options have file scope

While the other -C settings are global, "i" and "o" only affect subsequent
open() calls in the current file. Document this and add two tests to
make sure the documented behaviour doesn't change accidentally.

Avoid creating lots of mortals in B::walkoptree()

When calling out to the user-supplied method, re-use the same reference and
object where possible. Only create a new one if the user supplied method
modified the reference or object passed to it.

The previous implementation had a comment "Use the same opsv. Rely on methods
not to mess it up." but it was actually generating a new reference for every
call, and also a new object for every recursive call. So massive churn of
objects, and large accumulation of mortals on the temp stack.

B::Concise was failing to traverse some children of PMOPs

Notably the substcont of s/// was being missed.

The bug was introduced as part of c0939ceec1b3e902,
"Re: [patch] teach B::Concise to see XS code", which did rather more than it
said on the tin.

Stop B from crashing on y/å/ø/

RT 78818 Sync the description of \E in perlop with perlre

Posted by Niko Tyni

Commit 9bb1f947 fixed the description of \E in perlre.pod to include
the 'end quoted section' functionality, so update the similar list in
perlop.pod too.

Triggered by http://bugs.debian.org/126238

RT 78814 perlfunc/open(): four items are not a triple

Reported by Niko Tyni

Commit b76cc8ba45957 made each group a quadruple without
updating the name. Take out the name altogether to avoid
this in the future.

Also update the reference to "list form" pipes to include
both the old last example and the new one.

Originally noticed by Reuben Thomas in http://bugs.debian.org/469402

Some tests for B::walkoptree.

Quite likely coverage isn't that good, but some tests are better than none.
More tests welcome.

Create &B::{IV,PV}::as_string using typeglob assignment rather than goto &

Typeglob assignment avoids compiler work creating the optree for a second
subroutine, and runtime work executing that optree.

Exclude more exported but non-existent functions.

pp_reach, pp_rvalues, and pp_transr are aliases, but regen/opcode.pl
generates declarations for aliases as if they were C functions in
their own right.  This is necessary for aliases that refer to mathoms
(as most of them do) but seems less right for new entries that will
never refer to an actual function of the same name.  For now, these
need to be explicitly excluded when building the linker options file
on VMS.  Failure to do so breaks the build with undefined symbol
warnings.

Update version of Safe in Maintainers.pl to match recent version change