In newSVhek(), use sv_usepvn_flags() to avoid a malloc()/copy/free()

The return value of bytes_to_utf8() is a malloc()ed string, which we can donate
to the scalar to use as its buffer. Previously the code free()d this memory,
after using it as a parameter to newSVpvn(), which allocates a new buffer and
copies to it.

[perl #79024] Bleadperl 80ebaca breaks OVID/Class-Trait-0.31.tar.gz

Commit 80ebaca actually exposed an existing bug that Class::Trait was
really close to triggering already:

  undef *ISA; # @ISA no longer magical

Class::Trait’s tests just happened not to call ->isa before making any
changes to @ISA.

Now that the meta->isa cache is created immediately,
Class::Trait fails.

This bug can be reproduced in earlier perls by putting an ->isa call
right after the undef:

  undef *{"Extra::TSpouse::ISA"};
 'Extra::TSpouse'->isa('Class::Trait::Base');
  unshift @{"Extra::TSpouse::ISA"}, Class::Trait::Base;
  warn Extra::TSpouse->isa('Class::Trait::Base'); # something's wrong

This commit modifies gv_fetchpvn_flags to magicalise @ISA whenever it
is fetched.

PATCH: [perl #78994]: optimizer loses folding

The optimizer works by creating an initial ANYOF node that is supposed
to match anything.  When it finds the first node that it wants to allow
be a first match, it ANDs the anything node with that one, effectively
setting the first node to it.  Subsequent nodes that could match in the
first position are OR'd instead, adding to the possibilities that the
first match could be.

But the optimizer was not dealing with the possibility of folding, so
the first node did not have that as a possibility and hence a match that
relied on the fold would not succeed.

Originally, the patch had an 'if (FOLD)' guarding the initialization of
the match anything node , but it turns out that FOLD is set only if
folding is on globally, and in the example program of the trouble
ticket, it isn't set at the proper time, because the regex is recompiled
when upgraded to utf8, and it doesn't get set then.  So I
unconditionally set ANYOF_FOLD.

Correct comment in mro_isa_changed_in

It was describing an intermediate version of what became 80ebaca.

Add Perl_bytes_cmp_utf8() to compare character sequences in different encodings

Convert sv_eq_flags() and sv_cmp_flags() to use it.

Previously, to compare two strings of characters, where was was in UTF-8, and
one was not, you had to either:

1: Upgrade the second to UTF-8
2: Compare the resulting octet sequence
3: Free the temporary UTF-8 string

or:

1: Attempt to downgrade the first to bytes. If it can't be, they aren't equal
2: Else compare the resulting octet sequence
3: Free the temporary byte string

Which for the general case involves a malloc()/free() and at least two O(n)
scans per comparison.

Whereas this approach has no allocation, a single O(n) scan, which terminates
as early as the best case for the second approach.

Add tests for cmp, eq, ne for UTF-8 vs octet representation.

It turns out that we weren't actually explicitly testing this anywhere.

Fix errors in the diagnostic output of t/op/cmp.t

Adjust t/run/switchd-78586.t to work under t/TEST and t/harness.

Remove redundant conditional added by e530fb81d

The else is never reached if the assignment in the protasis succeeds.

[perl #78964] Fix ext/XS-APItest/t/overload.t

Attached patch fixes the following warning from 'make test':

ext/XS-APItest/t/overload...................................."my"
variable $got masks earlier declaration in same scope at t/overload.t
line 81.
ok

perldelta up to 8ff3250783

Test for [perl #78586]

make regen_perly

[perl #78586] Bleadperl eae48c89 breaks TIMB/Devel-NYTProf-4.05.tar.gz

> $ perl -d:Trace <<END
> warn "1";
> {
>     warn "3";
> }
> warn "5";
> END
> >> -:1: warn "1";
> 1 at - line 1.
> >> -:5: warn "5";      <== wrong
> >> -:3:     warn "3";
> 3 at - line 3.
> >> -:5: warn "5";
> 5 at - line 5.

I believe this is fixed by a one line change (plus `make regen_perly`):

undef *glob should update isa(rev)

Increase threads’ version

Correct note about dir handles in threads.pm

Inline sv_cmp() and sv_cmp_locale() as macros wrapping their flags variants.

We can't move Perl_sv_cmp() and Perl_sv_cmp_locale() to mathoms.c, as they
are referenced by function pointer in pp_sort.c - pointers which require the
specific current calling signature.

Convert the flags argument for Perl_sv_{eq,cmp,cmp_locale}_flags() to U32.

These functions have not yet been in a stable release.
Going forwards, I think that we should consider converting all bitmap flags
arguments to *un*signed types. Most uses of I32 in the core are inappropriate.

Fix memory leaks in mro_package_moved

This commit adds a new HV_FETCH_EMPTY_HE flag for hv_common. It is to
be used in conjunction with HV_FETCH_LVALUE. It just stops the newly-
created HE from having a new undef scalar assigned to it.

This allows code to call hv_common just once instead of an hv_exists/
hv_store pair.

It was such a double hv_common call that I was trying to avoid with
HV_FETCH_LVALUE, without realising that it was leaking.

Rename PERLIO_BUFSIZ to PERLIOBUF_DEFAULT_BUFSIZ.

PERLIO_BUFSIZ was already in use by Encode::Unicode for the
PerlIOEncode_xxx layer, so it makes sense to specify that this
macro is for the PerlIOBuf_xxx layer and that it is a default
value that may eventually be settable at run-time.

Fix compilation with old xsubpps

croak_xs_usage is new in perl 5.10, but some version xsubpp emulate it on older
perls as well. However, really old xsubpps don't do that.

RT ticket #43694: as_int/as_number lose precision

The as_int/as_number methods lose precision because the wrong library
method is used for converting a library integer object to something that
is processed by Math::BigInt->new(). The method _num() returns a Perl
scalar, with an accuracy limited to the Perl's internal floating point
format. The correct is to use _str() which returns a string with all
digits preserved.

- t/bigfltpm.inc: add test case with more digits than is used in Perl's
  internal floating point format.

- t/bigfltpm.t: increase number of tests by one.

- lib/Math/BigFloat.pm: changed library method from _num() to _str().

Make the buffer size for the perlio layer a macro.

The 4K buffer size was chosen way back in bb9950b.  Significant performance
improvements are seen with larger buffer sizes, though the optimum size
likely varies by architecture and workload.  For starters, we'll leave the
default as-is but make the buffer size a macro and thus user-configurable via:

  sh Configure -Accflags=-DPERLIO_BUFSIZ=<number>

Choosing a better (larger) default is still TODO.

Move ExtUtils-Command from cpan/ to dist/

Randy Kobes passed away recently, so let's have p5p maintain it for now.

Move ExtUtils-Manifest from cpan/ to dist/

Randy Kobes passed away recently, so let's have p5p maintain it for now.

Corrected date of death for Randy Kobes

Based on published obituary rather than announcement
from University of Winnipeg.

http://www.passagesmb.com/obituary_details.cfm?ObitID=169229

Remove an unused variable

Disable bitwise operators

Some of them used to return wrong results, others just failed horribly. We're
disabling them alltogether, with a useful error message, until maybe someone
figures out how to make them DWIM.

In S_check_type_and_open() call PerlIO_openn() directly if possible.

This saves creating a mortal SV on every file require (and a strlen()).

This commit brought to you with the aid of the campaign for elimination of
strlen().

Change S_doopen_pm() and S_check_type_and_open() to take an SV parameter.

Previously S_doopen_pm() took a char */STRLEN pair, but it happened that the
pointer was always from an SV. So pass the SV directly.

perldelta: note passing of Randy Kobes

One more typo, reported by H.Merijn Brand

Some typo fixes reported by Tom Christiansen

Test that Opcode loads without warnings.

This will fail if there are untagged ops.

Tidy up ext/Opcode/t/Opcode.t.

Convert a loop with a die into regular tests. Don't declare lexicals ahead of
use. Don't even declare a lexical @o3, which isn't used.

Convert ext/Opcode/t/Opcode.t to Test::More.

The tests (including the still-TODO) mostly date from 1996.

Fix error in tryAMAGICunDEREF() introduced in 25a9ffce153b0e67.

tryAMAGICunDEREF() isn't used anywhere in the core. Add tests for it.

authorial perlipc edit

Looking through perlipc to make little fixes, it quickly became clear to me
that it had been patched with code by people with a Perl coding style, and
sometimes with an English language style, both very different to my own.

This made it seem like an old patchwork tattercloth that didn't fit
together very well.  It was confusing and detracted from the overall
message.  I've tried to fix all this.  I started with a recent git pull
and edited.  The result is something that is once again internally
self-consistent.

Delete paragraphs from mro.pm’s pod
which are no longer relevant

[perl #75176] Symbol::delete_package does not free certain memory associated with package::ISA

This commit makes @ISA changes and package aliasing update PL_isarev
properly, removing old, unnecessary entries in addition to adding new
entries. So now it is capable of shrinking, not just growing.

------------
Gory Details
------------

There is a chicken-and-egg problem when it comes to calling
mro_isa_changed_in on the affected classes: When an isa linearisation
is recalculated, it uses the existing linearisations of the super-
classes (if any) (or at least the DFS implementation does). Since an
assigned package (e.g., the *b:: in *a:: = *b::) can contain nested
packages that inherit from each other in any order (b::c isa b::c::d
or b::c::e isa b::c), this means that mro_isa_changed_in *must not* be
called on any stash while another stash contains stale data.

So mro_package_moved has been restructured. It is no longer recurs-
ive. The recursive code for iterating through nested stashes has been
moved into a separate, static routine: mro_gather_and_rename. Instead
of calling mro_isa_changed_in during the iteration, it adds all the
classes to ‘the big hash’, which mro_package_moved holds a pointer to.
When mro_gather_and_rename returns, mro_package_moved iterates through
the big hash twice: the first time to wipe caches; the second to call
mro_isa_changed_in on all the stashes.

This ‘big hash’ is now used in place of the seen_stashes that
mro_package_moved used before.

Both mro_package_moved and mro_isa_changed_in now use the existing
mrometa->isa hash to determine which classes used to be superclasses
of the stash in question. A separate routine, S_mro_clean_isarev,
deletes entries mention in isa, except for those that still exist in
the new isa hash.

mro_isa_changed_in now does two iterations through isarev, just like
mro_package_moved. It has to call get_linear_isa on the subclasses so
that it can see what is in the new meta->isa hash created thereby.
Consequently, it has to make sure that all the subclasses have their
caches deleted before it can update anything. It makes the same
changes to isarev for each subclass that are made further down on the
class for which mro_isa_changed_in was called. Yes, it is repetitive.
But calling mro_isa_changed_in recursively has more overhead and would
do more unnecessary work. (Maybe we could make some macros for this
repetitive code.)

The loop through the superclasses near the end of mro_isa_changed_in
no longer adds the subclasses to all the superclasses’ isarev hashes,
because that is taken care of further up.

------------
Side Effects
------------

One result of this change is that mro::is_universal no longer
returns true for classes that are no longer universal. I consider
that a bug fix.

-------------
Miscellaneous
-------------

This also removes obsolete comments in mro_isa_changed_in, concerning
fake and universal flags on stashes, that have been invalid since
dd69841bebe.

Update CGI.pm to CPAN version 3.50

  [DELTA]

  Version 3.50

  [SECURITY]
  1. The MIME boundary in multipart_init is now random.
     Thanks to Byron Jones, Masahiro Yamada, Reed Loden, and  Mark Stosberg
  2. Further improvements to handling of newlines embedded in header values.
     An exception is thrown if header values contain invalid newlines.
     Thanks to Michal Zalewski, Max Kanat-Alexander, Yanick Champoux,
     Lincoln Stein, Fr�d�ric Buclin and Mark Stosberg

  [DOCUMENTATION]
  1. Correcting/clarifying documentation for param_fetch(). Thanks to
        Ren�e B�cker. (RT#59132)

  [INTERNALS]
  1. Fixing https test in http.t. (RT#54768)
  2. Tests were added for multipart_init(). Thanks to Mark Stosberg and CGI::Simple.

Correct Math::BigInt::FastCalc version in perldelta

Upgrade Math::BigInt to version 1.98

Add Fingle Nark to AUTHORS

Excluding tests in sub-dirs

For modules that are not built, exclude tests in sub-directories under
/t.  For example: cpan/Module-Build/t/actions/installdeps.t

typos in comments/pod

Avoid a declaration after statement, accidentally added by 6079961fee8cf49c.

Code in ext/ isn't subject to the same compiler warnings regime as the
top-level core files, hence why this was missed.

In B.xs, remove the now unused first argument from make_sv_object().

After the previous change, all callers were passing in NULL and letting it
generate a new mortal SV for them.

In B.xs, use PPCODE rather than a typemap for output of T_SV_OBJ

This actually reduces both source code size and object code size (the latter
by almost 1K on this platform).

B::MAGIC::LENGTH(), not B::MAGIC::LEN(). Fixes #78864

b2adfa9b5e1682df inadvertently changed the name of the accessor for
mg->mg_len to B::MAGIC::LENGTH. Fix this.

In B.xs refactor cc_opclassname() to make_op_object().

All bar one of the callers to cc_opclassname() were using it in the same way -
to pass as the second argument of newSVrv(), whose first argument was a new
mortal, and return value was used with sv_setiv() and PTR2IV(). So clearly
*that* is the common code needed.

Inline the existing code (all 1 line of it) in the other location that called
cc_opclassname(). As the typemap was using cc_opclassname(), replace the 4
implicit uses of it with explicit PPCODE sections. Curiously, removing the use
of this typemap actually reduces the line count of B.xs

On this platform, this reduces the object code size by almost .5K.

Merge the implementation of B::COP::{io,warnings} using ALIAS.

On this platform, this reduces the object size by about .5K.

In B.xs, refactor make_warnings_object() to take a COP * instead of STRLEN *.

Merge the implementation of B::COP::{filegv,stash} using ALIAS.

On this platform, this reduces the object size by about 400 bytes for a threaded
build.

Merge the implementation of B::COP::{file,stashpv} using ALIAS.

On this platform, this reduces the object size by about .5K, for an unthreaded
build.

Merge the implementation of B::BM::TABLE with B::PV::{PV,PVX,PVBM} using ALIAS.

On this platform, this reduces the object code size by about .5K.

Remove unneeded PREFIXes from B.xs.

Merge the implementation of B::PV::PVBM with PVX and PV, using ALIAS.

Merge the implementation of B::PV::{PVX,PV} using ALIAS.

On this platform, this reduces the object size by .5K.

Refactor B::PV::PV to use newSVpvn_flags() for both arms of the if.

newSVpvn_flags(NULL, whatever, SVs_TEMP) is equivalent to sv_newmortal().

Merge the implementation of B::REGEXP::{REGEXP,precomp} using ALIAS.

In B::REGEX::precomp, use newSVpvn_flags() instead of newSVpvn().

Using newSVpvn_flags() and SVt_TEMP and an explicit push is one API call.
newSVpvn() and RETVAL results in a second API call, sv_2mortal(), in the return
typemap.

In B.xs, move the version dependant regexp code to be adjacent.

Move the aliasing of B::IV::RV as B::PV::RV from XS to Perl code.

This results in the same CV being used twice, rather than two CVs being created
that point to the same XS code implementation, shrinking the memory usage of B
slightly (168 bytes on this platform). It also is fewer source lines. :-)

regexec.c: Don't give up on fold matching early

As noted in the comments of the code, "a" =~ /[A]/i doesn't work currently
(except that regcomp.c knows about the ASCII characters and corrects for
it, but not always, for example in cases like "a" =~ /\p{Upper}/i.  This
patch catches all those).

It works by computing a list of all characters that (singly) fold to
another one, and then checking each of those.  The maximum length of
the list is 3 in the current Unicode standard.

I believe that a better long-term solution is to do this at compile
rather than execution time, by generating a closure of everything
matched.  But this can't be done now because the data structure would
need to be extensively revamped to list all non-byte characters, and
user-defined \p{} matches are not known at compile-time.

And it doesn't handle the multi-char folds.  There is a separate ticket
for those.

regexec.c: change variable name to its purpose

utf8.c: Add function to create inversion of swash

This adds _swash_inversion_hash() which takes a mapping swash and returns
a hash that is the inverse relation.  That is, given a code point, it
allows quick lookup of all code points that map to it.

The function is not for public use, as it will likely be revised, so is
not in the public API, and it's name begins with underscore.

It does not deal with multi-char mappings at this time, nor other swash
complications.

utf8.c: extract code into separate subroutine

This patch moves the code that reads a single line from the main body of
an input Unicode property table into a separate subroutine.  This is in
preparation for using it from another place

utf8.c: Add comments

I added comments as I was reading the code trying to understand it

Update File-Fetch to CPAN version 0.28

  [DELTA]

  Changes for 0.28        Sun Nov  7 21:22:26 2010
  =================================================
  * Added support for FreeBSDs 'fetch' command for
    both http and ftp schemes.

refactor GRAMPROG grammar slightly

Shift the structure of the GRAMPROG production (whole-file grammar)
to more closely match that of the other top-level productions.

Fix an out of bounds write in Data-Dumper with malformed utf8 input

When warnings are enabled and Dumper() is called with an invalid utf8
string that still has the UTF8 flag on, esc_q_utf8() miscounts the size
of the escaped string.

Correct grouping in S_reginclass

As pointed out by Karl Williamson.

Apparently the wrong grouping only introduced an inefficiency, not any bugs, so
the tests still passed.

Add Peter John Acklam to AUTHORS

RT ticket #61812: digit($n) with $n "out of range"

The _digit($n) method in Math::BigInt::Calc should return 0 when $n
refers to a leading zero digit. E.g., the number '314' is just the
same as '000314', except that the leading zeros omitted, so _digit($n)
should return '0' when $n refers to a leading zero digit.

- lib/Math/BigInt/Calc.pm: Improve comments in source code. Add code
  returning zero when input refers to a leading zero digit. Removed
  redundant zero padding in temporary string argument to substr().

- t/bigintc.t: Add four test cases verifying the behaviour. Increment
  number of test by four.

RT ticket #62643: typos in POD and code comments

Fix lots of typos and spelling errors in the documentation (POD)
and the comments in the code, without changing any of the actual
(executed) code.

- BUGS: Fixed typos.

- CHANGES: Fixed typos.

- HISTORY: Fixed typos.

- TODO: Fixed typos.

- examples/bigprimes.pl: Fixed typos.

- lib/Math/BigFloat.pm: Fixed typos.

- lib/Math/BigInt/Calc.pm: Fixed typos.

- lib/Math/BigInt.pm: Fixed typos.

- t/bigintpm.inc: Fixed typos.

- t/inf_nan.t: Fixed typos.

- t/mbimbf.inc: Fixed typos.

- t/mbimbf.t: Fixed typos.

RT ticket #62101: as_int() returns NaN for inf

Math::BigFloat -> binf() -> as_int() returns NaN, but should return
inf. In other words, if $x is a Math::BigFloat, then $x -> as_int()
shall return the same as Math::BigInt -> new($x). The bug appears both
for +inf and -inf.

-lib/Math/BigFloat.pm: Add two lines to catch the cases when the input
 is +/-inf and NaN, respectively.

-t/bare_mbf.t: incremented test count by 3

-t/bigfltpm.inc: add 3 tests, for +inf, -inf, and NaN

-t/bigfltpm.t: incremented test count by 3

-t/sub_mbf.t: incremented test count by 3

-t/with_sub.t: incremented test count by 3

RT ticket #61845: from_bin() documentation error

The documentation (POD) for the from_bin() method has a small error.
Binary numbers are prefixed by '0b', not '0x'.

- lib/Math/BigInt.pm: Fix documentation (POD) error.

Structure dist/Math-BigInt-FastCalc like the CPAN dist

This makes applying patches between them easier.

Update Unicode-Collate to CPAN version 0.66

  [DELTA]

  0.66  Sun Nov  7 10:47:30 2010
    - U::C::Locale newly supports locale: ko.
    - added Unicode::Collate::CJK::Korean for ko.
    - added t/loc_ko.t.
    - 12 compat. ideographs (e.g. U+FA0E) are treated as unified ideographs.
     (though DUCET also does it, now Unicode::Collate does it without DUCET.)
    - added t/compatui.t.
    ! Ideographs Ext.B (U+20000..U+2A6D6) can be overrided with UCA_Version 8.
      This is a long-standing behavior from Unicode::Collate 0.11 to 0.63.
      A wrong fix at 0.64 should be abandoned.

Synchronise Math::BigInt{,::FastCalc} with CPAN

Update File-Fetch to CPAN version 0.26

  [DELTA]

  Changes for 0.26        Sat Nov  6 23:30:59 2010
  =================================================
  * Added support for HTTP::Lite
  * Resolved issue with '-l' switch and iosock fetch

Fix a compiler warning

gcc said:
  regexec.c: In function ‘S_reginclass’:
  regexec.c:6305: warning: suggest parentheses around ‘&&’ within ‘||’

localize $@ during binmode (RT#78844)

Add Nicolas Kaiser to AUTHORS.

RT 78836: vms/vms.c: dubious expressions

I noticed two dubious expressions that look as if they were
intended to be assignments. The comment above the code says
it's broken.

Add new ops in Opcode, so it does not warn at compilation

The ops are the recently-introduced reach, rvalues, rkeys and transr.

G_VOID, G_SCALAR, and G_ARRAY are not separate bits anymore

Commit 2f8edad0d37e91319b6ba10b3745327ea49c179 made G_ARRAY
equal to G_SCALAR | G_VOID, contrary to perlcall.pod.

Bring the documentation up to date and add a test to prevent a similar
(although unlikely) accident in the future.

Added test for RT#78844

Eliminate a few more $op->private calls in Deparse

Make Deparse work with y/å/ø/

Test y///r with B::Deparse

Avoid a run-time miniperl check every time SWASHNEW is called

Remove details that changed over seven years ago.

FreeBSD 5.0 was released on 2003-01-17 so everyone should be used to
FreeBSD lacking Perl in its base system by now.

Clarify wording.

Refer to other documents more specifically

Link to perlbug's POD

utf8_heavy.pl: Make callable during Perl's compilation

It's possible for this to be called during the compilation phase of Perl
by miniperl before the Unicode tables have been built.  This patch
checks if dynamic loading is available, and if not evals the require
needed to gain access to the tables.  If it succeeds, the tables have
been built; if it doesn't, instead of dying, just return empty tables,
as currently the things being built don't require information outside
the ASCII range, which is hard-coded into Perl without needing the
tables.

In the future, that may not be the case, and then likely the tables will
have to be shipped with Perl, and make regen would be done to rebuild
them.

A hack for t/harness to restore the ability to run tests listed in @ARGV