[perl #78362] Make mro_package_moved check for recursion

The existence of main::main::... caused mro_package_moved to break
Text::Template, and probably Acme::Meta as well.

ANSI C-ify the Perl_mro_isa_changed_in return mathoms.c

A return statement with an expression shall not appear in a
function whose return type is void.

See http://source.test-smoke.org/tsdb?mode=report&rid=86779&top=86781
for an example build failure.

mktables: Change name of option to -annotate

This name is more descriptive of what this option has come to be.  The
previous option name has been released only in a few of the 5.13 series
Perls, and is for internal mktables development only, so backward
compatibility shouldn't be an issue.

mktables: Change variable name

More than just names are output now, $output_names is renamed $annotate

mktables: Extend -output_names option

This option is not used for production, but is useful for someone
running mktables by hand who wants to compare Unicode versions, and
perhaps for debugging mktables.  It causes the code points in the output
tables to have comments added that give information about that code
point, so it isn't necessary to look up the hex numbers.

This patch is a significant expansion of the previous capability, and
adds the character's representation, and text for the non-named
characters.

I'm finding it useful in moving to Unicode 6.0.

mktables: Add arg to write() to say if in utf8

This will be used for annotations.  Currently no file is written in
utf8, so the calls all have 0 for the parameter.

mktables: Move method to different class

matches_identically_to() was a Table method, but it really applies to
the Range_List contained in the table.  Moving it to that class instead
will help with later code that wants to compare a Range_List that isn't
in a table.

mktables: Remove extraneous error message

When I created matches_identically_to() originally, I just copied from
another subroutine, changing a few things.  I shouldn't have copied this
message, as it was only applicable to the original routine.

mktables: Change method name for clarity

is_equivalent_to() doesn't mean what it says.  Instead it means if the
two objects have been set equivalent to each other.

mktables: Finish the refactoring out of a pass.

Commit e1a3bfbd2f5194edc05010f0b5e5a568b1fdf508
omitted some code that was in my working version.  My git skills aren't
good enough to go back and add that in without zapping everything else.

mktables: Remove unshift onto large array

This changes the parameters to write() so it can accept more than one
array ref, thus eliminating the need for an unshift onto a large array.

mktables: Rmv obsolete field

has_specials was used to avoid an extra pass for tables that didn't
need it.  That pass has been eliminated, so this code is useless.

mktables: refactor to eliminate a pass over tables

This patch is mainly for performance, but in eliminating a pass which
modified the tables, it allows for later changes to not have to rely on
things happening in a certain order.

Previously, tables that had special ranges in them, such as mappings to
multiple characters and character names that are algorithmically
derivable had a separate pass to process those ranges ahead of the main
table, as the information about these is output at the beginning of the
file.

What this patch does is to add a call-back for the processing of
the main body to call when it finds a special range that it doesn't
handle.  That call-back just adds the information to various
temporaries, depending on what the range is.

After the processing of all the ranges, those temporaries hold all the
information needed to output the specials data.  This is processed and
the text is unshifted to the beginning of the output.

pre_body() used to process all this.  But it has been split up.  The
code that does need to go at the beginning is moved to the write()
routine for the sub-class, which processes it before calling the super
class's write.  The code that figured out about the special ranges is
moved to the new call-back handle_special_range().  The remaining code
remains in pre_body(), but it is now called later in the process.

mktables: Add # XXX so can find experimental code

mktables: Move 'format' to base class

This patch is in preparation for adding more complete annotations to the
output tables.  Previously, only Map tables had a listed format.  Match
tables also have a format (empty), but that was understood.  But the new
annotation code will need to refer to that format, so I moved the field
into the base class common to both types of tables, and added the
EMPTY_FORMAT for use by Match tables.

mktables: Change format name for Decomposition.pl

This table which is used only by Normalize.pm has a special format that
is used in no other table.  In preparation for adding annotations to it,
make a special format signifier for it.  This affects only one line at
the top that indicates to the user the format of the table.

The table has comments in it to say it is volatile and no one should use
this table besides Normalize.pm, which currently doesn't look at that
signifier.

mktables: change variable name for clarity

I found that 'youngest' was confusing

mktables: if modify during run, regen tables

This bug has bitten me enough times that I decided to fix it.  It would
only be applicable to someone who is developing mktables, and making
changes to it while the program is running.  Due to the complicated
nature of the dependencies of mktables, it basically functions as its
own make command, knowing when to rebuild or not based on the
modification times of itself and its input and output files.
Previously, it did not account for changes to itself made while running,
so it would think that it wouldn't have to rebuild, even though it did.

I solve this problem by keeping track of the time the process started,
and storing it in mktables.lst.  If something has changed since then,
then the files need to be rebuilt.

mktables: rewrite 'if' statement for clarity

mktables: complement variable name for rebuilding

This is an intermediate patch that changes the variable name as to
whether the files need rebuilding or not to something I understand
better.  This has long been confusing, as up until a year ago, there had
been a long-standing bug in the program that didn't get it right.

mktables: Add type_of() method to get range's type

This will be useful in outputting better annotations.

mktables: Convert value_of() to use containing_range()

mktables: Remove extraneous debug statement

mktables: Add containing_range method

This method will be used in multiple places

mktables: Clarify comment in generated tables

Tables whose values are strings, aren't arbitrary strings, as for
example they can't contain '#' characters that start comments.  So,
don't say they are 'arbitrary'.

mktables: Clarify comment in generated tables

An installation may choose to output more tables than by default.  The
comment in tables should make it clearer that these are not necessarily
present.

mktables: Save reference to two commonly used tables

These two tables can be used frequently, so save a reference instead of
looking it up each time

mktables: Improve message

mktables: Remove commented out obsolete code

This functionality is now in charnames.

mktables: Can't generate simple casing tables

The simple as opposed to the full casing tables weren't able to be
generated correctly because I was passing the name of a table instead of
its object.  Normally these tables are generated at all, but I turned
generation of them on temporarily for development purposes, and found
this bug.  So there is no test case that can be generated for this fix.

mktables: Use more descriptive property names

mktables: Make generated files use hex code points

Certain generated files had some values converted from hex into decimal.
All the published values are in hex, so should use the more familiar
form for readability.

mktables: fix typos in comments

perldelta entry for cv_set_call_checker

plus tweaks from Reini Urban and the committer

Add LINKLIST to the API.

Also rename the underlying function to op_linklist, to match the other
API op functions.

APIify op list constructors

Put into the API op_append_elem, op_prepend_elem, and op_append_list.  All
renamed from op_-less internal names.  Parameter types for op_append_list
changed to match the rest of the op API and avoid some casting.

Reset isa caches on nonexistent substashes when stash trees are moved

This fixes the problem of isa cache linearisations’ and method caches’
not being reset on nonexistent packages when they are replaced with
real packages as a result of parent stashes’ being moved. This can
happen in cases like this:

  @left::ISA = 'outer::inner';
  @right::ISA = 'clone::inner';
  {package outer::inner}
  *clone:: = \%outer::;
  print "ok 1", "\n" if left->isa("clone::inner");
  print "ok 2", "\n" if right->isa("outer::inner");

This changes mro_package_moved’s parameter list as documented in the
diff for mro.c. See also the new comments in that function.

In APItest.xs, augment croak("fail") with the file name and line number.

With this, it should be possible to determine which C condition failed without
needing to run the test under a debugger. A debugger may still be needed to
determine *why*.

XS_Tie_Hash_NamedCapture_STORE should always croak on invalid parameters.

Previously, it would return undef instead of calling Perl_croak_no_modify() if
PL_localizing was true. However, that case can never be reached. PL_localizing
is set non-zero for

1: Perl_mg_localize and PL_save_scalar, for the duration of executing the local
2: Perl_leave_scope for the duration of unwinding the local

However, XS_Tie_Hash_NamedCapture_STORE can't be reached in either case, with
PL_curpm NULL (or otherwise invalid) || !SvROK(ST(0)).

Case 1 would be the call to save_helem_flags() in pp_helem. However, this is
only reached if preeminent is TRUE, which will only hold if hv_exists_ent()
has already returned TRUE, which will only be possible if PL_curpm and ST(0)
are valid.

Case 2 would be the case SAVEt_HELEM in Perl_leave_scope(). However, this
case is only reached as part of the unwinding from Case 1 above, so again
PL_curpm and ST(0) will be valid, for this dynamic scope.

This commit is the patch proposed in RT ##77610. It does not resolve all issues
in that ticket.

Currently C<local $1> is legal - it's a runtime no-op, which neither errors
*nor* resets $1 to undef. Clearly C<local $+{k}> is inconsistent with this,
(as it errors at scope exit for all cases, and additionally errors at local
time if $+{k} exists) but I consider it not worth fixing until we decide
whether C<local $1>'s current behaviour is a "bug" or a "feature".

Correct mistaken references to &PL_sv_true and &PL_sv false in perlguts

Their correct names are &PL_sv_yes and &PL_sv_no.

Memoize has CPAN as its upstream

Improve documentation of \Q

Correct prototype of mathom Perl_mro_isa_changed_in() for ithreads.

6f86b615fa775fad forgot the pTHX_

Allow mro_isa_changed_in to be called on nonexistent packages

This is necessary for an upcoming bug fix.

(For this bug:

 @left::ISA = 'outer::inner';
 @right::ISA = 'clone::inner';
 *clone:: = \%outer::;
 print left->isa('clone::inner'),"\n";
 print right->isa('outer::inner'),"\n";

)

This commit actually replaces mro_isa_changed_in with
mro_isa_changed_in3. See the docs for it in the diff for mro.c.

Avoid calling Gcovert() when stringifying 0.0 and -0.0

Previously we always called Gconvert(), then tested its string output, then
fixed that up if necessary. This way has fewer tests. We can also reduce the
memory allocation for the string output for the case of zero.

Install l1_char_class_tab.h on VMS.

Remove some excess cleverness from the Bhk macros.

Allowing BhkENTRY(bhk, start) to look up the bhk_start member defeats
much of the point of having a bhk_ prefix in the first place: if a
member is added later called (say) 'bhk_die', any invocation of
BhkENTRY(bhk, die) will expand to BhkENTRY(bhk, Perl_die) because of the
API macros. Requiring BhkENTRY(bhk, bhk_start), while tedious, is much
safer.

plugin mechanism to rewrite calls to a subroutine

New magic type PERL_MAGIC_checkcall attaches a function to a CV, which
will be called as the second half of the op checker for an entersub
op calling that CV.  Default state, in the absence of this magic,
is to process the CV's prototype if it has one, or apply list context
to all the arguments if not.  New API functions cv_get_call_checker()
and cv_set_call_checker() provide a clean interface to this facility,
hiding the internal use of magic.

Expose in the API the new functions rv2cv_op_cv(),
ck_entersub_args_list(), ck_entersub_args_proto(), and
ck_entersub_args_proto_or_list(), which are meaningful segments of
standard entersub op checking and are likely to be useful in plugged-in
call checker functions.

Expose new API function op_contextualize(), which is a public interface
to the internal scalar()/list()/scalarvoid() functions.  This API is
likely to be required in most plugged-in call checker functions.

Incidentally add new function mg_free_type(), in the API, which will
remove magic of one type from an SV.  (mg_free() removes all magic,
and there isn't anything else more selective.)

make sv_clear() non-recursive on RVs

The previous two commits made it non-recursive on AVs. With that
machinery in place, it's now trivial to extend it to RVs too.
This means that now any depth nesting of AVs and RVs will be freed
in a single call to sv_clear().

re-indent sv_clear()

The previous commit wrapped most of sv_clear in a big while loop,
but didn't re-indent everything, to keep the change clear.
So re-indent now, and wrap long lines. Only whitespace changes.

make sv_clear() iterate over AVs

In sv_clear(), rather than calling av_undef(), iterate over the AV's
elements. This is the first stage in making sv_clear() non-recursive,
and thus non-stack-blowing when freeing deeply nested structures.

Since we no longer have the stack to maintain the chain of AVs currently
being iterated over, we instead store a pointer to the previous AV in the
AvARRAY[AvMAX] slot of the currently-being-iterated AV. Since our first
action is to pop the first SV, that slot is guaranteed to be free, and
(in theory) nothing should be messing with the AV while we iterate over
its elements, so that slot should remain undisturbed.

stop DEBUG_LEAKING_SCALARS, er, leaking!

When cloning an SV, new_SV() was setting sv_debug_file, then we
immediately set it again without freeing the first one.

regcomp.c: Fix compiler warning

Another compiler gave another warning, that this should fix.  The
expression should have been cast to a bool all along

Add an inheritance diagram to package_aliases.t

Don't assume filenames can contain parentheses
in the new File::DosGlob tests that came in with
2f3c8ce922663caa9b02d9fddae7536225b6f95d.

Move regen scripts to regen/

Moves the various scripts that are called by regen.pl to a subdirectory
to reduce clutter.

Mention a few more auto-generated files in pumpkin.pod

Make more ways to move packages around reset isa caches

This makes string-to-glob assignment and hashref-to-glob assignment
reset isa caches by calling mro_package_moved, if the glob’s name
ends with ::.

Related to [perl #75176].

Avoid uninitialized warning in glob_assign_glob

Remove code added by c8bbf675 that turns out to be unnecessary

Oops. Remove a duplicate require.

Update gitignore files for moved pod scripts

Pod/Html.pm is now in ext/Pod-Html

[perl #78306] Clearify inc_version_list config in INSTALL

Reset isa on stash manipulation

This only applies to glob-to-glob assignments and deletions of stash
elements. Other types of stash manipulation are dealt with by subse-
quent patches.

It adds mro_package_moved, a private function that iterates through
subpackages, calling mro_isa_changed_in on each.

This is related to [perl #75176], but is not the same bug. It simply
got in the way of fixing [perl #75176].

Make the new perl5db.t taint test work on VMS.

Follow-up to 07004ebbe530fe5ce1c67e63c0b8e1c0aa77b3b9.

Add VMS symbol shortening to PL_bincompat_options.

Create populate_isa() to de-duplicate logic to populate @ISA.

Previously yylex() was conditionally populating @AnyDBM_File::ISA (if it was not
set, and the token dbmopen was seen), and init_predump_symbols() was populating
@IO::File::ISA (unconditionally, but this is so early that nothing previously
could have set it). This refactoring eliminates code duplication.

do not use both "a lvalue" and "an lvalue" but pick one

Remove now-unused parameters from S_gv_magicalize_isa().

997daa56862a0fc7 eliminated the need for passing these in.

Move the automatic instantiation of @AnyDBM_File::ISA to Perl_yylex()

case KEY_dbmopen in Perl_yylex() has always had special-case code to create
@AnyDBM_File::ISA, using GV_ADDMULTI. S_gv_magicalize_isa() [part of
Perl_gv_fetchpvn_flags()] has special case code to spot "AnyDBM_File::ISA"
being created with GV_ADDMULTI, and populate the variable if it is empty.

Grouping the special case code in one place makes more sense. Removing the
special case code from gv.c means that there is no longer a check clause in the
code path for *every* package's @ISA initialisation.

Update perldelta.pod for threads::shared upgrade

Upgrade to threads::shared 1.34

Signed-off-by: Chris 'BinGOs' Williams <chris@bingosnet.co.uk>

Remove dead code from Perl_gv_stashpvn().

GvHV() and HvNAME() will both always already be set, as gv_fetchpvn_flags()
will initialise these as it walks the string in its initial loop to locate the
correct stash, then return early because name == name_end.

This code has been dead since it was added in 5.000.

Make compiler-shortened symbols the default on VMS.

It used to be that once or twice per decade a symbol longer than
31 characters snuck into the core and we had to manually shorten
it to get the build working.  But it's happened twice in the last
month, most recently with the humanly unswallowable function name
XS_XS__APItest__XSUB_XS_VERSION_undef, so the need for a more
general solution has become not only apparent but mandatory.

Let the compiler shorten symbols on VMS.

Traditionally Perl does its own name shortening in
ExtUtils::XSSymSet to get around the 31-character limit
on symbol names in the VMS linker.  That method predates
the availability of the /NAMES=SHORTENED option in the
C compiler, which uses the same algorithm as the C++
name mangler to produce shortened symbols.  This change
makes configuration with -Duseshortenedsymbols select
the compiler's shortening over the home-grown shortening.

The advantages of the compiler option over the home-grown
option are that hand-coded long symbols in the core can be
handled (instead of only generated XS_... symbols); long
symbols in external libraries can be handled; and eventually
we can remove XSSymSet and have less to maintain.

84efe3dfc6afbd8ea017ddcc4d5d213cc1a35c72 is required to travel
wherever this change travels for extension building to work
properly.

ExtUtils::XSSymSet can now let the compiler shorten symbols.

If the soon-to-be-implemented configuration option
-Duseshortenedsymbols has been selected, bypass the home-grown
symbol shortening traditionally done by xsubpp because the
compiler's /NAMES=SHORTENED feature will be used instead.

This is only relevant on VMS.

Fix bugs in e771aaa95f65a9c4 (reducing copying in gv_fetchpvn_flags)

Bug spotting and 1 fix by Jerry D. Hedden.

Refactor Perl_xs_apiversion_bootcheck()

Use fewer mortals, and avoid leaking an SV if upg_version() croaks.

Convert the implementation of XS_APIVERSION_BOOTCHECK to a function.

The previous macro generated over .5K of object code. This is in every shared
object, and is only called once. Hence this change increases the perl binary
by about .5K (once), to save .5K for every XS module loaded.

XS::APItest tests for XS_APIVERSION_BOOTCHECK.

xs_version_bootcheck() is an implementation detail, rather than a public API.

XS_VERSION_BOOTCHECK() is the public API.

Refactor xs_version_bootcheck() to remove complex constructions.

Replace complex format strings ternary conditionals with an if/else block.
Avoid assignment within expressions. Directly use the SV for the module's name,
rather than converting it to a char *.

xs_version_bootcheck() must use mortals, as {new,upg}_version() can croak.

It's unlikely that XS_VERSION will contain a bogus version string (for long),
but the value passed in (or derived from $XS_VERSION or $VERSION) might well.
For that case, without this change, temporary SVs created within
xs_version_bootcheck() won't be freed (before interpreter exit).

threads::shared should not FREETMPS in its BOOT code.

perl_construct() sets the current interpreter context, and ends in an ENTER.
Hence threads::shared needs to restore the interpreter context, and balance the
ENTER with a leave. Previously it was using its PERL_SET_CONTEXT() macro,
which also contains a FREETMPS. However, this FREETMPS is erroneous in this
specific context, as it does not have a balancing SAVETMPS. Hence calling
SAVETMPS here would run it in the context of the shared interpreter, but it
would (attempt to) free up temporaries created in the context of the parent
interpreter.

Change vverify() to return HV or NULL (RT#78286)

Multiple code paths were dereferencing version objects without
checking the underlying type, which could result in segmentation
faults per RT#78286

This patch consolidates all dereferencing into vverify() and
has vverify return the underlying HV or NULL instead of
a boolean value.

Perl_gv_fetchpvn_flags() can avoid copying when the package separator is ::

Fix unicode characters in Locale-Maketext ChangeLog

Fix pod/buildtoc's handling of Win32 makefiles

The state of the POD file cleanup code in the Win32 makefiles had parted
company with what pod/buildtoc was looking for. Fix the script for the
current state of play and regenerate the makefiles.

Bring Locale::Maketext ChangeLog up to date with all recent commits

Signed-off-by: Chris 'BinGOs' Williams <chris@bingosnet.co.uk>

Convert the implementation of XS_VERSION_BOOTCHECK to a function from a macro.

The macro expansion generates over 1K of object code. This is in every shared
object, and is only called once. Hence this change increases the perl binary
by about 1K (once), to save 1K for every XS module loaded.

XS::APItest tests for XS_VERSION_BOOTCHECK.

Improve XSLoader::load documentation.

Document that all arguments are passed on to the module's bootstrap function,
and the behaviour of the bootstrap function in modules built by xsubpp.

Improve DynaLoader::bootstrap documentation.

Document that all arguments are passed on to the module's bootstrap function,
and the behaviour of the bootstrap function in modules built by xsubpp.

Update Win32 makefiles to remove perl5136delta.pod rather than perl5135delta.pod when cleaning

Patch for Stratus VOS for extended file names

The attached 1-line patch to hints/vos.sh defines a C macro that enables
support for file names longer than 32 characters on the Stratus OpenVOS
port of perl. As there are now some files in the base package whose
names exceed 32 chars, this is an important change.

This change only applies to OpenVOS (horay for the hints files)! I
tested this change on OpenVOS Release 17.0.2ab.

I have also updated the .pod files that refer to VOS/OpenVOS.

Remove MEMBER_TO_FPTR.

This is left over from PERL_OBJECT (see beeff2, 16c915, and so on).

No distinction between .PL and .pl if case is not preserved.

Follow-up to 13b5e8d8173af2197798ae78b4520ece8cb1151c.

On VMS, the CRTL downcases filenames by default, so pod2foo.PL
comes through as pod2foo.pl.  We need to match that so we paste
on the right extension for the generated command procedure.

Update Unicode-Collate to CPAN version 0.62

  [DELTA]

  0.62  Wed Oct  6 21:35:54 2010
    - U::C::Locale newly supports locales: ar, hu, hy, se, to, uk.
    - Vietnamese (vi): added tailoring for U+0340 and U+0341.

Avoid defining a full XSLoader::bootstrap_inherit post 5.6, as it's not needed.

Previously the full pre 5.6 XSLoader::bootstrap_inherit emulation code was
always declared, but only used with a *runtime* check of Perl version.

However, it appears to be part of the implicit API of XSLoader that
XSLoader::bootstrap_inherit exists, so keep a stub implementation post 5.6
 the commit.