perldelta: reimport the 5.15.x internals sections

perldelta: reimport the 5.15.x config/compile sections

this catches a few things that were omitted; the reordering
that resulted is neither intentional nor (as far as I can tell)
significant

perldelta: add note about HP-UX gcc support

Remove outdated todo items, and update and clarify others.

In the todo list, note who is already working on various suggestions.

Remove (?{...}) closures in regexps from the todo list.

Dave has this substantially done, and is working on finishing it off.

Remove "Properly Unicode safe tokeniser and pads" from the todo

Brian Fraser (during GSoC), Father Chrysostomos, Zefram and others have done
most of the tasks suggested in this todo, so remove it from consideration as
it's clearly stale. The only possible work outstanding is how toke.c behaves
when PL_rsfp is marked as returning UTF-8, and when source filters return
SVs with SvUTF8() true. So leave this in as a comment in the Pod so that it
does not get lost, pending proper investigation.

Remove 2 microperl suggestions from the todo list.

The --regen option added to Porting/checkcfgvar.pl makes creating uconfig.sh
pretty much automatic.

Whilst maintaining Makefile.micro could be made more automatic by templating
it based on MANIFEST, the benefits are probably never going to pay back the
cost of doing it, as we add (or remove) C and header files so rarely.
It would only really make sense as part of a system that did the same for
Makefile.SH, vms/descrip_mms.template and the multitude of Win* Makefiles.

Drop the iCOW plan from the todo.

Dave has detailed reasons why he doesn't think that this would work. So it's
a bad idea to suggest it as something people should work on.

Switching entersub ops from "XS" to "Perl" and back likely won't help.

Switching OPs goes against the grain of immutable optrees under ithreads -
it could probably be made to work, but the amount of extra effort would be
non-trivial.

Secondly, cache misses are the overriding speed hit on modern CPUs.
The code switching proposed would add complexity but only be able to change
the number of branch instructions encountered, which come a distant second
to cache misses as a speed hit. The code switching would not change the data
lookups needed, and hence not the cache misses they cause.

Minor tweaks to the todo.

5.14 is long past - 5.18.0 is now the future stable release to aim for.
Correct the title of one entry to 0*o*ddd.
Add a missing close parenthesis.

Remove two specific smartmatch suggestions from the todo list.

As smartmatch is "subject to review" these are unlikely to be appropriate.

5.12.0 and later permit -C on the #! line with similar rules to -T

Whilst this isn't as totally flexible as it might be, it's good enough to
remove the todo entry, which was added when -C was forbidden on the #! line.
However, making -C parsing on the #! more flexible probably requires
removing the "feature" that a C<#line 1> directive triggers re-processing
of #! directives.

Remove the reference to -fstack-protector, which is done.

Exploring the use of -D_FORTIFY_SOURCE=2 remains to be done.

Remove the "POD -> HTML conversion in the core still sucks" todo entry.

Thanks to GSoC 2011, Pod::HTML has been refactored to use Pod::Simple::XHTML.

Update the todo entry for makedef.pl duplicating C conditional compilation.

makedef.pl has been refactored to read from embed.fnc directly, cutting out
the embed.pl middleman. Correct the header filename - it's "intrpvar.h",
not "interpvar.h".

Remove "Remove duplication of test setup" from the todo list.

It's no longer obvious which files in t/ contain significant amounts of
setup code which is duplicated. Common cases of skip logic have already been
moved into t/test.pl. The suggestion of replacing $Is_Foo checks with %Is is
not a clear-cut win - each $Is_Foo eliminated is only a 1 line saving, at the
cost of another testing idiom the future maintenance programmer has to become
familiar with.

The related suggestion "Migrate t/ from custom TAP generation" remains
something to do. There are still various files in t/ which could use be
converted to use the comparison functions of t/test.pl reducing code size,
improving failure diagnostics and where this eliminates manual test counters,
increasing flexibility for adding tests in the logically correct location
within the file.

Refine the todo entry for install.html

Update the description of what needs doing. The splitting code exists, but
it's sub-optimal and not re-usable. Correct the name of the Makefile target -
it's 'install.html' with a period, not 'installhtml'.

5.14.0 adds Perl_cv_set_call_checker(), but no guide to inlining XSUBs.

Being able to inline simple XSUBs was listed as a TODO. 5.14.0 now provides
functionality for a compile-time "fixup" function for an XSUB, added using
Perl_cv_set_call_checker(). This has API-level documentation, but there is
no guide or tutorial on how to exploit this API to actually implement an
XSUB which can inline.

@INC order was improved in a series of commits ending with e37778c28ba4f703.

Belatedly remove it from the TODO list.

PADTMP hash pessimisation was fixed with commit 38bb37b9aa18dbe6.

Remove it from the TODO list.

perldelta: Fix an internal POD link

perldelta: reorder bugfix sections and tweak one or two

perldelta: Encode::JP::Mobile is no longer busted

perldelta: add a missing "if" to clarify bugfix

perldelta: avoid unneeded history of bugfix

perldelta: wrap a few weirdly-wrapped lines

perldelta: move regex variable fixes into regex section

This at least avoids having quit so much in the "misc."

Also, "Regular expressions and character classes" is redundant.
Drop the "and character classes"

perldelta: add a missing > to a C<

perldelta: move a FETCH-too-many-times bugfix to that section

remove perldelta placeholders, add the 5.12-is-EOL notice

PATCH: [perl #112530] Panic with inversion lists

The code assumed that all property definitions would be well-formed,
meaning, in part, that they would be numerically sorted by code point,
with each range disjoint from all others.  So, the code was just
appending each range as it is found to the inversion list it is
building.

This assumption is true for all definitions generated by mktables, but
it might not be true for user-defined ones.  The solution is merely to
change from calling the function that appends to instead call the
existing function that handles the more general case.

However, that function was not previously used outside the file it was
defined in, so must now be made public.  Also, this whole interface is
considered volatile, so the names of the public functions in it begin
with an underscore to further discourage XS writers from using them.
Therefore the more general add function is renamed to begin with an
underscore.

And, the append function is no longer needed outside the file it is
defined in, so again to keep XS writers from using it, this commit makes
it static.

perl5160delta: Remove mini bug fix headers

for consistency

perl5160delta: More stuff

I squashed three commits by mistake, and it wasn’t worth separ-
ating them:

1.  Revamp substr revamp

    Move the bugs to the bugs section.

    Nobody cares about the order of uninit warnings, so zap that.

2.  Fix pod syntax error

3.  New section for given bugs

perl5160delta: New thread bug fix section

perl5160delta: New deref bug fix section

perl5160delta: Another format bug

perl5160delta: Another regexp bug

It’s not specific to regexps, but it’s close enough.

perl5160delta: Rmv #88138

This is more-or-less covered by the embedded nulls section.  I
can’t see how to get the bug number in there in a way that is not
misleading.

perl5160delta: Another XS bug

perl5160delta: Another XS bug

perl5160delta: Combine 2 similar return bugs

perl5160delta: Combine 2 similar $_ bugs

perl5160delta: new prototype bug fix section

perl5160delta: new xs bug fix section

perl5160delta: new glob bug fix section

perl5160delta: more regexp bugs

perl5160delta: Move Hash::Util core fixes to hash section

I was going to put it under COW, but it’s not COW-specific.  It’s not
hash-specific, either, the fixes being in Internals::SvREADONLY, but
Hash::Util is the only supported way to use that function.

perl5160delta: Don’t mention study bug fixes

Now that we’ve made it a no-op, it’s not necessary to list the bug
fixes it had.

perl5160delta: New debugger bug fix section

perl5160delta: New sort bug fix section

perl5160delta: New overloading bug fix section

perl5160delta: Don’t mention Internals::SvREFCNT

It officially doesn’t exist. :-)

perl5160delta: Rmv debugger local $_ thing

This entry is no longer relevant, now that local $_ is fixed.

perl5160delta: New section for redef warnings

perl5160delta: Rmv null-named const bug

This is covered by the section on embedded nulls.

This was only listed separately because it came later.

perl5160delta: Move more re fixes to the re section

perl5160delta: Separate section for PL_last_in_gv fixes

perl5160delta: Move more COW stuff into the COW section

perl5160delta: Make an uninit warning bug fix section

[perl #112316] Make strict vars respect null-to-null assignment

This is a follow-up to commits 6379d4a9a and 862504fb08.

As Karl Williamson (thank you!) pointed out, my changes were not suf-
ficient, because strEQ was still being used, which stops at the first
null, treating "foo\0bar" and "foo\0foo" as equivalent.

Under threads, strict vars was not respecting glob assignment from a
package with a null in its name to another also with a null in its
name, if the two package names shared a common prefix up to the null.

[perl #111980] Don’t allow ‘my $♠’

For consistency with ‘my $!’, ‘my $-’, etc., forbid lexical punctua-
tion variables made up of non-ASCII characters.  It was by mistake
that 204e6232679 allowed this.

perl5160delta: Shrink tie bug fix section

The av_reify bug doesn’t need to be mentioned, as it only affects
debugging builds.

perl5160delta: Move one more -l bug to the ft section

perl5160delta: New secton for tie bugs

perl5160delta: Section for vstring & ver obj fixes

perl5160delta: Misc tweaks

perl5160delta: Finish rewriting stat/filetest section

add a missing C<...> to perldelta

thanks for the report, James Aitken!

several perl5160delta.pod tweaks or fixes

Thanks to Marcel Grünauer and Pedro Melo for pointing out
some of these errors.

perl5160delta: A hint bug I missed

perl5160delta: Partially rewrite stat/filetest section

perl5160delta: Create a stat/filetest section

perl5160delta: Shrink embedded null section

Some of these items repeat each other.

perl5160delta: Change capitalisation

to match the surrounding sections

perl5160delta: Create a weakref section

perl5160delta: Rearrange and reword aggreg bugs

perl5160delta: Put hash and array bug fixes together

Some entries apply to both types of aggregates, so making a single
section for both is the path of least resistance.

perl5160delta: New section for hint bug fixes

perl5160delta: Tweaks to lv sub bug fixes

Rearrange things so similar items are closer.  Shorten some descriptions.

perl5160delta.pod: Move 2 similar entries closer

[perl #107636] Make Carp::longmess work inside die override

When PL_last_in_gv (and hence $.) is set, Carp::longmess uses
eval { die } to find out what handle and line number perl will append
to the error message.

It was not qualifying the die with CORE::, so a CORE::GLOBAL::die
override that itself calls Carp::longmess would result in infinite
recursion if that override were installed before Carp loaded.

This broke Class::Scaffold’s tests, which began to hang.

Increase $Carp::Heavy::VERSION to 1.26

Increase $Carp::VERSION to 1.26

Make strict vars respect ‘package ĵ; *ĵ::bar = [];’

In this particular case, the name of the current package in UTF-8 (it
cannot be expressed in Latin-1) is the same byte sequence as the name
of the package being assigned to in Latin-1.

Some of the logic in stashpv_hvname_match was faulty.  It worked for
a Latin-1 current package assigning to a glob in a UTF-8 package, but
not the other way around.

[perl #112316] Make strict vars respect assignment from null pkg

Under threads, strict vars was not respecting glob assignment from a
package with a null in its name if the name of the package assigned to
was equal to the prefix of the current package up to the null.

[perl #112316] Make strict vars respect assignment to null pkg

Under threads, strict vars was not respecting assignment to a package
with a null in its name if the name of the package assigned from was
equal to the prefix of the destination package up to the null.

Set *.pod permissions in installperl.

installperl takes responsibility for explicitly setting the
permissions on most of the files it installs, but had not been
doing so on pods for some reason.  This commit makes it do so.

Not having world/other read access could not only defeat attempts
to read documentation, but also cause C<use diagnostics;> to fail
when it attempted to open perldiag.pod.

Set *.html permissions in installhtml.

Pod::Html::pod2html via the installhtml utility, which is invoked
by the install.html make target, had not been explicitly setting
permissions on the installed HTML files.  Leaving the target
permissions to chance meant that on some systems they were set
appropriately and some not based on various site and platform
defaults.

"Appropriately" in this case means readable by world/other, so we
now set that explicitly.

allow "." in directory name

This qualifies as another of the "crude hack to keep Pod-Html
more usable" hacks that are in place until the path handling
is fixed more systematically.

perl5160delta: YAML 0.81 works with blead

perl5160delta: Remove op/sigdispatch.t

Commit 8aed2c65ce skips the tests on stable versions.

perl5160delta: List significant CPAN failures

By significant, I mean distributions that have at least 5 non-Acme
non-Task non-Bundle dependents.

remove assert and change message

valid_utf8_to_uv{chr,uni} have no documentation, so remove the 'd' flag.

Commit 27d6c58a7e12243b added valid_utf8_to_uv{chr,uni} with the commit
message:

    utf8.c: Add valid_utf8_to_uvuni() and valid_utf8_to_uvchr()

    These functions are like utf8_to_uvuni() and utf8_to_uvchr(), but their
    name implies that the input UTF-8 has been validated.

    They are not currently documented, as it's best for XS writers to call
    the functions that do validation.

However, it also inadvertently gave each a 'd' flag in embed.fnc, incorrectly
stating that they had documentation, which causes autodoc.pl to warn that it
can't find the documentation.

So remove the 'd' flag to correctly reflect the intended lack of documentation.

Fix version tests on windoze

This is a follow-up to commit 78e230aef16b.

When there is an integer overflow (which itself produces a warning),
the resulting behaviour with version objects is basically undefined.
Hence, this newly-added test, which was actually just there to make
sure there was no panic, failed.

Don’t produce uninit warning for ->VERSION(9e99)

This is a follow-up to commit 78e230aef16b.

It was using a temporary undef scalar and concatenating to it instead
of setting it, triggering the warning.

I haven’t added tests, out of paranoia.

PATCH: [perl #111338] Warnings in utf8 subcategories do nothing in isolation

This was the result of assuming that these would not be on unless
the main category was also on.

Correct INSTALL to warn about editing cflags, not cflags.SH

Commit 668cbedd4fc8e9b2 in Nov 2011, as part of a much larger set of edits
and corrections, inadvertently changed 'cflags' to 'cflags.SH', which is
not correct in context.

[perl #112478] Avoid buffer overflow in upg_version

On most systems, this is actually a panic, rather than an overflow,
because the overflow is detected before it can happen.

upg_version needs to use the equivalent of sprintf "%.9f" on a numeric
input before parsing it.  For speed’s sake, I assume, it was done
using my_snprintf, with a C auto for the buffer, declared with a fixed
size of 64.

There is no guarantee that the number passed in will not overflow that
buffer, so upg_version should use an SV and sv_catpvf in those cases
where it would overflow.