remove perldelta placeholders, add the 5.12-is-EOL notice

PATCH: [perl #112530] Panic with inversion lists

The code assumed that all property definitions would be well-formed,
meaning, in part, that they would be numerically sorted by code point,
with each range disjoint from all others.  So, the code was just
appending each range as it is found to the inversion list it is
building.

This assumption is true for all definitions generated by mktables, but
it might not be true for user-defined ones.  The solution is merely to
change from calling the function that appends to instead call the
existing function that handles the more general case.

However, that function was not previously used outside the file it was
defined in, so must now be made public.  Also, this whole interface is
considered volatile, so the names of the public functions in it begin
with an underscore to further discourage XS writers from using them.
Therefore the more general add function is renamed to begin with an
underscore.

And, the append function is no longer needed outside the file it is
defined in, so again to keep XS writers from using it, this commit makes
it static.

perl5160delta: Remove mini bug fix headers

for consistency

perl5160delta: More stuff

I squashed three commits by mistake, and it wasn’t worth separ-
ating them:

1.  Revamp substr revamp

    Move the bugs to the bugs section.

    Nobody cares about the order of uninit warnings, so zap that.

2.  Fix pod syntax error

3.  New section for given bugs

perl5160delta: New thread bug fix section

perl5160delta: New deref bug fix section

perl5160delta: Another format bug

perl5160delta: Another regexp bug

It’s not specific to regexps, but it’s close enough.

perl5160delta: Rmv #88138

This is more-or-less covered by the embedded nulls section.  I
can’t see how to get the bug number in there in a way that is not
misleading.

perl5160delta: Another XS bug

perl5160delta: Another XS bug

perl5160delta: Combine 2 similar return bugs

perl5160delta: Combine 2 similar $_ bugs

perl5160delta: new prototype bug fix section

perl5160delta: new xs bug fix section

perl5160delta: new glob bug fix section

perl5160delta: more regexp bugs

perl5160delta: Move Hash::Util core fixes to hash section

I was going to put it under COW, but it’s not COW-specific.  It’s not
hash-specific, either, the fixes being in Internals::SvREADONLY, but
Hash::Util is the only supported way to use that function.

perl5160delta: Don’t mention study bug fixes

Now that we’ve made it a no-op, it’s not necessary to list the bug
fixes it had.

perl5160delta: New debugger bug fix section

perl5160delta: New sort bug fix section

perl5160delta: New overloading bug fix section

perl5160delta: Don’t mention Internals::SvREFCNT

It officially doesn’t exist. :-)

perl5160delta: Rmv debugger local $_ thing

This entry is no longer relevant, now that local $_ is fixed.

perl5160delta: New section for redef warnings

perl5160delta: Rmv null-named const bug

This is covered by the section on embedded nulls.

This was only listed separately because it came later.

perl5160delta: Move more re fixes to the re section

perl5160delta: Separate section for PL_last_in_gv fixes

perl5160delta: Move more COW stuff into the COW section

perl5160delta: Make an uninit warning bug fix section

[perl #112316] Make strict vars respect null-to-null assignment

This is a follow-up to commits 6379d4a9a and 862504fb08.

As Karl Williamson (thank you!) pointed out, my changes were not suf-
ficient, because strEQ was still being used, which stops at the first
null, treating "foo\0bar" and "foo\0foo" as equivalent.

Under threads, strict vars was not respecting glob assignment from a
package with a null in its name to another also with a null in its
name, if the two package names shared a common prefix up to the null.

[perl #111980] Don’t allow ‘my $♠’

For consistency with ‘my $!’, ‘my $-’, etc., forbid lexical punctua-
tion variables made up of non-ASCII characters.  It was by mistake
that 204e6232679 allowed this.

perl5160delta: Shrink tie bug fix section

The av_reify bug doesn’t need to be mentioned, as it only affects
debugging builds.

perl5160delta: Move one more -l bug to the ft section

perl5160delta: New secton for tie bugs

perl5160delta: Section for vstring & ver obj fixes

perl5160delta: Misc tweaks

perl5160delta: Finish rewriting stat/filetest section

add a missing C<...> to perldelta

thanks for the report, James Aitken!

several perl5160delta.pod tweaks or fixes

Thanks to Marcel Grünauer and Pedro Melo for pointing out
some of these errors.

perl5160delta: A hint bug I missed

perl5160delta: Partially rewrite stat/filetest section

perl5160delta: Create a stat/filetest section

perl5160delta: Shrink embedded null section

Some of these items repeat each other.

perl5160delta: Change capitalisation

to match the surrounding sections

perl5160delta: Create a weakref section

perl5160delta: Rearrange and reword aggreg bugs

perl5160delta: Put hash and array bug fixes together

Some entries apply to both types of aggregates, so making a single
section for both is the path of least resistance.

perl5160delta: New section for hint bug fixes

perl5160delta: Tweaks to lv sub bug fixes

Rearrange things so similar items are closer.  Shorten some descriptions.

perl5160delta.pod: Move 2 similar entries closer

[perl #107636] Make Carp::longmess work inside die override

When PL_last_in_gv (and hence $.) is set, Carp::longmess uses
eval { die } to find out what handle and line number perl will append
to the error message.

It was not qualifying the die with CORE::, so a CORE::GLOBAL::die
override that itself calls Carp::longmess would result in infinite
recursion if that override were installed before Carp loaded.

This broke Class::Scaffold’s tests, which began to hang.

Increase $Carp::Heavy::VERSION to 1.26

Increase $Carp::VERSION to 1.26

Make strict vars respect ‘package ĵ; *ĵ::bar = [];’

In this particular case, the name of the current package in UTF-8 (it
cannot be expressed in Latin-1) is the same byte sequence as the name
of the package being assigned to in Latin-1.

Some of the logic in stashpv_hvname_match was faulty.  It worked for
a Latin-1 current package assigning to a glob in a UTF-8 package, but
not the other way around.

[perl #112316] Make strict vars respect assignment from null pkg

Under threads, strict vars was not respecting glob assignment from a
package with a null in its name if the name of the package assigned to
was equal to the prefix of the current package up to the null.

[perl #112316] Make strict vars respect assignment to null pkg

Under threads, strict vars was not respecting assignment to a package
with a null in its name if the name of the package assigned from was
equal to the prefix of the destination package up to the null.

Set *.pod permissions in installperl.

installperl takes responsibility for explicitly setting the
permissions on most of the files it installs, but had not been
doing so on pods for some reason.  This commit makes it do so.

Not having world/other read access could not only defeat attempts
to read documentation, but also cause C<use diagnostics;> to fail
when it attempted to open perldiag.pod.

Set *.html permissions in installhtml.

Pod::Html::pod2html via the installhtml utility, which is invoked
by the install.html make target, had not been explicitly setting
permissions on the installed HTML files.  Leaving the target
permissions to chance meant that on some systems they were set
appropriately and some not based on various site and platform
defaults.

"Appropriately" in this case means readable by world/other, so we
now set that explicitly.

allow "." in directory name

This qualifies as another of the "crude hack to keep Pod-Html
more usable" hacks that are in place until the path handling
is fixed more systematically.

perl5160delta: YAML 0.81 works with blead

perl5160delta: Remove op/sigdispatch.t

Commit 8aed2c65ce skips the tests on stable versions.

perl5160delta: List significant CPAN failures

By significant, I mean distributions that have at least 5 non-Acme
non-Task non-Bundle dependents.

remove assert and change message

valid_utf8_to_uv{chr,uni} have no documentation, so remove the 'd' flag.

Commit 27d6c58a7e12243b added valid_utf8_to_uv{chr,uni} with the commit
message:

    utf8.c: Add valid_utf8_to_uvuni() and valid_utf8_to_uvchr()

    These functions are like utf8_to_uvuni() and utf8_to_uvchr(), but their
    name implies that the input UTF-8 has been validated.

    They are not currently documented, as it's best for XS writers to call
    the functions that do validation.

However, it also inadvertently gave each a 'd' flag in embed.fnc, incorrectly
stating that they had documentation, which causes autodoc.pl to warn that it
can't find the documentation.

So remove the 'd' flag to correctly reflect the intended lack of documentation.

Fix version tests on windoze

This is a follow-up to commit 78e230aef16b.

When there is an integer overflow (which itself produces a warning),
the resulting behaviour with version objects is basically undefined.
Hence, this newly-added test, which was actually just there to make
sure there was no panic, failed.

Don’t produce uninit warning for ->VERSION(9e99)

This is a follow-up to commit 78e230aef16b.

It was using a temporary undef scalar and concatenating to it instead
of setting it, triggering the warning.

I haven’t added tests, out of paranoia.

PATCH: [perl #111338] Warnings in utf8 subcategories do nothing in isolation

This was the result of assuming that these would not be on unless
the main category was also on.

Correct INSTALL to warn about editing cflags, not cflags.SH

Commit 668cbedd4fc8e9b2 in Nov 2011, as part of a much larger set of edits
and corrections, inadvertently changed 'cflags' to 'cflags.SH', which is
not correct in context.

[perl #112478] Avoid buffer overflow in upg_version

On most systems, this is actually a panic, rather than an overflow,
because the overflow is detected before it can happen.

upg_version needs to use the equivalent of sprintf "%.9f" on a numeric
input before parsing it.  For speed’s sake, I assume, it was done
using my_snprintf, with a C auto for the buffer, declared with a fixed
size of 64.

There is no guarantee that the number passed in will not overflow that
buffer, so upg_version should use an SV and sv_catpvf in those cases
where it would overflow.

INSTALL doc changes because of TestInit.pm movement

commit 30b6e59101b252c20a6b50b95203d1e2c6016604 moved TestInit.pm from
t to top level.

SITELIB_EXP may be NULL on Windows

The sitelib directory is located dynamically at runtime by checking
for the ../site path relative to the location of perl5xx.dll.  This
directory doesn't exist at buildtime, so calling strlen(NULL) may
cause an access violation...

[perl #112444] Don’t leak %^H autovivified by destructor

More precisely, don’t let a hint hash autovivified by a destructor
during scope exit leak to outer scopes.

GvHV(PL_hintgv) (aka *^H{HASH}) must be set to null before the hash in
it is freed on scope exit.  Otherwise destructors will see %^H with a
refcount of zero, and might try to iterate over a hash that is in the
process of being freed.  Bad things then happen.  Commit 2653c1e3b1
took care of this.

Now, if GvHV(PL_hintgv) is null when destructors are called, those
destructors might end up autovivifying it.  The code in scope.c that
handles hints when a scope is left (SAVEt_HINTS in Perl_leave_scope)
would then end up leaving that new autovivified %^H in place when the
scope exited, if the outer scope did not have HINT_LOCALIZE_HH set
(meaning %^H was unused).

That in itself would not be so much of a problem, if it were not for
the fact that %^H is magicalised by the scope-handling code, not when
it is autovivified (see also bug #112458).  Hence, subsequent changes
to %^H would not magically set the HINT_LOCALIZE_HH hint bit, which
bit is checked all over the place to see whether %^H is in use.  This,
in turn, would cause hints subsequently added to %^H to leak to
outer scopes.

This commit fixes that by repeatedly freeing GvHV(PL_hintgv).  If a
destructor autovivifies it again, it just causes another iteration of
the while loop.  This does mean a destructor could autovivify %^H and
cause the new %^H itself to trigger a destructor, resulting in infi-
nite loops.  But then that is that own code’s fault.

This originally came up because commit 2653c1e3b1 also caused des-
tructors that try to add new free magic to %^H to add it to a new
autovivified %^H instead of the existing %^H that was being freed.
This caused the nextgen module to fail its tests, because it uses
B::Hooks::EndOfScope to register a sub to be called on scope exit, and
it does this from a destructor itself called during scope exit.  If
the autovivified %^H leaks to an outer scope, the second destructor is
not called.

make Pod-Html's _unixify normalize Win32 drive letters

Okay, look, this is kind of stupid and horrible, but it should
stop smoke failures and actually address some forms of failed path
comparisons in Pod::Html.  In reality, we should be doing better path
comparisons than checking substr and eq, but that's not going to get
properly overhauled at this late date.

In the meantime, this should fix Win32 smokers with forcibly lc()-ed
cwds without breaking anybodye else, right?  Right!

fix [perl #112370] memEQ off-by-one in Perl_regexec_flags()

The problem was that when we had a floating non-unicode substr
we could read past the beginning of the string.

So for instance this code:

    foreach ("\x{2603}", 'a') {
        'b' =~ /(?:^|.)$_$/;
    }

When run under valgrind would show an illegal read.

If run under use re 'debug' we would see output like this:

    floating utf8 "a"$ at 0..1 (checking floating) minlen 1
    Matching REx "(?:^|.)a$" against "b"
    UTF-8 pattern...
    Can't trim the tail, match fails (should not happen)
    Match failed

Which suggests we are falling into a "should not happen" branch of the
code.

This patch fixes the logic to properly test string length issues, and
changes the debug output so it looks like this:

    floating utf8 "a"$ at 0..1 (checking floating) minlen 1
    Matching REx "(?:^|.)a$" against "b"
    UTF-8 pattern...
    String does not contain required trailing substring, cannot match.
    Match failed

Which makes more sense.

Add an assert related to [perl #112370] memEQ off-by-one in Perl_regexec_flags()

This probably breaks tests under DEBUGGING, but it should also make this
codepath more robust to future changes. It seems to pass all tests.

Follow up patch fixes one cause of this assert being utilized.

op/sigdispatch.t: skip tests on prodn releases

RT #89718 showed a couple of tests hanging on old linux kernels.
Until such time as someone can reliably probe for this, just
completely skip those tests on production releases.

[perl #110736] warnings from cpan/IO-Compress/t/cz-03zlib-v1.t

Backported t/cz-03zlib-v1.t from IO-Compress-2.049

Tweak the FEATURE_IS_ENABLED() macro to avoid a bug in the HP-UX compiler.

stop %^H pointing to being-freed hash; #112326

The leave_scope() action SAVEt_HINTS does the following to
GvHV(PL_hintgv): first it SvREFCNT_dec()'s it, then sets it to NULL.
If the current %^H contains a destructor, then that will be
executed while %^H still points to the hash being freed.
This can cause bad things to happen, like iterating over the hash being
freed.

Instead, setGvHV(PL_hintgv) to NULL first, *then* free the hash.

Increase $attributes::VERSION to 0.19

Put bulk 88’s real name in AUTHORS

at his request

Revert "doco improvement for attributes.pm"

This reverts commit f29a7c30d92b9e3714cce5604d86fb97c1b099e8.

[perl #112352] Make ‘use v5.15’ always enable unicode_eval

When the unicode_eval feature was added, the code for compiling an
eval was modified to check whether the feature was enabled, before
flagging the op.

For efficiency’s sake, since there was already a block that checked to
see whether %^H was localised (which happens automatically when it is
modified), and since features always used %^H, I put the check inside
that block, so it would be skipped altogether without %^H set.  (It’s
debatable whether it was actually any faster.)

Later, in commit 6634bb9d0ed1, when I changed implicit features to use
$^H, I didn’t update the eval code.  So it would only check to see
whether the feature was enabled if %^H was also enabled.

This fixes that by moving it below the %^H block.

Add bulk 88 to AUTHORS

I would not have been able to do the previous commit without his help.

[perl #109718] Clone PL_comppad properly

fork emulation on Windows, which clones a new thread via
perl_clone_using, expects to be able to access the current pad imme-
diately after the cloning, and crashes if there is no current pad.

PL_comppad was not being cloned explicitly, but simply looked up in
the pointer table, it being assumed that it had already been cloned.

For string evals, before commit 676a678, PL_compcv happened to point
to the eval’s CV.  PL_compcv is cloned just before PL_comppad is set,
so that worked.

As of commit 676a678, PL_compcv does not point to the eval’s CV
at the eval’s run time, so the pad has not been cloned yet when
PL_comppad is set.

In the case of string evals, the CV does get cloned, but later on,
after PL_comppad is set, when the stacks are cloned.

Changing the setting of PL_comppad to do an actual cloning works, as,
when the eval’s CV is cloned later (during stack cloning), it will
simply pick up the pad that has already been cloned and is waiting for
it in the pointer table.

This stops eval 'fork' from crashing on Windows.

Test patch for version 0.97

I had some isolated test failures with 0.96 from BSDish systems with
limited locales installed.  The attached patch brings bleadperl in line
with the CPAN 0.97 release.  I'd like to see it get into 5.16 if
possible, so that we don't have needless test failures.

Thanks

John

Signed-off-by: Chris 'BinGOs' Williams <chris@bingosnet.co.uk>

perl5160delta.pod: Add to-do note

perl5160delta.pod: Lvalue sub bugfix section

Move all lv sub bug fixes into this section.  Tweak things a bit.

perl5160delta.pod: Missing space

perl5160delta.pod: Rewording

perl5160delta.pod: Make diag changes somewhat alphabetical

Alphabetized mostly by the text of the error message, even when it is
not given.

perl5160delta.pod: Alphabetize new diagnostics

perl5160delta.pod: Note that zipdetails is new

perl5160delta.pod: Typos

perl5160delta.pod: Move ‘glob failed’ under Diagnostics

perl5160delta.pod: Removed Errors, not Warnings

The only removed diagnostic was an error.

perl5160delta.pod: Don’t list $[ deprecation msg

It was inadvertently removed and later restored, both in the
5.15.x series.

perl5160delta.pod: Shorten $[ warning description

That last sentence is unnecessary.

perl5160delta.pod: ‘Useless assignment’ rewording

It actually happens with any lvalue subroutines, not just XS, as in
‘+sub :lvalue { my $foo }->() = 3’.