PATCH: [perl #87812] BBC breaks Pod::Coverage::TrustPod

This patch completes the fixing of this problem.  The problem is that
the failing .t set @INC to exclude lib, and hence couldn't find utf8.pm,
which 5.14 was requiring in places where it previously didn't.  This
patch finishes the job of not requiring utf8.pm in so many places as
were inadvertently added in 5.14.  Commit
3ad98780b4bded02c371c83a668dc8f323e57718 started the job.

This patch changes regcomp.c to not set ANYOF_NONBITMAP_NON_UTF8 where
it inappropriately was.  I don't know what I was thinking when I
originally did what this changes.  In order to match outside the bitmap,
these characters all must match something that requires utf8, such as a
LIGATURE FI.

regcomp.c: Shun ANYOF_NONBITMAP_NON_UTF8

As noted in the comments in the code for this commit, this flag has
higher consequences than others when it is inappropriately set in the
synthetic start class.  This patch causes it to not be set unless there
is some path in the regex engine that needs it, but once set it is never
cleared.  This results in a different set of false positives than
currently, but the current set can have this set even if there is no
path in the engine that needs it.

perldelta: Move the XIDStart change from bugs to incompat.

and reword it.

This is probably not the best wording. If someone else is actually
reading this, please feel free to improve it.

perldelta for [perl #87708]

In fixing the regression that #87708 represents, I could not avoid
also fixing this swapped-operand bug, so it needs a perldelta entry.

I also fixed a tiny formatting error.

Revert parts of c31c291..96b6b87

This restores the old definition of dPOPTOPiirl_nomg from
before 96b6b87 and the old definition of dPOPXiirl_ul_nomg from
before e62ca0f (except for a bug fix: POPi cannot be used since
it’s magical). It also reverts most of c31c291.

This does mean that uninitialized warnings for various operators are
back in reverse order. So I am reinstating a bug with this commit. But
that bug was never a 5.14 blocker and so should never have been fixed
during code freeze (and there is the slight possibility that the fix
would break sensitive test suites). It was only fixed ‘for free’ as a
side effect of fixing [perl #87708], but that bug turned out to have a
better fix (commit 75ea7a1) that allows these changes to be reverted.

Revert "[perl #87708] $tied / $tied under use integer"

This reverts most of commit 76422f81b675011beffbdb66c981a36b6fbf4a6b.

It is now unnecessary as of commit 75ea7a1.

Remove unnecessary code from pp_add

This code, added recently in 4c3ac4b and amended in 837c879, has been
unnecessary since commit 75ea7a1.

Remove unnecessary code from pp_eq

This code, added recently in 7d779b2, has been unnecessary since com-
mit 75ea7a1.

Correct the skip count in stash.t

This has been wrong since 57f45d7.

[perl #87708] Fix ‘$tied binop $tied’

The short story: In 5.13.1 or .2 these ops started calling get-magic
just once if the same gmagical scalar was used for both operands. Then
the same value would be used on both sides. In 5.12 FETCH would be
called twice with both return values used, but they would be swapped
in most cases (so $t/$t would return 1.5 if $t returned 2 and then
3). Now FETCH is called twice and the two operands are used in the
right order.

Up till now there have been patches to fix specific ops, but I real-
ised that the same ten or so lines of code would have to be added to
the rest of the 20+ pp_ functions, all of which use tryAMAGICbin_MG
(which calls Perl_try_amagic_bin in gv.c), so it made sense to add the
code to Perl_try_amagic_bin instead. This fixes all the ops in one
fell swoop.

The code in question checks whether the left and right operands are
the same gmagical scalar. If so, it copies the scalar into a new mor-
tal one, and then calls get-magic on the original operand to get its
new value (for the rhs). The new scalar is placed just below the top
of the stack, so it becomes the left operand.

This does slow down the bitwise integer ops slightly, but only in this
rare edge case. And the simplification of the code seems worth it.

Forthcoming are commits that revert some of the changes already made,
as this commit renders them unnecessary.

[perl #87708] $tied == $tied

This is only part of #87708.

This fixes the + operator outside of any ‘use integer’ scope when the
same tied scalar is used for both operands and returns two different
values. Before this commit, get-magic would be called only once and
the same value used. In 5.12.x it just worked.

I tried modifying pp_eq throughout to take this case into account,
but it made the most common cases slightly slower, presumably because
of the extra checks. So this follows the same temp sv method that I
used for pp_add (in 4c3ac4b and 837c879), which, though slowing down
this edge cases due to the extra allocation, leaves the most common
cases just as fast. (And, in case my benchmarks were unreliably [not
unlikely], this method is also safer, as it has less chance of getting
different code paths wrong.)

Make :utf8 and :bytes MULTIARG

PerlIO layer types have this property that flags if they can accept
multiple arguments or only one. Unfortunately, this always checks the
uppermost layer that has an Open method defined. This causes issues when
used with utf8 or bytes on top of a layer that uses multiple arguments.

For 5.15 I think abolishing this feature may make most sense. It's just
flat out wrong IMO, it's the layer that uses the arguments that should
validate them, not the topmost, which may not even touch them. In the
mean time adding the multiargs flag to :utf8 and :bytes is a reasonable
stop-gap.

This patch makes perl slightly more permissive, so it shouldn't break
any working code out there.

PATCH: [perl #87810] BBC Text::MultiMarkdown

A statement should have been outside a block but was inside it.
The indentation was correct, and in a number of times reading
the code I still missed it.

I'm having trouble distilling down the failure scenario into
a simple test case, and am short on tuits right now, so a test
will be committed later.

[perl #87388] bless[], "main::" crashes

As mention in the ticket, this was caused by b4dd662, which removed
‘dead’ code from gv_stashpvn:

commit b4dd66232df8f0d1c00796970dec7fc37fbe9edf
Author: Nicholas Clark <nick@ccl4.org>
Date:   Fri Oct 8 21:33:29 2010 +0100

    Remove dead code from Perl_gv_stashpvn().

    GvHV() and HvNAME() will both always already be set, as gv_fetchpvn_flags()
    will initialise these as it walks the string in its initial loop to locate the
    correct stash, then return early because name == name_end.

    This code has been dead since it was added in 5.000.

--- a/gv.c
+++ b/gv.c
@@ -927,11 +927,9 @@ Perl_gv_stashpvn(pTHX_ const char *name, U32 namelen, I32 flags)
  Safefree(tmpbuf);
     if (!tmpgv)
  return NULL;
-    if (!GvHV(tmpgv))
- GvHV(tmpgv) = newHV();
     stash = GvHV(tmpgv);
-    if (!HvNAME_get(stash))
- hv_name_set(stash, name, namelen, 0);
+    assert(stash);
+    assert(HvNAME_get(stash));
     return stash;
 }

This routine, before the snippet shown, adds two colons to the end of
the name and then passes "main::::" to gv_fetch_pvn_flags.

gv_fetch_pvn_flags, when it parses a "::", sets the next subname to
point to the character after the second colon, and then continues
scanning from the next character *after* that. So foo::::bar becomes
$foo::{"::bar"} and main:::: becomes $main::{"::"}.

The code that assigns the name to the stash and the early exit are
both inside an if(we have a package separator) block, but the final ::
is not considered one, so a nameless hash is returned.

The easiest way to fix this is to revert just the changes to
lines that deal with the name (since the other deleted lines are
really dead).

Correct stupidities in 4c3ac4b

Allocating an extra SV for rare edge cases...er...only needs to be
done in those rare edge cases.

Uninitialized warnings are only supposed to be enabled when they are.

[perl #87708] $tied + $tied

This is just part of #87708.

This fixes the + operator outside of any ‘use integer’ when the same
tied scalar is used for both operands and returns two different val-
ues. Before this commit, get-magic would be called only once and the
same value used. In 5.12.x it worked.

make mg_clear() et al behave when RC==0

The functions S_save_magic() and S_restore_magic(), which are called by
mg_get(), mg_set(), mg_length(), mg_size() and mg_clear(),
are not robust when called with an SV whose reference count is zero.
Basically, one of the actions of S_save_magic() is to temporarily
increase the refcount of the SV, and then for S_restore_magic() to reduce
it again at the end, so that if any of the magic functions called
inbetween decrease the count, it won't be prematurely freed.
However, if the count starts at zero, then bumping it up and bringing it
back down to zero, triggers a spurious second freeing.

So, if its zero, just skip the whole bumping thing.

Now, we shouldn't really be calling these functions will a zero-refcount
SV, but these things happen, and its best to be robust.

In particular, this fixes RT #87860, which was ultimately triggered by a
bug in Set::Object 1.28 that managed to create an HV with null SvMAGIC
field, but with the RMG flag set.

When freeing that HV, sv_clear() skips doing mg_free() because SvMAGIC is
null, whereas later it calls Perl_hv_undef_flags, which calls mg_clear()
because it uses the test SvRMAGICAL(hv) (which is true).

[perl #87708] $tied / $tied under use integer

This is just part of #87708.

This fixes the / operator under ‘use integer’ when the same tied sca-
lar is used for both operands and returns two different values. Before
this commit, get-magic would be called only once and the same value
used. In 5.12.x the operands were swapped.

[perl #87708] $tied % $tied and $tied * $tied under use integer

This is just part of #87708.

This fixes the % and * operators under ‘use integer’ when the same
tied scalar is used for both operands and returns two different val-
ues. Before this commit, get-magic would be called only once and
the same value used. In 5.12.x * just worked but the operands were
swapped for %.

It turns out that every operator using the dPOPTOPiirl_nomg macro
needs exactly the same treatment, so this commit eliminates the
dPOPTOPiirl_halfmg macro added a few commits ago and modifies
dPOPTOPiirl_nomg to do was it was doing. This should be perfectly
safe, as dPOPTOPiirl_nomg has not been in a stable release (and is
only for internal use anyway).

[perl #87708] $tied + $tied and $tied - $tied under ‘use integer’

This is just part of #87708.

This fixes + and - under ‘use integer’ when the same tied scalar is
used for both operands and returns two different values. Before this
commit, get-magic would be called only once and the same value used.
In 5.12.x + just worked but the operands were swapped for -.

[perl #87708] use integer; $tied < $tied

This is just part of #87708.

This fixes < under ‘use integer’ when the same tied scalar is used for
both operands and returns two different values. Before this commit,
get-magic would be called only once and the same value used. In 5.12.x
the operands were swapped.

[perl #87708] use integer; $tied > $tied

This is just part of #87708.

This fixes > under ‘use integer’ when the same tied scalar is used for
both operands and returns two different values. Before this commit,
get-magic would be called only once and the same value used. In 5.12.x
the operands were swapped.

[perl #87708] use integer; $tied <= $tied

This is just part of #87708.

This fixes <= under ‘use integer’ when the same tied scalar is used
for both operands and returns two different values. Before this com-
mit, get-magic would be called only once and the same value used. In
5.12.x the operands were swapped.

[perl #87708] use integer; $tied >= $tied

This is just part of #87708.

This fixes >= under ‘use integer’ when the same tied scalar is used
for both operands and returns two different values. Before this com-
mit, get-magic would be called only once and the same value used. In
5.12.x the operands were swapped.

[perl #87708] use integer; $tied == $tied

This is just part of #87708.

This fixes == under ‘use integer’ when the same tied scalar is used
for both operands and returns two different values. Before this com-
mit, get-magic would be called only once and the same value used. In
5.12.x it just worked.

[perl #87708] use integer; $tied != $tied

This is just part of #87708.

This fixes != under ‘use integer’ when the same tied scalar is used
for both operands and returns two different values. Before this com-
mit, get-magic would be called only once and the same value used. In
5.12.x it just worked.

PATCH: [perl #87908] \W is its complement sometimes

A missing '!' turned \W into \w in some code execution paths and utf8 data.
This patch fixes that.

It does not include tests at the moment, since I don't have time
just now to examine why the existing tests didn't catch this, when
it looks like they are set up to, and there have been several BBC tickets
lately that I'm hopeful this may fix and head off other ones.

[perl #87708] use integer; $tied <=> $tied

This is just part of #87708.

This fixes <=> under ‘use integer’ when the same tied scalar is used
for both operands and returns two different values. Before this com-
mit, get-magic would be called only once and the same value used. In
5.12.x, the operands would be reversed.

c31c2913 swaps the order of uninitialised warnings, so update test expectations

[perl #87708] atan2 $tied, $tied

This fixes atan2 when the same tied scalar is used for both operands
and returns two different values. Before this commit, get-magic would
be called only once and the same value used. In 5.12.x, the operands
would be reversed.

PATCH: [perl #87726] unwanted warning from diagnostics.pm under -w

It turns out to be an extra semicolon

Er, 87708, not 87726

TODO tests for [perl #87726]

In Darwin's hints, only add -no-cpp-precomp to ccflags if it's not an error.

Previously -no-cpp-precomp was added uncondtionally to cppflags and ccflags.
Apple's compiler accepts this unconditionally. gcc 4.5 warns about it, but
ignores it. gcc 4.6 treats the unknown flag as an error. Hence test whether
the flag causes problems, and only add it if it does not.

(Searching with Google suggests that this flag has been unnecessary on OS X
for some time. However, there's no clear documentation about it to confirm
when it stopped being necessary.)

Bump ExtUtils::CBuilder version following a24b897525551a1d.

perldelta entry for the [perl #87664] fix

perldelta: File::Basename’s version

Revert "Remove MacOS classic support from File::Basename."

This reverts commit e713b73750eb9e684a6d14dcca1a22d55ce2226d.

See [perl #87704].

Make ExtUtils::CBuilder reset ccflags on compile for VMS.

On VMS only, the /DEFINE and /INCLUDE qualifiers are parsed off the
local copy of $Config{ccflags} and consumed in the process.  This is
necessary because you're only allowed one of each of these clauses
in the compile command, so to add whatever has been requested for a
specific compile, we have to combine them with whatever Perl was
built with.

But since they are consumed, multiple compiles on the same EU::CB
object were only using the correct flags for the first one.  Even
calling the have_compiler() check before compile() would make the
latter miss the defines and includes that were used to build Perl.

The solution is add a platform override that resets the local copy
of $Config{ccflags} from its original in %Config every time a
compiler operation is initiated.

Fixes smoke failures in ExtUtils::ParseXS.

[perl #87664] Don’t autovivify stashes when anonymising CVs

This commit stops CV anonymisation from autovivifying stashes to point
to (unless the stash is %__ANON__::).

If a stash has been deleted from its original position in the symbol
table, then its HvNAME will no longer indicate where to find it.

S_anonymise_cv_maybe in sv.c was using the HvNAME to look up (and
autovivify) the *__ANON__ glob in the stash, without taking into
account that it might not actually be looking in the right spot.

So now, after checking that the stash still has a name (HvNAME), it
uses the HvENAME to find it. If the HvENAME is null, which indicates
that the stash has been detached altogether, then %__ANON__:: is used,
as happens when HvNAME is null.

This solves a Class::Monadic failure introduced by commit 2d0d1eccfc
([perl #79208] %stash:: = () anonymises CVs), which was included
in 5.13.7.

Basically, it can be reduced to this:

[perl #87064] eval no longer shares filters

Before this commit:

commit f07ec6dd59215a56bc1159449a9631be7a02a94d
Author: Zefram <zefram@fysh.org>
Date:   Wed Oct 13 19:05:19 2010 +0100

    remove filter inheritance option from lex_start

    The only uses of lex_start that had the new_filter parameter false,
    to make the new lexer context share source filters with the previous
    lexer context, were uses with rsfp null, which therefore never invoked
    source filters.  Inheriting source filters from a logically unrelated
    file seems like a silly idea anyway.

string evals could inherit the same source filter space as the cur-
rently compiling code. Despite what the quoted commit message says,
sharing source filters allows filters to be inherited in both direc-
tions: A source filter created when the eval is being compiled also
applies to the file with which it is sharing its space.

There are at least 20 CPAN distributions relying on this behaviour
(or, rather, what could be considered a Test::More bug). So this com-
mit restores the source-filter-sharing capability. It does not change
the current API or make public the API for sharing source filters, as
this is supposed to be a temporary stop-gap measure for 5.14.

Make Changes refer to the upcoming release for the full changelog

Add a note to the RMG about the fact that you should run tests after
bumping the perl version

Manually change the sha that uconfig.h was generated from. Something in
the auto-regen magic isn't doing the right thing for uperl. We should
either be skipping the regen check on it or we should be automating it.

t/porting/regen.t failed without this change.

We should also consider making bump-perl-version NOT operate on any
generated files and mandate a rerun after bumping versions

Added a 5.14 feature bundle (identical to the 5.13 feature bundle)

First provisional bump to 5.14.0-RC0

We shouldn't be changing perl version numbers in blead-isn't-upstream
CPAN modules

Remove a semi-erroneous misleading perldelta entry

I misread a commit message. I should have tried it out. :-)

perlrequick: /o no longer needed

This is wrong, and doesn't belong in an introductory document

perlrequick: Capitalize Perl when used as a noun

This is for consistency with other pods

perlreref: Fix column in table

perlreref: Update for 5.14 changes

Update HTTP::Tiny’s version in perldelta

Update HTTP::Tiny to CPAN version 0.012

HTTP::Tiny 0.011 fails to mirror files correctly on MSWin32, preventing
CPAN bootstrapping over HTTP with just core Perl.  This is fixed in CPAN
version 0.012.

[DELTA]

0.012     2011-03-31 15:48:02 America/New_York

  [BUG FIXES]

  - mirror() now uses binmode during output (RT #67118) [Serguei Trouchelle]

  [DOCUMENTATION]

  - noted that SSL certificates are not verified against CA's
    (RT #66907)

perldelta: uc/lc(first) fix [perl #87336]

perlretut: /o no longer very useful

perlretut still says /o is needed to prevent regex re-compilation in
loops.

perlretut: Remove references to Unicode blocks

blocks are mostly useless, and not suitable for an introduction
to regular expressions.  It was not always the case, as in very early
Unicode these were the best approximation to the much more useful
Script concept.  But that changed 10 or so years ago.

perlretut: nits

perlretut: Emphasize difference of /r

perlretut: Use generic Unicode web page link

Use the link to Unicode that gives the latest version, whatever it might be

perlretut: Mention 'alert' for \a

perlretut: Add info about \N

encoding(utf8) isn't case or dash sensitive

perluniintro: bytes.pm is not deprecated

[perl #87336] lc/uc(first) fail to taint the returned string

This bug was caused by change 28011 (ec9af7d), which stopped pp_lc
from using sv_setsv_flags, thereby bypassing these two lines at the
end of that function:
    if (SvTAINTED(sstr))
SvTAINT(dstr);

Change 28012 (6730619) did exactly the same thing to pp_uc.

28013 (d54190f) broke ucfirst and lcfirst.

This commit simply puts that taint logic at the end of the pp_*
functions.

Encode::Guess is iffy

perlrecharclass: /dual are suffix in 5.14

So there is no need to avoid using the / form for them.

perlrecharclass: Mention UCD::num()

/dual are available in 5.14 as suffix after all

Removed my name from README.aix

As Jan said, we all contribute, and I do not like to receive mail
with questions regarding an OS that I hate  but still have to use
for company purposes.

perluniintro: Update for 5.14

This includes some edits that I believe clarify the original language.

perlfunc: Note utf8 discrepancy in quotemeta

perldelta: Explain link to Selected Bug FIxes

perldelta: Update Pod::Html’s version

Add Gene Sullivan to AUTHORS

perldelta: Update the bignum version

Versions bumps after the prev commit

[perl #87216] POD typo in bigint, bignum and bigrat pragmas

The POD has a typo in the following three pragmas:
    bigint
    bignum
    bigrat

The typo is similar for each pragma: CAVAETS should be changed to CAVEATS.

[perl #87128] Unclear note about \Q, etc., in perlretut

[perl #86566] Allow Pod::Html to write to STDOUT again

7319fd7 introduced lexical file handles but also switched to 3 arg
open; Pod::Html was relying on 2 arg open's behaviour to make '-' mean
STDOUT.

There was also a single quoted argument that obviously needed to be
interpolated.

Make the request to fix rather than report bugs in microperl politer.

Expand it slightly to clarify why bare bug reports aren't likely to get acted
upon.

microperl: Define need_va_copy

This is needed on some platforms and shouldn't hurt on others, so
define it.

For microperl, add uconfig64.sh, with values suitable for an LP64 platform.

Add instructions on how to use it to README.micro.

There's rather too much size-specific in perl's configuration to make it viable
to have a single uconfig.sh that will work "properly" on both LP32 and LP64
platforms. It seems best to ship the default as LP32 (which is correct for
Win32 (although I don't know if microperl yet builds on Win32)), and provide
just a config.sh file for LP64, as most (all?) 64 bit *nix platforms are LP64,
and can run the shell commands to generate a uconfig.h from it.

(Win64 is LLP64, so uconfig64.sh isn't going to be right for it, so the
inability of Win64 to generate uconfig.h from uconfig64.sh isn't a problem)

microperl should use *signed* char for i8, as (plain) char might be unsigned.

Fix *printf %ld handling for microperl (and other obscure platforms)

07208e09d4435b4e accidentally moved the implicit q = q + 1 into conditionally
compiled code, which is compiled most everywhere else, except miniperl. Without
the increment of q, formats such as 'ld' were not being recognised as formats.
This was noticed because the tokeniser implements __LINE__ by converting to a
string using %ld.

Add very simple microtest for microperl

For now, all the tests we run don't use Config, so don't try to build it first.
[Hence this is about half of the original commit by David Leadbeater, which
did build Config, from config.sh]

There's an unresolved problem with building Config - building Config.pm etc
from config.sh won't reflect the capabilities of the microperl being tested,
so that argues for the right solution to be adapting configpm to be able to use
uconfig.sh instead. But doing that means that when building and (re)testing
"regular" perl, we could end up with a build tree with lib/Config.pm "up to
date", as far as make is concerned, but totally the wrong contents in reality.
Tests will fail, heads will be scratched, time will be wasted, etc.

microperl: Fix patch_uconfig target

Previously it tried to patch 'uconfig.shx', now it patches
'uconfig.sh' as documented.

Default microperl to no optimisation.

Previously it was -O2, which is potentially a gcc-ism. -Os also has the
potential to be "portability challenged". Whilst -O should work everywhere,
as microperl is intended as a least-assumptions bootstrapping approach, it
seems best to make no assumptions about the compiler's optimiser.

microperl: Define NO_MATHOMS to save ~10k

(Half of a single commit by David Leadbeater)

Define memset() for microperl

Check if microperl's version in uconfig.sh/h needs bumping

microperl: Up versions in uconfig.sh to 5.13

Protect sv_collxfrm in mathoms.c with a USE_LOCALE_COLLATE ifdef

It calls sv_collxfrm_flags which is only defined if USE_LOCALE_COLLATE
is set.

microperl: On (at least) OS X and Linux stddef.h is needed for ptrdiff_t

This shouldn't hurt on other system either.

Microperl doesn't do signal handlers, ifdef some handling code

microperl: Update generate_uudmap in Makefile.micro

Makefile.micro hadn't kept up with the changes for generate_uudmap,
make it match the real Makefile.

Don't automatically regenerate uconfig.h as part of the microperl build.

This avoids limiting microperl to platforms with a Bourne shell. It also
avoids automated build tools modifying distribution files as part of the
default build targets.

Now that we have a regression test to ensure that uconfig.h is up to date,
the version as shipped will be consistent with uconfig.sh. README.micro
already instructs people to run `make -f Makefile.micro regen_uconfig` if
they edit uconfig.sh, so no change needed there.

Add regen/uconfig_h.pl to regenerate uconfig.h

Most of the work is done by config_h.SH, but the wrapper is needed to add the
digest lines, so that t/porting/regen.t can verify that it's up to date.
I think that we need to take the "digest" approach, rather than "build to a
temporary file during testing", as we can't rely on a working Unix shell on
all platforms, and we couldn't even be sure that we get the skip list correct.

Extract read_only_bottom() from read_only_bottom_close_and_rename()'s code.

Regenerate uconfig.h

It is almost 26 months out of date.