perldelta - Remove spurious New Errors entries

Spotted by Father C - These are not new errors.  They are just listed with
explicit ‘exists’ and ‘delete’ now (and alphabetised under the same) rather
than %s.

Tweak B::Concise tests following OPpCONST_FOLDED removal

Fix minor flagging bug in op.c:fold_constants

Nothing is making use of this in at present in the affected cases.
What this code does is mark an op as being folded so that 1+2 can
be distinguished from 3.  qq"foo" was erroneously being marked as
folded, unlike "foo".  Constant folding is part of the way that
quote-like operators are implemented.  Conceptually there is no
folding here, so we should pretend it did not happen.  This was a
partial cause of bug #116086.

Alphabetise perldiag

Remove OPpCONST_FOLDED

Now that we have op->op_folded, we don’t need OPpCONST_FOLDED any
more.  In removing it, I modified B::Concise to output op_folded the
way OPpCONST_FOLDED was output before, since it can be helpful to have
it when reading op dumps.

Make B::OP::slabbed, folded, etc. actually work

B::OP::slabbed       = 47
B::OP::savefree      = 48
B::OP::static        = 49
B::OP::folded        = 50

Added by 3164fde474, these have never worked, because the alias index
check in B::OP::next was never updated.

Instead of hard-coding the number, use C_ARRAY_LENGTH(...).

perldelta for ea95436966

Merge branch 'errno' into blead

Fix the handling of new Exxx constants in errno.h in VC++ 2010 onwards.

Handling these new constants was originally done in commits b59e75b34c and
912c63ed00 but that design's redefinition of some constants can break XS
modules which link against other libraries in which the constants have not
been redefined in that way.

For example, the following program ought to print 106 in VC++ 2010 builds,
but instead prints 10053, causing some breakage in mod_perl (specifically,
APR::Status::is_ECONNABORTED() does not work):

    #include <windows.h>
    #include "EXTERN.h"
    #include "perl.h"
    #include "XSUB.h"
    void main(void) {
      printf("ECONNABORTED=%d\n", ECONNABORTED);
    }

This could be worked around in mod_perl, but the same problem will also
occur in other XS extensions so it seems that a more general solution to
make perl friendlier in its dealings with errno.h constants would be better.

The solution here is to switch to the alternative design mentioned in the
first commit cited above, namely, assigning Exxx constants rather than
WSAExxx constants to $! where possible, and not redefining any Exxx
constants.

This causes some backwards-compatibility issues with a few WSAExxx error
codes having corresponding Exxx codes < 100, e.g. wherever WSAEINVAL (10022)
might previously have been assigned to $! we now assign EINVAL (22) instead,
but this breakage is unavoidable if we are to reach a sane state now.

The breakage is minimized by intercepting Perl-level assignments to $! to
convert WSAExxx codes into Exxx codes where possible, so that existing code
performing such assignments will not need to be updated. It is possible that
with some magic, tests for $! having WSAExxx values could be made to test
for Exxx values instead, but the difficulty of doing this was not deemed
worthwhile (yet, at least) for the small amount of breakage involved.

Thanks to Jan Dubois for assistance and advice on the general approach
taken in these changes.

Silence noise from Errno_pm.PL on Windows

A block of warnings like this appears when building Errno with VC++:

Number found where operator expected at (eval 633) line 1, near ")0xC0000093"
        (Missing operator before 0xC0000093?)

This is caused by #defines like these in the Windows header files:

WinBase.h:#define EXCEPTION_FLT_UNDERFLOW STATUS_FLOAT_UNDERFLOW
WinNT.h:#define STATUS_FLOAT_UNDERFLOW ((DWORD   )0xC0000093L)

and can be silenced by teaching Errno_pm.PL about the otherwise unexpected
whitespace immediately after "DWORD" in the cast.

Fix the #include of winsock2.h in win32/include/sys/errno2.h

For some reason (I didn't figure out why) cpan/Win32/Win32.xs did not
compile as of the previous commit, but in any case we cannot just blindly
include winsock2.h because (a) it is too late if winsock.h has already
been included and (b) early WinCE doesn't have it.

The definition of _WINSOCKAPI_ was also wrongly not updated to _WINSOCK2API_
but was mistaken in its comment "Don't drag in everything" anyway: it's
actually just an old-fashioned "include guard", not a means to include a
minimal API from the file. (The mistaken comment came from the original
ext/Errno/Errno_pm.PL before this round of $!-related changes. That file
also had a redundant "#include <winsock.h>" left in it which should have
been removed along with earlier work that removed the other one, so tidy
that up too.)

Steal a hopefully more correct incantation from win32/include/sys/socket.h
instead.

Now that we allow for the possibility of winsock.h being used again, we
must take care not to make use of WSAECANCELLED if it is not defined.
(That is the only WSAExxx constant which we use that was new in winsock2.h.)

We need winsock2.h for WSAECANCELLED in errno2.h

Clarify a comment in errno2.h

Add more errno.h constants to POSIX for exporting if they exist

This change adds the following constants, which are all found in errno.h in
MS VC++ 2010 and higher (the other new constants added to that version of
errno.h are already listed in POSIX.pm):

EBADMSG
ECANCELED
EIDRM
EILSEQ
ENODATA
ENOLINK
ENOMSG
ENOSR
ENOSTR
ENOTRECOVERABLE
ENOTSUP
EOTHER
EOVERFLOW
EOWNERDEAD
EPROTO
ETIME

Fix Windows build for compilers other than VC10+

The new errno2.h only ensures that those new Exxx constants which are
required by convert_wsa_error_to_errno() have definitions; the other new
Exxx constants will remain undefined on compilers other than VC10+, so we
must take care not to use them unless we know they are defined.

Simplify errno2.h slightly

There is no need for it to worry about ensuring that standard errno.h values
like EINTR are defined.

There is no point in it defining dummy constants like EINVALIDPROCTABLE which
do not exist in errno.h at all. They would only be given the corresponding
WSAExxx values anyway, so the win32sck.c function might just as well return
them directly.

Other constants like ESOCKTNOSUPPORT which do not exist in errno.h on Windows
but presumably exist elsewhere since POSIX tries to exports them are still
worth defining (where possible -- it isn't possible for EHOSTDOWN since there
is no corresponding WSAEHOSTDOWN); add comments for these for clarity.

Also comment which errno.h constants are new in VC10, and mention three of
the four that win32/include/sys/socket.h used to redefine because they are
used in the perl core (ENOTSOCK, EAFNOSUPPORT and ECONNABORTED) -- the other
one (ECONNRESET) does not appear to be used in the perl core as far as I can
tell.

Fix stringification of $! in VC10+ builds where errno > sys_nerr

VC++ 2010 and above define a "POSIX supplement" of errno values ranging from
EADDRINUSE (100) to EWOULDBLOCK (140), but sys_nerr is still 43 and strerror()
returns "Unknown error" for them. We already avoid using strerror() if errno
> sys_nerr, but we treat such values as Windows error codes (i.e. <winerror.h>
values) and look up the corresponding system messages for them. There is no
better plan for these POSIX supplement errno values, but they must be
converted from <errno.h> values to <winerror.h> values first otherwise we
will look up the wrong system message. In practice, we only expect to find
errno > sys_nerr in the case of Windows sockets errors (we used to assign
WSAGetLastError() to errno), so we simply convert Exxx values to WSAExxx
values where possible, and use a default <winerror.h> value otherwise (namely,
ERROR_INVALID_FUNCTION).

This change fixes code such as this:

perl -le "$!=107; print $!"

which now outputs the expected "No connection could be made because the
target machine actively refused it." rather than "The program stopped
because an alternate diskette was not inserted." (in VC10+ builds).

Also: Fix the spelling of ECANCELED.

Intercept assignment to $! to translate WSAExxx values to Exxx values on Windows

Since perl previously assigned WSAExxx values to $! on Windows it is quite
possible that (Perl-level) user code may also manually make similar assignments,
which will now cause breakage if the value put in $! is subsequently compared to
Errno/POSIX constants because the latter are now the corresponding Exxx values
where possible.

An example of this is in Net::Ping::tcp_connect(), which does the following to
fetch a socket-level error code:

unpack("i", getsockopt($self->{"fh"}, SOL_SOCKET, SO_ERROR))

and assigns the result (a WSAExxx value such as 10061) to $! and then goes wrong
in the subsequent test (in ping_tcp()) for $! == ECONNREFUSED (which is now 107
rather than 10061 if perl is built with VC10 or higher).

To avoid this we now intercept assignment to $! and convert any WSAExxx values
to Exxx values first.  This causes a minor oddity in that this:

perl -le "$! = 10061; print 0+$!"

will now output 107 (for VC10+ perls) but this is surely preferable to the
alternative breakage described above.

Fix IO::Socket::connect() in the light of $! changes

We now assign Exxx values rather than WSAExxx values to $! in the event of a
sockets error if there is an Exxx value corresponding to the WSAExxx error.
This is indeed the case for several Exxx values < 100, amongst them EINVAL (22),
which corresponds to WSAEINVAL (10022), which IO::Socket::connect() has a test
for.  Note that the test used a hard-coded value for WSAExxx since there were
(and still are) no constants in Perl for that.  Users will now be able to test
for EINVAL instead, but no existing code will be using that because it has
always had the value 22.

This non-backwards-compatible breakage seems unavoidable if we are to get things
in a sane state for the future because it is really a problem with how things
have long been, namely that $! was being set to winsock2.h values, but if there
was a corresponding errno.h value and it was < 100 then *that* was used for the
Errno/POSIX constant, so authors had no good way of testing for such $! values.
The new scheme corrects that by consistently using the same values for $! and
for Errno/POSIX [except in the case of third-party code setting its own $!/errno
values, which will be addressed in the next commit].

(Ironically, Exxx values >= 100 (the ones which caused all this trouble in the
first place!) don't have this problem as long as code uses the Exxx constants
rather than the hard-coded 100XX numbers.  For example, if code tests $! ==
ECONNABORTED, where $! and ECONNABORTED were both previously set to winsock2.h
values then the same test will still work, except that now $! and ECONNABORTED
are both set to errno.h values in VC10+ (or both left as winsock2.h values upto
VC9).  It does still break if any code is directly testing $! == 10053, but
that's not such a problem: that's really broken code, which should be using the
constant instead.)

Fix a problem with mod_perl on Windows using VS2010+.

The problem is caused by the following two commits, which sought to deal with
new Exxx values (with values >= 100) in errno.h which Microsoft added in VS2010:

http://perl5.git.perl.org/perl.git/commit/b59e75b34cef3fedd214c9b6ee744146cf8b3308
http://perl5.git.perl.org/perl.git/commit/912c63ed00375338703043928cac3c740d00cc9d

The former commit was mostly a patch to Errno and POSIX, together with some
other cleaning up in win32/win32.h and win32/include/sys/socket.h; the latter
commit was a fixup to win32/include/sys/socket.h which restored (more
aggressively) the ENOTSOCK->WSAENOTSOCK redefinition and added similar
redefinitions for ECONNABORTED, ECONNRESET and EAFNOSUPPORT.

It is the latter commit which causes this little program to output
ECONNABORTED=10053 rather than ECONNABORTED=106 as it ought to do in VC10 (and
higher) builds of perl:

#include <windows.h>
#include "EXTERN.h"
#include "perl.h"
#include "XSUB.h"
void main(void) {
  printf("ECONNABORTED=%d\n", ECONNABORTED);
}

That change is now causing problems with mod_perl, in which the (Perl level)
APR::Status::is_ECONNABORTED() and the (C level) APR_STATUS_IS_ECONNABORTED()
which it calls are failing to recognize an aborted connection (indicated by
error code ECONNABORTED set by Apache httpd.exe).

The APR_STATUS_IS_ECONNABORTED() macro is picked up by mod_perl from APR's
apr_errno.h:

#define APR_STATUS_IS_ECONNABORTED(s)   ((s) == APR_ECONNABORTED \
                || (s) == APR_OS_START_SYSERR + WSAECONNABORTED)

where

#ifdef ECONNABORTED
#define APR_ECONNABORTED ECONNABORTED
#else
#define APR_ECONNABORTED   (APR_OS_START_CANONERR + 18)
#endif

When this is compiled into httpd.exe ECONNABORTED is 106 (from errno.h) and
APR_STATUS_IS_ECONNABORTED(s) amounts to

#define APR_STATUS_IS_ECONNABORTED(s) ((s) == 106 || (s) == 730053)

but when compiled into APR/Status.dll ECONNABORTED is 10053 (redefined to
WSAECONNABORTED as above) so APR_STATUS_IS_ECONNABORTED(s) then amounts to

#define APR_STATUS_IS_ECONNABORTED(s) ((s) == 10053 || (s) == 730053)

which doesn't pick up an error code of 106 coming from httpd.exe.

This could be worked around in mod_perl by redefining ECONNABORTED and the other
three back to their original errno.h values to match what httpd.exe is using,
but that might just cause problems in the other direction, with those values no
longer matching the values which perl.exe is using.

Moreoever, this problem could affect other XS interfaces (not just mod_perl), so
it really needs to be fixed in perl.

This commit implements the alternative solution mentioned the commit message for
the first commit cited above. (As noted in that previous commit message, this
solution equally has potential problems, missing out on the advantages of the
original solution implemented, namely, better backwards compatibility with other
perl code having hard-coded numeric error codes, but this will be unavoidable if
we want to get to a sane state.)

Note that changing the $! values is an incompatible change, so should probably
not be done for 5.18.x. That's unfortunate for mod_perl (and anything else
similarly affected), but that will just have to either live with the breakage
(which was introduced in 5.14.0) until 5.20.0 or else try the workaround
mentioned above for 5.14.x, 5.16.x and 5.18.x.

The main change is to use a new function throughout win32/win32sck.c to convert
WSAGetLastError() values into errno.h constants before assigning to errno. Every
possible WSAExxx value (as documented by MSDN) is mapped to an Exxx value,
although it is still possible for other WSAxxx values to get assigned to errno
unchanged (but that has always been the case, and any non-existent Exxx values
get mapped back to WSAExxx values anyway...).

We must then ensure that all of those Exxx values are defined, which is now done
(in the new file, win32/include/sys/errno2.h) in a friendlier manner, being
careful not to redefine any (specifically the new ones in VC++ 2010 and above)
which already exist. The rest are defined as the WSAExxx values, as mentioned
above.

Finally, we need the Errno module to know about these values, which is done by
having it include that same new header file to ensure that it gets the same
definitions, rather than having to play its own games. The new header is also
used in POSIX, which similarly wants definitions of as many as possible of its
hard-coded list of Exxx values.

Regenerate Configure and chainsaw voidflags

Merge changes which eliminate VOIDFLAGS and VOIDUSED from active code.

The remaining uses are in Configure and its related generated files, along
with canned config.sh files and configure.com. The next regeneration of
Configure from metaconfg should eliminate nearly all of these, at which point
the remainder can be removed by hand.

Eliminate the use of voidflags from Configure's pointer size determination.

This should permit metaconfig to drop the entire voidflags logic from
Configure and the config.sh related files.

Eliminate the only use of VOIDFLAGS, as part of STMT_START in perl.h

STMT_START has used VOIDFLAGS as part of its conditional compilation since it
was added by commit 728e280303ae3d3b (March 1996). The code originally read:

   /* Now which other defined()s do we need here ??? */

Since then it has been amended to avoid entering that definition for GCC
on Solaris. Given that all current Solaris compilers are C89 conformant,
VOIDFLAGS will always be true (actually 15), so the test is redundant.
Even back in 1996, it's possible that VOIDFLAGS was always non-zero on
SunOS, rendering the test obsolete from the start.

Spotted by Brian Fraser, and extracted from a larger patch of his.

Stop using VOIDUSED in the headers.

VOIDUSED was provided by metaconfig to work around pre-ANSI compilers that
didn't support all uses of the void type. We've been mandating a proper ANSI
C89 compiler for at least a decade, so we don't need this any more.

Remove the hints for Kubota Pacific's Titan 3000 Series Machines.

These appear to be a hold-over from Perl 4 days. We think it unlikely that
perl 5.000 ever compiled correctly on these machines, and changes in 5.004
would definitely have made Perl unbuildable. Given that we've had no bug
reports in 16 years, it's clear that this platform is completely unused,
and thus safe to remove it without any warning period.

See RT #119745 for more details.

perldelta for b92a42763

[perl #77680] document list of special subs in perlsub

This also adds documentation for the undocumented DB::goto and
DB::lsub.

[perl #77680] add pointers to a few other perl called subs

briefly document DB::lsub

test and briefly document DB::goto

[perl #77680] perlsub pointers to sub names used by perl itself

Tony Cook: convert from a diff to a commit

perldelta for 5f39160d

[perl #79074] make sure HeSVKEY_force() preserves UTF8ness (pvn)

HeSVKEY_force() is only used in two places in core.

In the first case, the key is always stored as a SV (when handling tie
magic, since NEXTKEY can only return a SV)

The second case is in B::HE, but I don't see a way to create a B::HE object
from a hash.

clarify that the new rand() isn't cryptographically secure

so people won't read too much into the change

Note new blead customizations to JSON::PP and Test::Simple

perldelta - Fix syntax errors

Remove the 'first-come' status from Porting/Maintainers.pl

This has outlived its usefulness and we have agreement on p5p and irc to
drop it. Many thanks to the CPAN authors of those modules formerly listed
as 'first-come' for being sufficiently responsive to patches sent upstream!

perldelta - Update new/changed diagnostics section

Also tweak some formatting in perldiag.pod itself.

perldelta - Update new/changed documentation section

perldelta - Fill in a TODO item for a module, which I forgot earlier

perldelta - New test scripts

perldata.pod: Mention what version introduced kv slices

op.h: Describe entersub and rv2cv flags

Entersub ops can turn into rv2cv ops at compile time.  It is important
that possible flag conflicts are handled properly.  Since it took me
a while to figure out that there were no bugs here, here are my own
notes, cleaned up and nicely formatted.

Use dev version for JSON::PP

Fix precedence issue in JSON::PP

Use dev version for Test::Builder et al.

It has changes in blead that are not on CPAN yet.  The number
0.98_05 is already used on CPAN.

op.c: Warn on "return $a or $b" [perl #59802]

Add a warning for the (likely) unintended use of "return $a or $b"
(and similar expressions), which perl parses as "(return $a) || $b"
(which is effectively just "return $a;").

Note this warning is triggered by some modules (e.g. Test::Builder).
These are not fixed by this commit.

Signed-off-by: Niels Thykier <niels@thykier.net>

Test::Builder: Fix "return $a or $b" precedence issue

perl parses "return $a or $b" effectively as "return $a;", which is
not what was intended.

Signed-off-by: Niels Thykier <niels@thykier.net>

perldelta for e9827b374

Remove -lbsd from optional libs on GNU/Hurd too

sv.h: Make BmUSEFUL the same type on debug/non-debug builds

408dc2ec1c7 made in an IV (signed) on debugging builds but a UV
(unsigned) on regular builds.

perldelta - Module upgrades

perldelta - A little copy-editing

perldelta - Restore 525553cafc, accidentally undone by e7f2d65136

ExtUtils::ParseXS: bump version of related modules

9b2d7314c3d60 bumped $VERSION in ParseXS.pm from 3.22 to 3.23,
but left the other .pm files at .22. This stops ExtUtils::ParseXS from
loading, so bump all the other modules in this distribution too.

perldelta for 429a25554/#28380,#114024

perldelta for b846c0c86e5

perldelta for e15ca23a92

Increase $ExtUtils::ParseXS::VERSION to 3.23

There has been another change (e15ca23a9) since the last CPAN
release.  Would that cmp_version.t could catch this!

perldelta for ad39f3a27

perldelta for eaaaaa32882752

perldelta for fdc185567

known_pod_issues: Add Devel::CallParser

perldelta for 6ddcf93b

perldelta: two more to-do items

perldelta for 8c9d3376fbf

perldelta for dd2a7f9048

perldelta for 7601007

perldelta for 65c68e1718

perldelta for ffdb8b167e/#3643

perldelta for 25502127/#115768

perldelta for cbd58baf59

perldelta: A to-do item

perldelta for 66230c862b

perldelta for 25375124d/#119311

perldelta: correct re description

perldelta for 35995e5c

perldelta for 232af1f839

perldelta for regexps and 64-bit strings

perldelta for 25fdce4a16

perldelta for 83694831

perldelta for c70927a6ffc3ca

perldelta for #119161

perldelta for bf1b738b6/#118931

perldelta for d4a823b3

perldelta for d4a823b39

perldelta for bbfdc870/#118691

perldelta for ce0d59fdd1c/#7503,#118753

perldelta for 1b268608/#118753

perldelta for 4f62cd62/#118693

perldelta for 3a6ce63

perldelta for 25451ceff7

perldelta: missing fullstop

perl5200delta: Devel::NYTProf is fixed

5.06 works with bleadperl.

Reduce false positives for @hsh{$s} and @ary[$s] warnings

This resolves tickets #28380 and #114024.

Commit 95a31aad5 did something similar to this for the new %hash{...}
syntax.  This commit extends it to @ slices and combines the two
code paths.

The heuristics in toke.c can easily produce false positives.  So the
op is flagged as being a candidate for the warning.  Then when op.c
has the op tree available, it examines it to see whether the heuristic
may have been a false positive.

This avoids bugs with qw "foo bar baz" and sub calls triggering
the warning.

The source code is no longer available for the warning, so we recon-
struct it from the op tree, skipping the subscript if it is anything
other than a const op.

This means that @hash{$foo} comes out as @hash{...} and @hash{foo} as
@hash{"foo"}.  It also meeans that @hash{"]"} is displayed correctly
instead of as @hash{"].

Commit 95a31aad5 also modified the heuristic for %hash{...} to exempt
qw altogether.  But it did not exempt it if it was preceded by a tab.
So this commit rectifies that.

This commit also improves the false positive detection by exempting
any ops returning lists that can get past toke.c’s heuristic.  I went
through the entire list of ops, but I may have missed some.

Also, @ slices on the lhs of = are exempt, as they change the context
and are hence actually useful.

dump.c: Dump SLICEWARNING flag for kv[ah]slice, too

I accidentally omitted this in commit 95a31aad5.

Move ‘Scalar value better written as’ tests from toke to op

I am about to move the warning itself from toke.c to op.c.  Moving the
tests, too, makes them easier to find for future maintainters who see
it in op.c.

op.c: Factor out common varname code

Upgrade Encode from version 2.54 to 2.55

Remove a __BORLANDC__ stowaway

Support for __BORLANDC__ was axed (actually, chainsawed) in 378eeda70c.