warn when srand overflows [perl #40605]

[perl #113796] lib/File/stat.t failures when -l $^X

It seems that gcc produces this:

$ ./perl -Ilib -e 'warn $^X'
/Users/sprout/Perl/perl.git/perl at -e line 1.

while g++ produces this:

$ ./perl -Ilib -e 'warn $^X'
./perl at -e line 1.

(I may be misdiagnosing this, but I have two blead builds that give
different values for $^X.)

The script is using $^X for testing, which is why it could produce
different results.

In any case, this produces the same output for both compilers:

use File::stat;
my $stat = File::stat::stat('./perl');
warn eval '-l $stat';
warn eval '-l "./perl"';
__END__
Warning: something's wrong at - line 3.
1 at - line 4.

The test is wrong, as -l _ will fail after a stat.  You have to do
lstat for -l _ to work.  Similarly, -l $stat_obj should only return
true if the $stat_obj was returned by File::stat::lstat.

This commit adjusts the test accordingly.

perlfunc: (caller)[9] is ${^WARNING_BITS}

Technically, (caller)[9] returns ${^WARNING_BITS} if defined, or, if
${^WARNING_BITS} is not defined, whatever ‘use warnings’ or ‘no
warnings’ would set ${^WARNING_BITS} to, depending on the value of
$^W.  But that is subject to change, and is a bit of a mouthful.

don't let arriving signals reset $@ [perl #45173]

since signals can arrive at any point, clearing $@ isn't a safe
thing to do

[perl #64772] make the read-only-sync test a bit more portable

- Win32 simply doesn't support fsync, and %Config reflects that

- sync() on a file seems more portable to me than on a directory, and
  the first is enough to test the code path we want to test.

- AIX is documented to fail fsync() on a read-only handle, so skip
  there

[perl #112966] Crash on delete local; other local bugs

Commit bee7c5743fa appears to have fixed this.  But what it does is
barely significant:

diff --git a/sv.c b/sv.c
index b96f7c1..a4994f5 100644
--- a/sv.c
+++ b/sv.c
@@ -9525,6 +9525,11 @@ Perl_sv_bless(pTHX_ SV *const sv, HV *const stash)
     SvUPGRADE(tmpRef, SVt_PVMG);
     SvSTASH_set(tmpRef, MUTABLE_HV(SvREFCNT_inc_simple(stash)));

+    if (Gv_AMG(stash))
+ SvAMAGIC_on(sv);
+    else
+ (void)SvAMAGIC_off(sv);
+
     if(SvSMAGICAL(tmpRef))
         if(mg_find(tmpRef, PERL_MAGIC_ext) || mg_find(tmpRef, PERL_MAGIC_uvar))
             mg_set(tmpRef);

The crash can still be triggered another way.  Instead of a blessing,
we need to modify a method (to turn on the potentially-overloaded
flag) and then use an operator that respects overloading.  This exam-
ple crashes before and after bee7c5743fa:

eval 'sub Sample::foo {}';
"".bless {},'Sample';
delete local $Sample::{ '()' };

It is the recalculation of overload caches before a localised deletion
that causes the crash.  And it only happens when the '()' key does
not exist.

Actually, it turns out that S_delete_local doesn’t behave correctly
for rmagical aggregates, except for %ENV:

$ ./perl -Ilib -MDevel::Peek -e 'delete local $ISA[0]'
Bus error
$ ./perl -XIlib -MDevel::Peek -e '??; delete local $::{foo}'
Bus error

It’s this line, which occurs twice in pp.c:S_do_delete_local, which
is at fault:

const bool can_preserve = SvCANEXISTDELETE(osv)
    || mg_find((const SV *)osv, PERL_MAGIC_env);

When can_preserve is true, the ‘preeminent’ variable is set based on
whether the element exists.  Otherwise it is set to true.

Why the term ‘preeminent’ was chosen I don’t know, but in this case it
means that the element already exists, so it has to be restored after-
wards.  We can’t just do save_delete.

The code for saving a hash element assumes it is non-null, and crashes
otherwise.

The logic for setting can_preserve is wrong.  SvCANEXISTDELETE returns
true for non-magical variables and for variables with those tie meth-
ods implemented.  For magical variables that are not tied, it returns
the wrong answer.  PERL_MAGIC_env seems to have been added as an
exception, to keep it working.  But other magical aggregates were not
accounted for.

This logic was copied from other functions (aslice, hslice, etc.),
which are similarly buggy, but they don’t crash:

$ ./perl -Ilib -le ' { local $::{foo} } print exists $::{foo}'

$ ./perl -Ilib -le 'm??; { local $::{foo} } print exists $::{foo}'
1

In all these cases, it is SvCANEXISTDELETE that is buggy.  So this
commit fixes it and adds tests for all the code paths that use it.
Now no exception needs to be made for PERL_MAGIC_env.

clarify the $hints and $bitmask values in caller()

perldelta for 61c2a93 and 68b4061

also make sure ->isa works on undeclared packages

all packages can do methods in UNIVERSAL [perl #47113]

Foo->can("can") should be true even if "package Foo" hasn't been seen
yet (obviously, since that method call doesn't die with a method not
found error).

regen pod issues

[perl #113798] Don’t hide PATH from perlglob

To fix another bug, miniperl was changed to clear out %ENV before
shelling out to call the underlying glob program (csh on Unix;
perlglob on Windows), in commit a3342be368.

That proved slightly problematic, as it stopped <~> from working on
Unix, so commit 93b2dae1 changed it to preserve just $ENV{HOME}.

That turns out not to have been enough.  For some compilers, Win-
dows needs PATH preserved for perlglob to find certain DLLs it
needs to load.

Exporter.pm: long lines in verbatim pod

Exporter’s docs: mention require_version, but honestly

Since Exporter supplies a require_version method, it does deserve a
mention in the docs.

Add François Perrad to AUTHORS

squash with export headres

copy .offs only if not null.

Exporter.pm: Capitalise subheaders consistently

Exporter.pm: Consistent spaces after dots

Increase $Exporter::VERSION to 5.67

cmpVERSION.pl: Correct err msg

[perl #112856] Exporter’s docs: expunge require_version

This sub hasn’t been called for eleven years, since 22b4675c82b54.

The docs were never updated to account.

There’s no point in even mentioning require_version, as it has
been so long.

#101666: horrible regex parsing error error [sic]

We were producing a very confusing error when a group name
did not start with an identifier. This patch tries to improve the situation.

turns out we cant maike a jump trie that starts with a NOTHING regop

NOTHING nodes are 1 regop wide. We need 2 regops worth of
space. Which means that we can not safely optimise a sequence
that starts with a NOTHING regop that needs to turn into
a jump trie. We therefore ignore such sequences.

see perl #113770 for details.

do not try to restore state of pseudosignal zero

Also handle the case IVSIZE == I32SIZE when resetting the array iterator

Reset the iterator when an array is cleared

This fixes RT #75596.

[perl #112826] Make Tie::StdHandle::READ respect offset

Tie::StdHandle::READ was ignoring the optional fourth argument to
read(), specifying the offset into the target string.

Increase $Tie::StdHandle::VERSION to 4.3

Revert to the correct value of lddlflags for AddressSanitizer

-Afoo=val appends 'val' to the value of variable foo after the platform
hints are processed, but before the default value is computed by Configure.
At this time, 'foo' appears as non-empty and Configure skips the default
logic. This is the reason -shared must always be added to lddlflags.

I don't know why I didn't caught this while testing AddressSanitizer builds.

Run podtidy on perlhacktips

Clarify how AddressSanitizer should be invoked when useshrplib is set

POD typo in perlfunc

This fixes [RT #113788]

Fixed repeated words

pp_sassign: explain the mix of left<=>right in the optree

Fix the names in the function to make it readable. lhs and rhs reflect now
the parsed source not the position on the optree stack.

toke.c: Add, clarify comments

toke.c: Make new error UTF-8 safe

Commit 0da72d5e623b55d88fb3772b9c91e8f2d1ea7c40 introduced a new error
message, but did not account for UTF-8 source.

perldelta for a3ff80c

document some more Gv* macros

Sync Module-CoreList in Maintainers.pl with CPAN

Merge fix for File::stat's -x and -X for root, and test improvements.

lib/File/stat.t shouldn't test -A $^X

Testing this fails intermittently on darwin, which has POSIXly-correct atime
semantics. When tests run in parallel, the atime of $^X will update whenever
another perl process starts, which is a race condition with this test.

Fix File::stat's -x and -X for root for directories and executable files.

Previously File::stat's overloaded -x and -X operators did not give
the correct results for directories or executable files when running as
root. They had been treating executable permissions for root just like for
any other user, performing group membership tests etc. for files not owned
by root. They now follow the correct Unix behaviour - for a directory they
are always true, and for a file if any of the three execute permission bits
are set then they report that root can execute the file. Perl's builtin
-x and -X operators, added in Perl 2, have always been correct.

Test that File::stat exports stat by default, overriding the builtin.

Also, add a test that the array produced by File::stat::stat is identical to
the list produced by the builtin.

lib/File/stat.t should also test the -X operators on directories.

In lib/File/stat.t, permute the test file's mode for more thorough testing.

For each mode bit set, and all bits clear, test each filetest operator with
and without a File::stat object. Previously the only test was for the mode
the file was created with.

Refactor lib/File/stat.t for robustness.

Use CORE::stat instead of stat, to be clear which is the builtin, and which
is the routine that File::stat is prepared to export. As it is now
unambiguous which is which, remove comments that annotated each use.

Use isa_ok() in place of ok() to test the return value of File::stat::stat.
Use is_deeply() in place of is() and arrays interpolated into strings.

Move the data driven loop that tests most of the -X operators into a
function test_X_ops(), and use this to test both the tempfile
(non-executable) and $^X (executable).

Put the first sanity test of File::stat::stat inside a block so that its
lexicals don't leak.

*Actually* test that bug 20011110.104 is fixed.

Bug ID 20011110.104 (RT #7896) was fixed by commit 2f173a711df6278f in Nov
2001, but the test that commit added never actually tested this.

The initial problem was that the new code, as written, used C<stat>,
intending that to call File::stat::stat(). However the refactoring of the
test script (all part of the same commit) from C<use File::stat;> to
C<use_ok( 'File::stat' );> (not in a BEGIN block) intentionally eliminated
the export of &File::stat::stat. This means that plain C<stat> is the
core builtin.

Fixing this as-is to File::stat::stat() won't help, as tests have
subsequently been added earlier in the script that trigger the autoloading
of Symbol by File::stat (commit 83716b1ec25b41f2 in Feb 2002). Moving the
tests earlier won't help now that the test uses File::Temp, as that uses
IO::Seekable which uses IO::Handle, which unconditionally loads Symbol.

The simplest solution seems to be to move the test to its own file.

Simplify lib/File/stat.t by using a tempfile as the test victim.

The previous code had got very gnarly trying to use a file from the
distribution for the test file, attempting to cope with
1) Other programs reading the file and hence the atime updating
2) The perl interpreter reading the file and hence the atime updating :-)
3) Building with -Dmksymlinks meaning that the file is a symlink

All these problems and work arounds simply *vanish* if we use a tempfile.
This will also enable us to change its mode in the future for better testing.

Remove needless skip tests from lib/File/stat.t

The stat builtin is always implemented, so no need for an eval {} test to
check for this. The presence or absence of <sys/stat.h> at the C level isn't
going to affect the outcome of this test.

Both have been in the test script since it was added (as t/lib/filestat.t)
by commit f7a45afb043dafc5 in May 2001. I suspect that both were copied
from one of the Net::* test scripts which was being used as the template.

In lib/File/stat.t, test everything with and without use filetest "access".

Previously the use filetest "access" tests were separate, and didn't test
all the "should not warn" cases. By moving them into the main data-driven
loop it's trivial to test everything.

Also test that all the correct errors are seen on VMS, and not seen anywhere
else.

Bring the joy of strict (and warnings) to lib/File/stat.t

Replace repetitive code in lib/File/stat.t with a data driven loop.

Convert lib/File/stat.t from a complex plan calculation to done_testing().

Also replace use_ok (not in BEGIN) with a simple require. If the require
fails it's not worth trying to test anything else, Test::More's END
handing will automatically report a test failure, so the failure will be
recorded.

Add an editor block.

Increase $PerlIO::scalar::VERSION to 0.15

[perl #113764] Make &= duping work with PerlIO::scalar

In trying to fix bug #112780, I made in-memory handle duplication tem-
porarily hide the underlying scalar so it wouldn’t be set to the empty
string (commit 49b69fb3a).

I used PerlIO_sv_dup in j rather than PerlIOScalar_arg.  The for-
mer is usually what is called anyway.  There is only one branch of
PerlIOScalar_arg that doesn’t call PerlIO_sv_dup.  I don’t remember
what I was thinking back then, but I think I thought that branch
was there for paranoia.  But actually, it is used for "&=", so this
started failing:

open FILE, '>', \my $content or die "Couldn't open scalar filehandle";
open my $fh, ">&=FILE" or die "Couldn't open: $!";
print $fh "Foo-Bar\n";
close $fh;
close FILE;
print $content;

This commit fixes the bug in the smallest way possible, which means
switching from PerlIO_sv_dup to PerlIOScalar_arg in PerlIOScalar_arg,
which, in turn, entails fiddling with RVs.

Teach dump.c about CVf_HASEVAL

perl5171delta: caller looks beyond cur stack

perl5171delta: typo

[perl #89544] Non-eval closures don’t need CvOUTSIDE

A closure doesn’t need an outside pointer at run time, unless it has a
string eval in it.  CvOUTSIDE is only used at compilation time to look
up variables by name.

Since CvOUTSIDE is reference-counted, a closure can unnecessarily hang
on to variables it is not using (see the test in the diff).  So stop
setting it when cloning a closure, unless it is needed for eval.

closure.t: load test.pl at BEGIN time

This allows parentheses to be omitted.

RT#113730 - $@ should be cleared on "do" IO error.

[perl #113712] Don’t create stubs after errors

perl5.002beta3 (c07a80fdfe) stopped bodies of subrou-
tines from being defined after compilation errors, as in
eval "@a =~ s///; sub { die }".

But, instead of making the sub declaration not happen at all, it ended
up leaving a stub.

For a full sub declaration (body and all) to create a stub just
seems wrong.

Likewise, it would be weird if a stub declaration
after a compilation error created a stub, because then
eval "@a =~ s///; sub foo; sub bar { }" would create foo but not bar.

Similarly, a compilation error will cause ‘sub foo {}’ no suppress
‘used once’ warnings; but a lexing error won’t.

This commit fixes all this, making things consistent:  If there is a
compilation, parsing or lexing error, any kind of sub declaration that
follows is ignored.

[perl #113756] fix type of StructCopy in API documentation

perlapi currently claims StructCopy takes two structs when it really
takes two pointers.

Let while.t run from the top level

bump version to 5.17.2

don't change version numbers in this file either

comp/parser.t: Add some tests

dquote_static.c: Clarify comment

reg_mesg.t: Add tests

Refactor \x processing to single function

There are three places that process \x.  These can and did get out of
sync.  This moves all three to use a common static inline function so
that they all do the same thing on the same inputs, and their behaviors
will not drift apart again.

This commit should not change current behavior.  A previous commit
was designed to bring all three to identical behavior.

toke.c: Don't convert \x{} from native

This was and is a no-op on ASCII platforms, but on EBCDIC, when you did
e.g., a "\x{7}", it would convert that to a 127.  But it did not do this
on qr/\x{7}/, giving inconsistent results.  Now, \x{7} yields 7, and
thus is consistent, and matches the documentation.

grok_bslash_o: Don't convert from native

This was and is a no-op on ASCII platforms, but on EBCDIC, when you did
e.g., a \o{7}, it would convert that to a 127.  But it did not do this
on a \007, giving inconsistent results.  Now, \o{7} yields 7, and thus
is consistent, and matches the documentation.

PATCH: [perl #113750] re.pm clobbers $_

Thanks to Jesse Luehrs and Father Chrysostomos for testing advice.

new perldelta

the rmg should tell BLEAD-POINT to bump version at the end

add release branch steps to rmg

few rmg nits

update epigraphs.pod

Merge branch 'release-5.17.1' into blead

More tests in t/op/arith.t for constant folding of expressions containing %

Most tests for the bug resolved by commit e7311069df54baa6, including 64 bit
integer analogs of the 32 bit integer tests added by that commit.

one more place to get rid of win32/config*.gc64nox

update perlhist for 5.17.1

update Module::CoreList for 5.17.1

regen pod issues

POSIX: Sometimes `printf` beats interpolation

Tidier example code for POSIX::localeconv()

Add Daniel Perrett to AUTHORS

formatting

add acknowledgements

bump version to 5.17.1

comments in bump-perl-version

perldelta for 5c0877fa4ac0 (VMS include files).

perlhacktips: long lines

more proofreading

perlhacktips: add AddressSanitizer

[amended to fix a typo, and add an exception to the podcheck database]

we seem to have been using L<> rather than C<> here recently

none of this is important

add module updates to perldelta

change this synopsis to something that actually works