Check symlink status before setting File::Find::fullname to undef.

Problem reported by James Avera in RT #120388.  Patches supplied by Victor
Efimov, then adapted to new testing functions in ext/File-Find/t/find.t.

[perl #120543] work around a C++ library bug in VC 2003

VC 2003 makes overloaded versions of ldexp() available when including
<math.h> which should only be visible when including <cmath>.

The cast ensures the ldexp(double, int) signature is used.

Update HTTP-Tiny to CPAN version 0.038

  [DELTA]

0.038     2013-11-18 12:56:26 America/New_York

    [FIXED]

    - Fixed a bug where authentication parameters in the URL would override
      an existing Authorization header

XS::Typemap: silence compiler warning.

xsubpp will give us a RETVAL var whether we use it not.

threads: silence some compiler warnings.

From 5.8.9, the MGVTBL struct has a 'svt_local' member

Declare some vars volatile within a function that uses jongjmp

Mark the unused return value from PerlLIO_write() as void(), even
though it won't shut up gcc.

POSIX: silence some compiler warnings

SDBM_File: fix 'set but not used' warning

the NEXTKEY() method has a key arg, but sdbm_nextkey() doesn't.
So don't bother mapping the key SV arg to a datum_key type.

PerlIO::via: fix compiler warning

In
    GV *gv = newGVgen(HvNAME_get(s->stash))

HvNAME_get() can return a null value (don't know whether it ever will in
these circumstances), while newGVgen() expects a non-null arg.

So calculate HvNAME_get() first, and bail if it's null.

PerlIO::scalar: silence some compiler warnings

perlhacktips: Two spaces after dots

It was not consistent throughout.

perlhacktips: Fix pod formatting

Add more examples of perl/gdb usage.

Also add doc about gdb's ptype, and make examples more clear.

Fix ‘panic: memory wrap’ in reg_scan_name

reg_scan_name was not checking for end-of-string.  If the character it
read were not a word character, it would then increment the current
position (RExC_parse), so that the <-- HERE marker in the error mes-
sage would point to the bad character.

If we try to split a regexp like /(?</ into two pieces when the cur-
rent position is off the end like this:

 ( ? < \0
          ^

then the first ‘half’ of the regexp, before the <-- HERE marker is
"(?<\0" (including the trailing null), and the second ‘half’ is of
negative length.  Negative string lengths are what cause ‘panic: mem-
ory wrap’.

$ ./perl -Ilib -e '/(?</'
panic: memory wrap at -e line 1.

This commit takes advantage of the fact that, ever since 1f4f6bf1,
RExC_parse == name_start has never been true after a call to
reg_scan_name.  This is how reg_scan_name now signals EOS.

perldiag: Clarify memory wrap

Require closing paren for (?&...

$ ./perl -Ilib -le 'print "aaz" =~ /(?<a>a)(?&a-z/'
a

(?&name) was actually allowing any non-word character to terminate it.

Update IPC-Cmd to CPAN version 0.90

  [DELTA]

0.90 Mon Nov 18 15:08:15 GMT 2013

  Misc:
  * skip some problematic tests when PERL_CORE

perldelta for ff4a442c79

perldelta for fa0789a790

[perl #120535] Add UTF8 flag to B::HV->ARRAY keys

un-TODO the test for 120535, Reini's patch fixes it

Add UTF8 flag to keys returned by B::HV->ARRAY

hv_iternextsv() ignores the HEK flags, but we do care about the UTF8 flag
at least when returning hash keys from B::HV->ARRAY

TODO test for 120535

fix expected failure text for new croak.t test

[Merge] perldiag stuff

I noticed that some entries in perldiag had (F ...) with warnings
categories.  Those categories apply only to warnings, not to
fatal errors.

So I looked to see why diag.t was not already catching it, since I
thought I had programmed it to.

It turned out that it was skipping any function calls that lacked
aTHX_, which included yyerror and anything with _nocontext.

So I fixed that and got pages and pages of failures, unsurprisingly.

I went through, fixing them, and inevitably tweaking other things.

In one case, I even changed the message output, removing an extraneous
dot before ‘at file line 24’.

perldiag: Don’t let <-- HERE be wrapped

The meaning is much clearer if the <--
HERE marker doesn’t wrap like that.

perldiag: Remove categories from fatal errors

These are *warnings* categories, so they don’t apply here.

diag.t: Fix copy-and-paste error in os2 exception

diag.t: Don’t check ‘calls’ in column 0

because they may be function declarations instead.  It was getting
confused by win32_croak_not_implemented, which does not have ");"
in it before the first string.

diag.t: More win32 exceptions

diag.t: Support multiline perldiag entries better

I.e., don’t require a space before the newline.

diag.t: Let diag.t be run on specific source files

./perl -Ilib t/porting/diag.t regcomp.c

will now run it just on regcomp.c.

diag.t: Another exception

diag.t: Skip x2p

diag.t: win32 exceptions

diag.t: Support win32_croak_not_implemented

diag.t: Another exception

Sprinkle diag_listed_as

Remove extraneous dot from ‘Missing right brace...’

$ ./perl -Ilib -e '/\N{/'
Missing right brace on \N{} or unescaped left brace after \N. at -e line 1, within pattern
Execution of -e aborted due to compilation errors.

That dot before ‘at -e’ is confusing.

perldiag: Clarify an entry

‘5.12’ is meaningful to insiders, but it may not be understood by
readers in general.

perldiag: Document ‘\N{} in character class restricted...’

perldiag: Document ‘Zero length \N{}’

perldiag: Miscapitalisation; clarity

perldiag: Clean up ‘Sequence (...’ messages

Make sure they are all documented.  Sprinkle diag_listed_as where
appropriate.

perldiag: Reword an entry slightly

to make it easier to understand

perldiag: Add some ‘in regex’ variants

diag.t: Fix FAIL and vFAIL support

Until recently, it was treating them like Perl_croak et al., expecting
there to be an aTHX_.

Now that I fixed that, it turns out that FAIL and vFAIL (which were
being ignored, since all the calls lacked aTHX_) never worked anyway.

If they are matched by $source_msg_call_re, they end up in the wrong
if/else branch; namely, the one for handling packWARN, and they skip
over the one for tacking ‘in regex’ on to the end of the message.

diag.t: Exceptions from plan9.c

perldiag: Document ‘Don't know how to get file name’

perldiag: Update Assertion to match reality

diag.t: Exceptions, mostly from os2.c

diag.t: gv_override is not a croak function

op.c: diag_listed_as for Using !~ with %s

Stop diag.t from skipping yyerror messages

yyerror does not take aTHX_, but diag.t was expecting aTHX_ on all
warn/croak calls.

Yes, this causes massive failures.

perldiag: \%d better written as $%d

splain can’t necessarily find it if we hard-code the number:

$ ./perl -Ilib -Mdiagnostics -we '()="" =~ s/()()/\1/r'
\1 better written as $1 at -e line 1 (#1)
    (W syntax) Outside of patterns, backreferences live on as variables.
    The use of backslashes is grandfathered on the right-hand side of a
    substitution, but stylistically it's better to use the variable form
    because other Perl programmers will expect it, and it works better if
    there are more than 9 backreferences.

$ ./perl -Ilib -Mdiagnostics -we '()="" =~ s/()()/\2/r'
\2 better written as $2 at -e line 1.
$

%d is more intuitive than %c here, so I used %d in the pod instead of
copying the C code that generates it.

perldiag: rewrap an entry for better splain output

Fix POD formatting error.

perldelta addition for the previous commit.

Convert to using Test::More. Provide each test with a description.

For: RT #120503.  This entailed:

Replacing each instance of Check() and CheckDie() with appropriate
Test::More functions.

Replacing MkDir() and touch() with mkdir_ok() and create_file_ok() to
create a more Test::More-ish interface; create symlink_ok() to handle
similar circumstances.

Providing those three wrapper subroutines with default descriptions,
but allowing a custom description to be passed as an argument.

Highlighting more important unit tests found at the end of subsections
and blocks by prepending 'COMPLETE:' to their descriptions.

More inline comments to guide future maintainers.

Some repositioning of code in order to narrow the scope of variables.
Replacement of hard tabs with spaces; some regularization of indents
and other code tidying.

No tests were added or removed, so the planned number of tests on a
given platform will be unchanged.

TODO:

Some descriptions still need improvement.

There are quite a few File-Find features mentioned in the POD which
are not referenced at all in this test file.  They need to have new
tests written for them.

Coverage analysis.

perldelta for the previous commit

Fix memory leak with recursive sub redefinition

See the thread starting at
<20131115042923.7514.qmail@lists-nntp.develooper.com>.

Commits 7004ee4937 and a61818571 changed subroutine redefinition to
null the GvCV slot before freeing the CV, so that destructors won’t
see GvCV without a reference count.  That turns a double free into a
memory leak.

Kent Fredric explains it nice and clearly:

> sub foo{}   # A
> bless \&foo;
> DESTROY { *foo = sub {}  # C }
> eval "sub foo{} "; # B
>
> Previous behaviour was:
>
> B replaces A, triggers DESTROY, which triggers C replacing A, and this
> invoked a double free, because C , triggering the removal of A,
> happened while A still existed ( ?? )
>
> So the change fixes this, so that A is removed from the symbol table
> before DESTROY triggers , so that C is creating a "new" symbol,
> effectively, and the problem is that C is then clobbered by the B
> replacing the slot, after the DESTROY.

So C leaks.

This commit fixes it by changing the SvREFCNT_dec into SAVEFREESV,
essentially delaying the DESTROY until after the subroutine redefini-
tion is complete.

This does mean that C is what ends up in the glob afterwards; but as
long as perl’s own bookkeeping is thrown off, we can leave it to the
user (the Perl programmer) to handle the consequences of naughty
destructors.

gv.c: Remove redundant mro_method_changed_in()

Core subs are already accounted for by method lookup, so vivifying
them does not change what gets inherited.  Hence, there is no need
to flush caches here.

Unwrap a perldiag entry for better splain output

Before:

$ ./perl -Ilib -Mdiagnostics -e 'warn "Missing '\'']'\'' in prototype for %s : %s"'
Missing ']' in prototype for %s : %s at -e line 1 (#1)
    (W illegalproto) A grouping was started with [ but never closed with
    ].

After:

$ ./perl -Ilib -Mdiagnostics -e 'warn "Missing '\'']'\'' in prototype for %s : %s"'
Missing ']' in prototype for %s : %s at -e line 1 (#1)
    (W illegalproto) A grouping was started with [ but never closed with ].

perldiag: ‘my sub’ is no longer ‘reserved’ syntax

Alphabetise perldiag

perldiag: remove space from otherwise blank line

This enables splain to find the following entry.

Revert "make perl core quiet under -Wfloat-equal"

A suggested way of avoiding the the warning on nv1 != nv2
by replacing it with (nv1 < nv2 || nv1 > nv2), has too many issues
with NaN.  [perl #120538].

I haven't found any other way of selectively disabling the warning,
so for now I'm just reverting the whole commit.

This reverts commit c279c4550ce59702722d0921739b1a1b92701b0d.

Update DB_File to CPAN version 1.831

  [DELTA]

1.831 15 November 2013

   * C99 comment is a nogo
     RT #90383

Update IPC-Cmd to CPAN version 0.88

  [DELTA]

  0.88 Fri Nov 15 14:44:03 GMT 2013

    Misc:
    * skip some problematic tests on Cygwin

[perl #120544] fix "goto" around var init error in av_extend_guts

This fixes a Win32 Visual C 6 in C++ mode syntax error. See #120544 for
the details.

perldelta for e68dd03a55

perldelta for c5f75dbad5e3

Increase $fields::VERSION to 2.17

Revamp fields documentation

• Actually give an example of a typed lexical.
• Also show the syntax parenthetically in the pod, since the phrase
 ‘typed lexical’ is not exactly well known.
• Don’t use dev version numbers.
• Don’t talk about pseudo-hashes so pervasively, as the fact that they
  are used is more an implementation detail now than a feature (except
  for phash).
• If we talk about restricted hashes, we should link to Hash::Util.
• -w is not the only way to turn warnings on.

Also mention in perlfunc that ‘my __PACKAGE__’ and ‘my CONSTANT’ work,
so that the only mentions are not in perl561delta and Lexical::Types.

perldelta for 7004ee4937 and a618185710

perldelta for 4571f4a728 and, of course, bc81b34d0e

4571f4a728 alone made things worse, causing a double free. :-)

Another perldelta to-do

I’m sure Dave Mitchell can explain this better than I.

[perl #120463] s/// and tr/// with wide delimiters

$ perl -Mutf8 -e 's αaαα'
Substitution replacement not terminated at -e line 1.

What is happening is that the first scan goes past the delimiter at
the end of the pattern.  Then a single byte is compared (the previous
character against the first byte of the opening delimiter) to see
whether the parser needs to step back one byte before scanning the
second part.

That means you can do the equivalent of s/foo/|bar|g if / is replaced
with a wide character:

$ perl -l -Mutf8 -e '$_ = "a";  s αaα|b|; print'
b

This commit fixes it by giving toke.c:S_scan_str an extra parameter,
so it can tell the callers that need this (scan_subst and scan_trans)
where to start scanning the replacement.

Add Synology instructions

move DEBUGGING section after includes in regexec.c.

7b75fc16a59 added #ifdef DEBUGGING around a declaration, but that
section of code was before any includes, and (on VMS anyway),
DEBUGGING is defined in config.h, not on the command line.

So just move that declaration after the includes, which is a more
normal way to do things anyway.

Don’t skip t/re/reg_eval_scope.t under miniperl

re.pm doesn’t load its C code under miniperl, and it’s not needed anyway
here, since we are just setting hints.

sv.c apidocs: SV_NOSTEAL, not NOSTEAL

NOSTEAL is nonexistent.  While abbreviating constants may be fine for
comments, using such forms in API documentation may be less than
helpful.

constant.pm: Consistent spaces after dots in pod

It was inconsistent throughout.

Increase $constant::VERSION to 1.29

Compile-time checking for %$obj{"key"} under ‘use fields’

This single line of code also gives us shared hash key optimisa-
tions for free.

Fix bad read in gp_free introduced by 4571f4a72

4571f4a72 attempted to fix this:

$ ./perl -Ilib -e 'sub foo{} bless \&foo; DESTROY { undef *foo } undef *foo'
Attempt to free unreferenced glob pointers, Perl interpreter: 0x7fd6a3803200 at -e line 1.

by lowering the refcount of the gp only after freeing the contents.

But what was missing was a check at the end to make sure the refcount
was not already 0.

In fact, that can’t work either, as, if the refcount has gone down
to 0 while freeing the contents of the gp, we will be reading
freed memory.

In an attempt to implement what my half-baked idea was meant to do,
I thought of incrementing the reference count before freeing the
entries, and then checking it afterwards, but that would cause an
‘undef *foo’ during that to null the gp slot of the gv and replace it
with a new one.  In the mean time, gp_free is only freeing the old gp
and the new gp will leak when it sets GvGP to 0.

I thought of detaching the gp from the gv completely before freeing
its entries, but most code doesn’t expect to see typeglobs with no gp.
GvSV will crash.

I nearly concluded that the only approach I could use was to revert
4571f4a72 and simply extirpate that warning.  As far as I can tell, it
only comes up with recursive gp_free calls.  However, in those cases,
simply returning will cause a memory leak, as pp_undef will give the
gv a new gp, and the outer gp_free call, when it finishes, will set
the gv’s gp slot to null, overwriting what pp_undef put there (a vari-
ation of the leak above).

So, the final solution is for gp_free to re-read the GvGP value each
time it loops, freeing entries.  The reference count will continue to
be decremented at the end of the function, as in 4571f4a72.  That will
prevent any bad reads.  If pp_undef has reallocated the gp in the mean
time, we will simply start using the new one.  We need an extra refer-
ence count check at the end, in case a destructor does glob assignment
and causes the gp to be shared.

Ideally this should fix the recent build errors.  (See
<20131113045538.GA18816@mars.tony.develop-help.com>.)  I tried it
under valgrind on dromedary both before and after the patch, and the
bad reads went away.

Compliance: Mixed declarations not allowed in some pre-C99 compilers

Dynaloader: fix build issue

My commit from yesterday, 860b3d937d9b004a7de4b684765ab75006c71f00,
inadvertently included c99-ish mixed declarations and code.

NO C99 comments, please!

[PATCH] Upgrade to threads::shared 1.45

Signed-off-by: Chris 'BinGOs' Williams <chris@bingosnet.co.uk>

Opcode: fix 'null argument' warning

HvNAME_get() can return NULL, and strNE() wants non-null args.

[
As a side note: on debugging builds this line

    if (strNE(HvNAME_get(hv),"main")) {

macro-expands into an 18,000 character line (!) due to the fact that
HvNAME_get() is quite a big expansion under debugging, and strNE expands to
strlen, which under gcc expands to a huge macro (which is mainly lots of
different compile-time alternatives depending on which of its args are
constants), that references its args several times.
]

IO.xs: fix compiler warning

PerlIO_unread() returns SSize_t, although from its sparse documentation
it doesn't seem that it would ever return a negative value. So cast away
the 'comparison between signed and unsigned integer' warning.

File::Glob: fix warnings and non-\0-ended strings

The lower levels of File::Glob expect null-terminated strings, while
the higher levels do s = SvPV(sv,len) and pass the len. Ease the impedance
mismatch by ensuring that s[len] is always \0. Most perl SVs will already
have that \0 anyway, so in practice this hasn't been an issue.

It also ignores the utf8-ness of the string. I've kept that as-is (too big
a can of works to open for now), but I've fixed the 'is_utf8 var not used'
warning and added an XXX comment instead.

File::Glob: silence some compiler warnings

In bsd_glob.c, there are nested set of functions glob0(), glob1() etc,
which among their parameters pass a pointer to a compiled pattern, and also
to its end. It turns out the end pointer isn't usually used, since the
pattern is usually scanned for BG_EOS instead. Also, glob3() is
passed two pattern ranges, both within the same pattern, and both with
the same pointer to the end of the pattern buffer. Since both end pointers
are the same, eliminate one of them. This removed an unused var compiler
warning. Use the remaining end pointer in the glob*() functions to add
assertions that we haven't fallen off the end of the buffer.

Finally, ARG_MAX may be signed.

podcheck: Remove workaround no longer needed

The bug this worked around has been fixed by
406e3fef7f4bebd2003087bce74d22303981ac48

Devel::Peek: fix some compiler warnings

arybase: silence some compiler warnings

some of the static functions in  ptable.h are unused. It looks
like ptable.h has been written to be more general-purpose and reusable,
but at the moment its only used in one place, so '#if 0' the unused
functions for now, to shut up the compiler..

File-DosGlob: silence some compiler warnings

B: silence some compiler warnings

The renaming of the 'form' arg to 'format' is due to form being #deffed to
Perl_form() or similar.

Some of the unused vars were due to things like BmPREVIOUS() being #deffed
to 0 in recent builds.

The pad ones were due to the PADOFFSET type being used to index a pad
*list*, not a pad - that's SSize_t.

DynaLoader: silence some compiler warnings

silence some compiler warnings

Actually, most of this commit is adding (void) to various function returns
where we know its ok to ignore the return value. This doesn't actually
silence the -Wunused-result warning (thanks a bundle gcc), but at least
it marks our intentions.