regcomp.c: Fix memory leak regression

There was a remaining memory leak in the new inversion lists data
structure under threading.  This solves it by changing the
implementation to use a SVpPV instead of doing our own memory
management.  Then the already existing code for handling SVs
returns the memory when done.

podcheck.t: Add comment, explicit return

podcheck.t: Skip broken symbolic links

This stemmed from a build issue in some smokers.  The symbolic link 'U'
was left over.  If another type of file can't be opened, instead of
dying, this now just fails it as one test.

podcheck.t: Skip some more non-pod files

This skips editor droppings.

podcheck.t: Force non-utf8 reading of files

podcheck.t was failing when PERL_UNICODE was set to empty with
a UTF-8 locale, as it tried to read things in utf8 that aren't.
This led to a fatal malformed utf8 error.

This forces the :bytes layer when reading these files.

[perl #91614] Suggestion for improving documentation of $!

While trying to understand a bug report at

http://www.perlmonks.org/?node_id=906466

I realized that the documentation for $! was not crystal clear.  For example

    If used numerically, yields the current value of the
    C C<errno> variable, or in other words,
    if a system or library call fails, it sets this variable.

That's not "in other words", these are totally different
concepts.  And it isn't clear whether this variable refers to
errno or $! (I assumed the latter, and was wrong, as Devel::Peek
demonstrated).  And $! cannot be undef, as asserted (later),
because errno always contains a value, however irrelevant.

podcheck.t: Skip files left by patch

[perl #90888] each(ARRAY) on scalar context should wrapped into defined()

"perldoc -f each" says that if each() is performed on ARRAY
in scalar context, it will return only the index in an array.
Calling each(HASH) in scalar context worked well but calling
each(ARRAY) didn't because it was not wrapped into defined OPCODE.

So, in Perl_newWHILEOP() and Perl_newLOOPOP(), they are modified
to check them and wrap with defined OP if needed.

In S_new_logop(), it's reasonable to warn if return value of
each(ARRAY) is being used for boolean value, as it's first return
value will be "0", the false.

issue: #90888
link: http://rt.perl.org/rt3/Public/Bug/Display.html?id=90888

Add Hojung Yoon to AUTHORS

In Perl_pv_escape(), avoid reading 1 byte beyond the end of the buffer.

The check for whether to use 3 digits of octal was not correct, and was capable
of reading the byte beyond the passed in buffer. Except for the small
possibility that that byte was not mapped memory, it wouldn't change the
semantic correctness of the escaped output, but it would lead to
non-deterministic choice of which format to use.

[perl #91518] Fix minor typo in pod/perlsub.pod.

[perl #91508] __DATA__ starts reading on the next line

In pod/perldata it is described that the DATA filehandle starts
reading after the __DATA__ token. In reality, it starts reading on the
line following the __DATA__ token.

Example:

print while <DATA>; __DATA__ foo
bar

This prints "bar", not "foo\nbar".

The attached patch fixes the documentation in pod/perldata.pod.

Improve comments in sv.h describing SVrepl_EVAL and SVf_IVisUV.

Un-TODO a test on Snow Leopard

Snow Leopard is Darwin 10, which compares less than 6 lexicographically.

podcheck.t: Convert to Un*x style for file name eq

The db keeps the file names stored in Un*x style.  Convert the
filenames returned by the OS into that style to get an apples
to apples comparison

[perl #90850] Outdated Solaris pkg list on README.solaris

The required packages for building perl on Solaris are outdated.
The complete list is only appliable to Solaris 8 (released in
February 2000, end of support in March 2009). The patch updates
the requirements for Solaris 9 and 10 (in short: dropping
no longer existant packages).

Add Claudio Ramirez to AUTHORS

Restore cmpVERSION.pl's ability to spot differences in XS files.

Since the refactor to use git tags (instead of a second source tree),
cmpVERSION.pl was only spotting differences in XS files if the corresponding
PM file was also modified. If only the XS file was modified, this was going
undetected.

Remove compare_git_file() - if git has already told us that a file differs,
there's no need to duplicate the work of comparison in Perl.

Fold Abigail's TAP generation logic back into cmpVERSION.pl

Reduce t/porting/cmp_version.t down to an invocation of cmpVERSION.pl with
--tap.

Change the -x option of cmpVERSION.pl to exclude upstream ne 'blead'

Previously it was excluding if CPAN were true, which meant that anything
with a DISTRIBUTION was excluded, including files where blead is upstream,
and hence something we should fix.

Pass the git tag to cmpVERSION.pl with a --tag argument.

If no tag is specified, default to git describe --abbrev=0.
(This is David Golden's suggestion, added t/porting/cmp_version.t in
3d92e8b1e4996571)

Eliminate the source_dir command line argument - this is now always assumed to
be '.'.

Convert cmpVERSION.pl to Getopt::Long from Getopt::Std.

Trim the import list from File::Spec::Functions and don't use File::Find.

Most of the vestigial entries were caused by the refactoring to use git in
42e700c91cf83f56. Use File::Spec::Functions::devnull() in place of hard coded
values based on $^O.

Only load Maintainers.pm if cmpVERSION.pl is invoked with -x

Skip chdir $source_dir with -x, because -x checks that it's '.'

Refactor podcheck.t to slurp files into scalars, instead of an array of lines.

Multiline matches in the regex engine are faster than looping and processing
in Perl space.

Incorrect heading and index entries for (*MARK) in pod/perlre.pod

Correct and update the comments about FBMs in Perl_sv_2[inu]v_flags().

Add find2perl as a dependency for the target 'test_prep'.

If t/porting/podcheck.t can't find x2p/find2perl, then it is unable to find an
external target for a pod link in perlutil.pod, which it flags up as an error.
find2perl was already a dependency of the 'all' target, hence without this
rule podcheck.t would pass for 'make all test', but not 'make test'.

Add another address for Sisyphus

[perl #91354] win32/makefile.mk needs patching for gcc-4.x.x

The current win32/makefile.mk wants us to edit it when we are using
the gcc-4.x.x compiler. Firstly, we have to signify that we are using
gcc-4.x.x, then we have to nominate (from a supplied list) the name of
the helper dll that needs to be copied to the t folder (in order that
the taint.t tests can pass).

The supplied list of candidates is deficient - the name of the helper
dll from one of my gcc compilers is not listed there. Also, I'm now
finding that a second dll (libstdc++-6.dll) needs to be copied to the
t folder - otherwise the taint.t test still crashes.

The attached makefile.mk patch addresses these issues in such a way
that we don't have to do any editting (re the using of gcc-4.x.x) of
the makefile.mk at all.

There's a small discussion about this on the p5p mailing list in the
thread "win32/makefile.mk patch" (15 may 2011).

This change to the makefile.mk means that README.win32 needs a
slight modification - and the attached README.win32 patch addresses
that issue.

The README.win32 patch also alters the link to the 64-bit (mingw64)
compiler made available by kmx. This has nothing to do with the
subject of this bug report, but I don't see why that correction to
the link (as suggested to me by kmx, in private correspondence)
can't be made.

Turn $$ into a magical readonly variable that always fetches getpid() instead of caching it

The intent is that by not caching $$, we eliminate one opportunity for bugs:
If one embeds Perl or uses XS and calls fork(3) from C, Perls notion of $$
may go out of sync with what getpid() returns. By always fetching the
value of $$ via getpid(), this bug opportunity is eliminated. The overhead
of always fetching $$ should be small and is likely only used for tempfile
creation, which should be dwarfed by file system accesses.

Make hash-rt85026.t less noisy

podcheck.t: Extract line numbers from strings properly

There was a typo in this regex.  I added a \b for good measure.
This bug was currently showing up on VMS-only, where a string
was getting returned instead of a hash.  And the regex that
deals with strings had a typo, so wasn't matching.

It remains to be seen if there is an underlying issue on VMS that
was causing this error, and other OSs don't have it.

podcheck.t: Skip perltoc

This pod is extracted from other pods, and the possible errors in those
extractions just keep propagating to this pod.  I tried to fix this
by having -1 entries in perltoc for the common errors which means
to not output them.  But new ones keep cropping up.  So, reluctantly,
I think it's best to just not process this file.

Perl_refcounted_he_inc() needs a dVAR to compile with -DPERL_GLOBAL_STRUCT

Restore building with -DPERL_GLOBAL_STRUCT, broken since 4dc941f7cb795735.

As PL_charclass is a constant, it doesn't need to be accessed via the global
struct. It should be exported via globvar.sym, not PERLVARA() in perlvars.h

[With a PERVARA() it all compiles perfectly, once C<dVAR>s are added where
now needed, but the build loops forever because the (real) charclass array is
never initialised]

Downgrade Unicode pod escape to ASCII for readbility

regcomp.c: Another leak regression

Fix deparsing of subs named :::: and ::::::

Since a name like :::: is now divided up as ::/:: (since commit
088225f), there can be a package called ‘::’. But %:: returns %main::,
not %main::::. The result is that the main package is searched again
and again recursively and stash_subs hangs.

The easiest fix is to put main:: at the beginning of a substash’s name
when fetching the stash.

Test require override with Deparse [perl #62500]

General perlfunc edit; document ‘default’

Revert "Revert "Missing bug number in d12b49d""

This reverts commit d33333ec9850d2a0f2f5466e207dcc612dc4dc31.

Increase constant’s version
in preparation for the next commit

Move an assert

Due to my own sloppy editing, this assert ending up doing nothing,
as perl would already have crashed before reaching it.

What’s wrong with me?

Remove fixed bug from Deparse’s docs

Make Deparse use CORE:: when necessary

Till now, Deparse has not added CORE:: to built-in keywords, even when
they are overridden by subs.  Now it does.

It was simply a matter of adding a ‘keyword’ sub that looks in the
current stash to determine whether there is a possible override.  And
it only does so for overridable non-infix functions.  It returns the
keyword with CORE:: added to the beginning if necessary.  Various
parts of the code have been modified to call this routine.

podcheck.t: Improve VMS abilities

This should solve many of the problems encountered on VMS.  It does
it by lower-casing file names before comparison.

Deparse: readpipe with complex expression

readpipe was always being deparse as `...` or qx.

This commit changes it to use the already-existing pure_string routine
to determine whether it can fit in `` first.

regcomp.c: Another memory leak regression

The reference count should be decremented upon freeing.

[perl #91008] Deparse doesn't like each $ref

Bump Attribute::Handlers version to 0.91

... to match the CPAN version.

No functional changes.

Bump/upgrade Filter::Simple version to 0.87

... to match CPAN release.

No functional changes.

Fix skip() usage in tests

It needs to know how many tests to skip. This never failed in
blead since it's perl version dependent.

podcheck.t: Fully qualify carp call from package

podcheck.t: Deal properly with -1 counts

These counts are for things like perltoc which are compendiums of other
pods, and so contain any errors in those other pods, which should be
output with the offending pod and not perltoc.  By setting the counts of
errors to a negative in the db, the message for perltoc is suppressed.
But a message was getting improperly output with perltoc when the
original pod got fixed.

utf8.c: revise comment

Filename portability for hash-rt85026.t

File::Temp::tempdir returns a directory in native syntax.  You
can't just paste a file onto that in Unix syntax and expect it
to work.

if List-Util is built statically, depend on $(PERL_EXE) instead of the shared library

of course, it could be that these dependencies are as redundant as the
rest.

remove unused dependency rule generation for Text/ParseWords

1) Text/ParseWords isn't XS, so never appears in dynamic_ext

2) there's no lib/auto/Scalar/Util.$dlext target, the file would be
lib/auto/Scalar/Util/Util.$dlext , but it's built as part of
List-Util, so there's no dependency lib/auto/Scalar/Util/Util.$dlext
anyway.

handle a static Cwd when generating the deps for x2p/utils

remove unneeded dependencies against Cwd

these were added because the build process for Encode and SDBM_File
changes directory, invalidating the original "../lib:../../lib"
PERL5LIB.  With buildcustomize.pl they can change directory safely.

Add USE_LOCALE{,_COLLATE,_CTYPE,_NUMERIC} to the output of perl -V

These 4 compile-time options should be reported, as they have affect the
behaviour of the interpreter binary (albeit only in a small area). They don't
affect binary compatibility.

Correct comments about B::PV::PVBM.

Original comments, partially incorrect, added in 5a44e503dc748f53 and
f4c3658468ba5234.

Bump the version of PerlIO::encoding following 1c2e8ccaafb0b2b1.

1c2e8ccaafb0b2b1 fixed a typo in a comment in the XS code.

Bump the versions of B and Storable following 1b95d04f713d9c56.

1b95d04f713d9c56 changed HvKEYS() to HvUSEDKEYS() in the XS code.

Use L<> rather than C<> in the Updated Modules section of perldelta.

Previous perldeltas have been inconsistent with each other as to whether to
use L<> to C<> (but internally consistent). perldelta5140.pod uses L<>, which
is more useful, as it provides a direct link to fuller documentation at the
point where the reader is likely to want to follow it.

Switch the two existing entries from C<> to L<>, and update the perldelta
template to suggest L<>.

Tests for iterator deletion [perl #85026]

[perl #85026] Deleting the current iterator in void context

Looking at the delete code I see another strange thing. If the delete
of the current iterator is done with the G_DISCARD flag, the corres-
ponding value is not freed and survives until the lazy deleted entry
gets removed on the next hash iteration. This is easily demonstrated
like this:

perl -wle '
sub DESTROY { print "DESTROY" }
%a=(a=>bless[]);
each %a;
delete $a{a};
print "END"
'

This prints:

END
DESTROY

notice the difference with:

perl -wle '
sub DESTROY { print "DESTROY" }
%hash = (a => bless[]);
each %hash;
$dummy = delete $hash{a}; $dummy = 0;
print "END"
'

This prints:

DESTROY
END

This is easily solved by always replacing the deleted entry value with
&PL_sv_placeholder. It actually simplifies the code a bit except for the
fact that the mro_method_changed from free_hash_ent now has to be done
in hv_delete

Tests for #85026

Almost all of this is taken verbatim from Ton Hospel’s sample script
for demonstrating the bug.

[perl #85026] deleting elements in a HASH iterator

Internally a perl HASH is an array of single linked chains of entries.
Deleting an element means removing the correct chain entry by replacing
the pointer to the removed entry with a pointer to the next entry and
then freeing the deleted entry

However, if the deleted element is the current entry the deleted entry
is kept after removing it from the chain and the LAZYDEL flag is set.
Only on the next iteration is the element actually removed and the
iterator is set to the next entry.

However, if you delete the current iterator and then delete the next
element in the same chain the "next" pointer of the iterator is not
updated because the iterator is not on the chain anymore. That means
that when the next iteration looks up the iterator next pointer it
will point to the freed memory of the second element.

This patch fixes the places where the delete is done. Drawback is that
you may never forget to do the lazydel fixup in at any place where the
entry chain gets shortened.

perlvar: Fix broken links

perluniintro: fix broken link

perlrecharclass: Fix broken link

perlre: Fix broken links

podcheck.t: Missing diagnostics

podcheck.t was not outputting a message when all occurrences of
an issue were removed, and hence the database wasn't getting
regenerated

perlutil: Fix broken links

Maintainers.pl: fix podlators entry

The mapping didn't include the basic '' => cpan/podlators entry,
so core-cpan-diff was reporting lots of errors.
Also, there was much strangeness with *.PL files.

sv_clear: destructor may change SV type

so re-initialise the 'type' var afterwards

sv_clear only test for SvOBJECT on >= MG

micro-optimisation

use __attribute__unused__ to silence -Wunused-but-set-variable

unused variables in pp_ctl.c

Docs: perlhack: Use correct shell code and better git/shell constructs

The example commands for using `git format-patch' and `perlbug' have
been streamlined, and (most importantly) single quotes have been
replaced with double quotes for constructing the argument to `-s'.

Signed-off-by: Michael Witten <mfwitten@gmail.com>

Regenerate known_pod_issues.dat

podcheck.t is producing spurious failures for two files.

[perl #90592] Porting/epigraphs.pod: add 5.14.0(-RC*)

regcomp.c: Fix bug in inversion list intersection

This code was derived from published code, which says use at your
own risk.   And in fact had bugs.  I don't believe these show up in
5.14, as I think you have to have a list that has been inverted for this
to happen.

The comments describe what should have been done.

regcomp.c: Add new macro for readability

Adding this macro which is the complement of an existing macro helps
understanding what is happening at its point of use

perluniprops: Add markup, like C<>

fold_grind.t: Revamp test case coverage analysis

The kludgy analysis of what tests to do is hereby simplified and
improved, finding a few extra bugs.

regcomp.c: Greek multi-char folds fix

GREEK PROSGEGRAMMENI and COMBINING GREEK YPOGEGRAMMENI fold to the
the first character of one of the tricky folds, and hence need
to be treated as potentially tricky themselves.

regcomp.c: \x{17f} can match /\xdf/i

fold_grind.t: remove unnecessary tests

This is supposed to test weird combinations of things.  Tests like
    'ss' =~ /SS/i
aren't weird, and so can be skipped.

fold_grind.t: No longer any TODOs

Fix some multi-char /i fold bugs

Consider U+FB05 and U+FB06.  These both fold to 'st', and hence should
match each other under /i.  However, Unicode doesn't furnish a rule for
this, and Perl hasn't been smart enought to figure it out.  The bug that
shows up is in constructs like

    "\x{fb06}" =~ /[^\x{fb05}]/i

succeeding.  Most of these instances also have a 'S' entry in Unicode's
CaseFolding.txt, which avoids the problem (as mktables was earlier
changed to include those in the generated table).  But there were
several code points that didn't.

This patch changes utf8.c to look for these when constructing it's
inverted list of case fold equivalents.  An alternative would have been
to change mktables instead to look for them and create synthetic rules.
But, this is more general in case the function ends up being used for
other things.

I will change fold_grind.t to test for these in a separate commit.

utf8.c: Remove soon-to-be-obsoleted comment

This comment will no longer apply, as the code it talked about is
moving into swash_init().

utf8_heavy: Return pointer to special treatment hash.

Many of the mapping tables that utf8_heavy.pl deals with have maps that
don't fit into the general scheme of things, and a hash is generated for
those.  This patch causes utf8_heavy to add an entry to the object it
generates containing a reference to this hash.  Prior to this, the name
of the hash had to be known to the users of the table.

utf8_heavy: Add comments

mktables: Add info giving specials hash name

mktables creates %utf8::SwashInfo in each table it generates, giving
some info about the table.  Add an entry to this for tables that have
a hash of special mappings, giving the name of that hash.

utf8_heavy.pl: Revise comment

utf8.c: Remove unnecessary temporary