[perl #114350] improved documentation

[perl #114350] access to sdbm_prep()

This allows the .dir and .pag filenames to be specified explicitly

[perl #114350] add exportable PAGFEXT, DIRFEXT and PAIRMAX constants

mg.c: White-space only

Indent code that's in a block added in the previous commit.

Fix HP-UX $! failure

HP-UX strerror() returns an empty string for an unknown error code.
This caused an assertion to fail under DEBUGGING builds.  This patch
removes the assertion and changes the return into  a non-empty string
indicating the errno is for an unknown error.

perl.h: Move a string constant to a #define

This is so it can be used in another file

mg.c: White-space only

Properly indent code that is interior to a block

perllocale: Note that LC_MESSAGES affects $^E

run/locale.t: Fix bareword error

This string should be in quotes to be properly eval'd.  Prior to this
patch this .t failed when run by hand as the bareword warning is made
fatal.

lib/locale.t: Add tests

Commit b99851e1941e002dd4816ee6c76fd49bbee1d7f3 should have added tests
in two places.  This adds them in the second place, plus a cautionary
comment.  The reason for the two places is the alternative I can think
of is to use a string eval, but that perturbs the test environment so
might affect the outcome.

lib/locale.t: Move some lines

Commit b99851e1941e002dd4816ee6c76fd49bbee1d7f3 should have added tests
at the end of the block.  This moves them.

posix.t, time.t: Correct saving/restoring locales

Code in these two tests assumed that setlocale returns the old locale.
Instead it returns the new one.  A separate setlocale() call is needed
to get the previous locale value.  These are the only two places I found
with this error.

perldelta for b183d514e3e

bump $Data::Dumper::VERSION

[perl #82948] use re::regexp_pattern in list context for dumping qr//

perldelta for [perl #120799]

perldelta for 892089cd68

bump $VERSION for base.pm

make base.pm more strict about nonexistent module check

Fix reference to chmod portability in chown

Add comments that re tests can be commented in col 7

regcomp.c: Add comment

PATCH: [perl #120799] 5.18 regression with [:^ascii] and \x80-\xFF

Posix classes generally match different sets of characters under /d
rules than otherwise.  This isn't true for [:ascii:], but the handling
for it is shared with the others, so it needs to use the same mechanism
to deal with that.  I forgot this in commit
bb9ee97444732c84b33c2f2432aa28e52e4651dc which created this regression.

Our tests for this only use regexes with a single element, and an
optimization added in 5.18 causes this bug to be bypassed.  These tests
should be enhanced to force both code paths, but not for this commit,
which should be suitable for a maintenance release.

Get optree_samples.t passing when PERL_UNICODE is set

The testing infrastructure knows to strip out the ‘open’ hints when
they do not apply.

Add Dabrien Murphy to AUTHORS

[perl #120752] Fix t/op/coreamp.t rand test

The way it was written it would even accept an empty string as
valid output.

perldelta for 6b44ec6808

Make tests work with detached git dir

In my jenkins replacement, I run all tests with .git outside the work tree,
pointed to by $GIT_DIR. This is fairly common git practice, so let's make the
testsuite support this and run the relevant porting tests that are skipped
without this patch.

fix format string warnings in regcomp.c

[perl #72406] Bad read with do{} until CONST

According to the original bug report, ‘do{print("foobar");}until(1)}’
crashes.  In recent perls it doesn’t, partly because of the slab allo-
cator, partly because such crashes are naturally fleeting.

‘foo while bar’ and ‘foo until bar’ make their way through newLOOPOP,
which then usually calls S_new_logop, to create and AND or OR op with
special pointers that turn it into a loop.

Because S_new_logop knows about folding ‘$x if 1’ down to a simple $x,
and because ‘do{foo()} while 0’ should still execute the do block,
newLOOPOP skips the call to S_new_logop in that case.

Hence, it assumes that if it has seen a do block on its lhs, then
S_new_logop must return an AND or OR op.

‘foo until bar’ is actually changed early on (in perly.y) to ‘foo
while !bar’, before it reaches newLOOPOP.  Constant folding usually
folds !1 down to a simple ""/0 (actually &PL_sv_no), so newLOOPOP sees
‘foo while 0’ for ‘foo until 1’.

If constant folding fails (e.g., because the parser has seen an
unmatched } and constant folding is skipped after such errors), then
newLOOPOP will see the unfolded !1.

S_new_logop has a special optimisation that changes ‘!foo && bar’ to
‘foo || bar’, etc.

That optimisation allows it to ‘see through’ the unoptimised !1 (a NOT
with a CONST kid) and get to the constant, folding the resulting op
and returning something that newLOOPOP is not expecting to be folded.
In the case of ‘do{print("foobar");}until(1)}’, it optimises the do
block away, which is wrong.

So newLOOPOP reads past the end of the op in this line:

o->op_next = ((LOGOP*)cUNOPo->op_first)->op_other;

because it is treating an SVOP as a LOGOP.

I can trigger this condition by defeating constant folding some other
way.  Croaking in boolean overloading, but just the first time, will
do that, and crashes with blead:

{ package o; use overload bool => sub { die unless $::ok++; return 1 } }
use constant OK => bless [], o::;
do{print("foobar");}until OK;
__END__
Bus error: 10

My reading of the source code leads me to believe that this bad read
has been present since perl 5.000.  But back then it was not possible
to trigger it with this particular test case involving fatal overload-
ing (as of b7f7fd0bb it seems*), but ‘do{print("foobar");}until(1)}’
would have triggered it.

* Thanks to Matthew Horsfall for finding it.

Also optimise returning lists: 'return ($one, $two);'

Tests for rpeep optimisations in e45d8982ae

Fix ‘Can't declare null operation in "my"’

This message is very unhelpful.  This was brought up in
ticket #115688.

op.c: Factor out two identical yyerror calls

Explain how '--' works in command-line invocation.

Excerpted from 'man bash': GNU Bash-2.05b, 2002 July 15.

For: RT #120732, as requested by bulk88.

Optimise out PUSHMARK/RETURN if return is the last statement in a sub.

This makes:

  sub baz { return $cat; }

Behave like:

  sub baz { $cat; }

Which is notably faster.

Unpatched:

  ./perl -Ilib/ ~/stuff/bench.pl
  Benchmark: timing 40000000 iterations of normal, ret...
    normal:  3 wallclock secs ( 1.60 usr +  0.01 sys =  1.61 CPU) @ 24844720.50/s (n=40000000)
       ret:  3 wallclock secs ( 2.08 usr +  0.00 sys =  2.08 CPU) @ 19230769.23/s (n=40000000)

Patched:

  ./perl -Ilib ~/stuff/bench.pl
  Benchmark: timing 40000000 iterations of aret, normal...
    normal:  2 wallclock secs ( 1.72 usr +  0.00 sys =  1.72 CPU) @ 23255813.95/s (n=40000000)
       ret:  2 wallclock secs ( 1.72 usr +  0.00 sys =  1.72 CPU) @ 23255813.95/s (n=40000000)

The difference in OP trees can be seen here:

Unpatched:

  $ perl  -MO=Concise,baz -e 'sub baz { return $cat }'
  main::baz:
  5  <1> leavesub[1 ref] K/REFC,1 ->(end)
  -     <@> lineseq KP ->5
  1        <;> nextstate(main 1 -e:1) v ->2
  4        <@> return K ->5
  2           <0> pushmark s ->3
  -           <1> ex-rv2sv sK/1 ->4
  3              <#> gvsv[*cat] s ->4
  -e syntax OK

Patched:

  $ ./perl -Ilib  -MO=Concise,baz -e 'sub baz { return $cat }'
  main::baz:
  3  <1> leavesub[1 ref] K/REFC,1 ->(end)
  -     <@> lineseq KP ->3
  1        <;> nextstate(main 1 -e:1) v ->2
  -        <@> return K ->-
  -           <0> pushmark s ->2
  -           <1> ex-rv2sv sK/1 ->-
  2              <$> gvsv(*cat) s ->3
  -e syntax OK

(Includes some modifications from Steffen)

cflags.SH: Fix a typo, cflags should be ccflags

This went undetected for the longest time since most flags are
irrelevant at this point, but is vital if you are using --sysroot.

pod/perlhacktips: Further info on glibc bug

Commit 6bfe0388956736a32b874cc5e31cc6437260b227 prompted me to do some
more digging.  The bug in glibc has apparently been fixed in 2.17.

perlfunc: clarify subroutine value of caller()

The docs don't actually say what the fourth value returned by caller()
is; in particular, the $subroutine value is a bit confusing because
it's the sub called by the call site, not the sub containing the call
site. [perl #120696].

WinCE makefile will now hypothetically build git_version.h

The dependency on $(CONFIGPM) is for git_version.h to exist early enough
to be copied to the CORE dir. In real life, git_version.h still is built
by a Desktop build since WinCE doesn't yet support being built with a
system Perl. This commit is a step in getting WinCE to build without
needing a Desktop build first and for better integration with Castaway's
Cross changes in the future. The changes in this commit were tested with
other unpublished changes that tried to do a WinCE build with a system
Perl.

cleanup ..\git_version.h rule in win32/Makefile

Group the nmake line onto 1 line similar to the dmake version, for 1 shell
call out vs 3. "&&" makes sure the build stops if miniperl returns non-0
instead of ignoring the code, cd'ing back to dir win32, and continuing
the build. Part of RT #120727.

perldelta for 64d7628235

Brian Childs is now a perl AUTHOR

Fixes the case where on 64bit big-endian boxes, calls to semctl(id,semnum,SETVAL,$wantedval) will ignore the passed in $wantedval, and always use 0

Test previously untested branches in lib/File/Find.pm.

Improve comments

These improve some comments introduced by
99dd98225733b6b66a524dfeb20a486e012e39b3.

Suggested by Lukas Mai

Silence core test Useless use of greediness modifier

There are two .t files that have useless greediness modifiers.  A
warning was instroduced in commit
4fa6dd16d2149c2aeeb32633e3a796d5ebc5b657 when this occurs.  This
silences those warnings in the two .t files

Error check VMS's backticks stdin inheritance.

This is a follow-up to e2d6c6fbf5bb.  The use case I've seen is
that the translation of SYS$INPUT succeeds but the stat on the
resulting file/device fails, possibly due to object protections.
So we would be giving the child something it can't open.

Add error checking to the logic so in order to set up inheritance
of SYS$INPUT:

 1.) The translation of SYS$INPUT must succeed.
 2.) stat() on the resulting spec must succeed.
 3.) The resulting spec must not be a directory.

regcomp.c: Silence compiler warnings

This changes some formats to add an 'l' modifier, and adds a cast.

PATCH: [Perl #42957] Suggesting warning for useless greediness operator

This adds the requested warning.  Now we'll see if anything breaks as a
result.

regcomp.c: White-space only

Vertically stack ? : ternary operators for better visibility

Remove tests of $File::Find::untaint_pattern.

This in effect reverts commit 5ea8618bf5cf20c62d2ccca6aca10d97e0945b89.
The effects of this package variable are not yet well enough understood to
write tests that pass consistently.  The block of tests removed was failing on
Win32 in all situations and on Linux in some.

For: RT #120711

Update Unicode-Collate to CPAN version 1.04

  [DELTA]

1.04  Sat Dec  7 11:34:18 2013
    - XS: a workaround for perl 5.6.x to handle U+FFFF correctly.
      unpack_U() is implemented by using XS again as well as that in 1.02,
      but now that is used only in the versions before perl 5.8.0.

[Merge] Get minitest passing again

One significant change is to the way miniperl gets its @INC set up.
Now buildcustomize.pl replaces lib with its special list, instead of
clobbering the entirety of @INC.  This allows tests to use runperl
with -I, without having to go through hoops to get things to work.

t/uni/variables.t: Skip $[ test under miniperl

Skip eintr_print.t under miniperl

crlf.t: Add skip count

Get switches.t to pass under miniperl

Do not clobber @INC completely in buildcustomize.pl

buildcustomize.pl (for miniperl) replaces @INC (usually qw(lib .))
with the whole list of build directories we need followed by
qw(lib .).

runperl from test.pl is such that this:

    runperl(switches => [ "-Irun/flib" ], ...)

turns into:

    /path/to/perl.git/miniperl "-I../lib" -Irun/flib

The end result is that -Irun/flib gets stripped out and clobbered, and
switchM.t fails under minitest.

Add DO NOT EDIT notice to buildcustomize.pl

perlapi, sv.c: Comments and API documentation

perlretut: Spelling

perlrebackslash: Add clarifying note about \X

perlhacktips: Note sprintf glibc bug and workarounds

http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/2013-09/msg00506.htmlP

utf8.c: White-space only

Rearrange this multi-line conditional to be easier to read.

utf8.h: Add parameter checking to some macros in DEBUGGING builds

This change should catch some wrong calls to these macros.  The meat of
the macros is extracted out into two internal-only macros, and the other
macros are rearranged to call these.

perlapi: Grammar nits

"The" referring to a parameter here does not look right to me, a native
English speaker.

utf8.c: Remove hard-coded names.

The names of these hashes stored in some disk files is retrievable by a
standardized lookup.  There is no need to have them hard-coded in C
code.  This is one less opportunity for the file and the code to get out
of sync.

regcomp.c: Rmv inaccurate and tangential comment

This comment contained inaccuracies and referred to behavior that has
been removed from the core for years.  isPRINT() is sufficiently
documented elsewhere to not need to have its use justified here.

I considered moving part of it to perlebcdic, but it's not generally
true: it's not true for one of Perl's supported EBCDIC code pages, for
example.

mktables: Add comments to output tables

[perl #120694] Fix ->SUPER::foo and AUTOLOAD

Commit aae438050a20 (5.17.4) broke ->SUPER::foo with AUTOLOAD by look-
ing up AUTOLOAD from the current package, rather than the current
package’s superclass.

Instead of keeping track of whether it was doing a SUPER lookup via a
::SUPER prefix on the package name, that commit changed method lookup
to pass a GV_SUPER flag around (to fix another bug) and to pass the
current stash, rather than __PACKAGE__::SUPER.  But it did not update
gv_autoload_pvn to pass that flag through to gv_fetchmeth_pvn when
actually looking up the method.

regexec.c: No statements before declarations

Commit b99851e1941e002dd4816ee6c76fd49bbee1d7f3 moved a statement to
before the declarations in its block.  Mea culpa.  It turns out that I
missed the warnings that were shown for -W=declaration-after-statement.
I'm henceforth changing that to -Werror=declaration-after-statement.

perllocale: Add info about locale testing.

perllocale: Nit, and clarification

PATCH: [perl #120675] Unexpected tainting via regex using locale

Tainting should only be turned on if something that could be tainted is
actually tried.  Hence in a [bracketed character class], if the
character being matched is something like

    "a" =~ /([a-z])/l;

tainting isn't turned on because the match doesn't actually depend on
the locale definition.  That is, it would match regardless of the
locale.  Similarly,

    "A" =~ /([a-z])/l;

shouldn't turn on tainting because it shouldn't match no matter what
locale is in effect.  However, until this commit, this worked only
because of a compilte time optimization.  The following (from the
ticket) isn't optimized and didn't work until this commit:

    "foo.bar_baz" =~ /^(.*)[._](.*?)$/';

The [._] was causing tainting even though there is nothing in the
pattern that is locale-dependent.

This commit just moves the tainting to code branches where the locale
actually does matter.  It was just turning it on for any bracketed
character class where the target character didn't match any of the
explicit characters in the class.

mktables: Clean up relict usage

The 'status' of a table generated by mktables was split into two
concepts; these lines should have been changed to reflect that split,
but weren't.  This didn't affect what actually gets generated.
concept

mktables: Default those tables whose names begin with '_' to internal

Some tables that mktables generates are for specialized internal core
use, and should not be accessible through Unicode::UCD nor listed in
perluniprops.  The creation code for _Perl_Any_Folds was moved by commit
8d88896d10ee81fb95a9494ca771f9d2b14f5fc7, but it wasn't a clean move and
the line that caused it to be marked as internal was accidentally removed.
This commit changes things to default to internal-only if the name
begins with an underscore, overridable by an explicit setting.  Thus the
line that got omitted is no longer necessary, and future mistakes like
this won't have any effect.  This is the only property currently
affected by this change.

perluniprops: Nit

This uses the singular, but might be output applying to more than one.

perlapi: Nits

utf8.h: Fix grammar in comment

lib/locale.t: Only output debug message if relevant

This message telling people to set an environment variable was output
even if the variable was already set; this is potentially confusing

perllocale.pod: clarify tainting of $1 et al

[perl #120675]

The docs weren't clear that *any* locale info used in a regex taints *all*
of $1, $2,...

toke.c: Pass GV_NOTQUAL for override lookup

We know in this code path that the name is unqualified, so tell
gv_fetchpvn_flags to skip the parser that looks for package
separators.

Update CPAN-Meta to CPAN version 2.133380

  [DELTA]

2.133380  2013-12-03 23:01:07 America/New_York

  [FIXED]

  - Improved bad version handling during META conversion

  - When downgrading multiple licenses to version 1.x META formats, if all
    the licenses are open source, the downgraded license will be
    "open_source", not "unknown"

Update Time-Piece to CPAN version 1.24

  [DELTA]

1.24      2013-12-03
        - add repository metadata (thanks, David Steinbrunner)

Add test for previously uncovered case.

Explicitly assigned $File::Find::untaint_pattern.

Standardize dir_path() and file_path() in package Testing.

The versions of dir_path() and file_path() previously found in find.t and
taint.t differed only in VMS-specific provisions in taint.t.  Move the
taint.t-versions to the package and use them in both files.

lib/locale.t: Test /il matching

Case-insensitive matching was essentially being skipped here.  This was
because some locales were broken on some platforms which caused locale.t
to always fail somewhere.  However, the previous commit has changed that
so if just a few locales are bad, the tests are marked as TODOs.  Thus
we can make the /il match tests robust.

lib/locale.t: Make another test TODO if it fails

Many platforms have a few locales whose casing functionality is buggy.
However if only a few locales have failures, it probably means that Perl
is ok; and its the platform's locale definitions that are bad.  Earlier,
commit 6d5d702a337e9161f8eb85180a83c4469a8f7ed7 enhanced locale.t, if
only a few locales fail, to mark some tests which were showing these
kinds of bugs as TODOs.  This allowed robust tests to be added to
locale.t which previously were ommitted so as to not cause the tests to
fail if any locale on any platform was bad.  Not having these tests
allowed real Perl bugs to creep in.

This commit adds the /il match testing to the list of these tests.
Currently, it is set to hardly catch anything; and this allowed
another real bug to be introduced into Perl.

This commit was prompted by bugs in Darwin with ISO8859-4 and ISO8859-13
locales.

lib/locale.t: Use lexical instead of $_ in a block

This is because $_ will be used in a future commit for something else

lib/locale.t: Add some debugging info

lib/locale.t: Add debug verbosity level

Several prints were commented out (by using an 'if 0').  Instead convert
them to use the function that displays characters using only ASCII
printables, and subject to output when the PERL_DEBUG_FULL_TEST is more
than 1.

lib/locale.t: Shorten function name

This is just so that future commits won't have to wrap so many lines to
fit in 79 columns

utf8.c: Use U8 instead of UV in several places

These temporaries are all known to fit into 8 bits; by using a U8 it
should be more obvious to an optimizing compiler, and so the bounds
checking need not be done.

Fix broken locale case-insensitive matching

Commit 68067e4e501e2ae1c0fb44558b6aa5c0a80a4143 inadvertently
broke regular expression /i matching under locale.  The tests for this
were defective, so the breakage was not caught.  A later commit will fix
the tests, but this commit restores the functionality.

It also casts the input parameter to some functions to be U8 to make
sure that optimizing compilers can omit bounds checks

perlapi: May want to use savesharedpv on threaded Win32

Adds a note to savepv (and similar) that on threaded Windows
that you may need to use the saveshared version because the memory is
deallocated when the thread ends.

doio.c: Remove EBCDIC dependency

For non-EBCDIC this file used \012 instead of \n.  This may have been a
MAC OS Classic hack, which we no longer support.

regcomp.c: Slight optimization

A swash is accessed either through its inversion list or its hash (only
large swashes actually have hashes; this is usually transparent).  At
this point in regcomp.c, we only will be looking at the inversion list;
by telling swash_init function that via the flag, later accesses
automatically have a level of indirection removed.

perlop: Add note about (?[])

Check unlink on directory for all users, not just root.

For cross-platform consistency, it makes more sense to reject
unlink attempts on directories in the same way for all users
rather than only for root.  geteuid() always returns zero on
Windows, never returns zero on VMS, and is a poor indicator
of privilege on modern unixen, so the code really hasn't been
working as intended on all platforms anyway.