loc_tools.pl: FIx to work on Android

Thanks to Brian Fraser for finding this and suggesting the kernel of
the patch.

The code to try to handle platforms without the POSIX module didn't work
properly.  This code had just been moved, unchanged, here from
lib/locale.t; it never got executed previously due to a skip_all.

This patch also makes sure minitest doesn't fail, and adds some comments

locale.c: Silence Win32 compiler warning.

This compiler is not smart enough to realize that overflow of a byte
can't occur here as the loop stops at 255.

Configure: add missing ; to checkccflags

handy.h: Move the _LC_CAST declaration.

Previous it was left so that some systems, like Android, didn't get this,
which broke the build.

time64.h: On QNX, use const for tm_zone

http://www.qnx.com/developers/docs/6.3.0SP3/neutrino/lib_ref/t/tm.html

time64.h: Declare tm_zone as const under Android, but not if using C++

https://android.googlesource.com/platform/bionic.git/+/master/libc/include/time.h

Merge branch 'cross-compile-revamp' into blead

This branch modifies how the cross-compilation model works.

The main change is that we now build a host miniperl to use locally,
rather than running each call to miniperl remotely.

It also removes several of the exceptions from the old model (no xlib,
xconfig.h, or Cross.pm).

Update IPC-Cmd to CPAN version 0.92

  [DELTA]

0.92 Wed Jan 22 19:57:27 GMT 2014

  Test fixes:
  * Use File::Temp in run_forked tests (hugmeir)

t/op/magic.t: Use three-arg open to avooid creating a subshell

Add Darwin shared libraries (dylib) to gitignore

ext/DynaLoader/t/DynaLoader.t: Skip the dl_findfile test when cross-compiling

Moved a glob test from t/run/fresh_perl.t to t/op/glob.t

This was done because, currently, the test fails when cross-compiling
perl, but run/fresh_perl.t can't use Config to check if we're cross-
compiling.

dist/ExtUtils-Install: Skip tests if make is not available

lib/ExtUtils/t/Embed.t: Skip tests is cross-compiling and $Config{cc} is not available

t/lib/warnings/pp_sys: Add skips in case telldir is not available

perllexwarn: Fit verbatim lines in 79 columns

perllocale: Nits, corrections

This corrects some formatting nits and grammatical errors, with some
clarifications and corrections to the existing text, and adds coverage
of some previously undocumented functionality.

perl.c: Add missing ref count decrement

This could have led to a leak.

locale.c: White-space only

This indents because the previous commit added a block

locale.c: Find utf8-8 locales reliably on C99 platforms

locale.c has a function that tries to determine if the current POSIX
locale is a UTF-8 locale.  Prior to this patch, it used nl_langinfo() to
determine this, falling back to heuristics if that is unavailable on the
platform.  nl_langinfo()  is part of POSIX.1-2001.  -This patch adds the
use of two functions from C99, mbtowc() and MB_CUR_MAX,  that also give
reliable results.

t/loc_tools.pl: Add some locale finding for Win32

This is based on the documentation in
http://msdn.microsoft.com/en-us/library/hzz3tw78.aspx
and linked-to pages.

We try out new locale combinations to see if they are found.

Move more common locale finding code into t/loc_tools.pl

As a result of some code meant to do the same thing being in two
different places, one got updated, and one didn't.  So t/run/locale.t
was being skipped for Win32, even though the bug there it was avoiding
has been fixed in XP.

t/run/locale.t: Use common code for finding locales

Instead of using its own ungeneral code for finding the available
locales on the system, use the new common, and more general, code.

This means this test will now run on more systems, where it currently is
skipped

t/loc_tools.pl: Extract out finding locales from locale.t

Several different test files need to find the locales on the system, and
each currently has rolled its own methods to do that.  This commit
creates a new file t/loc_tools.pl which is designed to be a common
place for these tools.

lib/locale.t did the most thorough job of finding locales, so
t/loc_tools.pl is built upon what it had, which is now deleted from
locale.t.

The code in t/loc_tools.pl was copied from lib/locale.t with white space
changes and changes to make this be a subroutine, and helper functions
renamed to begin with an underscore, and changing the hard-coded list to
be in a DATA section so it doesn't have to be actually used unless
necessary.

lib/locale.t: Remove no longer needed SKIPS

locale.t has changed so if tests in some locales fail, it still passes,
provided that most locales work.  Thus this code whose effect was to
know about some broken locales and SKIP them, is no longer needed.

reg_posixcc.t: Improve test names

The test names dated to before feature unicode_strings, and were
misleading.

regcomp.c: Extract out code into a separate function

This is in preparation for it to be called from a 2nd place.

perlunicode: Wrap some lines

This is to make source readable in 79 column window

regcomp.c: Simplify expression

The previous commit has allowed us to remove the separate test for LOC,
and to replace the one for FOLD by ANYOF_LOC_FOLD.  The flags being
tested here can't be true unless LOC is also true, so testing for it is
superfluous.

regcomp.c: Move some code to earlier

This code isn't affect by and doesn't affect things between where it is
being moved to and where it is now.  Moving it will allow simplification
of an expression and also is needed in future commits

Add some cBOOL casts to macros

I kept getting burned by these macros returning non-zero instead of a
boolean, as they are used as bool parameters to functions.  So I added
cBOOLs to them.

perlapi: Tighten strictures against using undocumented things

We didn't actually say that undocumented global variables and macros are
off-limits.

Comments, white-space

This adds and modifies various comments in several files, rewrapping
some comments to occupy fewer lines but not exceed 79 columns.  And
fixes some indentation and other white space issues.  It includes
removing trailing white space in lines in regcomp.c.  I didn't think it
was worth making a commit for each file.

regcomp.c: Don't output empty debugging text

This code labels the information that is to follow, and was output even
if that information was empty, so it was confusing.  Now output only
when we know that there will be non-empty information to follow

regcomp.c: request inlining of single line function

Panic if regex making a trie under /li

It does not make sense to try to make a trie using data that is not
determinable at runtime.  So don't pretend to try.

Rename regex internal flag bit

This is a clearer name; is used internally only in regcomp.c and
regexec.c

Use bit instead of node for regex SSC

The flag bits in regular expression ANYOF nodes are perennially in short
supply.  However there are still plenty of regex nodes possible.  So one
solution to needing to pass more information is to create a node that
encapsulates what is needed.  That is what commit
9aa1e39f96ac28f6ce5d814d9a1eccf1464aba4a did to tell regexec.c that a
particular ANYOF node is for the synthetic start class (SSC).  However
this solution introduces other issues.  If you have to express two
things, then you need a regnode for A, a regnode for B, a regnode for
both A and B, and another regnode for both not A nor B;  With three
things, you need 8 regnodes to express all possible combinations.  This
becomes unwieldy to write code for.  The number of combinations goes way
down if some of them are mutually exclusive.  At the time of that
commit, I thought that a SSC need not ever warn if matching against an
above-Unicode code point.  I was wrong, and that has been corrected
earlier in the 5.19 series.

But it finally came to me how to tell regexec that an ANYOF node is
for the SSC without taking up a flag bit and without requiring a regnode
type.  The 'next_off' field in a regnode tells the engine the offeset in
the regex program to the node it's supposed to go to after processing
this one.  Since the SSC stands alone, its 'next_off' field is unused,
and we can put anything we want in it.  That, however, is not true of
other ANYOF regnodes.  But it turns out that there are certain values
that will never be legitimate in the 'next_off' field in these, and so
this commit uses one of those to signal that this ANYOF field is an SSC.
regnodes come in various sizes, and the offset is in terms of how many
of the smallest ones are there to the next node to look at.  Since ANYOF
nodes are large, the offset is always > 1, and so this commit uses 1 to
indicate an SSC.

handy.h: Express locale macros using common base macros

This extracts out the code of looking up POSIX classes in locales to use
base macros common to all of them.  It does this for the NeXT only code
as well as the typical compilations.

This is in preparation for changing the behavior.  Certain things look
weird as they are aligned, etc as part of that preparation.

handy.h: Factor out common code

It turns out that the definitions for isASCII_LC and is_BLANK_LC end up
being the same for all three possible #if platform states, so can just
have them once instead of three times.

It is unlikely that the
    && ! defined(USE_NEXT_CTYPE)
is necessary, because HAS_ISASCII likely won't be defined, but this
makes sure that this doesn't change the previous behavior.

handy.h: White-space, comments, pod nit only

pp_hot.c: Rmv unnecessary test

The strchr() cannot not succeed unless the first test fails, so the
first test need not be tried at all.

Glossary entries for host{perl,generate,osname}

perldelta for the new cross-compilation model

Configure, Makefile.SH: Allow running generate_uudmap in the target

This is a bit of a step backwards, but we want to run this in
the target platform when cross-compiling to some unusual setups,
like ASCII -> EBCDIC.

What this branch introduces is a third "path" for generate_uudmap:

 * If we are doing a native build, just build it as usual and run it.
 * If we're cross-compiling, and either -Dhostgenerate was specified OR
   if it was left empty, which is the default case, then create
   a host generate_uudmap and run it locally
 * Finally, if are cross-compiling and were built with -Uhostgenerate,
   then build generate_uudmap for the target and run it there, bringing
   back the resulting headers.

Configure: Minor improvements to the building on the host miniperl

Configure: When cross-compiling, save the $^O of the host

Configure: Silence $to warnings when cross-compiling

Configure, run-ssh: No need to use ./\$exe

Previous, if run-ssh was passed ./TEST, it would've ended up running
././TEST in the target system.  Similarly, if you passed 'uname',
it would've tried running ./uname, which would've failed
spectacularly.

This commit changes run-ssh so that it won't add the extra './';
this means that shell builtins can be run in the target system.
While this is not generally portable, it's useful in specific
situations, such as in the hints files.

Update the WinCE files to the new cross model

configpm: Remove remnants of the old cross model

Remove old cross-compilation model

make_ext.pl: Phase out the use of Cross.pm

In the old cross-compilation model, lib/ for the target would
end up in xlib/; What Cross.pm did back then was change @INC
around a bit to have miniperl point to xlib; Additionally, it
was used to identify cross-compilation builds, and in make_ext.pl
to detect whenever a Makefile was from the host's build.

There is no longer any need for the first, and the second is now
a simple check for $Config{usecrosscompile}, it's still
possible for the hosts' Makefiles to be there, particularly
if the host was not compiled elsewhere using -Dmksymlinks,
like in Windows when targetting WinCE.

This commit changes make_ext.pl for cross-compiling builds
to only delete Makefiles when their CC != $Config{cc}.

Makefile.SH: Remove remnants of the old cross-compilation model

No xconfig.h is produced when cross-compiling, we have a normal config.h

Make sure to remove the Cross/mkdir script on *clean

Gitignore files which are created/used while cross-compiling

Makefile.SH: on make test_prep, add $target/lib:$target/lib/auto to -env LD_LIBRARY_PATH=...

Makefile.SH: 'make test' for cross-compilation builds.

Along with the previous commit, this enables us to run 'make test'
on the host and have the tests run on the target. We do this by
calling ./Cross/run ./TEST with -cwd $targetdir/t, and setting its
LD_LIBRARY_PATH to $targetdir, so that libperl.so is found.

Makefile.SH: When cross-compiling, copy the files needed by make test.

This is groundwork to enable us to do this:

    $ make
    $ make test

on the host, and have the test suite be run on the target.

Currently this list of files is hand-maintained.

Configure: Teach run-ssh to handle -env

Configure: Pass the -r flag to scp when cross-compiling

Use HOST_PERL instead of built perl for perl installation

HOST_PERL is often set while cross compiling, so we can run the
install from the host machine.

Use the system perl for RUN_PERL, if we are cross compiling, and we found one.

Note we can only substitute the system perl for scripts that do not require Config
as it complains about non-matching Perl versions.

Makefile.SH: Updated the lib/buildcustomize.pl rule for cross-compilation builds

write_buildcustomize.pl: Setup $^O to be the target os when building Core.

This allows the correct hints files to be loaded when building modules
We do this by giving write_buildcustomize.pl a 'osname' parameter.

This means that write_buildcustomize.pl no longer depends on
Config to get osname, which eliminates a circular dependency
in the Makefiles.

configpm should use "osname" from config.sh, instead of miniperl's $^O.

This is necessary when cross-compiliing, as we use a host (mini)perl to
run configpm for the target arch; so for example, miniperl's $^O
might be 'linux', but config.sh's osname can be 'qnx'.

Run all the miniperl calls locally, not via RUN

Build host miniperl and generate_uudmap binaries when cross compiling, for local use

Stop using Config{run} to check the version of (mini)perl we are running

Stop using $run for anything other than testing compiled tests in Configure.

When cross-compiling we want to run miniperl etc on the compile host, not the test target

Update AUTHORS and MANIFEST to appease test_porting

fix the ability to use targethost when defined.

add an escape for when targethost is not defined but usecrosscompile is.

See http://www.nntp.perl.org/group/perl.perl5.porters/2012/12/msg196443.html
"Cross-building and Makefile.SH", which explains the reasoning for this.

Configure: Set to/from/run scripts if targethost is passed

Do this regardless of whether we are cross compiling

Configure: Split the usecrosscompile section from the to/from/run section

Beyond organization, this also makes sure that usecrosscompile is
always set to undef if we're not cross-compiling, which enables
code to realibly use $Config{usecrosscompile} to check for a
cross-compiling perl.

restore missed commit in regeneration (spotted by hugmeir)

Regenerate from meta after backporting crosscompile changes

I am sure there are items that could have been processed even cleaner,
but with the current state, the content is functional equal.

perldelta for c91312d5e, none needed for e214621be

[perl #120977] use warnings "FATAL" implies "all"

[perl #120977] bump $warnings::VERSION

assume "all" in "use warnings 'FATAL';" and related

Until now, the behavior of the statements

 use warnings "FATAL";
 use warnings "NONFATAL";
 no warnings "FATAL";

was unspecified and inconsistent. This change causes them to be handled
with an implied "all" at the end of the import list.

Tony Cook: fix AUTHORS formatting

add a missing word in perllexwarn

PerlIO_tmpfile: Don't leak an SV

This was spotted by Daniel Dragan on the thread for #120591

perlio.c, PerlIO_tmpfile: Fall back to cwd if we have no /tmp or $TMPDIR

With this, open($fh, undef) will now work on systems without
a /tmp (or equivalent) where TMPDIR is not set.

sv.c, Perl_dirp_dup: Skip the fchdir sections if telldir and seekdir are not defined

Update Scalar-List-Utils to CPAN version 1.37

  [DELTA]

1.37 -- 2014/01/21 14:44:34
   [BUGFIXES]
   * Fix unweaken() for perls < 5.14; need to use sv_setsv() to undef
     rather than sv_clear() (RT92226)

version and Module-CoreList are up to date with CPAN

document $^P's 0x800 and 0x1000

these were introduced in c30d8139e

create new perldelta for 5.19.9

add the 5.19.8 epigraph

fix an epigraph typo

His name is Milo Minderbinder.

He is twenty-seven years old.

bump version to 5.19.9!

Merge tag 'v5.19.8' into blead

Ninth release of the v5.19 series!

perldelta: add the 5.19.8 acknowledgements

rename sTHX to PERL_MEMORY_DEBUG_HEADER_SIZE

Originally this macro evaluated to the size of the THX pointer;
this was used with the memory pool facility to store the context of the
caller of the malloc() for debugging. Later, the header of the malloc()
stored more than just the context, so sTHX became a mismoner.

Rename it to something less misleading.

Prevent V-magic from being stripped by locale fix

version/t/00impl-pp.t was failing with locales

See thread beginning
    <20140113132518.GA11721@iabyn.com>

perlhist: note that 5.19.8 should be released today

thrreads::shared: LEAVE in BOOT had wrong context

In Perl_sharedsv_init() - which is called from the threads::shared BOOT
code - it creates a new shared interpreter, then tries to undo the ENTER
done as the last step of the perl_construct(PL_sharedsv_space) step, with
a LEAVE. But the LEAVE was being done in the context of the caller
interpreter rather than the shared one.

See the thread beginning <52D528FE.20701@havurah-software.org>

[perl #121031] fix all of the other incorrect calls to fresh_perl_is()

The third argument to fresh_perl_is()/fresh_perl_like() is treated as
a hashref, passing a string is kind of strange.