Rename an internal flag

The UTF8 in the name is kind of misleading, and would be more misleading
after future commits make UTF8 locales special.

regcomp.c: Avoid calling heavy duty functions when possible

This code calls the general purpose functions to fold and convert to
utf8.  These can be avoided for many frequently used code points.

regcomp.c: Nit in comments

regcomp.c: Swap two else clauses for clarity.

This makes one clause mostly positive tests, instead of mostly negative
tests; using positives is easier to understand.

regen pod issues

Increase $B::Deparse::VERSION to 1.25

[perl #121050] Teach B::Deparse about prototype whitespace

It has been hanging or unnecessarily using & since commit d16269d835
caused spaces to be preserved in the prototype and stripped when
applied during sub call compilation.  That commit did not update
B::Deparse accordingly.

PATCH: Bump Locale-Codes from 3.28 to 3.29

I just released Locale-Codes-3.29 which contains the core modules
Locale::Country, Locale::Language, and Locale::Currency.  The patch is
attached here.

====
Background:

The core modules Locale::Country, Locale::Language, and Locale::Currency
(all part of the Locale-Codes distribution) should be updated on a
regular basis. They contain "codes" from various internet standards
which change over time.

I plan on releasing new versions at 4 times a year to keep the codes
up-to-date. At this point, I'm not planning on any significant code
changes (other than bug fixes), so the only significant changes between
releases should be to update the codes.

Signed-off-by: Chris 'BinGOs' Williams <chris@bingosnet.co.uk>

Taint more operands with case changes

 The documentation says that Perl taints certain operations when subject
 to locale rules, such as lc() and ucfirst().  Prior to this commit
 there were exceptions when the operand to these functions contained no
 characters whose case change actually varied depending on the locale,
 for example the empty string or above-Latin1 code points.  Changing to
 conform to the documentation simplifies the core code, and yields more
 consistent results.

fold_grind.t: Use LC_CTYPE, not LC_ALL

We are testing here just LC_CTYPE, so is better to use just that
category.

Avoid unnecessary malformed checking

regen/regcharclass.pl can create macros for use where we need to worry
about the possibility of malformed UTF-8, and for where we don't.  In
the case of looking at regex patterns, the Perl core has complete
control over generating them, and hence isn't generally going to create
too short a buffer;  if it does, it's a bug that will show up and get
fixed.  This commit changes to generate and use the faster macros that
don't do bounds checking.

regen/regcharclass.pl: Don't test UV >= 0

An unsigned must always be >= 0, and generating a test for that can lead
to a compiler warning, even if it gets optimized out.  The input to the
macros generated by this are supposed to be UV.  This commit suppresses
any >= 0 test.

regen/regcharclass.pl: Fix warning

wrap() is already defined by the regen infrastructure; no need to do so
again, and get warning if we persist in doing so.

Move an inversion list generation to mktables

Prior to this patch, this was in regen/mk_invlists.pl, but future
commits will want it to also be used by the header generated by
regen/regcharclass.pl, so use a common source so the logic doesn't have
to be duplicated.

Regen porting/known_pod_issues.dat

This is to acknowledge the too-long verbatim lines in perlandroid,
which look to me to be better left long

Move more locale code to t/loc_tools.pl

This trivial code to determine if a locale is a utf8 one or not is
currently used in just one place, but future commits will use it in
others, and will make it non-trivial, and non-obvious.

Android support

This merge introduces Android support for Perl, for all three currently
available architectures (ARM, MIPS, x86), either through native builds
or cross-compilation (from x86_64 and x86 hosts).

perldelta for Android

Plus an entry in perlport

Android hints: run-adb-shell was mishandling '\0'

That's literally '\0', all four characters, not a null.  Previously, due to
mistakenly passing things through the shell twice, it turned '\0' into an
actual null, and that screwed up the test for fflush(NULL)

Configure: Fix the fflush(NULL) test in cross builds

Second attempt at this. This is less portable than the previous
version, since it assumes that the target system will have a cat, but unlike
the previous version this now actually works.

README.android: minor wording fixups

reentr.c: Handle systems without getpwent

Namely, Android.

ExtUtils::ParseXS: Fix tests for native android builds

AUTHORS and MANIFEST for the CBuilder Android patch

Up the version of ExtUtils::CBuilder

CBuilder, android: Fix the useshrplib check

ExtUtils::CBuilder: Android with useshrplib needs -lperl

pod fixups on README.android

README.android: Notes about cross-compiling from a x86 host

README.android: Update for native builds

Added README.android

Cwd.pm: Handle native android builds better

ext/POSIX/t/sysconf.t: Skip testing pathconf with _PC_LINK_MAX on android

IO::Socket::INET: Handle getprotobyn{ame,umber} not being available

Net::Ping: Handle getprotobyn{ame,umber} not being available

dist/IO/t/io_pipe.t: Work around android only having an inbuilt echo

t/op/sigdispatch.t: SKIP, not TODO

t/io/fs.t: Handle Android's pwd being a shell builtin

t/op/filetest.t: On Android, don't try checking if ln exists with which

Assume that it does -- even the most barebone of toolbox binaries
provides ln, but not which.

t/op/sigdispatch.t: Increase timeout to avoid issues on slow processors

t/op/stat.t: use 'ls -l' on android, even if d_readlink is defined

t/op/fork.t: Up the sleep time in a test to avoid timing issues

t/op/fork.t: Work around android only having an inbuilt echo

t/op/magic.t: Skip tests that use env on Android

t/op/magic.t: Work around android only having an inbuilt pwd

t/op/incfilter.t: Work around android only having an inbuilt echo

t/op/sigdispatch.t: TODO tests that don't work on some Android builds

t/op/magic.t: TODO tests that don't work on some cross-compile builds

t/op/sprintf.t: Add Android to the list of skips for %.0g

Adjust fs test to try more ways of getting the CWD. Expire if we still didn't get it.

pod/perlport.pod: Note which functions are not available on Android

Configure: If cross-compiling to linux, pick the proper hints file

Something like arm-linux-gnueabihf -- which is what the raspberry pi
gets as its targetarch -- is really just plain Linux, so set osname
to that and load up the hints file.

Configure: added special osname checks for nto and android

When cross-compiling, for android, anything matching *linux-android*
gets osname=linux-androideabi.  This is to allow compiling to
all three android variants (x86, arm, mips).
For QNX Neutrino, anything matching nto*|*-nto-* gets osname=nto. In
the future, that might change to 'qnx', but right now we don't want
it to pick up the hints file.
For anything else, keep the current behavior, which is to set osname
to the output of `echo $targetarch|sed 's,^[^-]*-,,'`

Android hints: Set d_csh to undef in cross builds

Android hints: load the linux hints to get those defaults

Android hints: Clean up some files if cross-compiling with adb

Android hints: In native builds, add -L/system/lib to ldflags

This is just a safety net against the linker being weird.

Configure, Android hints: Changes to allow native builds

Android hints: When Configure finishes, turn $^O into 'android'

During Configure, we want it to be linux-android, so that
it'll also go through all of the linux checks.

Android hints: Add m to libswanted

Android hints: Set osvers to getprop ro.build.version.release

Make compiling with adb work again

Android hints: Only use adb if $targetrun is set to adb

This loses us some DWIMnery, but allows cross-compiling to
android using ssh, which is much easier to set up than getting
the SDK.

Android hints: Only set userelocatableinc if it doesn't have a value

Without this, Configure would've bailed out if trying to build a
-Duseshrplib perl.

hints/linux-androideabi.sh: If the host OS is darwin, set firstmakefile to GNUmakefile

hints/linux-androideabi.sh: use $chmod instead of plain chmod

hints/linux-androideabi.sh: use $cat instead of plain cat

hints/linux-androideabi.sh: adb takes care of creating the target dir on the target

hints/linux-androideabi.sh: sed might not understand "\r", use $tr instead

hints/linux-androideabi.sh: Rather than relaying on adb, save the exit status in a file and then copy it over

hints/linux-androideabi.sh: getservent_r() is a partial stub, mark it as undefined to avoid issues with threads

android hints: Always define d_libname_unique

Android hints: Detect stub functions and mark them as undefined.

Bionic implements several functions as stumps that simply warn
and return null, which leads to situations like this:

FIX ME! implement getprotobyname() bionic/libc/bionic/stubs.c:378

This commit introduces some probes for functions (getnetbyname,
getnetbyaddr, getmntent, getprotobyname, getprotobynumber, endpwent,
ttyname) that we use and are actually stubs in at least some
versions of Android.
If we find a stub, we pretend that the function is undefined, so
the above example becomes this:

Unsupported socket function "getprotobyname" called at -e line 1.

Note that this commit does not fix the modules that assume that
these functions are always available, so 'make test' still fails.

Correctly quote result from adb, otherwise multiline responses breal (eg signal_cmd)

Android hints, run-ssh: Make sure that the stdout of commands run from Configure and Makefile on remote hosts is transfered back correctly

No locales in Android, just set the lot to undef

Android hints, run-adb-shell: Handle the -env switch

Currently, this is used during 'make test' to specify LD_LIBRARY_PATH

Android hints: set targetsh to /system/bin/sh

Android, for reasons best known to itself, doesn't have a "/bin/sh" it
has a "/system/bin/sh".  We need to run "/bin/sh" as $sh inside
./Configure on the host, but store a different path for use on the
actual Android system (eg by backticks, system etc, in SH_PATH).

The new variable is "targetsh" and defaults to "sh" unless changed by the hints file/Configure params.

Create a Perl with relocatable inc when building for Android.

Hints file for android cross-compiling.

The hints file names for cross-compiling (currently) need to match the prefix of the cross-compiler used.

Linux hints: Improve the code that looks for libc.so

Linux hints: Improve the portability of the -lndbm check

Linux hints: add some missing $ccflags

Linux hints: Handle `uname -m` in cross-compilation builds

Linux hints: try using user-provided binaries before going for the defaults

This means that if the user called Configure with -Dnm=/foo/bar/nm, the
hints will try using that before going for plain 'nm'

Make it clear what it means if there's no distinction between -M and -m.

Triggered by perl #121078, where someone thought one could mimic the
behaviour of C<-m> by a clever use of C<-M> and C<=>.

targetsh in configure.com again

In 9056626be4b0df I had set it to empty string, but thanks to a
heads up from Brian Fraser I've realized it should be the same
thing as sh as it is now used to set up SH_PATH.

Fix targetsh in configure.com.

Specifically, there is no 'sh' variable, so if we try to reference
it we get:

%DCL-W-UNDSYM, undefined symbol - check validity and spelling
 \SH\

So enter an empty string for targetsh.

Make fileify handle node specifications better.

In particular, a node specification containing only a single
directory (i.e., node::dev:[dir]) was not being handled properly.

This came up while reproducing the problem in [perl #121002] but
was not the cause of that problem as the OP's directory had
multiple subdirectories in it.

In vms.c's Perl_opendir, skip access check on remotes.

As reported in [perl #121002], the homegrown opendir has been
failing when the directory specification contains a DECNet node
specification indicating the directory to be accessed is on a
remote node.  The OP reports this worked with Perl 5.001 but not
5.8.6 or 5.18.2.

It appears that the culprit was the introduction of access
checking to Perl_opendir in 61bb59065bf1b12edab39b12, which would
first have been released in 5.004.  Yes, it's been broken for 17
years.

The reason access checking broke remote access is that it's based
on SYS$CHECK_ACCESS, which apparently does not work on remotes,
though the only hint of that in its documentation is that the
status SS$_UNSUPPORTED, "Operations on remote object are not
supported" is listed as a possible return value.  What it actually
returns, despite the documentation, is SS$_INVFILFOROP, "invalid
file specification for operation."

The fix is simple enough -- just skip the access check if the
directory name contains a node specification (which always ends
with "::").  All the access check is providing is a friendlier
error message in cases where we don't have access, so no harm is
done by skipping the check in cases where it can't work.

resolve bug 121070 - preserve $^R after successful match

We call LEAVE after successful eval matches, which clears $^R.

This changes a test that was added as part of handling bug 56194.

Makefile.SH, make test: Copy config.sh when cross-compiling

t/TEST uses this to determine which extensions to run tests for;
if it's missing, it'll end up running everything, which means a ton of
failures from, say, Win32 and VMS if cross-compiling to Linux.

t/porting/: Skips for cross-compilation

Update Module-Load to CPAN version 0.30

  [DELTA]

0.30    Sat Jan 25 13:26:51 GMT 2014
* Fix 'uninitialized' warnings during testing
* Added done_testing() to tests

Update Module-Load-Conditional to CPAN version 0.62

  [DELTA]

0.62    Fri Jan 24 15:52:44 GMT 2014

* Resolve test failures on v5.16.x

Update File-Fetch to CPAN version 0.48

  [DELTA]

0.48        Fri Jan 24 10:32:52 2014

* Force curl to be IPv4 only during testing
  on NetBSD

File::Spec::Unix->tmpdir: Always return an absolute path

This is generally a non-issue, however, if /tmp doesn't exist
and $ENV{TMPDIR} isn't set, ->tmpdir() used to return ".", which
broke the following pattern:

    use File::Temp qw(tempdir);
    use File::Spec;
    my $tmpdir = tempdir(CLEANUP => 1);
    chdir $tmpdir;
    my $file = File::Spec->catfile($tmpdir, "foo");
    open my $fh, ">", $file or die $!;

Because $tmpdir would be something like 'bfhskjf94589', and after
the chdir, the open() would've tried to open $tmpdir/$tmpdir/foo.

Note that this is only the case when not running in taint mode.  If taint
is enabled, ->tmpdir will still return '.'; this mirrors the behavior of
File::Temp.

Upgrade Scalar-List-Utils from version 1.37 to 1.38

Fix $ENV{PATH} flags in Peek.t.

Setting $ENV{PATH} explicitly in bea5cecf09ba646ff0ff made us no
longer have the TEMP flag set on VMS, so make it optional.

lib/locale.pm: Pod corrections