Use the new utf8 to code point functions

These functions should be used in preference to the old ones which can
read beyond the end of the input string.

utf8.c: Add valid_utf8_to_uvuni() and valid_utf8_to_uvchr()

These functions are like utf8_to_uvuni() and utf8_to_uvchr(), but their
name implies that the input UTF-8 has been validated.

They are not currently documented, as it's best for XS writers to call
the functions that do validation.

utf8.c: Add utf8_to_uvchr_buf() and utf8_to_uvuni_buf()

The existing functions (utf8_to_uvchr and utf8_to_uvuni) have a
deficiency in that they could read beyond the end of the input string if
given malformed input.  This commit creates two new functions which
behave as the old ones did, but have an extra parameter each, which
gives the upper limit to the string, so no read beyond it is done.

utf8.c: pod clarification

utf8.c: pod (mostly formatting) + comments changes

perlapi (from sv.h) clarifications

autodoc.pl: pod format fix

perlguts, warnings.t: Update references to obsolete fcn names

These functions were replaced long ago, apparently in 5.8, but I didn't
verify that for sure.

perldelta: clarification

Update Module::CoreList for 5.15.9

Point out CoreList's CAVEATS section is in CoreList.pod

Fix the git commit line as well.

Eliminate a warning

mktables: white-space only

This outdents code to line up vertically with surrounding text

mktables: Backport name_alias changes to earlier Unicode versions

This allow mktables to be compiled for earlier Unicode versions and
work for them.

mktables: Don't duplicate entries

The Name table can have multiple names for each code point.  The highest
priority ones are first in the file.  Prior to this patch, adding a
high priority name to a code point which already had the same name, the
old name could be retained, leaving two identical names for the code
point.  This patch causes the lower-priority one to be deleted.

mktables: A leading zero is different than an only 0

Commit b91749bce0ff3d86c6e210a0b35289b4ad36c144 assumed that a single
0 was a leading 0.  This inappropriately makes a table appear to be hex
when it isn't.  This currently affects the kPrimaryNumeric property
which is part of the Unihan database, and is not normally generated by
mktables; it is generated only if an installation decides they want
to compile Perl to use the Unihan properties.

Unicode::UCD::prop_invmap: Fix returned format

The type of an 'a' table should not be changed to 's'.  This bug
happened currently only if someone changed mktables to output one of the
optional files.

Unicode::UCD: typos in error messages

These concatenated the package name with the beginning of the text with
no intervening punctuation.  Add also the function within the package

mktables: Add required parens and reword warning msg

Should this message ever get triggered, it would fail because the
precedence is wrong: the argument to hex needs parens.  Also reword
somewhat for clarity.

pat.t: Fix typo in comment

Bump the perl version in various places for 5.15.9

More perldelta work.

Mention the fix to perlfunc.html in "Configuration and Compilation" as well.

Also, fix the spelling of html.

Note in the source of perlhist.pod that "cow orker" is no typo.

This won't change the rendered pod, but will clarify to anyone thinking to
patch the "mistake" that the seeming typo is intentional.

Mention Porting/bisect.pl in perlgit.pod, before describing git bisect.

Porting/bisect.pl is intended to cover 90% of use cases, whilst being simpler
to use than git bisect, so mention it first. Condense the description of
git bisect slightly - it's giving implementation details which duplicate
git help bisect, which we already refer the reader to.

Add two missing "file"s to the documentation of Porting/bisect.pl

Move the example git bisect shell script from perlgit.pod to Porting/

This both avoids cluttering the flow of manpage with auxiliary data, and
saves the user from having to extract the script from within the pod file.

bisect-runner.pl should detect ccache with -V, not --version

ccache 2.4 doesn't support the --version parameter, only -V. ccache 3
supports both.

Add a placeholder man page for perltodo, directing people to look at git.

(Done as a second commit to avoid confusing git's rename detection.)

Move the todo list from pod/ to Porting/

Installing the Perl 5 to-do list as a manpage isn't that useful to anyone, as
it's a snapshot that becomes increasingly out of date. Much better to point
anyone interested in contributing direct to git HEAD, to view the current list.

Add a TODO test for RT 111842

Bail out if it looks scary.

Porting/sync-with-cpan hasn't automated all situations yet. In particular,
it assumes the FILE entry has just one element, and that element is a
directory. It also does not know what to do with MAP. If we determine
this situation, we terminate the program before making any changes.
Although there's the --force option for the braves.

Don't remove --tarball

By default, the script removes the tarball of the new distributions.
However, if the --tarball option was given (and hence, the file was not
downloaded from CPAN), we opt to keep this file around.

Use #!/usr/bin/env

/usr/bin/perl on dromedary is 5.8.8; but the script requires 5.10.
By using #!/usr/bin/env, we give the user more control over which perl
should be used. (And this benefits not just dromedary usesr)

More work on perldelta

Merge the feature and B::Deparse refactoring to blead.

Note the improvements to B::Deparse and feature in perldelta.

In feature.pm, inline current_bundle() into __common(), its only caller.

current_bundle() was added after 5.14.0 was released, so has never been in
a stable release. Hence it's totally safe to kill it.

In feature.pm, inline normalise_hints() into __common(), its only caller.

normalise_hints() was added after 5.14.0 was released, so has never been in
a stable release. Hence it's totally safe to kill it.

Merge the code common to feature::import and feature::unimport.

In feature.pm, use a consistent code style in import() and unimport().

There were a couple of inconsistencies (shift with/without an explicit @_,
exists with/without(), !@_ vs @_ == 0) which turn out to date back to
before 5.10.0

Also fix an inadvertent use of a single element array slice with a simple
array lookup in current_bundle().

In B::Deparse::_features_from_bundle(), don't call feature::current_bundle()

Instead, directly access feature's package variables, as B::Deparse already
does in 14 other places. (It also has its tentacles firmly into strict
and warning's package variables - it's not fussy)

feature::current_bundle() was not part of the documented API of feature
either, so B::Deparse wasn't clean previously.

In Deparse, use $feature::hint_mask directly, instead of copying its value.

Also, require feature unconditionally.

Deparse already directly uses data from feature, switch and warnings, so
this isn't a new trend in encapsulation breakage. Previously Deparse copied
the value of $feature::hint_mask, and lazily loaded require in 4 places.

In B::Deparse, refactor common code into _features_from_bundle().

In B::Deparse, refactor the two places that feature::current_bundle()

Converge the code, so that it's easy to extract out into a subroutine.

Fix regression in deparsing say (etc) under use 5.10.0

Commit 6634bb9d0ed117be introduced a regression, causing this

    use 5.10.0;
    say "Perl rules";

to be deparsed as C<CORE::say>, not C<say>, etc. It wasn't actually possible
to write tests for this within the t/deparse.t framework until the recent
refactoring.

Add tests for deparsing C<say> under various combinations of pragmas.

These mostly codify the current output of B::Deparse, which is not invalid,
but might not be considered to be the optimal output. (It's defensive, in
that it uses C<no feature;> which will ensure consistent behaviour whatever
pragma context the output is evaluated in.)

Some are TODO for the cases where B::Deparse is wrongly outputting
C<CORE::say> instead of plain C<say> and C<CORE::__SUB__> instead of plain
C<__SUB__>.

Avoid deparse.t testing everything under use feature ':5.10'

Only use feature ':5.10' in those tests that actually need it. This will let
us add tests for deparsing without any features enabled.

Add a 'context' feature to deparse.t, to better test ambient pragmas.

Call ambient_pragmas() before each deparse test. This will allow use to remove
the constraints of the current default, which is to always run under
use feature ":5.10";

In deparse.t, rename %reason to %meta.

Whilst skip and todo both have "reason"s, subsequent refactoring will use it
for other purposes.

Note in perldelta that C<no feature;> now means reset to default.

The behaviour was changed with commit 39ec54a59ce332fc.

Retry first shot at perldelta.pod.

Documents the differences between 5.15.8 and 5.15.9.

Update Pod::Perldoc to version 3.17

Add a --tarball option

This allows to do the cpan/ upgrade without having to contact CPAN.
For instance, from dromedary, it seems to be impossible to fetch
files from CPAN. With the --tarball option, you can pass the location
of the tarball, and this will used instead of fetching it automatically
from CPAN.

Some backslashes turn out not to be always there.

Fix a cut-and-paste error

Revert "First shot at perl5159delta.pod"

This reverts commit 21ffc8459b739cc13a32f22a2edb7be485a062e0.

Until I can figure out how to add a new perldelta and make all tests pass.

Revert "Paste in the output of Porting/acknowledgements.pl in pod/perl5159delta.pod"

This reverts commit 98f0737d71a92167bf1aace8a8d8411b985e3200.

Until I can figure out how to add a new perldelta and make all tests pass.

Paste in the output of Porting/acknowledgements.pl in pod/perl5159delta.pod

Attempt to find an author if (s)he comes via RT.

In the case of commits, it maybe that the reporter used RT, which results
in a generic RT email address. Instead of just reporting the author as '!',
we'll do an attempt to see whether he's named in the AUTHORS file.

First shot at perl5159delta.pod

Update CPANPLUS to CPAN version 0.9121

This resolves a regression introduced with v0.9109
which was included with perl version v5.15.2 and is
therefore a regression since v5.14.x

  [DELTA]

  Changes for 0.9121      Sat Mar 17 23:23:42 2012
  ================================================
  * Resolved a regression with dev '_' version
    numbers since 0.9109

In S_parse_body(), don't "leak" linestr_sv until global destruction.

This commit ensures that linestr_sv is properly cleaned up, if allocated.

The local variable linestr_sv was added by commit 009d90df4e17a415 in 2007,
to replace use of PL_linestr in S_parse_body(). However, that commit didn't
add any code to free linestr_sv at the end of S_parse_body(), meaning that
the SV sticks around until global destruction.

Subsequent code simplification possible by the removal of suidperl reveals
that linestr_sv is only needed for the '-x' option, so it's safe to avoid
allocating it up front. Additionally, during '-x' processing, Perl_sv_gets()
will upgrade the target SV to SVt_PV and allocate the string buffer as needed,
so there's no need to pre-upgrade or pre-allocate the SV in S_parse_body().
This slightly reduces the amount of code.

Remove all the never used parameters from the macro validate_suid()

Several parameters are unused in either remaining variant of the
validate_suid() macro. The two variants which used the extra parameters
were removed with suidperl by commit cc69b689ee7c2745 in Jan 2009.

In perlfunc, don't have functions in "Misc" and a second category.

dump, eval, evalbytes and wantarray are now only in "flow control".
local, my, our and state are only in "scoping".
prototype is now only in "misc". Whilst *prototypes* affect parsing, and
hence indirectly flow control, the prototype function is for introspecting
prototypes.

De-emphasise switch-related keywords in perlfunc.

Move the 3 non-function keywords into the summary cross reference section
at the end of perlfunc. Eliminate the examples which duplicate examples in
perlsyn. Merge the remaining 2 keywords into the "control flow" group.
Note that the switch feature is considered experimental.

With these changes, `perldoc -f default`, `perldoc -f given` and
`perldoc -f when` will still return a helpful result, and as before will
refer the reader to perlsyn for full information.

In the perlfunc cross-reference sections, link to the section within a page.

perlfunc now has a section cross referencing keywords documented elsewhere.
Keywords are grouped by man page, and for most manpages, all the
cross-referenced keywords are in the same section. Hence make the L<> links
more specific by including the section.

DESTROY is documented in perlobj - correct the cross-reference in perlfunc.

ignore new build result from splitting docs for Module::CoreList

Unicode::UCD: pod clarifications, corrections

charnames.t: Attempt to fix probable timing issue

charnames.t sometimes fails on a test that is expecting a file to be
non-existent.  However, other tests in it briefly create a file by that
name.  When two instances of the .t are run in parallel, as happens in
some smokes, it could be that the file exists at the time it is expected
not to.  The result is a non-reproducible failure.  Anyway, that is my
theory.  And so this commit changes to use a filename that is used just
by the test for what happens when a file is non-existent, and hence
doesn't ever exist even transiently.

cherrymaint: Beef up --help option

I can never remember how to set the tunnel up for using this, so
add it to the help output

Run podtidy on perlsource.pod

Add a missing word to perlsource.pod

Fix POD issues

Document upgrading a module in cpan/

Clearify this is for even numbered (BLEAD-FINAL) releases.

correct argument handling in Term::ReadLine

https://rt.perl.org/rt3/Ticket/Display.html?id=111758

patch by Darin McBride

Separate the POD from the corelist data in Module::CoreList

See https://github.com/CPAN-API/metacpan-web/issues/485

Revert "Upgrade IO-Compress to 2.049"

This reverts commit 1d4b9cf3270c936605a07ecd7414f808755d3184.

This depends on the module that was reverted by Ricardo at the same time.

Upgrade IO-Compress to 2.049

Allow passing the name of the CPAN module

Upgrade CPANPLUS to 0.9120

Deal with files in the CUSTOMIZED sections.

Upgrade Socket to 2.000

Upgrade Socket to version 2,000

Fix the fixing of MANIFEST

Upgrade Unicode::Normalize to 1.14.

Revert changes to compression libraries

Revert "Ran zlib2ansi script against zlib-src/ to fix K&R-isms"
This reverts commit a7026383bc5a2ca5f518f670ee6d74d55cd994aa.

Revert "Some files in cpan/Compress-Raw-Zlib have the x bit set."
This reverts commit adace0595a25c5339a4c1fff6b4704945abf8814.

Revert "Fixes type in commit 14c554185"
This reverts commit d588a46d9335dc093e4046b68ae0e2c7925ef095.

Revert "Upgrade Compress::Raw::Zlib to 2.051."
This reverts commit 14c554185b51c8646198cbf62fe6e94e9890b3a5.

Revert "Upgrade Compress-Raw-Bzip2 to version 2.049."
This reverts commit 616f340ab90cf805b145b81fd31c2017a4e7783f.

Revert "Upgrade cpan/Archive-Tar to 1.84"
This reverts commit c06ee8c824f270b42cb440453df0e44858492aed.

Revert "Upgrade Archive-Extract to 0.60"
This reverts commit dc16b9e468c516c95140dc2b6eac778872c79239.

Upgrade Unicode-Collate to 0.89

List one more TODO

Upgrade Digest-SHA to 5.71.

More tests, and more exec-bit removal.

Checks all the files in the new directory that have the exec bit set.
If the file isn't new, and if the old file doesn't have the exec bit set,
disable it.

Runs the tests that come with the package as well.

Disambiguate map { }

Mention Porting/sync-with-cpan

Add Porting/sync-with-cpan

It helps if you actually commit the changes you make. :(

Script to help out upgrading a cpan/ distro.

This one is not complete yet, and its portability can be much improved.
But it helps me out right now, and it wouldn't be fair to keep it all to
myself.

Upgrade Locale-Codes to 3.21

stop S_forget_pmop() SEGVing

Commit 5bec93be re-purposed the SvMAGIC field of hashes being freed, on
the grounds that (a) any magic had been freed, (b) the refcnt was zero, so
no-one else could mess with the hash.

Unfortunately in the non-threaded case, PMOPs for m?? regexes have a
non-refcounted link back to their stash. When the stash is freed, any subs
in the stash are freed, which frees the PMOPs, which then see the freed
stash, and assume it still has magic because SvMAGIC is non-null.

The quick fix is to check the SvMAGICAL flags first; a longer term fix
would be to avoid the weak ref (e.g. by always using the threaded variant
of PmopSTASH, which stores the stash's *name* rather than a pointer to the
stash).

Merge branch 'blead' of ssh://perl5.git.perl.org/gitroot/perl into blead