full API for cop hint hashes

Expose cop hint hashes as a type COPHH, with a cophh_* API which is a
macro layer over the refcounted_he_* API.  The documentation for cophh_*
describes purely API-visible behaviour, whereas the refcounted_he_*
documentation describes the functions mainly in terms of the
implementation.  Revise the cop_hints_* API, using the flags parameter
consistently and reimplementing in terms of cophh_*.  Use the cophh_*
and cop_hints_* functions consistently where appropriate.

[Modified by the committer to update two calls to
Perl_refcounted_he_fetch recently added to newPMOP.]

charnames::viacode returning less correct name

There are several cases where more than one name is valid for a code
point.  This happens usually when the original name was published with a
typo in it.  It's best for viacode to return the revised name, though
the original remains valid.

The names data is in a table generated by mktables exclusively for
charnames, including vianame (and its kin) and viacode.  The fix is to
mktables to put the more correct name first in the table, so that it is
found first and returned by viacode().

When I originally designed this code, I thought the correct name should
come last in the tables, so someone looping and reading it could just
overwrite the less correct one with the more correct one.

But to save memory  we have the same table shared by viacode and
vianame, and vianame has to recognize both names, so both entries
are needed.  viacode could do an rindex to find the more correct name,
but experiments show that that was twice as slow as going the other
direction.  Therefore, this patch is for speed.

If the tables for vianame and viacode were ever to be split, this patch
could be reverted, if desired, to put things back to the reverse order.

mktables: Complement variable meaning for clarity

When I was designing this code, I struggled for a long time in how to
name the concept the $cdm variable meant.  I was never very happy with
it.  Coming back to it after a year, I realized immediately that the
complement was much easier to understand, so this patch does that and
rewrites the comments to match

function to parse Perl code block

New API function parse_block() parses a code block, including surrounding
braces.  The block is a lexical scope, but not inherently a dynamic scope.

fix and test PL_expect in recdescent parsing

Set PL_expect at the start of parse_fullstmt() as well as at the start
of parse_stmtseq().  Test both.

[perl #78072] use re '/xism';

handle bracket stack better in recdescent parsing

When recursing into the parser for recursive-descent parsing, put
a special entry on the bracket stack that generates a fake EOF if a
closing bracket belonging to an outer parser frame is seen.  This keeps
the bracket stack balanced across a parse_stmtseq() frame, fixing
[perl #78222].

If a recursive-descent parser frame ends by yyunlex()ing an opening
bracket, pop its entry off the bracket stack and stash it in the
forced-token queue, to be revived when the token is re-lexed.  This keeps
the bracket stack balanced across a parse_fullstmt() frame.

[perl #33752] B::Deparse fails with utf8 and our
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

This commit makes B::Deparse support code like ‘our $ḟōō’. Currently,
an ‘our’ variable whose name is an octet sequence that does not consist
of (\w|::)+ can only be a UTF8 variable name.

When the pad is made to support UTF8 properly, this may need to
be changed.

add lex_start to the API

lex_start() is added to the API, marked experimental, and documented.
It also gains a flags parameter for foreseeable future use.

avoid side-effecting source held in scalar

Syntax plugins can modify the source being parsed.  It's fine for
them to modify the lexer buffer, but this must not be the same scalar
that was supplied to lex_start() and may be in use outside.  Therefore
always copy the scalar in lex_start() rather than just referencing it.
Fixes [perl #78358].

remove redundant lex_end

The lex_end() function is redundant, because the lexer context object
is actually finalised by parser_free(), triggered by the save stack.
The lex_end() function has historically been empty, except when the
PL_doextract global was being misused to store lexer state.

replace PL_doextract with better kinds of variable

PL_doextract had two unrelated jobs, neither best served by an interpreter
global variable.  The first was to track the -x command-line switch.
That is replaced with a local variable in S_parse_body().  The second
was to track whether the lexer is in the middle of a =pod section.
That is replaced with an element in PL_parser.

remove filter inheritance option from lex_start

The only uses of lex_start that had the new_filter parameter false,
to make the new lexer context share source filters with the previous
lexer context, were uses with rsfp null, which therefore never invoked
source filters.  Inheriting source filters from a logically unrelated
file seems like a silly idea anyway.

[perl #72062] Untaint DATA after it's reopened

DATA handle is untainted on startup, but as we close and reopen it it
gets the taint flag. It's safe to untaint it though, since we still hold
the file descriptor open and don't reassign it to another file.

This was probably broken by changeset 29606, (c96b2385 in perl git).

SDBM_File::{error,clearerr} can be implemented as XS ALIASes.

document slices in scalar context

In [GNO]DBM_File.xs, store the 4 filter functions as 1 array in the struct.

Previously they were 1 distinct members. Using an array allows the use of a
in *_DESTROY, and merging of the 4 XS functions filter_{fetch,store}_{key,value}
into 1 body with ALIASes.

In SDBM_File.xs, store the 4 filter functions as 1 array in the struct.

Previously they were 1 distinct members. Using an array allows the use of a loop
in sdbm_DESTROY, and merging of the 4 XS functions
filter_{fetch,store}_{key,value} into 1 body with ALIASes.

Convert [GNOS]DBM_File::TIEHASH to safecalloc() from safemalloc() then Zero().

Merge the XS code for Hash::Util::{hidden,legal}_ref_keys.

Express Hash::Util::all_keys more tersely.

Convert Hash::Util's XS code to use typemaps for dereferencing.

This will subtly change the text of the parameter mismatch errors.

Standardise Hash::Util::hv_store's error message.

Previously it was inconsistent with the messages of the other XS routines, which
used all-uppercase for HASH and ARRAY.

Convert Hash::Util, XS::APItest and XS::Typemap to XSLoader.

None are using any DynaLoader specific functionality.

Convert GDBM_File to an XS AUTOLOAD.

Use inlineable proxy constant subs for GDBM_File.

Convert File::Glob::bsd_glob to XS.

Unlike doglob, it has no prototype, so it's not possible to use a simple ALIAS
directive to make it and doglob aliases.

For PROXYSUBS error messages, generate more efficient code for -Uusethreads.

Convert Fcntl, File::Glob, I18N::Langinfo and Socket to an XS AUTOLOAD.

All 4 use ExtUtils::Constant::ProxySubs, and only have an AUTOLOAD to deal with
failed constant lookups.

Add an option autoload to PROXYSUBS, to generate an AUTOLOAD subroutine.

Like croak_on_error, this is only useful with the Proxy Constant Subroutine
code, as that adds all known constants to the symbol table at compile time.
The (obvious) additional restriction is that directly implementing AUTOLOAD
is only useful if the package wishes to perform no other autoloading, and to
treat all autoload requests as (failed) constant lookups (with errors describing
them as such).

In Perl_gv_autoload4(), remove weakref before reassigning to CvSTASH()

Fixes a minor bug introduced in 4c74a7df3242aa95.

The underlying assumption of the XS AUTOLOAD implementation, that the fields
are unused, remains invalid.

Convert Fcntl, File::Glob, I18N::Langinfo, POSIX and Socket to croak_on_error.

This is possible because all 5 use ExtUtils::Constant::ProxySubs, so the
constant() routine is only used for error conditions.

Add option croak_on_error to PROXYSUBS, to directly croak() the error message.

This is only useful with the code that generates Proxy Constant Subroutines, as
this adds all known constants to the symbol table at compile time, meaning that
the only calls to AUTOLOAD will be to load constants not available on this
platform, or for invalid constant names.

Change goto_xs.t to use Fcntl::S_IMODE() for testing.

The behaviour of Fcntl::constant() is about to be changed.

[GNO]DBM_File must free any filter CVs in DESTROY.

They have been leaking these since DBM filters were first added in 1999 by
9fe6733ac5627edd. DB_File and SDBM_File have always correctly freed their
filters.

Restore +x to Makefile.SH

f4d47668d36d0dd4 unintentionally removed it.

update TOC for perl5137delta

Create perldelta for 5.13.7

epigraph for v5.13.6

updated perlhist.pod

Update Module::CoreList for 5.13.6

make regen; make regen_perly

lint perldelta links

Updated perldelta to fill in acknowledgements

bumped perl versions in Changes

Bump version to 5.13.6

Mention the PL_* accessor removal in perldelta

clean up perldelta templates

Fix the heading for the perldelta commit a7e93501

In Fcntl.xs, correct the conditional compilation of S_ISENFMT.

Fixes a bug in 96d24b8ce2ce0411.

Fix version for Locale-Maketext in Porting/Maintainers.pl

perldelta up to c3b19b5c6

remove DISABLE_DESTRUCTOR_KLUDGE

since do_clean_named_objs() is no longer kludgey, remove the
macro that allows you to skip it

Recursive MULTICALL prematurely freed CV

See [perl #78070].

Basically, POPSUB/LEAVESUB had a mechanism to decrement the reference
count of the CV only at CvDEPTH==1; POP_MULTICALL was decrementing it at
all depths.

add skeleton testing for the MULTICALL macros

The macros dMULTICALL, PUSH_MULTICALL, MULTICALL and POP_MULTICALL
are completely untested in core apart from incidentally in List-Util.
The exercise they get there is probably quite comprehensive, but it's
not explicitly testing the macros themselves.

Add a hook and new test file to XS::APItest specifically for this purpose.
Currently the test file is almost empty.

The multicall_each function is shamelessly stolen from List:;Util::first.

perldelta updates

Update IPC-Cmd to CPAN version 0.64

  [DELTA]

  Changes for 0.64    Tue Oct 19 19:01:05 BST 2010
  =================================================
  * Only enable the can_run instances behaviour when
    global variable $INSTANCES is set

  Changes for 0.62    Tue Oct 19 15:51:30 BST 2010
  =================================================
  * Amended can_run behaviour to run all found instances
    of the given binary in a list context

Convert I18N::Langinfo to XSLoader from DynaLoader.

Use inlineable proxy constant subs for I18N::Langinfo

Also remove all the "fallback" code, as I18N::Langinfo is core only, and the
core always has ExtUtils::Constant.

fix indentation for prototype switch statements

Remove unused variable len from code generated by ExtUtils::Constant::ProxySubs

This was missed from change 575f055216d48b9f.

Stop 'use v5.8' leaking memory. Fixes #78436.

Based on a patch proposed by Niko Tyni.

Make Fcntl::AUTOLOAD's error messages consistent with croak() using modules.

Fcntl avoids using Carp::croak(), but its code was adding a full stop at the
end of all error messages. Other modules are using croak(), which has no full
stop between the line number and the newline.

Add a test for the error messages from Fcntl::AUTOLOAD.

Fcntl, POSIX and Socket can all use Proxy Constant Subs unconditionally.

Previously each Makefile.PL had conditional code to only use them post 5.9.2,
so that the code would not diverge between blead and maint-5.8. That isn't an
important consideration any longer, whereas removing the conditional code here
will allow their AUTOLOAD routines to be simplified.

Improve the generated C code for $xs_subname for Proxy Constant Subroutines.

Fix file permissions after CPAN upgrade to 1.94_61

(To keep the releases process sane, execute permission in the repository is
kept consistent with the distribution)

Fixed typo (double "with the") in release_managers_guide.pod

Fix C++ build for Fcntl.xs.

96d24b8ce2ce0411 wasn't C++ friendly.

Update CPAN to CPAN version 1.94_61

  [DELTA]

  2010-10-03  Andreas J. Koenig  <andk@cpan.org>

  * release 1.94_61

  * address RT #61735: stop talking about sending test reports by email (Schwern)

  * prevent the use of old versions of Parse::CPAN::Meta which caused test failures

  * bandaid for native solaris patch program to actually do patching

  2010-09-28  Andreas J. Koenig  <andk@cpan.org>

  * release 1.94_60

  * improvements to find_perl() by David Golden

  * test fixes to address the issues demonstrated by some cpantesters

  2010-09-26  Andreas J. Koenig  <andk@cpan.org>

  * release 1.94_59

  * address RT #61607: make the FTP download code more robust  (Reini Urban)

  * omit useless arithmetic in CPAN::Version to possibly help netbsd
  (reported by Nigel Horne and suggested David Golden)

  * address RT #59216: make sure $builddir exists before calling tempdir
  (Lee Goddard)

  * a couple of new distropref files

  2010-06-24  Andreas J. Koenig  <andk@cpan.org>

  * release 1.94_58

  * bugfix: Non-English locales got no diagnostics on a failed locking due
  to permissions (reported by Frank Wiegand)

  * chasing test failures with test fixes.

bumped GDBM_File version per da4061d and added perldelta for it

Bumped B::Deparse version and added perldelta entry for it per a539498

Update miyagawa's email address

Fix typo in how_to_write_a_perldelta.pod

Fix issues with the podlators update

Upstream removed the wrappers from the scripts pod2man and pod2text which
will require some re-engineering. I've reinstated the wrappers until after
v5.13.6 ships.

Added perlpodstyle to pod.lst

Set Data::Dumper’s release date to that of perl 5.13.6

just in case 5.13.6 is released before the next CPAN release of DD.

Add keys(@a) and values(@a) to perldelta
since it was missed in 5.12.0

Don't use "dllimport" for code in perl5xx.dll

This makes a difference for extensions that are "statically"
linked into the Perl library, like DynaLoader and Win32CORE.
The MinGW compiler/linker cannot resolve symbols that have
been annotated as "dllimport" but are actually defined inside
the same library.

An exception is needed for the ext/re extension, which
redefines core APIs internally, so these functions must
not be marked as "dllimport" either.

This commit is a fix/enhancement to commit ad6ab6c5.

[perl #78334] keys(@x) should be in perl5120delta.pod

Express @Fcntl::EXPORT_OK in terms of %Fcntl::EXPORT_TAGS.

This reduces quite a lot of repetition of symbol names.

Note that '&SUBNAME' and 'SUBNAME' are interchangeable to Exporter.

Convert Fcntl::S_IFMT to XS.

This removes the requirement to call XSLoader::load() at BEGIN time, which
simplifies the Perl code further.

Convert Fcntl::S_IMODE to XS.

Convert Fcntl::S_IS{LNK,SOCK,BLK,CHR,FIFO,WHT,ENFMT} to XS.

This reduces the memory usage of Fcntl by quite a bit, as the same XSUB is used
by all 9 S_IS* functions.

Convert Fcntl::{S_ISREG,S_ISDIR} to XS.

I estimate that this saves 294 bytes in Perl space (per thread, or per-process
if memory pages become unshared after forking), but costs only 232 bytes in the
shared object (should always remain shared between threads and processes).

Oh, and it's XS code, and avoids 2 Perl subroutine calls.

Tweak t/porting/dual-life.t for the file renames in 463da0ac9e3d63ff.

podlators 2.4.0 renamed scripts/pod2*.PL to scripts/pod2*

Update Compress-Raw-Bzip2 to CPAN version 2.031

  [DELTA]

  2.031 21 September 2010

      * Updated to use bzip2 1.0.6

Update podlators to CPAN version 2.4.0

  The new perlpodstyle.pod has been located to pod/

  Changes were necessary to mkppport because of a new dependency on
  Encode in podlators that stopped it being built before Encode was built.

  [DELTA]

  2010-10-10  Russ Allbery  <rra@stanford.edu>

  * VERSION: podlators 2.4.0 released.

  * scripts/pod2man: Remove the code to generate the #! line and
  supporting code and instead rely on ExtUtils::MakeMaker to handle
  that during package build.
  * scripts/pod2text: Likewise.
  * scripts/pod2man.PL: Renamed to pod2man.
  * scripts/pod2text.PL: Renamed to pod2text.
  * Makefile.PL: Remove PL_FILES section.

  * pod/perlpodstyle.pod: New style guide for POD documentation,
  split mostly from the NOTES section of the pod2man man page.
  * scripts/pod2man.PL: Remove NOTES section, now maintained as the
  separate perlpodstyle document.
  * Makefile.PL: Add perlpodstyle.1 to the generated man pages.

  * lib/Pod/Man.pm (cmd_para): Do not strip escaped trailing
  whitespace, such as that created by S<> at the end of a line,
  since the backslash is then taken by *roff as escaping the
  newline.  Thanks, Kevin Ryde.
  * t/man.t: Test S<> at the end of lines.

  * lib/Pod/Man.pm (output): If the utf8 option is given, encode
  output in UTF-8 if there is no encoding layer.  Now requires the
  Encode module.
  (start_document): Rather than forcibly change the PerlIO encoding
  layer, probe the PerlIO layers with protection for Perl versions
  without PerlIO and set a flag indicating whether to encode on the
  fly on output.
  * lib/Pod/Text.pm: Likewise.
  * Makefile.PL: Mark Encode as required.
  * t/man-perlio.t: Test Pod::Man output to a file handle with a
  PerlIO encoding layer already applied.
  * t/text-perlio.t: Likewise for Pod::Text.

Fix Fcntl::S_ISENFMT(), which could never have worked before.

S_ISENFMT() and S_ISWHT() were added in 2000 as part of commit ca6e1c26e8ac218f.
1a16747c2ea1992d (2 weeks later) intended to fix the copy/paste error in that
previous commit which would prevent either from working. It did fix S_ISWHT().
However, there was a second error in the definition of S_ISEMFMT() which was
never picked up - S_ENFMT(), not S_IFENFMT().

Convert File::Glob::import to $Exporter::ExportLevel and grep.

Previously it was using goto & and splice, and was not as simple to read.

Convert File::Glob::import to use given/when.

Remove MacOS classic support from File::Glob's tests.

Mention symbol shortening on VMS in perldelta.

perldelta entries

with tweaks from the committer

Remove mention of cb525dbe88 from the perldelta comment

Parentheses in compiler flags are legal on VMS.

And sometimes required.  Removing them was causing Embed.t to fail
when compiler options with lists were in use, such as
/NAMES=(AS_IS,SHORTENED).

Clean up the name mangler database on VMS.

This is created when compiling with /NAMES=SHORTENED.

Already committed upstream at:

http://github.com/Perl-Toolchain-Gang/ExtUtils-MakeMaker/commit/8f164a59

* perlfaq4: perlreftut is no longer upcoming, it's come

Update Unicode-Collate to CPAN version 0.63

  [DELTA]

  0.63  Sun Oct 10 22:13:21 2010
    - supported suppress contractions (see 'suppress' in POD).
    - internal for hangul_terminator in getSortKey().
    - U::C::Locale newly supports locales: be, bg, kk, mk, ru, sr.
    - added tailoring with U+0340 or U+0341 instead of U+0300 or U+0301.
        (affected locales: hr, is, pl, se, to, wo)

Add Mike Kelly to AUTHORS

dist/IO: fix a few typos

Add Ali Polatel to AUTHORS

dist/IO: Always bind to localhost in tests.

This is necessary on Exherbo, at least, because of the network
sandboxing that is done by 'sydbox'. And, in general, tests shouldn't be
listening on all interfaces.