Refactor genpacksizetables.pl to use regen/regen_lib.pl

Extract the generated packprops array into packsizetables.c.

The C source is the output from genpacksizetables.pl
Previously it was pasted into pp_pack.c

 LocalWords:  packprops

Propagate a change from commit 1651fc447620d361 into genpacksizetables.pl.

pp_pack.c contains a table generated by genpacksizetables.pl, pasted into the
C source. The C source was updated by commit 1651fc447620d361 in April 2007,
but the table used to generate the code was not.

genpacksizetables.pl: Correct comment typo

Change LIKELY() and UNLIKELY() to cast their first argument to a bool.

This avoids problems such as pointers being compared with the literal value 1.
Suggested by Zefram.

Note that this is technically a change of behaviour, as the macro EXPECT(),
which they are both both wrappers for, returns its value, so they will now
be returning TRUE or FALSE, rather than the actual value passed to them.
However, all uses in the core and on CPAN are only within if() statements, so
this should not make any difference in practice.

handy.h: Change the error return of two macros

These two undocumented macros returned the REPLACEMENT CHARACTER if the
input was outside the Latin1 range.  This was contrary to all other
similar macros, which return their input if it is invalid.  It caused
warnings in some (dumber than average) compilers.

These macros are undocumented; this changes the behavior only of illegal
inputs to them.

regcomp.c: Add comment

utf8.c: White space only.

Indent in newly formed block

fold_grind.t: Add tests

fold-grind stresses the /i regex handling by reading the Unicode folding
rules and creating tests for problematic cases, as well as some
non-problematic ones.

Because of the large number of tests generated, it otherwise avoids
tests that it doesn't think are problematic.

Problematic cases include those whose folds cross the ordinal 127/128 or
255/256 boundaries, along with other considerations.

Until this commit, fold_grind failed to realize that even if the pair of
characters currently being tested don't cross those boundaries, if their
eventual folds do, this could be problematic.  Suppose X and Y are both
on the same side of the boundaries, and both fold to Z which is on
another side.  Then X and Y should be equivalent under /i even if the
fold to Z is prohibited because of /aa or /l.  fold_grind was
overzealous in pruning such tests.

The previous patch fixed bugs in handling such cases; and this patch
fixes the tests to look for similar things that might possibly arise in
the future.

Interestingly, this bug came to light during porting to an EBCDIC
platform.  The reason is that because of the different collation order,
fold_grind chose one of the buggy cases to test as one its
non-problematic tests.

Fix multi-char fold edge case

use locale;
fc("\N{LATIN CAPITAL LETTER SHARP S}")
   eq 2 x fc("\N{LATIN SMALL LETTER LONG S}")

should return true, as the SHARP S folds to two 's's in a row, and the
LONG S is an antique variant of 's', and folds to s.  Until this commit,
the expression was false.

Similarly, the following should match, but didn't until this commit:

"\N{LATIN SMALL LETTER SHARP S}" =~ /\N{LATIN SMALL LETTER LONG S}{2}/iaa

The reason these didn't work properly is that in both cases the actual
fold to 's' is disallowed.  In the first case because of locale; and in
the second because of /aa.  And the code wasn't smart enough to realize
that these were legal.

The fix is to special case these so that the fold of sharp s (both
capital and small) is two LONG S's under /aa; as is the fold of the
capital sharp s under locale.  The latter is user-visible, and the
documentation of fc() now points that out.  I believe this is such an
edge case that no mention of it need be done in perldelta.

Expand flags parameter from boolean in _to_fold_latin1

This will be used in future commits to pass more flags.

unicode_constants.h: Add some #defines

These will be used in future commits

utf8.c: Replace two macro calls with equiv single

UTF8_IS_ABOVE_LATIN1() is equivalent to
(! UTF8_IS_INVARIANT && !UTF8_IS_DOWNGRADEABLE_START)

So we can use just it, for clearer code with fewer branches.

lib/charnames.t: Fix wrongly complemented test

The 'if' test should be the opposite of what it is.  I believe I had it
this way for forcing the branch to be taken during testing, and forgot
to restore it.  It only matters if Perl is compiled with early Unicodes,
or on a non-ASCII platform.

t/re/fold_grind.t: White space only

Commit 3345a47950127cf99a197eba4dce9c91f7bc9139 created a new
block; but didn't indent it.  This commit does.

perlapi: Move 'experimental' warning to front of entries

In a long multi-paragraph entry, the fact that the described function is
considered experimental may be lost, as it comes at the end.  This just
moves it to the front.

regcomp.c: Remove always-true test

In this code, j is guaranteed to be above 255, so no need to test for
that.

regcomp.c: White-space only

The previous commit allows us to outdent a largish block, reflowing
things to fit into the extra available width, and saving a few vertical
pixels.

regcomp.c: Reorder two 'if's so shorter branches are first

This makes it easier to understand what is going on

perllocale: Update to mention fc(), \F

regcomp.c: Clarify comment

pp.c: Eliminate custom macro and use Copy() instead

I think it's clearer to use Copy.  When I wrote this custom macro, we
didn't have the infrastructure to generate a UTF-8 encoded string at
compile time.

perl #117865] [PATCH] Eliminate useless variable and sizeof(char)

bufsiz is always just set from bsiz (via a useless multiplication by
sizeof(char), which is by definition 1), so instead of trying to keep
them in sync, just get rid of bufsiz use bsiz directly# Please enter the commit message for your changes. Lines starting

op.c: Don't fold constant fc() in locale

We do compile time folding of calls to ops with constant parameters.
This should be skipped if the op's result depends on locale, and it is
being called from within the scope of 'use locale', as the result is not
known until runtime.  fc() was folding anyway.

There is no test, as this only shows up when run in a locale that it
makes a difference in, and there is no guarantee that such a locale
would occur on any computer, and it is a real pain to go searching
through the computer's available locales for such a one for just this
error.

autodoc.pl: Don't list undocumented deprecated fcns in API

autodoc creates a list of all the undocumented functions that are part
of the API.  It omits ones that are experimental and whose API may
change; and now it omits ones that are deprecated (and whose API is
planned to change to be non-existent)

autodoc.pl: Add note for deprecated functions

This causes each deprecated function to have a prominent note to that
effect in its API documentation.

embed.fnc: Slight clarification in comments

Add tests for case-change macros API

Use new case changing macros

The previous commit added macros to do some case changing.  This
commit uses them in the core, where appropriate.

handy.h: Add some macro definitions

These macros fill in all the missing case changing operations.  They
were omitted before because they are identical in their input domains to
other operations.  But by adding them here, that detail no longer need be
known by the callers.  toFOLD_LC is not documented, as is subject to
change

pp.c: Nit in comment

perlclib.pod: Update character class macro descriptions

Much has changed since this pod was last updated.

perlclib.pod: Fix too long verbatim lines

perlapi: Add docs for some case-changing macros; clarify others

The case changing macros are now almost all documented.  The exception
is toUPPER_LC, which may change in 5.19

In addition the functions in utf8.c that these macros call now refer to
them instead of having their own documentation.  People should really be
using the macros instead of calling the functions directly.  I'm not
deprecating the functions because I can't foresee the need to change
them, so code that uses them should continue to be ok.

Remove perlsh, which is neither installed nor referenced anywhere.

Described as a "poor man's perl shell", it is unreferenced, and virtually
unchanged since its addition in perl 2. As it is never installed, it's not
used by anyone.

Update Test-Harness to CPAN version 3.27

  [DELTA]

  3.28    2013-05-02
          - Bugfix: Fix taint failures on Windows (Jan Dubois)

  3.27    2013-04-30
          - Dramatically reduce memory usage (Nick Clark, RT #84939)
          - Store test_num (in Grammar.pm) as a number instead of a string.
            Reduces memory usage (Nick Clark, RT #84939)
          - PERL5LIB is always propogated to a test's @INC, even with taint more
            (Schwern, RT #84377)

The local modifications to t/source.t are retained. [rt.cpan.org #64353]

handy.h: Add missing toFOLD_utf8 macro

This corresponds to the other case changing macros

handy.h: define some synonyms for consistency

Other macros have these suffixes, so for uniformity add these.

regcomp.c: White-space only

Change this to follow perl coding conventions

mg.c: White-space only

I found re-formatting this multi-line 'if' to be easier to understand

toke.c: Remove redundant test

This checks that something is both not-printable and not a word
character, but all word characters are printable, so just the
non-printable test suffices.

t/porting/regen.t: Add file to check

handy.h: Clarify comment

regcomp.c: White-space only, wrap comment to fit

mktables: Fix typos in comments

One of these fixes is for where a real CTRL-X was specified, instead of
$^X

utf8.c: Remove redundant assignment.

This variable is always set just below.

t/TEST: Don't bail if fails in t/base unless minitest

In order to completely compile Perl, many modules must have been parsed
and compiled, so if there is a full perl, we know that things basically
work.  The purpose of bailing out is that if these supposedly very base
level functionality tests don't work, there's no point in continuing.
But over the years, tests of more esoteric functionality have been
added here, and if one of them doesn't work, it still could be that Perl
pretty much does work.

I believe it would be best to move such non-basic tests elsewhere, but
that's work, and hasn't bitten us much so far; this change lessens the
severity of the biting even more.  Where it will really bite is if
things are so bad that a full perl binary can't be compiled, and we are
trying to figure out why using minitest.

t/porting/bincompat.t: Typo in comment

utf8.c: Use mnemonics instead of hex numbers

charnames: fix nit in comment

Remove double space between words in pod

podcheck.t: Avoid misleading error message

If there are input files on the command line that don't exist, prior to
this commit, the message was output that they are transitory.  This adds
a check and a correct message.

lib/utf8.pm: Fix pod verbatim line wraps

lib/utf8.pm: Pod clarification and nit

Add missing test for regex parse error

regcomp.c: Use mnemonic instead of number

toke.c: VALID_LEN_ONE_IDENT only needs a char, not a char*

Rather than passing s and having the macro do a bunch of *s,
just pass and expect *s.

toke.c, S_intuit_method: Minor parsing speedup for 'maybe_method $foo'

This commit moves a scan_word() closer to when it's actually used,
which provides a minor speedup for things like 'new $foo' or
'is $foo, $bar'.

toke.c: Call base macro that does the same thing

SPACE_OR_TAB is the same thing as isBLANK, or perhaps more clearly
isBLANK_A.  And these latter macros only have one branch instead of 2
(but some extra masking)

add new perldelta

bump version to 5.19.1

perldelta: 5.19.0, shortest perldelta ever?

update corelist for Getopt::Std, utf8

Bump $Getopt::Std::VERSION following commit 0c0a84c65e572a92.

Document getopts before getopt, and de-recommend getopt.

utf8: Remove unused variable (%utf8::enc).

In its original implementation in perl 5.6, 'use utf8' accepted
an encoding argument, which was saved in %utf8::enc and later
used by utf8_heavy.pl to load the right files from lib/unico[rd]e.

However, since 5.8 (or more specifically, 15732964418f),
utf8_heavy.pl stopped using that variable, so there's no reason
to keep it around in utf8.pm.

Bump $VERSION in lib/utf8.pm.

perlhist for 5.19.0

bring in the 5.18-related epigraphs

update Module::CoreList for 5.19.0

and its mass removal!

Removed cpan/File-CheckTree

Removed cpan/Text-Soundex

regenerate known pod issues

Removed cpan/Log-Message

Removed cpan/Log-Message-Simple

Remove cpan/Object-Accessor

Remove cpan/Term-UI

Remove cpan/Module-Pluggable

Remove cpan/Pod-LaTeX and pod2latex utility

Remove cpan/B-Lint

Remove cpan/Archive-Extract

  Note:

    Porting/core-cpan-diff refactored to use Archive::Tar
    instead of Archive::Extract

Remove cpan/CPANPLUS and associated utilities

Remove cpan/CPANPLUS-Dist-Build

Remove core references to SVt_BIND

This scalar type was unused.  This is the first step in using the slot
freed up for another purpose.  The slot is now occupied by a temporary
placeholder named SVt_DUMMY.

perlpacktut: nit

Fix compiler warnings in regcomp.c

Perform all the "bump us to 5.19.0" work

...I hope.

regenerate META.json

regen feature.pm

bump the perldelta version

bump version to 5.19.0

final version and perlhist update for 5.18.0

update perlexperiment

- fixed a typo (%H instead of %^H)
- removed mention of Unicode support, which is so deep that I doubt that
  it could ever be removed
- added the following items to the "Current experiments" section
  - alloccopstash
  - cop_store_label
  - gv_fetchmethod_*_flags
  - op_scope
  - op_lvalue
  - Smart match (~~)
  - Lexical $_
  - Array and hash container functions accept references
  - Regular Expression Set Operations

- moved the following items to the "Accepted features" section
  - fork() emulation
  - Weak references
  - Internal file glob
  - 64-bit support
  - die accepts a reference
  - DB module

- moved the following items to the "Removed features" section
  - GetOpt::Long Options
  - 5.005-style threading
  - Test::Harness::Straps
  - perlcc
  - Assertions
  - The pseudo-hash data type

I tried to add the corresponding Perl versions of when features were added
and accepted or removed, but used the stable versions as I searched in the
perldelta's.

fix wrong tense

update the release schedule

perldelta: document known failure on HP-UX 11.00

bump patchlevel and perlhist for RC4

perldelta: restate the changes to ${x} versus $x

Credit for improvements made in this commit to to khw.  Blame for
anything else goes to rjbs.

perldelta: Clarify removal vs deprecation of modules

perldelta: Use 'Here doc' consistently sans dash

This corresponds to perldiag, and was suggested by Zsbán Ambrus.

Fix typo in perldelta

Spotted by Zsbán Ambrus