perldelta: add another hash overhaul cross reference

Clarified perldelta entry for UID/GID magic variables

Address [perl #117999] for now by skipping known bad test on AIX

perldelta: various fixes suggested by Dave Mitchell

perldelta: remove a literally incorrect "literal"

perldelta: collapse a bit of vertical space

perldelta: clarify the deprecation of non-PerlIO perl

Spelling correction.

perldelta: add obituary for AMORETTE

perldelta: minor nitpicks

bump patchlevel to RC3, update hist

fix extrefs text with SDK 2003

The attached patch (also inlined below) fixes the SDK2003 test failure
for me, and also passes with all the other VC++ compilers. (It isn't
easy trying to pinpoint the SDK2003 compiler individually, so it is
simpler to just do this for all VC++ compilers on Windows.)

perldelta: fix reported new version of Carp

[perl #117141] sometimes we just can't make fork fail, skip the test

bump patchlevel to RC2, update hist

perldelta: remove the "from version X" from module updates

too many were incorrect

perldelta: combine, merge, and edit "modules updated"

update CoreList for new Pod::Simple in 5.18.0

Update Pod-Simple to CPAN version 3.28

  [DELTA]

2013-05-04   David E. Wheeler <david@justatheory.org>
  * Release 3.28

  Removed use of 'done_testing' in t/white.t, which was added in
  v3.27. Thanks to Paul Howarth for the catch.

  Fixed inproperly calculated number of skipped tests in t/xhtml01.t
  when HTML::Entities is not intalled.

2013-05-03   David E. Wheeler <david@justatheory.org>
  * Release 3.27

  Added new warnings as defined by Pod::Checker, thanks to RJBS:
  + "=over" without "=back"
  + "L<>" starts or ends with whitespace
  + raw "|" or "/" in "L<text|link>" text

  Added ->keep_encoding_directive, which is false by default, to
  prevent formatters from emitting a document's '=encoding'
  directive in most cases. That they emitted the encoding was a bug
  introduced in v3.26 (RT #84093). Now, only the DumpAsText and
  DumpAsXML formats set it to true. Patch from Patrice Dumas.

bump the version on Module::CoreList

set the patchlevel to RC1

perlhist: update for 5.18.0-RC1

including the "selected sizes" for 5.18.0

Applying typographical correction supplied by Andreas J. Koenig++.

For: RT #117959

Fix -Wformat-security issues

Building with -Accflags="-Wformat -Werror=format-security"
triggers format string warnings from gcc.

As gcc can't tell that all the strings are constant here,
explicitly pass separate format strings to make it happy.

nitpicks

Also, commas around 'for example'.

perldelta: no warnings will do no good if you leave out "warnings"

perldelta: document the experimental smartmatch change

perldelta: add "how to disable" to experimental warnings

perldelta: remove placeholders for module changes

I hope to add summaries of these, but for now I will act like we will
not have them.

[perl #66604] 64bit compilation Problem on Solaris x86_64

hints changes

[perl #66604] 64bit compilation Problem on Solaris x86_64

Configure changes

Add repository and bugtracker META to Module-CoreList Makefile.PL

update Module::CoreList for v5.18.0

perldelta: acknowledgements

Fix regex /il and /iaa failures for single element [] class

This was a regression introduced in the v5.17 series.  It only affected
UTF-8 encoded patterns.  Basically, the code here should have
corresponded to, and didn't, similar logic located after the defchar:
label in this file, which is executed for the general case (not stemming
from a single element [bracketed] character class node).

We don't fold code points 0-255 under locale, as those aren't known
until run time.  Similarly, we don't allow folds that cross the 255/256
boundary, as those aren't well-defined; and under /aa we don't allow
folds that cross the 127/128 boundary.

further tweak SvPV() docs

Make it clear that a different pointer may be returned each time.

perldelta: remove some placeholders

regenerated uconfig

More spellchecks

Spell-checking on meta-units

Tried to be as consistent as possible.
Removed all trailing whitespace of changed files.
Resyncs Glossary from previously missed updates.

maildomain to support /etc/mailname

Now backported to upstream dist/meta

perldelta: "single character" is clearer than "length one"

porting/podcheck.t: improve diagnostic

If a test fails because the number of warnings for a pod file was more
than expected, make it clear in the diag output that it was indeed
why it failed.

clarify SvPV* and SvPV_force* docs

See RT #116407.

Make it clear that SvPV(sv) does not always equal SvPVX(sv), and to use
SvPV_force() if necessary. Also, clarify that SvPV_force() will destroy
any non-string content like a reference. Then, make the other SvPV*
descriptions in general refer back to SvPV() or SvPV_force(), so that
people will spot these added caveats.

Remove PERL_ASYNC_CHECK() from Perl_leave_scope().

PERL_ASYNC_CHECK() was added to Perl_leave_scope() as part of commit
f410a2119920dd04, which moved signal dispatch from the runloop to
control flow ops, to mitigate nearly all of the speed cost of safe
signals.

The assumption was that scope exit was a safe place to dispatch signals.
However, this is not true, as parts of the regex engine call
leave_scope(), the regex engine stores some state in per-interpreter
variables, and code called within signal handlers can change these
values.

Hence remove the call to PERL_ASYNC_CHECK() from Perl_leave_scope(), and
add it explicitly in the various OPs which were relying on their call to
leave_scope() to dispatch any pending signals. Also add a
PERL_ASYNC_CHECK() to the exit of the runloop, which ensures signals
still dispatch from S_sortcv() and S_sortcv_stacked(), as well as
addressing one of the concerns in the commit message of
f410a2119920dd04:

    Subtle bugs might remain - there might be constructions that enter
    the runloop (where signals used to be dispatched) but don't contain
    any PERL_ASYNC_CHECK() calls themselves.

Finally, move the PERL_ASYNC_CHECK(); added by that commit to pp_goto to
the end of the function, to be consistent with the positioning of all
other PERL_ASYNC_CHECK() calls - at the beginning or end of OP
functions, hence just before the return to or just after the call from
the runloop, and hence effectively at the same point as the previous
location of PERL_ASYNC_CHECK() in the runloop.

perldelta: update how we talk about COW

perldelta: use v5.x rather than 5.x

Suggested by Nicholas Clark:

The text refers to perl version numbers as 5.12, 5.12.x, 5.12.3
v5.12, v5.12.3.  I think it would be best if it were consistent with
a v as either v5.12 for the series, or v5.12.3 for a particular
release.  Specifically because use 5.12.3; works, but use 5.12;
doesn't.

perldelta: we suspect no known problems..?

perldelta: typo fix

from Nicholas Clark

perldelta: use UTF-8 when we mean UTF-8

most of these changes from Nicholas Clark

perldelta: warn of more platform deprecation

perldelta: correct "new hash function" entry

perldelta: hash ordering may differ, may not

...the key is that you cannot rely on anything about it

revise hash overhaul docs

perldelta: drop a reference to a change internal to 5.17

perldelta: remove an inscrutable note, clean up another

silence warnings under NO_TAINT_SUPPORT

The are lots of places where local vars aren't used when compiled
with NO_TAINT_SUPPORT.

fix threaded NO_TAINT_SUPPORT build errors

NO_TAINT_SUPPORT incorrectly called Perl_croak without aTHX_.

To fix this, change Perl_croak to Perl_croak_nocontext, since it is
slightly more efficient in instruction size than Perl_croak.

dump.c: avoid compiler warning under -Dmad

this fix was already applied to the non-MAD branch; apply it to
the similar MAD / xml-dump code.

dump.c:2663:57: warning: comparison of constant 85 with expression of type
      'svtype' is always false [-Wtautological-constant-out-of-range-compare]
    else if (sv == (const SV *)0x55555555 || SvTYPE(sv) == 'U') {

toke.c/MAD: silence a couple of warnings

A couple of vars are set but not used under -Dmad.
The easiest way to silence the warnings is to use PERL_UNUSED_VAR()
rather than try to #ifdef away all the places the vars appear under mad.

Minor touch-ups to VMS section of perldelta.

spelling, punct fixes for perldelta

Officially deprecate stdio/sfio builds of perl

Quick fixes to Yves' hash randomization documentation

perldelta: Typos, grammar

Change some perldelta text

This removes things that aren't applicable except to intra-5.17
releases, and rewords some poorly worded text.

Use 'was' not 'is' to describe fixed regressions

'is' implies it still is extant, contrary to the meaning of the text.

perldelta: mention non-blocking sockets on VMS

perldelta: mention PERL_NO_INLINE_FUNCTIONS in delta

perldelta: use Pod, not asterisks, for emphasis

perldelta: document PERL_PERTURB_KEYS

Restore the warning previously issued by (-l $fh)

This is a partial reversion of 433644eed8, which removed a
secondary, short-circuiting behavior when the warning was issued.

Now, the warning is issued, but the normal behavior (treat the
handle as a string) is maintained.  This work was done after
subsequent refactoring to doio.c, so it couldn't be just a
reversion with the "return" statement removed.

add various HASH defines to perl -V output

5.18 contains lots of new build knobs to control hash randomisation.
Add them to the perl -V output.

INSTALL: fix a couple of typos

release_managers_guide: fix typo

bisect-runner.pl: clarify -D,-U,-A args in docs

Based on http://www.perlmonks.org/?node_id=1032501, these arguments could
be confusing.

pod/perldelta: Add in some deprecations; fix a typo

Feel free to improve the wording of these.

bump dist/IO/lib/IO/Handle.pm version to 1.34

[perl #117791] Clarify that write does not match the C 'write' semantics

document and improve hash algorithm randomization related build options

Install was a copy of other material, made heavy reference to 5.8.x and
and didnt really document what it should have. I reworked it to be more
up to date.

cleanup and test PERL_PERTURB_KEYS environment variable handling

remove the 5.17 deltas, update for 5.18

put the perldelta we had been working on in place

update perldiag with new warnings

regenerate uconfig.h and META.json

Bump version to 5.18.0-RC0

This was done with:

  ./perl -Ilib Porting/bump-perl-version -i 5.17.12 5.18.0

Followed by two tiny manual edits: INSTALL and patchlevel.h

The URL for the dist source repo changed

RMG: say that for maint there are two RMG versions

RMG: add note about maint and Module::CoreList

RMG: maint perlhist: change from push to pull

When creating a new maint release, rather than copying its perlhist entry
into every other branch just after release, instead just copy it into
blead; then when creating a new maint release, just pull the latest
perlhist file from blead.

RMG: maint perldeltas: change from push to pull

When creating a new maint release, rather than copying its perldelta into
every other branch just after release, instead just copy it into blead,
then when creating a new maint release, copy any newer perldeltas from
blead.

add PERL_NEW_COPY_ON_WRITE to perl -V output

hoping this works finally. gcc is too permissive with my build options

document Hash::Util::hash_traversal_mask()

It still needs tests. But I figured it would be easier to test
by someone else if I documented it. (Ill try to get tests done for it
soon).

fix build issue with picky compilers

Ensure -DUSE_PERLIO gets into Config's ccflags when using dmake on Windows

The -DUSE_PERLIO flag was being used to build perl itself, but amazingly
didn't end up in Config's ccflags, potentially causing trouble later when
building XS extensions. (The problem isn't new: it's been this way ever
since PerlIO support for Windows was added by e601c439, way back in
November 2000.)

Make it possible to disable and control hash key traversal randomization

Adds support for PERL_PERTURB_KEYS environment variable, which in turn allows one to control
the level of randomization applied to keys() and friends.

When PERL_PERTURB_KEYS is 0 we will not randomize key order at all. The
chance that keys() changes due to an insert will be the same as in
previous perls, basically only when the bucket size is changed.

When PERL_PERTURB_KEYS is 1 we will randomize keys in a non repeatedable
way. The chance that keys() changes due to an insert will be very high.
This is the most secure and default mode.

When PERL_PERTURB_KEYS is 2 we will randomize keys in a repeatedable way.
Repititive runs of the same program should produce the same output every
time. The chance that keys changes due to an insert will be very high.

This patch also makes PERL_HASH_SEED imply a non-default
PERL_PERTURB_KEYS setting. Setting PERL_HASH_SEED=0 (exactly one 0) implies
PERL_PERTURB_KEYS=0 (hash key randomization disabled), settng PERL_HASH_SEED
to any other value, implies PERL_PERTURB_KEYS=2 (deterministic/repeatable
hash key randomization). Specifying PERL_PERTURB_KEYS explicitly to a
different level overrides this behavior.

Includes changes to allow one to compile out various aspects of the
patch. One can compile such that PERL_PERTURB_KEYS is not respected, or
can compile without hash key traversal randomization at all. Note that
support for these modes is incomplete, and currently a few tests will
fail.

Also includes a new subroutine in Hash::Util::hash_traversal_mask()
which can be used to ensure a given hash produces a predictable key
order (assuming the same hash seed is in effect). This sub acts as a
getter and a setter.

NOTE - this patch lacks tests, but I lack tuits to get them done quickly,
so I am pushing this with the hope that others can add them afterwards.

Removed confusing reference to new in ties perlfunc entry

improve unpackstring() API docs

See ticket RT #116366 for the full discussion

Revert "Update docs to concur with $`,$&,$' changes"

This reverts commit d78f32f607952d58a998c5b7554572320dc57b2a.

Since COW has now not been enabled by default for 5.18, revert the
documentation changes which say that that $' etc no longer have a
performance penalty, etc.