Integrate mainline.

p4raw-id: //depot/perlio@9328

Integrate mainline.

p4raw-id: //depot/perlio@9327

Upgrade to Unicode 3.1 beta 2001-03-23.

p4raw-id: //depot/perl@9326

Re: B::Deparse bug (5.6.0)
Message-ID: <20010324143309.B17734@puffinry.freeserve.co.uk>

p4raw-id: //depot/perl@9325

Boldly add extensions to be built to VMS, EPOC, UTS,
U/WIN, and VM/ESA (and fixups for DJGPP).  Some of
these additions may be too optimistic.

p4raw-id: //depot/perl@9324

Integrate perlio:

[  9322]
Routine Win32 regen_config_h - no real changes.

[  9321]
PerlIO fixups for Win32:
- provide win33_popenlist() - non-functional as yet.
- avoid need for aTHX in PerlIO_debug calls - even if not
enabled args are still evaluated so Win32 has trouble during fork().
- Add PerlIO/Scalar to list of extensions in win32/makefile.mk
- Fixup makedef.pl for latest set of symbols.

[  9320]
POSIX::getcwd XS code to call Cwd::cwd when HAS_GETCWD not defined
was gibberish - broke it on WIn32 at least.

[  9319]
Generated files.

[  9318]
Implement:
1.  open($fh,"+<",undef);  # add test to t/io/open.t
2.  open($fh,"+<",\$var);  # New test t/lib/io_scalar.t

p4raw-link: @9322 on //depot/perlio: e009d45070febfef5a59a9468c3cb4e6ad05051f
p4raw-link: @9321 on //depot/perlio: 8c0134a884f927d58f584b87281e5a27133cbf8f
p4raw-link: @9320 on //depot/perlio: 5dd1177c222be3aa5f44de160a952953bc5703a5
p4raw-link: @9319 on //depot/perlio: c60e0e098045567c2313456d074b4094292b050c
p4raw-link: @9318 on //depot/perlio: f6c77cf1bf4d7cb2c7a64dd7608120b471f84062

p4raw-id: //depot/perl@9323

Routine Win32 regen_config_h - no real changes.

p4raw-id: //depot/perlio@9322

PerlIO fixups for Win32:
 - provide win33_popenlist() - non-functional as yet.
 - avoid need for aTHX in PerlIO_debug calls - even if not
   enabled args are still evaluated so Win32 has trouble during fork().
 - Add PerlIO/Scalar to list of extensions in win32/makefile.mk
 - Fixup makedef.pl for latest set of symbols.

p4raw-id: //depot/perlio@9321

POSIX::getcwd XS code to call Cwd::cwd when HAS_GETCWD not defined
was gibberish - broke it on WIn32 at least.

p4raw-id: //depot/perlio@9320

Generated files.

p4raw-id: //depot/perlio@9319

Implement:
 1.  open($fh,"+<",undef);  # add test to t/io/open.t
 2.  open($fh,"+<",\$var);  # New test t/lib/io_scalar.t

p4raw-id: //depot/perlio@9318

AIX does seems to have optimization problems with its C compilers.

p4raw-id: //depot/perl@9317

Integrate perlio:

[  9314]
Perlio internals re-organized.
- open process creates AV of layer/arg pairs
(appends layers from open() or open.pm to default list).
- push arg is now an SV.
- layer ->Open get passed the AV
- open is no longer mandatory method.
- topmost layer that has ->Open method does the open
- any layers above are pushed once that returns.
- vtable re-ordered so dummy layers need only provide push/pop methods.

[  9313]
Check in a stable (working) version before next round of tweaks.
Changes include:
- Move default layers code out of doio.c and into perlio.c
- Single routine for parsing layer specification strings.
- Skeleton support for demand loading of layers
- Core-dump avoidance if PERLIO environment specifies loadable layer
(does not _work_ as need IO to load and need load to do IO ...)

[  9305]
Add pTHX_ to -Duseperlio API where it does not conflict with legacy stuff.

[  9304]
Render -Duseperlio functional again.
- this is "quick fix" which calls PerlIO_apply_layers after opening,
which is what old scheme did. New scheme needs to change that
to make open(...,\$scalar) etc. work but this will do for now.

[  9303]
Avoid "reopen" semantics for time being. Fix bug in dup logic.
-Uuseperlio now works again.
-Duseperlio is still poorly. Don't merge yet...

[  9302]
Snapshot of new PerlIO open scheme. Still buggy - mainly in open($fh,">&STDOUT!")
type code.
- Invent PerlIO_openn() - which has "lots" of args a bit like do_openn() which
is its main caller. In particular now has access to "extra" args, and
can tell when an open handle is "reopened" (or duped?).
- In -Duseperlio PerlIO_open() et. al. are now wrappers on PerlIO_openn().
- In -Uuseperlio (untested as yet) PerlIO_openn() is a wrapper on
PerlIO_open() et. al. (i.e. other way round).
- Collapse "vtable" entries for layers - was fdopen/open/reopen now just open
with args close to PerlIO_openn().

p4raw-link: @9314 on //depot/perlio: e3f3bf95bcb81efe35cb0f0d3e3528d5c002dcec
p4raw-link: @9313 on //depot/perlio: 1141d9f89ca1cb89e46951e8afc784c7b4862cd2
p4raw-link: @9305 on //depot/perlio: a999f61be32148694ba1c2837b1a303e42fd96b1
p4raw-link: @9304 on //depot/perlio: 5e334b7bcf49bf053aa25da896a1ff98c12dd228
p4raw-link: @9303 on //depot/perlio: 6e60e805618a52942747f76233ecc85135a964e3
p4raw-link: @9302 on //depot/perlio: ee518936bd3eee0065c20591f5182f733dadd4bd

p4raw-id: //depot/perl@9316

Fix the EBCDIC MD5.pm checksum, from Pter Prymmer.

p4raw-id: //depot/perl@9315

Perlio internals re-organized.
 - open process creates AV of layer/arg pairs
   (appends layers from open() or open.pm to default list).
 - push arg is now an SV.
 - layer ->Open get passed the AV
 - open is no longer mandatory method.
 - topmost layer that has ->Open method does the open
 - any layers above are pushed once that returns.
 - vtable re-ordered so dummy layers need only provide push/pop methods.

p4raw-id: //depot/perlio@9314

Check in a stable (working) version before next round of tweaks.
Changes include:
 - Move default layers code out of doio.c and into perlio.c
 - Single routine for parsing layer specification strings.
 - Skeleton support for demand loading of layers
 - Core-dump avoidance if PERLIO environment specifies loadable layer
   (does not _work_ as need IO to load and need load to do IO ...)

p4raw-id: //depot/perlio@9313

Forgot the unneeded hints/dec_osf.pl into MANIFEST in #9308.

p4raw-id: //depot/perl@9311

Net::Ping
Message-ID: <20010322193031.A18814@strago.jenovaproject.org>

p4raw-id: //depot/perl@9310

EBCDIC patches for Digest::MD5 tests from Peter Prymmer.

p4raw-id: //depot/perl@9309

Integrate Digest-1.00 and Digest-MD5-2.13, from Gisle Aas.
- bump the version to 2.14
- drop the base64 tests since they require MIME::Base64
- drop the rfc1321.txt
- drop the hints/dec_osf.pl since it's only needed for
  pre-5.005_03 Perls
Todo:
- the U32 alignment testing is now removed; it needs to
  be reintroduced as as a Config variable (meaning also
  as a Configure test)
- get the new EBCDIC md5sum for MD5.pm
- test in Win32 to see how badly I botched the makefiles

p4raw-id: //depot/perl@9308

Integrate change #9306 from maintperl into mainline,
AIX dynaloader for AIXes without <load.h>.

p4raw-link: @9306 on //depot/maint-5.6/perl: b9a292f48852cf3cc66c257e67dbf85c05aceb9a

p4raw-id: //depot/perl@9307
p4raw-integrated: from //depot/maint-5.6/perl@9301 'copy in'
ext/DynaLoader/hints/aix.pl (@9250..)

Add pTHX_ to -Duseperlio API where it does not conflict with legacy stuff.

p4raw-id: //depot/perlio@9305

Render -Duseperlio functional again.
 - this is "quick fix" which calls PerlIO_apply_layers after opening,
   which is what old scheme did. New scheme needs to change that
   to make open(...,\$scalar) etc. work but this will do for now.

p4raw-id: //depot/perlio@9304

Avoid "reopen" semantics for time being. Fix bug in dup logic.
-Uuseperlio now works again.
-Duseperlio is still poorly. Don't merge yet...

p4raw-id: //depot/perlio@9303

Snapshot of new PerlIO open scheme. Still buggy - mainly in open($fh,">&STDOUT!")
type code.
  - Invent PerlIO_openn() - which has "lots" of args a bit like do_openn() which
    is its main caller. In particular now has access to "extra" args, and
    can tell when an open handle is "reopened" (or duped?).
  - In -Duseperlio PerlIO_open() et. al. are now wrappers on PerlIO_openn().
  - In -Uuseperlio (untested as yet) PerlIO_openn() is a wrapper on
    PerlIO_open() et. al. (i.e. other way round).
  - Collapse "vtable" entries for layers - was fdopen/open/reopen now just open
    with args close to PerlIO_openn().

p4raw-id: //depot/perlio@9302

Integrate perlio:

[  9300]
Don't include $@ in not ok message.

[  9298]
Give a meaning to '&' in n-arg open case:
open($fh,"<&",$scalar);
$scalar can be:
- an integer which does "fdopen"
open($fh,"<&",2); # like open($fh,"<&2")
- something that will yield a file handle via sv_2io()
useful for dup'ing anonymous handles.
e.g.:
open(my $fh,"<&",\*STDIN);
open(my $dup,"<&",$fh);

[  9297]
Implement open($fh,"-|",prog,args...) for HAS_FORK cases.

[  9296]
Re-instate warnings for 'eof STDOUT' etc. by marking STD* as appropriate IoTYPE.

[  9295]
If stdin, stdout or stderr get opened in unexpected read/write state
then warn at time of open not at time of use.

[  9294]
Die on n-arg open(...,"",xxx,yyy,...)
- redirect pipe cases to PerlProc_popen_list() (which just croaks for now)
- die on read/write cases so we can decide what it means later.

[  9293]
perlio tweaks (reported by Nicholas Clark)
Line buffer ttys, PerlIOBuf_tell() on unseekable off-by one,
error check in Pendinf_read().

p4raw-link: @9300 on //depot/perlio: 4fbc943a81ac8168e4ba63497561c515427127d8
p4raw-link: @9298 on //depot/perlio: e620cd7232b242c1500abd8a6a5b86efdf1c5c2b
p4raw-link: @9297 on //depot/perlio: 1f852d0d1f9745d51afb4cb836d527bbbac0c64e
p4raw-link: @9296 on //depot/perlio: a04651f440b69a3f6af9f5fcf427068253775945
p4raw-link: @9295 on //depot/perlio: a00b5bd33cb12556305f4526d4870e67e2ca9517
p4raw-link: @9294 on //depot/perlio: 4a7d1889681c73a99b9a39d8a3d3760367674002
p4raw-link: @9293 on //depot/perlio: 1f47406448f2d51ae8241e146df3675f96b72815

p4raw-id: //depot/perl@9301

Don't include $@ in not ok message.

p4raw-id: //depot/perlio@9300

Give a meaning to '&' in n-arg open case:
  open($fh,"<&",$scalar);
  $scalar can be:
  - an integer which does "fdopen"
    open($fh,"<&",2); # like open($fh,"<&2")
  - something that will yield a file handle via sv_2io()
    useful for dup'ing anonymous handles.
    e.g.:
    open(my $fh,"<&",\*STDIN);
    open(my $dup,"<&",$fh);

p4raw-id: //depot/perlio@9298

Implement open($fh,"-|",prog,args...) for HAS_FORK cases.

p4raw-id: //depot/perlio@9297

Re-instate warnings for 'eof STDOUT' etc. by marking STD* as appropriate IoTYPE.

p4raw-id: //depot/perlio@9296

If stdin, stdout or stderr get opened in unexpected read/write state
then warn at time of open not at time of use.

p4raw-id: //depot/perlio@9295

Die on n-arg open(...,"",xxx,yyy,...)
 - redirect pipe cases to PerlProc_popen_list() (which just croaks for now)
 - die on read/write cases so we can decide what it means later.

p4raw-id: //depot/perlio@9294

perlio tweaks (reported by Nicholas Clark)
Line buffer ttys, PerlIOBuf_tell() on unseekable off-by one,
error check in Pendinf_read().

p4raw-id: //depot/perlio@9293

Regex tests from Chicheng Zhang.  (Already fixed.)

p4raw-id: //depot/perl@9291

Integrate perlio:

[  9285]
Multiplicity fix for Dumper.

p4raw-link: @9285 on //depot/perlio: 6cde4e9429924ded8fa67b82555e7528e0d47b56

p4raw-id: //depot/perl@9287

Multiplicity fix for Dumper.

p4raw-id: //depot/perlio@9285

Integrate mainline - (does not build xTHX issue in Dumper).

p4raw-id: //depot/perlio@9284

The #9270 would have leaked a scalar if pp_substr()
returned early.

p4raw-id: //depot/perl@9282

More pixie cleaning.

p4raw-id: //depot/perl@9276

Update Changes.

p4raw-id: //depot/perl@9275

First stab at making Data::Dumper to grok Unicode.

TODO: tests, EBCDICify.

p4raw-id: //depot/perl@9274

Fix for

Subject: Memory leak in unquoted print
Message-ID: <Pine.LNX.4.21.0103200958180.1538-100000@marmot.rim.canoe.ca>

p4raw-id: //depot/perl@9273

Re: [PATCH] POSIX::getcwd()
Message-ID: <Pine.LNX.4.21.0103191454500.1820-100000@marmot.rim.canoe.ca>

p4raw-id: //depot/perl@9272

Cwd.pm docs
Message-ID: <Pine.LNX.4.21.0103201516550.7893-100000@marmot.rim.canoe.ca>

p4raw-id: //depot/perl@9271

Continue 4-arg substr() UTF-8 fixage.

p4raw-id: //depot/perl@9270

Integrate changes #9262,9264,9265,9266 from maintperl to mainline.

revert the leak fix in change#9142 (problem needs a more experimental
fix unsuitable for 5.6.1)

do alphabetical sorting by default (for csh compatibility)

cut-n-paste goof in change#9264

VMS piping fixes (from Charles Lane)

p4raw-link: @9266 on //depot/maint-5.6/perl: 72d1c956969523b19a71b5ffb5af9479f09d0e6a
p4raw-link: @9265 on //depot/maint-5.6/perl: 8549c3fc2da30e970df00a46a796a39e843777aa
p4raw-link: @9264 on //depot/maint-5.6/perl: 1086ad2319c3ee3e3873c478e76309ea4f03453b
p4raw-link: @9262 on //depot/maint-5.6/perl: a89eb504d1201e0dad09aaf86db07d000904f216
p4raw-link: @9142 on //depot/maint-5.6/perl: 26972843796e21c404c9d13ec5ee86e7b952a2bd

p4raw-id: //depot/perl@9269
p4raw-integrated: from //depot/maint-5.6/perl@9268 'copy in'
ext/File/Glob/Changes ext/File/Glob/bsd_glob.c
ext/File/Glob/bsd_glob.h (@5902..) ext/File/Glob/Glob.pm
(@7770..) vms/vmspipe.com (@8636..) vms/vms.c (@8986..) 'edit
in' ext/File/Glob/Glob.xs (@9264..) 'merge in' scope.c
(@9142..)

Integrate perlio:

[  9267]
More EBCDIC stuff:
- Loose the extra level of function on ASCII.
- spotted a chr(0) issue in sv.c
- re-work of UTF-X tr/// ranges to work in Unicode
space. Still issues with the "0xff is illegal UTF-8" hack.
- Yet another ad. hoc. utf8 'upgrade' in op.c recoded
(why do it once when you can do it all over the place :-(
- Enable HINTS_UTF8 on EBCDIC - then ignore it in toke.c,
need utf8.pm for swashes.
- Simplified and commented scan_const() in toke.c
Still something wrong regexp and tr (swashes?).

p4raw-link: @9267 on //depot/perlio: 2b9d42f0ba1bb562fe21327dc7948ab1a5397a19

p4raw-id: //depot/perl@9268

More EBCDIC stuff:
 - Loose the extra level of function on ASCII.
 - spotted a chr(0) issue in sv.c
 - re-work of UTF-X tr/// ranges to work in Unicode
   space. Still issues with the "0xff is illegal UTF-8" hack.
 - Yet another ad. hoc. utf8 'upgrade' in op.c recoded
   (why do it once when you can do it all over the place :-(
 - Enable HINTS_UTF8 on EBCDIC - then ignore it in toke.c,
   need utf8.pm for swashes.
 - Simplified and commented scan_const() in toke.c
Still something wrong regexp and tr (swashes?).

p4raw-id: //depot/perlio@9267

Integrate changes #9259,9260 from maintperl into mainline.

Subject: [MacPerl-Porters] [PATCH] POSIX, File::Path (Mac OS) for 5.6.1 and 5.7

Subject: [PATCH perl-5.6.1-TRIAL3/run.c] printf warning

p4raw-link: @9260 on //depot/maint-5.6/perl: b83ee361c1b8f0045f0125bffa546780643848c4
p4raw-link: @9259 on //depot/maint-5.6/perl: 5a271d91b72f558a378756b049d1040c9ff0a63c

p4raw-id: //depot/perl@9261
p4raw-integrated: from //depot/maint-5.6/perl@9258 'copy in'
lib/File/Path.pm (@8175..) 'merge in' ext/POSIX/POSIX.xs
(@8885..) run.c (@8987..)

Update Changes.

p4raw-id: //depot/perl@9258

tr/// UTF-8 tests for Inaba Hiroto's latest patches.

p4raw-id: //depot/perl@9257

substr($bytestr, i, n, $charstr)

TODO: we are still broken if $bytestr needs UTF-8 upgrading.

p4raw-id: //depot/perl@9255

Rearrange the make test target prerequisites so that
in a parallel make 'all' is finished before 'test'.

p4raw-id: //depot/perl@9254

PATCH: cosmetic tweak in pp_ctl.c
Message-ID: <20010319154841.A28174@puffinry.freeserve.co.uk>

p4raw-id: //depot/perl@9253

Integrate perlio:

[  9248]
Tweak to perly.y to allow -DDEBUGGING to compile on OS390.
(Building on OS390 uses native YACC and YYDEBUG has other
side effects.)

[  9246]
More EBCDIC fixes.

p4raw-link: @9248 on //depot/perlio: 1e0e26cb26fde01fd11e7cf9703ff3045aed4e51
p4raw-link: @9246 on //depot/perlio: c4d5f83add3e03ac76c328ed8a29701d939174ce

p4raw-id: //depot/perl@9252

Integrate changes #9244,9247,9250 from maintperl into mainline.

Dynaloading in 64-bit AIX with vac.

p4raw-link: @9250 on //depot/maint-5.6/perl: cbdca039b5e144d1778a3f526024bb6da2a58a72
p4raw-link: @9247 on //depot/maint-5.6/perl: 1d70f4d9891a32fb9ebe5b896f754b8c759ffece
p4raw-link: @9244 on //depot/maint-5.6/perl: f816f13eaa91bfe02a64ccda4a80eee889237c24

p4raw-id: //depot/perl@9251
p4raw-integrated: from //depot/maint-5.6/perl@9243 'copy in'
ext/DynaLoader/hints/aix.pl (@5902..) ext/DynaLoader/dl_aix.xs
(@9247..) 'merge in' hints/aix.sh (@8537..)

Integrate mainline.

p4raw-id: //depot/perlio@9249

Tweak to perly.y to allow -DDEBUGGING to compile on OS390.
(Building on OS390 uses native YACC and YYDEBUG has other
 side effects.)

p4raw-id: //depot/perlio@9248

More EBCDIC fixes.

p4raw-id: //depot/perlio@9246

bad =item paragraphs
Message-Id: <200103191801.SAA01072@tempest.npl.co.uk>

p4raw-id: //depot/perl@9243

UTF-8 tr/// battle continues, ammunition from Inaba Hiroto.

TODO: tests.

p4raw-id: //depot/perl@9242

Integrate change #9233 from maintperl into mainline.

some refcounts were incorrect in perl_clone()

p4raw-link: @9233 on //depot/maint-5.6/perl: dca1bc40364bec892edf18517ed5e3c914edecc6

p4raw-id: //depot/perl@9240
p4raw-integrated: from //depot/maint-5.6/perl@9233 'merge in' sv.c
(@9197..)

Integrate change #9219 from maintperl into mainline.

remove duplicated tests

p4raw-link: @9219 on //depot/maint-5.6/perl: d25866bd13dc76915b2d6894a02c852f6a2dd720

p4raw-id: //depot/perl@9225
p4raw-integrated: from //depot/maint-5.6/perl@9223 'copy in'
t/op/re_tests (@8780..)

Document -Dmksymlinks.

p4raw-id: //depot/perl@9223

Cleanup pixie residue.

p4raw-id: //depot/perl@9221

Document the use of pixie/prof; create make targets for it.

TODO: make t/TEST pixie-aware.

p4raw-id: //depot/perl@9220

Document Third Degree some more, and also PERL_DESTRUCT_LEVEL.

p4raw-id: //depot/perl@9218

Rewrite the tests section of Makefile to be less redundant
and to allow for more flexible test targets, many recursive
make calls introduced.

p4raw-id: //depot/perl@9217

Document the use of Third Degree (sparsely).

p4raw-id: //depot/perl@9216

Make targets for testing with Third Degree.

p4raw-id: //depot/perl@9215

The podchecker relaxations need to mirrored also at the tests.

p4raw-id: //depot/perl@9214

Update Changes.

p4raw-id: //depot/perl@9213

Looking for config.sh in parent directories isn't
very useful for the toplevel Makefile.

p4raw-id: //depot/perl@9212

On "make clean" take care of Third Degree droppings.

p4raw-id: //depot/perl@9211

Add a hook for running the tests under the Third Degree
debugging tool (set $ENV{PERL_3LOG} to non-zero)

TODO: Document the use of Third Degree.

p4raw-id: //depot/perl@9210

Regen toc and api pods.

p4raw-id: //depot/perl@9209

podchecker relaxations from Michael Stevens.

p4raw-id: //depot/perl@9207

Retract the changes made at #9176 to Neil's and Ilya's module pods.

p4raw-id: //depot/perl@9206

Integrate changes #9161,9162 from maintperl to mainline.

clearing of $ENV{PERL_DESTRUCT_LEVEL} interferes with purify
       results

p4raw-link: @9162 on //depot/maint-5.6/perl: cc873c8a609f4b56edba9b88f1b4496679d365b9
p4raw-link: @9161 on //depot/maint-5.6/perl: 1d073d17caf7c28dffb8fcb759327c7e2554da80

p4raw-id: //depot/perl@9205
p4raw-integrated: from //depot/maint-5.6/perl@9204 'copy in'
t/op/magic.t (@9161..)

Make perl.third checks more understandable to the builder.

p4raw-id: //depot/perl@9204

Re-integrate #9138 from maintperl to mainline,
the squelching of the unneeded "Scalars leaked" messages.

p4raw-id: //depot/perl@9203
p4raw-integrated: from //depot/maint-5.6/perl@9202 'copy in'
t/pragma/strict-vars (@7318..) t/pragma/warn/regcomp (@7887..)
t/op/regexp.t (@8551..) t/op/lex_assign.t (@8987..) 'merge in'
t/op/local.t (@5902..) t/pragma/warn/op (@7846..)
t/pragma/warnings.t (@7895..) t/comp/proto.t (@8173..)
t/pragma/warn/toke (@8570..) t/op/pat.t (@9076..)

More robust and more paranoid perl.third target.

p4raw-id: //depot/perl@9202

Integrate change #9197 from maintperl to mainline.

more thorough cleaning of arenas.

p4raw-link: @9197 on //depot/maint-5.6/perl: ec3d44d040803cac937295d8f4740e6a36ba30fb

p4raw-id: //depot/perl@9201
p4raw-integrated: from //depot/maint-5.6/perl@9200 'merge in'
t/op/sort.t (@7895..) perl.c (@9064..) sv.c (@9108..) embed.pl
proto.h (@9154..)

Integrate perlio:

[  9199]
Prefer !UTF8_IS_INVARIANT() over UTF8_IS_CONTINUED() when that
is the sense of the test being done. Avoid some magical 127 and 128 values
by using macros.

[  9198]
UTF-X encoding invariance for Encode:
- move Encode::utf8_encode to utf8::encode (likewise decode,upgrade,downgrade,valid)
- move the XS code for those to universal.c (so in miniperl)
- add utf8::unicode_to_native and its inverse to allow EBCDIC to work in true unicode.
- change ext/Encode/compile to use above.
- Fix t/lib/encode.t for above
- Teach t/lib/b.t to expect -uutf8
- In utf8.c look for SWASHNEW rather than just utf8:: package to see if
utf8.pm is needed.

[  9196]
Fix pragma/utf8.t # 15
- if toke.c is processing a SvUTF8 string then single quoted '...' etc.
are SvUTF8 as well.

p4raw-link: @9199 on //depot/perlio: 63cd067459124b5dc1d2ae98453df4ffdff11607
p4raw-link: @9198 on //depot/perlio: 1b026014ba0f5424fabe070eda050db5e7df518a
p4raw-link: @9196 on //depot/perlio: be4731d2ab91c4f6213bf88a0084f6128a0db383

p4raw-id: //depot/perl@9200

Prefer !UTF8_IS_INVARIANT() over UTF8_IS_CONTINUED() when that
is the sense of the test being done. Avoid some magical 127 and 128 values
by using macros.

p4raw-id: //depot/perlio@9199

UTF-X encoding invariance for Encode:
 - move Encode::utf8_encode to utf8::encode (likewise decode,upgrade,downgrade,valid)
 - move the XS code for those to universal.c (so in miniperl)
 - add utf8::unicode_to_native and its inverse to allow EBCDIC to work in true unicode.
 - change ext/Encode/compile to use above.
 - Fix t/lib/encode.t for above
 - Teach t/lib/b.t to expect -uutf8
 - In utf8.c look for SWASHNEW rather than just utf8:: package to see if
   utf8.pm is needed.

p4raw-id: //depot/perlio@9198

Fix pragma/utf8.t # 15
 - if toke.c is processing a SvUTF8 string then single quoted '...' etc.
   are SvUTF8 as well.

p4raw-id: //depot/perlio@9196

Integrate mainline

p4raw-id: //depot/perlio@9195

Sarathy's clear_pmop patch with Radu Greab's fix,
Hiroto's, Nicholas Clark's, and Vadim Konovalov's tests.

p4raw-id: //depot/perl@9194

NI-S' cunning idea of how to de-UTF8 the "\C-broken" submatches.

p4raw-id: //depot/perl@9193

tr/// UTF-8 patches from Inaba Hiroto.

p4raw-id: //depot/perl@9192

Integrate perlio:

[  9190]
Correct #if EBCDIC side typos.
Builds and passes many tests on OS390.

p4raw-link: @9190 on //depot/perlio: 753838417b30f18133bff09e0b7fa58f5a0db60a

p4raw-id: //depot/perl@9191

Correct #if EBCDIC side typos.
Builds and passes many tests on OS390.

p4raw-id: //depot/perlio@9190

Add prerequisites for the perl.third target.

p4raw-id: //depot/perl@9189

Integrate perlio:

[  9186]
MANIFEST addition :-(

[  9185]
Infrastructure to use UTF-EBCDIC rather than UTF-8 as the internal
encoding on EBCDIC platforms. This has property that U+0000..U+009F i.e.
a superset of ASCII are invariant under the encoding. This is EBCDIC
friendly as an encoded string can be looked at as being EBCDIC by lexer
sprintf("0",...) etc. in same manner that a UTF-8 string be considered
ASCII on ASCII machines.
- re-arrange utf8.h to get ASCII specific vs Unicode generic bits
seperate.
- Add some more macros to comprehend different shift amounts and
possible swizzle in UTF-EBCDIC vs UTF-8. Change utf8.c to use them.
- add utfebcdic.h which provides UTF-EBCDIC versions of the macros,
and conditionally #include it.
EBCDIC build as yet untested.  ASCII still fails the one test.

[  9184]
Minor naming change UTF8_IS_ASCII => UTF8_IS_INVARIANT

p4raw-link: @9186 on //depot/perlio: 57ce1777e628f108f670a828f77ce6475bb81e32
p4raw-link: @9185 on //depot/perlio: 1d72bdf6104ef56ab17c3abedf522be0125851c7
p4raw-link: @9184 on //depot/perlio: d742c382eed38a7010c93d369ad6896d826c21d6

p4raw-id: //depot/perl@9188

Add a make rule for perl.third (the Third Degree memory debugging
tool of Tru64 / Digital UNIX / DEC OSF/1, see man third or man atom)

p4raw-id: //depot/perl@9187

MANIFEST addition :-(

p4raw-id: //depot/perlio@9186

Infrastructure to use UTF-EBCDIC rather than UTF-8 as the internal
encoding on EBCDIC platforms. This has property that U+0000..U+009F i.e.
a superset of ASCII are invariant under the encoding. This is EBCDIC
friendly as an encoded string can be looked at as being EBCDIC by lexer
sprintf("%d",...) etc. in same manner that a UTF-8 string be considered
ASCII on ASCII machines.

 - re-arrange utf8.h to get ASCII specific vs Unicode generic bits
   seperate.
 - Add some more macros to comprehend different shift amounts and
   possible swizzle in UTF-EBCDIC vs UTF-8. Change utf8.c to use them.
 - add utfebcdic.h which provides UTF-EBCDIC versions of the macros,
   and conditionally #include it.

EBCDIC build as yet untested.  ASCII still fails the one test.

p4raw-id: //depot/perlio@9185

Minor naming change UTF8_IS_ASCII => UTF8_IS_INVARIANT

p4raw-id: //depot/perlio@9184

Integrate perlio:

[  9182]
Allow test to pass even when \C leaves SvUTF8 set by adding 'use bytes'

[  9180]
EBCDIC Fixes.

[  9173]
1st day's EBCDIC fixes:
- toke.c's parsing of strings needed attention
needed to conditionally e2a if string was already UTF-8
- e2a/a2e tables where wrong way round.
- new macros in utf8.h

p4raw-link: @9182 on //depot/perlio: 73d6d5898f99c77c19a56e8934a3f0d8ab9918b8
p4raw-link: @9180 on //depot/perlio: db42d1485c38c3442e7b62e63d45f5e5b9b66ee1
p4raw-link: @9173 on //depot/perlio: 60f7a97ae5b801dc0b103022b69814f3a1161856

p4raw-id: //depot/perl@9183