Support devirtulization of Encoders (#10229)

* Seal more final inherited internal types

need to account for the allocated bytes correctly for the following: (#10162)

need to account for the allocated bytes accurately for the following cases

Merge pull request #10235 from dotnet/mirror-merge-9050192

Mirror changes from dotnet/corert

Move the MemberInfo-derived Info classes to the shared partition. (#10236)

* Copy over CoreRt prose member by member.

* Transplant the CoreRt version of the files.

This is now just a reordering. Verified
by sorting the old and new versions of the
file and diffin.

* Move to shared partition.

* Looks like the #if FEATURE_COMINTEROP wasn't just for show...

Take EventInfo.cs back to unshared status for now...

[Local GC] Break EE dependency on GC's generation table and alloc lock in single-proc scenarios (#10065)

* Remove usage of the generation table from the EE by introducing an
EE-owned GC alloc context used for allocations on single-proc machines.

* Move the GC alloc lock to the EE side of the interface

* Repair the Windows ARM build

* Move the decision to use per-thread alloc contexts to the EE

* Rename the lock used by StartNoGCRegion and EndNoGCRegion to be more indicative of what it is protecting

* Address code review feedback 2 (enumerate the global alloc context as a part of GCToEEInterface)

* Code review feedback (3)

* Address code review feedback (move some GC-internal globals to gcimpl.h and gc.cpp)

* g_global_alloc_lock is a dword, not a qword - fixes a deadlock

* Move GlobalAllocLock to gchelpers.cpp and switch to preemptive mode when spinning

* Repair the Windows x86 build

Merge pull request #10240 from pgavlin/fixerrorlevel

Fix test failure detection when dumps are enabled.

Fix test failure detection when dumps are enabled.

Add a lab job for Coreclr testing via ILLINK (#10200)

This commit adds a job that:
1) Clones https://github.com/mono/linker
2) Builds the linker for netcoreapp2.0
3) Builds CoreCLR and tests using the IlLinker built above

The job is run daily, and can be reqested from PRs as necessary.

Add IBC support to managed build (#10180)

Add a new build switch, `ibcinstrument`, that adds `/Tuning` on the `crossgen`
command line when building System.Private.CoreLib and its peers. Automatically
consume IBC optdata during builds when these conditions are met:

1. `ibcinstrument` is *not* passed to the build,
2. optdata is available
3. ibcmerge is available

Note that `optdata` will not yet be restored with this change; once packages for
master are made available, a new package reference will still need to be added.
This PR attempts to unblock manually testing IBC, as well as surrounding
CI/infrastructure work.

To help produce an IBC-optimized build using manually generated profile data,
run the newly added `tests/scripts/optdata/bootstrap.py` script. It will
configure the build to consume IBC data from a path automatically, and print out
that path where profile data can be copied.

Fix CoreCLR build break in shared corelib partition (#2997)

Move RelocatedTypeAttribute under PROJECTN ifdef

Enable FileStream in ProjectN build, use CreateFile2 instead of CreateFile.

[tfs-changeset: 1651001]

Removed check for the maximum quantity of arguments (#10232)

Update CoreClr to beta-25116-01 (#10163)

Fixing more file-class correspondence violations. (#10231)

* Cloned files.

* Reduce each file to its namesake class.

* Cleanup

* Fix build break.

Merge pull request #10214 from pgavlin/TimeoutCrashDumps

Take crash dumps for timed-out tests.

Take crash dumps for timed-out tests.

This change updates the test infrastructure to collect crash dumps for
tests that time out. We've been seeing a number of tests that only time
out in CI (e.g. #10076); hopefully this will help us root-cause the
timeouts.

Merge pull request #10164 from stephentoub/fs_pipe_crash

Ignore FileStream.FlushWriteBuffer failures during finalization

Delete mscorlib facade (#10157)

Fixes #7607

Merge pull request #10177 from eerhardt/TZPosixNames

Support bracket enclosed names in TZ POSIX rules

Hide types which are now public in corefx (#10142)

Minor fix to address ?: VC conformance improvement. (#10208)

Visual C++ has made some conformance changes to conditional operator
that will be available under /permissive- and which make the inference of
result type of the conditional operator in these 2 places ambiguous. This
happens because the class type in one of the arguments provides both: the
constructor from and the conversion operator to T - LCWSTR here.

Temporarily disable flaky sleep test (#10221)

Fix Convert.FromBase64CharArray with empty array (#10224)

[x86/Linux] Fix NativeCallableTest (#10060)

* [x86/Linux] Fix NativeCallableTest

* Move m_cbActualArgSize adjustment outside if statement

* [x86/Linux] Adjust m_cbActualArgSize in case pStubMD == NULL

* [x86/Linux] Move m_cbActualArgSize calculation to #else part of '#ifdef _TARGET_X86_'

* [x86/Linux] Remove redundant computations, add comments for m_cbActualArgSize meaning

Merge pull request #10168 from eerhardt/PortablePDBs

Make portable PDBs on Unix instead of no symbols at all.

Enable use of Volatile<T> on arm64 to get correct memory consistency (#10212)

Clean up fcall.h (#10158)

Reorder stack arguments on reverse P/Invoke (#10217)

[x86/Linux] Fix IL_STUB_PInvoke with RetBuf (#10144)

* [x86/Linux] Fix IL_STUB_PInvoke with RetBuf

Fix calling convention and IL_STUB_PInvoke for native functions
which was problematic for native functions that has
a RetBuf argument(struct size <= 8) on x86/Linux.

Fix #10027

Merge pull request #10218 from dotnet/revert-10213-buildType

Revert "Add BuildType to helixpublish.proj"

Merge pull request #10219 from dotnet/revert-10210-distroRid

Revert "Make user specify RID for publishing test native bins into"

Revert "Make user specify RID for publishing test native bins into"

Revert "Add BuildType to helixpublish.proj"

Merge pull request #9876 from sdmaclea/PR-ARM64-ForeignThreadExceptionsNative

[Arm64] Enable building ForeignThreadExceptionsNative

Fix ToTitleCase Functionality for Dutch Cultures (#10195)

* Add Methods to Handle Dutch Titlecasing

Added the `IsDutchCulture` and `IsIjAtCurrentPosition` methods to handle
resolving a special-case for Dutch titlecasing, which should properly
capitalize any instances of "IJ" at the beginning of a titlecased word.

* Moved `IsDutchCase()` Call Into Local Variable

Moved the check for Dutch culture outside of the title-loop to avoid unnecessary evaluations.

* Performance Changes and Improvements to Dutch Titlecasing

Removed `IsDutchCulture()` method in favor of an inline approach relying
on the `StartsWith()` method; Remove the `IsIjAtCurrentPosition()`
method in favor of another inline approach to improve performance.

* Minor Formatting Change

Added space for `isDutchCulture` line, as it managed to disappear somewhere along the way.

Merge pull request #10213 from wtgodbe/buildType

Add BuildType to helixpublish.proj

Add BuildType to helixpublish.proj

Change CoreCLR to use Sierra (#10173)

* Switch to full 10.12
* Disable query performance counter test

Merge pull request #10210 from wtgodbe/distroRid

Make user specify RID for publishing test native bins into

Merge pull request #10206 from wtgodbe/MultiQueue

Add support for Multiqueing jobs in Helix

Migrate MethodBase.cs over to the shared partition. (#10202)

* Replace each member with CoreRt prose.

* Lightup IsConstructedGenericMethod

* Copy over CoreRt MethodBase.cs (this is now just a reordering)

* Move MethodBase.cs verbative over to shared partition.

* AAAAND.... it looks like this exercise exposed a bug in CoreRt.

* Resolved merge conflict

Make user specify RID for publishing test native bins into

Move System.Convert code to shared partition (#10178)

* Move System.Convert code to shared partition
* Use ReferenceEquals for type equality

Add support for Multiqueing jobs in Helix

Merge pull request #10196 from wtgodbe/fixHelix

Build Targeting Pack after restoring packages

Prepare MethodBase.cs for migration to shared partition. (#10194)

* Clone the files w/out changes.

* Distill each file to its intended subset.

* Minimize usings.

* Renamed to *.CoreClr.cs - extended free car wash to fix the nits.

Build Targeting Pack after restoring packages

Merge pull request #10166 from alpencolt/ryu-arm-arr-tests

Added Array tests to CodeGenBringUpTests

Add support for testing via ILLINK

Add support for testing via ILLINK

This commit has the following changes:
1) Setup the testing infrastructure to run the CoreCLR tests after linking through ILLinker
    `runtest.cmd /link <path-to-illink.exe>`
2) The linker is taken as an argument for runtest.cmd, typically the corebuild of
    https://github.com/mono/linker
3) Tests are run by linking the test binaries and all libraries except `System.Private.Corelib.dll`
4) For tests that use reflection, setup Reflection roots in source directories as `<test>.reflect.xml`

Support bracket enclosed names in TZ POSIX rules

The POSIX time zone rules at the end of a tzfile have been updated to allow digits, plus signs and minus signs in the time zone names by enclosing the name in `<` and `>` characters. TimeZoneInfo's parsing logic was written using an older version of the spec, so it didn't have support for this format.

Fix https://github.com/dotnet/corefx/issues/16962

Replace MemberInfo.cs with the CoreRt version and move to shared partition. (#10167)

* Move file verbatim.

* Port over CoreRT style sans reordering.

* Final replacement with CoreRt file.

Added Array tests to CodeGenBringUpTests

Merge pull request #10145 from hqueue/arm/ryujit/shiftrotate_decomposed_long

[Ryujit/ARM32] Support shift and rotate for decomposed long

JIT: preliminaries to improve types (#10172)

Refactor the logic in `impDevirtualizeCall` so that the part that determines
the type of a tree for ref types is now a new utility method that can be called
elsewhere.

Update the utility to examine calls more closely. For inline candidates that
return shared types, try and use the context to get to the unshared version of the
type. For calls that are not inline candidates, look at the type in the signature
available to the jit w/o context.

Call the utility when we've created a temp for an inlinee's argument and the
argument is not modified in the inlinee body. If we already thought we knew the
type of the temp exactly, ensure that this new information agrees.

Rework the logic in `impDevirtualizeCall` in anticipation of interface call
devirtualization. Update the diagnostic stream to indicate the kind of call
devirtualized and the primary reason why devirtualization happened.
Avoid fetching class and method names unless they're going to be used. Likewise
try not to fetch attributes if we already have them on hand.

Merge pull request #9276 from benaadams/sealed-encodings

Support Encoding devirtualization

Merge pull request #10152 from jashook/assert_pcodes_pcodesstart_lt_256

[Arm64] Always add UWC_END

Merge pull request #10023 from parjong/fix/clr_abi

Update CLR ABI PSPSym Section

Merge pull request #10171 from pgavlin/TestWrapperTimeouts

Do not wait on std{out,err} when a test times out.

Merge pull request #10176 from wtgodbe/BuildToolsAgain

Update Buildtools Version

Merge pull request #10175 from wtgodbe/NonWindowsTargetingPack

Copy Targeting Pack files into Core_Root for Non-Windows

Fix tz rules (#10169)

* Fix the TZ Rule data on Linux

On Linux when the caller ask for the TZ adjustment rules we convert the internal stored rule data from UTC to local time. we used to TZI.Convert which is wrong because calculating the start the daylight start time should always not include the daylight delta because we didn't start the daylight saving yet. and calculating the end of daylight should always include the daylight delta because we were in the daylight saving period.

The fix here is manually calculating the start and end of the daylight saving inside the rule

* Revert the comment change

* Add a comment

Update Buildtools Version

Copy Targeting Pack files into Core_Root for Non-Windows

Do not wait on std{out,err} when a test times out.

The test wrapper currently waits on each of the process, stdout copy,
and stderr copy in turn. This makes it difficult to determine whether
or not the test did in fact time out, as the time in which it may
write to its output streams is effectively twice or thrice the
time used to determine success or failure (i.e. the process wait
timeout). This can cause situations like what we've seen in #10076,
where the harness reports that the process timed out but the test's
output indicates a successful run.

This change only waits on stdout/stderr if the process completes within
the time allotted; otherwise it cancels the copies and promptly reports
the timeout.

Fix #9457

To optimize code size we only added a UWC_END code if the last code in
uecMem does not equal UWC_END. However, the uec codes are variable sized
and allow any value to follow the code. Therefore, the value has the
small possibility to equal the value of UWC_END (0x4e on arm64
and 0xFF on arm32). Which incorrectly leaves the unwind array
unterminated.

Make portable PDBs on Unix instead of no symbols at all.

Ignore FileStream.FlushWriteBuffer failures during finalization

Merge pull request #10147 from dotnet-bot/master-UpdateDependencies

Update CoreClr, CoreFx to beta-25113-03, beta-25114-01, respectively (master)

Merge pull request #9853 from hqueue/arm/ci_legs

[ARM/CI] Add manual triggering CI for arm and armel

Optimize Span.Clear() on AMD64 (#10110)

* optimize Span.Clear() by using initblk

Update CoreClr, CoreFx to beta-25113-03, beta-25114-01, respectively

Merge pull request #10155 from BruceForstall/CallMorphDoc

Add documentation on RyuJIT call morphing

Merge pull request #10153 from adityamandaleeka/remove_stress_thread

Remove STRESS_THREAD

Merge pull request #10073 from adityamandaleeka/handle_types_to_enum_1

Replace HNDTYPE defines with enum

Add documentation on RyuJIT call morphing

Improve LIR dumping (#10140)

1. Use the LIR node dumper to display nodes to be generated by
codegen, since we're in LIR form at that point. Add a new
"prefix message" argument to allow "Generating: " to prefix all
such lines.
2. Fix off-by-one error in LIR dump due to `#ifdef` versus `#if`.
3. Remove extra trailing line for each LIR node. This interfered
with #1. But I always thought it was unnecessarily verbose; I don't
believe there is any ambiguity without that extra space.
4. Add dTreeLIR()/cTreeLIR() functions for use in the debugger.

Merge pull request #10074 from wtgodbe/ProjectJson

Pick up new CoreFX packages and abandon old ones

System.Diagnostics.Debugger.Break() should NOT be inlined. (#10151)

Breaks debugger tests.

Add changes to emitMaxStackDepth and fgPtrArgCntMax to JitDump (#10130)

It is useful to see when these are changing.

Convert GenTree* to GenTreeCall* as much as possible (#10132)

This simplifies reading the code, and improves the debugging experience.

Merge pull request #10113 from briansull/ibc-readytorun

Support for IBC profiling for ReadyToRun images

Replace HNDTYPE defines with enum in gcinterface header.

Remove STRESS_THREAD.

Build Linux altjit for x86 and amd64 (#10120)

Enable Windows hosted, Linux target amd64 altjit

With this change, we build a JIT that runs on Windows amd64
and targets Linux amd64, as an altjit named linuxnonjit.dll.
This is useful for debugging, or generating asm code or diffs.
You can even easily create Windows/non-Windows asm diffs
(either to compare the asm, or compare the generated code size).

For this to work, the JIT-EE interface method
getSystemVAmd64PassStructInRegisterDescriptor() was changed
to always be built in, by defining `FEATURE_UNIX_AMD64_STRUCT_PASSING_ITF`
in all AMD64 builds. The `_ITF` suffix indicates that this is
functionality specific to implementing the JIT-EE interface
contract. There were many places in the VM that used this
interchangeably with `FEATURE_UNIX_AMD64_STRUCT_PASSING`. Now,
`FEATURE_UNIX_AMD64_STRUCT_PASSING` means code in the VM needed
to implement this feature, but not required to implement the
JIT-EE interface contract. In particular, MethodTables compute
and cache the "eightbyte" info of structs when loading a type.
This is not done when only `FEATURE_UNIX_AMD64_STRUCT_PASSING_ITF`
is set, to avoid altering MethodTable behavior on non-Unix
AMD64 builds. Instead, if `getSystemVAmd64PassStructInRegisterDescriptor()`
is called on a non-Unix build (by the altjit), the `ClassifyEightBytes()`
function is called, and nothing is cached. Hopefully (though it was
hard for me to guarantee by observation), calling `ClassifyEightBytes()`
does not have any side effects on MethodTables. It doesn't really matter,
since if called for altjit, we don't care too much about running.

The previously used `PLATFORM_UNIX` define is now insufficient.
I introduced the `#define` macros `_HOST_UNIX_` to indicate the
JIT being built will run on Unix, and `_TARGET_UNIX_` to indicate
the JIT is generating code targeting Unix. Some things were
converted to use the `UNIX_AMD64_ABI` define, which makes more
sense.

Merge pull request #10129 from BruceForstall/AdjustStackLevel

Move adjustments to genStackLevel into functions

Merge pull request #10150 from wtgodbe/SupplementalPayload

Re-insert Supplemental Payload into Helix payload

Pick up new CoreFX packages and abandon old ones

Re-insert Supplemental Payload into Helix payload

Merge pull request #10072 from pgavlin/gh10022

Fix some cross-thread memory accesses in a JIT test.

Work for IBC profiling with ReadyToRun images

Incremented ReadyToRun version to 2.2
Implemented caching for IsInstrumented using IS_INSTRUMENTED_UNSET
Added method Module::InitializeForProfiling()
Added full support for method profile counts in ReadyToRun image

Merge pull request #10092 from tannergooding/vs2017

Updating tests/runtest.cmd to use delayed expansion for instances of `_msbuildexe`

Add 3PN entry (#10146)

Merge pull request #10090 from adiaaida/crossgenAllAssemblies

Crossgen all assemblies for throughput perf

Merge pull request #10083 from hqueue/arm/ryujit/decomposed_long_fix

[Ryujit/ARM32] Fix wrong comparion

Merge pull request #10095 from jashook/update_arm64_exclusions

Update arm64 exclusions

Merge pull request #10125 from dotnet-bot/master-UpdateDependencies

Update CoreClr to beta-25113-01 (master)

Updating tests/runtest.cmd to use delayed expansion for instances of `_msbuildexe`

[Ryujit/ARM32] Support shift and rotate for decomposed long

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Merge pull request #10067 from mikedn/oak-no-throw-equals

Fix AssertionDsc::Equals OAK_NO_THROW's handling

Merge pull request #10105 from JonHanna/corefx16566

Rename Type.IsSzArray to Type.IsSZArray and make public.