Merge pull request #10113 from briansull/ibc-readytorun

Support for IBC profiling for ReadyToRun images

Build Linux altjit for x86 and amd64 (#10120)

Enable Windows hosted, Linux target amd64 altjit

With this change, we build a JIT that runs on Windows amd64
and targets Linux amd64, as an altjit named linuxnonjit.dll.
This is useful for debugging, or generating asm code or diffs.
You can even easily create Windows/non-Windows asm diffs
(either to compare the asm, or compare the generated code size).

For this to work, the JIT-EE interface method
getSystemVAmd64PassStructInRegisterDescriptor() was changed
to always be built in, by defining `FEATURE_UNIX_AMD64_STRUCT_PASSING_ITF`
in all AMD64 builds. The `_ITF` suffix indicates that this is
functionality specific to implementing the JIT-EE interface
contract. There were many places in the VM that used this
interchangeably with `FEATURE_UNIX_AMD64_STRUCT_PASSING`. Now,
`FEATURE_UNIX_AMD64_STRUCT_PASSING` means code in the VM needed
to implement this feature, but not required to implement the
JIT-EE interface contract. In particular, MethodTables compute
and cache the "eightbyte" info of structs when loading a type.
This is not done when only `FEATURE_UNIX_AMD64_STRUCT_PASSING_ITF`
is set, to avoid altering MethodTable behavior on non-Unix
AMD64 builds. Instead, if `getSystemVAmd64PassStructInRegisterDescriptor()`
is called on a non-Unix build (by the altjit), the `ClassifyEightBytes()`
function is called, and nothing is cached. Hopefully (though it was
hard for me to guarantee by observation), calling `ClassifyEightBytes()`
does not have any side effects on MethodTables. It doesn't really matter,
since if called for altjit, we don't care too much about running.

The previously used `PLATFORM_UNIX` define is now insufficient.
I introduced the `#define` macros `_HOST_UNIX_` to indicate the
JIT being built will run on Unix, and `_TARGET_UNIX_` to indicate
the JIT is generating code targeting Unix. Some things were
converted to use the `UNIX_AMD64_ABI` define, which makes more
sense.

Merge pull request #10129 from BruceForstall/AdjustStackLevel

Move adjustments to genStackLevel into functions

Merge pull request #10150 from wtgodbe/SupplementalPayload

Re-insert Supplemental Payload into Helix payload

Re-insert Supplemental Payload into Helix payload

Merge pull request #10072 from pgavlin/gh10022

Fix some cross-thread memory accesses in a JIT test.

Work for IBC profiling with ReadyToRun images

Incremented ReadyToRun version to 2.2
Implemented caching for IsInstrumented using IS_INSTRUMENTED_UNSET
Added method Module::InitializeForProfiling()
Added full support for method profile counts in ReadyToRun image

Merge pull request #10092 from tannergooding/vs2017

Updating tests/runtest.cmd to use delayed expansion for instances of `_msbuildexe`

Add 3PN entry (#10146)

Merge pull request #10090 from adiaaida/crossgenAllAssemblies

Crossgen all assemblies for throughput perf

Merge pull request #10083 from hqueue/arm/ryujit/decomposed_long_fix

[Ryujit/ARM32] Fix wrong comparion

Merge pull request #10095 from jashook/update_arm64_exclusions

Update arm64 exclusions

Merge pull request #10125 from dotnet-bot/master-UpdateDependencies

Update CoreClr to beta-25113-01 (master)

Updating tests/runtest.cmd to use delayed expansion for instances of `_msbuildexe`

Merge pull request #10067 from mikedn/oak-no-throw-equals

Fix AssertionDsc::Equals OAK_NO_THROW's handling

Merge pull request #10105 from JonHanna/corefx16566

Rename Type.IsSzArray to Type.IsSZArray and make public.

Use VSD_STUB_CAN_THROW_AV instead of explicit _TARGET_XXX_ (#10143)

Use GetDoubleArrayToLargeObjectHeapThreshold when FEATURE_DOUBLE_ALIGNMENT_HINT is on (#10136)

Update CoreClr to beta-25113-01

Merge pull request #10134 from seanshpark/fixtypo

Fix typo in Compiler::gtHasRef()

Improve encoding performance (#10124)

Fix typo in Compiler::gtHasRef()

Remove dead code (#10128)

Remove code under `#ifdef PROTO_JIT`, which hasn't been defined
in a long time. I'm presuming that since this hasn't been defined
in a long time that the code isn't needed.

Move adjustments to genStackLevel into functions

Add functions AddStackLevel(), SubtractStackLevel(), and SetStackLevel()
for making any changes to genStackLevel. this allows for centralized asserts,
JitDump output, and breakpoint setting.

Update License and add 3PN notices (#10117)

Merge pull request #9867 from sdmaclea/PR-ARM64-FAILS-9857

[Arm64/Unix] Update fails as result of #9857

Merge pull request #10121 from dotnet-bot/master-UpdateDependencies

Update CoreClr to beta-25111-03 (master)

Update CoreClr to beta-25111-03

Update the arm64 metadata based on issues.targets

Note, this moves around a few things in issues.targets to group the
same issues and removes 2414 which was closed.

Merge pull request #10116 from jkotas/issue-6209

Strip internal frame in Environment.StackTrace

Merge pull request #10118 from BruceForstall/FixRuntest

Fix delayed expansion scripting error in runtest.cmd

Fix delayed expansion scripting error in runtest.cmd

Fix incorrect assert condition

Fixes #8683

Strip internal frame in Environment.StackTrace

Contributes to #6209

Merge pull request #10071 from jashook/r2r_gcstress_3_exclusions

Exclude R2R and GCStress 3 failures.

Rename Type.IsSzArray to Type.IsSZArray and make public.

For dotnet/corefx#16566

Merge pull request #10075 from dotnet-bot/master-UpdateDependencies

Update CoreClr, CoreFx to beta-25110-03, beta-25110-02, respectively (master)

Merge pull request #9979 from alpencolt/ryu-arm-blocks

[RyuJIT/ARM32] GT_STORE_BLK/GT_STORE_DYN_BLK support in codegen

Merge pull request #9679 from alpencolt/ryu-arm-arr-index-offset

[RyuJIT/ARM32] GT_ARR_INDEX/GT_ARR_OFFSET support in codegen.

Improve performance of Span.Fill (#10084)

Merge pull request #10096 from Maoni0/nogc

Porting desktop GC changes to coreclr. This fixes the following:

Porting desktop changes to coreclr. This fixes the following:

1) https://github.com/dotnet/coreclr/issues/6809
2) when we do a minimal GC, we need to maintain the states correctly (sync up tables and clear bricks for the portion that we don't need in a normal GC but do need in minimal GC)

Fix debugging on OS X Sierra (#10078)

Issue #9730

The output of the vmmap changed between OS X versions. Changed the sscanf formatting to deal with both old/new formats.

Update CoreClr, CoreFx to beta-25110-03, beta-25110-02, respectively

[x86/Linux][GDB-JIT] Fix crash after changing default calling convention in PR #9977 (#10087)

Exclude R2R and GCStress 3 failures.

Crossgen all assemblies for throughput perf

We want to run over all of the Microsoft and System dlls when running
throughput perf testing. We exclude some assemblies because they require
other assemblies that are not in the assemblies packages.

Merge pull request #10079 from hseok-oh/ci/x86_job

[Linux/x86] Enable CI Linux/x86 build

Merge pull request #10061 from adiaaida/linuxThroughputTesting

Add linux throughput testing support

Remove faulty asserts from ArraySegment (#10086)

[Linux/x86] Enable CI Linux/x86 build job

Make new CI job: Linux/x86 build (debug, checked, release)
- Triggered on-demand
- Docker for crossbuild
- Use build-rootfs.sh script to make x86 rootfs

[Ryujit/ARM32] Fix wrong comparion

Fix wrong comparision.

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Move more types into the shared partition. (#10068)

* Split/Move files verbatim into shared partition.

* Style cleanup.

- Delete unused usings

- Use autoprops when possible

- Lambda syntax for TypeDelegator
  (yes, it's a lot of code review noise
  but if there was ever a canonical use-case
  for that syntax, this is it.)

Add linux throughput testing support

This change modifies perf-prep.sh, run-throughput-perf.py and perf.groovy
to add support for linux throughput testing. The following changes have
been made:

1. Update run-throughput-perf to specify the jit differently on linux and
windows. Create a new set of dlls to crossgen on linux. The following are
removed: CodeAnalysis, CodeAnalysis.VisualBasic, CodeAnalysis.Csharp
(these do not exist in the corefx runtime dir that we will be using on
linux), System, System.Core, System.XML (these are significantly smaller
on Linux than windows). Make the list of architectures a dictionary so we
can specify different arches for different oses. Change the path to
crossgen/the jit to the Product directory. Change the timer to
timeit.default_timer, which will pick the most accurate timer for each
platform.

2. Modify perf-prep for throughput purposes. In throughput testing, we
need to enlist in corefx and build it. We pick a specific commit to enlist
in so that testing will be consistent. The rest of the work that perf-prep
can be skipped for throughput testing, as we are not running tests.

3. Update perf.groovy with throughput jobs on Linux.

Merge pull request #10032 from pgavlin/LastUsesBuildIntervals

Calculate last uses while building intervals.

Fix some cross-thread memory accesses in a JIT test.

This test was concurrently accessing shared memory without using
appropriate volatile accesses. This change adds the `volatile.`
prefix where necessary.

There is a slim change that this will fix #10022.

Fix incremental build of resources injected to coreclr.dll (#10045)

* Fix incremental build of resources injected to coreclr.dll

This change fixes the build of resources injected to coreclr.dll so that it
happens only when its dependencies change and not at every build.

Support cross compiling for Zesty (#10066)

* Support Zesty, newer liblldb packages

* Describe lldb options

Merge pull request #9728 from rahku/fixIssue8683

Ignore binder context for corelib when performing binding cache lookup

Improve span copy of pointers and structs containing pointers (#9999)

Improve span copy of pointers and structs containing pointers

Fixes #9161

PR #9786 fixes perf of span copy of types that don't contain references

Merge pull request #10063 from dotnet-bot/master-UpdateDependencies

Update CoreClr to beta-25109-03 (master)

Fix AssertionDsc::Equals OAK_NO_THROW's handling

op2 of a OAK_NO_THROW assertions is O2K_INVALID and HasSameOp2 always returns false for O2K_INVALID. As a result OAK_NO_THROW assertions always compare unequal and duplicate assertions are generated that waste space in the assertion table.

Also, HasSameOp1 only checks op1.vn but that is bogus for OAK_NO_THROW assertions, most of the time is 0.

Ignore binder context for corelib when performing binding cache lookup

Update CoreClr to beta-25109-03

Merge pull request #10055 from tannergooding/vs2017

Updating the windows-instructions to list the minimum install requirements for VS2017 and to clarify that MSDIA120.dll must be registered.

[Ryujit/ARM32] Support binary operator for decomposed long (#9978)

Implement binary operator for decomposed long type
in Lowering::TreeNodeInfoInit and CodeGen::genGetInsForOper,
i.e. GT_ADD_HI, GT_ADD_LO, GT_SUB_HI and GT_SUB_LO.

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Updating the windows-instructions to list the minimum install requirements for VS2017 and to clarify that MSDIA120.dll must be registered.

Merge pull request #10053 from dotnet-bot/master-UpdateDependencies

Update CoreClr, CoreFx to beta-25109-01, beta-25109-03, respectively (master)

Update CoreClr, CoreFx to beta-25109-01, beta-25109-03, respectively

AggressiveInlining AsBytes and NonPortableCast (#10057)

Move System.Security attributes to shared partition. (#10036)

* Split System\Security\Attributes.cs into properly named files.

* Formatting cleanup

"sealed public" => "public sealed"

"System.Attribute" => "Attribute"

Use autoprops when possible.

Be explicit about nullary constructors
 (since 90% of them already were.)

* Remove blank line.

Do not set the last use bit on UVR ref positions.

Fix extend lifetimes stress.

[x86/Linux] Correctly adjust stack for double aligned frames (#9998)

[x86/Linux] Correct stack align for double aligned frames

[x86/Linux] 16-byte aligned UMThunkStubs (#9997)

Merge pull request #9956 from tannergooding/vs2017

Updating the build scripts to support VS2017.

Update to buildtools version 1.0.27-prerelease-01407-02, and enable creating transport packages (#10020)

* Update BuildTools fixes

* Update to buildtools version 1.0.27-prerelease-01407-02, and enable
building transport packages

* fix netcore project

* Avoid msb3644 error

* Fix bad copy

Merge pull request #10038 from BruceForstall/DontBuildLegacy

Stop building x86 LEGACY_BACKEND

Revise Interop TC Calling Convention (#10014)

SRV->SVR in BotR GC section.

Updating the building/windows-instructions.md to indicate the support for and requirements of using VS2017.

Merge pull request #10044 from mmitche/remove-nuget-cache

Remove the nuget cache from the archival

Add all .nuget subdirs

Remove the nuget cache from the archival
This is taking an incredible amount of space and causing problems

Merge pull request #9950 from dotnet-bot/master-UpdateDependencies

Update CoreClr, CoreFx to beta-25108-04, beta-25108-02, respectively (master)

Merge pull request #10040 from adiaaida/perfjobtriggers

Change perf test trigger phases

Change perf test trigger phases

Currently the trigger phases for perf testing use an underscore between OS
and architecture. This is inconsistent with our other trigger phrases.
This change changes the underscore to whitespace.

Stop building x86 LEGACY_BACKEND

Since we require a compatjit.dll to be built so the JIT NuGet
package can be built, even if JIT32 isn't being built, change
the compatjit.dll build (when JIT32 isn't being built) to just
a normal JIT build.

Merge pull request #10013 from BruceForstall/CiTailcallStress

Add COMPlus_TailcallStress=1 testing

Merge pull request #10017 from sivarv/morphAssertFix

Morph assert fix.

Update CoreClr, CoreFx to beta-25108-04, beta-25108-02, respectively

Format code.

[x86/Linux] Calling convention mismatch inside Vector3Interop tests (#10028)

* [x86/Linux] Fix Calling Convention on JIT.SIMD.Vector3Interop tests

[x86/Linux] Calling convention mismatch inside systemvbrinup test (#10029)

* [x86/Linux] Fix calling convention mismatch inside JIT.Methodical.struct.systemvbringup test

Remove CORECLR_GDBJIT length check in gdbjit (#10016)

realted issue: https://github.com/dotnet/coreclr/issues/10003

Fix wrong gcc inline assembly code. (#10024)

It was coded as "rbx" instead of "ebx" register in clobber list position.

Fix assert in portable pdb reader running the clrstack command (#10011)

Issue #9969

Move two sharable classes into the shared partition. (#10009)

The corert side of this was commited by
  https://github.com/dotnet/corert/pull/2915#event-990346611

Merge pull request #10006 from wtgodbe/parallelWrapperGen

Zip all test wrappers in parallel

Calculate last uses during buildIntervals.

This change moves LSRA's last use calculation from `setLastUses`
into `buildIntervals`.

The algorithm flips is as follows:
- When adding a ref position to a lclVar interval:
    - If the ref position is not a parameter def, zero init, or an
      exposed use, set the ref position's last use bit
    - Additionally, if the ref position is a use and there is a
      preceding ref position in the same basic block, clear that ref
      position's last use bit.
- Once a basic block has been processed, clear the last use bit of the
  final ref position in that basic block (if any exists) for each lclVar
  that is live out of that block.

Aside from the algorithmic change, the other major difference is that
the GTF_VAR_DEATH bit is not updated until `resolveLocalRef`.