Merge pull request #4643 from gkhanna79/LoadJIT

Load JIT from a custom location

Merge pull request #4632 from briansull/multireg-struct-promote

ARM64: Enable Struct Promotion for most Mutireg structs

Merge pull request #4646 from BruceForstall/Fix3516

Fix 3516: Change an emitter #ifdef _TARGET_AMD64_ to !LEGACY_BACKEND

Merge pull request #4645 from BruceForstall/UpdateRyuJITx86Exclusions

Update RyuJIT/x86 test exclusion list

Merge pull request #4644 from BruceForstall/LocallocAndPSPSym

Improve AMD64 PSPSym behavior

Load JIT from a custom location

Updated morph.cpp

Improve AMD64 PSPSym behavior

The implementation for localloc in a function with EH, and hence with a PSPSym,
currently pops off the outgoing argument space, but not the adjacent PSPSym,
does the localloc allocation, then adjusts the stack pointer again to allocate
space for a PSPSym as well as the outgoing argument space. Finally, it copies
the PSPSym value to the new PSPSym location.

Thus, we end up with multiple copies of the PSPSym on the stack frame.
PSPSym is a RSP-relative local variable, so some users access the lowest
copy on the stack, while other users access the highest (original) copy
on the stack. (Funclets access the original copy because they get the
establisher frame as an argument, and the establisher frame for AMD64 is
the Initial-SP, the copy of RSP before any localloc has occurred.
Specifically, it is a fixed offset from the RBP frame pointer as specified
in the unwind info.)

This change makes several improvements:
1. The PSPSym is never copied during localloc processing. It turns out the
original copy is sufficient, and is always available. To make this work,
the PSPSym local var is changed to be frame pointer relative. We still locate
the PSPSym immediately above the outgoing argument space, lower than any
frame alignment space, so we need to set the PSPSym variable stack offset
specifically after the frame alignment has been calculated. We always have
a frame pointer with either EH or localloc. Thus, localloc will now allocate
the correct, minimal amount of (aligned) space. Note that localloc is commonly
used in IL stubs, so the benefits here are more widespread than might be expected
from just user code.
2. When generating code to call finally clauses, we would load up the PSPSym
as the first argument, as required by the calling convention for finallys.
However, if we are in a function without localloc, and are generating code
for the main function (not a funclet), then the value stored in the PSPSym
slot will be exactly the current value of the stack pointer. So, simply copy
RSP, which is smaller and simpler code.

Each of these changes improves code size. Even for functions without localloc,
accessing PSPSym via RBP instead of RSP is generally smaller.

This fixes #4570.

Update RyuJIT/x86 test exclusion list

1. Remove exclusions for #3549, which is now fixed.
2. Add exclusion for new EH test case.

Merge pull request #4622 from BruceForstall/FixCobolLegacyX86

Fix regression in internal Cobol test

Fix 3516: Change an emitter #ifdef from _TARGET_AMD64_ to !LEGACY_BACKEND

Merge pull request #4611 from CarolEidt/Fix4412

Mark a multi-reg return type LclVar of GT_RETURN(LclVar) as DoNotEnregister

Merge pull request #4602 from adiaaida/x86Exclude

Add exclusions for RyuJIT x86 and x86 TestEnv

Fix regression in internal Cobol test

The x86 (legacy backend) JIT was asserting because an optimization created the wrong size int constant node.

This was a regression introduced with https://github.com/dotnet/coreclr/pull/3385

Linux Mint support for mscorlib.dll (#4610)

Initial support of lldb-3.8 for libsosplugin (#4473)

Refuse to compile references to nativecallable methods in R2R images (#4627)

Merge pull request #4572 from JohnChen0/crossgen-createpdb

Enable crossgen /createpdb command on Windows

Merge pull request #4614 from ramarag/fragileNIstartup

Arm64:Fxing up VM helper Table in mscorlib NI

Merge pull request #4625 from AndyAyersMS/FullInliner

Inliner: implement FullPolicy

Merge pull request #4626 from dotnet-bot/from-tfs

Merge changes from TFS

Fix FileLoadException message for CoreCLR (#4624)

Fix FileLoadException message for CoreCLR

Merge pull request #4578 from sejongoh/vector3_testcase_update

Update Vector3 Interop testcases

StructPromote_0428

Enable Struct promotion for 16-byte structs on Arm64

Merge pull request #4585 from Maoni0/numa

bug fix in os wrapper

Update Vector3 Interop testcases

Arm64:Fxing up VM helper Table in mscorlib NI

Mark lvIsMultiRegArgOrRet returned lclVars lvDoNotEnregister

Mark multi-reg returns in Lowering, where there are set to be contained.
This is done in Lowering::TreeNodeInfoInit to confine it to the case
of returns.

Fixes #4412

Merge pull request #4594 from LLITCHEV/EnableGCStressOnx86

Enable use of disassembler for the x86 platform.

Add exclusions for RyuJIT x86 and x86 TestEnv

This change adds exclusions with their issue numbers for the x86 RyuJIT
bring up. Additionally, this change adds the x86 TestEnv script for
running runtests.cmd with protojit.dll.

Merge pull request #4309 from adityamandaleeka/sigterm

Add support for handling SIGTERM gracefully [WIP]

Inliner: implement FullPolicy

The FullPolicy will be used to grow maximal potential inline trees
for methods. It inlines all legal candidates subject to depth and
size limits. Add a config flag to select this as the policy to use.

Also add a config flag so the inline depth limit becomes adjustable,
and rework the code so that checking this limit is now a matter of
policy.  Add in an implementation max depth limit of 1000.

Revise names of some statics to make their intent clearer, and add some
missing header comments.

Merge pull request #4591 from JosephTremoulet/Filter

Separate TryDsc and ExnFlowDsc

Merge pull request #4586 from BruceForstall/FixUnreachedAsserts

Fix two "unreached" asserts, and other related cleanups

Merge pull request #4606 from dotnet-bot/from-tfs

[tfs-changeset: 1599408]

Fix for a badly placed assert in the *unix arg passing classification. (#4608)

There is a badly placed assert in the *nix arg passing classification.
This change moves the assert before incrementing the field count and adds
test for the problem.

Fixes issue #4584.

Merge pull request #4587 from BruceForstall/FixCkFinite

Fix ckfinite for doubles for RyuJIT/x86

Fix issue 4367 where file description of native tools is wrong (#4598)

Fix issue 4367 where file description of native tools is wrong

Merge pull request #4613 from AndyAyersMS/InlineTreeXML

Update inline xml so it's deserializable

Separate TryDsc and ExnFlowDsc

Supplement the helpers for finding a block's `TryDsc` (the `EHblkDsc` of
the innermost `try` region containing it) and a block's `HndDsc` (the
`EHblkDsc` of the innermost handler it is part of) with helpers for
finding a block's `ExnFlowDsc` (the `EHblkDsc` of the innermost handler to
which control may be transferred if an exception occurs in the given
block).

The `ExnFlowDsc` is the same as the `TryDsc` in most cases, but differs
for blocks in filter expressions -- when an exception escapes a filter,
that new exception is discarded and the search for a handler for the prior
exception is resumed at the next-outer handler, which corresponds to the
next-outer try enclosing the try that the filter protects.  This is not
the try enclosing the filter itself for "mutual-protect" clauses such as
are generated for
  try {
    ...
  } catch when (E) { // <-- E is not in the 'try' but an exception
    ...              //     in it causes flow to go to the 'finally'
  } finally {
    ...
  }

This change adds helpers around the `ExnFlowDsc` and updates code that
was using the `TryDsc`/`TryIndex` where appropriate.

This fixes #4044.

Fix two "unreached" asserts

The asserts as written would never fire. Replace them with asserts that will.

Fix ckfinite for doubles for RyuJIT/x86

On x86, we can't simply load a double from an xmm reg into a
64-bit integer register. It turns out we only need the high
32 bits for the instruction. But there is no SSE2 instruction
to copy just those bits to the integer registers. So, first,
to a shuffle to swap the first 32 and 2nd 32 bits in the xmm
register. Then, do the xmm2i mov and ckfinite check. Then,
swap the bits back into the original locations so we can return
the correct value in the target register.

Fixes #3549.

Update inline xml so it's deserializable

Add some elements for sequences of children. Make everything
an element for now. Add header and footer.

Add SIGTERM handling logic that properly shuts down the EE.

Fix build break introduced by https://github.com/dotnet/coreclr/commit/140396f479d5d33bca0daef1f072eef4992ed78e

[tfs-changeset: 1599439]

Merge pull request #4502 from seanshpark/arm_sos_with_lldb38

ARM, SOS: Fix libsos.so load fail and changes for SOS to work with ARM-Linux

ARM, SOS: Fix fail to load libsos.so while debugging with lldb

Related issue: #4428
With minor fix for ARM compile in SOS

ARM: Fix ARM-Linux in SOS with lldb

Fix ARM architecture type in SOS so that it works for ARM-Linux.
Before this patch, lldb stops with architecture not supported.
SOS ARM-Linux works with LLDB-3.8 and higher.
Actual SOS commands for ARM may need testing and fixing.

Enable use of disassembler for the x86 platform.

Initialization of the disassembler for x86 is not ifdef-ed properly.

ARM: Add Ubuntu Codename vivid, wily for arm-linux image (#4258)

ARM: Add Ubuntu Codename vivid, wily for arm-linux image

Fix a build break when FEATURE_CORECLR is disabled.

[tfs-changeset: 1599408]

Merge pull request #4576 from swgillespie/longgc-ci

Enable long GC tests to run on a regular basis

Merge pull request #4599 from Priya91/ubuntu1604

Add Ubuntu16.04 runs.

Merge pull request #4597 from wtgodbe/fxTestFix

Fix run-test.sh invocation in netci.groovy

Add Ubuntu16.04 runs.

bug fix in os wrapper

Fix run-test.sh invocation in netci.groovy

Merge pull request #4580 from seanshpark/doc_coreoverlay

Add coreOverlay option to unix-test-instructions document

Merge pull request #4535 from ramarag/xplateventsrc

Fixing up FEATURE_EVENTSOURCE_XPLAT

Merge pull request #4566 from kyulee1/nativecallable

ARM64: Fix NativeCallable

Merge pull request #4528 from gkhanna79/DynamicJITLoad

Refactor FEATURE_MERGE_JIT_AND_ENGINE to allow consuming JIT as a dynamic library

Enable long GC tests to run daily

Merge pull request #4448 from rahku/arm64toolsetupdate

Update arm64 toolset. Link against ucrt.
This has following changes:
 1. Update arm64 toolset to latest.
 2. Link against ucrt.
 3. Fix tls offsets which have changed due to updated toolset
 4. Fix source code in decimal.cpp to avoid integer overflow. Result of signed integer overlfow is undefined in C++.
 5. Enable build of sos which can be loaded in arm64 windbg
 6. Add nop to empty assembly marker methods as new toolset generates invalid .pdata for them.

I have verified that arm64 runs are clean

This has following changes:
1. Update arm64 toolset to latest.
2. Link against ucrt.
3. Fix tls offsets which have changed due to updated toolset
4. Fix source code in decimal.cpp to avoid integer overflow. Result of signed integer overlfow is undefined in C++.
5. Enable build of sos which can be loaded in arm64 windbg
6. Add nop to empty assembly marker methods as new toolset generates invalid .pdata for them.

Keep FEATURE_MERGE_JIT_AND_ENGINE with refactored approach

Merge pull request #4588 from dotnet-bot/from-tfs

Merge changes from TFS

Fix razzle build break

[tfs-changeset: 1599244]

Add coreOverlay option to unix-test-instructions document

Avoid defensive copy in String.Concat(string[]) (#4559)

* Avoid defensive copy in String.Concat(string[])

Today the String.Concat(params string[]) implementation makes a defensive copy of the input string[] in order to avoid issues where another thread mutates the array concurrently with the concatenation.  Such a situation is possible but exceedingly rare, so we can redo the implementation to make it cheaper when there isn't concurrent mutation and more expensive when there is, rather than always having it be more expensive.

This commit changes string.Concat to optimistically assume there won't be such concurrent mutation.  It avoids allocating the defensive string[] array copy, and instead just proceeds to allocate a string of the right length and copy the input strings into it.  If along the way it discovers that something has changed such that the string lengths no longer add up to exactly what was precomputed, then it falls back to the original implementation.

Example microbenchmark:
```C#
using System;
using System.Diagnostics;

public class Program
{
    public static void Main()
    {
        string result;
        string[] inputs = new[] { "abcd", "efgh", "ijkl", "mnop", "qrst", "uvwx", "yz" };
        var sw = new Stopwatch();
        while (true)
        {
            int gen0 = GC.CollectionCount(0);
            sw.Restart();
            for (int i = 0; i < 20000000; i++) result = string.Concat(inputs);
            sw.Stop();
            Console.WriteLine($"{GC.CollectionCount(0) - gen0}: {sw.Elapsed.TotalSeconds}");
        }
    }
}
```
Before the change:
```
> corerun test.exe
1525: 2.0733829
1526: 2.0599474
1526: 2.0717786
1526: 2.0318797
^C
```
After the change:
```
> corerun test.exe
763: 1.4700695
762: 1.446919
763: 1.4581139
763: 1.4568889
^C
```

Merge pull request #4574 from wtgodbe/affinity

Set machine affinity for flow jobs in CI

ARM64: Fix NativeCallable

Fixes https://github.com/dotnet/coreclr/issues/4422
The issue is that JIT didn't pass UMEntryThunk for the managed function
entry point which is invoked from the native function.
The fix is to enable NativeCallable attribute check to get the right entry point.

Merge pull request #4577 from kyulee1/qfix

ARM64: Quick Fix

ARM64: Quick Fix

I accidently made a wrong copy and paste.

Set machine affinity for flow jobs in CI

Merge pull request #4561 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #4560 from kyulee1/fixvarargpinvoke

ARM64: Fix Vararg for PInvoke

ARM64: Fix Vararg for PInvoke

Fixes https://github.com/dotnet/coreclr/issues/4474
1. Fix entry point to `VarargPInvokeStub_RetBuffArg` instead of
`VarargPInvokeStub` to pass `VASigCookieReg` via `x1` when hasRetBuffArg is
true.
2. The previous fix for varargs SP offset is not correct when both varargs
and callee save regs exist. Fix the SP offset computation from caller's SP.
3. Fix epilog which didn't take varargs into account.

Enable crossgen /createpdb command on Windows

Fixing up FEATURE_EVENTSOURCE_XPLAT

Merge pull request #4553 from janvorli/fix-pslog-path

Fix PS version log path

Merge pull request #4564 from wtgodbe/coverageFix

fix calls to runtest.sh in code coverage build

Merge pull request #4542 from kyulee1/nobld

No BuildOnly job for ARM64

Merge pull request #4565 from swgillespie/playlists-2

Fix error in invocation of runtests.sh for long GC tests

fix calls to runtest.sh in code coverage build

Fix error in invocation of runtests.sh for long GC tests

Merge pull request #4141 from prajwal-aithal/devel/native-arm-ci

Add CI support for Linux ARM emulator

Add back internal FromCancellation methods

System.Runtime.WindowsRuntime implementation depends on them

[tfs-changeset: 1598965]

Merge pull request #4460 from parjong/fix/issue_4404

Uses initialized unw_context_t instead of uninitialized one

Merge pull request #4456 from seanshpark/no-inline-asm

ARM: Fix compile error for unw usage with clang-3.8

Fix PS version log path

The PS version log path is incorrectly set to the root of the current drive when
building for ARM64 with toolset_dir set. In that case, the `%~dp0` doesn't hold
the current drive and directory anymore.
I have fixed it by using `__LogsDir` instead. It it a good practice to put generated
files somewhere under the bin folder and the logs directory seems appropriate.

ARM: Fix compile error for unw usage with clang-3.8

This fix is also needed when using clang-3.8
Previous related patch is #4260

Renames UpdateUnwindContextWithWinContext

Ranames UpdateUnwindContextWithWinContext as WinContextToUnwindContext,
and revises to invoke WinContextToUnwindContext always.

Merge pull request #4524 from AndyAyersMS/InlineTreeXML

Inliner: enable xml format dump for inlines

Merge pull request #4491 from BruceForstall/Fix3561

Fix #3561: assert on RyuJIT x86 when generating shl by 1

Merge pull request #4544 from janvorli/move-test-wrappers-to-bin

Move generated xunit test wrappers to bin folder

Replace uses of FromCancellation -> FromCanceled in mscorlib (#4537)

Replace uses of FromCancellation -> FromCanceled in mscorlib

Move generated xunit test wrappers to bin folder

This change modifies the build so that the generated xunit test
wrappers are no longer placed into the source tree, but rather to
the bin folder where all files generated by the build should go.

Merge pull request #4533 from ramarag/GC_Stress

Fixing GC stress test layout and Creating a Sanity Run for it

No BuildOnly job for ARM64

bld jobs are not interesting. So delete them from the history.

Merge pull request #4541 from janvorli/fix-pe-sections-protection-3

Fix loading of NI images on SELinux

Fix loading of NI images on SELinux

This change fixes a problem that prevents us to load crossgen-ed managed
assemblies on SELinux when running in confined mode.
The problem was that when we load these images, we also apply relocations
to their sections and so we temporarily switch section protection from
RX to RW and then back. And the switching back (RW -> RX) is something
that SELinux doesn't allow.
The fix is to switch to RWX before applying to relocations for sections
that are RX, since it is allowed then to switch them back to RX.
One more change was needed to get the original protection of the section
before relocation so that we can set it back later. The PE files are
not mapped using VirtualXXXX functions in the PAL and so VirtualProtect
doesn't return the proper original protection, but a fixed value instead.
So for PAL, we derive the original protection from the section attributes.