Merge pull request #4566 from kyulee1/nativecallable

ARM64: Fix NativeCallable

Merge pull request #4528 from gkhanna79/DynamicJITLoad

Refactor FEATURE_MERGE_JIT_AND_ENGINE to allow consuming JIT as a dynamic library

Merge pull request #4448 from rahku/arm64toolsetupdate

Update arm64 toolset. Link against ucrt.
This has following changes:
 1. Update arm64 toolset to latest.
 2. Link against ucrt.
 3. Fix tls offsets which have changed due to updated toolset
 4. Fix source code in decimal.cpp to avoid integer overflow. Result of signed integer overlfow is undefined in C++.
 5. Enable build of sos which can be loaded in arm64 windbg
 6. Add nop to empty assembly marker methods as new toolset generates invalid .pdata for them.

I have verified that arm64 runs are clean

This has following changes:
1. Update arm64 toolset to latest.
2. Link against ucrt.
3. Fix tls offsets which have changed due to updated toolset
4. Fix source code in decimal.cpp to avoid integer overflow. Result of signed integer overlfow is undefined in C++.
5. Enable build of sos which can be loaded in arm64 windbg
6. Add nop to empty assembly marker methods as new toolset generates invalid .pdata for them.

Keep FEATURE_MERGE_JIT_AND_ENGINE with refactored approach

Merge pull request #4588 from dotnet-bot/from-tfs

Merge changes from TFS

Fix razzle build break

[tfs-changeset: 1599244]

Avoid defensive copy in String.Concat(string[]) (#4559)

* Avoid defensive copy in String.Concat(string[])

Today the String.Concat(params string[]) implementation makes a defensive copy of the input string[] in order to avoid issues where another thread mutates the array concurrently with the concatenation.  Such a situation is possible but exceedingly rare, so we can redo the implementation to make it cheaper when there isn't concurrent mutation and more expensive when there is, rather than always having it be more expensive.

This commit changes string.Concat to optimistically assume there won't be such concurrent mutation.  It avoids allocating the defensive string[] array copy, and instead just proceeds to allocate a string of the right length and copy the input strings into it.  If along the way it discovers that something has changed such that the string lengths no longer add up to exactly what was precomputed, then it falls back to the original implementation.

Example microbenchmark:
```C#
using System;
using System.Diagnostics;

public class Program
{
    public static void Main()
    {
        string result;
        string[] inputs = new[] { "abcd", "efgh", "ijkl", "mnop", "qrst", "uvwx", "yz" };
        var sw = new Stopwatch();
        while (true)
        {
            int gen0 = GC.CollectionCount(0);
            sw.Restart();
            for (int i = 0; i < 20000000; i++) result = string.Concat(inputs);
            sw.Stop();
            Console.WriteLine($"{GC.CollectionCount(0) - gen0}: {sw.Elapsed.TotalSeconds}");
        }
    }
}
```
Before the change:
```
> corerun test.exe
1525: 2.0733829
1526: 2.0599474
1526: 2.0717786
1526: 2.0318797
^C
```
After the change:
```
> corerun test.exe
763: 1.4700695
762: 1.446919
763: 1.4581139
763: 1.4568889
^C
```

Merge pull request #4574 from wtgodbe/affinity

Set machine affinity for flow jobs in CI

ARM64: Fix NativeCallable

Fixes https://github.com/dotnet/coreclr/issues/4422
The issue is that JIT didn't pass UMEntryThunk for the managed function
entry point which is invoked from the native function.
The fix is to enable NativeCallable attribute check to get the right entry point.

Merge pull request #4577 from kyulee1/qfix

ARM64: Quick Fix

ARM64: Quick Fix

I accidently made a wrong copy and paste.

Set machine affinity for flow jobs in CI

Merge pull request #4561 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #4560 from kyulee1/fixvarargpinvoke

ARM64: Fix Vararg for PInvoke

ARM64: Fix Vararg for PInvoke

Fixes https://github.com/dotnet/coreclr/issues/4474
1. Fix entry point to `VarargPInvokeStub_RetBuffArg` instead of
`VarargPInvokeStub` to pass `VASigCookieReg` via `x1` when hasRetBuffArg is
true.
2. The previous fix for varargs SP offset is not correct when both varargs
and callee save regs exist. Fix the SP offset computation from caller's SP.
3. Fix epilog which didn't take varargs into account.

Merge pull request #4553 from janvorli/fix-pslog-path

Fix PS version log path

Merge pull request #4564 from wtgodbe/coverageFix

fix calls to runtest.sh in code coverage build

Merge pull request #4542 from kyulee1/nobld

No BuildOnly job for ARM64

Merge pull request #4565 from swgillespie/playlists-2

Fix error in invocation of runtests.sh for long GC tests

fix calls to runtest.sh in code coverage build

Fix error in invocation of runtests.sh for long GC tests

Merge pull request #4141 from prajwal-aithal/devel/native-arm-ci

Add CI support for Linux ARM emulator

Add back internal FromCancellation methods

System.Runtime.WindowsRuntime implementation depends on them

[tfs-changeset: 1598965]

Merge pull request #4460 from parjong/fix/issue_4404

Uses initialized unw_context_t instead of uninitialized one

Merge pull request #4456 from seanshpark/no-inline-asm

ARM: Fix compile error for unw usage with clang-3.8

Fix PS version log path

The PS version log path is incorrectly set to the root of the current drive when
building for ARM64 with toolset_dir set. In that case, the `%~dp0` doesn't hold
the current drive and directory anymore.
I have fixed it by using `__LogsDir` instead. It it a good practice to put generated
files somewhere under the bin folder and the logs directory seems appropriate.

ARM: Fix compile error for unw usage with clang-3.8

This fix is also needed when using clang-3.8
Previous related patch is #4260

Renames UpdateUnwindContextWithWinContext

Ranames UpdateUnwindContextWithWinContext as WinContextToUnwindContext,
and revises to invoke WinContextToUnwindContext always.

Merge pull request #4524 from AndyAyersMS/InlineTreeXML

Inliner: enable xml format dump for inlines

Merge pull request #4491 from BruceForstall/Fix3561

Fix #3561: assert on RyuJIT x86 when generating shl by 1

Merge pull request #4544 from janvorli/move-test-wrappers-to-bin

Move generated xunit test wrappers to bin folder

Replace uses of FromCancellation -> FromCanceled in mscorlib (#4537)

Replace uses of FromCancellation -> FromCanceled in mscorlib

Move generated xunit test wrappers to bin folder

This change modifies the build so that the generated xunit test
wrappers are no longer placed into the source tree, but rather to
the bin folder where all files generated by the build should go.

Merge pull request #4533 from ramarag/GC_Stress

Fixing GC stress test layout and Creating a Sanity Run for it

No BuildOnly job for ARM64

bld jobs are not interesting. So delete them from the history.

Merge pull request #4541 from janvorli/fix-pe-sections-protection-3

Fix loading of NI images on SELinux

Fix loading of NI images on SELinux

This change fixes a problem that prevents us to load crossgen-ed managed
assemblies on SELinux when running in confined mode.
The problem was that when we load these images, we also apply relocations
to their sections and so we temporarily switch section protection from
RX to RW and then back. And the switching back (RW -> RX) is something
that SELinux doesn't allow.
The fix is to switch to RWX before applying to relocations for sections
that are RX, since it is allowed then to switch them back to RX.
One more change was needed to get the original protection of the section
before relocation so that we can set it back later. The PE files are
not mapped using VirtualXXXX functions in the PAL and so VirtualProtect
doesn't return the proper original protection, but a fixed value instead.
So for PAL, we derive the original protection from the section attributes.

Merge pull request #4429 from swgillespie/fixup-perf-tests

Update the GC Performance test framework since the deprecation of DNX

Merge pull request #4525 from swgillespie/unix-concurrent-gc-fix

Restore concurrent GC for non-Windows AMD64 platforms

Merge pull request #4520 from CarolEidt/BlkOpsRefactor

Block Ops Refactor

Merge pull request #4389 from jkotas/gc-update

Integrate GC changes from CoreRT

Fixing GC stress test layout and Creating a Sanity Run for it

Merge pull request #4532 from mikem8361/sosfixes

Fixes various SOS problems and issues.

Fix #3561: assert on RyuJIT x86 when generating shl by 1

This assert hit in the encoder when we were trying to generate an
INS_shl_N with a constant of 1, instead of using the special xarch
INS_shl_1 encoding, which saves a byte. It turns out, the assert was
and in fact amd64 does generate the suboptimal encoding currently.

The bad code occurs in the RMW case of genCodeForShift(). It turns out
that function is unnecessarily complex, unique (it doesn't use the
common RMW code paths), and has a number of other latent bugs.

To fix this, I split genCodeForShift() by leaving the non-RMW case
there, and adding a genCodeForShiftRMW() function just for the RMW case.
I rewrote the RMW case to use the existing emitInsRMW functions.

Other related cleanups along the way:
1. I changed emitHandleMemOp to consistently set the idInsFmt field,
and changed all callers to stop pre-setting or post-setting this field.
This makes the API much easier to understand. I added a big header
comment for the function. Now, it takes a "basic" insFmt (using ARD,
AWR, or ARW forms), which might be munged to a MRD/MWR/MRW form
if necessary.
2. I changed some places to always use the most derived GenTree type
for all uses. For instance, if the code has
"GenTreeIndir* mem = node->AsIndir()", then always use "mem" from then
on, and don't use "node". I changed some functions to take more derived
GenTree node types.
3. I rewrote the emitInsRMW() functions to be much simpler, and rewrote
their header comments.
4. I added GenTree predicates OperIsShift(), OperIsRotate(), and
OperIsShiftOrRotate().
5. I added function genMapShiftInsToShiftByConstantIns() to encapsulate
mapping from INS_shl to INS_shl_N or INS_shl_1 based on a constant.
This code was in 3 different places already.
6. The change in assertionprop.cpp is simply to make JitDumps readable.

In addition to fixing the bug for RyuJIT/x86, there are a small number
of x64 diffs where we now generate smaller encodings for shift by 1.

Remove NEW_EXPERIMENTAL_ASYNC_IO define from mscorlib (#4530)

Fixes various SOS problems and issues.

Fixes not printing the method names in various sos commands (clrstack, ip2md, etc).  This was because a NetBSD build change
caused the sos output formatting to use the linux C++ runtime _vsnprintf instead of the PAL's version which supports the %S
format option for WCHAR strings.

The above also fixes issue #4430 "SOS dumplog fails to print out full log content from coredump".

Fixes issue #4402 "Callstack is trashed after an exception" by executing " .settings set EngineInitialization.VerifyFunctionTableCallbacks=false"
during SOS initialization.

Fixes issue #4432 "Missing endline when final frame is HelperMethodFrame". Worked around a bug in WinDbg DML output when
displaying the IP address for a special frame by not using DML.  It doesn't mean anything for special frames anyway and it is usually
is a native code address so the DML !U disassemble doesn't work. I didn't leave it blank like in "clrstack -f" for compatibility with
tests and it is what people are use to.

Merge pull request #4526 from wtgodbe/groovyFix

Fix unpacking of clr tests in netci.groovy

Fix unpacking of clr tests in netci.groovy

Restore the software write watch feature

Inliner: enable xml format dump for inlines

Add new config option to dump inline trees as XML, and implement
dumping support.

Fix build issue on archs where msbuild is not supported (#4517)

Fix build issue on archs where msbuild is not supported

Update the GC Performance test framework since the deprecation of DNX

Merge pull request #4467 from krytarowski/netbsd-support-71

Add NetBSD support in tests/runtest.sh

Merge pull request #4522 from wtgodbe/coverage

Testing prints in netci.groovy

Fixes for GC update

Update GC from CoreRT

https://github.com/dotnet/corert/tree/master/src/Native/gc 102af78f9169082478165e7c676bbee6ae194940

Testing prints in netci.groovy

Merge pull request #4493 from swgillespie/playlist

Add a "playlists" flag to runtests.sh that will run a list of tests

Merge pull request #4498 from BruceForstall/Fix3570

Fix #3570: RyuJIT x86: Float/Double mismatch in CodeGen::genStoreInd()

Fix #3570: RyuJIT x86: Float/Double mismatch in CodeGen::genStoreInd()

There is code in the importer to insert explicit converts between float and double
but it was only running for _TARGET_64BIT_. I changed this to a more appropriate
!_LEGACY_BACKEND_.

Block Ops Refactor

Refactor the legacy code dealing with block ops to minimize diffs when they are replaced with assignments.
Also a couple of comment edits and a small cleanup in rationalizer.

Merge pull request #4512 from kyulee1/vararg

ARM64: Fix Frame with VarArg

ARM64: Fix Frame with VarArg

Fixes https://github.com/dotnet/coreclr/issues/4424
JIT homes incoming vararg (8) registers to the top of the stack.
When stack location is computed for local vars, JIT didn't
take it into consideration causing the overlapped stack
offsets for local vars and varargs. The stack offsets of local vars
corresponding to varargs should point to this home area instead of
the newly alloacted slot.

Merge pull request #4515 from wtgodbe/covr

Fix running corefx tests for coverage job

Add a "playlists" flag to runtests.sh that will run a list of tests

Fix running corefx tests for coverage job

Updating build tools to resolve duplicate perf test discovery (#4492)

Merge pull request #4466 from krytarowski/netbsd-support-70

Implement CorUnix::GetThreadTimesInternal() for NetBSD-7.0

Partly fix the build issue when path to git repository has spaces (for example "d:\z z\coreclr"). (#4388)

The same issue in "d:\z z\coreclr\Tools\versioning.targets"(288): $(IntermediateOutputPath) should be "$(IntermediateOutputPath.TrimEnd('\'))" and all other path should be quoted with &quot; in this line.

Update ParamArrayAttribute.cs (#4442)

A minor doc error (presumably some copy'n'paste issue).

Fixes https://github.com/dotnet/coreclr/issues/4252 (#4384)

Change Join and Concat to access iterator.Current value once. Delegate null checking to StringBuilder.Append

Merge pull request #4501 from dotnet-bot/from-tfs

Merge changes from TFS

Add NetBSD support in tests/runtest.sh

Implement CorUnix::GetThreadTimesInternal() for NetBSD-7.0

Extract manually time used for a thread (LWP). NetBSD doesn't track
time used separately in user/kernel for threads, it's only done for
processes.

/*
 * KERN_LWP structure. See notes on KERN_PROC2 about adding elements.
 */
struct kinfo_lwp {
// ...
        uint32_t l_rtime_sec;           /* STRUCT TIMEVAL: Real time. */
        uint32_t l_rtime_usec;          /* STRUCT TIMEVAL: Real time. */
// ...
};

  -- /usr/include/sys/sysctl.h

Use the kvm(3) interface for this task.

The current limitation is returning time used for the current thread, not
the one selected at will - as there is no clean conversion (or rather
extraction of "lwpid_t pt_lid" from the private pthread_t structure).

Merge pull request #4398 from sejongoh/vector3_testcase

Vector3 Interop tests

Remove __ConsoleStream from CoreCLR

[tfs-changeset: 1598441]

Fix heap corruption in CPalSynchronizationManager::DoMonitorProcesses (#4454)

The PAL's WaitFor*Object support had a bug where if one waited on a process,
stopped, waiting and closed the process handle before the process exitted, then
later on when the process exitted it would corrupt the heap here:

   LONG CPalSynchronizationManager::DoMonitorProcesses(
       CPalThread * pthrCurrent)
    {
...
        if (lRemovingCount > 0)
        {
...
                // Set process status to PS_DONE
                pNode->pProcLocalData->ps = PS_DONE;

The issue is that the local process data would be delete when the process
handle was closed. But the synchronization manager would still have a reference
to it.

To fix this, I changed the synchronization manager to hold onto the PAL object in
addition to the local process data.

Remove GOLDEN macro. (#4484)

Add CI support for Linux ARM emulator

Added CI code to support building coreclr inside the
user emulated Linux ARM emulator. It uses chroot jail
to accomplish the build.

Signed-off-by: Prajwal A N <an.prajwal@samsung.com>

Merge pull request #4481 from swaroop-sridhar/aagc2

GCInfo: Fix code-offset normalization on ARM

Don't allocate in NullStream.CopyToAsync (#4383)

Vector3 Interop tests

The native type of Vector3 is struct {float x,y,z} whose size is 12 bytes. RyuJit uses 16-byte register or stack location to store a Vector3 variable with the assumptions below. New testcases are added to check whether RyuJit properly handle interop cases.

RyuJIt back-end makes two assumptions about Vector3 types.

Assumption1: Vector3 type args passed in registers or on stack is rounded to POINTER_SIZE and hence on 64-bit targets it can be read/written as if it were TYP_SIMD16.

Assumption2: Vector3 args passed in registers (e.g. unix) or on stack have their upper 4-bytes being zero. Similarly Vector3 return type value returned from a method will have its upper 4-bytes zeroed out.

Merge pull request #4450 from mikem8361/shiminit

Fix dbgshim race conditions

Style fix: Merges two #ifdef blocks

There was an unnecessary break between two #ifdef blocks.

This commit merges these blocks into one block.

Merge pull request #4486 from wtgodbe/coverage

Move deletion of PAL tests to after they need to be run

Move deletion of PAL tests to after they need to be run

Merge pull request #4444 from wtgodbe/covrTest

Add coverage test to CI that will run once a week

Merge pull request #4480 from Maoni0/enable_vh

enable heap verification for coreclr on all builds

enable heap verification for coreclr on all builds

Merge pull request #4455 from adityamandaleeka/configKnobDoc

Update configuration knob documentation to reflect host configuration options

GCInfo: Fix code-offset normalization on ARM

Fix NORMALIZE_CODE_OFFSET() on ARM to be a loss-less encoding
because safepoint code-offsets are encoded with a -1 adjustment.

Merge pull request #4458 from ramarag/CrossDefinitions

Correcting the definition for crosscomponents

Merge pull request #4399 from erozenfeld/HandleConstantProp

Don't perform constant propagation when relocatable handles are involved

Merge pull request #4451 from sivarv/stopforgc

Model kill set of CORINFO_HELP_STOP_FOR_GC correctly on unix.

Fix dbgshim race conditions

There are two race conditions in the register runtime startup logic: 1) in
CreateProcess (or CreateProcessForLaunch) between the fork() and the execv()
where for VS and mdbg we "see" the coreclr module loaded because the debugger
process and newly created child have the same modules loaded. 2) in attach
between when the child/debuggee loads the coreclr module and when coreclr
finishes initializes the global dac table. In both causes DebugActiveProcess
returns an error when one of the race conditions is hit.

The fix is to create the "continue" named semaphore on the coreclr/debuggee
process side and dbgshim uses that to determine if the coreclr process is
ready and initialized. Fixes issue #4244.

Open the old continue semaphore name and if it doesn't exists create a the new
continue semaphore name for backwards compatibility (see issue 4410).

Do PAL initalization on entry to the public functions instead of the DLLMain handler
which will only be called if the PAL's LoadLibrary is used to load dbgshim. It will be
a lot easier on the debuggers like mdbg to just use dlopen/dlsym and not have to
also call DLLMain.

Add coverage test to CI that will run once a week

Merge pull request #4453 from AndyAyersMS/InlineCleanup

Inliner: restore ability to dump jit time, plus some cleanup

Merge pull request #4472 from kyulee1/delarm64

Delete Non-Windows Arm64 Job

Delete Non-Windows Arm64 Job