Merge pull request #4591 from JosephTremoulet/Filter

Separate TryDsc and ExnFlowDsc

Merge pull request #4586 from BruceForstall/FixUnreachedAsserts

Fix two "unreached" asserts, and other related cleanups

Merge pull request #4606 from dotnet-bot/from-tfs

[tfs-changeset: 1599408]

Fix for a badly placed assert in the *unix arg passing classification. (#4608)

There is a badly placed assert in the *nix arg passing classification.
This change moves the assert before incrementing the field count and adds
test for the problem.

Fixes issue #4584.

Merge pull request #4587 from BruceForstall/FixCkFinite

Fix ckfinite for doubles for RyuJIT/x86

Fix issue 4367 where file description of native tools is wrong (#4598)

Fix issue 4367 where file description of native tools is wrong

Merge pull request #4613 from AndyAyersMS/InlineTreeXML

Update inline xml so it's deserializable

Separate TryDsc and ExnFlowDsc

Supplement the helpers for finding a block's `TryDsc` (the `EHblkDsc` of
the innermost `try` region containing it) and a block's `HndDsc` (the
`EHblkDsc` of the innermost handler it is part of) with helpers for
finding a block's `ExnFlowDsc` (the `EHblkDsc` of the innermost handler to
which control may be transferred if an exception occurs in the given
block).

The `ExnFlowDsc` is the same as the `TryDsc` in most cases, but differs
for blocks in filter expressions -- when an exception escapes a filter,
that new exception is discarded and the search for a handler for the prior
exception is resumed at the next-outer handler, which corresponds to the
next-outer try enclosing the try that the filter protects.  This is not
the try enclosing the filter itself for "mutual-protect" clauses such as
are generated for
  try {
    ...
  } catch when (E) { // <-- E is not in the 'try' but an exception
    ...              //     in it causes flow to go to the 'finally'
  } finally {
    ...
  }

This change adds helpers around the `ExnFlowDsc` and updates code that
was using the `TryDsc`/`TryIndex` where appropriate.

This fixes #4044.

Fix two "unreached" asserts

The asserts as written would never fire. Replace them with asserts that will.

Fix ckfinite for doubles for RyuJIT/x86

On x86, we can't simply load a double from an xmm reg into a
64-bit integer register. It turns out we only need the high
32 bits for the instruction. But there is no SSE2 instruction
to copy just those bits to the integer registers. So, first,
to a shuffle to swap the first 32 and 2nd 32 bits in the xmm
register. Then, do the xmm2i mov and ckfinite check. Then,
swap the bits back into the original locations so we can return
the correct value in the target register.

Fixes #3549.

Update inline xml so it's deserializable

Add some elements for sequences of children. Make everything
an element for now. Add header and footer.

Merge pull request #4502 from seanshpark/arm_sos_with_lldb38

ARM, SOS: Fix libsos.so load fail and changes for SOS to work with ARM-Linux

ARM, SOS: Fix fail to load libsos.so while debugging with lldb

Related issue: #4428
With minor fix for ARM compile in SOS

ARM: Fix ARM-Linux in SOS with lldb

Fix ARM architecture type in SOS so that it works for ARM-Linux.
Before this patch, lldb stops with architecture not supported.
SOS ARM-Linux works with LLDB-3.8 and higher.
Actual SOS commands for ARM may need testing and fixing.

ARM: Add Ubuntu Codename vivid, wily for arm-linux image (#4258)

ARM: Add Ubuntu Codename vivid, wily for arm-linux image

Fix a build break when FEATURE_CORECLR is disabled.

[tfs-changeset: 1599408]

Merge pull request #4576 from swgillespie/longgc-ci

Enable long GC tests to run on a regular basis

Merge pull request #4599 from Priya91/ubuntu1604

Add Ubuntu16.04 runs.

Merge pull request #4597 from wtgodbe/fxTestFix

Fix run-test.sh invocation in netci.groovy

Add Ubuntu16.04 runs.

Fix run-test.sh invocation in netci.groovy

Merge pull request #4580 from seanshpark/doc_coreoverlay

Add coreOverlay option to unix-test-instructions document

Merge pull request #4535 from ramarag/xplateventsrc

Fixing up FEATURE_EVENTSOURCE_XPLAT

Merge pull request #4566 from kyulee1/nativecallable

ARM64: Fix NativeCallable

Merge pull request #4528 from gkhanna79/DynamicJITLoad

Refactor FEATURE_MERGE_JIT_AND_ENGINE to allow consuming JIT as a dynamic library

Enable long GC tests to run daily

Merge pull request #4448 from rahku/arm64toolsetupdate

Update arm64 toolset. Link against ucrt.
This has following changes:
 1. Update arm64 toolset to latest.
 2. Link against ucrt.
 3. Fix tls offsets which have changed due to updated toolset
 4. Fix source code in decimal.cpp to avoid integer overflow. Result of signed integer overlfow is undefined in C++.
 5. Enable build of sos which can be loaded in arm64 windbg
 6. Add nop to empty assembly marker methods as new toolset generates invalid .pdata for them.

I have verified that arm64 runs are clean

This has following changes:
1. Update arm64 toolset to latest.
2. Link against ucrt.
3. Fix tls offsets which have changed due to updated toolset
4. Fix source code in decimal.cpp to avoid integer overflow. Result of signed integer overlfow is undefined in C++.
5. Enable build of sos which can be loaded in arm64 windbg
6. Add nop to empty assembly marker methods as new toolset generates invalid .pdata for them.

Keep FEATURE_MERGE_JIT_AND_ENGINE with refactored approach

Merge pull request #4588 from dotnet-bot/from-tfs

Merge changes from TFS

Fix razzle build break

[tfs-changeset: 1599244]

Add coreOverlay option to unix-test-instructions document

Avoid defensive copy in String.Concat(string[]) (#4559)

* Avoid defensive copy in String.Concat(string[])

Today the String.Concat(params string[]) implementation makes a defensive copy of the input string[] in order to avoid issues where another thread mutates the array concurrently with the concatenation.  Such a situation is possible but exceedingly rare, so we can redo the implementation to make it cheaper when there isn't concurrent mutation and more expensive when there is, rather than always having it be more expensive.

This commit changes string.Concat to optimistically assume there won't be such concurrent mutation.  It avoids allocating the defensive string[] array copy, and instead just proceeds to allocate a string of the right length and copy the input strings into it.  If along the way it discovers that something has changed such that the string lengths no longer add up to exactly what was precomputed, then it falls back to the original implementation.

Example microbenchmark:
```C#
using System;
using System.Diagnostics;

public class Program
{
    public static void Main()
    {
        string result;
        string[] inputs = new[] { "abcd", "efgh", "ijkl", "mnop", "qrst", "uvwx", "yz" };
        var sw = new Stopwatch();
        while (true)
        {
            int gen0 = GC.CollectionCount(0);
            sw.Restart();
            for (int i = 0; i < 20000000; i++) result = string.Concat(inputs);
            sw.Stop();
            Console.WriteLine($"{GC.CollectionCount(0) - gen0}: {sw.Elapsed.TotalSeconds}");
        }
    }
}
```
Before the change:
```
> corerun test.exe
1525: 2.0733829
1526: 2.0599474
1526: 2.0717786
1526: 2.0318797
^C
```
After the change:
```
> corerun test.exe
763: 1.4700695
762: 1.446919
763: 1.4581139
763: 1.4568889
^C
```

Merge pull request #4574 from wtgodbe/affinity

Set machine affinity for flow jobs in CI

ARM64: Fix NativeCallable

Fixes https://github.com/dotnet/coreclr/issues/4422
The issue is that JIT didn't pass UMEntryThunk for the managed function
entry point which is invoked from the native function.
The fix is to enable NativeCallable attribute check to get the right entry point.

Merge pull request #4577 from kyulee1/qfix

ARM64: Quick Fix

ARM64: Quick Fix

I accidently made a wrong copy and paste.

Set machine affinity for flow jobs in CI

Merge pull request #4561 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #4560 from kyulee1/fixvarargpinvoke

ARM64: Fix Vararg for PInvoke

ARM64: Fix Vararg for PInvoke

Fixes https://github.com/dotnet/coreclr/issues/4474
1. Fix entry point to `VarargPInvokeStub_RetBuffArg` instead of
`VarargPInvokeStub` to pass `VASigCookieReg` via `x1` when hasRetBuffArg is
true.
2. The previous fix for varargs SP offset is not correct when both varargs
and callee save regs exist. Fix the SP offset computation from caller's SP.
3. Fix epilog which didn't take varargs into account.

Fixing up FEATURE_EVENTSOURCE_XPLAT

Merge pull request #4553 from janvorli/fix-pslog-path

Fix PS version log path

Merge pull request #4564 from wtgodbe/coverageFix

fix calls to runtest.sh in code coverage build

Merge pull request #4542 from kyulee1/nobld

No BuildOnly job for ARM64

Merge pull request #4565 from swgillespie/playlists-2

Fix error in invocation of runtests.sh for long GC tests

fix calls to runtest.sh in code coverage build

Fix error in invocation of runtests.sh for long GC tests

Merge pull request #4141 from prajwal-aithal/devel/native-arm-ci

Add CI support for Linux ARM emulator

Add back internal FromCancellation methods

System.Runtime.WindowsRuntime implementation depends on them

[tfs-changeset: 1598965]

Merge pull request #4460 from parjong/fix/issue_4404

Uses initialized unw_context_t instead of uninitialized one

Merge pull request #4456 from seanshpark/no-inline-asm

ARM: Fix compile error for unw usage with clang-3.8

Fix PS version log path

The PS version log path is incorrectly set to the root of the current drive when
building for ARM64 with toolset_dir set. In that case, the `%~dp0` doesn't hold
the current drive and directory anymore.
I have fixed it by using `__LogsDir` instead. It it a good practice to put generated
files somewhere under the bin folder and the logs directory seems appropriate.

ARM: Fix compile error for unw usage with clang-3.8

This fix is also needed when using clang-3.8
Previous related patch is #4260

Renames UpdateUnwindContextWithWinContext

Ranames UpdateUnwindContextWithWinContext as WinContextToUnwindContext,
and revises to invoke WinContextToUnwindContext always.

Merge pull request #4524 from AndyAyersMS/InlineTreeXML

Inliner: enable xml format dump for inlines

Merge pull request #4491 from BruceForstall/Fix3561

Fix #3561: assert on RyuJIT x86 when generating shl by 1

Merge pull request #4544 from janvorli/move-test-wrappers-to-bin

Move generated xunit test wrappers to bin folder

Replace uses of FromCancellation -> FromCanceled in mscorlib (#4537)

Replace uses of FromCancellation -> FromCanceled in mscorlib

Move generated xunit test wrappers to bin folder

This change modifies the build so that the generated xunit test
wrappers are no longer placed into the source tree, but rather to
the bin folder where all files generated by the build should go.

Merge pull request #4533 from ramarag/GC_Stress

Fixing GC stress test layout and Creating a Sanity Run for it

No BuildOnly job for ARM64

bld jobs are not interesting. So delete them from the history.

Merge pull request #4541 from janvorli/fix-pe-sections-protection-3

Fix loading of NI images on SELinux

Fix loading of NI images on SELinux

This change fixes a problem that prevents us to load crossgen-ed managed
assemblies on SELinux when running in confined mode.
The problem was that when we load these images, we also apply relocations
to their sections and so we temporarily switch section protection from
RX to RW and then back. And the switching back (RW -> RX) is something
that SELinux doesn't allow.
The fix is to switch to RWX before applying to relocations for sections
that are RX, since it is allowed then to switch them back to RX.
One more change was needed to get the original protection of the section
before relocation so that we can set it back later. The PE files are
not mapped using VirtualXXXX functions in the PAL and so VirtualProtect
doesn't return the proper original protection, but a fixed value instead.
So for PAL, we derive the original protection from the section attributes.

Merge pull request #4429 from swgillespie/fixup-perf-tests

Update the GC Performance test framework since the deprecation of DNX

Merge pull request #4525 from swgillespie/unix-concurrent-gc-fix

Restore concurrent GC for non-Windows AMD64 platforms

Merge pull request #4520 from CarolEidt/BlkOpsRefactor

Block Ops Refactor

Merge pull request #4389 from jkotas/gc-update

Integrate GC changes from CoreRT

Fixing GC stress test layout and Creating a Sanity Run for it

Merge pull request #4532 from mikem8361/sosfixes

Fixes various SOS problems and issues.

Fix #3561: assert on RyuJIT x86 when generating shl by 1

This assert hit in the encoder when we were trying to generate an
INS_shl_N with a constant of 1, instead of using the special xarch
INS_shl_1 encoding, which saves a byte. It turns out, the assert was
and in fact amd64 does generate the suboptimal encoding currently.

The bad code occurs in the RMW case of genCodeForShift(). It turns out
that function is unnecessarily complex, unique (it doesn't use the
common RMW code paths), and has a number of other latent bugs.

To fix this, I split genCodeForShift() by leaving the non-RMW case
there, and adding a genCodeForShiftRMW() function just for the RMW case.
I rewrote the RMW case to use the existing emitInsRMW functions.

Other related cleanups along the way:
1. I changed emitHandleMemOp to consistently set the idInsFmt field,
and changed all callers to stop pre-setting or post-setting this field.
This makes the API much easier to understand. I added a big header
comment for the function. Now, it takes a "basic" insFmt (using ARD,
AWR, or ARW forms), which might be munged to a MRD/MWR/MRW form
if necessary.
2. I changed some places to always use the most derived GenTree type
for all uses. For instance, if the code has
"GenTreeIndir* mem = node->AsIndir()", then always use "mem" from then
on, and don't use "node". I changed some functions to take more derived
GenTree node types.
3. I rewrote the emitInsRMW() functions to be much simpler, and rewrote
their header comments.
4. I added GenTree predicates OperIsShift(), OperIsRotate(), and
OperIsShiftOrRotate().
5. I added function genMapShiftInsToShiftByConstantIns() to encapsulate
mapping from INS_shl to INS_shl_N or INS_shl_1 based on a constant.
This code was in 3 different places already.
6. The change in assertionprop.cpp is simply to make JitDumps readable.

In addition to fixing the bug for RyuJIT/x86, there are a small number
of x64 diffs where we now generate smaller encodings for shift by 1.

Remove NEW_EXPERIMENTAL_ASYNC_IO define from mscorlib (#4530)

Fixes various SOS problems and issues.

Fixes not printing the method names in various sos commands (clrstack, ip2md, etc).  This was because a NetBSD build change
caused the sos output formatting to use the linux C++ runtime _vsnprintf instead of the PAL's version which supports the %S
format option for WCHAR strings.

The above also fixes issue #4430 "SOS dumplog fails to print out full log content from coredump".

Fixes issue #4402 "Callstack is trashed after an exception" by executing " .settings set EngineInitialization.VerifyFunctionTableCallbacks=false"
during SOS initialization.

Fixes issue #4432 "Missing endline when final frame is HelperMethodFrame". Worked around a bug in WinDbg DML output when
displaying the IP address for a special frame by not using DML.  It doesn't mean anything for special frames anyway and it is usually
is a native code address so the DML !U disassemble doesn't work. I didn't leave it blank like in "clrstack -f" for compatibility with
tests and it is what people are use to.

Merge pull request #4526 from wtgodbe/groovyFix

Fix unpacking of clr tests in netci.groovy

Fix unpacking of clr tests in netci.groovy

Restore the software write watch feature

Inliner: enable xml format dump for inlines

Add new config option to dump inline trees as XML, and implement
dumping support.

Fix build issue on archs where msbuild is not supported (#4517)

Fix build issue on archs where msbuild is not supported

Update the GC Performance test framework since the deprecation of DNX

Merge pull request #4467 from krytarowski/netbsd-support-71

Add NetBSD support in tests/runtest.sh

Merge pull request #4522 from wtgodbe/coverage

Testing prints in netci.groovy

Fixes for GC update

Update GC from CoreRT

https://github.com/dotnet/corert/tree/master/src/Native/gc 102af78f9169082478165e7c676bbee6ae194940

Testing prints in netci.groovy

Merge pull request #4493 from swgillespie/playlist

Add a "playlists" flag to runtests.sh that will run a list of tests

Merge pull request #4498 from BruceForstall/Fix3570

Fix #3570: RyuJIT x86: Float/Double mismatch in CodeGen::genStoreInd()

Fix #3570: RyuJIT x86: Float/Double mismatch in CodeGen::genStoreInd()

There is code in the importer to insert explicit converts between float and double
but it was only running for _TARGET_64BIT_. I changed this to a more appropriate
!_LEGACY_BACKEND_.

Block Ops Refactor

Refactor the legacy code dealing with block ops to minimize diffs when they are replaced with assignments.
Also a couple of comment edits and a small cleanup in rationalizer.

Merge pull request #4512 from kyulee1/vararg

ARM64: Fix Frame with VarArg

ARM64: Fix Frame with VarArg

Fixes https://github.com/dotnet/coreclr/issues/4424
JIT homes incoming vararg (8) registers to the top of the stack.
When stack location is computed for local vars, JIT didn't
take it into consideration causing the overlapped stack
offsets for local vars and varargs. The stack offsets of local vars
corresponding to varargs should point to this home area instead of
the newly alloacted slot.

Merge pull request #4515 from wtgodbe/covr

Fix running corefx tests for coverage job

Add a "playlists" flag to runtests.sh that will run a list of tests

Fix running corefx tests for coverage job

Updating build tools to resolve duplicate perf test discovery (#4492)

Merge pull request #4466 from krytarowski/netbsd-support-70

Implement CorUnix::GetThreadTimesInternal() for NetBSD-7.0

Partly fix the build issue when path to git repository has spaces (for example "d:\z z\coreclr"). (#4388)

The same issue in "d:\z z\coreclr\Tools\versioning.targets"(288): $(IntermediateOutputPath) should be "$(IntermediateOutputPath.TrimEnd('\'))" and all other path should be quoted with &quot; in this line.

Update ParamArrayAttribute.cs (#4442)

A minor doc error (presumably some copy'n'paste issue).

Fixes https://github.com/dotnet/coreclr/issues/4252 (#4384)

Change Join and Concat to access iterator.Current value once. Delegate null checking to StringBuilder.Append

Merge pull request #4501 from dotnet-bot/from-tfs

Merge changes from TFS

Add NetBSD support in tests/runtest.sh

Implement CorUnix::GetThreadTimesInternal() for NetBSD-7.0

Extract manually time used for a thread (LWP). NetBSD doesn't track
time used separately in user/kernel for threads, it's only done for
processes.

/*
 * KERN_LWP structure. See notes on KERN_PROC2 about adding elements.
 */
struct kinfo_lwp {
// ...
        uint32_t l_rtime_sec;           /* STRUCT TIMEVAL: Real time. */
        uint32_t l_rtime_usec;          /* STRUCT TIMEVAL: Real time. */
// ...
};

  -- /usr/include/sys/sysctl.h

Use the kvm(3) interface for this task.

The current limitation is returning time used for the current thread, not
the one selected at will - as there is no clean conversion (or rather
extraction of "lwpid_t pt_lid" from the private pthread_t structure).