Fix 'runtest.sh' script

This change fixes a bug in the 'runtest.sh' that read test cases from
file given by '--testDirFile=<path>' option.
Remove LF characters while reading each line to make array properly.
Also changes similar codes in other place to same simple one.

Merge pull request #4556 from JohnChen0/r2r

Ready-to-Run support for generic methods without generic dictionary

Support generic methods without generic dictionary

Merge pull request #4653 from mikem8361/shimrace

Fix issue #4298 "SIGSEGV_libcoreclr.so!Debugger::GetArgCount"

Merge pull request #4687 from kyulee1/zap

ARM64: Enabling Crossgen End-to-End Mscorlib

Merge pull request #4698 from adityamandaleeka/fix_ci_corefxbins

Fix CI: Update directory check for case with multiple CoreFX directories

Use Unix version of WORKSPACE.

Update directory check for case with multiple CoreFX directories.

Merge pull request #4691 from adiaaida/longOperators

Separate NYIs for arithmetic operators on longs

Merge pull request #4695 from adityamandaleeka/fix_ci_corefxbins

Modify CI to pass in multiple CoreFX bin directories

Add cascading CoreFX directories to Unix CI run

Allow multiple CoreFX bin directories to be specified in runtest.sh.

Separate NYIs for arithmetic operators on longs

To make it more obvious which long operators are causing the NYI to hit,
split out the different operators with their own NYI.

Merge pull request #4676 from BruceForstall/x86Testing

Change RyuJIT/x86 testing

Change RyuJIT/x86 testing

Change the RyuJIT/x86 test runs so we don't set COMPLUS_AltJitAssertOnNYI=1
by default. This means when the JIT hits an NYI, it falls back to
the legacy x86 back-end instead of raising an assert. The issues.targets
test exclusion file is changed to only exclude those tests that fail,
due to assert or silent bad codegen, in this mode, rather than the
(currently) much, much larger number of exclusions if COMPLUS_AltJitAssertOnNYI=1
is set.

The version of issues.targets is renamed as ryujit_x86_no_fallback_issues.targets.

This is a issues.targets file that contains exclusions for running
with RyuJIT/x86 and COMPLUS_AltJitAssertOnNYI=1, so NYI turn into
asserts.

ARM64: Enabling Crossgen End-to-End Mscorlib

Fixes https://github.com/dotnet/coreclr/issues/4350
Fixes https://github.com/dotnet/coreclr/issues/4615

This is a bit large change across VM/Zap/JIT to properly support crossgen
scenario.
1. Fix incorrect `ldr` encoding with size.
2. Enforce JIT data following JIT code per method by allocating them together.
   This guarantees correct PC-relative encoding for such constant data access
   without fix-up.
3. For the general fix-up data acceess, use `adrp/add` instruction pairs with fix-ups.
   Two more relocations types are implemented in all sides.
4. Interface dispatch stub is now implemented which is needed for
interface call for crossgen.

I've verified hello world runs with mscorlib.ni.dll.

Treat NetBSD like FreeBSD and OSX in PAL_VirtualUnwind() (#4551)

This fixes hangs in the runtime observed while running CoreFX managed tests.

Thanks @janvorli and @myungjoo

Fix #4380

Add query handling of IUnknown for MergeTokenManager and CMapToken (#4563)

Add query handling of ICLRPrivResource for Assembly::CLRPrivResourceAssembly (#4562)

Specify the signedness of 'char' in HFA testcases (#4680)

In C#, sbyte always represents 8-bit signed interger.

However, the signedness of char in C is undefined, and the default
signedness of char in ARM is unsigned.

The native code for HFA test does not specify the signedness of char,
and thus the native code assumes that it is unsigned, but the managed
code assumes that it is signed, which leads to unittest failure in ARM.

This commit specifies the signedness of 'char' in order to fix #4639.

Merge pull request #4655 from swaroop-sridhar/aagc3

ARM64: Update FP-context-pointer in ExceptionFrame

Merge pull request #4662 from Priya91/ubuntu1604

Remove Ubuntu15.10 support.

Fix issue #4298 "SIGSEGV_libcoreclr.so!Debugger::GetArgCount"

The fix is to remove the call to TerminateDebugger in the EE shutdown
path. The reason was to clean up the transport pipe files but that
still happens in coreclr_uninitialize called by the host.

Also added code to clean up the transport named pipes and semaphores
on the debugger side when it detects that the target process has
terminated before it sends the ExitProcess notification.

Plumbed the cleanup call from dbi's ExitProcess code through the
native pipe line to the transport and then to pipe code.

Add PAL_CleanupTargetProcess for the "continue" named semaphore cleanup.

Found and fixed a minor race in dbgshim register runtime startup.

Merge pull request #4670 from BruceForstall/Fix3596

Fix 3596: attempt to spill a returned fp local w/o a frame location

Merge pull request #4656 from BruceForstall/x86fp

Update RyuJIT/x86 XMM register definitions and usage

Merge pull request #4658 from swgillespie/gc-perf-typo

Fix a typo in GCMetrics that provides the wrong generation's statistics

enable build of arm-softfp cross target component. (#4636)

Fix #4635

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Merge pull request #4652 from rahku/arm64EnableR2R

Enable ReadyToRun feature for arm64

ARM: Fix compiler definition inconsistency (#4673)

Fix the following inconsistency
CoreCLR-Native @ Linux/ARM: FEATURE_STUBS_AS_IL not defined
CoreCLR-Managed @ Linux/ARM: FEATURE_STUBS_AS_IL defined

This _partially_ fixes #3635

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Embrace bash message with " (#4633)

This commit tries to fix #4631.

Fix 3596: attempt to spill a returned fp local w/o a frame location

Instead of checking !lvRegister, check lvOnFrame.

Fixes #3596.

Remove Ubuntu15.10 support.

Merge pull request #4643 from gkhanna79/LoadJIT

Load JIT from a custom location

Fix a typo in GCMetrics that provides the wrong generation's statistics

Enable ReadyToRun feature for arm64

Update RyuJIT/x86 XMM register definitions and usage

Change the register definition to not include XMM8 through XMM15,
which are not available on x86.

Also, put a few things previously under _TARGET_AMD64_ instead
under !LEGACY_BACKEND to make them available for RyuJIT/x86.

There are more things to do to enable AVX. For example, size_t is
used for code bytes, but expects to be able to store >32 bits. This
work is just a start.

ARM64: Update FP-context-pointer in ExceptionFrame

Update the CurrentContextPointers for FP and LR registers
in FaultingExceptionFrame::UpdateRegDisplay()

This change fixes a few GCStress=0xC failures on ARM64.

Merge pull request #4632 from briansull/multireg-struct-promote

ARM64: Enable Struct Promotion for most Mutireg structs

Merge pull request #4646 from BruceForstall/Fix3516

Fix 3516: Change an emitter #ifdef _TARGET_AMD64_ to !LEGACY_BACKEND

Merge pull request #4645 from BruceForstall/UpdateRyuJITx86Exclusions

Update RyuJIT/x86 test exclusion list

Merge pull request #4644 from BruceForstall/LocallocAndPSPSym

Improve AMD64 PSPSym behavior

Load JIT from a custom location

Updated morph.cpp

Improve AMD64 PSPSym behavior

The implementation for localloc in a function with EH, and hence with a PSPSym,
currently pops off the outgoing argument space, but not the adjacent PSPSym,
does the localloc allocation, then adjusts the stack pointer again to allocate
space for a PSPSym as well as the outgoing argument space. Finally, it copies
the PSPSym value to the new PSPSym location.

Thus, we end up with multiple copies of the PSPSym on the stack frame.
PSPSym is a RSP-relative local variable, so some users access the lowest
copy on the stack, while other users access the highest (original) copy
on the stack. (Funclets access the original copy because they get the
establisher frame as an argument, and the establisher frame for AMD64 is
the Initial-SP, the copy of RSP before any localloc has occurred.
Specifically, it is a fixed offset from the RBP frame pointer as specified
in the unwind info.)

This change makes several improvements:
1. The PSPSym is never copied during localloc processing. It turns out the
original copy is sufficient, and is always available. To make this work,
the PSPSym local var is changed to be frame pointer relative. We still locate
the PSPSym immediately above the outgoing argument space, lower than any
frame alignment space, so we need to set the PSPSym variable stack offset
specifically after the frame alignment has been calculated. We always have
a frame pointer with either EH or localloc. Thus, localloc will now allocate
the correct, minimal amount of (aligned) space. Note that localloc is commonly
used in IL stubs, so the benefits here are more widespread than might be expected
from just user code.
2. When generating code to call finally clauses, we would load up the PSPSym
as the first argument, as required by the calling convention for finallys.
However, if we are in a function without localloc, and are generating code
for the main function (not a funclet), then the value stored in the PSPSym
slot will be exactly the current value of the stack pointer. So, simply copy
RSP, which is smaller and simpler code.

Each of these changes improves code size. Even for functions without localloc,
accessing PSPSym via RBP instead of RSP is generally smaller.

This fixes #4570.

Update RyuJIT/x86 test exclusion list

1. Remove exclusions for #3549, which is now fixed.
2. Add exclusion for new EH test case.

Merge pull request #4622 from BruceForstall/FixCobolLegacyX86

Fix regression in internal Cobol test

Fix 3516: Change an emitter #ifdef from _TARGET_AMD64_ to !LEGACY_BACKEND

Merge pull request #4611 from CarolEidt/Fix4412

Mark a multi-reg return type LclVar of GT_RETURN(LclVar) as DoNotEnregister

Merge pull request #4602 from adiaaida/x86Exclude

Add exclusions for RyuJIT x86 and x86 TestEnv

Fix regression in internal Cobol test

The x86 (legacy backend) JIT was asserting because an optimization created the wrong size int constant node.

This was a regression introduced with https://github.com/dotnet/coreclr/pull/3385

Linux Mint support for mscorlib.dll (#4610)

Initial support of lldb-3.8 for libsosplugin (#4473)

Refuse to compile references to nativecallable methods in R2R images (#4627)

Merge pull request #4572 from JohnChen0/crossgen-createpdb

Enable crossgen /createpdb command on Windows

Merge pull request #4614 from ramarag/fragileNIstartup

Arm64:Fxing up VM helper Table in mscorlib NI

Merge pull request #4625 from AndyAyersMS/FullInliner

Inliner: implement FullPolicy

Merge pull request #4626 from dotnet-bot/from-tfs

Merge changes from TFS

Fix FileLoadException message for CoreCLR (#4624)

Fix FileLoadException message for CoreCLR

Merge pull request #4578 from sejongoh/vector3_testcase_update

Update Vector3 Interop testcases

StructPromote_0428

Enable Struct promotion for 16-byte structs on Arm64

Merge pull request #4585 from Maoni0/numa

bug fix in os wrapper

Update Vector3 Interop testcases

Arm64:Fxing up VM helper Table in mscorlib NI

Mark lvIsMultiRegArgOrRet returned lclVars lvDoNotEnregister

Mark multi-reg returns in Lowering, where there are set to be contained.
This is done in Lowering::TreeNodeInfoInit to confine it to the case
of returns.

Fixes #4412

Merge pull request #4594 from LLITCHEV/EnableGCStressOnx86

Enable use of disassembler for the x86 platform.

Add exclusions for RyuJIT x86 and x86 TestEnv

This change adds exclusions with their issue numbers for the x86 RyuJIT
bring up. Additionally, this change adds the x86 TestEnv script for
running runtests.cmd with protojit.dll.

Merge pull request #4309 from adityamandaleeka/sigterm

Add support for handling SIGTERM gracefully [WIP]

Inliner: implement FullPolicy

The FullPolicy will be used to grow maximal potential inline trees
for methods. It inlines all legal candidates subject to depth and
size limits. Add a config flag to select this as the policy to use.

Also add a config flag so the inline depth limit becomes adjustable,
and rework the code so that checking this limit is now a matter of
policy.  Add in an implementation max depth limit of 1000.

Revise names of some statics to make their intent clearer, and add some
missing header comments.

Merge pull request #4591 from JosephTremoulet/Filter

Separate TryDsc and ExnFlowDsc

Merge pull request #4586 from BruceForstall/FixUnreachedAsserts

Fix two "unreached" asserts, and other related cleanups

Merge pull request #4606 from dotnet-bot/from-tfs

[tfs-changeset: 1599408]

Fix for a badly placed assert in the *unix arg passing classification. (#4608)

There is a badly placed assert in the *nix arg passing classification.
This change moves the assert before incrementing the field count and adds
test for the problem.

Fixes issue #4584.

Merge pull request #4587 from BruceForstall/FixCkFinite

Fix ckfinite for doubles for RyuJIT/x86

Fix issue 4367 where file description of native tools is wrong (#4598)

Fix issue 4367 where file description of native tools is wrong

Merge pull request #4613 from AndyAyersMS/InlineTreeXML

Update inline xml so it's deserializable

Separate TryDsc and ExnFlowDsc

Supplement the helpers for finding a block's `TryDsc` (the `EHblkDsc` of
the innermost `try` region containing it) and a block's `HndDsc` (the
`EHblkDsc` of the innermost handler it is part of) with helpers for
finding a block's `ExnFlowDsc` (the `EHblkDsc` of the innermost handler to
which control may be transferred if an exception occurs in the given
block).

The `ExnFlowDsc` is the same as the `TryDsc` in most cases, but differs
for blocks in filter expressions -- when an exception escapes a filter,
that new exception is discarded and the search for a handler for the prior
exception is resumed at the next-outer handler, which corresponds to the
next-outer try enclosing the try that the filter protects.  This is not
the try enclosing the filter itself for "mutual-protect" clauses such as
are generated for
  try {
    ...
  } catch when (E) { // <-- E is not in the 'try' but an exception
    ...              //     in it causes flow to go to the 'finally'
  } finally {
    ...
  }

This change adds helpers around the `ExnFlowDsc` and updates code that
was using the `TryDsc`/`TryIndex` where appropriate.

This fixes #4044.

Fix two "unreached" asserts

The asserts as written would never fire. Replace them with asserts that will.

Fix ckfinite for doubles for RyuJIT/x86

On x86, we can't simply load a double from an xmm reg into a
64-bit integer register. It turns out we only need the high
32 bits for the instruction. But there is no SSE2 instruction
to copy just those bits to the integer registers. So, first,
to a shuffle to swap the first 32 and 2nd 32 bits in the xmm
register. Then, do the xmm2i mov and ckfinite check. Then,
swap the bits back into the original locations so we can return
the correct value in the target register.

Fixes #3549.

Update inline xml so it's deserializable

Add some elements for sequences of children. Make everything
an element for now. Add header and footer.

Add SIGTERM handling logic that properly shuts down the EE.

Fix build break introduced by https://github.com/dotnet/coreclr/commit/140396f479d5d33bca0daef1f072eef4992ed78e

[tfs-changeset: 1599439]

Merge pull request #4502 from seanshpark/arm_sos_with_lldb38

ARM, SOS: Fix libsos.so load fail and changes for SOS to work with ARM-Linux

ARM, SOS: Fix fail to load libsos.so while debugging with lldb

Related issue: #4428
With minor fix for ARM compile in SOS

ARM: Fix ARM-Linux in SOS with lldb

Fix ARM architecture type in SOS so that it works for ARM-Linux.
Before this patch, lldb stops with architecture not supported.
SOS ARM-Linux works with LLDB-3.8 and higher.
Actual SOS commands for ARM may need testing and fixing.

Enable use of disassembler for the x86 platform.

Initialization of the disassembler for x86 is not ifdef-ed properly.

ARM: Add Ubuntu Codename vivid, wily for arm-linux image (#4258)

ARM: Add Ubuntu Codename vivid, wily for arm-linux image

Fix a build break when FEATURE_CORECLR is disabled.

[tfs-changeset: 1599408]

Merge pull request #4576 from swgillespie/longgc-ci

Enable long GC tests to run on a regular basis

Merge pull request #4599 from Priya91/ubuntu1604

Add Ubuntu16.04 runs.

Merge pull request #4597 from wtgodbe/fxTestFix

Fix run-test.sh invocation in netci.groovy

Add Ubuntu16.04 runs.

bug fix in os wrapper

Fix run-test.sh invocation in netci.groovy

Merge pull request #4580 from seanshpark/doc_coreoverlay

Add coreOverlay option to unix-test-instructions document

Merge pull request #4535 from ramarag/xplateventsrc

Fixing up FEATURE_EVENTSOURCE_XPLAT

Merge pull request #4566 from kyulee1/nativecallable

ARM64: Fix NativeCallable

Merge pull request #4528 from gkhanna79/DynamicJITLoad

Refactor FEATURE_MERGE_JIT_AND_ENGINE to allow consuming JIT as a dynamic library

Enable long GC tests to run daily

Merge pull request #4448 from rahku/arm64toolsetupdate

Update arm64 toolset. Link against ucrt.
This has following changes:
 1. Update arm64 toolset to latest.
 2. Link against ucrt.
 3. Fix tls offsets which have changed due to updated toolset
 4. Fix source code in decimal.cpp to avoid integer overflow. Result of signed integer overlfow is undefined in C++.
 5. Enable build of sos which can be loaded in arm64 windbg
 6. Add nop to empty assembly marker methods as new toolset generates invalid .pdata for them.

I have verified that arm64 runs are clean

This has following changes:
1. Update arm64 toolset to latest.
2. Link against ucrt.
3. Fix tls offsets which have changed due to updated toolset
4. Fix source code in decimal.cpp to avoid integer overflow. Result of signed integer overlfow is undefined in C++.
5. Enable build of sos which can be loaded in arm64 windbg
6. Add nop to empty assembly marker methods as new toolset generates invalid .pdata for them.

Keep FEATURE_MERGE_JIT_AND_ENGINE with refactored approach