Merge pull request #3470 from erozenfeld/ValueNumbersForR2RHelpers

Improvements for ReadyToRun helpers in JIT value numbering.

Merge pull request #3508 from hughbe/patch-1

Fix incorrect exception parameter name in GC

Merge pull request #3538 from vcsjones/fix-3531

Fix compilation errors on tests.

Fix compilation errors on tests.

Fix #3531

Merge pull request #3536 from JohnChen0/master

Modify zaprequire switch to allow Ready-to-Run images

Modify zaprequire switch to allow Ready-to-Run images

Address issue #3527.

Merge pull request #3446 from kyulee1/FixIlasmTool

Fix for not using ilasm from the build binary

Merge pull request #3528 from leemgs/upstream-pal-linux-macro

Replace all uses of __LINUX__ with the lower case

Merge pull request #3525 from leemgs/upstream-cross-arch

Add arm[64] to isMSBuildOnNETCoreSupported()

Merge pull request #3530 from ramarag/fixtest

Fix syntax error in test code

Fix syntax error in test code

Replace all uses of __LINUX__ with the lower case

According to https://sourceforge.net/p/predef/wiki/OperatingSystems/
(Pre-defined Compiler Macros) and http://www.faqs.org/docs/Linux-HOWTO/GCC-HOWTO.html
(Porting and compiling:Automatically defined symbols), the __linux__ marcro is the
right way to detect systems based on the Linux kernel and is the POSIX compliant.

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>
Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Improvements for ReadyToRun helpers in JIT value numbering.

The following ReadyToRun helpers are now treated similarly to their normal
counterparts in value numbering:
CORINFO_HELP_READYTORUN_NEW
CORINFO_HELP_READYTORUN_NEWARR_1
CORINFO_HELP_READYTORUN_ISINSTANCEOF
CORINFO_HELP_READYTORUN_CHKCAST
CORINFO_HELP_READYTORUN_STATIC_BASE

In particular, this allows CSE-ing calls to the last 3 of the above helpers when
possible. #3281 is an issue for CORINFO_HELP_READYTORUN_STATIC_BASE.

Compiler::fgValueNumberHelperCallFunc is refactored to reduce code
duplication.

Closes #3281.

Merge pull request #3505 from LLITCHEV/Issue3360

Reenable an assert.

Merge pull request #3523 from briansull/struct16-fix

Fixes for 16-byte struct argument passing for ARM64

Fixes for 16-byte struct argument passing for ARM64

Workarounds to fix Issue 3151 and Issue 2987
14 additional tests are now passing
When passing two register TYP_STRUCT type suisng PUTARG_REG we add a physical register kill for the second register
When generating code for a 16-byte GT_LDOJ that conbatisn GC references we reverse the instructions when necessary
Added new utility method lvIsMultiregStruct() that returns true for the ARM64 16-byte struct type
Updated Tests.lst file

Add arm[64] to isMSBuildOnNETCoreSupported()

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>

Merge pull request #3513 from mikem8361/soschanges

Fix two sos issues.

Merge pull request #3518 from gkhanna79/OSXRepro

Define Platform and OutputPaths

Merge pull request #3519 from JohnChen0/longpath

Restore linking debug corerun.exe with retail CRT

Merge pull request #3511 from vcsjones/fix-3506

Improve GetHashCode for IntPtr/UIntPtr on 64-bit.

Merge pull request #3507 from gkhanna79/OneCore2

Fix CRT linkages for uCRT

Merge pull request #3452 from fujiy/patch-1

Anchor Tag fix

Reenable an assert.

Back in December an assert was commented out in the code (when a big PR
was done).
The issue was that in one case of a tail call test there was a LcLVar with
type of TYP_STRUCT with a single eightbyte.
This should not have happened since in such cses the type of the LclVar is
normalized to the type of the first structs' eightbyte.
Enabling the assert has no effect on the test in question - it passes.
I suspect the issue was resolved sometime back (in January) when we
discovered there were some bad merges in the big PR wiping . As I recall, at least
one was related to a taken out tail call fix.

Fixes issue 3360.

Define Platform and OutputPaths before Microsoft.Common.CurrentVersion.targets is included.

Improve GetHashCode for IntPtr/UIntPtr on 64-bit.

The GetHashCode behavior on IntPtr and UIntPtr truncated the upper 32 bits.
This change uses the behavior of long and ulong, respectively, to generate
the hash code.

UIntPtr no longer strips off the top-most bit for GetHashCode purposes.

Fix #3506

Restore linking debug corerun.exe with retail CRT

The long path support feature modified debug corerun.exe with debug
CRT (msvcrtd.dll). This made it more difficult to use corerun.exe,
since the debug CRT is not always available. It turns out this change
is no longer necessary, so reverting part of the change to link debug
corerun.exe with retail CRT (msvcrt.dll) again.

Merge pull request #3495 from pgavlin/HistogramCleanup

Clean up the JIT's histogram type.

Merge pull request #3512 from benpye/arm-monotonic-coarse-tryrun

Add value to arm/arm64 tryrun files for HAVE_CLOCK_MONOTONIC_COARSE.

Fix for not using ilasm from the build binary

Using ilasm from the build is a desire to test ilasm tool -- in fact we've now had ildasm-ilasm round-trip tests,
so this is not critical either.
But when building cross-target like ARM64, running such native ilasm in the different host (x64) is not an option.
Given the current test architect where tests are all populated in Windows,
I just fall back to use one from VS tool same as other tools like CSC.
Ideally, we should download such host tools based on host target especially
when we start populating tests on non-Window platforms.
Currently two of tests are disabled due to the issue #3517.

Merge pull request #3509 from kyulee1/arm64build

Fix for disabling incremental build for ARM64

Merge pull request #3497 from adityamandaleeka/threading_test_port

[WIP] Open source some more threading tests

Fix C++11 issue when converting string to char *

Merge pull request #3500 from AndyAyersMS/InlineRefactorInlineHints

Inline refactoring: convert hints into observations

Clean up the JIT's histogram type.

Fix two sos issues.

ARM Disassemble problem and reenterency bug on Windows.

Add value to arm/arm64 tryrun files for HAVE_CLOCK_MONOTONIC_COARSE.

Merge pull request #3491 from rahku/Helix

add TargetsWindows property required by cloudtest.targets in buildtools package

add TargetsWindows property required by cloudtest.targets in buildtools package

Change priority of tests in baseservices/threading to 1.

Merge pull request #3502 from myungjoo/fix/3462_arm_linux_stack

ARM-Linux Fixes (Issue #3462)

Merge pull request #3503 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #3404 from gregg-miskelly/DbgShimFix

DbgShim!RegisterForRuntimeStartup: Avoid extra call to callback

Fixup CRT linkages for uCRT

Merge pull request #3156 from sejongoh/add_gc_stress_modes

Add GC stress modes

Merge pull request #3337 from sejongoh/reuse_existing_function_to_set_stress_modes

reuse getStressModeScriptStep

Inline refactoring: convert hints into observations

This change updates the inlining code to use observations in place of
the InlineHints and hint-like things (eg "HasSimd"). A number of new
observations were added in support of this.

The `compInlineeHints` member of the compiler object was removed as
the same information is now tracked by the inline policy. The policy
also now contains most of the weights and combining logic used to
compute the profitabiliy boost for the candidate.

There is one subtle and tricky aspect to the change. For the most part
the hints were ignored during the prejit-root analysis, but the mostly
load-store hint was propagated and influenced the inlines done when
crossgenning mscorlib. See #3482 for more on this particular quirk.

I've preserved this behavior by "passing" the prejit inline result
into `fgFindJumpTargets`. In actuality the result is passed by
temporarily setting the `compInlineResult` compiler member variable.
Then, in `fgFindJumpTargets`, the load-store observation is the only
one not guarded by `compIsForInlining`. In a subsequent change I'll redo
the guards at other observation sites and put the policy aspects of these
observations into the policy object.

This addresses another piece of the work outlined in #3371.

Fix incorrect exception parameter name in GC

Fix for disabling incremental build for ARM64

The fix (d58885c9a37d857f10d90f6db7246630d4ce8980) broke ARM64 debug
build.
The right fix is to disable such flag for all archs.

197654 [x86] [scanRuntime] Fix contracts in gcenv.os.cpp

[tfs-changeset: 1581565]

Fix Stack Unwind Behavior of Libunwind-ARM

Disable UNW_ARM_METHOD_DWARF, which gets problematic with
assembly-created stacks in ARM systems.

Although previous commits have fixed the compatibility issues
between cpp stacks and libunwind-arm, the assembly part
(asmhelpers.S) had similar problems.

Fix #3462

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Fix PAL_VirtualUnwind Behavior with Clutters in PC

Libunwind-ARM recommends to read LR to get value of PC
while unwinding stack, which often causes the caller
(PAL_VirtualUnwind) to have LSB of PC set.

Such behavior incurs errornous behavior of PAL_VirtualUnwind
if the output is fed back to PAL_VirtualUnwind as the input,
which is observed with VirtualUnwindToFirstManagedCallFrame().

This commit clears LSB of PC in WinContext to prevent it.

Note that this is a partial fix for the issue #3462.
(this does not fix assembly stacks)

Fix #3462

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Add GC stress modes

Merge pull request #3498 from kyulee1/disinc

Fix for disabling incremental link in Windows

reuse getStressModeScriptStep

Merge pull request #3499 from wtgodbe/nameTooLong

Fix file-name-too-long error for all builds, not just pri1

Fix file-name-too-long error for all builds, not just pri1

Remove needless references to test library.

Merge pull request #3472 from AndyAyersMS/InlineRefactorFixPlumbing

Inline refactoring: rework logic in compCompileHelper

Fix for disabling incremental link in Windows

I'm still getting linker error (mostly debug build) which often caused a
trouble to reboot the machine.
Looking at vcxproj files, we didn't correctly disable incremental link.
There is some ordering issues in linker flag definitions.
The disabling flag should be at the end for each build type
to override the default behavior.

Merge pull request #3494 from dotnet-bot/from-tfs

Merge changes from TFS

Add license headers to ported threading tests.

Remove Monitor/EnterExit15.

Merge pull request #3488 from benpye/arm-redefinition

Fix ARM build regression

Add two files that should have been part of changeset #1581242.

[tfs-changeset: 1581263]

Exclude DefaultStackCommit test from non-Windows platforms.

Open source tests from baseservices/threading.

Refactor Utilcode's IAllocators.

- `DefaultAllocator` has been replaced with `HostAllocator` in RyuJIT, which
  uses the JIT hosting interface to allocate and free memory.
- The definition of `DefaultAllocator` has been moved into its own file, as it
  remains in use by the interpreter and the binder.
- `ProcessHeapAllocator` has been moved into JIT32, as that was its only
  remaining user.
- `AllowZeroAllocator`'s static field has been changed to an instance field
  to avoid the need to define storage for the static field in Utilcode.

[tfs-changeset: 1581242]

Merge pull request #3459 from LLITCHEV/Issue3382-1

Fix GC holes for all AMD64 platforms (Windows and System V) and a bug…

Fix CMake Script for libunwind Feature Check

Check the availability correctly for Linux.

The cmake configuration script has been trying to find out
the availability of functions directly with check_function_exists,
which depends on the symbol names in .so files.
However, the libunwind implementation uses macros to
redefine functions names for each architecture making it
impossible to directly look up symbol tables of .so files.

In order to allow the script to use the information in
header files, check_function_exists should be replaced
with check_cxx_source_compiles.

Besides config.h.in had missing declarations for the
CMAKE variables

Fix #3372

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Fix Stack Unwind for ARM/Linux

Make context information compatible with libunwind-arm.

In Linux/ARM, seh-unwind.cpp has been updating unw_cursor_t
to point another stack by updating the cursor's register
entries. However, that does not work in libunwind-arm in
Linux, which breaks PAL_VirtualUnwind() functions.
Getting the stack information from the cursor had
a compatibility issue as well.

This patch make both "context->cursor" and "cursor->context"
methods compatible with ARM/Linux.

Fix #3312

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Fix ARM build regression

Fix GC holes for all AMD64 platforms (Windows and System V) and a bug for System V OSs in the codegen
for GS cookie comparison on amd64.

Fixes issue #3382.

There is a bug in the genEmitGSCookieCheck method for amd64 having to do
with potentially trashing a second rgister (RDX) for a 2 register returned
struct.

It also sets the byref state for RAX, if needed. And GCRef and BrRef for
RDX, if needed.

Conflicts:
tests/src/JIT/Methodical/structs/systemvbringup/structrettest.cs

Merge pull request #3457 from RussKeldorph/Reenable

Reenable tests after #2728 workaround in place

Merge pull request #3284 from sejongoh/pull_down_coredistool

Pulling down coredistool package for gcstress test

Merge pull request #3476 from mmitche/fix-triggers

Fix triggers

Merge pull request #3405 from dagood/new-cli

Upgrade dotnet CLI version, accumulated project.json changes

Fix triggers

The github triggers were broken with two types of windows builds using the same context next.  One was the build only job that is just used to feed into the *Nix testing.  We don't need to launch these builds at all, since they are just used for internal testing.

See also #3475

Merge pull request #1668 from Dmitry-Me/assignmentOpReturningUnsuitableType

Impossible implicit downcast in assignment operator

Merge pull request #3467 from sivarv/emitInsMovFix

Fix to intermittent failure of jit test 200w1d-09_cpp_r.exe

Merge pull request #3471 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #3466 from mikem8361/armfix

Fixes issue #3453 ARM build break.

Integrate GC changes from full framework

[tfs-changeset: 1580785]

Inline refactoring: rework logic in compCompileHelper

This change reworks the logic in `compCompileHelper` to split
out the invocation of `fgFindBasicBlocks` for the special
prejit-root case (see #3371). As a side benefit the two InlineResults
needed for the prejit inline scan can be merged.

Merge pull request #3447 from AndyAyersMS/ForceInlineFix

Inliner: restore some force inline overrides

Merge pull request #3468 from jashook/amr64_rel

Turn off testing for arm64 for debug and checked builds.

Turn off testing for arm64 for debug and checked builds.

Merge pull request #3435 from jashook/arm64_testing

Small changes to netci to enable arm64 testing.

Fixes issue #3453 ARM build break.

Merge pull request #3460 from AndyAyersMS/FixBadInlineeRedundancy

Inliner: fix assert for multiple failure reasons when inlining

Change all dependency versions to match what was actually restored in the checked-in lockfiles.

Used a tool to look at lockfiles: when a dependency did not have a corresponding downloaded package, found the latest version that was downloaded and changed the project.json to match. This fixes any packages that don't exist (such as some beta-23302) and floating dependencies (*).

Remove RestorePackages = true from all test csproj's.

Restore is performed once as a batch. csproj's share project.jsons, so restoring for each one was a race to update the lockfile.

Use tooling to add Platforms dependencies and imports where necessary.

Remove all lockfiles from source control.

Upgrade CLI version and buildtools, and make build file changes.

Unset CORE_ROOT in environment on Windows before doing restore so that dotnet CLI doesn't try to run using binaries from the test CORE_ROOT.

Restore the xunit wrapper projects in a batch rather than individually to save a lot of time.

Work around xunit.runner.msbuild not having compatible package layout by ignoring errors and adding import so that a future fix will work.

Hard-code C# language for generated wrapper projects: the $(Language) property wasn't set.

Also Change www.myget.org to dotnet.myget.org, as we switched to enterprise myget.

Add System.ObjectModel to tests\src\JIT\config\benchmark+serialize\project.json to manually upgrade it to a version that doesn't require lifting for runtime. This fixes System.ObjectModel.dll being missing from CORE_ROOT and causing the test to fail.

Switch to v3 nuget feeds and sync NuGet.Configs.

Fix to intermittent failure of jit test 200w1d-09_cpp_r.exe

This is a long standing bug in xarch emitter that repros when a static field
access results in the following IR

lclvar =  GT_IND(GT_LEA(GT_CLS_VAR_ADDR, offset=200))

GT_CLAS_VAR_ADDR represents address of the static class object and
offset is used to access a field of a static class.

In this case codegen of GT_IND would call emitInsMov(treeNode= GT_IND)
emiInsMov is checking whether 'base' of addr is GT_CLS_VAR_ADDR and if
so is disregarding offset/indiex/scale fields within addr mode.  As a
result code generated is

lea      rdx, [reloc classVar[0xddc44ce8]]
movsd    xmm10, qword ptr [reloc classVar[0xddc44ce8]]

The bug is that emitInsMov() should be checking that oper of addr of GT_IND
is GT_CLS_VAR_ADDR. Same issue exists in GT_STOREIND case.  After the
fix the following code is generated

lea      rdx, [reloc classVar[0xdc5a4ce8]]
movsd    xmm10, qword ptr [rdx+200]

Why this bug repros intermittently?  fgMorphField() when morphing a static
field access obtains static's addr and checks to see whether its addr
can be encoded as pc-relative 32-bit offset.  If so then fgMorphField() will create
GT_CLS_VAR_ADDR to represent static's addr.  If static's addr cannot be
encoded pc-relative 32-bit offset then it will create long type icon to represent the
address.  Later long icon + offset is folded into a single long constant
and the test passes in this case.  The test fails whenver GT_CLS_VAR_ADDR +
offset materializes in IR which in turn depends on the distance between
jitted code address and the static's address. In most cases statics
were at a distance that cannot be encoded as pc-relative and hence works
correctly.  Hence the intermittent failure of this test.

Merge pull request #3444 from kyulee1/mul

ARM64: Fix for Multiplication with Overflow Check

ARM64: Fix for Multiplication with Overflow Check

For 4 byte integer multiplication, JIT emits a bad-code which is valid
only for 8 byte (i8) multiplication.
For the fix, I use ```smull```(signed)/```umull```(unsigned) instructions
that contain 8 byte results from 4 byte by 4 byte multiplication.
So only one multiplication is needed instead of two for this case.
By simply shifting the results, we could get the upper results that is
used to detect overflow.
Similar transform is made for the unsigned case.
Lower is also changed to reserve a register for overflow check.

Before
smulh   w10, w8, w9  --> Incorrect use: smulh is for obtaining the upper
bits [127:64] of x8 * x9
mul     w8, w8, w9
cmp     x10, x8, ASR #63

After
smull   x8, x8, x9   --> x8 = w8 * w9
lsr     x10, x8, #32 --> shift the upper bit of x8 to get sign bit
cmp     w10, w8, ASR #31 --> check sign bit

Merge pull request #3464 from kyulee1/deltest

Delete a bad test (b06435) for double to long conversion

Small changes to netci to enable arm64 testing.