Merge pull request #3452 from fujiy/patch-1

Anchor Tag fix

Merge pull request #3495 from pgavlin/HistogramCleanup

Clean up the JIT's histogram type.

Merge pull request #3512 from benpye/arm-monotonic-coarse-tryrun

Add value to arm/arm64 tryrun files for HAVE_CLOCK_MONOTONIC_COARSE.

Merge pull request #3509 from kyulee1/arm64build

Fix for disabling incremental build for ARM64

Merge pull request #3497 from adityamandaleeka/threading_test_port

[WIP] Open source some more threading tests

Fix C++11 issue when converting string to char *

Merge pull request #3500 from AndyAyersMS/InlineRefactorInlineHints

Inline refactoring: convert hints into observations

Clean up the JIT's histogram type.

Add value to arm/arm64 tryrun files for HAVE_CLOCK_MONOTONIC_COARSE.

Merge pull request #3491 from rahku/Helix

add TargetsWindows property required by cloudtest.targets in buildtools package

add TargetsWindows property required by cloudtest.targets in buildtools package

Change priority of tests in baseservices/threading to 1.

Merge pull request #3502 from myungjoo/fix/3462_arm_linux_stack

ARM-Linux Fixes (Issue #3462)

Merge pull request #3503 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #3404 from gregg-miskelly/DbgShimFix

DbgShim!RegisterForRuntimeStartup: Avoid extra call to callback

Merge pull request #3156 from sejongoh/add_gc_stress_modes

Add GC stress modes

Merge pull request #3337 from sejongoh/reuse_existing_function_to_set_stress_modes

reuse getStressModeScriptStep

Inline refactoring: convert hints into observations

This change updates the inlining code to use observations in place of
the InlineHints and hint-like things (eg "HasSimd"). A number of new
observations were added in support of this.

The `compInlineeHints` member of the compiler object was removed as
the same information is now tracked by the inline policy. The policy
also now contains most of the weights and combining logic used to
compute the profitabiliy boost for the candidate.

There is one subtle and tricky aspect to the change. For the most part
the hints were ignored during the prejit-root analysis, but the mostly
load-store hint was propagated and influenced the inlines done when
crossgenning mscorlib. See #3482 for more on this particular quirk.

I've preserved this behavior by "passing" the prejit inline result
into `fgFindJumpTargets`. In actuality the result is passed by
temporarily setting the `compInlineResult` compiler member variable.
Then, in `fgFindJumpTargets`, the load-store observation is the only
one not guarded by `compIsForInlining`. In a subsequent change I'll redo
the guards at other observation sites and put the policy aspects of these
observations into the policy object.

This addresses another piece of the work outlined in #3371.

Fix for disabling incremental build for ARM64

The fix (d58885c9a37d857f10d90f6db7246630d4ce8980) broke ARM64 debug
build.
The right fix is to disable such flag for all archs.

197654 [x86] [scanRuntime] Fix contracts in gcenv.os.cpp

[tfs-changeset: 1581565]

Fix Stack Unwind Behavior of Libunwind-ARM

Disable UNW_ARM_METHOD_DWARF, which gets problematic with
assembly-created stacks in ARM systems.

Although previous commits have fixed the compatibility issues
between cpp stacks and libunwind-arm, the assembly part
(asmhelpers.S) had similar problems.

Fix #3462

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Fix PAL_VirtualUnwind Behavior with Clutters in PC

Libunwind-ARM recommends to read LR to get value of PC
while unwinding stack, which often causes the caller
(PAL_VirtualUnwind) to have LSB of PC set.

Such behavior incurs errornous behavior of PAL_VirtualUnwind
if the output is fed back to PAL_VirtualUnwind as the input,
which is observed with VirtualUnwindToFirstManagedCallFrame().

This commit clears LSB of PC in WinContext to prevent it.

Note that this is a partial fix for the issue #3462.
(this does not fix assembly stacks)

Fix #3462

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Add GC stress modes

Merge pull request #3498 from kyulee1/disinc

Fix for disabling incremental link in Windows

reuse getStressModeScriptStep

Merge pull request #3499 from wtgodbe/nameTooLong

Fix file-name-too-long error for all builds, not just pri1

Fix file-name-too-long error for all builds, not just pri1

Remove needless references to test library.

Merge pull request #3472 from AndyAyersMS/InlineRefactorFixPlumbing

Inline refactoring: rework logic in compCompileHelper

Fix for disabling incremental link in Windows

I'm still getting linker error (mostly debug build) which often caused a
trouble to reboot the machine.
Looking at vcxproj files, we didn't correctly disable incremental link.
There is some ordering issues in linker flag definitions.
The disabling flag should be at the end for each build type
to override the default behavior.

Merge pull request #3494 from dotnet-bot/from-tfs

Merge changes from TFS

Add license headers to ported threading tests.

Remove Monitor/EnterExit15.

Merge pull request #3488 from benpye/arm-redefinition

Fix ARM build regression

Add two files that should have been part of changeset #1581242.

[tfs-changeset: 1581263]

Exclude DefaultStackCommit test from non-Windows platforms.

Open source tests from baseservices/threading.

Refactor Utilcode's IAllocators.

- `DefaultAllocator` has been replaced with `HostAllocator` in RyuJIT, which
  uses the JIT hosting interface to allocate and free memory.
- The definition of `DefaultAllocator` has been moved into its own file, as it
  remains in use by the interpreter and the binder.
- `ProcessHeapAllocator` has been moved into JIT32, as that was its only
  remaining user.
- `AllowZeroAllocator`'s static field has been changed to an instance field
  to avoid the need to define storage for the static field in Utilcode.

[tfs-changeset: 1581242]

Merge pull request #3459 from LLITCHEV/Issue3382-1

Fix GC holes for all AMD64 platforms (Windows and System V) and a bug…

Fix CMake Script for libunwind Feature Check

Check the availability correctly for Linux.

The cmake configuration script has been trying to find out
the availability of functions directly with check_function_exists,
which depends on the symbol names in .so files.
However, the libunwind implementation uses macros to
redefine functions names for each architecture making it
impossible to directly look up symbol tables of .so files.

In order to allow the script to use the information in
header files, check_function_exists should be replaced
with check_cxx_source_compiles.

Besides config.h.in had missing declarations for the
CMAKE variables

Fix #3372

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Fix Stack Unwind for ARM/Linux

Make context information compatible with libunwind-arm.

In Linux/ARM, seh-unwind.cpp has been updating unw_cursor_t
to point another stack by updating the cursor's register
entries. However, that does not work in libunwind-arm in
Linux, which breaks PAL_VirtualUnwind() functions.
Getting the stack information from the cursor had
a compatibility issue as well.

This patch make both "context->cursor" and "cursor->context"
methods compatible with ARM/Linux.

Fix #3312

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Fix ARM build regression

Fix GC holes for all AMD64 platforms (Windows and System V) and a bug for System V OSs in the codegen
for GS cookie comparison on amd64.

Fixes issue #3382.

There is a bug in the genEmitGSCookieCheck method for amd64 having to do
with potentially trashing a second rgister (RDX) for a 2 register returned
struct.

It also sets the byref state for RAX, if needed. And GCRef and BrRef for
RDX, if needed.

Conflicts:
tests/src/JIT/Methodical/structs/systemvbringup/structrettest.cs

Merge pull request #3457 from RussKeldorph/Reenable

Reenable tests after #2728 workaround in place

Merge pull request #3284 from sejongoh/pull_down_coredistool

Pulling down coredistool package for gcstress test

Merge pull request #3476 from mmitche/fix-triggers

Fix triggers

Merge pull request #3405 from dagood/new-cli

Upgrade dotnet CLI version, accumulated project.json changes

Fix triggers

The github triggers were broken with two types of windows builds using the same context next.  One was the build only job that is just used to feed into the *Nix testing.  We don't need to launch these builds at all, since they are just used for internal testing.

See also #3475

Merge pull request #1668 from Dmitry-Me/assignmentOpReturningUnsuitableType

Impossible implicit downcast in assignment operator

Merge pull request #3467 from sivarv/emitInsMovFix

Fix to intermittent failure of jit test 200w1d-09_cpp_r.exe

Merge pull request #3471 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #3466 from mikem8361/armfix

Fixes issue #3453 ARM build break.

Integrate GC changes from full framework

[tfs-changeset: 1580785]

Inline refactoring: rework logic in compCompileHelper

This change reworks the logic in `compCompileHelper` to split
out the invocation of `fgFindBasicBlocks` for the special
prejit-root case (see #3371). As a side benefit the two InlineResults
needed for the prejit inline scan can be merged.

Merge pull request #3447 from AndyAyersMS/ForceInlineFix

Inliner: restore some force inline overrides

Merge pull request #3468 from jashook/amr64_rel

Turn off testing for arm64 for debug and checked builds.

Turn off testing for arm64 for debug and checked builds.

Merge pull request #3435 from jashook/arm64_testing

Small changes to netci to enable arm64 testing.

Fixes issue #3453 ARM build break.

Merge pull request #3460 from AndyAyersMS/FixBadInlineeRedundancy

Inliner: fix assert for multiple failure reasons when inlining

Change all dependency versions to match what was actually restored in the checked-in lockfiles.

Used a tool to look at lockfiles: when a dependency did not have a corresponding downloaded package, found the latest version that was downloaded and changed the project.json to match. This fixes any packages that don't exist (such as some beta-23302) and floating dependencies (*).

Remove RestorePackages = true from all test csproj's.

Restore is performed once as a batch. csproj's share project.jsons, so restoring for each one was a race to update the lockfile.

Use tooling to add Platforms dependencies and imports where necessary.

Remove all lockfiles from source control.

Upgrade CLI version and buildtools, and make build file changes.

Unset CORE_ROOT in environment on Windows before doing restore so that dotnet CLI doesn't try to run using binaries from the test CORE_ROOT.

Restore the xunit wrapper projects in a batch rather than individually to save a lot of time.

Work around xunit.runner.msbuild not having compatible package layout by ignoring errors and adding import so that a future fix will work.

Hard-code C# language for generated wrapper projects: the $(Language) property wasn't set.

Also Change www.myget.org to dotnet.myget.org, as we switched to enterprise myget.

Add System.ObjectModel to tests\src\JIT\config\benchmark+serialize\project.json to manually upgrade it to a version that doesn't require lifting for runtime. This fixes System.ObjectModel.dll being missing from CORE_ROOT and causing the test to fail.

Switch to v3 nuget feeds and sync NuGet.Configs.

Fix to intermittent failure of jit test 200w1d-09_cpp_r.exe

This is a long standing bug in xarch emitter that repros when a static field
access results in the following IR

lclvar =  GT_IND(GT_LEA(GT_CLS_VAR_ADDR, offset=200))

GT_CLAS_VAR_ADDR represents address of the static class object and
offset is used to access a field of a static class.

In this case codegen of GT_IND would call emitInsMov(treeNode= GT_IND)
emiInsMov is checking whether 'base' of addr is GT_CLS_VAR_ADDR and if
so is disregarding offset/indiex/scale fields within addr mode.  As a
result code generated is

lea      rdx, [reloc classVar[0xddc44ce8]]
movsd    xmm10, qword ptr [reloc classVar[0xddc44ce8]]

The bug is that emitInsMov() should be checking that oper of addr of GT_IND
is GT_CLS_VAR_ADDR. Same issue exists in GT_STOREIND case.  After the
fix the following code is generated

lea      rdx, [reloc classVar[0xdc5a4ce8]]
movsd    xmm10, qword ptr [rdx+200]

Why this bug repros intermittently?  fgMorphField() when morphing a static
field access obtains static's addr and checks to see whether its addr
can be encoded as pc-relative 32-bit offset.  If so then fgMorphField() will create
GT_CLS_VAR_ADDR to represent static's addr.  If static's addr cannot be
encoded pc-relative 32-bit offset then it will create long type icon to represent the
address.  Later long icon + offset is folded into a single long constant
and the test passes in this case.  The test fails whenver GT_CLS_VAR_ADDR +
offset materializes in IR which in turn depends on the distance between
jitted code address and the static's address. In most cases statics
were at a distance that cannot be encoded as pc-relative and hence works
correctly.  Hence the intermittent failure of this test.

Merge pull request #3444 from kyulee1/mul

ARM64: Fix for Multiplication with Overflow Check

ARM64: Fix for Multiplication with Overflow Check

For 4 byte integer multiplication, JIT emits a bad-code which is valid
only for 8 byte (i8) multiplication.
For the fix, I use ```smull```(signed)/```umull```(unsigned) instructions
that contain 8 byte results from 4 byte by 4 byte multiplication.
So only one multiplication is needed instead of two for this case.
By simply shifting the results, we could get the upper results that is
used to detect overflow.
Similar transform is made for the unsigned case.
Lower is also changed to reserve a register for overflow check.

Before
smulh   w10, w8, w9  --> Incorrect use: smulh is for obtaining the upper
bits [127:64] of x8 * x9
mul     w8, w8, w9
cmp     x10, x8, ASR #63

After
smull   x8, x8, x9   --> x8 = w8 * w9
lsr     x10, x8, #32 --> shift the upper bit of x8 to get sign bit
cmp     w10, w8, ASR #31 --> check sign bit

Merge pull request #3464 from kyulee1/deltest

Delete a bad test (b06435) for double to long conversion

Small changes to netci to enable arm64 testing.

Merge pull request #3456 from bbowyersmyth/StringReplace

Port String.Replace(char, char) from CoreRT

Delete a bad test (b06435) for double to long conversion

This test relies on unspecified value when a large double value
is converted to a long value where overflow occurs.
For x64(cvttsd2si), this value is MIN_INT(0x8000000000000000) while ARM64(fcvtzs) produces MAX_INT(0x7fffffffffffffff).
According to ECMA spec, the value is unspecified, so I simply delete this test.

Add pulling down coredistool package for gcstress test

Merge pull request #3458 from dotnet-bot/from-tfs

Merge changes from TFS

Inliner: fix assert for multiple failure reasons when inlining

Change #3436 added asserts that checked that the LegacyPolicy would not
see multiple failing observations when inlining because we expect the
inliner to fail fast when it hits the first bad observation.

This change adds a test case that shows one example where we could get
two failing observations, along with code changes to fix the issue.

When an inlinee has invalid IL, an exception is raised and caught in
`jitNativeCode`. The catch there sets the inline result to the never
state. A failure code is propagated back to `fgInvokeInlineeCompiler`
which redundantly sets the inline result to a failing state with a
generic "something bad happened" observation. This second observation
triggers an assert since the jit is inlining and the result is already
known to be a failure.

The fix is to check in `fgInvokeInlineeCompiler` if the inline result
is already known to be in a failing state, and if so, forgo the new
observation.

Fix build break on arm caused by long path support change

[tfs-changeset: 1580615]

Reenable tests after #2728 workaround in place

Reenable CscBench and serialization tests that were failing due to #2728
now that a workaround should be in place.

Also remove callipinvoke tests that were tagged as both "failing" and
"unsupported" on non-Windows platforms.  Leave them in the more specific
"unsupported" file.

Merge pull request #3448 from swgillespie/license_headers

Fix license header for test files

Port String.Replace(char, char) from CoreRT

Inliner: restore some force inline overrides

Force inline should override the IL size and maxstack limits imposed
for normal inlines. This change undoes an unintentional behavior change
from recent refactoring.

Added some test cases which are sensitive to this behavior.

Also, since we now track failing inlines, dump the inline tree even
if no methods were successfully inlined.

Anchor Tag fix

Merge pull request #3438 from swaroop-sridhar/corjithost

Export CorJitHost interface

Merge pull request #3445 from mikem8361/buildsymbols

Enable source/line info on "release" builds

Merge pull request #3433 from JohnChen0/longpath

Support long paths in CoreCLR runtime on Windows

Merge pull request #3440 from gkhanna79/InitToolsUpdate

Map RHEL distribution to download CentOS CLI

Merge pull request #3436 from AndyAyersMS/InlineRefactorResilientPolicy

Inliner refactoring: allow repeated bad observations

Merge pull request #3385 from kyulee1/fixmod1

ARM64: Fix for Mod 1

Enable source/line info on "release" builds

The symbol info will be stripped and put into a separate *-dbg by dotnet cli (soon).

ARM64: Fix for Mod 1

In Arm64, mod a % b is simulated as a - a / b * b.
When b (divisor) is 1, the result is simply 0.
This optimization is done in the post-pass of morph
while JIT already expands the mod operation in the pre-pass of morph.
This unnessary expansion results in bad codegen down the road.
So, the fix is to move this special case handling in the pre-pass.

Before
fgMorphTree BB02, stmt 2 (after)
[000035] -------------                   /--*  lclVar    int    V02 tmp1
[000036] -A-----------                /--*  comma     int
[000001] -------------                |  |  /--*  const     int 0xffffffff80000000
[000034] -A-----------                |  \--*  =         int
[000033] D------N-----                |     \--*  lclVar    int    V02 tmp1
[000041] -A-----------             /--*  -         int
[000040] -------------             |  \--*  lclVar    int    V02
[000006] -A-----------             *  =         int
[000005] D------N-----             \--*  lclVar    int    V01 tmp0

After
[000033] -------------             /--*  const     int    0
[000006] -A-----------             *  =         int
[000005] D------N-----             \--*  lclVar    int    V01 tmp0

Map RHEL distribution to download CentOS CLI

Merge pull request #3351 from LLITCHEV/Issue2757

Add support for emitting GC-ness of the second return register for 16…

Merge pull request #3437 from briansull/update-tests

Updated arm64 Tests.lst for  PR #3430
This is a test metadata only update, it contains no source code changes

Moved 42 tests from UNSTABLE to EXPECTED_PASS

Export CorJitHost interface

Export the CorJitHost interface to the build directory, so that
alternate JITs can use it.

This change is necessary to fix LLILC build break.

Updated arm64 Tests.lst for  PR #3430

That PR fixed Issue #3104 and we now have 20 new passing tests
There are still 5 tests with that tag that still fail and now are marked with NEED_TRIAGE
The tests that fail when we do not set COMPLUS_GCgen0size=50000000 are now tagged with REQ_LARGE_GEN0

Inliner refactoring: allow repeated bad observations

The LegacyPolicy now allows repeated observations leading to never
or failing inlines, provided the policy is used as part of the prejit
scan and the observations all have the same impact (that is, all nevers
or all failures). Only the first bad observation is remembered and it
is used as the reason for badness.

This addresses another of the items in issue #3371.

Also, clean up a few things:

Fix a few copy and paste errors in comment headers.

Fix broken "disallow copy-assignment" pattern for InlineResult
and uncomment and fix same for InlinePolicy.

Remove an accidentally duplicated comment block (original is still
there in inline.h).

Add support for emitting GC-ness of the second return register for 16 byte
structs.

This changeset adds support for emitting the GC-ness of the second return
register (RDX for System V Amd64) for multi-register return structs.
It closes a hole in the GC info and resolves multiple GC stress failures.

Fixes #2757.

Merge pull request #3434 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #3432 from AndyAyersMS/InlineRefactorRemoveLRMode

Inliner refactoring: remove the LR sampling mode

Fix a build break in ArenaAllocator.

The toolset used by the internal build (and the ARM build in CI) seems to be a bit
buggy w.r.t. move assignment and deleted assignment operators. In particular,
it attempts to generate an assignment operator for a derived type whose base
type has deleted the corresponding operator and it chooses deleted copy
assignment operators over move assignment operators unless std::move is
used.

[tfs-changeset: 1579941]