Merge pull request #4060 from jkotas/remove-r2r-workaround

Remove ReadyToRun workaround

Remove ReadyToRun workaround

Merge pull request #4051 from sejongoh/fix_singlinkgen_test

Fix singlinkgen test.

Enabling Helix perf test runs for CoreCLR

Enabling Helix perf test runs for CoreCLR

Merge pull request #4052 from yizhang82/master

Add mac ulimit -n 2048 workaround and more debug spew in CLI installation into init-tools.sh

Add mac ulimit -n 2048 workaround and more debug spew in CLI installation into init-tools.sh

Fix singlinkgen test.

If the address of SingLink is stored at stack, GC.Collect() cannot collect
the object since the address variable is still alive at stack.

Merge pull request #4004 from sejongoh/use_corefx_outerloop_test

Use corefx outerloop tests

Merge pull request #4047 from kyulee1/fixclean

Fix clean build that deletes Tools

Fix clean build that deletes Tools

Merge pull request #3961 from natgla/adams

Changing adams benchmark

Merge pull request #4038 from adityamandaleeka/extest

Disable ForeignThreadExceptions test on ARM64

Merge pull request #4031 from dagood/upgrade-cli

Upgrade dotnet cli to 1.0.0-beta-002173

Merge pull request #4041 from erozenfeld/gtTreeHasSideEffectsFix

Fix exponential explosion in gtTreeHasSideEffects.

Merge pull request #4039 from manu-silicon/open_delegates

Disable FEATURE_STUBS_AS_IL on ARM 32-bit

Merge pull request #4034 from gkhanna79/PortFix

Port workaround for AOT packaging

Disable FEATURE_STUBS_AS_IL on ARM 32-bit

This enables open delegates on ARM (an additional 43 tests are now passing)

Disable ForeignThreadExceptions test on ARM64.

Fix exponential explosion in gtTreeHasSideEffects.

gtTreeHasSideEffects has special code to deal with helper calls.
If the helper satisfies certain properties and its arguments don't have relevant
side effects, than the tree corresponding to the helper call is considered not to have
side effects. The bug was that both gtTreeHasSideEffects and gtNodeHasSideEffects
(called by gtTreeHasSideEffects and calling gtTreeHasSideEffects) had code to check
the helper arguments for side effects. That made the algorithm exponential (2^n)
for a tree like the one below.
Because of that ngen would take days to compile the method with such trees.
The fix is to remove the argument checking code from gtTreeHasSideEffects since it always
calls gtNodeHasSideEffects. Compilation time goes back to milliseconds or seconds.

I ran full desktop testing and verified no SuperPMI diffs.

No measurable impact on cqNGenTP.

Fixes #3768.

N139 (255,169)              [000064] --CXG-------             *  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $179
N137 (255,163)              [000062] --CXG------- arg0 in rcx \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $177
N135 (255,157)              [000060] --CXG------- arg0 in rcx    \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $175
N133 (255,151)              [000058] --CXG------- arg0 in rcx       \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $173
N131 (255,145)              [000056] --CXG------- arg0 in rcx          \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $171
N129 (255,139)              [000054] --CXG------- arg0 in rcx             \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $16f
N127 (255,133)              [000052] --CXG------- arg0 in rcx                \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $16d
N125 (255,127)              [000050] --CXG------- arg0 in rcx                   \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $16b
N123 (255,121)              [000048] --CXG------- arg0 in rcx                      \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $169
N121 (255,115)              [000046] --CXG------- arg0 in rcx                         \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $167
N119 (253,109)              [000044] --CXG------- arg0 in rcx                            \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $165
N117 (239,103)              [000042] --CXG------- arg0 in rcx                               \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $163
N115 (225, 97)              [000040] --CXG------- arg0 in rcx                                  \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $161
N113 (211, 91)              [000038] --CXG------- arg0 in rcx                                     \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $15f
N111 (197, 85)              [000036] --CXG------- arg0 in rcx                                        \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $15d
N109 (183, 79)              [000034] --CXG------- arg0 in rcx                                           \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $15b
N107 (169, 73)              [000032] --CXG------- arg0 in rcx                                              \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $159
N105 (155, 67)              [000030] --CXG------- arg0 in rcx                                                 \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $157
N103 (141, 61)              [000028] --CXG------- arg0 in rcx                                                    \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $155
N101 (127, 55)              [000026] --CXG------- arg0 in rcx                                                       \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $153
N099 (113, 49)              [000024] --CXG------- arg0 in rcx                                                          \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $151
N097 ( 99, 43)              [000022] --CXG------- arg0 in rcx                                                             \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $14f
N095 ( 85, 37)              [000020] --CXG------- arg0 in rcx                                                                \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $14d
N093 ( 71, 31)              [000018] --CXG------- arg0 in rcx                                                                   \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $14b
N091 ( 57, 25)              [000016] --CXG------- arg0 in rcx                                                                      \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $149
N089 ( 43, 19)              [000014] --CXG------- arg0 in rcx                                                                         \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $147
N087 ( 29, 13)              [000012] --CXG------- arg0 in rcx                                                                            \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $145
N085 ( 15,  7)              [000010] --CXG------- arg0 in rcx                                                                               \--*  call help ref    HELPER.CORINFO_HELP_READYTORUN_CHKCAST $143
N083 (  1,  1)              [000008] ------------ arg0 in rcx                                                                                  \--*  lclVar    ref    V00 tmp0         u:2 (last use) $140

Merge pull request #4035 from kyulee1/common

Update build script for arm64

Update build script for arm64

Port workaround for AOT packaging

Merge pull request #4007 from adityamandaleeka/extest

Add test for exception handling on foreign threads.

Merge pull request #3295 from chuck-mitchell/feature

Initial version of CoreCLR JIT Performance Harness

Merge pull request #4015 from sejongoh/update_dotnet_cli_path

Fix tests/setup-runtime-dependencies.sh as per dotnet cli changes

Merge pull request #4006 from jashook/arm32_ci_pr

Add arm32 build per pr.

Upgrade dotnet cli to 1.0.0-beta-002173.

Merge pull request #4024 from AlexGhiondea/mscorlibBuild

Fix issues with building mscorlib inside VS

Moving validation out of measured code

Merge pull request #3953 from LLITCHEV/Issue3604

Make sure 4 outgoing arg slots are generated for methods that call

Merge pull request #4029 from pgavlin/Host64Bit

Replace uses of _WIN64 with _HOST_64BIT_.

Replace uses of _WIN64 with _HOST_64BIT_.

This terminology is more accurate. This change also corrects
a few bits of code that were making target-related decisions
based on the host's bitness.

Merge pull request #3914 from cmckinsey/GitHub_3600

Fix for stack overflow in CFG/DOM analysis GH#3600

Merge pull request #4030 from kyulee1/updateryujit

Update RyuJit version

Update RyuJit version

Add arm32 build per pr.

Merge pull request #4018 from mikem8361/sosplugfix

sos fails to load if binaries are copied to different location than built

Merge pull request #4009 from pgavlin/EmitXarchClarify

Clarify register aliasing in the X86 encoder.

Merge pull request #4014 from dagood/upgrade-cli

Upgrade dotnet cli to take win7 fix

Merge pull request #3967 from stephentoub/empty_memorystream

Avoid array allocation in "new MemoryStream()"

Fix tests/setup-runtime-dependencies.sh as per dotnet cli changes

Merge pull request #4021 from dotnet-bot/from-tfs

Merge changes from TFS

We should no longer need to use the '/test:moduleName=CommonLanguageRuntimeLibrary' flag when building mscorlib.

Do not use the 'Visible' metadata on the items in the ItemGroup 'MscorlibSources'

We are going to import that itemgroup into the 'Compile' ItemGroup which will
make them show up in VS. Having the 'Visible' metadata on the items means we end
up with duplicated items in Solution Explorer.

Merge pull request #4008 from leemgs/upstream-typo-build-mode

Improve description of build type spelling for consistency

Merge pull request #4020 from JohnChen0/master

Fix CrossGen documentation error

Merge pull request #3944 from leemgs/upstream-cross-arm-stripping-symbols

[Linux/ARM32] objcopy: Support cross-build  for stripping symbols.

Merge pull request #3989 from bbowyersmyth/StringEquals

Port String.Equals from CoreRT

Merge pull request #3981 from manu-silicon/context

Fix RtlRestoreContext

Fix CrossGen documentation error

Fix RtlRestoreContext

Due to macro expansion, the previous computed offsets to restore Lr and Pc
were incorrect, causing a memory corruption (see Issue #3856 for C# code
reproducing that problem).
Made assembly more obvious when just restoring Sp, Lr and Pc.

Merge pull request #4016 from dotnet/revert-3960-check_runtime_to_pull_coredistools

Revert "Add architeture information to a script downloading coredistools"

Fix R2R fixups for delegate ctors

- Add getReadyToRunDelegateHelper to JIT-EE interface. This method has an extra argument describing the type of the delegate. This argument is required to emit correct fixups.
- Call the new method in both JIT and JIT32
- Add the new method to superpmi
- Bump minor version of R2R file format
- Add regression test for #3975 to R2R unit test

Fixes https://github.com/dotnet/coreclr/issues/3975

[tfs-changeset: 1591698]

Merge pull request #4017 from mikem8361/issue3987

Fixed issue #3987 "Debugger fails to stop on entry due to stack walk failure"

Fixed issue #3987 "Debugger fails to stop on entry due to stack walk failure"

By initializing m_rgHijackFunction to NULL.

Add back explicitly loading mscordaccore so libsos will properly load when installed at a different location than it was built.

Merge pull request #3982 from mikem8361/readmemoryav2

Fix ReadMemory AV.

Revert "Add architeture information to a script downloading coredistools"

Merge pull request #4002 from kyulee1/fixcmd

ARM64: Running cmd instead of exe

Getting SOS to work on ARm64:

     This mainly involved DACizing the VM code.
      A bulk edit for changing RUNTIME_FUNCTION to T_RUNTIME_FUNCTION

[tfs-changeset: 1591667]

ARM64: Running cmd instead of exe

Our test framework (smarty) directly runs test executable on corerun.exe.
But some of tests expect arguments via environment variable specified in .cmd.
The fix is to change the test list file to run .cmd. So the expected pass
value is also updated to 0 instead of 100. Now we don't need to pass /host
that specifies corerun.exe.
3 additional tests are now passed:
 InterlockedAddLongWithSubtract/CompareExchangeTString/Polyrec

Changes from code review

Added verification to the benchmark,
put most of output under #if VERBOSE.
Also fixed number of iterations for xunit.perf runs.

Upgrade dotnet cli to take win7 fix.

Change spelling of build type for consistenty

This is trivial patch.
Let's display a help manual with lower case for better consistency
when the developers run "./build.sh --help".

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>

Move dllexport to platformdefines.h.

Clarify register aliasing in the X86 encoder.

Certain registers are aliased with control bits in the ModRM byte
of an X86 instruction. Encapsulate the checks that accommodate this
aliasing into a pair of functions.

Add test for exception handling on foreign threads.

Merge pull request #4003 from briansull/update-tests-lst

Update with 10 additional passing tests, and two moved to unstable

Merge pull request #4005 from dotnet/revert-3943-upstream-gawk-char-class

Revert "Fix bracket expression matches a character at gawk"

Revert "Fix bracket expression matches a character at gawk"

Update with 10 additional pasing tests, and two moved to unstable

Use cirefx outerloop tests

Merge pull request #3955 from davmason/master

Fixing tracelogging on linux

Make sure 4 outgoing arg slots are generated for methods that call
THROW_HELPERS for Windows x64.

This is a long standing bug in RyuJit.
When compiling a method for debug mode if there is a call to THROW_HELPER
(and it is the only call) the frame for the method that calls the
THROW_HELPER is not properly set - it is missing the 4 ougoing arg slots.

This was discovered by R2R codegen. In normal jitting of such method in
debug mode the jit always adds a call to CORINFO_HELP_DBG_IS_JUST_MY_CODE
early enough, so the frame size will be properly calculated. This call is
not generated for R2R.

If the method generated for R2R has only a call to a throw helper
and it is compiled for debug mode, the call is not generated in the IR.
The CodeGen generates the call directly instead. The call is generated
after the stack frame is calculated. This leads to improperly generated
stack frame that doen't have the 4 outgoing arg slots that the Windows x64
ABI requires.

Compiling such method for release mode is never a problem since in
FlowGraph we always generate IR for a block that contains the
THROW_HELPER. This happens before the stack frame is calculated, so the 4
outgoing stack slots are always calculated.

Merge pull request #3996 from kyulee1/fixconv

ARM64: Fix conversion double to unsigned int

ARM64: Fix conversion double to unsigned int

For ARM/ARM64, converting negative double to unsigned int is 0, which aligns with all native compilers.
I also removed the part of tests that depends on architecture specific values.
Since ARM64 tests were prepopulated, I just updated the tag so that we can update the tests later.

Merge pull request #3960 from sejongoh/check_runtime_to_pull_coredistools

Add architeture information to a script downloading coredistools

Merge pull request #3983 from svick/getresourcestring-culture

Remove unused CultureInfo from GetResourceString

Fixing contracts violations, and adding missing contracts to some APIs.
Changing native format reader failure mode to fail fast instead of throwing and exception.

[tfs-changeset: 1591477]

Merge pull request #3994 from dagood/upgrade-cli

Apply dotnet cli upgrade also to tests\dir.props

Apply dotnet cli upgrade also to tests\dir.props.

Merge pull request #3993 from dagood/upgrade-cli

Upgrade dotnet cli version

Upgrade dotnet cli version.

Merge pull request #3943 from leemgs/upstream-gawk-char-class

Fix bracket expression matches a character at gawk

Merge pull request #3984 from svick/patch-1

Removed obsolete comment from Environment.GetResourceString

Port String.Equals from CoreRT

Merge pull request #3985 from myungjoo/trivialfix/macro1

Trivial fix: dangerous macro usage

Trivial fix: dangerous macro usage

Add parenthesis to make the macro safe.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Removed obsolete comment from Environment.GetResourceString

Fixes #3979

remove unused CultureInfo from GetResourceString

Fix ReadMemory AV.

Use simple probing to validate read/write memory with a try/catch and explicit h/w exception holder.

Put probing in separate noinline and optnone function for optimized builds.

Fix assert in exception code mapping in context.cpp by handling SIGSEGV subcode SI_KERNEL.

Merge pull request #3974 from briansull/update-tests-lst

Disabled 8 failing tests

Disabled 8 failing tests

Issues filed: 3968, 3969, 3970, 3971 and 3973

Merge pull request #3966 from kyulee1/fixframe2

ARM64: Fix Frame with compLocallocUsed

ARM64: Fix Frame with compLocallocUsed

When compLocallocUsed is true, stack pointer is changed during the run.
So, JIT should restore stack pointer from frame pointer in the epilog.
Previously, we simpliy copied fp to sp, which is only valid for frameType
= 1.
This implements a right restoring process for other frameTypes (2 and 3).
For frameType = 3, I also simplified creating prolog sequence to support
this feature consistently.

Merge pull request #3963 from adityamandaleeka/statFileParse

Fix stat file parsing to handle executable names with spaces

Merge pull request #3959 from briansull/safe-refactor

Safe Refactor - Remove conditional definition and references to lvIsMultiRegArgOrRet

Avoid array allocation in "new MemoryStream()"

The default MemoryStream ctor is unnecessarily allocating a 0-length array.

Merge pull request #2182 from justinvp/keyedcollection_enumallocs

Avoid enumerator allocations inside KeyedCollection<TKey, TItem>

Changed default number of iterations back to a smaller number for Release.