Merge pull request #12947 from pgavlin/GH12919

Lock arg registers when generating a `JMP` on ARM/Legacy.

Format code.

Merge pull request #13132 from rartemev/legbnd_fix_misprint

Fixed misprint in legacy backend that led to assert failure

Merge pull request #13096 from hseok-oh/ryujit/remove_nyi_promote

[RyuJIT/ARM32] Remove NYI: promoted struct argument

Lock all ABI arg registers when generating a GS check on ARM/Legacy.

These registers may otherwise be overwritten by code that is generated
between the JMP/tail call and the epilog (e.g. GS cookie checks).

Fixes #12919.

Fixed misprint in legacy backend that led to assert failure

Merge pull request #13103 from pgavlin/GH12910

Only lock unlocked registers in `rsUnspillRegPair`.

Add benchmarks mandelbrot and fannkuch (#12933)

* Add benchmarks mandelbrot and fannkuch

Adding mandelbrot and fankuch-redux from Benchmarks Game to
complete the representation of benchmarks from this list
http://benchmarksgame.alioth.debian.org/u64q/csharp.html

* Update source acknolegments and edit return codes

* Add checksums to verify benchmark runs

This commit adds checksums, which are pre-computed for each input
case, to verify that the fannkuch and mandelbrot benchmarks
actualy compute the desired function

* Revert version bump

* Remove XunitPerfHarness from Main

* Remove an unnecessary line

* Add iterations to fannkuch to inscrease runtime

JIT: Fix value type box optimization (#13016)

Boxing a value type produces a non-null result. If the result of the box is
only used to feed a compare against null, the jit tries to optimize the box
away entirely since the result of the comparison is known. Such idiomatic
expressions arise fairly often in generics instantiated over value types.

In the current implementation the box expands into two parts. The first is
an upstream statement to allocate a boxed object and assign a reference to
the boxed object to a local var known as the "box temp". The second is an
expression tree whose value is the box temp that also contains an an
encapsulated copy from the value being boxed to the payload section of the
boxed object. The box node also contains a pointer back to the first
statement (more on this later).

In the examples being discussed here this second tree is a child of a compare
node whose other child is a null pointer. When the optimization fires, the
upstream allocation statement is located via the pointer in the box node and
removed, and the entire compare is replaced with a constant 0 or 1 as
appropriate. Unfortunately the encapsulated copy in the box subtree may
include side effects that should be preserved, and so this transformation is
unsafe.

Note that the copy subtree as a whole will always contain side effects, since
the copy is storing values into the heap, and that copy now will not happen.
But the side effects that happen when producing the value to box must remain.

In the initial example from #12949 the side effects in question were
introduced by the jit's optimizer to capure a CSE definition. #13016 gives
several other examples where the side effects are present in the initial user
code. For instance the value being boxed might come from an array, in which
case the encapsulated copy in the box expression tree would contain the array
null check and bounds check. So removing the entire tree can alter behavior.

This fix attempts to carefully preserve the important side effects by
reworking how a box is imported. The copy is now moved out from under the box
into a second upstream statement. The box itself is then just a trivial
side-effect-free reference to the box temp. To ensure proper ordering of side
effects the jit spills the evaluation stack before appending the copy
statement.

When the optimization fires the jit removes the upstream heap allocation
as before, as well as the now-trivial compare tree. It analyzes the source
side of the upstream copy. If it is side effect free, the copy is removed
entirely. If not, the jit modifies the copy into a minimal load of the
boxed value, and this load should reproduce the necessary side effects.

The optimization is only performed when the tree shape of the copy matches
expected patterns.

There are some expected cases where the tree won't match, for instance if the
optimization is invoked while the jit is inlining. Because this optimization
runs at several points the jit can catch these cases once inlining completes.
There is one case that is not handled that could be -- if the assignment part
of the copy is itself a subtree of a comma. This doesn't happen often.

The optimization is now also extended to handle the case where the comparision
operation is `cgt.un`. This doesn't catch any new cases but causes the
optimization to happen earlier, typically during importation, which should
reduce jit time slightly.

Generally the split of the box into two upstream statements reduces code size,
especially when the box expression is incorporated into a larger tree -- for
example a call. However in some cases where the value being boxed comes from
an array, preserving the array bounds check now causes loop cloning to kick
in and increase code size. Hence the overall size impact on the jit-diff set is
essentially zero.

Added a number of new test cases showing the variety of situations that must
be handled and the need to spill before appending the copy statement.

Fixes #12949.

Add documents about JIT optimization planning

This change adds two documents:

 - JitOptimizerPlanningGuide.md discusses how we can/do/should go about
   identifying, prioritizing, and validating optimization improvement
   opportunities, as well as several ideas for how we might improve the
   process.
 - JitOptimizerTodoAssessment.md lists several potential optimization
   improvements that always come up in planning discussions, with brief
   notes about each, to capture current thinking.

Merge pull request #13111 from dotnet-maestro-bot/master-UpdateDependencies

Update CoreClr, CoreFx to preview2-25531-02, preview2-25531-01, respectively (master)

[ARM/Linux] Set R2R_INDIRECT_PARAM before R2R call (#12952)

* Set R2R_INDIRECT_PARAM before R2R call

* Revise code formatting

* Preserve R2R_INDIRECT_PARAM across R2R call

* Fix format error

* Attempt to fix x86/Windows build error

* 2nd attempt to fix x86/Windows build error

* Revise RA to reserve R2R_INDIRECT_PARAM reg

* Fix format error

Merge pull request #13116 from parjong/fix/x86_stklv_on_temp_block

[x86/Linux] Set proper stack level for temp label BB

Implement Type.IsByRefLike for CoreCLR (#13123)

Since this already exists in CoreRT and the
virtual method will get propagated to CoreCLR,
we might as well make it work here before an IsByRefLike
check finds its way into shared code and starts
throwing NotSupportedExceptions on CoreCLR.

Update CoreClr, CoreFx to preview2-25531-02, preview2-25531-01, respectively

Enable RHEL6 and CentOS 6 RID detection in build (#13101)

This change adds RHEL6 and CentOS 6 RID detection to build.sh.
These distros don't have the /etc/os-release file and so
we need to use another source - the /etc/redhat-release file

 Fill freed loader heap chunk with non-zero value (#12731)

* Add FEATURE_LOADER_HEAP_GUARD feature

* Invoke memset only for reclaimed regions

* Enable FEATURE_LOADER_HEAP_GUARD by default

* Insert trap inside UMEntryThunk::Terminate

* Make all exectuable heaps not to zero-initialize itself

Use fZeroInit (instead of fMakeRelazed)

* Add comment

* Revert unnecessary changes

* Add and use 'Poison' method to insert a trap

* Do NOT invoke FlushInstructionCache

* Update comment

* Add comment on ARM Poisoning instruction

* Use X86_INSTR_INT3 instead of 0xCC

Set proper stack level for temp label BB

Merge pull request dotnet/corert#4242 from dotnet/nmirror

Merge master to nmirror

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Remove extra qualification in member function declaration (#13104)

Fix issues mentioned in https://github.com/dotnet/coreclr/issues/12799

Fix bug converting BBJ_CALLFINALLY block to BBJ_THROW on ARM32 (#13094)

* Fix bug converting BBJ_CALLFINALLY block to BBJ_THROW on ARM32

On ARM32, the target block of a return from a finally (aka, the
"continuation") is marked by a bit, `BBF_FINALLY_TARGET`, that is
used to generate proper code to ensure correct unwinding behavior.
This bit is set in the importer, and maintained through to codegen.
We assert if we attempt to delete a block with this bit. Thus, various
code that deletes dead code needs to call fgClearFinallyTargetBit()
to keep the bit updated.

This bug is a case where very early in morph, a BBJ_CALLFINALLY
block is converted to a BBJ_THROW. We should be able to just call
fgClearFinallyTargetBit(), but that function depends on the predecessor
lists, which in this case, haven't yet been built. So, instead, clear
the bits everywhere, and then recompute them at the end of morph.
This is similar to what is done with the various try/finally
optimizations done at the beginning of morph.

(It's an open question about whether we could avoid setting the bits
at all until just before codegen.)

Fixes VSO468731

No diffs in desktop altjit asm diffs.

* Formatting

Merge pull request #12890 from dotnet-maestro-bot/master-UpdateDependencies

Update CoreClr, CoreFx to preview2-25529-02, preview2-25529-02, respectively (master)

Update CoreClr, CoreFx to preview2-25529-02, preview2-25529-02, respectively

Fix typo in comment (#13089)

integeter -> integer

Format code.

Optimize for idle WorkStealingQueueList (#13007)

When WorkStealingQueue is empty there is an O(N^2)
penalty for searching the empty queues.  Avoid by
stashing global emptiness

Merge pull request #13079 from CarolEidt/RyuJITTutorial

RyuJIT Tutorial

RyuJIT Tutorial

This is an initial translation of the slides presented at the PLDI 2016
RyuJIT Tutorial into markdown.
The IR dumps need to be updated to reflect IR changes since the tutorial was given.

Only lock unlocked registers in `rsUnspillRegPair`.

`rsUnspillRegPair` needs to lock the hi/lo part of the reg pair when
unspilling the lo/hi part in order to ensure that the two parts of the
pair do not end up in the same register. However, the register to be
locked may already be locked if it is a multi-use register. In this case
`rsUnspillRegPair` does not need to re-lock the register.

Fixes #12910.

Merge pull request #13075 from stephentoub/string_span_ctor

Add new String(ReadOnlySpan<char>) ctor

Merge pull request #13095 from pgavlin/VSO469217

Rerun reg predict on ARM if codegen temps increase the frame size.

PR feedback.

Add String(ReadOnlySpan<char>) ctor

Add generic encoding support to metasig

Fix tier0 flag on default code versions (#13098)

Fixes github issue 13019.

[RyuJIT/ARM32] Remove NYI: promoted struct argument

We can remove NYI for promoted struct argument on codegen phase.
On morphing phase, argument assignment for promoted struct will be changed to assignment on tmpvar struct.
And this tmpvar is not promoted. So we change this NYI to assertion check.

Merge pull request #13087 from pgavlin/FixGetTargetOfCallARM

Fix `getTargetOfCall` for ARM.

Rerun reg predict on ARM if codegen temps increase the frame size.

When compiling for ARM, we need to reserve an additional register if the
frame size exceeds a particular watermark. We currently evaluate whether
or not we need to reserve this register in two places: first before
register prediction and then again during register prediction but after
allocating registers for lclVars. The latter evalutation is used to
check whether or not we can remove the register reservation if the frame
size shrinks due to lclVar register allocation. Unfortunately, its
frame size estimate does not include codegen temps, so we can end up
undoing the register reservation in a frame that requires the reserved
register once the number of temps is estimated.

This change adds an additional check to the register predictor after
temp estimation has occurred and reruns prediction if the frame size has
increased and now requires a register reservation that it did not
beforehand.

Fixes VSO 469217.

Fix Alpine build (#13052)

This change fixes CoreCLR build on Alpine Linux

Merge pull request #13032 from jashook/add_arm_stress_scenarios

Add arm legacy backend stress jobs

Merge pull request #13043 from davmason/profiler_r2r

don't use r2r images when the profiler requests that ngen images are disabled

Fix `getTargetOfCall` for ARM.

If the instruction we're decoding is not a call, don't attempt to decode
it as if it were an x86 instruction. Instead, just return 0 as on ARM64.

gcconcurrent config should be obtained from g_pConfig which takes env vars/reg values into consideration as well (#13078)

Add new Span-based virtual sync Read/Write Stream methods (#13058)

* Add virtual Stream.Read/Write Span-based APIs

* Override Span-based Read/Write on MemoryStream

* Override Span-based Read/Write on UnmanagedMemoryStream

* Address PR feedback

Add arm legacy backend stress jobs

Merge pull request #13077 from wateret/fix-runtest

Fix print message in runtest.sh

Fix print message in runtest.sh

Merge pull request #13072 from pgavlin/VSO468730

Disable folding in genCreateAddrMode under LB-specific circumstances.

PR feedback.

Disable folding in genCreateAddrMode under LB-specific circumstances.

If we are calling this function during emit with `fold = true`, then disable
folding iff the value to be used as the index is already in a register.
Not doing so can cause entire address modes to be folded away, which
leads to asserts and potential SBCG.

Fixes VSO 468730.

These 2 places should be size_t, not int 'cause on 64-bit they can be > int's in which we have a problem casting them to int's. (#13047)

code review feedback

Remove catch filter on Assembly.GetForwardedTypes() (#13054)

To be more consistent with Assembly.GetTypes()

Also removed left over "unsafe" keyword that's
no longer needed.

Merge pull request #13045 from pgavlin/GitHub12907

Only set flags on a cpBlk source if it is an indir.

[Arm64] Enable CPUGroupInfo (#12766)

Merge pull request #13050 from sjsinju/OperIsBinary

[RyuJIT/ARM32] Add GT_PUTARG_SPLIT case on TryGetUse()

Merge pull request #13039 from pgavlin/VSO469602

Admit additional `ADD` patterns in `GenTree:IsFieldAddr`.

Implement Assembly.GetForwardedTypes() on CoreCLR (#13001)

Fixes https://github.com/dotnet/coreclr/issues/12391

Original approval and specs at
https://github.com/dotnet/corefx/issues/19789

Add GT_PUTARG_SPLIT case on TryGetUse()

Merge pull request #13044 from pgavlin/VSO469600

Do not get the GC layout for small structs in legacy backend.

Merge pull request #13040 from pgavlin/VSO469624

Set `BBF_RUN_RARELY` for a scratch first BB if called count is 0.

Merge pull request #13036 from rartemev/tests_build_fix_rest

Made possible to build all tests on Linux as well.

Only set flags on a cpBlk source if it is an indir.

Just what it says on the tin.

Fixes #12907.

Format code.

Do not get the GC layout for small structs in legacy backend.

Such structs are too small to contain any GC pointers. Synthesize a GC
layout with a single slot of `TYPE_GC_NONE`.

Fixes VSO 469600.

Merge pull request #13035 from pgavlin/VSO468732

Treat byref-typed uses of int-typed lclVars as type int in LB.

don't use r2r images when the profiler requests that ngen images are disabled

Set `BBF_RUN_RARELY` for a scratch first BB if called count is 0.

Just what it says on the tin.

Fixes VSO 469624.

Admit additional `ADD` patterns in `GenTree:IsFieldAddr`.

We already recognize `ADD(t, CNS_INT)` in this function. This change
extends the relevant logic to `ADD(CNS_INT, t)` iff the first operand is
a handle.

Completelly fix build of tests on Linux

Enable Ubuntu's 1710 BuilsTests

Enable Ubuntu's 1710 BuilsTests

Treat byref-typed uses of int-typed lclVars as type int in LB.

This is consistent with the behvaior of both JIT32 and RyuJIT. This
resolves an assertion originating from the following scenario:

1. The input IL contains a lclVar of type `Foo*`, which the JIT imports as
   `TYP_I_IMPL` (which is `TYP_INT` in this case).
2. This lclVar is used as the `this` argument to a number of method calls.
   This is legal as per ECMA-335 section III.3.19 ("Correct CIL also allows
   a native int to be passed as a byref (&); in which case following the
   store the value will be tracked by garbage collection.")
3. All of the method calls to which this lclVar is passed as a byref are
   inlined. This produces many uses of the lclVar as a byref (i.e. we see
   nodes like `lclVar V06 byref` even though V06's varDsc has type int).
4. The lclVar is assigned a register `r`. At its first appearance--which is
   the first occasion in which it is loaded into this register--it is used
   as `TYP_BYREF`. When the code generator processes this appearance, it
   first sets the appropriate bit for `r` in `gcInfo.gcRegByrefSetCur`
   (`gcInfo.gcMarkRegPtrVal`, called by `genCodeForTree_REG_VAR1`) and then
   sets the appropriate bit for `r` in `regSet.rsMaskVars`
   (`genUpdateLife`).
5. The lclVar is used as `TYP_INT` as the operand to a `GT_RETURN` node.
   When the code generator processes this appearance, it attempts to update
   the GC-ness of `r` by calling `gcInfo.gcMarkRegPtrVal` (again via
   `genCodeForTree_REG_VAR1`). This function, though, explicitly excludes
   registers that contain live variables from its update, so `r` remains in
   `gcInfo.gcRegByrefSetCur` after this call. After calling
   `gcMarkRegPtrVal`, `genCodeForTree_REG_VAR1` calls `genUpdateLife`,
   which removes the the lclVar from `regSet.rsMaskVars`.
6. An assertion intended to verify that the only registers that are live
   after processing a statement are registers that contain lclVars fires,
   as `gcRegByrefSetCur` still contains `r`.

Fixes VSO 468732.

Cleanup GC *_STAT bitrot (#12772)

* Cleanup GC *_STAT bitrot

* Fixup per review

Revert "Fixes for issue 12982 Android cross-build fails when compiling cee_wks (#12986)" (#13031)

This reverts commit 2e7326df470bea696699cc7c812ee56dd0b470b9.

Change after correct version of the file

Merge branch 'master' into enableUbuntu1710-1

Merge pull request #13030 from wtgodbe/AddWindowsJobs

Add Helix jobs for Nano, Win7, Win8

Enable Ubuntu's 1710 BuilsTests

After adding Helix Queue for Ubuntu1710 we are enabling BuildTest for this SKU.

This completes: https://github.com/dotnet/core-eng/issues/1307

Add Helix jobs for Nano, Win7, Win8

Enable BuildTest in Windows Server Core

Enable BuildTest in Windows Server Core

Merge pull request #13011 from BruceForstall/Fix12886

Handle error case when looking for reg pair

typo (#13026)

PerfMap instrument stubs (#12437)

* PerfMap instrument stubs

* Perfmap fix segfault

Ignore specified signal when using perf (#12436)

* Ignore SIGRTMAX when using perf

Add a do nothing signal handler to SIGRTMAX
for profiling purposes.  Allows synchronization
point in injection into the profile

* Add COMPlus_PerfMapIgnoreSignal

* Fix nits per review

Merge pull request #13017 from benaadams/valuetask

ValueTask .ctor throw to Helper

Merge pull request #13005 from AndyAyersMS/FixPDepSimd12Issue

Don't map P-DEP SIMD12 local vars to SIMD16 on x64

Fixes for issue 12982 Android cross-build fails when compiling cee_wks (#12986)

* Fixes for issue 12982 Android cross-build fails when compiling cee_wks

Added conditional (__ANDROID__) to volatile.h
Added compile option to android/arm64/toolchain.cmake

* Changed ANDROID conditional to compiler and __atomic_load

Changed conditional to exclude volatile to __CLANG__ and __has_builtin(__atomic_load)

* Fixed Clang conditional

* Recommended changes to volatile.h and toolchain.cmake

* Added separate conditional for detecting builtin __atomic_load

Deleting the non-shared implementation of `System.Single` and `System.Double`.

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #12193 from noahfalk/tiered_jitting_m2

ValueTask .ctor throw to Helper

Merge pull request #13012 from pgavlin/VSO468726

Fix `fgOrderBlockOps`.

Add the runtime code versioning feature

This makes tiered compilation work properly with profiler ReJIT, and positions the runtime to integrate other versioning related features together in the future. See the newly added code-versioning design-doc in this commit for more information.

Breaking changes for profilers: See code-versioning-profiler-breaking-changes.md for more details.

Addressing Will's comments

Merge pull request #12991 from hseok-oh/ryujit/fix_11783_2

[RyuJIT/ARM32] Morphing 1-field HFA struct argument and fix assertion

Enable BuildTest in Windows Server Core

Windows Server Core was just created so now enabling work to be processed in this image

Merge pull request #12996 from hseok-oh/ryujit/fix_12626

[RyuJIT/ARM32] Fix stack overflow on codegen phase

Fix `fgOrderBlockOps`.

This function was incorrect when the target was a `DYN_BLK` with
`gtEvalSizeFirst` set to `true`.

Fixes VSO 468726.

Simplify SHM-allocator (#12815)

* Simplify SHM-allocator

* Remove SHMNULL and NULLSharedID

Handle error case when looking for reg pair

When performing unsigned up-cast to long, if needReg was computed
with exactly 2 bits, then rsFindRegPairNo() is called to find the
corresponding reg pair. This can fail if one of the needReg bits
is in the reserved set (rsMaskResvd), as was the case in this test
on ARM for R10.

Add logic to handle this error return. The same logic already existed
in the signed cast case.

Fixes #12886

Create Windows PDBs from Portable PDBs during symbol archive (#12796)

* Update BuildTools to 2.0.0-prerelease-01812-02

* Use "GetAllSymbolFilesToPublish" target

"UnzipSymbolPackagesForPublish" only unzips. "GetAllSymbolFilesToPublish" is a new target that unzips then generates Windows PDBs. This allows us to index Windows PDBs on symweb even when not archiving.