Merge pull request #13994 from JosephTremoulet/BenchmarksGame

Update BenchmarksGame benchmarks to latest

Mark removed tests EXPECTED_FAIL

The next update to the Tests.lst files will need to include the new
variants of these tests.

[RyuJit] fix the inconsistency between setContained and isContained. (#13991)

* show the problem with contained arg_place

We set contained on PUTARG_REG, but it doesn't pass IsContained check.

* Fix problem with gtControlExpr

* fix problem with ARGPLACE

* additional improvements1

We should never have a contained node that is the last node in the
execution order.

* additional impovement2 for xarch.

It is redundant, do not need to set as contained.

* additional improvement2 for arm

`GenTree* ctrlExpr = call->gtControlExpr;` was unused.

* additional improvement3: unify CheckLir.

Merge pull request #14023 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #14004 from noahfalk/fix_tiered_dynamicmethod

Disable tiered compilation for dynamic methods

Revert two changes to thread requests (#14015)

Reverting 99db31c41d5057e08cc4701c79f11246b9191a9b and fd91ee1fa23f35130f576c19dfaf35934dc2ce24 to unblock others while trying to figure out what the issues are and how to fix them.

fd91ee1fa23f35130f576c19dfaf35934dc2ce24 is causing @benaadams thread pool perf test (https://github.com/benaadams/ThreadPoolTaskTesting) to hang due to a missed thread request. Somehow wsqActive is ending up at zero while there is a work item in the queue and with no pending thread requests. I don't understand how yet.

99db31c41d5057e08cc4701c79f11246b9191a9b appears to have a potential issue because the order of MarkThreadRequestSatisfied and Dequeue are reversed. For instance, assuming a proc count of 1:
- Initial state: 1 work item enqueued, 1 thread request
- T1 Dispatch: dequeues a work item and requests a thread (0 work items, 1 thread request)
- T1 Dispatch: sees no more work items, returns
- T1 calls Dispatch again due to its own thread request
- T1 Dispatch: After Dequeue (which saw 0 work items) and before MarkThreadRequestSatisfied:
  - Current state: 0 work items, 1 thread request
  - T2 enqueues a work item, sees 1 thread request and does not request a thread (1 work item, 1 thread request)
- T1 Dispatch: MarkThreadRequestSatisfied decrements thread requests (1 work item, 0 thread requests)
- Now after T1 returns, it won't wake up again but there is still one work item in the queue

JIT: Fix crossgen failure in gtTryRemoveBoxUpstreamEffects (#14016)

In some R2R expansions the type handle is not an explicit operand to
the newobj helper. So we must bail out of removal attempts when the
type handle is desired and we see such an expansion.

Closes #13942.
Also likely will fix #13930.

Fix check for recursive call in the importer. (#13990)

The check for recursive call was incorrect when processing an inlineee.
The change had no diffs with jit-diff --frameworks --tests so I added a test where
this change results in a codegen diff: the call to C is inlined with this change but
is not inlined without it.

Fix build breaks after moving files to shared and misc cleanup

- Delete redundant collection and dictionary debug view implementations

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

fix ilgen after: "Add the capability to specify JIT options from smpi command line"

[tfs-changeset: 1674327]

Merge pull request #13923 from sdmaclea/PR-ARM64-LOWER-SHIFT

[Arm64] Enable LowerShift

Merge pull request #13852 from hqueue/jit/JitNoInline

Remove COMPlus_JitNoInline from RETAIL

Manual formatting adjustments

Auto-formatting was leaving some new array expressions oddly indented.

Add references to source CVS

This will make it easier to track changes in the future.

Rename BenchmarksGame files

Name each variant after its index on the site, not its comparative
status.

Remove old versions of BenchmarksGame benchmarks

Modify benchmarks to run in perf test harness

 - Add result validation
 - Add [Benchmark] attributes and appropriate iteration counts
 - Minor edits here and there to target .NET Standard 1.4
 - Exception: pi-digits rewritten to use managed BitInteger instead of
   p/invoke out to GMP.

Merge pull request #13853 from hqueue/tests/MyStructReturn

Add a test for struct return to JIT/CodeGenBringUpTests

Apply default VS formatting

Also insert namespace BenchmarksGame.

Update BenchmarksGame benchmarks to latest

For each benchmark, grab the current best C# .NET entry, and also grab
the current best serial implementation (since these are easier to work
with from the benchmarking perspective).

Merge pull request #13944 from ayuckhulk/fix-arm-set-debuggerregdisplay-from-context

[ARM] Fix SetDebuggerREGDISPLAYFromREGDISPLAY() function

Merge pull request #13998 from jashook/devdiv_491210

Fix devdiv 491210

Move List to shared partition (#14006)

Delete JitHelpers.UnsafeCast (#14005)

Merge pull request #13976 from stephentoub/fix_memorystream_delegation

Change delegation in {Unmanaged}MemoryStream.Read/WriteAsync(Memory)

JIT: Use AllocObj for box allocations (#13988)

Model box object allocations using the AllocObj tree node. Update
the box deconstruction utility to compensate.

Also set the OMF_HAS_NEWOBJ flag when we generate Box IR; this both
fixes an oversight from before and is a necessary step to trigger the
morphing of AllocObj into a helper call.

No diffs.

Closes #13905.

Update logic in arm CodeGen::genCallInstruction to match xarch version (#13974)

This is makes it work for CoreRT, and faster for everybody (avoids JIT/EE call).

Disable tiered compilation for dynamic methods

Fixing an oversight from earlier, tiered compilation isn't designed to handle dynamic methods yet because of their limited lifetime. There may be other issues but a basic one would be having the method get collected while its MethodDesc is in the tiered compilation queue which results in use after free memory issues.

Merge pull request #13965 from CarolEidt/Fix13568

Allow a RET_EXPR as a BYREF operand for SIMD intrinsics.

Apply format patch

Fix devdiv 491210

Specifically, this insures the GT_LIST nodes of gtCallArgs
and gtCallLateArgs flags are set correctly, based on their
child nodes.

Improve ReaderWriterLockSlim scalability (#13243)

Improve ReaderWriterLockSlim scalability

Fixes #12780

The _myLock spin lock runs into some bad scalability issues. For example:
- Readers can starve writers for an unreasonable amount of time. Typically there would be more readers than writers, and it doesn't take many readers to starve a writer. On my machine with 6 cores (12 logical processors with hyperthreading), 6 to 16 reader threads attempting to acquire the spin lock to acquire or release a read lock can starve one writer thread from acquiring the spin lock for several or many seconds. The issue magnifies with more reader threads.
- Readers and especially writers that hold the RW lock can be starved from even releasing their lock. Releasing an RW lock requires acquiring the spin lock, so releasers are easliy starved by acquirers. How badly they are starved depends on how many acquirers there are, and it doesn't take many to show a very noticeable scalability issue. Often, these acquirers are those that would not be able to acquire the RW lock until one or more releasers release their lock, so the acquirers effectively starve themselves.

Took some suggestions from @vancem and landed on the following after some experiments:
- Introduced some fairness to _myLock acquisition by deprioritizing attempts to acquire _myLock that are not likely to make progress on the RW lock
- Limited spinning in some cases where it is very unlikely that spinning would help

Update test

Merge pull request #13916 from pgodeq/PR-ARM64-WINDOWS-STELEM-REF-CORRECTED

[ARM64/Windows] Corrected stack overflow in JIT_Stelem_ref

Merge pull request #13977 from jashook/add_arm64_user

Add pgodeq to the list of arm64 users

PGI: Load pgort<ver>.dll from the VS native tools env; do not `install` it (#12581)

On Windows, PGO instrumented builds (build.cmd release <arch>
pgoinstrument) introduce a runtime dependency on pgort<ver>.dll for
instrumented binaries. This DLL is distributed alongside the C++
compiler, and is made available via the native tools environment that
ships with Visual Studio.

Previously, we were using cmake to find and "install" this binary
alongside the product when doing an instrumented build, so that the
resulting bin\Product drop is free of any added external dependencies.
However, this approach is fragile, and despite a best effort to make the
implementation work across multiple VS releases, it already broke with
VS 2017.

To fix support for pgoinstrument on VS 2017, and to harden the
implementation for future releases of VS, I'm removing the custom cmake
install logic for the pgort DLL. Instead, we fall back to the officially
supported method: load the correct (native tools) environment before
invoking any command that uses an instrumented binary. This happens in
one place in the build today--loading the JIT to crossgen
System.Private.CoreLib.dll.

Note that there's still an existing CLI/Setup bug that requires copying
the pgort DLL. We're now doing it from within build.cmd, which is not
nearly as fragile for this as cmake is. The workaround is also isolated,
so when the referenced issue is fixed, the workaround (as documented)
can simply be removed.

Fixes #12347.

EventPipeProvider destructor hardening (#13958)

* Take lock before manipulating list in desctructor

* Add NULL checks for provider list

* Remove asserts that duplicate conditional check

Add pgodeq to the list of arm64 users

Merge pull request #13971 from dotnet-maestro-bot/master-UpdateDependencies

Update PgoData to master-20170914-0028 (master)

Change delegation in {Unmanaged}MemoryStream.Read/WriteAsync(Memory)

Read/WriteAsync(Memory) on MemoryStream and UnmanagedMemoryStream need to delegate to one of the existing virtual methods, in case an existing stream has overridden the virtuals in order to change or augment the behavior (e.g. checking on each write to ensure the length doesn't exceed some amount).  Currently these delegate to the synchronous Read/Write(Span) methods.  The problem with that is, for exactly the case where there is a derived class, Read/Write(Span) themselves need to delegate to Read/Write(byte[]), which means they use ArrayPool and copy.  But with a {ReadOnly}Memory, we may already have access to the underlying array, in which case we're going from an array to a span and back to different rented array along with an unnecessary copy.  To address that, this commit changes the delegation to prefer Read/Write(byte[],...) if possible, falling back to Read/Write(Span) only if we couldn't get an array from the Memory.

Fix crossgen memory mappings (#13972)

This change removes executable memory mappings from crossgen. Now it
can be run on systems with PAX set to prevent executable mappings
without any marking using the paxctl.

Merge pull request #13954 from jashook/disable_arm_tests

Disable tests based on 13952

[ARM64/Windows] Corrected the address used to push fp,lr in JIT_Stelem_Ref

The !heapstat sos command emits difficult to read output as the "Percentage" column is not aligned properly (#13856)

Update PgoData to master-20170914-0028

JIT: mark part of runtime lookup tree as nonfaulting and invariant (#13953)

An indir in the runtime lookup sequence wasn't marked as nonfaulting
so dead context trees could not be entirely cleaned up.

Also added invariant since this particular lookup sequence will always
return the same result.

Merge pull request #13934 from dotnet-maestro-bot/master-UpdateDependencies

Update BuildTools, CoreClr, PgoData to prerelease-02014-02, preview1-25714-01, master-20170913-0045, respectively (master)

Delete JitHelpers.UnsafeCast

Replace JitHelpers.UnsafeCast with Unsafe.As

Both methods to the same, but the latter one is the offficial public name for the functionality

Undo more JIT layout workarounds (#13961)

Remove some `goto`s that were added  to work around undesirable jit
layout (#9692, fixed in #13314) and epilog factoring (improved in
 #13792 and #13903), which are no longer needed.

Resolves #13466.

Merge pull request #13957 from JosephTremoulet/LoopNestFix

Renumber blocks before computing loop nest

Call the fast generic impl from the non-generic one where possible

Make Array.Reverse faster

Array.Reverse showed up as hot method in profiles of real workloads (e.g. it is called from Json.NET frequently via List.Reverse)

Enable end to end Alpine build (#13966)

This change enables full end to end build of coreclr including
managed code on Alpine Linux.

Merge pull request #13967 from dotnet-bot/from-tfs

Merge changes from TFS

Update BuildTools, CoreClr, PgoData to prerelease-02014-02, preview1-25714-01, master-20170913-0045, respectively

Merge pull request #13626 from mikedn/test-bt

Lower TEST(x, LSH(1, y)) to BT(x, y)

Fix potentially unused variable in lb arm

[tfs-changeset: 1674030]

Allow a RET_EXPR as a BYREF operand for SIMD intrinsics.

Fix #13568

Eliminate double delete in EventPipeProvider cleanup (#13833)

* Eliminate double delete in EventProvider cleanup

* Fix access after deletion error

* Simplify control flow

Renumber blocks before computing loop nest

The loop nest computation expects to be able to test block numbers for
lexical inclusion, so do a renumbering pass first if blocks have been
moved.

Fixes #13919.

Fix setting PAX options for crossgen (#13950)

In my previous PR that added marking executables with paxctl, I've made
a mistake in the order of calling _add_library and add_dependencies.
But that was hidden due to the fact that we have yet another copy of the
add_library_clr and add_executable_clr functions in src/CMakeLists.txt.
I have no idea how that happened.
This one has overriden the other, which has hidden the problem, but also
caused the crossgen to not to be modified by the paxctl.
So I am fixing the order and removing the extra definitions of those
functions.

Disable tests based on 13952

Merge pull request #13943 from jashook/fix_lb_build_break

Fix potentially unused variable in lb arm

Fix ARM build break (#13932)

[ARM] Fix SetDebuggerREGDISPLAYFromREGDISPLAY() function

Use the same logic as in AMD64 code: when setting DebuggerREGDISPLAY from the context,
the context flags might not be initialized. Since it is only called from stackwalker,
we can copy valid integer, control, and floating point sections from the context.

Fix potentially unused variable in lb arm

Disable PAX mprotect for native executables (#13940)

This change adds marking native executables that coreclr build produces
(corerun, coreconsole, crossgen, ilasm, ildasm, crashdump) to using the
paxctl tool to allow them running on systems with PAX configured so that
creating executable memory mappings by applications is prohibited.

Fix AV in corerun on invalid filename

Before this fix, corerun would AV on certain invalid paths e.g.: corerun test.exe\

Mark Span.Length as non-versionable

This allows inlining Span.Length accross versioning boundaries in R2R images. We are leaking the Span implementation details already because the Span indexer is treated as intrinsic. Marking a few more trivial methods as non-versionable should not do any future harm.

Merge pull request #13806 from hqueue/arm/ryujit/issue_13739_jitstress_NYI_addr

[RyuJIT/ARM32] Add ADDR and fixup return type correctly

Fix Hebrew date parsing (#13929)

This fix when parsing Hevrew dat e string formatted as dd/MM/yy. we didn't encounter the same on Windows before because default short date pattern on Windows is dd MMM yyyy which we can parse it successfully.

Lower TEST(x, LSH(1, y)) to BT(x, y)

Add GT_BT

Add INS_bt

Merge pull request #13903 from JosephTremoulet/PlaceReturns

Improve const return block placement

Merge pull request #13835 from sdmaclea/PR-ARM64-GT_MULHI

[Arm64] Add GT_MULHI

Merge pull request #13799 from sdmaclea/PR-ARM64-Transform-AND-CMP

[Arm64] Transform AND-CMP to TST

Introduce FEATURE_GDBJIT_SYMTAB (#13567)

* Introduce FEATURE_GDBJIT_SYMTAB

This commit adds new feature FEATURE_GDBJIT_SYMTAB. When it's set
ELF file with symtab section will be generated for all JITed methods.

It helps lldb and gdb correctly unwind frames of JITed methods as they
can use assembly language inspection to determine location of saved
registers on stack.

* gdbjit symtab feature: use different symbols for each function in JITed code

Change how numProc is derived on Linux (#13909)

Before the decision for numProcs to run in parallel for runtests.sh
was based on _NPROCESSORS_ONLN which harware which attempts to save
power (eg arm(64)) this number may be < numProcs.

Update BuildTools, CoreClr, CoreFx, PgoData to prerelease-02012-02, preview1-25713-01, preview1-25712-02, master-20170912-0038, respectively (#13928)

Re-implemented the ecvt function. (#12894)

* Re-implemented the ecvt function.

Instead of leveraging snprintf, re-implement the ecvt function according to the paper: https://www.cs.indiana.edu/~dyb/pubs/FP-Printing-PLDI96.pdf

Note:
1. This commit won't fix any existing bug.
2. This is a raw implementation of the paper. The performance on Linux only gain 10%. We could tune the performance further.

Fix #10651

* Resolve a cross platform header file issue.

Fix #10651

* Fixed a minor bug. Improved the performance.

Fix #10651

* Modified code according to code review feedback.

This commit fixed most of the issue found in code review. However, some of the feedback may not be involved due to either little performance improvement or need a POC.

Fix #10651

* Try to fix constexpr compile error on Windows.

Fix #10651

* Fixed a potential overflow bug in BigNum::Compare.

Fix #10651

* Improved multiply 10 operation.

Use shift and add operation to replace actual multiply operation.

Fix #10651

* Remove old _ecvt function.

Fix #10651

* Documented the reason why we do not need m+ and m-.

Fix #10651

* Changed exp > 0 to exp != 0 to remove any confusion.

exp should fall in 1 ~ 2046 for normalized value. Denormalized value has exp = 0.

Fix #10651

* Disable the _ecvt tests.

Fix #10651

* Removed _ecvt tests.

Fix #10651

* Re-implemented LogBase2.

Fix #10651

* Use DWORD and DWORD64 for _BitScanReverse and _BitScanReverse64

Fix #10651

* Fixed x86 compile issue for _BitScanReverse64

x86 does not support _BitScanReverse64 so we have to add additional shift operations to handle it.

Fix #10651

* Implemented BitScanReverse64 and BitScanReverse in pal.h

Fix #10651

* Remove the confusion comment which is unrelated to BitScanReverse.

Fix #10651

* Introduced wmemset to enhance the perf for 0.0

Fix #10651

* Improved the performance of converting 0.0.

Fix #10651

* Renamed ecvt to DoubleToNumberWorker.

Fix #10651

* Updated code according to the code review feedback.

Fix #10651

Update the third party notices file to reference the floating point number algorithm (#13920)

[RyuJIT/ARM32] Implement CreateDictionaryLookupHelper only via helper (#13733)

* [RyuJIT/ARM32] Implement CreateDictionaryLookupHelper only via run-time helper

Implement CreateDictionaryLookupHelper only via run-time helper

* Add assertion for checking CORINFO_USEHELPER

Fix ARM32 secure delegate bug (#13922)

This change fixes a bug that causes crashes when secure delegate is
invoked on ARM32 with legacy codegen. Register R4 was loaded with
indirection slot address and immediatelly marked as trashed, so the JIT
compiler reused it before the call that was supposed to have that value
in R4.
The fix was to move the reg trashing after the call.
There was also an incorrect marking of that address as EA_PTRSIZE
while it should be EA_BYREF, so I've fixed that too.

Make dangerous Span APIs less discoverable. (#13927)

Remove redundant  zero-initialization of struct temps with GC fields. (#13868)

Remove redundant  zero-initialization of struct temps with GC fields.

Structs with GC pointer fields are fully zero-initialized in the prolog if compInitMem is true.
Therefore, we don't need to insert zero-initialization for the result of newobj or for inlinee locals
when they are structs with GC pointer fields and the basic bock is not in a loop.

JIT: optimize case where box feeds GetType (#13710)

If the only use of a box is in a call to Type:GetType, remove the box and
obtain the type directly. Get the handle needed for obtaining the type from
the newobj call in the original box, via a new box removal option.

Also add some logging to the type optimizations done in morph.

Closes #13187.

Merge pull request #13819 from sdmaclea/PR-ARM64-MOD-AND-TRANSFORM

[Arm64] Allow a%b to a&(b-1) transform

fix stack depth in DevDiv_278523 test source code(#13912)

[Arm64] Enable LowerShift

Fix core dump generation on Centos. (#13887)

Fix core dump generation on Centos.

Issue #13764

Merge pull request #13918 from adiaaida/unifyPerfConfigs

Add OptLevel and JitName configurations

Merge pull request #13715 from CarolEidt/LsraInfoInLsra

Do TreeNodeInfoInit in buildIntervals

Add OptLevel and JitName configurations

To unify the configuration names in benchview, add OptLevel and JitName
configurations in run-xunit-perf.sh. This change does not add min_opts
to perf.groovy.

Merge pull request #13242 from ViktorHofer/BinarySerializationCleanup

Binary serialization unused methods and attributes cleanup and misc code cleanup

Fix formatting

noway_assert to assert per review

Fix formatting

Simplify divisorValue calculation