Improve ReaderWriterLockSlim scalability (#13243)

Improve ReaderWriterLockSlim scalability

Fixes #12780

The _myLock spin lock runs into some bad scalability issues. For example:
- Readers can starve writers for an unreasonable amount of time. Typically there would be more readers than writers, and it doesn't take many readers to starve a writer. On my machine with 6 cores (12 logical processors with hyperthreading), 6 to 16 reader threads attempting to acquire the spin lock to acquire or release a read lock can starve one writer thread from acquiring the spin lock for several or many seconds. The issue magnifies with more reader threads.
- Readers and especially writers that hold the RW lock can be starved from even releasing their lock. Releasing an RW lock requires acquiring the spin lock, so releasers are easliy starved by acquirers. How badly they are starved depends on how many acquirers there are, and it doesn't take many to show a very noticeable scalability issue. Often, these acquirers are those that would not be able to acquire the RW lock until one or more releasers release their lock, so the acquirers effectively starve themselves.

Took some suggestions from @vancem and landed on the following after some experiments:
- Introduced some fairness to _myLock acquisition by deprioritizing attempts to acquire _myLock that are not likely to make progress on the RW lock
- Limited spinning in some cases where it is very unlikely that spinning would help

Merge pull request #13916 from pgodeq/PR-ARM64-WINDOWS-STELEM-REF-CORRECTED

[ARM64/Windows] Corrected stack overflow in JIT_Stelem_ref

Merge pull request #13977 from jashook/add_arm64_user

Add pgodeq to the list of arm64 users

PGI: Load pgort<ver>.dll from the VS native tools env; do not `install` it (#12581)

On Windows, PGO instrumented builds (build.cmd release <arch>
pgoinstrument) introduce a runtime dependency on pgort<ver>.dll for
instrumented binaries. This DLL is distributed alongside the C++
compiler, and is made available via the native tools environment that
ships with Visual Studio.

Previously, we were using cmake to find and "install" this binary
alongside the product when doing an instrumented build, so that the
resulting bin\Product drop is free of any added external dependencies.
However, this approach is fragile, and despite a best effort to make the
implementation work across multiple VS releases, it already broke with
VS 2017.

To fix support for pgoinstrument on VS 2017, and to harden the
implementation for future releases of VS, I'm removing the custom cmake
install logic for the pgort DLL. Instead, we fall back to the officially
supported method: load the correct (native tools) environment before
invoking any command that uses an instrumented binary. This happens in
one place in the build today--loading the JIT to crossgen
System.Private.CoreLib.dll.

Note that there's still an existing CLI/Setup bug that requires copying
the pgort DLL. We're now doing it from within build.cmd, which is not
nearly as fragile for this as cmake is. The workaround is also isolated,
so when the referenced issue is fixed, the workaround (as documented)
can simply be removed.

Fixes #12347.

EventPipeProvider destructor hardening (#13958)

* Take lock before manipulating list in desctructor

* Add NULL checks for provider list

* Remove asserts that duplicate conditional check

Add pgodeq to the list of arm64 users

Merge pull request #13971 from dotnet-maestro-bot/master-UpdateDependencies

Update PgoData to master-20170914-0028 (master)

Fix crossgen memory mappings (#13972)

This change removes executable memory mappings from crossgen. Now it
can be run on systems with PAX set to prevent executable mappings
without any marking using the paxctl.

Merge pull request #13954 from jashook/disable_arm_tests

Disable tests based on 13952

[ARM64/Windows] Corrected the address used to push fp,lr in JIT_Stelem_Ref

The !heapstat sos command emits difficult to read output as the "Percentage" column is not aligned properly (#13856)

Update PgoData to master-20170914-0028

JIT: mark part of runtime lookup tree as nonfaulting and invariant (#13953)

An indir in the runtime lookup sequence wasn't marked as nonfaulting
so dead context trees could not be entirely cleaned up.

Also added invariant since this particular lookup sequence will always
return the same result.

Merge pull request #13934 from dotnet-maestro-bot/master-UpdateDependencies

Update BuildTools, CoreClr, PgoData to prerelease-02014-02, preview1-25714-01, master-20170913-0045, respectively (master)

Delete JitHelpers.UnsafeCast

Replace JitHelpers.UnsafeCast with Unsafe.As

Both methods to the same, but the latter one is the offficial public name for the functionality

Undo more JIT layout workarounds (#13961)

Remove some `goto`s that were added  to work around undesirable jit
layout (#9692, fixed in #13314) and epilog factoring (improved in
 #13792 and #13903), which are no longer needed.

Resolves #13466.

Merge pull request #13957 from JosephTremoulet/LoopNestFix

Renumber blocks before computing loop nest

Call the fast generic impl from the non-generic one where possible

Make Array.Reverse faster

Array.Reverse showed up as hot method in profiles of real workloads (e.g. it is called from Json.NET frequently via List.Reverse)

Enable end to end Alpine build (#13966)

This change enables full end to end build of coreclr including
managed code on Alpine Linux.

Merge pull request #13967 from dotnet-bot/from-tfs

Merge changes from TFS

Update BuildTools, CoreClr, PgoData to prerelease-02014-02, preview1-25714-01, master-20170913-0045, respectively

Merge pull request #13626 from mikedn/test-bt

Lower TEST(x, LSH(1, y)) to BT(x, y)

Fix potentially unused variable in lb arm

[tfs-changeset: 1674030]

Eliminate double delete in EventPipeProvider cleanup (#13833)

* Eliminate double delete in EventProvider cleanup

* Fix access after deletion error

* Simplify control flow

Renumber blocks before computing loop nest

The loop nest computation expects to be able to test block numbers for
lexical inclusion, so do a renumbering pass first if blocks have been
moved.

Fixes #13919.

Fix setting PAX options for crossgen (#13950)

In my previous PR that added marking executables with paxctl, I've made
a mistake in the order of calling _add_library and add_dependencies.
But that was hidden due to the fact that we have yet another copy of the
add_library_clr and add_executable_clr functions in src/CMakeLists.txt.
I have no idea how that happened.
This one has overriden the other, which has hidden the problem, but also
caused the crossgen to not to be modified by the paxctl.
So I am fixing the order and removing the extra definitions of those
functions.

Disable tests based on 13952

Merge pull request #13943 from jashook/fix_lb_build_break

Fix potentially unused variable in lb arm

Fix ARM build break (#13932)

Fix potentially unused variable in lb arm

Disable PAX mprotect for native executables (#13940)

This change adds marking native executables that coreclr build produces
(corerun, coreconsole, crossgen, ilasm, ildasm, crashdump) to using the
paxctl tool to allow them running on systems with PAX configured so that
creating executable memory mappings by applications is prohibited.

Fix AV in corerun on invalid filename

Before this fix, corerun would AV on certain invalid paths e.g.: corerun test.exe\

Mark Span.Length as non-versionable

This allows inlining Span.Length accross versioning boundaries in R2R images. We are leaking the Span implementation details already because the Span indexer is treated as intrinsic. Marking a few more trivial methods as non-versionable should not do any future harm.

Merge pull request #13806 from hqueue/arm/ryujit/issue_13739_jitstress_NYI_addr

[RyuJIT/ARM32] Add ADDR and fixup return type correctly

Fix Hebrew date parsing (#13929)

This fix when parsing Hevrew dat e string formatted as dd/MM/yy. we didn't encounter the same on Windows before because default short date pattern on Windows is dd MMM yyyy which we can parse it successfully.

Lower TEST(x, LSH(1, y)) to BT(x, y)

Add GT_BT

Add INS_bt

Merge pull request #13903 from JosephTremoulet/PlaceReturns

Improve const return block placement

Merge pull request #13835 from sdmaclea/PR-ARM64-GT_MULHI

[Arm64] Add GT_MULHI

Merge pull request #13799 from sdmaclea/PR-ARM64-Transform-AND-CMP

[Arm64] Transform AND-CMP to TST

Introduce FEATURE_GDBJIT_SYMTAB (#13567)

* Introduce FEATURE_GDBJIT_SYMTAB

This commit adds new feature FEATURE_GDBJIT_SYMTAB. When it's set
ELF file with symtab section will be generated for all JITed methods.

It helps lldb and gdb correctly unwind frames of JITed methods as they
can use assembly language inspection to determine location of saved
registers on stack.

* gdbjit symtab feature: use different symbols for each function in JITed code

Change how numProc is derived on Linux (#13909)

Before the decision for numProcs to run in parallel for runtests.sh
was based on _NPROCESSORS_ONLN which harware which attempts to save
power (eg arm(64)) this number may be < numProcs.

Update BuildTools, CoreClr, CoreFx, PgoData to prerelease-02012-02, preview1-25713-01, preview1-25712-02, master-20170912-0038, respectively (#13928)

Re-implemented the ecvt function. (#12894)

* Re-implemented the ecvt function.

Instead of leveraging snprintf, re-implement the ecvt function according to the paper: https://www.cs.indiana.edu/~dyb/pubs/FP-Printing-PLDI96.pdf

Note:
1. This commit won't fix any existing bug.
2. This is a raw implementation of the paper. The performance on Linux only gain 10%. We could tune the performance further.

Fix #10651

* Resolve a cross platform header file issue.

Fix #10651

* Fixed a minor bug. Improved the performance.

Fix #10651

* Modified code according to code review feedback.

This commit fixed most of the issue found in code review. However, some of the feedback may not be involved due to either little performance improvement or need a POC.

Fix #10651

* Try to fix constexpr compile error on Windows.

Fix #10651

* Fixed a potential overflow bug in BigNum::Compare.

Fix #10651

* Improved multiply 10 operation.

Use shift and add operation to replace actual multiply operation.

Fix #10651

* Remove old _ecvt function.

Fix #10651

* Documented the reason why we do not need m+ and m-.

Fix #10651

* Changed exp > 0 to exp != 0 to remove any confusion.

exp should fall in 1 ~ 2046 for normalized value. Denormalized value has exp = 0.

Fix #10651

* Disable the _ecvt tests.

Fix #10651

* Removed _ecvt tests.

Fix #10651

* Re-implemented LogBase2.

Fix #10651

* Use DWORD and DWORD64 for _BitScanReverse and _BitScanReverse64

Fix #10651

* Fixed x86 compile issue for _BitScanReverse64

x86 does not support _BitScanReverse64 so we have to add additional shift operations to handle it.

Fix #10651

* Implemented BitScanReverse64 and BitScanReverse in pal.h

Fix #10651

* Remove the confusion comment which is unrelated to BitScanReverse.

Fix #10651

* Introduced wmemset to enhance the perf for 0.0

Fix #10651

* Improved the performance of converting 0.0.

Fix #10651

* Renamed ecvt to DoubleToNumberWorker.

Fix #10651

* Updated code according to the code review feedback.

Fix #10651

Update the third party notices file to reference the floating point number algorithm (#13920)

[RyuJIT/ARM32] Implement CreateDictionaryLookupHelper only via helper (#13733)

* [RyuJIT/ARM32] Implement CreateDictionaryLookupHelper only via run-time helper

Implement CreateDictionaryLookupHelper only via run-time helper

* Add assertion for checking CORINFO_USEHELPER

Fix ARM32 secure delegate bug (#13922)

This change fixes a bug that causes crashes when secure delegate is
invoked on ARM32 with legacy codegen. Register R4 was loaded with
indirection slot address and immediatelly marked as trashed, so the JIT
compiler reused it before the call that was supposed to have that value
in R4.
The fix was to move the reg trashing after the call.
There was also an incorrect marking of that address as EA_PTRSIZE
while it should be EA_BYREF, so I've fixed that too.

Make dangerous Span APIs less discoverable. (#13927)

Remove redundant  zero-initialization of struct temps with GC fields. (#13868)

Remove redundant  zero-initialization of struct temps with GC fields.

Structs with GC pointer fields are fully zero-initialized in the prolog if compInitMem is true.
Therefore, we don't need to insert zero-initialization for the result of newobj or for inlinee locals
when they are structs with GC pointer fields and the basic bock is not in a loop.

JIT: optimize case where box feeds GetType (#13710)

If the only use of a box is in a call to Type:GetType, remove the box and
obtain the type directly. Get the handle needed for obtaining the type from
the newobj call in the original box, via a new box removal option.

Also add some logging to the type optimizations done in morph.

Closes #13187.

Merge pull request #13819 from sdmaclea/PR-ARM64-MOD-AND-TRANSFORM

[Arm64] Allow a%b to a&(b-1) transform

fix stack depth in DevDiv_278523 test source code(#13912)

Fix core dump generation on Centos. (#13887)

Fix core dump generation on Centos.

Issue #13764

Merge pull request #13918 from adiaaida/unifyPerfConfigs

Add OptLevel and JitName configurations

Merge pull request #13715 from CarolEidt/LsraInfoInLsra

Do TreeNodeInfoInit in buildIntervals

Add OptLevel and JitName configurations

To unify the configuration names in benchview, add OptLevel and JitName
configurations in run-xunit-perf.sh. This change does not add min_opts
to perf.groovy.

Merge pull request #13242 from ViktorHofer/BinarySerializationCleanup

Binary serialization unused methods and attributes cleanup and misc code cleanup

Fix formatting

noway_assert to assert per review

Fix formatting

Simplify divisorValue calculation

Add comments per review

Fixing archiving of Linux perf artifacts. (#13911)

- Previous change did not fix archiving artifacts

ResourceSet

TextInfo

Reflection

IO

[ARM64/Windows] Corrected stack overflow in JIT_Stelem_ref

[GDBJIT] Specify C# language in DWARF debug information (#13720)

* [GDBJIT] Specify C# language in DWARF debug information

To correctly support C# language in lldb DWARF debug information
should contain correct information about language.

Now we use 0x9e57 constant for specify C# language.

* [GDBJIT] Introduce FEATURE_GDBJIT_LANGID_CS

If this feature is set gdbjit will use 0x9e57 as c# lang id,
otherwise it will use DW_LANG_C89.

Merge pull request #13907 from stephentoub/valuetask_astask_caching

Use AsyncTaskCache in ValueTask.AsTask()

Merge changes from TFS (#13884)

Add new GetMethodNameFromMetadata interface member to ILGEN.

Also fix warning in the build.

[tfs-changeset: 1673078]

[Hand edited to fix break in SPMI]

Improve const return block placement

Tweak a few things so that generated constant return blocks get laid out
more optimally:

 - Don't set BBF_DONT_REMOVE on them; it's ok to move them around, and
   if all references to them get dropped, it's fine to eliminate them.
 - Insert them immediately after their lexically-last predecessor when
   generating them; this increases the likelihood of using fallthrough
   rather than gotos to target them in the face of fgReorderBlocks'
   reticence to reorder code that we don't have IBC data for and that
   hasn't been marked rare.
 - Make fgReorderBlocks slightly more aggressive for a pattern that now
   shows up somewhat routinely for returning compound conditionals from
   predicate functions.

Use AsyncTaskCache in ValueTask.AsTask()

We can avoid task allocations for common values by using the same task cache that async methods do.  This is important to avoid allocations in certain cases when switching from Task-returning to ValueTask-returning methods.  If at some point we change Task.FromResult to use the same cache, this can be reverted.

Merge pull request #13875 from wtgodbe/RevertLabel

Revert PreReleaseLabel to preview1

JIT: optimize Enum.HasFlag (#13748)

Check for calls to `Enum.HasFlag` using the new named intrinsic support
introduced in #13815. Implement a simple recognizer for these named
intrinsics (currently just recognizing `Enum.HasFlag`).

When the call is recognized, optimize if both operands are boxes with
compatible types and both boxes can be removed. The optimization changes the
call to a simple and/compare tree on the underlying enum values.

To accomplish this, generalize the behavior of `gtTryRemoveBoxUpstreamEffects`
to add a "trial removal" mode and to optionally suppress narrowing of the
copy source.

Invoke the optimization during importation (which will catch most cases) and
again during morph (to get the post-inline cases).

Added test cases. Suprisingly there were almost no uses of HasFlag in the
current CoreCLR test suite.

Closes #5626.

[GDBJIT] Fix calculation of debuginfo's size. (#13899)

Information about each type is dumped once but during debuginfo's
size calculation it was taken into account several time. Due to it
size of debuginfo section could be in several times bigger than
needed that in some cases leaded to OOM.

Merge pull request #13876 from eerhardt/UpdateBuildTools

Update BuildTools automatically when new versions are available.

Ubuntu runs are not archiving perf results because rsync does not create destination folder (#13858)

Merge branch 'master' into UpdateBuildTools

fixed minor typo (#13898)

Fix building of rootfs for Tizen armel (#13854)

Now there isn't arm buildtarget in tizen-base repository.
Use standard one to fetch packages for rootfs.

Make order of elements consistent (#13892)

When the cache is only partially populated, MemberInfoCache.Insert will
insert the new members into the cache. But then, it will return the
original list. In subsequent calls, it will return the cached list.
However, the order of elements can be different, which can cause issues
with methods that rely on the order of elements returned by
Type.GetFields (for instance, Attribute.GetHashCode)

Merge pull request #13894 from dotnet-maestro-bot/master-UpdateDependencies

Update PgoData to master-20170911-0041 (master)

Merge branch 'master' into UpdateBuildTools

Update PgoData to master-20170911-0041

Merge pull request #13893 from dotnet-maestro-bot/master-UpdateDependencies

Update CoreClr to preview2-25711-01 (master)

Update CoreClr to preview2-25711-01

Merge branch 'master' into UpdateBuildTools

Merge branch 'master' into UpdateBuildTools

Merge pull request #13847 from dotnet-maestro-bot/master-UpdateDependencies

Update CoreClr, PgoData to preview2-25709-04, master-20170910-0049, respectively (master)

Update CoreClr, PgoData to preview2-25709-04, master-20170910-0049, respectively

Merge pull request #13849 from stephentoub/string_create

Add String.Create span-based method

Merge pull request #13888 from jkotas/corelib-mirror

Mirror changes from dotnet/corert

Merge pull request #13886 from ahsonkhan/SpanReadOnlyStruct

Marking {ReadOnly}Span with IsReadOnly attribute

Finish moving files to shared CoreLib partition

Move PInvoke interop related attributes to shared CoreLib partition

[tfs-changeset: 1673253]

Finish moving files to shared partition