Merge pull request #13533 from wtgodbe/buildNumber

Disable default BuildNumberMajor

Fixed Equals/GetHashCode bug for struct. (#13164)

Other than `ContainsPointers` and `IsNotTightlyPacked`, added two new conditions for checking whether a valuetype can go to fast path or not. Following are the details of these 2 conditions:

- Check whether a valuetype contains a Single/Double field. If it does, we cannot go to fast path. Floating point numbers have special `Equals` and `GetHashCode` implementation. We cannot simply compare floating point numbers via bits (e.g. +0.0 should equal to -0.0, but their underlying bits are different).

- Check whether an user-defined valuetype overrides `Equals` or `GetHashCode`. If it does, we cannot go to fast path. Because `Equals` or `GetHashCode` result may be different to bit comparison.

To find Single/Double fields and overridden `Equals`/`GetHashCode`, we start a DFS to go through the whole hierachy of the source valuetype, and cache the result to `MethodTable`.

Fix #11452

Merge pull request #13534 from dotnet-bot/from-tfs

Merge changes from TFS

Improve ReaderWriterLockSlim scalability (#13495)

* Improve ReaderWriterLockSlim scalability

Subset of #13243, fixes #12780

- Prevented waking more than one waiter when only one of them may acquire the lock
- Limited spinning in some cases where it is very unlikely that spinning would help

The _myLock spin lock runs into some bad scalability issues. For example:
1. Readers can starve writers for an unreasonable amount of time. Typically there would be more readers than writers, and it doesn't take many readers to starve a writer. On my machine with 6 cores (12 logical processors with hyperthreading), 6 to 16 reader threads attempting to acquire the spin lock to acquire or release a read lock can starve one writer thread from acquiring the spin lock for several or many seconds. The issue magnifies with more reader threads.
2. Readers and especially writers that hold the RW lock can be starved from even releasing their lock. Releasing an RW lock requires acquiring the spin lock, so releasers are easliy starved by acquirers. How badly they are starved depends on how many acquirers there are, and it doesn't take many to show a very noticeable scalability issue. Often, these acquirers are those that would not be able to acquire the RW lock until one or more releasers release their lock, so the acquirers effectively starve themselves.

This PR does not solve (1), but solves (2) to a degree that could be considered sufficient. #13243 solves (1) and (2) and for (2) it is still better by order-of-magnitude compared with this PR in several cases that I believe are not extreme, but if the complexity of deprioritization is deemed excessive for the goals then of what I tried so far this is the perhaps simplest and most reasonable way to solve (2).

I believe this PR would also be a reasonably low-risk one to port back to .NET Framework.

Enable overriding default stack size on Unix (#13517)

Alpine Linux has a very small default stack size limit, about 80kB.
This is not enough for running coreclr apps.

This change enables overriding the default stack size using the
COMPlus_DefaultStackSize env variable. For Alpine, it also sets
the default stack size to the same value we use for Windows, which
is 1.5MB.

Merge pull request #13540 from wateret/fix-13423

[RyuJIT/arm32] Fix MultiReg flag setter

JIT: refine types when creating arg temps to improve devirtualization (#13530)

The jit will refine the types of temps used to pass arguments to inlinees
when it creates the assignments to these temps.

Unfortunately this is too late to drive devirtualization in the body of
the inlinee, as thes assignments are created after the inlinee body is
imported.

So, add similar refinement logic to the place where the temps are first
created.

Closes #13520.

Add a regression test for #13160 (#13531)

Merge pull request #13450 from sjsinju/genisvaliddoublereg

[RyuJIT/ARM32] Remove unnecessary genIsValidDoubleReg() assertion

Merge pull request #13528 from JosephTremoulet/Iterate

Add InnerIterationCount to layout benchmarks

[RyuJIT/arm32] Fix MultiReg flag setter

Bitwise operation fix in `SetRegSpillFlagByIdx()`.

Fix #13423

Remove empty span check from Stream.Read/Write (#13536)

When I added the base Stream.Read/Write(span) default implementations, I added a special-case check for if the span is empty, in which case it made the operation a nop.  But various streams want to impose behavior even in the 0-byte case, e.g. throwing an ObjectDisposedException if the stream has been closed.  This commit just removes the check and allows Read/Write to delegate for all sized spans.

Merge pull request #13535 from rartemev/issue_12467

Fixed assertion failure in legacy backend

Merge pull request #13522 from stephentoub/fsspan

Override Span-based Read/Write on FileStream

Fixed assertion failure in legacy backend

JIT: don't self assign to temps (#13484)

Modify gtNewTempAssign to more generally map self-assignment of temps
into nops.

We already were doing something similar over in `impAssignStruct`, and
now we catch non-struct cases too.

rollback Changeset 1671419: importCall

[tfs-changeset: 1671421]

importCall

[tfs-changeset: 1671419]

Disable default BuildNumberMajor

Remove macro definition checks that aren't useful and cause unnecessary build breaks (#13523)

Fix inconsistency between GetHasCode and Equals (#13513)

Add InnerIterationCount to layout benchmarks

These tests were too short-running to measure effectively.  Add an inner
iteration count that makes the running time around 1 second (measured
locally).

Introduce COMPlus_GDBJitEmitDebugFrame (#13515)

* Introduce COMPlus_GDBJitEmitDebugFrame

* Use a proper #ifdef macro

Override Span-based Read/Write on FileStream

Adds overrides for the new Span-based Read/Write methods on FileStream.

A few notes:
- As with {Unmanaged}MemoryStream, FileStream isn't sealed, which means a derived type could have overridden all of the existing abstract/virtual methods, including Read(byte[],int,int).  If a consumer then switched to using that stream with Read(Span), because we now override Read(Span), the consumer should get the same behavior intended by the stream developer. As such, since we have no good/efficient way to check whether Read(byte[],int,int) is overridden, we check whether the current stream is a concrete FileStream (rather than a derived type), and if it isn't we use the default base behavior, which will call the Read(byte[],int,int) method.
- FileStream is odd in that it has a dual nature around whether it was initialized for sync vs async, a setting that on Windows ends up configuring the native handle to operate in async mode.  Sync operations on an async-configured FileStream end up delegating to the async methods and blocking, and async operations on a sync-configured FileStream end up using the synchronous behavior asynchronously.  There were some inconsistencies around how this was handled between Windows and Unix, in particular around the ReadByte method, and as part of adding these overloads, I changed that as well, as doing so made the code simpler with the new Span-based support.  Technically this is a breaking change on Unix, but it would be very niche, including calling ReadByte on an async stream while other async operations were in progress... in that case, the desktop and Windows core behavior was to allow direct access to any cached data in the buffer, whereas on Unix we would serialize the ReadByte call with other async operations in flight.

[Arm64/Unix] Use portable MP optimized new/alloc (#12333)

[Arm64] Fix RecycledListsWrapper cache guard (#13397)

Merge pull request #12216 from ellismg/fix-warnings

Fix warnings when building SOS.NETCore.csproj

[Local GC] Enable building the GC as a shared library (#13137)

* [Local GC] Build the GC using system headers

* Disable features to get the GC to build

* Get rid of the separate 'GC PAL' build

* Remove unused stuff

* Don't build gcenv.os.cpp when linking in a standalone gc

* Stub out CPUGroupInfo and NumaNodeInfo

* Stub out IsGCThread and friends

* Build the GC as a shared library :tada:

* Build, link, and run! :tada:

* Fix standalone GC build break

* Fixes where the GC's MethodTable and VM's MethodTable classes disagree

* Integrate a standalone GC into the CoreCLR build system (so it gets copied to the output folder). Re-enable some ifdef-ed out includes that are required for a non-standalone build of the GC.

* Bring changes to Unix and fix the Unix build. Implement some compiler intrinsic wrappers and alignment functions expected by the GC.

* Fix the Windows build

* 1. Code review feedback: use standard types for BitScanForward and
   BitScanForward64
2. Delete FEATURE_COM stuff from the build system, not needed for this
PR
3. Fix the Unix build

* Fix the Windows x86 build - the _BitScanForward64 intrinsic is not available when targeting 32-bit platforms

* Remove a number of things from gcenv.base.h that are not used

* Remove a linker workaround now that we are not linking a standalone GC into the runtime

* Remove dead code, make the lack of GC_PROFILING for standalone gc not break profiling on the non-standalone build

* Code review feedback - use add_library_clr and other cmake-related fixes

* Fix include indentation

* Remove some extraneous parameters to cmake functions (cmake is remarkably lenient...)

Merge pull request #13461 from JosephTremoulet/TodoUpdate

Update JitOptimizerTodoAssessment.md

Follow-up: Add enforce PGO to official builds (#13437)

* Add variables to pipeline to enable enforcepgo for Release

* Address review

Merge pull request #13487 from mikedn/switch-temp-type

Fix incorrect switch temp lcl type

Delete some dead PAL code (#13469)

* Delete some dead PAL code

GetComputerName and GetUserName are not used.

* HAVE_GETPWUID_R can now be deleted

Remove empty try's (#13493)

* Remove empty try's

* Remove some dead comments

* more

Undo a few JIT layout workarounds (#13505)

Remove some `goto`s that were added to work around #9692 (poor code
layout for loop exit paths) -- the JIT's layout decisions were improved
in #13314, and these particular `goto`s are no longer needed; crossgen
of System.Private.CoreLib now produces the same machine code with or
without this change.

Part of #13466.

ThreadPool minimalistic thread request cap (#13431)

Cap ThreadPool thread requests minimalistically

- Only request an additional thread on dequeue if enqueue request was suppressed, and if there are any work items left in the queues
- ThreadPool pad hot cache line
- Add ideas from #13408

fix JitConfig initialize and destoy (#13477)

fix JitConfig initialize and destoy.

Merge pull request #13496 from justinvp/version_parse

Avoid unnecessary intermediate Version allocation

Fixing wcsstr function to account for cases where search string is longer than remaining target string. (#13504)

Use CreateFile2FromApp if available (#13410)

* Use CreateFile2FromApp if available

This is needed for F5 UAP brokering scenarios.

Remove check for handle type. Overzealous, doesn't apply to UAP scenarios.

* Address feedback

- Use CreateFile2 if Win8 or higher
- Always use CreateFile2FromApp if Appx
- Make DisableMediaInsertionPrompt a struct
- Push CreateFile2FromApp down to avoid JIT

* More feedback

Always use FromApp for WinRT.

* Conditionalize IsWindows8OrAbove check

* Always use FromApp if in AppX

* Address more feedback

- Fix Unix build by moving LoadString to shared
- Break out CREATEFILE2 struct
- Condition CreateFile2FromApp usage

* Move include

Clean up VS experience for s.p.corelib.csproj (#13481)

* Remove bogus assembly warnings in VS

* Fix warnings about sharing files within the project tree

* Remove bogus lines

* Remove lines showing up as bogus source files

* Remove overridden target

* feedback

Merge pull request #13482 from rartemev/issue_12469

Fixed misconception between FP register allocator and RyuJIT's CSE phase

Merge pull request #13424 from stephentoub/versionspan

Add span-based Version methods

Support docker cgroup limits (#13488)

* Fix cgroup mountinfo parsing

The parsing would find the wrong '-' in lines like this:
354 347 0:28 /system.slice/docker-654dd7b6b8bbfe1739ae3309b471e95ccc82b3a3f56b7879f0a811d68b5c4e1d.scope /sys/fs/cgroup/cpuacct,cpu ro,nosuid,nodev,noexec,relatime - cgroup cgroup rw,cpuacct,cpu

* cgroup: don't append cgroup relative path for reading docker limits

Merge pull request #13497 from noahfalk/tiered_jit_fix_tests

Enable by-request tiered compilation testing in CI

Merge pull request #13483 from dotnet-maestro-bot/master-UpdateDependencies

Update CoreClr, CoreFx to preview2-25621-02, preview2-25621-02, respectively (master)

Merge pull request #12489 from jashook/unix_x64_and_arm64_fasttailcall_fix

[Unix x64|Arm64] Correct canfastTailCall decisions

Update CoreClr, CoreFx to preview2-25621-02, preview2-25621-02, respectively

Change the position of unassignPhysReg()

Fixing assert in groovy

Enable by-request tiered compilation testing in CI

Avoid unnecessary intermediate Version allocation

`Version..ctor(string)` is implemented by calling `Version.Parse`, which
allocates an intermediate `Version` instance. Avoid the unnecessary
intermediate allocation by using `Version.Parse` directly.

Fix incorrect switch temp lcl type

Merge pull request #12892 from pgavlin/LivenessDCE

Improve DCE in LIR liveness.

delete unused return argument (#13468)

Rename System.Threading.Thread.m_ManagedThreadId to System.Threading.Thread._ManagedThreadId to align with CoreRT implementation (#13473)

Rename System.Threading.Thread.m_ManagedThreadId to System.Threading.Thread._ManagedThreadId to align with CoreRT implementation

Fixed misconception between FP register allocator and RyuJIT's CSE phase

Merge pull request #13392 from noahfalk/tiered_jit_fix_tests

Make unit tests run clean with tiered compilation

Merge pull request #13472 from dotnet/revert-13464-reimport_rhel6_test_change

Revert "Re-port test project changes from release/2.0.0 to master"

`perf.groovy` updates. (#13465)

- Increase how long performance artifacts are kept.
- Added an extra step to move files to be archived into a different folder.

Improve DCE in liveness.

In particular:
- Rather than only removing dead code as part of dead store removal,
  remove all side-effect-free nodes that either do not produce a value
  or produce a value that is unused.
- When optimizing, set `fgStmtRemoved` in order to indicate that tracked
  lclVar uses or defs have been removed and liveness may need to be
  recalculated. Previously this flag was only set upon eliminating a
  dead store.

JIT: extend gc descriptor for ppp quirked local struct (#13438)

When we expand the size of a local for the ppp quirk, also expand
the size of its gc descriptor, and mark the new "fields" as non-gc.

Fixes #13407.

Merge pull request #13439 from dotnet-maestro-bot/master-UpdateDependencies

Update CoreClr, CoreFx to preview2-25618-04, preview2-25618-02, respectively (master)

Revert "Re-port test project changes from release/2.0.0 to master (#13464)"

This reverts commit 7a386da8fc7067978a880445555942ccc6343be8.

Re-port test project changes from release/2.0.0 to master (#13464)

Re-port test project changes from release/2.0.0 to master

Mention Byref Store/Load VN and Helper Call Kills

These are two more areas that have received recent scrutiny.

Merge pull request #13314 from JosephTremoulet/loops

Lay out loop bodies contiguously

Categorize optimization ToDos

Update JitOptimizerTodoAssessment

Update notes on struct promotion, loop optimization, if-conversion, and
mulshift.  Add notes about switch lowering and write barriers.

Merge pull request #13459 from adiaaida/updatePgoCounts

Update optdata in master to version 20170817-0120

Update optdata in master to version 20170817-0120

Merge pull request #13456 from adiaaida/revertPGO

Revert "Update optdata in master to version 20170817-0120"

Revert "Update optdata in master to version 20170817-0120"

This reverts commit 694eb48ae21ae79ca745fa3448be87d144ff912d.

Merge pull request #13455 from adiaaida/updatePgoCounts

Update optdata in master to version 20170817-0120

Introduce COMPlus_GDBJitElfDump (#13448)

* Add COMPlus_GDBJitElfDump

* Fix Release build error

* Add flags in EEConfig

Update optdata in master to version 20170817-0120

Merge pull request #13400 from sergign60/arm_build

[armel tizen] Fix for CoreRT issue https://github.com/dotnet/coreclr/issues/13195

[Unix x64|Arm64] Correct canfastTailCall decisions

This will change how the fastTailCall decision is made for x64 unix and arm64.
Before this change the decision was based on the amount of incoming and outgoing
caller arguments like on Windows. This was incorrect on Unix x64 and Arm64
because one argument does not translate to one register or one stack slot use.

Before this change structs on Arm64 and Amd64 Unix could
pessimize when we could fastTailCall if they were engregisterable
and took more than one register.

This change also fixes several cases when determining to fastTailCall. It fixes
 #12479 and will cause a no fastTailCalls decisions for case #12468.

In addition this change adds several regression cases for #12479 and #12468. It
includes more logging ofr fastTailCall decisions, including a new COMPlus
variable named COMPlus_JitReportFastTailCallDecisions, which can be toggled with
COMPlus_JitReportFastTailCallDecisions=1.

Update CoreClr, CoreFx to preview2-25618-04, preview2-25618-02, respectively

Fix for CoreRT issue https://github.com/dotnet/coreclr/issues/13195

Remove unnecessary genIsValidDoubleReg() assertion

Merge pull request dotnet/corert#4340 from dotnet/nmirror

Merge nmirror to master

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Typo (#13444)

Merge pull request #13445 from hseok-oh/ryujit/fix_13421

[RyuJIT/ARM32] Set carry bit: neg operation

Merge pull request #13442 from BruceForstall/EnableSuperPmiCoreDisAsmDiffs2

Enable SuperPMI asm diffs using CoreDisTools

Port fixes in DotNet-CoreClr-Trusted-Linux.json to unblock coreclr (#13446)

* Port fixes in DotNet-CoreClr-Trusted-Linux.json to unblock coreclr official run.

Port this commit:
https://github.com/dotnet/coreclr/commit/66d0fed853589e19336b6486f05f9218019ca4c9

* Remove extra new line at end of the file

Remove extra new line at end of the file

* Remove end line

Remove end line

Split fgComputeLifeLocal's subcases into separate functions.

There are three cases that are relevant here:
- Defs of tracked locals
- Uses of tracked locals
- Appearances of untracked locals

Each of these cases has been moved into its own function.

[RyuJIT/ARM32] Set carry bit: neg operation

Set carry bit when we generate ARM32 code for neg operation.

Enable SuperPMI asm diffs using CoreDisTools

Change SuperPMI to dynamically load coredistools.dll on demand.

Merge pull request #12632 from rartemev/issue_12464

Fix legacy backend crash on assert #12464

Migrate Git clone from GitHub to VSO (#13430)

* Migrate Git clone from GitHub to VSO

Migrate Git clone from GitHub to VSO

* Correct var name

Correct var name

* Remove PB_ as they are unnecessary and confusing.

Remove PB_ as they are unnecessary and confusing.

* Add dependent vars.

Add dependent vars.

* Fix repo name.

Fix repo name.

Fix more contract violations

Add perf test

Refactor loop identification into a class

This is mainly done to increase readability, as `optFindNaturalLoops`
had grown excessively large.  It also facilitates re-using code to fix
up fallthrough, and skipping past CallFinally/BBJ_ALWAYS pairs rather
than aborting once they're found.

Lay out loop bodies contiguously

Rearrange basic blocks during loop identification so that loop bodies
are kept contiguous when possible.  Blocks in the lexical range of the
loop which do not participate in the flow cycle (which typically
correspond to code associated with early exits using `break` or
`return`) are moved out below the loop when possible without breaking EH
region nesting.  The target insertion point, when possible, is chosen to
be the first spot below the loop that will not break up fall-through.

Layout can significantly affect the performance of loops, particularly
small search loops, by avoiding the taken branch on the hot path,
improving the locality of the code fetched while iterating the loop, and
potentially aiding loop stream detection.

Resolves #9692.

Fix legacy backend crash

Revert test part "Enable RedHat 6 in coreclr master (#13315)" to unblock CI.

This reverts commit b2b5fef27a4cb68571549f2e19660f39bd76467b.

Revert PR 13375 (#13436)

Merge pull request #13073 from rartemev/add_minopts_scenario

Added perf and perf_minopts scenarios for legacy backend

Add minopts scenario for Legacy backend

Merge pull request #13426 from JosephTremoulet/ConservativeConstant

Use conservative VN in CSE candidate const check