JIT: speed up fgComputePreds (#35352)

Interaction of `fgComputePreds` and `fgAddRefPred` could be quadratic in the
number of preds.

Usually the number of preds is small (1 or 2) but in some cases seen from
compiled regular expressions it could be in the thousands. On one such case
a single call to fgComputePreds was taking ~20% of jit time.

Since we build the pred list in sorted order we can take advantage of this
to avoid searching the list for potential duplicates in `fgAddRefPred` when
it is called from `fgComputePreds` -- the only possible duplicate entry is
at the end of the list.

This doesn't address perf of subsequent calls to `fgAddRefPred` but likely
those happen somewhat randomly and are unlikely to be as costly.

Merge pull request #35234 from noahfalk/nopgoopt

Add build argument to suppress PGO

Fix importing of calls with explicit `this`. (#35385)

When signature calling convention has `CORINFO_CALLCONV_EXPLICITTHIS`
set `this` argument is explicitly included in the argument list.
The importer wasn't taking that into account and was trying to pop
an implicit `this`, which resulted in `BADCODE("stack underflow")`
from `impPopStack` and `System.InvalidProgramException`.

Fixes #35384

Fix rolling builds (#35416)

Pick up renamed Microsoft.NET.ILLink.Tasks package (#35214)

Update the x86 hwintrinsic list to match the arm64 layout (#35364)

* Update the x86 hwintrinsic list to match the arm64 layout

* Applying formatting patch

Don't re-initialize static fields in Console (#35409)

the compiler is not capable removing the initialization

Improve Array.Sort(T[]) performance (#35297)

* Improve Array.Sort(T[]) performance

A variety of tweaks to improve `Array.Sort<T>(T[])` performance and address a regression left over from moving the array sorting implementation from native to managed.  The two most impactful are using `Unsafe.*` in `PickPivotAndPartition` to avoid bounds checks and aggressive inlining on `SwapIfGreater`.  A few other small improvements to codegen round it out.

I only made the unsafe changes in the `Sort<T>(T[])` implementation, and not in the more complicated implementations, such as for `Sort<T>(T[], Comparer<T>)` and `Sort<TKey, TValue>(TKey[], TValue[])`, but I did make some of the smaller changes for consistency across the file.

* Address PR feedback, and more tweaks

Implement BinaryPrimitives.ReverseEndianness for arm64 using rev (#34617)

* Implement GT_BSWAP for arm64

* Add GT_BSWAP16

* use TARGET_ARM64 in codegenarmarch.cpp

Add runtimeFlavor parameter to build-test-job.yml (#35377)

Add logic for immutable collection converters to share create-object delegate (#35080)

* Add logic for immutable collection converters to share create-object delegate

* Address review feedback

Enable DnsGetHostEntry_LocalHost_ReturnsFqdnAndLoopbackIPs (#35399)

Test is enabled because the failures were caused by Helix infra issue (a misconfigured agent) which was fixed a couple of days ago.

Fixes #34317

Make C-lib math functions introspection more robust (#35325)

* Make atan2 introspection more robust

* Use volatile and variables for all math.h checks

Fix null reference handling in VSD stub for x86 (#35331)

* Fix null reference handling in VSD stub for x86

The regression test that I've added recently to accompany a fix for null
reference handling in VSD stub for x64 is failing for x86. The problem
is that the null reference handling in VSD dispatch and resolve stubs
was broken in another way due to the x86 calling convention. When the
call went through a shuffle thunk that removes one stack argument due to
the shuffle, the manual unwinding in AdjustContextForVirtualStub was
getting an ESP that was off by one stack slot and exception handling
wasn't able to correctly unwind from that location to the caller.

This change fixes it by letting the AdjustContextForVirtualStub manually
unwind to the instruction after the call to the shuffle thunk / VSD stub
and updating the ESP according to the number of stack arguments of the
target method.

I have also modified the regression test. One change was to make a call
with multiple parameters to verify that the logic to get stack arguments
size is working correctly. Another change was to make sure that both
dispatch and resolve stub cases are tested.

* Replace MethodTable in the ResolveStub by size of stack args

This prevents issues in case the type represented by the MethodTable got
unloaded.

* Make the stack arguments size stuff Windows specific

On Unix x86, the stack is cleaned up by the caller, not the callee.

Refactor get_time_stamp_ns (#34536)

* Refactor get_time_stamp_ns

* Add place holder function for pc to make pc build pass

* Add missing header file

* Move all time functions to mono-time.c

* Make sampling_thread_running a global variable

* Pass void* to init, clean_up and get_time function to accormodate different clock ID types for different os, and move back profiler specific function

* Add static keyword for local helper function and fix a typo

* Change to platform-specific typedef approach

* Add missing header file for macOS

* Add missing header file for linux

* Change header file name

* Change header file name one more time

* Fix failures on macOS

* Update src/mono/mono/utils/mono-time.h

Co-Authored-By: Ryan Lucia <ryan@luciaonline.net>
Co-authored-by: Ryan Lucia <ryan@luciaonline.net>

Build warnings (#35404)

* Fix cmake warning about unmatched endif argument

* crossgen-corelib: fix empty mkdir warning

[jit] use helper to obtain method signature (#35344)

`mini_method_get ()` doesn't guarantee that `method->signature` is set.

Fixes a problem in https://github.com/mono/mono/pull/19624

/cc @lewing

Co-authored-by: lewurm <lewurm@users.noreply.github.com>

Merge pull request #35403 from janvorli/update-unloadability-doc

Update unloadability doc based on recent changes

Removed unecessary download of mono product build. (#35287)

Update unloadability doc based on recent changes

The management of the handle that native runtime keeps to
AssemblyLoadContext has changed to fix a race recently, so I am updating
the doc according to the change.

Update src/mono/mono/utils/mono-time.h

Co-Authored-By: Ryan Lucia <ryan@luciaonline.net>

Prevent a possible assert in the debugger when a thread detaches (#34955)

When a new thread is attached to the VM, the debugger will add it to the
`thread_to_tls` hash table. When that thread detaches, it will be
removed. Once the thread is attached, if a client is debugging, the
client can use the `CMD_THREAD_GET_FRAME_INFO` command to ask for
details about that thread.

This is a possibility that the thread detaches before the
`CMD_THREAD_GET_FRAME_INFO` command is processed, so the thread may not
exist the the `thread_to_tls` hash table any more.

This is a race condition, but is a valid state, so instead of asserting,
the debugger agent should indicate to the client that the thread no
longer exists, using `ERR_UNLOADED`.

[wasm] Rename the browser targets to `TargetsBrowser` (#35390)

- The change also makes sure that the `TargetsBrowser` is used consistently.
   - example TargetsWebAssembly and TargetsWASM

Merge pull request #35363 from janvorli/fix-unloadability-tests

Fix failures in unloadability tests

[wasm][debugger] Fix `evaluateOnCallFrame` for valuetype locals (#35361)

.. including generic, and async methods. This fixes `hover` for valuetype locals.

Co-authored-by: radical <radical@users.noreply.github.com>

Add build configuration to generate runtime packs for WebAssem… (#34936)

Delete JIT_PATH host key/value pair (#35359)

This was originally introduced to deal with the JIT being in a separate NuGet package. No longer the case for a years.

Fix failures on macOS

Fix nethost.h header file when consuming as a static lib. (#35373)

Additional code cleanup (#35259)

* Additional code cleanup

* Code review feedback

* Remove associated clrconfigvalue.h entries

* More code review feedback

* Eliminate unnecessary entries in clrconfigvalues.h

Revert "Build coreclr targetGeneric tests separately for CI (#34790)" (#35371)

This reverts commit 9188a5820ccc6dffc5763d22ee4a6cd040a4048c.

Delete an extra new line when there is a child. (#35355)

Jit: run throw helper merge phase before morph (#35255)

Now that we have pred lists before morph, we can move the throw helper
tail merge phase earlier in the phase list.

This has two benefits:
* we can now merge a few more cases, because morph can introduce unique
temps for otherwise identical calls;
* it saves some throughput, because we no longer need to morph duplicate
calls.

There is more opportunity here to reduce code size if we can find the right
heuristic in morph to decide if throw helpers should be called or tail-called,
though the overall benefit is small (~600 methods, ~2000k bytes). I left the
current heuristic in place as I couldn't come up with anything better.

Fixes #35135.

Fix some overlooked template moves in the YML templates (#35311)

Change header file name one more time

Fix failures in unloadability tests

The assert in EEClass::Destroy is invalid after a change #1201 that has
removed ArrayTypeDesc. It was causing failures of a large portion of the
coreclr tests.

There were also three tests that were failing due to test
incompatibilities with unloadability, so I am marking them as such.

Merge pull request #35332 from janvorli/fix-runincontext-path

Fix incorrect path of the runincontext script in Helix

Change header file name

Add missing header file for linux

[mono] Enable LLVM for iOS by default for AppleAppBuilder (#35338)

* Enable LLVM for iOS by default

* Update Makefile

Changes triggered by the CA1834 analyzer (#35227)

* Cherry pick if needed

* Changes triggered by https://github.com/dotnet/roslyn-analyzers/pull/3481

* sq

* Revert "Cherry pick if needed"

This reverts commit 55a98c41f6d2143737ec707faf2a3cf213474c97.

* sq

correctly set runWorkingDirectory (#35322)

[meta] Add embedding API function to get the default ALC (#35191)

* Formatting fixes

* Add embedding API function get the default ALC

Add missing header file for macOS

Build coreclr targetGeneric tests separately for CI (#34790)

* Build CoreClr tests separately

* Build coreclr targetGeneric tests separately for CI
* Build coreclr targetGeneric tests separately in runtime.yml
* Distinguish generic build based on Libraries config
* Build OSX release libraries when CoreCLR changed
* Always use tar.gz compression for generic tests

* Mark all CoreCLR Interop/COM projects OsSpecific

Change to platform-specific typedef approach

Update docs links to 3.1 (#35309)

Fix invalid cast in StringValues.this[int] (#35302)

Updated assert statement to include a check for Timeout in FileSystem… (#35298)

* Updated assert statement to include a check for Timeout in FileSystem.Attributes.Windows

* fixes 28831
Added the check, the earlier commit had a syntax error.

Update Android CI build image (#35333)

Includes newest Android NDK and defines the ANDROID_NDK_ROOT environment variable which is preferred to ANDROID_NDK_HOME.

[meta] Add GCHandle embedding API v2 with pointer-sized handles (#35197)

Build iOS AOT compiler against LLVM, always. (#35306)

Timeout increased to 10 miliseconds (#35289)

Timeout increased to 10 milliseconds in Timeout_TooShort_AllPendingOperationsCanceled

Fixes #32818

Merge pull request #35049 from k15tfu/fix-coreclr-profiler-path-arm-arm64

Fix handling CoreClr profiler path for 32/64 bit flavors on ARM/ARM64

Rename the 'WebAssembly' OS to 'Browser' and the RID to 'brows… (#35323)

enable Proxy_UseEnvironmentVariableToSetSystemProxy_RequestGoesThruProxy test (#34444)

* Disable test on windows and enable on other platforms

* enable test

* Add diag logs

* enhance logging

* Add body logging

* Add more logs

* Add logs to loopback server

* add trace

* Disallow run test on WinHttpHandler and remove logs

* Clean up

* rename variable

JIT: revise how the jit tracks use of generics context (#34827)

The generics context is reported by the jit specially whenever it feeds into
runtime lookups, as expansion of those lookups can expose pointers into runtime
data structures, and we don't want those data structures to be collected if
jitted code is still using them.

Sometimes uses of the context are optimized away, and reporting costs
code size and GC space, so we don't want to report the context unless there
is an actual use.

This change revises how the jit keeps track of context use -- instead of trying
to incrementally ref count uses of the generics context, we now just leverage
existing passes which do local accounting.

Initial motivation for this came from #34641 where the context use was
over-reported, but investigation showed we also some times under-report as
the context var could be cloned without changing the ref count.

So this change fixes both under and over reporting.

Closes #34641.

Re-enable Windows 7 and Windows8.1 helix queues (#35211)

Json-Parse: Parse with `RapidJson::kParseStopWhenDoneFlag` on all architectures (#35073)

RapidJson's `kParseStopWhenDoneFlag` indicates that parsing should stop once the root element is parsed, and should not throw an error for any further content.

This flag is useful when the input stream doesn't always have a null-terminator --
ex: an input `bytestream` (rather than a `stringstream`), files embeded within the single file bundle.
The limitation of using this flag is that any actual random text after the root element is silently ignored.

Currently, RapidJson is invoked with `kParseStopWhenDoneFlag` on Windows, but not on Unix.
This caused `kParseErrorDocumentRootNotSingular` failure on Unix when parsing json files from single-file bundles.

This change fixes this problem by passing `kParseStopWhenDoneFlag` on all platforms.
This also makes the host behavior consistent across platforms.

System.Diagnostics Tracing APIs (#35220)

* System.Diagnostics Tracing APIs

* address the feedback

Optimize VectorX.Clamp according to proposed change (#34896)

* Optimize Vector4.Clamp according to proposed change

* Apply clamp optimizations to all vector types

more code cleanup (#35276)

mostly for gc_low/gc_high usage.

there is one functional change which is there's an incorrect assert in plan_phase which is not true when mark_list is used

[mono] Bundle all tests to *.app for iOS as part of -subset Libs.Tests (#35283)

* Build *.app for iOS as part of Libs.Tests subset

* Add `-test` support

* Reduce *.app size (from 45 to 32 mb)

Mdhwang/reduce mobile checks (#35105)

* [eng] Add TargetsMobile Property to Subsets.props

* Replace TargetOS mobile conditions with TargetsMobile Property

* [libraries] Remove leftover condition`

Co-authored-by: Mitchell Hwang <mihw@microsoft.com>

Implemented cmd version of excludemonofailures parameter. (#35292)

Fix SuperPmi MCS tool (#35290)

It currently errors out if it finds a method without `CORINFO_FLG_STATIC`, `CORINFO_FLG_DONT_INLINE` or `CORINFO_FLG_CONSTRUCTOR`. Also, it only prints the first attribute it encounters.
It's unclear to me how this ever worked, but in any case it isn't useful to fail to generate a map or IL dump.

GCPOLL and Natural loop fixes (#34837)

* Fixes for GCPoll and COMPLUS_GCPollType=3

* This is a combination of 2 commits.

Fix for a rare case where fgReorderBlocks splits the blocks for a natural loop

* Address Code review feedback from Aaron

[Arm64] Implement ASIMD Extract Insert ExtractVector64 ExtractVector128 (#35030)

* Implements Extract, Insert, ExtractVector64 and ExtractVector128 intrinsics.

* Implements a way to generate a fallback mechanism for intrinsics accepting an immediate operand when the operand is not constant.

* Renames NoContainment flag to SupportsContainment on Arm64 (presumably, there should be fewer intrinsics supporting containment analysis so it makes more sense to have NoContainment as default)

* Removes ival column from hwintrinsiclistarm64.h table and the corresponding field in HWIntrinsicInfo struct.

Remove the explicit IEquatable implementation from the IntPtr/UIntPtr reference API (#35256)

Fix store/load float LCL_FIELD with unaligned offsets on arm32. (#34990)

* Fix arm32 access to unaligned float fields.

* Add an additional test for the issue.

* Reenable the test.

* We don't need to require 8 bytes alignment for double, 4 is enough.

* Add comments.

* Move `buildInternalRegisterUses` after we define all of them.

* Extract `IsOffsetMisaligned`.

* Fix for the `IND float(ADD byref(LCL_VAR byref, CNT_INT 1))`.

Ping timeout in SendPingWithIPAddress test increased to 10 seconds (#35286)

Ping timeout in SendPingWithIPAddress test increased to 10 seconds to prevent failures.

Add static keyword for local helper function and fix a typo

Stop passing in auto-discovered xunit traits (#35237)

* Stop passing in auto-discovered xunit traits

With https://github.com/dotnet/arcade/pull/5314, framework and platform
traits don't need to be passed in manually anymore. Also removing the
obsolete vstest.runner.json as it isn't needed for VSTest.

Merge pull request #35275 from kjpou1/doc/requirements/mono

[docs] Helpful links when building the first time.

[master] Update dependencies from Microsoft/vstest dotnet/xharness (#35198)

* Update dependencies from https://github.com/microsoft/vstest build 20200420-01

- Microsoft.NET.Test.Sdk: 16.7.0-preview-20200416-02 -> 16.7.0-preview-20200420-01

* Update dependencies from https://github.com/microsoft/vstest build 20200421-02

- Microsoft.NET.Test.Sdk: 16.7.0-preview-20200416-02 -> 16.7.0-preview-20200421-02

* Update dependencies from https://github.com/dotnet/xharness build 20200421.1

- Microsoft.DotNet.XHarness.Tests.Runners: 1.0.0-prerelease.20220.2 -> 1.0.0-prerelease.20221.1

* Update dependencies from https://github.com/dotnet/xharness build 20200421.3

- Microsoft.DotNet.XHarness.Tests.Runners: 1.0.0-prerelease.20220.2 -> 1.0.0-prerelease.20221.3

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>
Co-authored-by: Alexander Köplinger <alex.koeplinger@outlook.com>

Fix a warning. (#35272)

<!--
Thank you for your Pull Request!

If you are new to contributing to Mono, please try to do your best at conforming to our coding guidelines http://www.mono-project.com/community/contributing/coding-guidelines/ but don't worry if you get something wrong. One of the project members will help you to get things landed.

Does your pull request fix any of the existing issues? Please use the following format: Fixes #issue-number
-->

Co-authored-by: vargaz <vargaz@users.noreply.github.com>

[wasm][debugger] Fix enumerating for `this` on valuetypes (#35267)

- This also fixes the same thing for `evaluateOnCallFrame`
- And, showing type arguments in generic method names

Co-authored-by: radical <radical@users.noreply.github.com>

[amd64] Fix tailcall with arguments passed on stack (#34814)

On all platforms, OP_TAILCALL copies the arguments (that are passed on the stack) from the param area in the current frame, to the param area in the caller frame, meaning that it expects the arguments to be passed normally on the stack. However, on amd64, mono_arch_emit_call was storing these arguments directly in the param area of the caller (EMIT_NEW_ARGSTORE), instead of the param area of the current frame. OP_TAILCALL would then override the already set stack parameters with random data from the uninitialized param area of the current frame.

Merge pull request #35173 from am11/feature/solaris/coreclr-port-without-libunwind-changes

Port CoreCLR to SunOS

JIT: add suppressed zero inits if we transform tail recursive call to… (#35148)

Track whether the jit has suppressed in-body zero initialization for any locals
because at the time it appeared prolog initialization would be sufficient. If
the jit subsequently decides to change a tail recursive call into a loop, use
this information to add back the missing zero initializations.

Added a test case.

Addresses #33529.

[docs] Helpful links when building the first time.

- Add requirements link to the mono build README.md
- Add a link to the requirements document when missing openssl.

Enable CI to run CoreCLR tests on Mono (#34054)

Run the runtime tests on mono in ci.

Co-authored-by: Joseph Shields <directhex@apebox.org>

Expose BinaryReader / BinaryWriter 7-bit encoding methods publicly (#35170)

Add Checked configuration to crossgen2 project (#35266)

The runtime is often built Checked during development for faster code that's still fairly debuggable. Add a Checked build option to Crossgen2's projects which lets runtime developers build / debug in VS and consume an existing Checked JIT.

More clrconfig cleanup (#35261)

* More clrconfig cleanup

* Fixed a build error

Stop passing GC types in IL tests. (#35207)

Enable the installer for mono Linux_x64 (#35127)

Since mono distributes only runtime packs, this change removes steps that assume the
shared framework exists along with installers.

Fixes https://github.com/dotnet/runtime/issues/35082

Consolidate Microsoft.NETCore.App property usage (#35116)

* [eng] Add SharedFrameworkName Microsoft.NETCore.App property

* [src] Remove extra SharedFrameworkName declarations

Co-authored-by: Mitchell Hwang <mihw@microsoft.com>

Remove DisallowNull annotation in JsonConverter.Write() (#35022)

Merge pull request #35253 from dotnet/leecow-patch

Update 5.0 snap yaml

add 5.0 snap yamls

Merge branch 'master' of https://github.com/dotnet/runtime into leecow-patch

Fix dactablegen's search for MSDia and remove DIADll from the tree (#35086)

* Copy msdia140 to binary path to ensure correct bitness
* Remove DIALib binary from the tree

Emit type layout check fixups (#34927)

* Emit type layout check fixups

When a ready-to-run compiled method uses value types from other version bubbles, emit a precode fixup to check at runtime that the type is still compatible (same size, alignment, GC layout).

Bring over `GCPointerMap*.cs` from CoreRT repo to get the compute the GC layout bytes that match what the runtime expects in the layout blob.

Simplify the behavior of the Crossgen test scripting. If tests opt out of crossgen by setting `<CrossGenTest>false</CrossGenTest>`, skip emitting the crossgen commands into the test run script. Also, stop setting the `RunCrossGen` and `RunCrossGen2` environment variables in the test script based on compile-time settings. These get set by runtest.py anyway. This set of tweaks allow for crossgen tests which we don't want to run the default crossgen commands on, and allow choosing either crossgen or crossgen2 as part of test execution.

[GC] Fix the bounds of desired size equalization loop . (#35226)

* Fix the bounds of desired size equalization loop .

* Use <= in the right place.

update branding to preview5 (#35215)

Add API docs for HashAlgorithmName.{Try}FromOid.

Add new IntPtr/UIntPtr API surface (#307)

* Add new IntPtr surface

* Add new UIntPtr API surface

* Add sequential layout to match [U]Int32

* Add interfaces and sequential layout

* Add interfaces

* Add namespaces

* Add namespaces

* Update UIntPtr.cs

* Update IntPtr.cs

* Change style

* make non versionable, elide copy

* fix style, elide copy, make non versionable

* Fix syntax error

* Fix style issues

* Fix style issues

* Update IntPtr.cs

* Update UIntPtr.cs

* Update ref assembly

* Allow comparison of intptr/uintptr in Array

* Fixed ELEMENT_TYPE cases, added tests based on Int32/UInt32 tests

* Fixes

* Update Array.cs

* Update Array.cs

* Update Array.cs

* Update ArrayTests.cs

* Update ArrayTests.cs

* Update UIntPtrTests.cs

* Update ArrayTests.cs

* fix instance methods??

* fixes

* Fixwa

* fix tests

* Add non versionables

* fix compare methods

* Fix comparison error

* fix boundary

* fix compares

* fix maxvals

* remove xunit buggy data

* silly var name error

* Update src/libraries/System.Private.CoreLib/src/Resources/Strings.resx

Co-Authored-By: Tanner Gooding <tagoo@outlook.com>
* Fix ToString

Co-authored-by: Tanner Gooding <tagoo@outlook.com>

Add API docs for HashAlgorithmName.{Try}FromOid.

Merge branch 'master' into feature/solaris/coreclr-port-without-libunwind-changes