[mono] Introduce MonoMemoryManager to hold memory previously owned by the domain (#41754)

* Introduce MonoMemoryManager

* Move things out of the domain

* Update callers

This does *not* handle cases where we call mono_domain_alloc and friends, just direct access to domain->mp etc. As of this, everything is allocated from the default ALC on netcore and the domain on legacy.

* Update locks in domain_alloc functions

* Take correct lock around mp

* Introduce memory manager allocation helpers

* Shorten mono_domain_default_memory_manager

* Add memory_manager alloc nolock variants

* Fix locking

* More use of nolock functions

* Add trailing newline to monovm.h

This is obviously unrelated, but it was causing issues with my sed commands

* mono_memory_manager -> mono_mem_manager

Bit shorter at least, but I can cut it down further if deemed necessary

* Add to msvc build

* Fix mono/mono build

* Fix test failure

Oops

* Remove erroneous returns

* Store domain in memory manager, take domain lock

* Build fixes

* Remove comment

* Free memory manager during domain unload

* C++ fix

* Don't double free

* Remove designated initializer

MSVC C++ fails it seems :(

SPMI: fix performance of `repRecordCallSite`. (#42192)

* Fix a long replaying test.

* add a comment.

Fix the globalization test. (#42212)

Redo annotation of Enumerable.Cast and friends to use oblivious TResult (#42215)

* Revert "Make Enumerable.Cast<T> and friends return IEnumerable<T?> (#40929)"

This reverts commit e75670889321611505115e4561a98e80732b58a0.

* Redo annotation of Enumerable.Cast and friends to use oblivious T

Some folks aren't happy with the fallout of Cast being annotated to return a `TResult?`, and others aren't happy with having it be `TResult`.  Consensus is to make the TResult oblivious, such that we don't declare one way or another what it is, since there's no good way to annotate it appropriately.

[utils] Fix MONO_SOLIB_EXT in mono-dl.h on Apple ARM64 (now .dylib) (#42181)

Co-authored-by: k15tfu <k15tfu@users.noreply.github.com>

Don't use BADCODE when inlining. (#42193)

[wasm][debugger] Avoid infinite loop when we have a boxed `new object` (#42059)

* [wasm][debugger] Avoid infinite loop when we have a boxed `new object`

Eg. `object o = new object(); object o1 = o;`
- Avoid infinitely looping for `o1`

* [wasm][debugger] Handle valuetypes boxed in classes that are not

.. type `object`.

Prompted by @lambdageek's comment - https://github.com/dotnet/runtime/pull/42059#issuecomment-690310274

[wasm][debugger] Skip downloading pdb, for empty urls (#42060)

Mark System.Runtime APIs Supported on Windows (#42030)

* [wasm] System.Runtime enable platform attributes

* System.Runtime Mark APIs Supported on Windows

* Avoid nullable token error

Co-authored-by: Mitchell Hwang <mitchell.hwang@microsoft.com>

AccessViolation when using ValueTypes as a Service (#42152)

* AccessViolation when using ValueTypes as a Service

When using ValueTypes as services in DependencyInjection, we are generating incorrect IL in a few cases:

- When the ValueType is a top level service
- When the ValueType is in an IEnumerable of services

We were double unboxing the ValueType, which was causing AccessViolations.

This was a regression caused by a previous change when ValueTypes were used in constructor parameters of services.

To fix this, I lifted the unboxing into the VisitConstructor and VisitIEnumerable methods instead of forcing VisitConstant to always do the unboxing. VisitConstant doesn't have enough context to know whether it should do the unboxing or not.

Fix #42037

* Add transient tests

Test only the BodyContent property (#42177)

Parse the response as JSON in order to test only the BodyContent property.

Removing the T4 templates used by Vector<T> (#42050)

* Removing the T4 templates used by Vector<T>

* Fixing System.Numerics.Vectors.Tests

* Adding back Register so morph doesn't break

* Renaming Vector.cs to Vector_1.cs

* Renaming Vector_Operations.cs to Vector.cs

Implement MIPS64 RID (#42194)

https://github.com/gsvm/loongson-dotnet/issues/6

[mono] Enable startup stats timer on wasm (#41994)

* Set clock in mono_clock_init if available and add wasm definitions

This matches the OSX behavior and cleans things up a bit. We also now call this cross-platform, so don't error when called on Windows

* Add new "real time" counter based on clock_gettime

The initial value is set early in mono_main as part of mono_counters_init. This is needed because /proc/stat does not exist with emscripten and we need a way to measure time on wasm

Temporarily disable Linux musl ARM testing in Helix (#42195)

We need to disable it until the CLI for musl arm is produced.

Remove the directory src/coreclr/tests/src (#42139)

Move CLRTest.*.targets under src/tests/Common;

Consolidate Directory.Build.props in src/tests, src/tests/Common and src/coreclr/tests/src - src/tests is now the "master" version, src/tests/Common just points to it and src/coreclr/tests/src no longer exists;

Move Directory.Build.targets from src/coreclr/tests/src to src/tests/Directory.Build.targets that was previously just importing the src/coreclr/tests/src version;

Move the few remaining scripts under src/coreclr/tests/src to src/tests/Common (dirs.proj, nobuild.targets, runonly.targets, xunitconsolerunner.depproj).

Thanks

Tomas

[master] Update dependencies from Microsoft/vstest dotnet/xharness mono/linker dotnet/arcade dotnet/icu (#41796)

[master] Update dependencies from Microsoft/vstest dotnet/xharness mono/linker dotnet/arcade dotnet/icu

 - Merge branch 'master' into darc-master-7eb28eb8-d9b3-4ab3-8732-196d2424c589

 - Merge branch 'master' into darc-master-7eb28eb8-d9b3-4ab3-8732-196d2424c589

Mark some System.Net.HttpListener APIs as unsupported on browser (#42063)

* Mark some System.Net.HttpListener APIs as unsupported on browser

* FIx windows builds

* Fix windows builds

* Remove browser annotations from the properties with windows-specific setters.

* Mark only setter of ExtendedProtectionPolicy

* Remove another redundant annotation

Disable UnmanagedCallersOnlyTest on WASM. (#42191)

Re-add linker attributes to generic type params of JsonSerializer methods (#42186)

Add specification for extending supported types of TKey in ditionaries. (#32676)

* Add specification for extending supported types of TKey in ditionaries.

* Fix enumeration in notes

* fix notes

* Fix supported types.

Convert invalid C# uses of UnmanagedCallersOnly to IL. (#42146)

* Convert invalid C# uses of UnmanagedCallersOnly to IL for negative testing.

Delete unused multibyte methods from PAL (#42157)

[wasm][debugger][test] Change DateTime format test (#42136)

* Changing DateTime format tests, we cannot test how we were doing before because wasm and dotnet core uses different versions of ICU.

* Changing what @radical suggested.

[gc] add stop-the-world api (#42138)

It's sometimes useful to have a way for the runtime to stop the world.  Only works on SGen.

Co-authored-by: lambdageek <lambdageek@users.noreply.github.com>

[metadata] Add #JTD heap MonoImage:minimal_delta bit (#42137)

The presence of the heap indicates that it's a minimal delta image (where the heaps are meant to be appended to the previous heaps), as opposed to a full delta image (where the heap in the delta image contains the previous and the
new data)

---
Also add `MONO_TRACE_METADATA_UPDATE` (set `MONO_LOG_MASK` to `metadata-update`) for tracing

Co-authored-by: lambdageek <lambdageek@users.noreply.github.com>

Move the remaining test dependencies under src/tests (#42103)

Move ilasm, test_dependencies and test_dependencies_fs under src/tests.

Fix ldtoken for generic RuntimeMethodHandle (#42112)

ldtoken for generic RuntimeMethodHandle in non-generic method triggered generic dictionary lookup due to normalization of MethodDescs for reflection. It lead to InvalidProgramException later.

Fixes #41674

Fix Unix build issue (#42104)

When native build fails, handle exit code properly by checking it immediately after cmake is called

Fix building JIT without runtime on Linux (#42090)

* Don't build createdump
* We need mscorrc

PhysicalFileProvider and PhysicalFilesWatcher should implement IDisposable correctly  (#41918)

Removing the Vector*_Intrinsics.cs file, regions from the numerics code, and normalizing the member order (#41898)

* Removing the Vector*_Intrinsics.cs file, regions from the numerics code, and normalizing the member order

* Updating the doc comment for Quaternion

Enable build + pack of cross-OS diagnostic artifacts on Linux-musl-arm (#42096)

Delete unused kernel32 QCalls (#42058)

[mono] Preserve GetterAdapterFrame if CreateGetterDelegate is used (#42091)

Fixes https://github.com/dotnet/runtime/issues/41811

Delete the obsolete PerfHarness project (#42092)

According to Drew's clarification this is an old version of the
perf harness that is no longer used. Deleting it as part of my
ongoing work on CoreCLR test system cleanup.

Thanks

Tomas

move template (#42098)

Fix vtable chunk sharing with covariant returns (#42077)

* Fix vtable chunk sharing with covariant returns

There is an issue causing invalid sharing of a vtable chunk when a
method is overriden using method impl in a class and its parent class
and the slot in the parent class is in a previous vtable chunk. The
algorithm in MethodTableBuilder::ChangesImplementationOfVirtualSlot that
detects whether a slot in a vtable chunk was changed doesn't know that
the override will be propagated to all slots occupied by the method
being overriden. In the test attached to this fix, it leads to a stack
overflow due to an infinite recursion in the type system code. It could
also result in an overwrite of the method in the parent class, so when
another class derives from it, it would get a method from its sibling.

This change fixes it by checking if the parent method of a current slot
was overriden in some previous slot in the vtable.

Mark System.Security.Cryptography.Algorithms as unsupported on Browser WASM (#42010)

* Mark System.Security.Cryptography.Algorithms as unsupported on Browser WASM

* Address the comment regarding IncrementalHash.CreateHMAC

* Group System.* usings

* Restore the blank lines between the meta-comment and the code for all the HMAC classes

* Fix style issues

* Mark MD5 class as unsupported on Browser; clean up the api exclusion list and proj file.

* Using

* Style fix

Remove some accidental duplicates from mini/CMakeLists.txt. (#42095)

Mark some System.Net.Http APIs as unsupported on browser (#42074)

Remove machine state modifications on Unix (#42083)

Changing /proc/sys/kernel/core_pattern is handled by core-eng and should not be done by helix consuming repositories. Also removing a workaround that has been fixed since (__CrashDumpFolder=/cores) on macOS. Also removing ulimit which is handled by core-eng as well.

Fixing TargetHasAVXSupportCheck to read ECX not EDX (#42089)

Remove Windows / Unix duplications in send-to-helix script variants (#42038)

After cleaning up send-to-helix-step / send-to-helix-inner-step,
I have noticed two more scripts unnecessarily duplicating the
Windows / Unix variant the same way, both of which can be adapted
to my (slightly generalized) send-to-helix-inner-step.

Thanks

Tomas

Correct fallback logic for ECDiffieHellmanCng with other ECDHPublicKey types

Use the concrete ECDiffieHellmanCng type (which is the internal type in Algorithms and the public type in Cng) instead of calling Create (which always returns the internal type).

Ongoing work on the cmake build. (#42072)

* Ongoing work on the cmake build.

* Add wasm cross compiler support.
* Add ios target support.
* Make ranlib deterministic on osx.
* Add GC_SUSPEND option.

* Add a 'preemptive' value to GC_SUSPEND.

* Add an ENABLE_WERROR option.

* Split mono/mini/CMakeLists.txt file into per-subdirectory files.

improve ConnectAsync_CancellationRequestedAfterConnect_ThrowsOperation test (#42054)

Enabling CA1416: Validate platform compatibility (#41760)

* Enabling CA1416

* Resolving PR feedback

* Updating the .NET analyzers to 5.0.0-rc2.20458.2

* Resolving compilation errors on full framework

* Fixing two more tfm issues with the platform compat checks

* Adjusting various platform compat checks to work with netstandard and netfx

Delete AreEqualOrdinalIgnoreCase (#42067)

This is unused after #40910 and breaks building standalone System.Globalization.Native (`error G94D986AD: unused function 'AreEqualOrdinalIgnoreCase' [-Werror,-Wunused-function]`).

Implement SocketsHttpHandler.ConnectCallback (#41955)

* Implement SocketsHttpHandler.ConnectCallback

move Http2_MultipleConnectionsEnabled_IdleConnectionTimeoutExpired_ConnectionRemovedAndNewCreated to outerloop (#42051)

[crashing] update s390x handling (#41961)

commit 2a4e66af4dc628a84a42ff443bc2c09a4bcc7dec broke build on s390x after
changing the signature of `mono_handle_native_crash()`. We need to update
exceptions-s390x.c as well.

Fixes: https://github.com/mono/mono/issues/20356

Co-authored-by: sharkcz <sharkcz@users.noreply.github.com>

Enable Alpine ARM support (#41982)

* Enable Alpine ARM support

This change enables Alpine ARM support in the lab build scripts,
packages and RID graph. It enables CI and official builds.
No test leg execution until packages are produced.

Add test leg to the PR build to run libraries tests on iOS x64 Simulators (#37476)

Forked from https://github.com/dotnet/runtime/pull/37057

Adds the iOS test leg that will execute selected BCL tests on an iOS x64 Simulator (13.5) using the `OSX.1015.Amd64.Open` queue which is our on-prem Mac Mini infrastructure (60 machines).

To prepare the Helix job, we are using the Arcade Helix SDK, more specifically the [XHarness Helix SDK](https://github.com/dotnet/arcade/blob/master/src/Microsoft.DotNet.Helix/Sdk/tools/xharness-runner/Readme.md) which uses the [XHarness tool](https://github.com/dotnet/xharness) to control the test run.

Temporarily disable arm64-intrin. UTF-16 validation (#42052)

[mono] Propagate -Werror properly, fix warning (#41996)

Update SDK min and target version to >= Preview8 (#41947)

* Update SDK min and target version to >= Preview8

Adds instruction count and summarized variable debug info (#42040)

* Print instruction count in Jitasm

* Print summarized variable debug info

* Make instrCount a local variable

[browser][http] Add support for AllowAutoRedirect. (#41394)

* [browser][http] Add support for AllowAutoRedirect.

* Update src/libraries/System.Net.Http/src/System/Net/Http/BrowserHttpHandler/BrowserHttpHandler.cs

Co-authored-by: campersau <buchholz.bastian@googlemail.com>
* Address review comments and add flag to determine if the _allowAutoRedirect was explicitly set or not.

* Remove Disposed and Handler checks to address review comments

* Update src/libraries/System.Net.Http/src/System/Net/Http/BrowserHttpHandler/BrowserHttpHandler.cs

Co-authored-by: Marie Píchová <11718369+ManickaP@users.noreply.github.com>
* MaxAutomaticRedirections moved back to PlatformNotSupportedException.

* Address review comments about wrong order.

Co-authored-by: campersau <buchholz.bastian@googlemail.com>
Co-authored-by: Marie Píchová <11718369+ManickaP@users.noreply.github.com>

add build rotation doc (#42005)

* add build rotation doc

* Update docs/buildtriage.md

* address feedback

* removing the extra table

* Update docs/buildtriage.md

Co-authored-by: Jan Kotas <jkotas@microsoft.com>
* remove  pass rate

Co-authored-by: Dan Moseley <danmose@microsoft.com>
Co-authored-by: Jan Kotas <jkotas@microsoft.com>

rework UseCallback_BadCertificate_ExpectedPolicyErrors test to use Loopback server to avoid external dependency (#41850)

* rework UseCallback_BadCertificate_ExpectedPolicyErrors test to use Loppbackserver to avoid external dependency

* feedback from review

* attempt to fix old winhttp

set isShipping=false for internal.transport (#42032)

Avoid Unnecessary Cast (#42033)

By changing  to  we no longer have a
cast from double to float.

Fixes #41140

[iOS] Make Environment.GetFolderPathCore Xamarin.iOS compatible (#41959)

Remove empty transform file. (#42042)

Signed-off-by: Jeremy Koritzinsky <jekoritz@microsoft.com>

Build infra changes to enable building a more universal cross target jit builds (#41126)

This change is part of a larger effort to enable crossgen2 to perform general purpose cross compilation from any architecture to any other architecture. This portion of the change is to begin generating cross targeting jits with a consistent naming scheme with a minimal amount of code change.

The practical output of this change is replacement of the current practice of building protojit/protononjit/etc. with `clrjit_<targetos>_<target_arch>_<host_arch>` binaries.

In addition I've defined a couple of new subsets so that this can be less impactful to the inner dev loop.

clr.alljits, which will build all of the jits.
clr.jit, which will build only non-cross targeting jits.
clr.runtime which has been enhanced to not trigger the alljits build.

Current restrictions of the change:
1. This change does not support 32bit to 64bit compilation. I've built a larger change that includes the necessary work for that, but the changes are more disruptive, and I would prefer to scope this work to make it reviewable.
2. This work builds different compilers for the unix targetting and windows targetting compilers. This is due to the different ABIs that the architectures support. Upon investigation, I've determined that the actual product differences in these cases is small for ARM and ARM64. In the future, once we have testing, I believe it would be reasonable to unify the generated compiler binaries.
3. These changes do not build an armel targeting compiler for all scenarios, but it does build one with the current naming scheme as was done before. Again, like in condition 2, I believe we can make a single arm targetting compiler that will work.
4. These changes include changes to crossgen2 to use the new compiler binaries. However, there is no expanded testing to cover test the newly available cross compilation capabilities. That will appear in follow-on work.

Add managed Marshal.AllocBSTRByteLen() (#41962)

[interp] Remove dead basic blocks and merge adjacent ones (#41913)

We have a new pass that iterates over basic blocks list. This pass merges adjacent bblocks (who have a single out/in with is matches with one another and they are also consecutive in code order, `first_bb->next_bb == second_bb`) and removes dead basic blocks (who have `in_count == 0`). The linking between basic blocks is set during code generation and it is also updated, by removing links during constant folding and removal of conditional branches. If we merge a pair of basic blocks then we do another copy propagation pass, since cprop runs only at basic block level, and it can now propagate values to the new merged bblock.

This PR also enables inlining of methods with multiple returns, by having an exit_bb where all `ret` from inlined method can branch to.

Co-authored-by: BrzVlad <BrzVlad@users.noreply.github.com>

Fix ilasm parsing of defines (#42002)

Regression introduced by #41611

Fixes #42001

Handle IdLinkage X509 chain building status.

In macOS, when building an X509 chain, if a leaf and issuing certificate
form a chain, but the subject and authority key identifiers do not match,
an IdLinkage status is reported.

To match Windows, we ignore this chain status.

Linux appears to use these extensions when building a chain, and reports
PartialChain even if the attributes were not strictly needed to aid in
building a chain.

Additionally, this updates the debugging output for macOS to use an allocating
function to convert a CFString to a C string. CFStringGetCStringPtr will return
"NULL if the internal storage of theString does not allow this to be returned efficiently."
which it appears to have started doing for me.

Update comments to match official Win32 API documentation. (#42026)

Ensure <Nullable>enable<Nullable> on System.IO.Packaging and S.Resources.Extensions (#41731)

Fix src ref diffs

Implement ExportSubjectPublicKeyInfo on ECDHPublicKey

Implement {Try}ExportSubjectKeyInfo on ECDHPK.

Handle name constraint errors from chain building.

Map Linux name constraint status codes to the appropriate
X509ChainStatusFlags.

macOS does not have a unique status for different types of name
constraint violations like Linux and Windows do. Map this to
InvalidNameConstraint.

Integrate minor fixes from dotnet/runtimelab:NativeAOT (#41999)

Mark System.IO.Pipes Unsupported at assembly level (#41976)

Co-authored-by: Mitchell Hwang <mitchell.hwang@microsoft.com>

Fix exception mapping during expect 100 cancellation. (#41800)

fix assert ordering (#42007)

[mono] Minor fixes to the wasm browser sample (#41992)

Use python 3, fix typo, prevent inlining

Update xml char type (#41756)

[wasm] Mark System.Net.NameResolution Unsupported at assembly level (#41985)

Co-authored-by: Mitchell Hwang <mitchell.hwang@microsoft.com>

Mark System.Net.WebSockets.ClientWebSocketOptions APIs as unsupported on Browser (#41963)

* Mark System.Net.WebSockets.ClientWebSocketOptions APIs as unsupported on Browser

* Add the attributes to non-browser version of ClientWebSocketOptions class to avoid build error

* Add using

* Include platform attributes

[wasm] Mark System.Threading.ThreadPool unsupported on Browser (#41891)

* System.Threading.ThreadPool enable platform attributes

* Mark System.Threading.ThreadPool APIs unsupported on browser

* System.Threading.ThreadPool Add Unsupported attribute to other ThreadPool files

* Remove Unsupported attributes from BindHandle

* Add windows Supported Attribute to BindHandle

Co-authored-by: Mitchell Hwang <mitchell.hwang@microsoft.com>

Add initial release testing for outerloop and jitstress pipelines (#41856)

I have fixed the CoreCLR outerloop pipeline to include the release
branches. For jitstress and libraries_jitstress I have split the
schedules to run every other day for master vs. release as with
the growing number of Mono runs there's not much space for maneuver
w.r.t. allocating new lab HW.

Thanks

Tomas

Remove netcore/ directory from the mono/mono repository. (#41972)

Co-authored-by: vargaz <vargaz@users.noreply.github.com>

Do not address expose a struct having 1 slot (#40957)

ARM64: Eliminate redundant ldr/str instruction (#39222)

* IsRedundantLdStr

Added method to check if we can eliminate ld/str instruction

* jit format

* Fixed IsRedundantLdStr and call it from emitIns_R_S() and emitIns_S_R()

* Added check for lastEmitInstr->opSize

* Add some comments

[WASM] Add satellite assemblies bundle and hook to register them (#41358)

* [WASM] Add satellite assemblies bundle and hook to register them

* Fix test failures

* PR Feedback

* PR Feedback and add test to make sure load from path respects culture

* Add binding so that blazor can register bundled assemblies

* Remove blank line.

* PR Feedback

Exclude .a files from the runtime native files when packaging (#41966)

There's no use for the .a files in the shared framework or runtime pack, they just increase disk size.

Also not that we didn't include them in 3.1, so it's effectively a regression in 5.0.

Disable Http2_MultipleConnectionsEnabled_ConnectionLimitNotReached_ConcurrentRequestsSuccessfullyHandled (#41974)

Fix Configuration Save Full setting default value (#41912)

* Fix Configuration Save Full setting default value

* Cleaned out untrimmed whitespaces

Various Regexes for more testing. (#41935)

Honor custom number handling only when property/type is a number/collection of numbers (#41679)

* Honor custom number handling only when property/type is a number/collection of numbers

* Verify typeof(object) + custom number handling behavior

* Simplify setting of per-property number handling

* Clean up number-handling-applicable check

* Fix issue with number-handling + boxed non-number types

Disable System.Xml.Tests.AsyncReaderLateInitTests.InitializationWithUriOnNonAsyncReaderTrows test on Browser WASM due to PNSE (#41936)

Fixed stress test pipeline and other issues. (#41513)

Move Marshal memory allocation methods into CoreLib shared partition (#41911)

* Move Marshal memory allocation methods into CoreLib shared partition

* Unify behavior across platforms

Force concurrent LdapConnection in new process (#41880)

* Ensure an initial non-concurrent call to OpenLDAP

OpenLDAP requires a single call for initialization before any other concurrent call.

This fixes asserts and segfaults we were seeing when calling OpenLDAP concurrently.

September infra rollout - continued CoreCLR / Mono test cleanup (minimal) (#40345)

Similar to the previous occasion, I have identified this set as the minimum meaningful set of scripts to move without causing too much disruption apart from purely mechanical renames. This change moves the developer-facing test-related CoreCLR scripts under the src/tests folder in accordance with the previous move of the tests themselves:

src/coreclr/build-test.cmd to src/tests/build.cmd
src/coreclr/build-test.sh to src/tests/build.sh
src/coreclr/tests/build.proj to src/tests/build.proj
src/coreclr/tests/runtest.cmd to src/tests/run.cmd
src/coreclr/tests/runtest.sh to src/tests/run.sh
src/coreclr/tests/src/runtest.proj to src/tests/run.proj
src/coreclr/tests/issues.targets to src/tests/issues.targets

The rest of the change constitutes mere path adjustments to match the primary rename.

Fixes: https://github.com/dotnet/runtime/issues/38919

Thanks

Tomas

Cleanup stack limits usage (#41946)

There were couple of members / functions for stack limits checking that
were not used anymore.

Add transitive CompilerServices.Unsafe dependency (#41616)

* Add transitive CompilerServices.Unsafe dependency

for System.Memory and System.Threading.Tasks.Extensions package
references. Adding the dependency as a P2P to prefer the live asset
over the prebuilt.