Reorganize CoreCLR native build to reduce CMake reconfigures when the build system is untouched (#49906)

[mbr] Turn on hot reload for iOS, tvOS and MacCatalyst (#50458)

* [mbr] Turn on hot reload for iOS, tvOS and MacCatalyst

* [mbr] Mark some unused variables with G_GNUC_UNUSED

   Fixes build on MacCatalyst

improve connection scavenge logic by doing zero-byte read (#50545)

* improve connection usability check in scavenge logic by doing zero-byte read

* fix assert re read buffer state in ReadAheadWithZeroByteReadAsync

* Update src/libraries/System.Net.Http/src/System/Net/Http/SocketsHttpHandler/Http2Connection.cs

Co-authored-by: Stephen Toub <stoub@microsoft.com>
* Update src/libraries/System.Net.Http/src/System/Net/Http/SocketsHttpHandler/Http2Connection.cs

Co-authored-by: Stephen Toub <stoub@microsoft.com>
* simplify waiter dequeue

Co-authored-by: Geoffrey Kizer <geoffrek@windows.microsoft.com>
Co-authored-by: Stephen Toub <stoub@microsoft.com>

Resolve call mdtokens when making tier 1 inline observations (#50675)

* Add some basic handling to allow resolving call tokens in fgFindJumpTargets when in Tier1 making inline observations

* Don't count prefix opcodes as instructions and handle NI_IsSupported_True/False as constants in fgFindJumpTargets

* Update src/coreclr/jit/fgbasic.cpp

* Applying formatting patch

Annotate APIs in System.Private.Xml (#49682)

Mostly adds RequiresUnreferencedCode, and propagates the results
outward.

Co-authored-by: Jose Perez Rodriguez <joperezr@microsoft.com>

Support compiling against OpenSSL 3 headers

Building against OpenSSL 3's headers fails to compile, as X509_V_ERR_INVALID_CA has changed from 24 to 79, tripping a static assert.

* Rename the managed X509VerifyStatusCode enum to X509VerifyStatusCodeUniversal, to represent the name/values that are present in all current versions of OpenSSL (1.0.2, 1.1.1, 3.0 alpha)
* Add new enums for the name/value pairs that are unique to a given version
* Add an X509VerifyStatusCode struct that just wraps the int and is a faux-union of the various enums
* Use the OpenSSL runtime version to determine which mapping table to use (after the Universal table fails)

In addition to that, there are a few const-related changes in the 3.0 headers that are addressed.

`runtime/src/libraries/Native$ ./build_native.sh -portablebuild=false` on systems where find_package(OpenSSL) maps to 3.0 succeeds with these changes.  Portable builds still fail.

Not all tests pass with OpenSSL 3.0 (alpha 13) with these changes, but it does reduce to three categories of error:

* ICryptoTransform reset/reuse tests fail (OpenSSL regression is open)
* DSA small key generation fails (OpenSSL has fixed the regression for the next alpha/beta release)
* Some OuterLoop X.509 tests are failing as positively revoked when they expect ambiguous revocation states (investigation pending)

Change Configuration.Json to use a regular Dictionary. (#50611)

The other Configuration providers use a regular Dictionary.

This allows for SortedDictionary to be trimmed in a default Blazor WASM app, saving roughly 4 KB .br compresse.

Remove unused BigNumFromBinary P/Invoke (#50670)

Make Ninja the default CMake generator on Windows for the repo (#49715)

Co-authored-by: Juan Hoyos <juan.hoyos@microsoft.com>

[AppleAppBuilder] Entitlements to run tests on catalyst using the JIT (#50637)

* [catalyst] Add jit entitlements to AppleAppBuilder

to use the JIT on MacCatalyst we need the hardened runtime and the JIT
entitlement.  Otherwise mmap() with a MAP_JIT argument fails with EINVAL.

* [catalyst] also add disable library validation entitlement

To load libSystem.Native.dylib from the Resources/ directory in the .app
bundle.  (And possibly to load libicu from homebrew)

* [AppleAppBuilder] cleanup entitlements generation a little

Use a list in the builder instead of hardcoding in the template.

* [mono] update iOS sample to run on Catalyst too

use `make run-catalyst`

* fix typos and address feedback

[mono] Fix delegate invokes to dynamic methods in mixed mode. (#50547)

In mixed mode, when compiling a call to a delegate invoke, add
an interp entry wrapper for the signature used by the actual method
which is called by the invoke, which might be a dynamic method whose
signature is otherwise not present in the program.

Update iOS workflow docs to clarify simulator/device os split (#50366)

Update ref assemblies libraries unsupported on mobile (#50616)

* Update ref assemblies libraries unsupported on mobile

* Add tvOS to known platforms list

Disable crossroot_determinism for GCStress runs (#50706)

Clean up string formatting in a variety of places (#50267)

Mostly just replacing string.Format calls with equivalent interpolated string uses.  In some cases, I replaced lots of string creations with a StringBuilder or equivalent.

Use GC.AllocateUninitializedArray in MemoryStream.ToArray (#50692)

* Use GC.AllocateUninitializedArray in MemoryStream.ToArray

* Apply suggestions from code review

Co-authored-by: Stephen Toub <stoub@microsoft.com>
Co-authored-by: Stephen Toub <stoub@microsoft.com>

Fix SHL/SHR/SAR PerfScores (#49620)

* Fix SHL/SHR/SAR PerfScore

* Tune MUL/IMUL latency.

* Sum memory + instruction latency.
Fix some RCR/RCL latencies also.

* Fix DIV/IDIV latencies

* Address PR feedback

JIT: fixes for mixed PGO/nonPGO compiles (#50633)

Always scale inlinee counts, independent of the pgo status of the
call site and inlinee, even if we have to scale inlinee counts to zero.

Get rid of `setBBWeight` and `modifyBBWeight` as they are attractive
nuisances that lead to bad habits. Use `inherit` and `scale` instead as
new counts should always be based on old.

Account for cases where there are methods in the inline tree with PGO
data but the root method doesn't have PGO, and vice versa.

Remove code that references resolved issues (#50698)

Update dependencies from https://github.com/mono/linker build 20210403.1 (#50697)

[main] Update dependencies from mono/linker

Obsolete message should contain property name. (#50693)

Fix FreeBSD __NumProc calculation (#50691)

[main] Update dependencies from dotnet/arcade (#50685)

[main] Update dependencies from dotnet/arcade

 - Revert changes to publish-using-darc.ps1

https://github.com/dotnet/arcade/issues/6987

[mono] AOT instances of SZGenericArrayEnumerator for primitive types, its needed by the IEnumerable wrappers for arrays. (#50681)

Reenable tests after recent impacting JIT fix (#50679)

Update dependencies from https://github.com/mono/linker build 20210401.3 (#50642)

[main] Update dependencies from mono/linker

Fix some linker annotations in S.CM.TypeConverter (#50593)

[main] Update dependencies from dotnet/arcade dotnet/xharness (#50553)

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>
Co-authored-by: Ricardo Arenas <riarenas@microsoft.com>

Remove duplicate WaitHandle tests from src/tests (#50677)

Reenable readytorun/coreroot_determinism since referenced issues are closed. (#50676)

* Both referenced issues have been closed.

* Other tests that are disable with closed issue.

Add GC committed bytes counter (#50604)

* Add GC committed bytes counter

* Add tests

* fix test

Use a smart pointer to prevent Zap memory leak (#50425)

We allocate a Zap in CreatePDBWorker, but we never deallocate it.
Assuming the object instance is no longer needed, this fixes a memory
leak.

Add a System.Text.Json threat model doc (#50541)

* Add a System.Text.Json threat model doc

* Address review feedback

Annotate Interop APIs that always throw PNSE as Obsolete (#50666)

* Annotate Interop APIs that always throw PNSE as Obsolete

Enable limited Apple Silicon GCStress testing (#50117)

* Enable limited Apple Silicon GCStress testing

* Mark providervalidation GCStressIncompatible

tracing/eventpipe/providervalidation test generates 100k events and takes a very long time
in GCStress. Mark it GCStressIncompatible.

* Mark profiler/transitions GCStressIncompatible for Apple Silicon

* Apple Silion mark VolatileTest_op_* GCStressIncompatible

* Disable more 50381 failures

* Disable Apple Silicon GcStress timeouts

Add a missing fclose in jitutils MethodSet constructor (#50282)

The file methodSetFile is never used outside of the constructor, but the
file is never closed, leaking a resource handle. Lets close it manually.

Disable test VerifyInMemoryDirectoryInfo_IsNotEmpty to address issue 50648 (#50660)

Keep blittable layout class In/Out by default (#50655)

Make Microsoft.NETCore.Platforms pack from CSProj (#50468)

* Use CSProj for packing Platforms package

* Port GenerateRuntimeGraph task

This ports the GenerateRuntimeGraph task from arcade as of
https://github.com/dotnet/arcade/tree/d005a8ce6bb81129f9c3a4a907e1b7ccbf2504d5

* Refactor GenerateRuntimeGraph into separate files

* Add test for GenerateRuntimeGraph

* Fix up path to runtime.json

* Don't filter inner builds when building Platforms task

* Skip tests RuntimeGraph task tests on some platforms

* Exclude browser from testing instead of wasm

* Another try at suppressing testing on Browser

Disable test, to mitigate failures from https://github.com/dotnet/runtime/issues/50238 (#50241)

Add back missing gcstress0xf pipeline. (#50618)

Add PhysicalMemoryLimit capabilities for /proc/meminfo OS's like Linux. (#47783)

* Add PhysicalMemoryLimit capabilities for non-Windows OS's.

* Use GC.GetGCMemoryInfo as primary source for non-windows.

* Don't bother with /proc/meminfo

* Support this down to 3.1

* Don't need to protect against 'browser' platform in 3.1.

Disable Test49826 for ilasm round-trip testing (#50649)

Tracking issue: https://github.com/dotnet/runtime/issues/49985

Correcting proclib function that did not adhere to filemap wrappers (#50643)

During our upgrade of the mono runtime we ran into a situation where `mono_pe_file_map` was being called as part of opening an image now on android. This function did not currently adhere to the filemap wrapper functions so the difference in data types being used by Unity caused crashes.

Co-authored-by: UnityAlex <UnityAlex@users.noreply.github.com>

should be GetThreadNULLOk (otherwise debugger crashes in checked) (#50614)

Fix setting or getting pointer fields with reflection (#50460)

Setting a pointer via reflection incorrectly added an extra layer of
indirection, and getting a pointer via reflection incorrectly
dereferenced the value once.

As a result, setting and then getting only via reflection worked
correctly, but doing either step by directly accessing the field and the
other via reflection was broken.

Also adjusts `FieldInfoTest` to test this, for both static and instance
fields (the set path especially is different for those.)

Fixes https://github.com/mono/mono/issues/20872

This change is released under the MIT license.

Co-authored-by: Sebastian Paarmann <sebastian@s-paarmann.de>

Moving Suppress message to assembly level and adding Scope in order to get right suppressing behavior (#50626)

* Moving Suppress message to assembly level and adding Scope in order to get right suppressing behavior

* Fixing indentation

Use EVP_PKEY for RSA signing operations

With this change all RSA private key operations (excluding import/export) use the EVP_PKEY APIs.

* RSAPaddingProcessor is no longer used in conjunction with the private keys, on Linux.
* The pal_rsa.c copy of HasPrivateKey has been removed.

More precise descriptor for Mono's Enum/String types (#50640)

[iOS/tvOS] Fix TargetOS case-sensitivity in tests (#50582)

* Fix TargetOS case-sensitivity in tests

* Fix TargetOS in AppleAppBuilder

* Remove the switch

Allow exact duplicate input entries when bundling single file (#50476)

SDK can (and will) produce inputs for bundling which contain exact duplicate entries (same source path and same target relative path). Currently publishing such app as non-single-file works just fine (files are overwritten), but publishing it as single-file fails.

Fixing this in the SDK seems like a rather complex problem - see dotnet/sdk#16576 for more details.

There's no harm in allowing exact duplicates and ignoring them when bundling (only one copy of the file is bundled) as that will be the same behavior as non-single-file publish.

If the duplicates are not exact (different source path) then still reject those. SDK currently allows that, but it's very problematic (effectively random output).

[wasm] Fix the handling of float arguments in the icall table generator. (#50627)

The runtime icall tables use "single" instead of "float".

Remove AssemblyName from SPC descriptor (#50605)

It's not needed as the runtime bridge uses MonoAssemblyName

Remove unused MonoIOError file (#50610)

Use existing HexConvertor method for ascii to hex digit conversion (#50558)

mono_breakpoint_clean_code always returns TRUE. (#50599)

Co-authored-by: jaykrell <jaykrell@users.noreply.github.com>

Simplify Comparer_get_Default (#50602)

Disable test b426654 for GCStress (#50628)

It has been failing with timeouts on GCStress=3.

Tracking issue: https://github.com/dotnet/runtime/issues/50615

[mono] Add back mono_register_config_for_assembly (#50584)

Can't drop API symbols.

Split up complicated assert into parts. (#50620)

In an effort to narrow down a hard to repro GCStress issue, the assert
is being split into parts.

Disable stackoverflowtester under gcstress (#50617)

This test currently fails under many gcstress legs.

Tracking issue: https://github.com/dotnet/runtime/issues/46279

Disable TestDynamicAssembly tests (#50592)

These fail under GCStress.

Issue: https://github.com/dotnet/runtime/issues/48579

Fix formatting string for assembly MVID mismatch (#50474)

During development of the MVID check change I at some point ended
up with mismatched printf specifiers and arguments. This change fixes
this inconsistency.

Thanks

Tomas

Pool the underlying list and dictionary in scopes. (#50463)

- This change pools a set of scopes assuming they are short lived.
- One breaking change is that after disposal, pooled scopes will throw if services are accessed afterwards on the scope.
- Modified test to throw after dispose

Fix variable reference (#50623)

Fix x86 warning on latest VS dogfood (#50607)

* Fix x86 warning on latest VS dogfood

* Delete unnecessary warning disable

Exclude tvOS aot functional test from ci run (#50591)

Addresses https://github.com/dotnet/runtime/issues/50589

Android scenario fixes (#50596)

* fix path to workitems

* update queue

Update dependencies from https://github.com/mono/linker build 20210331.1 (#50555)

Microsoft.NET.ILLink.Tasks
 From Version 6.0.100-preview.2.21180.4 -> To Version 6.0.100-preview.2.21181.1

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

Fix dumping R2R embedded PGO data (#50533)

- Handle case where assembly has no embedded pgo data
- Handle case where method in file has no embedded pgo data but some other methods do

Support DOTNET_ prefix (#50507)

* Support and prefer DOTNET_ prefix.

Add support for EnableDOTNETPrefix to disable respecting the DOTNET_ prefix.

Enable environment variable caching on non-Windows platforms.

Fix GC overreporting with generics context + GS cookie (#50544)

This is a case of a generics context in `this` where we need to keep
`this` alive (but aren't required to by the VM) with a GS cookie check
(due to "JitStress: STRESS_UNSAFE_BUFFER_CHECKS"), and maybe other
JitStress modes, where `genEmitGSCookieCheck` decides to use `rcx`
to load the cookie, even though it is alive. `this` is also mostly
in a register, but it reported live as a stack slot. When the GS
cookie label gets created, the "codegen" gc info hasn\92t been updated
with the killed register, so the emitter label gets the wrong GC info
and brings rcx back alive just for the `nop`. GC cookie checks kind
of do their own register allocation since they\92re part of the epilogs.

The GS cookie code checks for keep alive using "lvRegister", but that
isn't set, since the cookie is mostly alive in a stack slock, not
always in a register. Use `lvIsInReg()` instead, so GS cookie check
will use RDX to load the cookie instead.

Fixes #50404

Fix default nothrow behavior for MethodIL.GetObject (#50539)

Fix closing tag (#50552)

Fixing the oversight in #50475

Free temporary enums on failure (#50471)

* Free temporary enums on failure

* PR feedback

Delete missed mono/netcore from the documentation (#50557)

Set iOSSimulator as TargetOS in case of empty value for the iOS functional tests (#50475)

Add Random.Shared (#50297)

* Add Random.Shared

* Disable on wasm test requiring parallelism

Bring up tvOS x64 staging pipeline leg (#50326)

Contributes to #33381

[AndroidCrypto] Fix some leaks from missed local ref releases (#50534)

Fix A/V in ApplyUpdate API (#50452)

* Fix A/V in ApplyUpdate API

Add thread suspend around the update API.

Issue: https://github.com/dotnet/runtime/issues/50445

* Remove thread suspension; switch to ResetCodeEntryPoint()

Add class as a target for RequiresUnreferencedCodeAttribute (#50064)

Remove a bunch of X509 PAL closures from FindCore

Cleanup name of test exclusion itemgroup (#50513)

Follow up from feedback in https://github.com/dotnet/runtime/pull/50332

Add ExceptionDispatchInfo.SetRemoteStackTrace (#50392)

Stop skipping entire System.Net.Http functional test suite on Android (#50509)

It is skipped based on flakiness/slowness on a Checked/Debug runtime, which we are not currently
using for Android tests. Put the test suite under Android test ProjectExclusions instead.

Update dependencies from https://github.com/mono/linker build 20210330.4 (#50481)

Microsoft.NET.ILLink.Tasks
 From Version 6.0.100-preview.2.21180.1 -> To Version 6.0.100-preview.2.21180.4

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

Big-endian fix: Accessing OBJECTHEADER in ImageConverter (#50499)

* Big-endian fix: Accessing OBJECTHEADER in ImageConverter

The GetBitmapStream routine in ImageConverter is supposed to
skip an embedded OBJECTHEADER structure.  However, this
structure needs to be read in little-endian mode, not in
native byte order.

Fixes the ImageConverterTest.ImageWithOleHeader test on
big-endian systems.

* Update src/libraries/System.Drawing.Common/src/System/Drawing/ImageConverter.cs

Co-authored-by: Stephen Toub <stoub@microsoft.com>

Avoid closure in WebSocketHandle.ConnectAsync (#50502)

Fix accidental closure in Regex.Replace (#50512)

And sprinkle some "static" around to help avoid this in the future.

fix XML tag (#50523)

Fix linux test legs (#50518)

[main] Update dependencies from dotnet/arcade dotnet/icu dotnet/xharness dotnet/llvm-project (#50416)

[main] Update dependencies from dotnet/arcade dotnet/icu dotnet/xharness dotnet/llvm-project

 - Revert publishing branch changes

https://github.com/dotnet/arcade/issues/6987

 - reintroduce publishing branch workaround

https://github.com/dotnet/arcade/issues/6987

Fix msquic.dll loading (#50506)

Reenable Android.Device_Emulator.Aot.Test.csproj (#50332)

* Reenable Android.Device_Emulator.Aot.Test.csproj

Closes https://github.com/dotnet/runtime/issues/49757

* Update tests.proj

Avoid closure in ValidationContext if serviceProvider is null (#50483)

add android scenarios (#50407)

Fix usage of process_vm_readv in createdump (#50477)

* Fix usage of process_vm_readv in createdump; fallback to pread64

* No-op logging

Prohibit BF unless the app opts in (#48527)

* Prohibit BF unless the app opts in

* Address feedback

* First unit test

* 2nd unit test. Checkpoint

* sq

* sq

* sq

* Address Levi's feedback

* sq

* Address nits

* Linker changes and tests

* sq

* sq

* Linker warnings ids

* Address comments

* Change trimming test so linker can detect a pattern

* sq

* Address comments

* sq

Co-authored-by: Eric Erhardt <eric.erhardt@microsoft.com>

[AndroidCrypto] Make SslStreamCertificateContext treat an empty chain as not finding intermediates (#50195)