Fix redhat arm64 (#52244)

* Fix RHEL 8 ARM64

Clang on ARM64 places the .rodata section into the same segment
as .text. On RHEL 8 ARM64, the kernel is configured for 64kB
memory pages. When we flip the page protection of the page containing
the GS cookie to RW and back to RO, we assume that the cookie lives
in a non-executable memory. This assumption is broken on RHEL 8 and
we end up setting protection of a part of the coreclr code to read
only instead of back to RX.

This change switches the linker we use to lld from the previously
used gnu linker. That linker places .rodata into a different segment
than .text by default. Moreover, I was planning to move to using
lld anyways to use all build tools from LLVM.

* Fix ARM build to use PC relative addresses only

The lld linker has revealed that we were using absolute addresses in some
asm helpers and so load time relocation was necessary. This change fixes
it by replacing all of those by PC relative ones.

* Update docker images used for building runtime

Use new images that have lld linker

* Disable lld linker for s390x

EventSource Manifest Trimmer test (#56463)

* EventSource Manifest Trimmer test

* FB

Fix fr-CA culture time formatting and parsing (#56443)

Update area-owners.md (#56481)

* Update area-owners.md

added area-codeflow so that maestro PR's don't make noise by tagging the infrastructure areas.

* Update area-owners.md

Assert if we find undefined use during interval validation (#56439)

* Assert if we find undefined use during interval validation

* Include lastUse check

JIT: properly update loop memory dependence when loops are removed (#56436)

If a loop is removed (because of unrolling) then the loop dependence
tracking introduced in #55936 and #56184 may not properly update.

So when a loop is removed, walk up the chain of parent loops looking
for one that is not removed, and record the dependence on that parent.

Addresses last part of #54118.

Build support for s390x: corehost (#53949)

* Build the (non-Windows) host binaries with either runtime flavor

* s390x architecture support in get_arch utility

Fix an assert in PoolingAsyncValueTaskMethodBuilder (#56468)

Re-enable System.IO.FileSystem.DriveInfoTests.DriveInfoUnixTests.PropertiesOfValidDrive on Android (#56462)

Contributes to #42548.

Based on akoeplinger's suggestion #42209 (comment)

Add validation for MetadataType attribute - Issue #46678 (#51772)

* MetadataType attribute class properties are now validated.

Fix #46678

* Clean up PR #51772

Co-authored-by: Brice Lambson <brice@bricelam.net>

Fix createdump segfault writing crash report json (#56437)

Update libraries solution and NuGet.config files (#56430)

* Update slngen and invocation

* Update NuGet.config files

* Update solution files with slngen

[wasm] Wasm.Build.Tests - try to close down the stdout/err readers (#56180)

Fix Neutral Culture Names (#56321)

* Fix Neutral Culture Names

Remove MONO_IOMAP / portability from mono (#56458)

It's not used in netcore mono (since it only works in mono but not the PAL) and judging by the discussion in https://github.com/dotnet/runtime/issues/35299 the consensus is that we should not bring that feature back.

Introduce new AddEventListener and RemoveEventListener APIs on JSObject (#55849)

Introduces new AddEventListener and RemoveEventListener methods on JSObject that create a delegate wrapper with its lifetime managed by the JavaScript GC instead of managed types, to ensure that delegates don't go away while JS is still using them. Migrates BrowserWebSocket to use the new APIs.

Build runtime.native.System.IO.Ports on linux-s390x (#56424)

* Add RID to runtime.native.System.IO.Ports/netcoreapp.rids.props

* Update runtime.native.System.IO.Ports.pkgproj file.

Disable ResolutionsWaitingOnQueue_ResolutionStartCalledBeforeEnqueued on Mono interpreter (#56457)

Add Android 31 and iOS/tvOS/MacCatalyst 15 to RID graph (#55933)

These OS versions will go stable later this summer.

Fix for issue 56200 (#56261)

Use InternalFormat when formatting an integer
value as an Enum that uses the FlagsAttribute.

Fix #56200

Co-authored-by: cvicary <cvicary@ea.com>

Disable test ConnectWithCertificateForDifferentName_Throws (#56456)

Test: System.Net.Quic.Tests.MsQuicTests.ConnectWithCertificateForDifferentName_Throws

Disabled test tracked by #56454

Update dependencies from https://github.com/mono/linker build 20210726.2 (#56374)

Microsoft.NET.ILLink.Tasks
 From Version 6.0.100-preview.6.21370.1 -> To Version 6.0.100-preview.6.21376.2

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

Cleanup disabled test conditions (#56381)

[mono] Add GC unsafe transition to mono_unhandled_exception  (#56380)

* Fix assert gc_unsafe.

* Update src/mono/mono/metadata/object.c

Co-authored-by: Aleksey Kliger (λgeek) <akliger@gmail.com>
Co-authored-by: Aleksey Kliger (λgeek) <akliger@gmail.com>

don't fail the file extraction when we can't set last write time (#56370)

Properly rebuild optimization data when it changes (#56397)

The timestamp of the merged .mibc file was set to when the tool was
invoked, while the inputs have a timestamp from when they were created
in the training scenarios. That means the target to create the merged
.mibc file would not run incrementally until many weeks later.

To fix add an --inherit-timestamp flag to dotnet-pgo that makes the
merged output inherit the max timestamp from the inputs. This is not
ideal as it means incrementally going backwards does not work, but it's
better than the previous behavior.

Fix #53637

Make open function calls in coreclr EINTR resilient on macOS (#56403)

It was reported that on macOS, the open syscall can sometimes
return EINTR if it is interrupted by a signal even if the
signal has a handler installed with SA_RESTART.

There was just one call to open in the coreclr that
didn't have EINTR handled and that can be called on macOS, so
this change fixes it.

There are two places in the libraries in the included 3rd party
code - the brotli and the zlib - that don't have this treatment yet.
We may want to update them unless the policy we have for them is
to make changes upstream.

Fix dependency from EventLog to TraceSource ref (#56417)

* Fix dependency from EventLog to TraceSource ref

This regressed with https://github.com/dotnet/runtime/commit/663c40dbc4ccedf82e38e96391c28695da0e418f. Reference projects should never reference source projects. This is one of the reasons why slngen creates different solution files now.

* Update Microsoft.Extensions.DependencyInjection.Abstractions.csproj

Fix comments in asm with JitDiffableDasm=1 (#56416)

* Avoid asserts in DasmDiffable mode

* simplify

* Make formatter happier

* Address feedback

Catch TcpClient ctor exceptions in FtpWebRequest.CreateConnectionAsync (#56379)

Add interop between serializer and DOMs (#56112)

Fix type loader not recognizing overridden method (#56337)

* Fix type loader not recognizing overridden method
- Result of a bad change when removing support for full stub dispatch in .NET 4.0 timeframe (circa 2008)
- Caused issue when the following set of conditions were all true
  - The type implements an interface
  - The interface has more virtual methods on it than the number of virtual methods on the base type of the type.
  - The base type implements the interface partially (and the partial implementation has a slot number greater than the number of virtual methods on the base type + its base types)
  - The type does not re-implement the interface methods implemented by the base type.
- The comment referred to situations where stub dispatch was used to resolve non-virtual calls which is a very long time removed feature and is not applicable to today's codebase.
- Not reachable with versions of C# that shipped before the default interfaces feature, but with that feature became easily reachable. Has been a bug since .NET 4 for handwritten IL.

Fixes #44533

Prevent Segfault in EventPipe on disable (#56104)

Update runtimeconfig.json and deps.json paths when these break past the MAX_PATH threshold  (#56224)

* Update runtimeconfig paths if we exceed MAX_PATH

* Add test

* PR feedback

* Get apphost for all platforms

* Probe bundle first
Fix return value of realpath

* Check for empty path upfront

Use native allocator instead of pinning when decompressing embedded PDB (#56336)

Specify win-x64 as a valid platform in the microsoft-net-runtime-* workloads for iOS/tvOS/MacCatalyst (#56311)

In a prior change, win-x64 was specified for runtimes-*, but it is also needed in the other workloads

Fix FailFast message formatting race (#56388)

* Fix FailFast message formatting race

SystemNative::GenericFailFast uses a global buffer for messages shorter than certain size.
When multiple threads call FailFast at the same time, they all use the same buffer,
overwriting each other's message. That leads to a problem on Unix when the message is
converted to UTF-8 using two calls to WideCharToMultiByte and another thread changes
the message to a longer one between those two calls. So the buffer size the first
call determines is no longer sufficient.

Try to fix finalizer-based async tests (#56384)

A dump from a failure showed the finalizable object we're relying on was unrooted and waiting for finalization.  Issue more Collects to see if that helps.

Fix MetricsEventSource tests (#56382)

Last week I added a change to the error handling behavior when MetricEventSource
is enabled by multiple listeners and didn't properly update the tests.
1. The major issue was timout failures which were being caused because there is
a bug in EventListener where it doesn't notify EventSources that the source has
been disabled when the listener is disposed. This in turn caused every tests after
the first to reject the new EventListener because the EventSource believed it was
still in use by the first EventListener.
(EventListener bug is tracked https://github.com/dotnet/runtime/issues/56378)
2. A secondary issue is that I didn't update the test which was explicitly verifying
the behavior where the EventSource emits an error in response to having two
listeners and I had changed the product behavior there.

Fixes:
1. I worked around the EventListener bug by explicitly calling DisableEvents().
I also updated OnEventWritten to log the MultipleSessionsNotSupportedError
so that any future error that is similar has more obvious diagnostic logging.
2. I updated the test with new expectation that the 1st listener continues normal
operation and the 2nd listener is the one that gets rejected.

I also did a little refactoring and added a 2nd tests of multiple listeners to confirm
it works if the first one is disabled before the 2nd one starts.

Remove invalid Castle.DynamicProxy.Internal.AbstractInvocation from ILLink descriptor files (#56392)

The type is actually in the `Castle.DynamicProxy` namespace, not the `.Internal` one.
This causes an error with newer linker versions.

The whole `Castle.DynamicProxy` namespace is already preserved so we can remove the entry for AbstractInvocation.

[libraries][iOS][tvOS][MacCatalyst] Remove ActiveIssue from no longer… (#56401)

* [libraries][iOS][tvOS][MacCatalyst] Remove ActiveIssue from no longer failing Microsoft.Extensions.Hosting.Unit.Tests

* Remove StopAsyncWithCancellation Active Issue as well

Co-authored-by: Mitchell Hwang <mitchell.hwang@microsoft.com>

Remove ActiveIssues from tests no longer failing (#56393)

Co-authored-by: Mitchell Hwang <mitchell.hwang@microsoft.com>

Have HttpClientHandler throw the InnerException when catching TargetInvocationException (#56334)

Originally on mobile workloads when UseNativeHttpHandler is set to true, all reflection method invokes
bubbled up a TargetInvocationException.  To make the details a bit more readable, we will instead rethrow
the InnerException.

Fixes https://github.com/dotnet/runtime/issues/56089

Surface exceptions thrown by LoopbackSocksServer (#56396)

fix ByteArrayConverter null handling inconsistencies. (#56390)

Fixes #49728.

Add tests for reads and writes beyond EOF (#56395)

* ensure that reads beyond EOF return 0

* ensure that writes beyond EOF extend the file and the content is zeroed

JIT: more fixes for VN loop dependence tracking (#56184)

Specify `Overwrite` when setting loop dependence map entries, as we may
refine the initial result.

Fixes #56174.

Extract loop dependence of `VNF_PhiMemoryDef`.

Fixes new case noted in #55936, and 13/16 or so other cases Jakob sent
me privately. Also update a comment and fix tests to work better with
jitstress per other notes on that PR.

Fix thread pool hang (#56346)

* Fix thread pool hang

- In https://github.com/dotnet/runtime/pull/53471 the thread count goal was moved out of `ThreadCounts`, it turns out that are a few subtle races that it was avoiding. There are other ways to fix it, but I've added the goal back into `ThreadCounts` for now.
- Reverted PR https://github.com/dotnet/runtime/pull/55985, which worked around the issue in the CI

Fixes https://github.com/dotnet/runtime/issues/55642

* Revert "mitigation for quic tests hangs (#55985)"

This reverts commit 0a5e93b09fe92cf866456552eef78a95bf6fdf27.

Update CG2 ArgIterator to match the runtime one (#56059)

* Update CG2 ArgIterator to match the runtime one

The goal of the change is primarily to make it correct for the Apple
Silicon where the calling convention slightly differs from the
Unix ARM64 one, especially in passing arguments smaller than a pointer
size on stack.

avoid ReadFile syscall if we know that there is nothing to read from file (#56387)

* avoid ReadFile syscall if we know that there is nothing to read from file

* Apply suggestions from code review

Co-authored-by: Stephen Toub <stoub@microsoft.com>

serialize the access to mutable shared state in System.IO.Packaging (#56367)

Specify RunContinuationsAsynchronously in DNS telemetry test (#56368)

Fix Invariant Test Configuration (#56340)

pull in new version of msquic (#56344)

fix CloseAsync_ByServer_AcceptThrows quic test (#56355)

Skip finalizer test if precise GC is not supported (#56364)

* Finalizer_OperationNotCompleted_CompletesOperation assumes precise GC

Disable tests requiring large contiguous memory allocation on 32-bit platforms (#56366)

Fix #56197

Tighten up some ArrayPool.Return usage (#56229)

Avoid potential problems if Return were to throw an exception after having already put the array back into the pool.

Disable test SendAsync_WithZeroLengthHeaderName_Throws (#56363)

Test: System.Net.Http.Functional.Tests.SocketsHttpHandlerTest_HttpClientHandlerTest_Headers_Http3_MsQuic.SendAsync_WithZeroLengthHeaderName_Throws

Disabled test tracked by #56292

Update compiler version to enable CallerArgumentExpression (#56349)

Honor ThrowOnEventWriteErrors for exceptions thrown by EventListeners (#56232)

Add timeouts to IPInterfaceProperties tests (#56319)

* Add timeouts to IPInterfaceProperties tests

* Use common Timeout value and Xunit output helper

* Add Threading.Tasks using

Display class names and string literals in asm (#55970)

Co-authored-by: Kunal Pathak <Kunal.Pathak@microsoft.com>

Fix an assert in emitOffsetToLabel (#56278)

Skip environment variable access calls for non OSX apple platforms (#56320)

Co-authored-by: Mitchell Hwang <mitchell.hwang@microsoft.com>

Globally disable implicit namespaces (#56348)

Fix ReliabilityFramework code formatting (#56342)

Fix an error printed out when install_location file is missing (#56327)

The app will still run, but we must not print out anything in that case.

Fixes #56219

Update SR.cs (#56332)

Split mobile specific ILLink.Substitutions into its own file (#56306)

It was discovered in #56161 that mobile specific HttpClientHandler substitutions were sticking around even for non mobile builds. This change moves the substitution into ILLink.Substitutions.mobile.xml.

quic test improvements (#56043)

* quic test improvements

* fix incorrect use of PassingTestTimeout

* feedback from review

Fix .vsconfig (#56339)

* Fix .vsconfig

* Remove vs2022 only item

Create manifest installers and VS manifests (#56308)

Fix for issue 55241 (#56230)

Don't decrement our budget once we have reached 0

Upgrade to msbuild version 16.10 (#56025)

* Fixes https://github.com/dotnet/runtime/issues/54826

* Adjust net472 dependencies of Microsoft.NETCore.Platforms.Tests

Remove crossgen comparison jobs (#56193)

- We no longer have crossgen
- The jobs didn't detect that failure and have been wasting CPU time on every PR

Seal JsonSourceGenerationOptionsAttribute (#56317)

Report that allocations may have side effects for all types outside of the version bubble (#56177)

Fixes #45628

Include time taken on DNS queue in events (#56208)

* Include time taken on DNS queue in events

* Add test

* Add usings

* More usings

* Move Assert out of EventListener callback

Change MonoProfiler provider GUID to be based on algorithm used by TraceEvent library. (#56286)

TraceEvent uses an algorithm defined in http://www.ietf.org/rfc/rfc4122.txt
to get an EventSource GUID from its name. This is used for newer EventSource
providers, and doesn't need changes to TraceEvent code to be detected.

This commit adjust MonoProfiler EventSource provider GUID to the version
calculated by that algorithm.

Fix some DualMode connect test issues (#56226)

Fixes #55053, fixes #54677

Disable BeginReceiveFrom_RemoteEpIsReturnedWhenCompletedSynchronously on catalyst (#56304)

Fix error message when publishing logs in Restore internal tools step (#56307)

In https://dev.azure.com/dnceng/internal/_build/results?buildId=1250178&view=results we hit an issue where the 'Restore internal tools' step failed, but AzDO only highlights the failure in the 'Publish Logs' step because the directory didn't exist.
This happens because the restore step was not passing along the build configuration so it defaults to Debug instead of Release, leading to the log directory we try to publish not existing.

HTTP/3 send FIN together with headers if no body (#56221)

Fixes #55347

Use more `ReadOnlySpan<byte>`s in `System.Reflection.MetadataLoadContext` (#56207)

* Use spans instead of byte arrays in `MetadataLoadContext.Utf8Constants`.

* Optimize Helpers.ToUtf16(ReadOnlySpan<byte>).

It avoids a byte array allocation on all frameworks.
And remove an unused overload of it.

* Address PR feedback.

* Fix ArgumentNullExceptions.

Explicit test for service provider IDisposable implementation (dotnet#56181) (#56227)

Implement new way of return address hijacking (#55946)

* Implement new way of return address hijacking

This change implements a new way of return address hijacking for Intel
CET enabled Windows devices. It uses a mechanism created by the Windows
team for this purpose. The existing mechanism that just patches the
return address by an address of our helper routine would result in
process killing as it would seem like a ROP exploit.

Disable DNS tests failing on Ubuntu 16.04 and Debian 9 (#56296)

Disabled tests tracked by #56295

Disable failing wasm test SendReceive_VaryingLengthBuffers_Success (#56293)

Add tvOS specific build of System.Net.Mail (#56185)

Ref: https://github.com/xamarin/xamarin-macios/pull/12011#issuecomment-885149485

Adjust exception message for headers having non-ASCII chars (#55886)

Reuse existing resource string.

Fixes #55310

Keep X509 handle alive while in use when reading certificate data (#56277)

* Add test for thread racing certificate usage and disposal

* Implement changes to keep the X509* alive while in use.

Disable test ResponseCancellation_ServerReceivesCancellation (#56291)

Test: System.Net.Http.Functional.Tests.SocketsHttpHandlerTest_Http3_MsQuic.ResponseCancellation_ServerReceivesCancellation

Disabled test tracked by #56194

Disable test System.Net.Quic.Tests.MsQuicTests.ConnectWithCertificateCallback (#56264)

Disabled test tracked by #56263

[mono] Disable test relying on precise GC (#56139)

Fix Windows build of ds-ipc-pal-socket.c and make FD_CLOEXEC best effort. (#56141)

Up until https://github.com/dotnet/runtime/pull/55850 it was possible
to build using diagnostic server socket PAL on Windows for local testing.
NOTE, this is not a config we build on CI since it is not used by any
products (diagnostic server PAL on Windows uses NamedPipes), but useful
for local testing.

The same PR also included calls to fcntl using FD_CLOEXEC in case platform
doesn't define SOCK_CLOEXEC. Since this is a Linux specific flag, it might not
be defined on several targeted platforms. Failures calling fcntl using
FD_CLOEXEC was also triggering an EP_ASSERT but that is only on debug
builds. Most calls to fcntl using FD_CLOEXEC in runtime PAL layers
(both CoreCLR and MonoVM) doesn't check for errors in this case
and sees the operation as best effort, like done here
https://github.com/dotnet/runtime/blob/b937677e8f8601848d29bc072a93cc0c6e21576d/src/libraries/Native/Unix/System.Native/pal_networking.c#L2499.
We should do the same in ds-ipc-pal-socket.c making sure it won't break
any potential platform not fully supporting it or if we are really concerned
about this error, handle it as real error failing creation of socket, but
that needs to be tested on mobile platforms (not running TCP/IP PAL on CI).

Fix createdump crash on alpine 3.12 and above. (#56272)

Finally hit an existing problem in createdump (since 2.1) where the std::set<MemoryRegions> in
ThreadInfo::GetThreadStack() where it is calling CrashInfo::SearchMemoryRegions with m_crashInfo.OtherMappings()
which returns a copy of the set of MemoryRegions instead of a reference. On alpine 3.12 musl, this set copy
is freed right away when it goes out of scope as soon as SearchMemoryRegions returns. On any other Linux distro
and MacOS the set doesn't get freed/invalidated as soon.

Return references to the threads and memory region sets in the CrashInfo functions.

Tweak code gen for Guid parsing (#56210)

* Tweak code gen for Guid parsing

* Further tweak to use nuint/nint

Cleanup rotate patterns (#54099)

* Clean RotateLeft

* Cleanup RotateRight

Disable test ResponseCancellation_BothCancellationTokenAndDispose_Success (#56266)