[browser][wasm] Wasm websockets support (#37962)

* [browser][wasm] Initial addition of WebSockets support

* Clean up usings

* Create and use a WebSocketHandle.Browser.cs module

* Add conditional TARGETS_BROWSER so as not to throw Proxy PNSE during ClientWebSocket creation.

* Update WebSockets code

* Removing debug line

* Remove `ThrowIfReadOnly` method to address review comments

* Address review comments

- change accessor of _requestedSubProtocols to private
- condition more code in WebSocketHandle.Managed.cs to not access _requestedSubProtocols

* Address review comments

* Address review comments

* Change to be PlatformNotSupportedException

* Add ConnectAsync implementation to create a new instance of the BrowserWebSocket implementation.

* Address review comments

* Address subprotocols comments

* Remove internal custom class ActionQueue class in favor of using a Channel.

* Fix object leak.

- Lambdas are not being released automatically.

* Add doc for the constant that is being used.

- Address review comment

* Clean up SendAsync method.

- Validate the message type.
- Validate the array segment that is passed as the message.

* Add validation to ReceiveAsync for invalid buffer.

- remove unnecessary null checks from message buffering.

* Address review comments

* Address review comments about TCS

* Address camel case by using enum

* Address abort request

* Handle nullable

* Address review comment for removing cancellationtoken registration to the connect source.

* Use non-generic TaskCompletionSource

* Cleanup var usage

* Add string to .resx

* Inline dispose

* Fix WebSocket opening exception

* Remove the asynchronous completion from SendAsync.

* Fix object leak, exception on close and address review comments

* Handle race condition

* Address  TaskCompletionSource on connect review comments

* Update src/libraries/System.Net.WebSockets.Client/src/System/Net/WebSockets/BrowserWebSockets/BrowserWebSocket.cs

Co-authored-by: campersau <buchholz.bastian@googlemail.com>
* Update src/libraries/System.Net.WebSockets.Client/src/System/Net/WebSockets/BrowserWebSockets/BrowserWebSocket.cs

Co-authored-by: campersau <buchholz.bastian@googlemail.com>
* Fix Connect not completing task on error.

* Cleanup reference

* Remove redundant error check of memorystream buffer.

* cleanup

* Update src/libraries/System.Net.WebSockets.Client/src/System.Net.WebSockets.Client.csproj

Co-authored-by: Maxim Lipnin <mlipnin@gmail.com>
* Update src/libraries/System.Net.WebSockets.Client/src/System.Net.WebSockets.Client.csproj

Co-authored-by: Maxim Lipnin <mlipnin@gmail.com>
* Update src/libraries/System.Net.WebSockets.Client/src/System.Net.WebSockets.Client.csproj

Co-authored-by: Maxim Lipnin <mlipnin@gmail.com>
* Update src/libraries/System.Net.WebSockets.Client/src/System.Net.WebSockets.Client.csproj

Co-authored-by: Maxim Lipnin <mlipnin@gmail.com>
* Fix typo

* clean up buffer code

* Modify callbacks to use lambda function.

- These are now released properly after reference counting went in.

* Fix object leak of delegate and clean up deprecated code.

* extract lambda into method

* Update src/libraries/System.Net.WebSockets.Client/src/System/Net/WebSockets/BrowserWebSockets/BrowserWebSocket.cs

Co-authored-by: Stephen Toub <stoub@microsoft.com>
* Update src/libraries/System.Net.WebSockets.Client/src/System/Net/WebSockets/BrowserWebSockets/BrowserWebSocket.cs

Co-authored-by: Stephen Toub <stoub@microsoft.com>
* Update src/libraries/System.Net.WebSockets.Client/src/System/Net/WebSockets/BrowserWebSockets/BrowserWebSocket.cs

Co-authored-by: Stephen Toub <stoub@microsoft.com>
* Review comments addressed

Co-authored-by: campersau <buchholz.bastian@googlemail.com>
Co-authored-by: Maxim Lipnin <mlipnin@gmail.com>
Co-authored-by: Stephen Toub <stoub@microsoft.com>

Trivial fix and renaming (#38687)

+ When allocating in UOH free list we should do >= (min_obj_size) instead of >.
+ Renamed loh_a_fit_segment_end_p to uoh_a_fit_segment_end_p (should have been part of the refactoring work)

Enable some System.Runtime.Loader tests for Mono (#38581)

Contributes to https://github.com/mono/mono/issues/15142

[Arm64] ASIMD InsertScalar and rename to ShiftLeftAndInsert ShiftRightAndInsert  (#38680)

* Implements InsertScalar

* Uses InsertScalar to implement Vector128<T>.WithLower() and Vector128<T>.WithUpper()

* Renames ShiftLeftLogicalAndInsert to ShiftLeftAndInsert and ShiftRightLogicalAndInsert to ShiftRightAndInsert

Bump xharness to bring in https://github.com/dotnet/xharness/pull/282 (#38706)

Use full MD5 to compare bitmap rotate results (#38699)

[wasm] Add assembly level skip for System.Net.Requests on Browser (#38674)

Co-authored-by: Mitchell Hwang <mitchell.hwang@microsoft.com>

WASM: Add an internal method to pump the threadpool (#38690)

This can by used by the xharness xunit runner to make sure async tasks are executed.

We also need to tweak how `ThreadPoolTaskScheduler` handles `TaskCreationOptions.LongRunning` since the usual mode of starting a new thread doesn't work, instead we treat it like the option wasn't set and queue the task on the threadpool.

[browser][wasm][bindings] Handle case where AsyncStateMachineBox`1 is… (#38655)

* [browser][wasm][bindings] Handle case where AsyncStateMachineBox`1 is returned

- There are cases where AsyncStateMachineBox`1 is returned instead of instead of Task`1 within the bindings.  This was causing exceptions with Promise processing.

* Use `is_subclass_of` instead of strings to recognize Tasks

NRT annotations for main System.Data.Common types (#689)

Initial support for SslStreamCertificateContext (#38364)

* initial support for SslStreamCertificateContext

* update openssl pal

* feedback from review

* fix unit tests

* fix platforms

* update ref

Fix SOS/managed debugging failures from PR #36847 (#38689)

Add PAL_GetApplicationGroupId() that returns null for Linux.

[wasm] Ignore missing assemblies in the wasm app builder. (#38672)

Fix interpreter build (#38673)

Fix interpreter build

Turn on argument exception analyzer on runtime, fix warnings found (#38578)

* Turn on argument exception analyzer on runtime, fix failures found

Align native SpecializeComparer with managed ComparerHelpers (#38681)

* Align SpecializeComparer with ComparerHelpers

* Align SpecializeEqualityComparer with ComparerHelpers

Remove dead code paths in System.Transactions.Local (#38685)

add two SslStream tests for custom validation (#38182)

* add two SslStream tests for custom validation

* use BuildPrivatePki

* feedback from review

* disable on windows

Add platform-specific attributes (#38604)

* Add platform-specific attributes

Spec https://github.com/dotnet/runtime/issues/33331

* Convert to xml doc

* Update src/libraries/System.Private.CoreLib/src/System/Runtime/InteropServices/MinimumOSAttribute.cs

Co-authored-by: Jeremy Barton <jbarton@microsoft.com>
* Update src/libraries/System.Private.CoreLib/src/System/Runtime/InteropServices/ObsoletedInPlatformAttribute.cs

Co-authored-by: Jeff Handley <jeffhandley@users.noreply.github.com>
* Address code review

* Add to ref assembly, test and fix build errors

* Fix spacing, revert unwanted changes

* Namespace was wrong, updated

Co-authored-by: Jeremy Barton <jbarton@microsoft.com>
Co-authored-by: Jeff Handley <jeffhandley@users.noreply.github.com>
Co-authored-by: Buyaa Namnan <bunamnan@microsoft.com>

Disable the two remaining CG2 composite failure buckets (#38299)

Fix type layout with explicitly sized structs and classes (#38632)

- Mimic the alignment and other algorithms present in coreclr
- Add tests to crossgen2smoke to cover these scenarios
- Update type system unit tests so that they can run in VS
- Fix issue #38450

fix for cg2 + sealed default interface methods (#38575)

* move the interface check to be before versionbubble

* updating fix to check for TypicalMethod of the target

* Adding a comment to clarify the check

* uncoditinoally invoke GetTypicalMethodDef

* Add a smoke test.

* moving the interface check to before version bubble

Also adding a cross module test.

add TargetHostName to SslStream (#38202)

* add TargetHostName to SslStream

* fix unit tests

* feedback from review

[wasm] Make Common.Tests pass (#38667)

* Make Common.Tests pass

* Remove Common test project from the exclusion list

[mono] Implement getting the type modifiers for DynamicMethod parameters (#38646)

* [mono] Implement getting the type modifiers for DynamicMethod parameters

Fixes https://github.com/dotnet/runtime/issues/36271

* Remove unused parameter from type_array_from_modifiers()

Bump Helix SDK with breaking change in XHarness SDK (#38665)

There is a small breaking change in the SDK about how we run the XHarness tool - we are no longer installing the full .NET SDK to install the tool on every agent but rather installing it on the build machine and then shipping it as-is as Helix correlation payload. We then only need the .NET runtime to be installed on the Helix agents saving us bandwidth and cycles

Fix scalar check when fixing up struct return. (#38644)

Fix #38455

Mono: reenable tests in System.ComponentModel.Composition.Registration that were fixed (#38658)

Closes https://github.com/dotnet/runtime/issues/32744

Include System Directory in search dirs for app local ICU (#38649)

Tidy up ARM tools installation instructions (#38676)

[mono] Change default output encoding for ConsolePal.WebAssembly.cs to utf8 (#38641)

* Change default output encoding to utf8 for wasm

[docs] Fix wasm testing example directories (#38624)

And use a testsuite that passes for the example

Add ExcludeFromCodeCoverageAttribute.Justification property (#38520)

* Add ExcludeFromCodeCoverage.Justification property

Delete some ExcludeFromCodeCoverages that aren't warranted, and add justifications almost everywhere else (only not doing so where a project builds for targets without the member).

* Update src/libraries/Microsoft.CSharp/src/Microsoft/CSharp/RuntimeBinder/Semantics/Types/PointerType.cs

Co-authored-by: Levi Broderick <GrabYourPitchforks@users.noreply.github.com>
Co-authored-by: Levi Broderick <GrabYourPitchforks@users.noreply.github.com>

[wasm] Rename obsolete --llvm-lto 1 argument, lto is already enabled when -s WASM_OBJECT_FILES=0 is used. (#38370)

fixes genapi for project with corelib reference (#38656)

Fix 'varDsc->lvExactSize == 12' assert. (#38484)

* Require struct handler to be set after for CSE.

* Reenable the test.

* fix for empty cache

* Update the comment.

Add native runtime components to Crossgen2 package. (#38600)

For Windows, add clrcompression.dll to the package. For Linux, add { libSystem.IO.Compression.Native.so, libSystem.Native.so, libSystem.Net.Security.Native.so, libSystem.Security.Cryptography.Native.OpenSsl.so } to the package and also remove the corresponding static libraries with the .a extension from crossgen2.deps.json.

[browser][wasm][tests] Add tests for TypedArrays (#38612)

* [browser][wasm][tests] Add tests for TypedArrays

* Address review comments

Enable PInvoke stub compilation for R2R (#35229)

R2R doesn't generate PInvoke stub for arm because of crossbitness issue.
This patch enables PInvoke stub compilation for R2R,
and updates native size, field offset, and so on based on target machine's bitness.

Jit liveness fix. (#38591)

`fgComputeLifeUntrackedLocal` can be called multiple times for the same
`lclVarNode` since `fgLocalVarLiveness` may call
`fgInterBlockLocalVarLiveness` multiple times. Therefore,
`m_promotedStructDeathVars` may be updated more than once for the same
node.

Fixes #38496.

Block P/Invokes with UnmanagedCallersOnlyAttribute (#38493)

* Block support for a P/Invoke marked with UnmanagedCallersOnly.

* Update crossgen2.

[EventSourceLogger] Adding FormattedMessage for json message (#38509)

[Arm64] ASIMD ExtractNarrowingSaturate and ExtractNarrowingSaturateUnsigned (#38371)

* ExtractNarrowingSaturateLower and ExtractNarrowingSaturateUpper

* ExtractNarrowingSaturateUnsignedLower and ExtractNarrowingSaturateUnsignedUpper

* ExtractNarrowingSaturateScalar and ExtractNarrowingSaturateUnsignedScalar

Optimize TextEncoder.FindFirstCharacterToEncodeUtf8 (#284)

Adding default string for stacktrace Word_At (#38634)

* Adding default string for stacktrace Word_At

* Also adding defaults to other resources used on the stacktrace ToString method

* Apply suggestions from code review

Co-authored-by: Eric Erhardt <eric.erhardt@microsoft.com>
Co-authored-by: Eric Erhardt <eric.erhardt@microsoft.com>

Enable warning 5038 on VS. (#38499)

* Enable w35038 on VS.

* fix for a contract.h

* FIx other places.

* another fix.

Add missing string resources to the ILVerify tool (#38630)

Fixes #38623

Adding qcalls-def.h to Makefile.am (#38621)

Fixes mono/mono#20049

Co-authored-by: thaystg <thaystg@users.noreply.github.com>

Do not override CoreCLRArtifactsPath if RuntimeIdentifier is empty (#38602)

Add exclusion category argument to interpreter runs (#38633)

* Add exclusion category argument to interpreter runs

* Add for Windows as well

Spanify S.S.C.X509Certificates and S.S.C.Pkcs inputs

S.S.C.Pkcs.ContentInfo..ctor(byte[]) didn't get spanified because it holds
a reference to the array, and returns it via a property.

Obsolete Encoding.UTF7 property and UTF7Encoding ctors (#37535)

- Disallow Encoding.GetEncoding("utf-7", ...) from returning an Encoding instance
- Minor code cleanup by removing unused ifdefs
- A compat switch is available to re-enable Encoding.GetEncoding("utf-7", ...)

[wasm] Set a stack trace limit of 1000 for CI testing with V8 (#38625)

The default 10 is not enough stack frames to make sense of failures

Adding generation of substitution files for trimming out resources when feature switch is present (#38397)

* Adding generation of substitution files for trimming out resources when feature switch is present

* Adding support for CoreLib as well and fix issue with SR returning empty string

* Cache result of AppContext Switch lookup

* Fixing allConfigurations leg and addressing feedback

* Fixing thread safety issue by removing caching

* Addressing feedback

* Apply suggestions from code review

Co-authored-by: Jan Kotas <jkotas@microsoft.com>
* Addressing feedback and adding tests

* Fix typo

Co-authored-by: Jan Kotas <jkotas@microsoft.com>

Disable test based off of #38455 (#38580)

Properly disable test on mono (#38615)

Fix issue link for wasm specific limitation.

Fix packaging of PDBs for host binaries (#38589)

Markdown: Close anchor tags correctly (#38619)

Add type layout stress mode to crossgen2/runtime (#38579)

- New command line parameter --verify-type-and-field-layout
  - Intended for use diagnosing bugs in crossgen2 only, not for general
  production use
- New r2r precode fixups Verify_TypeLayout and Verify_FieldOffset
  - These allows the compiler to specify that a particular type/field
  layout must match with the runtime calculation.
  - If there is a mismatch, the runtime will failfast, even on release
  builds
- Add use of new switch to crossgen2smoke test
- Fix encoding bug in FieldFixupSignature. Check_FieldOffset and
Verify_FieldOffset use unsigned offsets, not signed offsets

Remove AsyncCausalityTracer by logging into TplEventSource directly (#38313)

* Add AsyncCausalityTracer

* cleanup

* Handle multiple sessions

* CR feedback

* Remove AsyncCausalityTracer and replace it with direct calls to TplEventSource

Remove decimal alignment quirk from the type loader (#38603)

System.Decimal fields did not match Win32 DECIMAL type for historic reasons. It required type loader to have a quirk to artificially inflate System.Decimal alignment to match the alignment of Win32 DECIMAL type to make interop work well.

This change is fixing the System.Decimal fields to match Win32 DECIMAL type and removing the quirk from the type loader since it does not belong there.

The downsides are:
- Slightly lower code quality on 32-bit platforms. 32-bit platforms are not our high performance targets anymore.
- Explicit implementation of ISerializable is required on System.Decimal for binary serialization compatibility.

Fixes #38390

Markdown: remove unused definitions (#38618)

* Update glossary.md

Remove unused markdown definitions introduced in https://github.com/dotnet/corefx/pull/38103

* Update source-generator-pinvokes.md

Remove unused markdown definitions introduced in https://github.com/dotnet/runtime/pull/33742

ARM64: Eliminate redundant opposite mov (#38179)

* Added IsOppositeOfPrevMov()

Added IsOppositeOfPrevMov() that will skip generating redundant mov.

* review comments

* Refactor code into IsRedundantMov()

* dont optimize beyong IG boundary

* add check to not cross IG boundary

* Add more checks:
- Change IG boundary check to exclude extended IGs.
- Check the operand size before removing redundant movs.

* fix the check

* review comments

* Add check to ensure if src/dst are both scalar or both vector

* minor comment

* Add check for insFormat

* fix the typo

* minor comments

Disable two System.Linq.Parallel tests that fail on WASM due to forced parallelism (#38617)

[interp] Small improvements around ByReference ctor (#38561)

* [interp] Add stfld opcode for storing valuetypes without refs

* [interp] Remove MINT_VTRESULT use with byrefernce ctor intrinsic

[wasm] Add assembly level skip for System.Threading.Tasks.Extensions (#38554)

Co-authored-by: Mitchell Hwang <mitchell.hwang@microsoft.com>

Port EventPipeBuffer, EventPipeBufferList, EventPipeBufferManager to Mono. (#37756)

* Port EventPipeBuffer.
* Port EventPipeBufferList.
* Port EventPipeManager.
* Merge internals source files. Changed GETTER_SETTER to only mandate use
of inlined functions when calling betweeen source files for different types.
Upgraded all use within each source file for direct struct access.
* Changed function entry error checkin strategy. Only apply active checks
on outer library API, ep.h, and use EP_ASSERT for all other functions.
* Dropped requires_lock_held in function naming, switch to comment in header
or in forward declare for functions that validates that lock is held.
* Removed currently unused GETTER/SETTERS.
* Moved more comments into sources from corresponding CoreCLR EventPipe
sources.
* Add EventPipeBuffer/EventPipeBufferManager unit tests.
* Align to changes in native CoreCLR eventpipe* sources.
* Add support starting default file session using env variables.
* Disable eventpipe callback on WASM due to platform issues with delegates.

[interp] Intrinsify ClearWithReferences (#38569)

SDK base images upgraded to 5.0 and docker-compose logging fixed (#38389)

It does the following:
1. Upgrades the base image versions of HttpStress and SslStress tests containers to `nightly/sdk:5.0`
2. Wraps over `docker-compose` call to prevent it from accidentally reporting progress to `stderr `instead of `stdout` and thus breaking CI pipeline (see docker/compose#7346)

[wasm] Disable test on browser (#38613)

It OOMs due to excessive allocations

Bring back previous debug_abbrev offset behavior on Apple platforms (#38454)

https://github.com/mono/mono/pull/19794 broke on iOS. Analyzing the result showed that, while the assembly was generated as expected, the linked result was different. Analyzing the LLVM code (which triggered the original fix) seems to imply that, on Apple platforms, they will not generate a label for it, only doing the 0-offset as we were doing before. Therefore, match the LLVM behavior by bringing back our previous logic when targetting Mach, otherwise use the new way of doing things.

Fixes mono/mono#8806 (again)

Co-authored-by: mathieubourgeois <mathieubourgeois@users.noreply.github.com>

Remove some stale pragma warning disables (#38551)

[wasm] Optimize interp->native transitions. (#38483)

* Generate tables of signatures/transition functions.
* Add mono_wasm_get_interp_to_native_trampoline () function to look up the transition function
for a signature.
* Cache the transition function in a imethod->method_data slot.

Previously, we were calling a mono_wasm_interp_to_native_trampoline () function and a generated
icall_trampoline_dispatch () function which added a lot of overhead.

<!--
Thank you for your Pull Request!

If you are new to contributing to Mono, please try to do your best at conforming to our coding guidelines http://www.mono-project.com/community/contributing/coding-guidelines/ but don't worry if you get something wrong. One of the project members will help you to get things landed.

Does your pull request fix any of the existing issues? Please use the following format: Fixes #issue-number
-->

Co-authored-by: vargaz <vargaz@users.noreply.github.com>

Disable Bundle_can_be_renamed_while_running test (#38300)

Disable the test due to non-deterministic failure in the CI.
Enabling tracked by: #38013

Fixes: #35068

Remove dead code in binder (#38557)

Disable reverse eventpipe test (#38583)

The exclude list entry path was incorrect

Fix sizeof tests for arm and x86 (#38577)

On these tests the arm class layout happens to match the x64/arm64 layout and
is different than the x86 layout.

So, introduce arm specific test projects for these tests.

Also in the recent test build conversion one project was overlooked, so update
that project to work with this new scheme as well.

Remove all exclusions for these and older variants of these tests.

Closes #37470.

Fixed IL bad format bug (#38560)

Fix mono/mono#20022 - changing the signature of mono_handle_native_crash() for s390x (#38428)

* Fix exception-s390x so mono_handle_native_crash() is called according to the changes made in mono/mono#19973
* Make roslyn the default compiler for s390x

Co-authored-by: nealef <nealef@users.noreply.github.com>

Remove defunct comment (#38558)

Update xharness to latest version with WASM fixes (#38576)

Addresses an issue that caused the testResult.xml to be empty on Helix runs.

Adds options to only execute a specific class/method to the WASM runner.

Use shared instances of OID where possible

[Crossgen2] Remove legacy behavior around non-virtual interface calls (#38564)

Resolves https://github.com/dotnet/runtime/issues/37400

The regression test was not failing in Crossgen2 because somewhere along the way when we eyeball ported `getCallInfo` the ordering of these two if block was switched, so Crossgen2 was always treating such calls as non-virtual.

Disable P/Invoke analyzer (#38550)

Update lead specification for AppModel items (#38532)

Update analyzers version to remove pragma (#38512)

[Wasm] Disable tests for HostFileChangeMonitor (#38386)

The HostFileChangeMonitor relies on FSW, which is not supported on wasm.  This change disables the tests that were failing because of it.

[browser][wasm][tests] Add tests for DataView (#38498)

Implement BigInteger.GetBitLength (#37870)

[wasm] Add assembly level skip for System.Threading.Tassk.Dataflow (#38470)

Co-authored-by: Mitchell Hwang <mitchell.hwang@microsoft.com>

Add throwing PNSE to System.Security.Cryptography on WASM   (#38379)

Since the entire set of System.Security.Cryptography.* tests has been disabled on WASM recently in https://github.com/dotnet/runtime/pull/37723, we need to let everyone know that those areas are not quite supported on WASM at the moment. In that case System.Security.Cryptography classes could throw PlatformNotSupportedException until some solution comes (https://github.com/dotnet/runtime/issues/37669)

Relax assert in ResolveTokenInScope (#38542)

`ResolveTokenInScope` now gets called with `typeOrMethodContext` that is a non-generic method. Make sure the method is on the same type.

Stop using std::map since it races with the finalizer during shutdown. (#38375)

Remove unnecessary char[] from ProcessStartupHooks() (#38544)

Clean descriptor for Mono's SPC (#38442)

- Remove names pointing to non-existent members
- Fix spaces in method signatures which break matching rules
- Remove duplicate entries
- Format file for consistency

Use HttpClient.Send in HttpWebRequest.GetResponse (#38511)

Reimplement CertificateAssetDownloader.DownloadAsset with HttpClient.Send (#38502)

* Reimplement CertificateAssetDownloader.DownloadAsset with HttpClient.Send

* Address PR feedback

[CBOR] Use System.Half for encoding and decoding half-precision data items (#38466)

* remove unused usings and remove #nullable declarations

* Wire half-precision float support to System.Half

* address feedback

* add test for ReadSingle handing double-precision encodings

JsonSerializer - Prevent Stack and Queue types from being pulled in if not used in calling app (#38458)

* JsonSerializer - Prevent Stack and Queue types from being pulled in if not used in calling app

* Add comment about type fetch indirection

* Load types based on target frameworks

Update windows requirements.md (#38546)

* Remove VS 16.6 Preview 2 requirement

* Clarify wording on Visual Studio community edition