[wasm] Improve exception handling measurements (#52846)

Add conditional throw to the leaf methods to avoid optimizing out the
exception handling code in `TryCatch` measurement.

Add new `NoExceptionHandling` measurement to measure case when no
exception handling is involved.

Example measurement, chrome/amd64:

| measurement | AOT | interp |
|-:|-:|-:|
|  Exceptions, NoExceptionHandling |     0.0164us |     0.0558us |
|             Exceptions, TryCatch |     0.1400us |     0.0592us |
|        Exceptions, TryCatchThrow |     0.0064ms |     0.0028ms |
|       Exceptions, TryCatchFilter |     0.4415us |     0.0645us |
| Exceptions, TryCatchFilterInline |     0.1263us |     0.0527us |
|   Json, non-ASCII text serialize |     1.4475ms |     8.6952ms |
| Json, non-ASCII text deserialize |     6.5332ms |    12.2220ms |
|            Json, small serialize |     0.2020ms |     0.2362ms |
|          Json, small deserialize |     0.2293ms |     0.3614ms |
|            Json, large serialize |    53.3021ms |    68.0000ms |
|          Json, large deserialize |    61.5176ms |   100.0377ms |

Enable use of RuntimeVariant to exclude runtime tests (#51522)

Allow filtering of runtime tests based on runtimevariant.

Reduce DefaultPooledConnectionIdleTimeout default (#52687)

* Reduce DefaultPooledConnectionIdleTimeout default

- Change DefaultPooledConnectionIdleTimeout from 120 seconds to 60 seconds
- This should reduce the occurrence of socket errors when connected to IIS or Kestrel

[wasm][testing] create dev cert via powershell on helix (#53225)

create SSL dev cert via powershell on helix

Closing opened handles to avoid resource leak. (#51950)

SymReader::InitializeFromFile opens file handles which were not closed causing resource leaks on each call.

Fix #50422

Co-authored-by: Artem Kliatchkine <eldog@rambler.ru>

Remove unused code from old IJW path (#53190)

Cleanup internal ComWrappers cache when object enters Finalization queue (#52771)

* Clean up the ExternalObjectContext cache for ComWrappers' RCWs.

* Add testing for verifying internal cache clean up.

Integrate selected changes from nativeaot branch (#53185)

- More code sharing for System.Exception
- Some support for default interface methods
- Move callling convention helpers around to avoid duplication
- Unify Environment.StackTrace

[Android] Revert arm and arm64 device PR runs (#53210)

We're still having capacity issues even after doubling the number of devices.  Only run device tests on the rolling build for the time being.

Co-authored-by: Steve Pfister <steve.pfister@microsoft.com>

Deterministic bundling issue 3601 (#52930)

https://github.com/dotnet/runtime/issues/3601
Bundling should generate id based on the content in order to secure unique but reproducible ids

Fix missing nullable enable in Microsoft.Extensions.Logging.Abstractions ref (#53199)

make networking easier to debug with console (#53178)

Emit JITStarting, MethodLoad, ModuleLoad and AssemblyLoad EventPipe events on Mono. (#53020)

* Add native JIT event into EventPipe.

* Emit module/assembly load native events into EventPipe.

* Emit MethodDCEnd_V1 and MethodILToNativeMap EventPipe events.

Parse `DOTNET_PROCESSOR_COUNT` with a 10 radix not 16 (#53208)

* Parse DOTNET_PROCESSOR_COUNT with a 10 radix not 16

* Update test for DOTNET_PROCESSOR_COUNT

Delete now unused *AsyncResult files from Sockets (#53192)

GT_COPY source should be marked as consume during resolution (#53041)

System.ComponentModel.* missed Equals nullable annotations  (#52163)

* add NotNullWhen attribute

* add usings

Fix handling of non-mergeable char classes in regex prefix analyzer (#53135)

Hot Reload: test on WebAssembly (#53050)

* Hot Reload: test on WebAssembly

   1. Always build the assemblies in the ApplyUpdate/ subdirectory without optimization, with debug info.  Hot reload depends on it.
   2. Pass the required environment variable to the runtime via xharness to enable support for applying updates.

* Add ApplyUpdate test assemblies to test project linker descriptor

* Fix wasm EnableAggressiveTrimming lane

Add more natvis visualizations for base VM types. (#53052)

Delete redundant area-owners entries (#53188)

Use the new Microsoft.DotNet.PackageValidation on Microsoft.Extensions* packages. (#52741)

* enabling the new validation on extensions packages

* use most recent version namespace fixes

* use the new pacakge version with the path fix

* editing the comments

Reenable extract unicode System.IO.Compression.ZipFile tests on iOS (#53176)

As a result of https://github.com/dotnet/xharness/pull/605, the tests should be good to run

Fixes https://github.com/dotnet/runtime/issues/52471

[mono] LLVM build fixes (#53139)

Don't copy files from an LLVM header and library directory to
`artifacts/obj/mono` if the directory was supplied as a user-specified
`MonoLLVMDir` or `MonoAOTLLVMDir` property.

Fix EventSource default channel allocation (#48864)

Update testing docs with x86 instructions (#48715)

* Update testing docs with x86 instructions

* Apply suggestions from code review

Co-authored-by: Santiago Fernandez Madero <safern@microsoft.com>
* add more examples

* Apply suggestions from code review

Co-authored-by: Dan Moseley <danmose@microsoft.com>
* Update docs/workflow/testing/libraries/testing.md

Co-authored-by: Santiago Fernandez Madero <safern@microsoft.com>
Co-authored-by: Santiago Fernandez Madero <safern@microsoft.com>
Co-authored-by: Dan Moseley <danmose@microsoft.com>
Co-authored-by: Eric StJohn <ericstj@microsoft.com>

Fix another bug in the backport action (#53187)

- #52938 was incomplete
- see also dotnet/aspnetcore#32930

Fix the token included by HttpClient.HandleFailure (#53133)

Add additional area labels that have been added recently (#53183)

Add runtimeconfig.json support to AppleAppBuilder, reenable affected tests (#53172)

Fix: Avoid throwing if a symbolic link cycle to itself is detected while enumerating (#52749)

* Fix: Avoid throwing on FileSystemEntry.Initialize

* Add unit tests that verify cyclic symbolic links

* Fix Windows-specific unit test failures

* Use OperatingSystem.IsWindows()

* CHange 'Assert.Equal(1, ' to 'Assert.Single('

* Rename helper method that creates self referencing symlink

* Spacing

* ConditionalClass for CanCreateSymbolicLinks

* ConditionalClass does not work in browser/ios/android, use ConditionalFact/ConditionalTheory

Co-authored-by: carlossanlop <Carlos Sanchez carlossanlop@users.noreply.github.com>
Co-authored-by: carlossanlop <carlossanlop@users.noreply.github.com>

Stringify RMWStatus for the dump (#53148)

* Stringify RMWStatus for the dump

* Use a simpler switch-based implementation

* Made the string into a description

Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20210523.4 (#53170)

optimization.linux-x64.MIBC.Runtime , optimization.windows_nt-x64.MIBC.Runtime , optimization.windows_nt-x86.MIBC.Runtime , optimization.PGO.CoreCLR
 From Version 1.0.0-prerelease.21271.2 -> To Version 1.0.0-prerelease.21273.4

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

install development SSL certificate on Helix agent before xharness run (#53180)

Implement Get*PublicKey methods on S.S.C.X509Certificates.PublicKey

Set NumProc on tizen (#53098)

Change enterprise test password (#53094)

* Change password

* Change another occurence

Disabled failing HTTP/3 tests. (#53092)

* Disabled failing HTTP/3 tests.

* The test disabling move to code for abstract bases.

DbgTransportSession: delete message copy when not queued (#50550)

Reflection-annotate obscure API (#53081)

I missed the extra `Activator` in Activator.RuntimeType.cs (the rest are in Activator.cs). This was flagged on the NativeAOT side.

Also missed the APIs on `ModuleHandle` that I found by accident just now.

System.Collections.* missed Equals nullable annotations  (#52164)

* add NotNullWhen attribute

* add usings

[main] Update dependencies from dotnet/arcade dotnet/icu dotnet/xharness dotnet/hotreload-utils (#53138)

[main] Update dependencies from dotnet/arcade dotnet/icu dotnet/xharness dotnet/hotreload-utils

Update dependencies from https://github.com/dotnet/emsdk build 20210520.1 (#53013)

[main] Update dependencies from dotnet/emsdk

Add [return: NotNullIfNotNull("str")] to SecurityElement.Escape (#52442)

Add missing space in xml description for IReadOnlySet<T>.Overlaps (#53159)

fixes https://github.com/dotnet/runtime/issues/53147

Reintroduce EnumerateRunes tests (#53114)

Fix formatting of CircularDependencyException error message (#53140)

Optimise GetCustomAttributes - Part 1 (#53152)

- Use is/is not instead of ==/!=. Avoids overhead from operator overloading
- Pass ListBuilder as ref instead of out. Avoids redundant initialization to default.
- Use HashSet instead of Dictionary.

Co-authored-by: Ben Adams <thundercat@illyriad.co.uk>

Fix a 32-bit specific bug in `fgMorphCast` (#52828)

* Added a test

Verifying that checked '.un' casts from floats to small types are not treated as casts from unsigned types.

* Do not mark casts from FP types with GTF_UNSIGNED

It used to be that in the importer, whether the cast was to
be marked as GTF_UNSIGNED was decided exclusively based on
the incoming opcode. However, the flag only makes sense
for casts from integral sources, and it turns out morph
had a bug where it failed to clear this flag which resulted in
bad codegen.

The bug went as follows: "gtMorphCast" turns casts from an FP
type to a small integer into a chain of casts:
CAST(small integer <- FP) => CAST(small integer <- CAST(TYP_INT <- FP)).
On 32 bit platforms, the code failed to clear the GTF_UNSIGNED flag
from the original tree, which meant that the outer cast thought it
had TYP_UINT as the source. This matters for checked casts:
conv.ovf.i2.un(-2.0d), which is a legitimate conversion, was interpreted
wrongly as an overflowing one as the resulting codegen only checked the
upper bound via an unsigned compare.

The fix is two-fold: clear GTF_UNSIGNED for GT_CAST nodes with FP sources
on creation and unify the 64 bit and 32 bit paths in "gtMorphCast",
which, after the removal of GTF_UNSIGNED handling, are identical.

This is a zero-diff change across all SPMI collections for Windows x64, Linux x64,
Linux ARM64.

This **is not** a zero-diff change for Windows x86.
Instances of bad codegen have been corrected in some tests.

* Assert instead of normalizing

Instead of normalizing GTF_UNSIGNED for FP sources in "gtNewCastNode",
assert that it is not set in GenTreeCast's constructor and fix the
importer to respect that constraint.

Some cleanup of `var_types` - related functions (#52418)

* Specified the parameter name for ReinterpretHexAsDecimal

* Refactored "genUnsignedType", now "varTypeToUnsigned"

Renamed "genUnsignedType" to "varTypeToUnsigned" to conform to the existing
naming convention, moved its definition from "compiler.hpp" to "vartype.h",
made it a templated function like all the other "varType*" functions.
Deleted the equivalent but unused "varTypeSignedToUnsigned".

* Deleted "genSignedType" and renamed "varTypeUnsignedToSigned"

"genSignedType" had confusing semantics where it only returned the actual
signed type for TYP_UINT and TYP_ULONG. Deleted the function and made
the callsites explicitly request that behavior.
Also renamed "varTypeUnsignedToSigned" to "varTypeToSigned" for parity
with "varTypeToUnsigned" and made it a templated function.

* Made "genActualType" a templated function

* Made "genTypeStSz" a templated function

Also renamed the parameters for it and "genTypeSize" to be
consistent with "genActualType".

[iOS] Re-enable Brotli tests (#53069)

[iOS] Re-enable System.Xml.XmlSchema.XmlSchemaValidatorApi.Tests (#53068)

Fixes #51338

Remove redundant GeneratePackageOnBuild condition (#53107)

* Remove redundant GeneratePackageOnBuild condition

Avoid dependency on LINQ orderby iterators when building exception messsage (#53123)

Saves about 2k compressed for Blazor default template

Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20210521.2 (#53124)

optimization.linux-x64.MIBC.Runtime , optimization.windows_nt-x64.MIBC.Runtime , optimization.windows_nt-x86.MIBC.Runtime , optimization.PGO.CoreCLR
 From Version 1.0.0-prerelease.21270.4 -> To Version 1.0.0-prerelease.21271.2

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

System.Reflection.* missed Equals nullable annotations  (#52162)

* add NotNullWhen attribute

Allow TimeZoneInfo display names to use any of the installed Windows languages (#53119)

Integrate misc changes from nativeaot (#53063)

* Integrate misc changes from nativeaot

* Fix RemoteStack serialization

* Delete confusing String.Empty comment

Move GlobalizationMode initialization into a nested class (#53082)

remove pragma (#52481)

Fix typos in comments (#53064)

Revert "Allow TimeZoneInfo display names to use any of the installed Windows languages" (#53112)

This reverts commit b54dbaf9adb2ec068098394b3f73e8e7cd0ec09c.

Allow TimeZoneInfo display names to use any of the installed Windows languages (#52992)

Implement Initialize on HashAlgorithm (#51402)

* Implement Initialize on HashAlgorithm derived types.

* Add test for SHA CryptoServiceProviders

* Implement reset for HMAC

* Remove const

* Fix header.

[sigh]

* Remove ZeroMemory

* Fix performance of CSP hash providers.

Fix typo tihs -> this (#52398)

ensure we flush when a window limit is hit (#52797)

Co-authored-by: Geoffrey Kizer <geoffrek@windows.microsoft.com>

Remove unused field (#53100)

JIT: fix relop flags for peeled switch compare (#53096)

In particular we need to set `GTF_DONT_CSE` so that CSE doesn't
introduce commas under `GT_JTRUE` nodes.

Fixes #52785.

Skip flakey mobile library test crashes (#52931)

* [mobile][libraries] Skip test suites failing on CI

* [libraries] Add more flakey test suite crashes

* [Android][libraries] Add DynamicChainTests.MismatchKeyIdentifiers failure

* Add issue to DynamicChainTests ActiveIssue

* [Android] Add more flakey test suite crashes for Android arm64

* [libraries] Add RunDisabledAndroidTests condition to be able to run tests on build lane

* [Android] Add even more flakey test suites that crash

* [iOS] Add System.Net.Security.Tests X509 Certificate not supported skips

* [libraries][Android] Add another round of test suite flakes for Android arm64

* Remove suites that had Package Installation Error failures

* [Android][libraries] Add more process crashed test suites

* Add more process crashed for Android arm and arm64

* Remove test suites that failed due to Package Installation Failure

* [Android][libraries] Add System.Diagnostics.Process.Tests active issue

* [Android] Add more flakey test suite crashing from json error

* [Android][libraries] JSON parsing exception section for suite skips

Co-authored-by: Mitchell Hwang <mitchell.hwang@microsoft.com>

Override BaseType in TypeRefTypeSystemType (#52963)

* Override BaseType in TypeRefTypeSystemType

BaseType is being used to determine whether the type is a value type or
class type. This meant that `dotnet-pgo merge` would always produce
metadata saying that all types were class types.

In practice, this meant that we had the following behavior:
```
.\dotnet-pgo.exe merge --input IBCTrace28800.mibc --output identity.mibc
.\dotnet-pgo.exe merge --input IBCTrace28800.mibc --input identity.mibc --output foo.mibc
Opening D:\dev\dotnet\dotnet-optimization\output\temp\IBCTrace28800.mibc
Opening D:\dev\dotnet\runtime\artifacts\bin\coreclr\windows.x64.Debug\dotnet-pgo\foo.mibc
Unhandled exception. System.Exception: Same type `[S.P.CoreLib]System.ReadOnlySpan`1` used as both ValueType and non-ValueType
   at Microsoft.Diagnostics.Tools.Pgo.TypeRefTypeSystem.TypeRefTypeSystemType.SetIsValueType(Boolean isValueType)
   at Microsoft.Diagnostics.Tools.Pgo.TypeRefTypeSystem.TypeRefTypeSystemContext.TypeRefSignatureParserProvider.GetTypeFromReference(MetadataReader reader, TypeReferenceHandle handle, Byte rawTypeKind)
```

The same problem would occur when using compare-mibc to compare a
merged mibc file with some of its constituents. These scenarios work
now.

* Re-abstract BaseType in MetadataType

Fixing nullability annotations on DateOnly and TimeOnly (#53088)

* Fixing nullability annotations on DateOnly and TimeOnly

* Fix nullability annotatations for formats parameter on TryParseExact

[main] Update dependencies from dnceng/internal/dotnet-optimization (#52966)

* Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20210518.8

optimization.linux-x64.MIBC.Runtime , optimization.windows_nt-x64.MIBC.Runtime , optimization.windows_nt-x86.MIBC.Runtime , optimization.PGO.CoreCLR
 From Version 1.0.0-prerelease.21267.7 -> To Version 1.0.0-prerelease.21268.8

* Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20210519.5

optimization.linux-x64.MIBC.Runtime , optimization.windows_nt-x64.MIBC.Runtime , optimization.windows_nt-x86.MIBC.Runtime , optimization.PGO.CoreCLR
 From Version 1.0.0-prerelease.21267.7 -> To Version 1.0.0-prerelease.21269.5

* Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20210520.4

optimization.linux-x64.MIBC.Runtime , optimization.windows_nt-x64.MIBC.Runtime , optimization.windows_nt-x86.MIBC.Runtime , optimization.PGO.CoreCLR
 From Version 1.0.0-prerelease.21267.7 -> To Version 1.0.0-prerelease.21270.4

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

Allow more efficient marshalling to IDispatch (#53065)

In NativeAOT scenario this allow to not rely on reflection to get GUID of the IDispatch, since it is well known.
Related to https://github.com/dotnet/runtimelab/pull/1142

Disable UnmanagedCallConvTest on Android (#53079)

Mark some APIs as unsupported on MacCatalyst (#53075)

Com trimming related work (#52940)

* COM related work and native host name changes

* FB

Fix creation of platforms and sources package (#53073)

* Fix creation of platforms and sources package

* Update Microsoft.Extensions.HostFactoryResolver.Sources.csproj

Big-endian fix: JsonWriterHelper (#52790)

JsonWriterHelper.Transcoding.cs has endian-dependent code that is
guarded via a #if BIGENDIAN.  However, nobody ever defines this
predefine (outside of System.Private.CoreLib) so this doesn't work.

Fixed by using BitConverter.IsLittleEndian like everywhere else.

Implement 64-bit type handle histogram counts (#52898)

add SslStream_RandomWrites_OK test (#52682)

* add SslStream_RandomWrites_OK test

* update parameters

* feedback from review

* split RandomReadWriteSizeStream to separate file

* add comment

* feedback from review

* s/_maxSize/_maxChunkSize

Add mibc to the PE family of signatures (#53048)

[wasm] Fix few paths (#53049)

To avoid parts of the path like:

    artifacts\bin\native\net6.0-Browser-Debug-wasm\/dotnet.wasm

Rename Mac Catalyst dylib to libmonosgen, not libcoreclr (#53038)

Make DSA.Create, AesCcm, AesGcm, ChaCha20Poly1305 throw PNSE on iOS (#52978)

Add UnmanagedCallConvAttribute (#52869)

Add a missing end of line to JITDUMP in lclmorph.cpp (#53028)

Delete an unnecessary pessimization for x86. (#52803)

Fix DataCommonEventSource EnterScope (#53043)

Resolving ILLink warnings for Microsoft.Extensions.Configuration.Binder (#52795)

* Resolving ILLink warnings for Microsoft.Extensions.Configuration.Binder

* Addressing PR Feedback

Disable crossgen2determinism test on OSX arm64 (#53045)

Make the lookup for getApplicationProtocol optional (#53001)

* Make the lookup for getApplicationProtocol optional

The method getApplicationProtocol in javax.net.ssl.SSLEngine is only supported on API level 29 and above, so running on older devices would result in a crash. This change makes the initial method lookup optional and AndroidCryptoNative_SSLStreamGetApplicationProtocol in pal_sslstream.c will error if it is not supported.

Fixes https://github.com/dotnet/runtime/issues/52965

* Feedback

Co-authored-by: Steve Pfister <steve.pfister@microsoft.com>

Fix OperatingSystem.IsAndroidVersionAtLeast() (#53034)

The implementation called into uname() which returns the Linux kernel version, but the API as specified in https://github.com/dotnet/designs/blob/main/accepted/2020/platform-checks/platform-checks.md expects the Android API level to be passed in and checked.

Also fix `OperatingSystem.IsLinux()` to return false on Android.

Return null when Variant contains BSTR (#53030)

* Return null when Variant contains BSTR

I found this one when implement VARIANT marshalling for NativeAOT. Without that I have to resort to duplicate implementation in that class.
PR where I discover this - https://github.com/dotnet/runtimelab/pull/1142
Problem is `Marshal.PtrToStringBSTR` throw exception when passed `IntPtr.Zero`, but `Marshal.StringToBSTR` produce `IntPtr.Zero` when given null.

* Update nullable annotations

StringValues.Count test null first (#52508)

[mono] LLVM 11 compatibility fixes (#53019)

Fixes for minor source-level incompatibilities caught by
https://github.com/dotnet/runtime/pull/52984.

`AArch64Intrinsics` really should be `AARCH64Intrinsics`. And `llvm.floor`,
`llvm.ceil`, and `llvm.trunc` are architecture-independent intrinsics.

Also adds LLVM 11 linking flags to CMakeLists.txt.

Support string interning for InvokeJS, address string interning performance hazard (#51576)

* In WASM builds, inflated lock words have an 'is interned' flag for strings to enable O(1) 'is interned' checks vs the previous hash lookup
* When the expression being passed to InvokeJS is interned, the binding_support string intern table is used to avoid marshaling the expression again

Use Assembly.Load as first option to load TempAssembly. (#52429)

* Use Assembly.Load as first option to load TempAssembly.

Print R2RDump Statistics in the Output File Instead of Console (#52278)

* Moved R2RDump statistics from console to --out file

* Automated the fixup statistics report into a self-maintaining component.

* Optimized the minimum values by setting them at the beginning, and removing the Math.Max() calls.

make TestBasePriorityOnWindows not fail when ruinning tests with `-low` (#53003)

JIT: fix invocation of unboxed entry when method returns struct (#52998)

If a value class method returns a struct, and its unboxed entry point
requires a type context argument, make sure to pass the context argument
properly.

Also, fetch the type context (method table) from the box, rather than
creating it from the class handle we have on hand; this tends to produce
smaller code as we're often fetching the method table for other reasons
anyways.

Closes #52975.