Use Stopwatch.StartNew() in ImageAnimator (#53330)

Add pgo testing to outerloop (#53301)

Also update jit-experimental to no longer run PGO or EH WriteThru.

Remove phi nodes during rationalize. (#53269)

* Delete references to `GT_PHI_ARG/GT_PHI` after rat.

* Delete references after Rat.

* add check that we don't see them.

Rename superpmi tests collection names (#53108)

* Rename tests collection names

- Rename tests.pmi to coreclr_tests.pmi
- Rename tests_libraries.pmi to libraries_tests.pmi

* changes in superpmi.py

Add WebKit (javascriptcore) WASM runs (#53257)

* Add javascript engine selection and runs

* Fixup runs

* Testing

* Fix spacing

* Change jsc to javascriptcore

* Remove testing comments

* Add back V8 runs

Build support for s390x: Fix a few paltests (#53288)

* Accommodate platforms (like s390x) where the SIGSEGV fault address
  is only provided on a page granularity by the HW/OS

* All paltests now pass on s390x

Remove NS1.x assets from building and packaging (#53283)

* Remove NS1.x assets from build and packaging

These ten projects still built for netstandard1.x. This PR
trims out these assets from both the build which also results
in them not being packaged anymore as there is no harvesting
mechanism in the repository anymore.

Suppressing the package warnings for the intentionally dropped
assets and cleaning up conditions in the project file as well.

For more details please see the reasoning in the linked issue.

Contributes to https://github.com/dotnet/runtime/issues/53282

[main] Update dependencies from dnceng/internal/dotnet-optimization (#53222)

* Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20210524.6

optimization.linux-x64.MIBC.Runtime , optimization.windows_nt-x64.MIBC.Runtime , optimization.windows_nt-x86.MIBC.Runtime , optimization.PGO.CoreCLR
 From Version 1.0.0-prerelease.21273.4 -> To Version 1.0.0-prerelease.21274.6

* Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20210525.7

optimization.linux-x64.MIBC.Runtime , optimization.windows_nt-x64.MIBC.Runtime , optimization.windows_nt-x86.MIBC.Runtime , optimization.PGO.CoreCLR
 From Version 1.0.0-prerelease.21273.4 -> To Version 1.0.0-prerelease.21275.7

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

Use literals instead of static readonly for HostFactoryResolver.cs (#53295)

The type is internal + part of a source-only package, so there shouldn't be any harm in this change. Also lets us remove [a workaround](https://github.com/dotnet/aspnetcore/blob/main/.editorconfig#L100-L102) in the AspNetCore repo.

Update XML comment for MetadataUpdateHandlerAttribute (#53262)

"Fold overflow operations in value numbering" (second attempt after revert) (#51440)

* Added a missing license header

* Added a test verifying that checked arithmetic is correct

* Added a test verifying that checked casts are correct

* Disabled the test for checked casts on Mono

* Refactored VNEvalShouldFold

* Refactored gtFoldExprConst to use helpers and follow the common code style

* Fixed the comment stating TYP_BYREF has no zero value

* Moved checking of overflow for arithmetic operations from gtFoldExprConst into a separate namespace

* Implemented folding of overflow arithmetic in value numbering

* Fixed some typos in valuenum.cpp/h

* Added identity-based evaluation for overflow arithmetic

* Made the definition of var_types a standalone header so that it can be safely #included'ed in utils.h

* Refactored gtFoldExpr some more, moved the overflow checking logic to CheckedOps, implemented overflow checking for floating point -> integer casts

* Implemented folding of checked casts in value numbering

* Demote the tests to Tier1

They throw and catch quite a few exceptions.

* Fixed a comment

UINT32 -> UINT64

* Made arithmetic CheckedOps functions templated

Reduces code duplication and obviates the need for
some conditions and casts.

They use the implementation from the Long* variants of
the old functions, except for "SubOverflows", where some
instantiations, unreachable at runtime, were using "size_t" as the
type argument and causing warnings. The relevant part of "AddOverflows"
has been inlined into "SubOverflows".

* Move the locals under "if" to avoid shadowing

* Use ClrSafeInt instead of custom code

* Fix a copy and paste mistake

Co-authored-by: Anton Lapounov <anton.lapounov@microsoft.com>
* Update src/coreclr/jit/utils.cpp

* Apply suggestions from code review

Co-authored-by: Anton Lapounov <anton.lapounov@microsoft.com>
* Assert type != TYP_BYREF in VNEvalShouldFold

The method is not prepared to handle them.
Also add a note about that to the header.
Also delete TODO-Review about it.

Right now the only caller of VNEvalShouldFold guards against
TYP_BYREF folding, so this assert is a safety measure against
future callers not taking byrefs into account.

* Drop the MAX_ prefix from MIN

Co-authored-by: Anton Lapounov <anton.lapounov@microsoft.com>

Fix devirtualization in shared generic context

In circumstances where the JIT doesn't provide exact enough details about the impl type and interface method to identify exactly which method should be called

- In particular, when the impl class implements multiple copies of the target interface, and they are canonically compatible with the interface method that is to be called
- Simply disable devirtualization for these scenarios

Fixes #51982

Expose the UseLocalTargetingRuntimePack property (#53290)

* Expose the UseLocalTargetingRuntimePack property

and use it in the Microsoft.NETCore.Platforms package to avoid a dependency on the live built targeting and runtime pack / shared framework.

* Update Microsoft.NETCore.Platforms.csproj

Add different pgo data runs (#52780)

* Add different pgo data runs

* Fix if else formatting

* Update log artifact name

* Turn off failing tests for these runs

* Remove filter

* Fix config order

* Remove testing comments

Remove -O=-float32 from Default AOT process arguments (#53209)

Addresses https://github.com/dotnet/runtime/issues/51992

Move Android x64 to normal pipeline (#53237)

[QUIC] Handle connection abort in streams (#52776)

This leverages newly added flag to SHUTDOWN_COMPLETED event, which means that's not a user-initiated stream shutdown, but a connection abort.

Fixes #32050

JIT: pgo/devirt diagnostic improvements (#53247)

Several changes to help better diagnose PGO and devirtualization issues:
* Report the source of the PGO data to the jit
* Report the reason for a devirtualization failure to the jit
* Add checking mode that compares result of devirtualization to class profile
* Add reporting mode to assess overall rates of devirtualization failure
  when the jit has exact type information.

Also fix a loophole where in some case we'd still devirtualize if not
optimizing.

Note crossgen2 does not yet set devirtualization failure reasons.

JIT into scratch buffer (#53173)

* Generate JITted code into a scratch buffer

Copy it to the final location after the JITing is done.

* Put also the code header and real code header into the buffer

* Disable the scratch buffer usage until we enable W^X

Fix platform-specific substitutions (#53179)

* These feature switches are dead code on non-windows. They were causing
linker warnings because the substitutions weren't being resolved.

See https://github.com/dotnet/sdk/pull/17676

* Fix condition

Check OS, not Platform. Use the same pattern as we do for other
Windows-specific XMLs.

Allow watch of symbolic links to folders on Unix (#52679)

* Allow watch of symbolic links to folders on Unix

* Add logic to repeat directory tests with symlinks

* Remove whitespace

Co-authored-by: Carlos Sanchez <1175054+carlossanlop@users.noreply.github.com>
* Avoid follow symlinks by default in subdirectories

* Add Symbolic Link tests

* Revert "Add logic to repeat directory tests with symlinks"

This reverts commit 5b44eb0195c2e5824ac375862765ea5a2cdeb0ad.

* Exclude test from win7 and 8.1

* Avoid running Process.Start in iOS, tvOS and MacCatalyst

* Apply suggestions from code review

Co-authored-by: Carlos Sanchez <1175054+carlossanlop@users.noreply.github.com>
Co-authored-by: Carlos Sanchez <1175054+carlossanlop@users.noreply.github.com>

Mono runtime dynamic component support. (#53221)

Update area owners to reflect current state (#53232)

Update HttpClientFactory lead (#53270)

Delete invalid assert in GetFileMuiPath (#53276)

Fix FlushAsyncInternal when emitting BOM (#52812)

* Fix FlushAsyncInternal when emitting BOM

Update StreamWriter.WriteTests.cs
Update StreamWriter.WriteTests.cs

* Remove temporary variable

Fix ActivityContext.TryParse null handling (#53265)

Make String.{Try}CopyTo public (#53246)

Generate targets files that throws for unsupported netstandard applicable tfms (#53244)

* Generate targets files that throw for unsupported NS tfm

For S.D.Common, S.Speech and S.Sec.Crypto.Pkcs we manually added a
targets file to mark the .NETStandard asset as not applicable.
This was done to allow defining a minimum supported .NETCoreApp
version, even though a compatible .NETStandard asset is available.
This commit automatically generates that targets file based on
items.

Fix #53181. AssemblyLoadContext incorrectly validates name of dynamic assembly when returned from Load (#53219)

See #53181

Remove indirection in DependencyInjection (#52140)

- Remove indirection
- Get rid of scope state and lock on ResolvedServices
- Don't run customer code under the lock
- No public API changes

Disable workload resolver until we support it (#53226)

Unblock Preview 4 SDK usage in the repo.

Synchronize Metrics Events (#53204)

Delete some unused functions & one define (#53130)

Fix no struct promotion condition for long vars on 32bit platforms. (#53067)

* fix a condition.

* Move `PromoteLongVars` to `DecomposeLongs`.

* response review

Removing unnecessary nowarns from trimming tests (#53251)

* Removing unnecessary nowarns from trimming tests

* Also change the way we mark managedassemblies to link

* Remove target and instead use TrimmerDefaultAction

* Adding the suppression of warnings from the linker

Fix a couple issues with Vector128.Get/WithElement (#52985)

* Fix an issue with Vector128.WithElement around unused nodes for pre SSE4.1

* Fixing the expected exception for a structreturn test

* Ensure we check if the baseline SIMD ISAs are supported in morph

* Ensure TYP_SIMD12 LclVar can be cloned in lowering

* Fixing up the non SSE41 path for WithElement

* Applying formatting patch

* Ensure ReplaceWithLclVar lowers the created LclVar and assignment

* Don't check the JitLog for compiled methods when the baseline ISAs aren't supported

* Address PR feedback

* Responding to more PR feedback

* Applying formatting patch

* Fixing the more PR review feedback

Address post-merge feedback on TimeZoneInfo display names PR (#53229)

Update interpolated string handler based on API reviews / LDM decisions (#53153)

Fix JsonElement.ToString nullable annotation (#53243)

Add PreAllocatedOverlapped.UnsafeCreate / UnsafeAllocateNativeOverlapped (#53196)

Add support for OpenBSD/arm64 (#53233)

There are three changes required to build mono on OpenBSD/arm64.

- The first one is to provide the UCONTEXT macros, which for OpenBSD simply map to sigcontext.
- Furthermore as stated in issue mono/mono#21005, https://github.com/mono/boringssl/compare/mono...bluerise:obsd is necessary for boringssl so that it can be built.
- And last, bdwgc needs to be patches as well: https://github.com/Unity-Technologies/bdwgc/pull/62

Co-authored-by: bluerise <bluerise@users.noreply.github.com>

Making singlefile apps work when wrapped in an OSX universal binary (#52997)

* singlefile support for universal binaries

* Update src/native/corehost/bundle/reader.h

Co-authored-by: Vitek Karas <vitek.karas@microsoft.com>
* tests for OSX universal apps

* Added a comment about testing strategy

Co-authored-by: Vitek Karas <vitek.karas@microsoft.com>

[wasm] Improve exception handling measurements (#52846)

Add conditional throw to the leaf methods to avoid optimizing out the
exception handling code in `TryCatch` measurement.

Add new `NoExceptionHandling` measurement to measure case when no
exception handling is involved.

Example measurement, chrome/amd64:

| measurement | AOT | interp |
|-:|-:|-:|
|  Exceptions, NoExceptionHandling |     0.0164us |     0.0558us |
|             Exceptions, TryCatch |     0.1400us |     0.0592us |
|        Exceptions, TryCatchThrow |     0.0064ms |     0.0028ms |
|       Exceptions, TryCatchFilter |     0.4415us |     0.0645us |
| Exceptions, TryCatchFilterInline |     0.1263us |     0.0527us |
|   Json, non-ASCII text serialize |     1.4475ms |     8.6952ms |
| Json, non-ASCII text deserialize |     6.5332ms |    12.2220ms |
|            Json, small serialize |     0.2020ms |     0.2362ms |
|          Json, small deserialize |     0.2293ms |     0.3614ms |
|            Json, large serialize |    53.3021ms |    68.0000ms |
|          Json, large deserialize |    61.5176ms |   100.0377ms |

Enable use of RuntimeVariant to exclude runtime tests (#51522)

Allow filtering of runtime tests based on runtimevariant.

Reduce DefaultPooledConnectionIdleTimeout default (#52687)

* Reduce DefaultPooledConnectionIdleTimeout default

- Change DefaultPooledConnectionIdleTimeout from 120 seconds to 60 seconds
- This should reduce the occurrence of socket errors when connected to IIS or Kestrel

[wasm][testing] create dev cert via powershell on helix (#53225)

create SSL dev cert via powershell on helix

Closing opened handles to avoid resource leak. (#51950)

SymReader::InitializeFromFile opens file handles which were not closed causing resource leaks on each call.

Fix #50422

Co-authored-by: Artem Kliatchkine <eldog@rambler.ru>

Remove unused code from old IJW path (#53190)

Cleanup internal ComWrappers cache when object enters Finalization queue (#52771)

* Clean up the ExternalObjectContext cache for ComWrappers' RCWs.

* Add testing for verifying internal cache clean up.

Integrate selected changes from nativeaot branch (#53185)

- More code sharing for System.Exception
- Some support for default interface methods
- Move callling convention helpers around to avoid duplication
- Unify Environment.StackTrace

[Android] Revert arm and arm64 device PR runs (#53210)

We're still having capacity issues even after doubling the number of devices.  Only run device tests on the rolling build for the time being.

Co-authored-by: Steve Pfister <steve.pfister@microsoft.com>

Deterministic bundling issue 3601 (#52930)

https://github.com/dotnet/runtime/issues/3601
Bundling should generate id based on the content in order to secure unique but reproducible ids

Fix missing nullable enable in Microsoft.Extensions.Logging.Abstractions ref (#53199)

make networking easier to debug with console (#53178)

Emit JITStarting, MethodLoad, ModuleLoad and AssemblyLoad EventPipe events on Mono. (#53020)

* Add native JIT event into EventPipe.

* Emit module/assembly load native events into EventPipe.

* Emit MethodDCEnd_V1 and MethodILToNativeMap EventPipe events.

Parse `DOTNET_PROCESSOR_COUNT` with a 10 radix not 16 (#53208)

* Parse DOTNET_PROCESSOR_COUNT with a 10 radix not 16

* Update test for DOTNET_PROCESSOR_COUNT

Delete now unused *AsyncResult files from Sockets (#53192)

GT_COPY source should be marked as consume during resolution (#53041)

System.ComponentModel.* missed Equals nullable annotations  (#52163)

* add NotNullWhen attribute

* add usings

Fix handling of non-mergeable char classes in regex prefix analyzer (#53135)

Hot Reload: test on WebAssembly (#53050)

* Hot Reload: test on WebAssembly

   1. Always build the assemblies in the ApplyUpdate/ subdirectory without optimization, with debug info.  Hot reload depends on it.
   2. Pass the required environment variable to the runtime via xharness to enable support for applying updates.

* Add ApplyUpdate test assemblies to test project linker descriptor

* Fix wasm EnableAggressiveTrimming lane

Add more natvis visualizations for base VM types. (#53052)

Delete redundant area-owners entries (#53188)

Use the new Microsoft.DotNet.PackageValidation on Microsoft.Extensions* packages. (#52741)

* enabling the new validation on extensions packages

* use most recent version namespace fixes

* use the new pacakge version with the path fix

* editing the comments

Reenable extract unicode System.IO.Compression.ZipFile tests on iOS (#53176)

As a result of https://github.com/dotnet/xharness/pull/605, the tests should be good to run

Fixes https://github.com/dotnet/runtime/issues/52471

[mono] LLVM build fixes (#53139)

Don't copy files from an LLVM header and library directory to
`artifacts/obj/mono` if the directory was supplied as a user-specified
`MonoLLVMDir` or `MonoAOTLLVMDir` property.

Fix EventSource default channel allocation (#48864)

Update testing docs with x86 instructions (#48715)

* Update testing docs with x86 instructions

* Apply suggestions from code review

Co-authored-by: Santiago Fernandez Madero <safern@microsoft.com>
* add more examples

* Apply suggestions from code review

Co-authored-by: Dan Moseley <danmose@microsoft.com>
* Update docs/workflow/testing/libraries/testing.md

Co-authored-by: Santiago Fernandez Madero <safern@microsoft.com>
Co-authored-by: Santiago Fernandez Madero <safern@microsoft.com>
Co-authored-by: Dan Moseley <danmose@microsoft.com>
Co-authored-by: Eric StJohn <ericstj@microsoft.com>

Fix another bug in the backport action (#53187)

- #52938 was incomplete
- see also dotnet/aspnetcore#32930

Fix the token included by HttpClient.HandleFailure (#53133)

Add additional area labels that have been added recently (#53183)

Add runtimeconfig.json support to AppleAppBuilder, reenable affected tests (#53172)

Fix: Avoid throwing if a symbolic link cycle to itself is detected while enumerating (#52749)

* Fix: Avoid throwing on FileSystemEntry.Initialize

* Add unit tests that verify cyclic symbolic links

* Fix Windows-specific unit test failures

* Use OperatingSystem.IsWindows()

* CHange 'Assert.Equal(1, ' to 'Assert.Single('

* Rename helper method that creates self referencing symlink

* Spacing

* ConditionalClass for CanCreateSymbolicLinks

* ConditionalClass does not work in browser/ios/android, use ConditionalFact/ConditionalTheory

Co-authored-by: carlossanlop <Carlos Sanchez carlossanlop@users.noreply.github.com>
Co-authored-by: carlossanlop <carlossanlop@users.noreply.github.com>

Stringify RMWStatus for the dump (#53148)

* Stringify RMWStatus for the dump

* Use a simpler switch-based implementation

* Made the string into a description

Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20210523.4 (#53170)

optimization.linux-x64.MIBC.Runtime , optimization.windows_nt-x64.MIBC.Runtime , optimization.windows_nt-x86.MIBC.Runtime , optimization.PGO.CoreCLR
 From Version 1.0.0-prerelease.21271.2 -> To Version 1.0.0-prerelease.21273.4

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

install development SSL certificate on Helix agent before xharness run (#53180)

Implement Get*PublicKey methods on S.S.C.X509Certificates.PublicKey

Set NumProc on tizen (#53098)

Change enterprise test password (#53094)

* Change password

* Change another occurence

Disabled failing HTTP/3 tests. (#53092)

* Disabled failing HTTP/3 tests.

* The test disabling move to code for abstract bases.

DbgTransportSession: delete message copy when not queued (#50550)

Reflection-annotate obscure API (#53081)

I missed the extra `Activator` in Activator.RuntimeType.cs (the rest are in Activator.cs). This was flagged on the NativeAOT side.

Also missed the APIs on `ModuleHandle` that I found by accident just now.

System.Collections.* missed Equals nullable annotations  (#52164)

* add NotNullWhen attribute

* add usings

[main] Update dependencies from dotnet/arcade dotnet/icu dotnet/xharness dotnet/hotreload-utils (#53138)

[main] Update dependencies from dotnet/arcade dotnet/icu dotnet/xharness dotnet/hotreload-utils

Update dependencies from https://github.com/dotnet/emsdk build 20210520.1 (#53013)

[main] Update dependencies from dotnet/emsdk

Add [return: NotNullIfNotNull("str")] to SecurityElement.Escape (#52442)

Add missing space in xml description for IReadOnlySet<T>.Overlaps (#53159)

fixes https://github.com/dotnet/runtime/issues/53147

Reintroduce EnumerateRunes tests (#53114)

Fix formatting of CircularDependencyException error message (#53140)

Optimise GetCustomAttributes - Part 1 (#53152)

- Use is/is not instead of ==/!=. Avoids overhead from operator overloading
- Pass ListBuilder as ref instead of out. Avoids redundant initialization to default.
- Use HashSet instead of Dictionary.

Co-authored-by: Ben Adams <thundercat@illyriad.co.uk>

Fix a 32-bit specific bug in `fgMorphCast` (#52828)

* Added a test

Verifying that checked '.un' casts from floats to small types are not treated as casts from unsigned types.

* Do not mark casts from FP types with GTF_UNSIGNED

It used to be that in the importer, whether the cast was to
be marked as GTF_UNSIGNED was decided exclusively based on
the incoming opcode. However, the flag only makes sense
for casts from integral sources, and it turns out morph
had a bug where it failed to clear this flag which resulted in
bad codegen.

The bug went as follows: "gtMorphCast" turns casts from an FP
type to a small integer into a chain of casts:
CAST(small integer <- FP) => CAST(small integer <- CAST(TYP_INT <- FP)).
On 32 bit platforms, the code failed to clear the GTF_UNSIGNED flag
from the original tree, which meant that the outer cast thought it
had TYP_UINT as the source. This matters for checked casts:
conv.ovf.i2.un(-2.0d), which is a legitimate conversion, was interpreted
wrongly as an overflowing one as the resulting codegen only checked the
upper bound via an unsigned compare.

The fix is two-fold: clear GTF_UNSIGNED for GT_CAST nodes with FP sources
on creation and unify the 64 bit and 32 bit paths in "gtMorphCast",
which, after the removal of GTF_UNSIGNED handling, are identical.

This is a zero-diff change across all SPMI collections for Windows x64, Linux x64,
Linux ARM64.

This **is not** a zero-diff change for Windows x86.
Instances of bad codegen have been corrected in some tests.

* Assert instead of normalizing

Instead of normalizing GTF_UNSIGNED for FP sources in "gtNewCastNode",
assert that it is not set in GenTreeCast's constructor and fix the
importer to respect that constraint.

Some cleanup of `var_types` - related functions (#52418)

* Specified the parameter name for ReinterpretHexAsDecimal

* Refactored "genUnsignedType", now "varTypeToUnsigned"

Renamed "genUnsignedType" to "varTypeToUnsigned" to conform to the existing
naming convention, moved its definition from "compiler.hpp" to "vartype.h",
made it a templated function like all the other "varType*" functions.
Deleted the equivalent but unused "varTypeSignedToUnsigned".

* Deleted "genSignedType" and renamed "varTypeUnsignedToSigned"

"genSignedType" had confusing semantics where it only returned the actual
signed type for TYP_UINT and TYP_ULONG. Deleted the function and made
the callsites explicitly request that behavior.
Also renamed "varTypeUnsignedToSigned" to "varTypeToSigned" for parity
with "varTypeToUnsigned" and made it a templated function.

* Made "genActualType" a templated function

* Made "genTypeStSz" a templated function

Also renamed the parameters for it and "genTypeSize" to be
consistent with "genActualType".

[iOS] Re-enable Brotli tests (#53069)

[iOS] Re-enable System.Xml.XmlSchema.XmlSchemaValidatorApi.Tests (#53068)

Fixes #51338

Remove redundant GeneratePackageOnBuild condition (#53107)

* Remove redundant GeneratePackageOnBuild condition

Avoid dependency on LINQ orderby iterators when building exception messsage (#53123)

Saves about 2k compressed for Blazor default template

Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20210521.2 (#53124)

optimization.linux-x64.MIBC.Runtime , optimization.windows_nt-x64.MIBC.Runtime , optimization.windows_nt-x86.MIBC.Runtime , optimization.PGO.CoreCLR
 From Version 1.0.0-prerelease.21270.4 -> To Version 1.0.0-prerelease.21271.2

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

System.Reflection.* missed Equals nullable annotations  (#52162)

* add NotNullWhen attribute

Allow TimeZoneInfo display names to use any of the installed Windows languages (#53119)