Annotate TypeConverterAttribute so that the ILLinker preserves the ctor on the converter (#39144)

* Annotate TypeConverterAttribute so that the ILLinker preserves the ctor on the converter

* Address review feedback & add attributes to ref

* Use custom enum converter type

* Split tests

Implementation of CSE for GT_CNS_INT benefits ARM64 (#39096)

* Change the type of csdHashKey to size_t

* Update gtCostSz and gtCostEx for constant nodes

* Implementation of code size optimization, CSE of constant values for ARM64
Implementation of code size optimization, CSE of constant values for ARM64
We will share a single CSE for constants that differ only in their low 12 bits on ARM64

Number of shared constant low bits set in target.h  CSE_CONST_SHARED_LOW_BITS
we use 12 bits on Arm platforms and 16 bits on XArch platforms

Disable the CSE of the REG_R2R_INDIRECT_PARAM on Arm32
as it hits  Assertion failed 'candidates != candidateBit' in lsra.cpp Line: 3723

Config variable: COMPlus_JitConstCSE
// Default 0: enable the CSE of Constants, including nearby offsets. (only for ARM64)
// If 1, disable all the CSE of Constants
// If 2, enable the CSE of Constants but don't combine with nearby offsets. (only for ARM64)
// If 3, enable the CSE of Constants including nearby offsets. (all platforms)
// If 4, enable the CSE of Constants but don't combine with nearby offsets. (all platforms)
//

* Added additional Priority 0 test coverage for Floating Point optimizations

* Fix for COMPLUS_JitConstCSE=4

* Renamed config variable from COMPlus_JitDisableConstCSE to COMPlus_JitConstCSE

* Updated with Codereview feedback, removed sort from Const CSE phase

* Fix for assertionProp issue in the refTypesdynamic test

WASM: Enable Invariant.Tests (#39814)

* WASM: Enable Invariant.Tests

* Fix build and PR Feedback

WASM: enable System.ObjectModel.Tests (#39849)

Remove obsolete ActiveIssue attributes for #23972 (#39842)

Extend Linker test job timeout to 2 hours (#39847)

Remove a new assert that can fire with unsafe code and type casts (#38912)

Add @dotnet/jit-contrib to CODEOWNERS (#39862)

Write error events for service errors (#39766)

* Write error events for service errors

* Explicitly specify EventLogEntryType.Error

Ensure the size of Vector<T> takes COMPlus_EnableHWIntrinsic into account (#39368)

* Ensure the size of Vector<T> takes COMPlus_EnableHWIntrinsic into account

* Add basic logging to Runtime_34587

* Exclude InstructionSet_POPCNT and InstructionSet_POPCNT_X64 if featureSIMD is disabled

turn pauseonstart test off for Windows (#39789)

Remove outdated comment in System.CM.Composition.Tests (#39839)

We don't plan to add a .NETFramework test configuration for this library anymore.

Remove depprojs in favor of PackageReferences  (#35606)

- Remove depprojs which currently binplace external references into the RefPath folders in favor of PackageReference and PackageDownload items.
- Build all configurations by default when building an individual project (either on the CLI or inside VS) same as with the official SDK. This enables .NETFramework Test Explorer support.
- Centrally define libraries that compose the shared framework instead of in each Directory.Build.props file to be able to build the targeting pack first and consume it in the OOB libraries.
- Use ProjectReferences to reference OOB projects. Compile against the reference assembly but use the implementation assembly app-local during runtime.
- Remove OOBs from the testhost and remove the testhost folder for .NETFramework as it isn't required anymore.
- Only binplace for $(NetCoreAppCurrent) to compose a) the targeting pack, b) the runtime pack, c) the testhost, d) a full closure for the shims.
- Use Targeting Packs for OOB projects (with their implicit assembly references) but still explicitly define granular references for .NETCoreApp configurations (DisableImplicitAssemblyReferences switch). Use the implicit targeting pack references in some Microsoft.Extensions.* cases.
- Remove placeholder configurations as they aren't needed anymore with explicit P2Ps vs Targeting Pack references.
- Remove implicit assembly references (ie for .NETFramework, mscorlib)
- Remove AssemblySearchPath hacks that were introduced with b7c4cb7 as the targeting pack is now used by default.
- Reduce unnecessary .NETFramework configurations that were added to run tests in favor of the already existing ref&src configurations.
- Stop hardcoding the paths for wasm assemblies and use the returned TargetPath of the ProjectReferences.
- Addressed formatting (ItemGroups, References at the bottom of the project file, ordering of references, use LibrariesProjectRoot instead of a relative path, unnecessary AssemblyName and RootNamespace properties which are identical to the project name, ordering of tfms)
- Revert "fix clean (#33758)"

Fix CNG persisted symmetric key operations

During a code cleanup the encoding changed from UTF-16LE
to UTF-8, which is not valid for the P/Invoke.

WASM: Fix System.Net.Primitives and tests (#39748)

Add HostInformationPal and InterfaceInfoPal implementations for Browser.

In CookiePortTest.cs use example.com instead of localhost for the tests since Browser uses `localhost` as the `Environment.MachineName` and that changes the test values.

Allows the tests to run on WebAssembly:
```
System.Net.Primitives.Pal.Tests: Tests run: 60, Errors: 0, Failures: 0, Skipped: 0. Time: 0.15872s
System.Net.Primitives.Functional.Tests: Tests run: 2620, Errors: 0, Failures: 0, Skipped: 1. Time: 3.145804s
```

[wasm] Enable System.Threading.Thread.Tests test suite (#39826)

Hardcode path to ICU on macOS (#39833)

Suppress credscan false positives (#38026)

* Suppress initial cred issues

* Another bunch of supresses

* Clean up

* Another bunch of supresses

* Revert to suppression messages

* Clean up

* Apply suggestions from code review

Co-authored-by: Jeremy Barton <jbarton@microsoft.com>
* Revert passwords literals

* Fix suppression justification comment

Co-authored-by: Jan Jahoda <jajahoda@.microsoft.com>
Co-authored-by: Jeremy Barton <jbarton@microsoft.com>

Switch Windows arm64 testing to use Windows.10.Arm64v8.Open queue. (#39802)

Windows arm testing has been scaled back in #39655 so now we can start
using better machines for Windows arm64 testing. These machines were
previously used for Windows arm testing.

Fix FCall implementation collision on ARM64 (#39810)

Two FCalls, DependentHandle::nSetPrimary and MarshalNative::GCHandleInternalSet, had identical implementations, which led to a failure in ECall::GetFCallImpl ("Duplicate pImplementation entries found in reverse fcall table"). Add FCUnique() to make them different.

Disabled tests with the PlatformDetection.IsPreciseGcSupported (#39796)

Try re-enabling IBC on macOS. (#39801)

[browser][file system] GetLogicalDrives implementation (#39763)

- Directory.GetLogicalDrives threw PNSE.  Follows existing code paths.
- Add common DriveInfoInternal.Browser that is common code path for other implementations
   - Environment.GetLogicalDrives
   - DriveInfo.Drives

Fix for FileSystemTest https://github.com/dotnet/runtime/blob/master/src/libraries/System.IO.FileSystem/tests/Directory/GetLogicalDrives.cs

Fix Failing Casing Tests with Invariant Culture (#39747)

Limit arm32 Windows testing. (#39655)

Remove Windows arm32 testing from PRs. Builds are not removed.
Remove Windows arm32 jitstress testing.
Remove Windows arm32 builds from official builds.

Outerloop still has Windows arm32 builds and testing.

[runtime] Make sure newly created objects are pinned during a runtime invoke in create_cattr_typed/named_arg (). (#39774)

Hopefully helps with https://github.com/dotnet/runtime/issues/39473.

Update the JITEEVersionIdentifier (#39779)

fix CborWriter bug when writing tagged empty collections (#39786)

Add events around type load and r2r usage (#39656)

- Allows for investigation of type loader performance
  - Uses a new keyword, as this event will generate many strings which is itself fairly slow
- Changes R2R events from Verbose events to Informational events
  - These events are already controlled by a separate keyword, and don't need to also be only emitted when Verbose eventing is on

[wasm] add zone.tab to dotnet.timezones.blat  (#39731)

* [wasm] add zone.tab to dotnet.timezones.blat to allow system time zones to load
* renable GetSystemTimeZones()
* reduce size of data file by removing unnecessary timezones

Remove BundleDir/PublishDir at the end of ArchiveTests to save disk space (#39714)

Hosted build agents have not a lot of free disk space and since we don't need these dirs anymore after we created the test archive we can delete it.

[Infra] collect dumps of all corerun in tree on timeout (#38647)

Add missing space padding before exception message in log (#39534) (#39719)

MEH test failure on mono (#39784)

Factory_CleanupCycle_DisposesEligibleHandler

Fix double-writes in test projects (#39778)

* Fix double-writes in test projects

Add rules for changing InstructionSetDesc.txt (#39777)

Add runtimelab.yml for dotnet/runtimelab experiments CI and build infrastructure (#39749)

* Add runtimelab.yml for dotnet/runtimelab experiments CI and build infrastructure

* rename one of the ymls based on feedback

Allow higher iteration counts for PBES2

Fix some scenarios for DynamicRevocationTests on macOS.

[wasm] Enable System.Linq.Expressions.Tests test suite (#39772)

Use function pointers in more places (#39752)

[wasm] WasmAppBuilder write the json as json (#39660)

* Write the json as json

Co-authored-by: Alexander Köplinger <alex.koeplinger@outlook.com>

[wasm] Enable System.Xml.XmlSerializer.ReflectionOnly.Tests, System.Xml.XmlSerializer.Tests, and System.Security.Permissions.Tests test suites (#39767)

CI Integration for Cross OS DAC (#39574)

* Transfer assets from Cross OS DAC builds into a pipeline container
* Preserve additional properties in subsets' projects
* Add packaging projects for Cross OS Dac assets
* Pipeline change to package, sign, and publish the cross OS DAC

Move `GetLclOffs` method to `GenTreeLclVarCommon`. (#39623)

* Move `GetLclOffs` to `Common`.

* Start using it.

* Review response.

Use lib prefix for native library names for consistency (#39717)

Add note about the tagging bot to area-owners.md (#39750)

Follow-up to https://github.com/dotnet/runtime/pull/39659

Co-authored-by: Dan Moseley <danmose@microsoft.com>

Add Overloads for Add(Json/Systemd/Simple)Console (#39725)

Fix libraries outerloop builds (#39735)

* Fix libraries outerloop builds

* Remove liveRuntimeBuildConfig from all configurations build to not make it wait for coreclr to run

[runtime] Initialize the class if needed in type_is_blittable (). (#39700)

* [runtime] Initialize the class if needed in type_is_blittable ().

Fixes https://github.com/dotnet/runtime/issues/39100.

* Delete workarounds.

Modify build-test scripts to use response files for Crossgen compilation (#39705)

This makes it much easier to rerun Crossgen(2) for a particular
framework assembly or for the framework composite build as opposed
to having to copy over the lengthy command line.

Thanks

Tomas

[wasm] Enable System.ComponentModel.TypeConverter test suite (#39710)

WASM: Enable System.Reflection tests (#39696)

Disable tests that won't work on browser.

Clean up code following JSON number handling and field support PRs (#39716)

* Clean up code following JSON number handling and field support PRs

* Move IsValidNumberHandlingValue to better location

Disable crossgen2smoke test for GCStress (#39680)

It times out in some modes, especially HeapVerify modes.

Issue: https://github.com/dotnet/runtime/issues/33949

Enable builds of internal branches (#39437)

Fix hosted crossgen2 build on arm64 (#39537)

Update license header in NameResolutionTelemetry (#39711)

Trim more Http DiagnosticsHandler code (#39525)

Since the DiagnosticsHandler still gets instantiated in the HttpClientHandler, none of its overriden methods are getting trimmed. This leads to System.Diagnostics.DiagnosticListener still being preserved in a linked application.

The fix is to split DiagnosticsHandler.IsEnabled() into two methods:

* IsGloballyEnabled() - checks the AppContext switch, and is replaced by the linker by a feature swtich.
* IsEnabled() - which checks IsGloballyEnabled() and if there is an Activity or listener available.

This allows all but the IsEnabled and IsGloballyEnabled methods to get trimmed on DiagnosticsHandler.

Contributes to #38765

Add CryptoStream.FlushFinalBlockAsync

[browser][tests] Activate System.Runtime.Extensions UserName tests (#39692)

- Added specific tests for Browser

Fix TableOutOfRangeException in Crossgen2 (#39653)

Fixes: https://github.com/dotnet/runtime/issues/39493

Turns out the compilation failure here wasn't caused by Managed C++,
it was due to a simple bug in the field RVA copy loop - reading
compressed 16-bit field indices as signed, not unsigned, from the
FieldRVA ECMA metadata table.

Thanks

Tomas

WASM: Enable System.Reflection.MetadataLoadContext tests (#39651)

`Tests run: 559, Errors: 0, Failures: 0, Skipped: 0. Time: 5.4221639s`

Do not touch crossgen if crossgen is not requested (#39628)

Disable getappdomainstaticaddress for JIT stress modes (#39667)

Issue: https://github.com/dotnet/runtime/issues/37117

Add JsonNumberHandling(Attribute) & support for (de)serializing numbers from/to string (#39363)

* Add JsonNumberHandling & support for (de)serializing numbers from/to string

* Add JsonNumberHandlingAttribute

* Address review feedback + fixups

* Address review feedback ii

fix missing command case (#39686)

Start using UnmanagedCallersOnly in CoreLib (#39082)

- Fix CoreCLR assert on x86
- Use workaround for Mono

Fixing a memory ordering issue in AsymmetricLock and enabling MemoryBarrierProcessWide test on ARM64 (#39668)

Fix tailCall check for CallI. (#39621)

Add CoffeeFlux to area-VM-meta-mono (#39659)

This ensures I see notifications about new issues

[master] Update dependencies from mono/linker Microsoft/vstest dotnet/runtime-assets dotnet/llvm-project dotnet/icu (#39516)

* Update dependencies from https://github.com/mono/linker build 20200716.2

Microsoft.NET.ILLink.Tasks
 From Version 5.0.0-preview.3.20363.5 -> To Version 5.0.0-preview.3.20366.2

* Update dependencies from https://github.com/microsoft/vstest build 20200716-03

Microsoft.NET.Test.Sdk
 From Version 16.8.0-preview-20200708-01 -> To Version 16.8.0-preview-20200716-03

* Update dependencies from https://github.com/dotnet/runtime-assets build 20200714.1

System.ComponentModel.TypeConverter.TestData , System.Drawing.Common.TestData , System.IO.Compression.TestData , System.IO.Packaging.TestData , System.Net.TestData , System.Private.Runtime.UnicodeData , System.Security.Cryptography.X509Certificates.TestData , System.Windows.Extensions.TestData
 From Version 5.0.0-beta.20360.1 -> To Version 5.0.0-beta.20364.1

* Update dependencies from https://github.com/dotnet/llvm-project build 20200715.1

runtime.linux-x64.Microsoft.NETCore.Runtime.Mono.LLVM.Tools , runtime.win-x64.Microsoft.NETCore.Runtime.Mono.LLVM.Tools , runtime.win-x64.Microsoft.NETCore.Runtime.Mono.LLVM.Sdk , runtime.osx.10.12-x64.Microsoft.NETCore.Runtime.Mono.LLVM.Tools , runtime.osx.10.12-x64.Microsoft.NETCore.Runtime.Mono.LLVM.Sdk , runtime.linux-x64.Microsoft.NETCore.Runtime.Mono.LLVM.Sdk , runtime.linux-arm64.Microsoft.NETCore.Runtime.Mono.LLVM.Tools , runtime.linux-arm64.Microsoft.NETCore.Runtime.Mono.LLVM.Sdk
 From Version 9.0.1-alpha.1.20356.1 -> To Version 9.0.1-alpha.1.20365.1

* Update dependencies from https://github.com/dotnet/icu build 20200716.2

Microsoft.NETCore.Runtime.ICU.Transport
 From Version 5.0.0-preview.8.20365.1 -> To Version 5.0.0-preview.8.20366.2

* Update dependencies from https://github.com/dotnet/icu build 20200717.1

Microsoft.NETCore.Runtime.ICU.Transport
 From Version 5.0.0-preview.8.20365.1 -> To Version 5.0.0-preview.8.20367.1

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>
Co-authored-by: Alexander Köplinger <alex.koeplinger@outlook.com>

Fix build failure in net472 debug AdvSimd Utf16Utility (#39652)

AdvSimd support for System.Text.Unicode.Utf8Utility.GetPointerToFirstInvalidByte (#38653)

* AdvSimd support for System.Text.Unicode.Utf8Utility.GetPointerToFirstInvalidByte

* Move comment to the top, add shims.

* Little endian checks

* Use custom MoveMask method for AdvSimd

* Address suggestions to improve the AdvSimdMoveMask method

* Define initialMask outside MoveMask method

* UInt64 in Arm64MoveMask

* Add unit test case to verify intrinsics improvement

* Avoid casting to smaller integer type

* Typo and comment

* Use ShiftRightArithmetic instead of CompareEqual + And.
Remove test case causing other unit tests to fail.

* Use AddPairwise version of GetNotAsciiBytes

* Add missing shims causing Linux build to fail

* Simplify GetNonAsciiBytes to only one AddPairwise call, shorter bitmask

* Respect data type returned by masking method

* Address suggestions - assert trailingzerocount and bring back uint mask

* Trailing zeroes in AdvSimd need to be divided by 4, and total number should not be larger than 16

* Avoid declaring static field which causes PNSE in Utf8String.Experimental (S.P.Corelib code is used for being NetStandard)

* Prefer using nuint for BitConverter.TrailingZeroCount

AdvSimd support for System.Text.Unicode.Utf8Utility.TranscodeToUtf8 (#39041)

* AdvSimd support for System.Text.Unicode.Utf8Utility.TranscodeToUtf8

* Readd using to prevent build failure.
Add AdvSimd equivalent operation to TestZ.

* Inverted condition

* Address IsSupported order, improve use ExtractNarrowingSaturated usage

* Rename source to result, second argument utf16Data

* Improve CompareTest

* Add shims causing failures in Linux

* Use unsigned version of ExtractNarrowingSaturate, avoid using MinAcross and use MaxPairwise instead

* Missing support check for Sse2.X64

* Add missing case for AdvSimd

* Use MinPairwise for short

Revert "Fix resx test name mangling logic" (#39644)

* Revert "Fix resx test name mangling logic"

This reverts commit 6af0d0e09a3b00a3a79033f7d26670b2563405fa.

* Add comment warning not to change this code

Fix tiering assertion failures from concurrent or reentering JIT of the same native code version (#39643)

Fix tiering assertion failures from concurrent or reentering JIT of the same native code version

Allowed disabling call counting multiple times.

Fixes https://github.com/dotnet/runtime/issues/39604

Declare AllowReversePInvokeCallsAttribute as Obsolete. (#39636)

Allow Debugger attributes to be trimmed in Mono (#39479)

* Allow Debugger attributes to be trimmed in Mono.

Changed debugger-agent to allow for the Debugger Attributes to not exist.
Removed the Debugger Attributes entries from the Descriptors.xml file.

Fix https://github.com/mono/linker/issues/1355

* Use GENERATE_TRY_GET_CLASS_WITH_CACHE to initialize Debugger attribute pointers.

Apply missing obsolete attributes in src; fix attribute ordering (#39607)

* Apply missing obsolete attributes in src; fix attribute ordering

* Only obsolete the constructors of PolicyStatement

Add ProcessInfo command to Diagnostics Server (#38967)

Fix fd leak in Diagnostics Server and add better error handling (#39129)

[wasm] Address System.Text.RegularExpressions.Tests Failures (#39470)

Co-authored-by: Mitchell Hwang <mitchell.hwang@microsoft.com>

Unify resource strings used for Browser PNSE (#39637)

We sometimes used `... is not supported on Browser.` and elsewhere `... is not supported on this platform.`

Standardize on the latter one as it can potentially be reused for other targets.

[wasm] Enable System.CodeDom.Tests test suite (#39626)

Part of https://github.com/dotnet/runtime/issues/38422.

Add PNSE on non-Browser for S.R.I.JavaScript and clean up references (#39629)

Fixes https://github.com/dotnet/runtime/issues/39593

Create and add instance reference inside ResolveMetadata* (#39330)

* Create and add instance reference on ResolveMetadata

* Address suggestions

[mono] Update ICU version, disable some tests for Browser (#39596)

[wasm] Sort Assembly List in WASM Apps (#39374)

Co-authored-by: Mitchell Hwang <mitchell.hwang@microsoft.com>

[wasm] Include data archives and timezone data by default (#39586)

* Add data archive loading to the generic loading logic

[wasm][debugger] Don't download unnecessary assemblies to DebugProxy (#39530)

Don't download unnecessary assemblies to DebugProxy

Properly map exceptions from NetworkStream ctor. (#39514)

Sync shared compiler file (#39164)

Synchronize dataflow annotations accross virtual methods (#39458)

Reenable gcdump test (#39555)

lower gcdump thresholds to make test pass on all platforms/architectures

add SupportsTls11 and SupportsTls12 to PlatformDetection avoid OS versions in tests (#39482)

* add SupportsTls11 and SupportsTls12 to avoid OS versions in tests

* feedback from review

* fix condition

Test EmbeddedSignatureData api (#39329)

- Add test to provide clarity about the behavior of the EmbeddedSignatureData api when examining the start of the signature for custom modifiers

[wasm] Trim down size of dotnet.wasm (#39549)

* [interp] Use constant for concurrent collection in progress

Saves 4k on wasm.

* [sgen] Use constant for concurrent sweep

Saves 0.5k on wasm

* [sgen] Remove code from threadpool when not using concurrent mode

Saves 2.5k on wasm

* [sgen] Avoid keeping some callbacks alive

Saves 0.5k on wasm

* [sgen] Avoid registering callback if not used

* [sgen] Add option to remove binary protocol from build

Saves 5k on wasm

* [sgen] Add option to disable togglerefs

Saves 1k on wasm

* [sgen] We never need to wait for sweep if serial

Saves 0.5k on wasm

* [sgen] Disable also canaries if debug helpers are disabled

Saves 1k on wasm

* [sgen] Disable also pinning_stats if debug features are disabled

Saves 2k on wasm

* [sgen] Disable also gchandle stats if debug is disabled

Saves 1k on wasm

* [sgen] Disable also sgen logging if debugging is disabled

Saves 6k on wasm

* [runtime] Disable log messages if assert messages is disabled

This is mainly beneficial do to very common calls of g_error.

Saves 35k on wasm

Annotate and adjust more of CoreLib for trimming (#38865)

* Annotate and adjust more of CoreLib for trimming

* Update CustomAttribute.cs

* Update TypeBuilder.Mono.cs

Fix resx test name mangling logic (#39569)