Initial runtime changes for composite support (#32500)

This change changes CoreCLR runtime to support running
composite R2R apps with standalone MSIL produced by
Crossgen2. It introduces the new concept of a NativeImage
representing the composite R2R with native executable header
and adds basic support for loading these native images
upon loading the original MSIL assemblies and for using
the R2R code information therein as the native code cache
for the component MSIL assemblies.

Thanks

Tomas

Initial implementation of stateful CBOR writer and reader classes (#32803)

* initial CborReader commit

* rename PositiveInteger to UnsignedInteger

* fix indices in unsigned integer encoding

* use an enum for AdditionalInfo constants

* s/ArgumentException/InvalidOperationException/

* make utf8 decoder throw on invalid bytes

* remove property-based tests

* address style

* just copy the header struct for now

* s/CborReader/CborValueReader/

* address feedback

* add more test cases in the happy path

* remove using declaration

* fix the seed parameter

* add `EnsureBuffer()` method in reader

* add tests for artihmetic overflow and type exceptions

* rename CborDateItem to CborInitialByte and expose reader Peek() methods

* add tests for non-canonical integer encodings

* use hex representation when asserting byte array equality

* add format and invalidop exception tests

* consistent test terminology

* add invalid unicode writing test

* add string reader failure tests

* fix failing test

* add peek tests

* implement ReadCborNegativeIntegerEncoding(); remove TryRead() methods for integer types

* add span overloads for string reader methods

* update string reader span overload signatures

* add format and invalidop exception tests for TryRead() string methods

* add tests for failure modes

* Update src/libraries/System.Security.Cryptography.Encoding/tests/Cbor/CborReader.String.cs

Co-Authored-By: Jeremy Barton <jbarton@microsoft.com>
* Update src/libraries/System.Security.Cryptography.Encoding/tests/Cbor/CborReader.String.cs

Co-Authored-By: Jeremy Barton <jbarton@microsoft.com>
* fix build

Co-authored-by: Jeremy Barton <jbarton@microsoft.com>

Add IReadOnlySet<T> interface (#32488)

* Add read only set interface

* Rebase and fix conflicts

* Add Implementations into specs

Added to immutable set and spec

Spacing for Spec

Drop code snippets that I re-added accidentally during rebase

Re add code snippets that I dropped instead of squashed

* Add for sorted set in impl

* Refactor interface declarations, change ifdef for immutable

* Fix indentation

* One more indenting change

* Add ifdef to spec, re-order interfaces

* Remove from IImmutablespec

* Replace ISet<T> to immutable hashset spec that was erroneously removed

* Add read only set to system.runtime ref

* Add comments on IReadOnlySet<T>

* Add lang words to comments and fix spelling

[cxx] Remove static initializers. (#33022)

In a current shipping Visual C++, 19.21.27702.2,
there is a bug involving const member data in structs, where for example:

static const struct a { // const on this line in either case
  const int b; // const on this line
} c = {1};

will have a static initializer, run usually reliably before main, but:

static const struct a { // const on this line in either case
  int b; // no const on this line
} c = {1};

will not.
The semantic difference is minuscule, so much so, that the first form
is relatively rare, and the bug shipped.

Just always use the second form.

The difference is that if you have a non-const a, b is still const, I guess.
If you have a const a, then no difference.

You can find these easily:

cd ...
for %a in (*.exe *.dll) do link /dump /disasm %a > %a.txt
findstr /c:"dynamic initializer" *.txt

Which could be automated and tested in CI.

This probably not an actual problem, but it is needlessly inefficient,
and potentially a problem. The timing/ordering of the initializers
is a bit not deterministic. You get writable data where you expect
read only.

It is in fact a compiler bug, fixed in later releases.
But it has been shipping for a while, I first noticed it over two years
ago, in code of mine that it caused to not work (a delayload implementation
which runs before main).

Co-authored-by: Jay Krell <jay.krell@cornell.edu>

Move EventPipe environment variable parsing logic to native code (#32516)

* Move environment variable parsing logic to native code

* Fix multiple provider issue

* Use env vars to set up eventpipe config

* Add default provider configuration if eventpipeconfig is not set

* Remove EventPipeController

* Add Argument parsing logic to XplatEventLoggerConfiguration

* cleanup

* Fix Linux build

* Check provider configuration before enabling them

* wrap new code under ifdef, put EventPipeController back

* pr feedback

* fix x86 build

* fix typo

* Fix loop condition

* ifdef out call to EnableViaEnvironmentVariables()

* Use CLRConfigStringHolder

* pr comments

* use NewHolder to avoid leak

Add -msse2 compile option (#33135)

Remove fallback resource (#33123)

* Stop using fallback resource DLL
* Rename mscorrc.debug -> mscorrc

Fix missing TransitionBlock methods (#33134)

Annotate System.Diagnostics.TraceSource for nullable (#32888)

* Annotate System.Diagnostics.TraceSource for nullable

Additional code coverage in System.Text.Json (#33019)

* added tests for invalid metadata properties with same length

* moved base64 test data in class, added test case

* added missing cyclic test for max depth of 0

* added test for null converter

* validated exception path

* added comment explaining 0 max depth

* using named parameter for readability

* added license header

* replacing duplicate test data

* removed redunant character assignment

* added explanation for base64 string length

Move MSBuild projects out of the native build scripts (#31701)

* Move coreclr managed tools that don't need to be published and System.Private.CoreLib into their own subsets in Subsets.props and drive their builds via Arcade instead of the coreclr scripts.

* Remove building System.Private.CoreLib from build scripts. Eventing sources TBD.

* Build packages via an Arcade subset instead of within build.cmd/build.sh

* Remove packages and test build from build.cmd. Clean up options on build.cmd and build.sh

* Generate eventing sources for System.Private.CoreLib within MSBuild instead of in the build.cmd/sh scripts. Clean up the build.sh usage documentation (lots of copy-paste errors).

* Remove check-definitions.py script and supporting goo.

* Fix eventing generation.

* Wire up  TargetArchitecture and OSGroup to coreclr's BuildArch and BuildOS to enable building System.Private.CoreLib for the correct output given the script parameters.

* Stop passing down now non-existent skiptests parameter.

* Fix coreclr .nuget rid parsing to account for linux-musl correctly.

* Update build scripts to use Arcade to build packages.

* Convert from Properties to AdditionalProperties.

* Build crossgen as part of Arcade (self-contained publish TBD).

* Pull down .NET runtime CLI for helix runs with crossgen2.

* Output crossgen2 to the BinDir/crossgen when built from the project file. Enable the test shell scripts to either resolve the dotnet CLI from the path or from relative to Core_Root if the __DotNet variable is undefined.

* Generate distro rid during windows build.

* Various fixes to get files binplaced correctly and builds to work on Linux.

* Fix search for dotnet in repo on bash.

* Remove __BuildTest variable and fix up the script.

* Fix steps in build-job to build S.P.CL before the runtime and build managed tools after the runtime.

* Fix casing typo.

* Refactor detecting system OS and Architecture.

* Fix wasm rid calculation.

* Run crossgen2 on corerun so we run it on the runtime we're going to ship it with.

* Assemble a live self-contained publish in the crossgen2 package.

* Fix init-os-and-arch resolution.

* Ensure that the runtime files we package in crossgen2 are the crossgened ones.

* Remove extraneous /bl

* Build R2RDump to a subfolder instead of the product dir.

* Seperate out the crosssgening corelib step into a separate script.

* Fix permissions on crossgen-corelib.sh

* Rename build.cmd/sh to build-runtime.cmd/sh

* Fix parameters in crossgen2determinism test.

* Run crossgen on System.Private.CoreLib in CI.

* Restore original build.cmd/sh scripts with a deprecation warning and update instructions.

* Initialize developer prompt in crossgen-corelib.cmd script so we can find DIA on CI machines.

* Make sure vs tools are enabled so we can resolve DiaSymReader.

* Call build-native instead of build.

* Fix build-native -> build-runtime.

* Fix permissions.

* Remove dead MSBuild code.

* Factor out python locating targets to make them available to the whole repo.

* PR Feedback/simplification.

* Create a self-contained deps.json for crossgen2 and add it to the package.

* Pass runtimeconfiguration as configuration for crossgen2 deps file generation.

* Try specifying rids directly in crossgen2 project to get the restore correct for the live-build pipeline.

* Run crossgen2 via corerun in R2R.SuperILC.

* Add binlogs to build-runtime.cmd

* Combine non build-runtime steps into a single step so we get one binlog that doesn't get overwritten.

* Add reference to issue describing new workflow.

* Quote python path

* Set arch default.

* PR Feedback and clean up crossgen-corelib's argument list.

* Fix subset name matching to work when one subset name is a substring of another.

* Pass the official build id as an msbuild arg at all times.
Additional cleanup for crossgen-corelib step.

* PR Feedback.

* Fix default subset list construction.

* Add deprecation warnings at beginning and end of build.cmd and build.sh.

* Setup dirs in crossgen-corelib.sh

* Move enforcepgo argument to before the official build arg so that it gets consumed correctly.

* Add cross-os DAC builds as subsets.
Clean up build-runtime parameters and passing the official build ID from runtime.proj.

* Update script usage docs.

* Skip the cross-os dac on x86.

* Build windows->linux cross dac on PR and CI.

* Don't build the cross-OS linux dac on Windows x86.

Fix incorrect r2r codegen for hardware instrinsics (#33090)

* Address incorrect generation of insertps and dpps instructions in crossgen images
* Implement matching intrinsics processing for crossgen2
Fixes #32175

Merge pull request #33078 from maryamariyan/enable-primitives

Enable Microsoft.Extensions.Primitives

[threads] Add a global "runtime startup is finished" flag (#32668)

This contributes to https://github.com/mono/mono/issues/18916 (to make coop locking not bother with state transitions if the runtime isn't ready yet) .

Co-authored-by: Aleksey Kliger (λgeek) <akliger@gmail.com>

SList::Init: add missing constructor (#33096)

SList::Init uses an assignment operator that doesn't exist.
Because this template class method doesn't get used during
default compilation, most compilers don't detect the issue.
clang 10 detects the issue and gives an error.

Remove extractor from HostModel (#33001)

* Remove extractor from HostModel

Microsoft.NET.HostModel.Bundle implemented a bundle-extractor in managed code.
The extractor is not used in production.
It is a tool for testing the bundler before extraction capability was implemented in the AppHost.

The extractor is now removed because:
* The Apphost handles bundles and we don't need the extractor for testing.
* The bundler will generate multiple versions of single-file apps.
  Maintaining the extractor for all these versions is unnecessary complexity in the codebase.

* Update src/installer/managed/Microsoft.NET.HostModel/Bundle/Manifest.cs

Co-Authored-By: Adeel Mujahid <adeelbm@outlook.com>
Co-authored-by: Adeel Mujahid <adeelbm@outlook.com>

Fixed heap corruption in HttpListener

Fixes #31997

In non-blocking HttpListenerResponse.Close, RequestContextBase was being disposed multiple times from different threads. This fix ensures that the underlying IntPtr is freed only once, even in multi-threaded scenarios.

[master] Update dependencies from dotnet/arcade mono/linker (#33101)

* Update dependencies from https://github.com/dotnet/arcade build 20200302.4

- Microsoft.DotNet.XUnitExtensions - 5.0.0-beta.20152.4
- Microsoft.DotNet.VersionTools.Tasks - 5.0.0-beta.20152.4
- Microsoft.DotNet.ApiCompat - 5.0.0-beta.20152.4
- Microsoft.DotNet.Arcade.Sdk - 5.0.0-beta.20152.4
- Microsoft.DotNet.Build.Tasks.Feed - 5.0.0-beta.20152.4
- Microsoft.DotNet.Build.Tasks.Packaging - 5.0.0-beta.20152.4
- Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk - 5.0.0-beta.20152.4
- Microsoft.DotNet.Build.Tasks.TargetFramework.Sdk - 5.0.0-beta.20152.4
- Microsoft.DotNet.CodeAnalysis - 5.0.0-beta.20152.4
- Microsoft.DotNet.GenAPI - 5.0.0-beta.20152.4
- Microsoft.DotNet.GenFacades - 5.0.0-beta.20152.4
- Microsoft.DotNet.Helix.Sdk - 5.0.0-beta.20152.4
- Microsoft.DotNet.RemoteExecutor - 5.0.0-beta.20152.4
- Microsoft.DotNet.XUnitConsoleRunner - 2.5.1-beta.20152.4

* Update dependencies from https://github.com/mono/linker build 20200302.3

- ILLink.Tasks - 0.1.6-prerelease.20152.3

Enable assert in perfScoreUnhandledInstruction (#810)

* perfScoreUnhandledInstruction will now assert in a DEBUG or CHECKED build when it encounters an unhanded instruction

* Added PerfScore values for IF_DV_2T: // addv, saddlv, smaxv, sminv, uaddlv, umaxv, uminv

* Add PerfScore support for fcmeq, fcmge, fcmgt, fcmle, fcmlt, fcvtl2, fcvtn, fcvtn2, fabd

* Added PerfScore support for INS_addp

* Addded fmla and fmls

* Update flma and fmls

- Simplify PortedExtensionsProject
- add sln file
- Fix TargetFramework on Test project

[Mono] Fix Sse2.ConvertScalarToVector128 and add signed overloads (#33100)

* Fix OP_CREATE_SCALAR and add more intrinsics

* Add a note

* Enable HW intrinsics in the mono corlib build (Zoltan's PR)

* cmethod_klass_name_space should not be empty for nested classes

Update bootstrapped SDK (#33113)

Updating the bootstrapped SDK to fix a NuGet restore issue during EvaluateCacheFile.

Build CoreCLR tests as platform independent (AnyCPU) (#32916)

* Build platform independent tests dlls

* Fix tests exclusion conditions

* Fix windows specific dirs

Revert "[mono] Include filename in Invalid image error messages (#32560)" (#33116)

This reverts commit 5371ef4fc3a3983f12c7fda816bd939eb37f3c65.

Add Fedora 33 runtime ids

Fedora 32 is gearing up for release[1], and in-development version of
Fedora has been offically labelled as being Fedora 33:

    $ podman run -it fedora:33 cat /etc/os-release
    NAME=Fedora
    VERSION="33 (Container Image)"
    ID=fedora
    VERSION_ID=33
    VERSION_CODENAME=""
    PLATFORM_ID="platform:f33"
    PRETTY_NAME="Fedora 33 (Container Image)"
    ANSI_COLOR="0;34"
    LOGO=fedora-logo-icon
    CPE_NAME="cpe:/o:fedoraproject:fedora:33"
    HOME_URL="https://fedoraproject.org/"
    DOCUMENTATION_URL="https://docs.fedoraproject.org/en-US/fedora/rawhide/system-administrators-guide/"
    SUPPORT_URL="https://fedoraproject.org/wiki/Communicating_and_getting_help"
    BUG_REPORT_URL="https://bugzilla.redhat.com/"
    REDHAT_BUGZILLA_PRODUCT="Fedora"
    REDHAT_BUGZILLA_PRODUCT_VERSION=rawhide
    REDHAT_SUPPORT_PRODUCT="Fedora"
    REDHAT_SUPPORT_PRODUCT_VERSION=rawhide
    PRIVACY_POLICY_URL="https://fedoraproject.org/wiki/Legal:PrivacyPolicy"
    VARIANT="Container Image"
    VARIANT_ID=container

[1] https://fedorapeople.org/groups/schedule/f-32/f-32-key-tasks.html

Simplifying the implementation of several Vector2/3/4 methods (#33088)

Remove pre-consolidation CoreCLR-only Official-build specific… (#32999)

Update shared code license headers (#33086)

Disabled GetTotalAllocatedBytes test. (#33092)

Return original value in Interlocked.Or/And (#33102)

[merp] Create a signal ('source') breadcrumb for the crash dump process (#32945)

TODO: Test + maybe rename 'signal' argument to 'source' everywhere

/cc @kdubau @lambdageek

Addresses https://github.com/mono/mono/issues/18715
<!--
Thank you for your Pull Request!

If you are new to contributing to Mono, please try to do your best at conforming to our coding guidelines http://www.mono-project.com/community/contributing/coding-guidelines/ but don't worry if you get something wrong. One of the project members will help you to get things landed.

Does your pull request fix any of the existing issues? Please use the following format: Fixes #issue-number
-->

Co-authored-by: Alexis Christoforides <alexis@thenull.net>

[mono] Include filename in Invalid image error messages (#32560)

* [mono] Include filename in Invalid Image message

* [mono] Rename Invalid Image to File Not Found where applicable

* [Mono] Remove ActiveIssue attributes 31649 and 31650

* Touch up callers of mono_error_set_simple_file_not_found in appdomain.c

* Specify file name in mono_error_set_simple_file_not_found reflection_only message

* Touch up mono_error_set_file_not_found callers in icall.c

* Include image name in mono_error_set_bad_image_by_name calls in metadata.c

* Include aot name in mono_error_set_bad_image_by_name calls in aot-runtime.c

Update shared HPackEncoder (#32944)

Improve call counting mechanism (#32250)

* Improve call counting mechanism

- Commit 1
  - Reverts commit f954c6bb80a21d9c44a6ee751d935a0573f7226a, which reverted PR https://github.com/dotnet/runtime/pull/1457 due to issues
- Commit 2
  - Fixes crashes and assertion failures seen by the original change, fixes https://github.com/dotnet/runtime/issues/29934
  - The crashes were caused by commit https://github.com/dotnet/runtime/pull/1457/commits/6aa3c7083735895c2e687a77e3636080edb366c3 in the original PR
  - Call counting infos cannot be deleted when the corresponding call counting stubs may still run, because:
    - The remaining call count decremented by the stub is in the call counting info
    - The only way to get a code version / method desc from a stub is to go through the call counting info
  - Got one repro of the assertion failure in https://github.com/dotnet/runtime/issues/22786 and it is most likely caused by the same issue, following heap corruption from modifying a deleted call counting info where the memory is reused for a `NativeCodeVersionNode`, messing up the method desc pointer
  - Fixed with a partial revert of the above commit. Added back the `Complete` stage and then call counting infos are deleted only after it's ensured that call counting stubs won't be used (shortly before deleting them).
- Commit 3
  - Public static functions of `CallCountingManager` that may be called through the debugger may occur before static initialization, added a check for null as suggested in https://github.com/dotnet/runtime/pull/29892

* Fix crashes and assertion failures seen by the original change

* Add check for null for some functions callable from the debugger

[aot] Add support for emitting the method address table as a table of normal pointers in the data segment. (#33006)

[aot] Rename acfg->opts to acfg->jit_opts.

Co-authored-by: Zoltan Varga <vargaz@gmail.com>

Set GenFacadesForceZeroVersionSeeds for shims (#33052)

Enable Mono netcore LLVM build on Windows. (#32869)

Current Mono netcore LLVM build on Windows uses a prebuild LLVM and doesn't
support local build LLVM. Current mono.proj only use configure and
--with-llvm argument on none Windows build. On Windows, trying to build
Mono netcore using LLVM will fail.

Fix sets msbuild property, MONO_EXTERNAL_LLVM_CONFIG to full path of
downloaded llvm-config.exe, this is what's set when doing LLVM build
using configure --with-llvm on Mono Windows build in Mono repro, but since
Mono netcore Windows build won't use configure, the property should be
specified directly when calling msbuild.

Fix Mono Tool MSVC Debug build. (#32960)

Changes done in object-offsets.h by mono/mono#18713 adding offsets for TARGET_AMD64 exposed
a build configuration error in the Mono Tool MSVC debug build due to incorrectly setting both X86 and AMD64 defines causing compile errors when including object-offset.h. Release configuration didn't have this configuration error, meaning that CI builds wouldn't trigger build error.

Fix makes sure all MSVC build configurations for Mono Tools (genmdesc, monodis, pedump) matches the build configuration for other binaries and that debug build configuration is inline with release build configuration.

Co-authored-by: Johan Lorensson <lateralusx.github@gmail.com>

Enable mono packages (#33074)

* Build Mono nupkgs

* Add Mono to runtime-official.yml

* Define isOfficialJob for Mono

* Try not nesting if statements, use and instead

* Publish Mono nupkgs

* Do intermediate upload, copied from CoreCLR

* Forcibly embed ELF buildid on Mono on Linux

This is not default in our local Clang builds on CentOS7, and
is rejected during publishing

* Version number fixups from CoreCLR

* Steal logic from Installer to force musl RID on musl

* Add an override so Windows RID used on Windows

Fix the parameter value checks for SetWindowPosition (#32243)

Delete AppDomain::IsDefaultDomain (#33073)

Delete obsolete jitperf instrumentation (#33087)

Add CrossOS DAC build back (#33064)

* Build cross OS DACs in default Windows builds (#32322)
This reverts commit 671b2ef6272330b51ddbaa4fa96e411e3f701231.
* Fix pass through arguments

[amd64] Obtain the trampoline argument in the generic_trampoline in the AOT case without decoding the call instruction. (#33028)

Co-authored-by: Zoltan Varga <vargaz@gmail.com>

Setup build/pkg on Microsoft.Extensions.Primitives
- Fix ref/src build on supported frameworks
- Use GenerateReferenceSource to properly set ref APIs
- Enable tests
- Add packaging setup

Implement missing Sse2 intrinsics (#33056)

Use GArray instead of GList when getting custom attributes from an image (#32974)

Xamarin.Forms calls this _constantly_ during startup, to the point where the malloc calls were actually showing up in the profile. This should help with that, and gives us some ms back during startup.
There are also a bunch of calls that return empty arrays, which in theory could be created in managed for a perf boost. However, it seems the Xamarin.Android team has mostly gotten rid of those calls and that optimization would complicate the code and require changes to our managed CustomAttribute implemented for both legacy and netcore, so I've opted to not check it in for now. If the empty calls continue to show up down the line, I can dig the code back up from my local branch and PR it separately.

Merge pull request #32912 from maryamariyan/primitives-total

Extensions consolidation

[Debug] IndexOutOfRangeException when extension data doesn't have two generic parameters (#33014)

* added generic param tests

* added proposed fix

* fixed debug statements to use underlying dictionary type

* removed baseline comment

* removed casts to idictionary

* using explicitly typed variable

Co-Authored-By: Layomi Akinrinade <layomia@gmail.com>
Co-authored-by: Layomi Akinrinade <layomia@gmail.com>

[master] Update dependencies from 4 repositories (#32858)

* Update dependencies from https://github.com/dotnet/arcade build 20200225.9

- Microsoft.DotNet.XUnitExtensions - 5.0.0-beta.20125.9
- Microsoft.DotNet.VersionTools.Tasks - 5.0.0-beta.20125.9
- Microsoft.DotNet.ApiCompat - 5.0.0-beta.20125.9
- Microsoft.DotNet.Arcade.Sdk - 5.0.0-beta.20125.9
- Microsoft.DotNet.Build.Tasks.Feed - 5.0.0-beta.20125.9
- Microsoft.DotNet.Build.Tasks.Packaging - 5.0.0-beta.20125.9
- Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk - 5.0.0-beta.20125.9
- Microsoft.DotNet.Build.Tasks.TargetFramework.Sdk - 5.0.0-beta.20125.9
- Microsoft.DotNet.CodeAnalysis - 5.0.0-beta.20125.9
- Microsoft.DotNet.GenAPI - 5.0.0-beta.20125.9
- Microsoft.DotNet.GenFacades - 5.0.0-beta.20125.9
- Microsoft.DotNet.Helix.Sdk - 5.0.0-beta.20125.9
- Microsoft.DotNet.RemoteExecutor - 5.0.0-beta.20125.9
- Microsoft.DotNet.XUnitConsoleRunner - 2.5.1-beta.20125.9

* Update dependencies from https://github.com/microsoft/vstest build 20200226-03

- Microsoft.NET.Test.Sdk - 16.6.0-preview-20200226-03

* Update dependencies from https://github.com/dotnet/runtime-assets build 20200225.1

- System.Windows.Extensions.TestData - 5.0.0-beta.20125.1
- System.Security.Cryptography.X509Certificates.TestData - 5.0.0-beta.20125.1
- System.Private.Runtime.UnicodeData - 5.0.0-beta.20125.1
- System.Net.TestData - 5.0.0-beta.20125.1
- System.IO.Packaging.TestData - 5.0.0-beta.20125.1
- System.IO.Compression.TestData - 5.0.0-beta.20125.1
- System.Drawing.Common.TestData - 5.0.0-beta.20125.1
- System.ComponentModel.TypeConverter.TestData - 5.0.0-beta.20125.1

* fix the libraries build

* Update Directory.Build.props

* Update dependencies from https://github.com/dotnet/arcade build 20200226.7

- Microsoft.DotNet.XUnitExtensions - 5.0.0-beta.20126.7
- Microsoft.DotNet.VersionTools.Tasks - 5.0.0-beta.20126.7
- Microsoft.DotNet.ApiCompat - 5.0.0-beta.20126.7
- Microsoft.DotNet.Arcade.Sdk - 5.0.0-beta.20126.7
- Microsoft.DotNet.Build.Tasks.Feed - 5.0.0-beta.20126.7
- Microsoft.DotNet.Build.Tasks.Packaging - 5.0.0-beta.20126.7
- Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk - 5.0.0-beta.20126.7
- Microsoft.DotNet.Build.Tasks.TargetFramework.Sdk - 5.0.0-beta.20126.7
- Microsoft.DotNet.CodeAnalysis - 5.0.0-beta.20126.7
- Microsoft.DotNet.GenAPI - 5.0.0-beta.20126.7
- Microsoft.DotNet.GenFacades - 5.0.0-beta.20126.7
- Microsoft.DotNet.Helix.Sdk - 5.0.0-beta.20126.7
- Microsoft.DotNet.RemoteExecutor - 5.0.0-beta.20126.7
- Microsoft.DotNet.XUnitConsoleRunner - 2.5.1-beta.20126.7

* Update dependencies from https://github.com/dotnet/arcade build 20200227.9

- Microsoft.DotNet.XUnitExtensions - 5.0.0-beta.20127.9
- Microsoft.DotNet.VersionTools.Tasks - 5.0.0-beta.20127.9
- Microsoft.DotNet.ApiCompat - 5.0.0-beta.20127.9
- Microsoft.DotNet.Arcade.Sdk - 5.0.0-beta.20127.9
- Microsoft.DotNet.Build.Tasks.Feed - 5.0.0-beta.20127.9
- Microsoft.DotNet.Build.Tasks.Packaging - 5.0.0-beta.20127.9
- Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk - 5.0.0-beta.20127.9
- Microsoft.DotNet.Build.Tasks.TargetFramework.Sdk - 5.0.0-beta.20127.9
- Microsoft.DotNet.CodeAnalysis - 5.0.0-beta.20127.9
- Microsoft.DotNet.GenAPI - 5.0.0-beta.20127.9
- Microsoft.DotNet.GenFacades - 5.0.0-beta.20127.9
- Microsoft.DotNet.Helix.Sdk - 5.0.0-beta.20127.9
- Microsoft.DotNet.RemoteExecutor - 5.0.0-beta.20127.9
- Microsoft.DotNet.XUnitConsoleRunner - 2.5.1-beta.20127.9

* Update dependencies from https://github.com/mono/linker build 20200227.1

- ILLink.Tasks - 0.1.6-prerelease.20127.1

* Update dependencies from https://github.com/dotnet/arcade build 20200228.3

- Microsoft.DotNet.XUnitExtensions - 5.0.0-beta.20128.3
- Microsoft.DotNet.VersionTools.Tasks - 5.0.0-beta.20128.3
- Microsoft.DotNet.ApiCompat - 5.0.0-beta.20128.3
- Microsoft.DotNet.Arcade.Sdk - 5.0.0-beta.20128.3
- Microsoft.DotNet.Build.Tasks.Feed - 5.0.0-beta.20128.3
- Microsoft.DotNet.Build.Tasks.Packaging - 5.0.0-beta.20128.3
- Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk - 5.0.0-beta.20128.3
- Microsoft.DotNet.Build.Tasks.TargetFramework.Sdk - 5.0.0-beta.20128.3
- Microsoft.DotNet.CodeAnalysis - 5.0.0-beta.20128.3
- Microsoft.DotNet.GenAPI - 5.0.0-beta.20128.3
- Microsoft.DotNet.GenFacades - 5.0.0-beta.20128.3
- Microsoft.DotNet.Helix.Sdk - 5.0.0-beta.20128.3
- Microsoft.DotNet.RemoteExecutor - 5.0.0-beta.20128.3
- Microsoft.DotNet.XUnitConsoleRunner - 2.5.1-beta.20128.3

* Update dependencies from https://github.com/dotnet/arcade build 20200229.1

- Microsoft.DotNet.XUnitExtensions - 5.0.0-beta.20129.1
- Microsoft.DotNet.VersionTools.Tasks - 5.0.0-beta.20129.1
- Microsoft.DotNet.ApiCompat - 5.0.0-beta.20129.1
- Microsoft.DotNet.Arcade.Sdk - 5.0.0-beta.20129.1
- Microsoft.DotNet.Build.Tasks.Feed - 5.0.0-beta.20129.1
- Microsoft.DotNet.Build.Tasks.Packaging - 5.0.0-beta.20129.1
- Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk - 5.0.0-beta.20129.1
- Microsoft.DotNet.Build.Tasks.TargetFramework.Sdk - 5.0.0-beta.20129.1
- Microsoft.DotNet.CodeAnalysis - 5.0.0-beta.20129.1
- Microsoft.DotNet.GenAPI - 5.0.0-beta.20129.1
- Microsoft.DotNet.GenFacades - 5.0.0-beta.20129.1
- Microsoft.DotNet.Helix.Sdk - 5.0.0-beta.20129.1
- Microsoft.DotNet.RemoteExecutor - 5.0.0-beta.20129.1
- Microsoft.DotNet.XUnitConsoleRunner - 2.5.1-beta.20129.1

* Update dependencies from https://github.com/dotnet/arcade build 20200301.1

- Microsoft.DotNet.XUnitExtensions - 5.0.0-beta.20151.1
- Microsoft.DotNet.VersionTools.Tasks - 5.0.0-beta.20151.1
- Microsoft.DotNet.ApiCompat - 5.0.0-beta.20151.1
- Microsoft.DotNet.Arcade.Sdk - 5.0.0-beta.20151.1
- Microsoft.DotNet.Build.Tasks.Feed - 5.0.0-beta.20151.1
- Microsoft.DotNet.Build.Tasks.Packaging - 5.0.0-beta.20151.1
- Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk - 5.0.0-beta.20151.1
- Microsoft.DotNet.Build.Tasks.TargetFramework.Sdk - 5.0.0-beta.20151.1
- Microsoft.DotNet.CodeAnalysis - 5.0.0-beta.20151.1
- Microsoft.DotNet.GenAPI - 5.0.0-beta.20151.1
- Microsoft.DotNet.GenFacades - 5.0.0-beta.20151.1
- Microsoft.DotNet.Helix.Sdk - 5.0.0-beta.20151.1
- Microsoft.DotNet.RemoteExecutor - 5.0.0-beta.20151.1
- Microsoft.DotNet.XUnitConsoleRunner - 2.5.1-beta.20151.1

Co-authored-by: Anirudh Agnihotry <anirudhagnihotry098@gmail.com>

Add check for null for some functions callable from the debugger

Fix crashes and assertion failures seen by the original change

Improve call counting mechanism

- Commit 1
  - Reverts commit f954c6bb80a21d9c44a6ee751d935a0573f7226a, which reverted PR https://github.com/dotnet/runtime/pull/1457 due to issues
- Commit 2
  - Fixes crashes and assertion failures seen by the original change, fixes https://github.com/dotnet/runtime/issues/29934
  - The crashes were caused by commit https://github.com/dotnet/runtime/pull/1457/commits/6aa3c7083735895c2e687a77e3636080edb366c3 in the original PR
  - Call counting infos cannot be deleted when the corresponding call counting stubs may still run, because:
    - The remaining call count decremented by the stub is in the call counting info
    - The only way to get a code version / method desc from a stub is to go through the call counting info
  - Got one repro of the assertion failure in https://github.com/dotnet/runtime/issues/22786 and it is most likely caused by the same issue, following heap corruption from modifying a deleted call counting info where the memory is reused for a `NativeCodeVersionNode`, messing up the method desc pointer
  - Fixed with a partial revert of the above commit. Added back the `Complete` stage and then call counting infos are deleted only after it's ensured that call counting stubs won't be used (shortly before deleting them).
- Commit 3
  - Public static functions of `CallCountingManager` that may be called through the debugger may occur before static initialization, added a check for null as suggested in https://github.com/dotnet/runtime/pull/29892

Delete lock accounting (#33048)

This is left-over from CLR SQL support. We do not need it in CoreCLR.

Update CONTRIBUTING.md (#33054)

Fixes https://github.com/dotnet/runtime/issues/910

[loader] Free some leaked strings in NativeLibrary resolution (#32985)

[threading] Switch domain assemblies lock from OS to Coop (#32502)

I don't think you can create a root domain without reaching the thread info attach call, so this should be safe to change outright.

Fix relative path (#33018)

Update build scripts to enable Microsoft.Extensions projects incrementally
- BinPlacing for Extensions projects
- Ignore building Microsoft.Extensions. projects
- Use correct StringNameKeyId for Extensions projects
- Separate packaging path for extensions projects
- Add PreReleaseVersionIteration

Merge branch 'runtime-consolidation' from Extensions into 'primitives-total'

Remove unused locals in System.Runtime.WindowsRuntime (#33035)

Added two unittests that test whether or not opaque is an empty string, the qop value is read to incorporate the correct hash algorithm for the digest challenge. Also adjusted the conditional in the challenge parse function to allow the opaque value to be an empty string (#32983)

Synchronize shared crossgen2 files (#33026)

Specify entrypoint name for LoadLibrary import (#33025)

The Widechar probing is unnecessary.

Revert "Change debug info default variable tracking system" (#33021)

Replace Marshal.SizeOf for primitive types (#33020)

Handle offset better in DateTimeFormat (#33016)

Eliminate static field access where possible

Update PGO and IBC data versions. (#32978)

Code clean ups (inline out var, remove unnecessary assignments) (#2004)

* Inline out variable declarations

* Remove unnessary assignments

* Update src/libraries/System.Private.CoreLib/src/System/Collections/Generic/ArraySortHelper.cs

Co-Authored-By: Stephen Toub <stoub@microsoft.com>
* Update src/libraries/System.Private.CoreLib/src/System/IO/Path.Windows.cs

Co-Authored-By: Stephen Toub <stoub@microsoft.com>
Co-authored-by: Stephen Toub <stoub@microsoft.com>

Lazily generate native type layout information (#1828)

* Rename and generalize native field categories.

Remove COM-specific blocks on NativeFieldFlags since they don't do anything except require extra categories.

Update unix-x86-only code branch.

Classify each field in EEClassLayoutInfo as used for managed or native layout

Add fast blittability detector to prep for moving interop data calculations out of the type loader. (Blittability is needed in the type loader, so we need to calculate it early).

Heavily simplify native field categories now that they don't need to track blittability.

Update new field blittability checker to also validate the MarshalAs metadata (since if it is blittable, we'll never load the native type and do validation there).

Fix up issues in blittability check.

Remove some dependencies on EEClassLayoutInfo where appropriate.

Collect native layout info in a separate function from type loading.

Initialize NFDs from FieldDescs instead of reading directly from metadata.

Load native type information at a delayed time.

Don't initalize native type information unless the data is requested and the type is non-blittable.

Clean up new field handling of Windows.UI.Xaml.Interop.TypeName.

Fix contract violations and Marshal.SizeOf.

Remove some dead code.

Clean up the blittable checker to also note that KeyValuePair<T,V> in WinRT is non-generic.

Remove special cases that allowed illegal behavior because field marshal data initalization was in the type loader.

alignof -> sizeof

Add comment on why Decimal in particular is never blittable.

Seperate out the native layout info into a separate type.

Get runtime and dac building with it. Crossgen needs some more updates to get fragile NGen working with the new design.

Update fragile NGen to understand the new layout. Get the product to build.

Fixes for Linux build.

Update the loading of fields in layout types to not recurse into the native layout logic. The new logic doesn't support being run as part of type-load.

Remove unneeded "EnsureNativeLayoutInfoInitalized" calls.

Fix build breaks on ARM.

Rename GetNativeFieldFlags->GetCategory and m_flags->m_category.

Don't use the native layout info to get the offset of a field on a blittable type.

Fix indentation.

Fix x86 build.

Fix GC-mode contracts.

Fix thead safety issues. Move methods of EEClassLayoutInfo and EEClassNativeLayoutInfo to a new classlayoutinfo.cpp file.

Fix more contracts.

Move CheckForNativeHFA to classlayoutinfo.cpp

Fix x86 Windows build break.

Track if a MethodTable is marshalable in the native field layout metadata.

Fix case where an explicit structure has a field of non-layout struct, which itself has fields that would disqualify it from managed-sequential.

Fix incorrect calculation of managed size.

Fix accidental recursion into native layout initialization when calculating the SystemV eightbyte classification.

Fix Windows x86 failure.

Wrap MarshalNative::OffsetOfHelper in a helper method frame to fix contract violation.

Fix usage of CONSISTENCY_CHECK to CONSISTENCY_CHECK_MSG.

* Calculate NativeFieldDescriptor::IsNestedType from the category instead of including a bool.

* Change IsUnmarshalable() to return a C++ bool instead of a BOOL.

* PR Feedback.

* Remove native layout info from fragile ngen images/ibc.

* Initialize m_fd in NativeFieldDescriptor constructor.

* Cleanup after removing NGen image save/restore.

* PR Feedback.

* Initialize variable to satisfy compiler.

* Fix FieldDesc assignments.

* Lookup intrinsic vector types by typedef instead of name.

* Mark GetNativeHFATypeRaw as LIMITED_METHOD_CONTRACT.

* Clean up returns and only use return buffers when required.

* Use CQuickArray instead of _alloca.

* Remove out of date comment.

* Remove unused field.

* Make m_nativeLayoutInfo volatile.

* PR Feedback.

* Fix typo that broke non-blittable HFAs.

* Add test validating that we don't marshal Auto structs.

* Add test for returning an auto-struct.

* PR Feedback.

Additional tests for System.Text.Json (#32705)

* added multi-segment DateTime tests

* added missing null argument test

* added null argument tests and missing check for SerializeAsync

* removed unreachable defensive code block

* sealed class type for dictionary converters and removed unreachable code

* added additional test permutation

* added slices to DateTime conversion tests

* Revert "sealed class type for dictionary converters and removed unreachable code"

This reverts commit 1e8e33cdb2309ed37558c37b76454dbcaec0a1fa.

* sealed class type for internal json converters

Guard against NRE when deserializing extension data into dictionary without parameterless ctor (#32952)

* changed exception behavior for immutable dictionary

* refactored tests for deserialize

* using full generic dictionary for tests

* moved where exception is thrown

* added immutable serialization test

* added custom immutable dictionary extension data test

* refactored private ctor dictionary to inherit

* removed unused static create

Ensure Process.MainWindowHandle is refreshed (#32695)

* Ensure Process.MainWindowHandle is refreshed

This will set _haveMainWindow to true only if
_mainWindowHandle is non-zero. It also forces
the latter to be reset during a Process.Refresh()
call, hence allowing the re-evaluation of both.

Fix #32690

* Mark test for local outerloop testing only

* Rename exePath constant to ExePath

Update libraries workflow (#32939)

* Update README.md

Minor readability improvements
Unified camelCasing

* Update README.md

Enable nullable annotations for Utf8String. (#32967)

Clean up unnecessary things in the .csproj files.

Replace Marshal.SizeOf in System.Drawing.Common (#32962)

* Replace Marshal.SizeOf in System.Drawing.Common

* Inline size locals

* Remove out of memory checks

* Replace Marshal operations

Up the timeout for the cross-crossgen job to 3 hours (#32986)

System.IO.sln hangs (#32995)

* System.IO.sln hangs

* Apply suggestions from code review

Fix another 58 URL's (#33003)

Honor converters for underlying types of Nullable<T> specified with JsonConverterAttribute (#32006)

* FIxed exception being thrown when JsonConverterAttribute is used on Nullable<T> when converter can handle T.

* Expanded test coverage.

* Code review feedback.

* Code review feedback.

* Updated to use JsonValueConverterNullableFactory directly instead of fall-through logic.

* Null response is no longer possible.

* Code review.

* Updated for refactoring.

* Code review.

* Code review #2.

Updating labels to reflect the -coreclr postfix (#32997)

Add Server-Timing to KnownHeaders in System.Net.HTtp (#32989)

Fix RegexBoyerMoore.IsMatch case-insensitive (regression from 2.1 to 3.0) (#32984)

As part of a larger change, a change was made for .NET Core 3.0 that switched a character-by-character comparison loop to instead use string.Compare.  This represents a regression, however, when a culture-aware character-by-character comparison yields different results from a multiple-character comparison.

process more TLS frames at once when possible (#32897)

* process more TLS frames at once when possible

* style update

* stop on first FrameType.AppData

Only output type parameter constraint blank line if type parameter has a constraint (#32024)

Fixes #31614

Remove FEATURE_COMPILED from System.Text.RegularExpressions (#32919)

Update ProjectUrl in props (#32599)

I believe this should now be `/runtime` instead of `/corefx` so that it properly attributes the project location when shown in NuGet and elsewhere that relies on the ProjectUrl data.

removed unused local for System.Numerics.Tensor (#32948)

Adding some additional coverage to areas. (#32976)

Remove non-functional spawn code.

Subject to configuration, spawn has three widely divergent behaviors:

succeed but do nothing
print and exit
do what it sounds like
Rather than mislead the callers, provide only option 3 and let the caller decide what to do otherwise.

Co-authored-by: Jay Krell <jay.krell@cornell.edu>

Fix JIT traces for the case where a tier 1 compilation switches to MinOpts (#32928)

Updated to clear the tier 1 flag when switching to MinOpts. Clearing the flag avoids printing "tier 1" in traces and to print more accurate information around here:
https://github.com/dotnet/runtime/blob/c727a412bf2c415bb2b94eeef0939aa07b87591c/src/coreclr/src/jit/compiler.cpp#L4044

Package libcoreclrtraceptprovider.so in shared framework (#32949)

Delete unused libdl interop (#32959)

Reduce number of build libraries for Mono MSVC netcore build. (#32854)

Current mono-netcore.sln builds more than needed by Mono netcore build.
The only library currently needed is mono-2.0-sgen.dll build by
libmono-dynamic-vcxproj. In order to build that library, we also need to
build eglib as static library as well as genmdesc.vcxproj. Build also
build mono-sgen.exe to simplify use of older Mono CLI support and testing.

[mono] Use ALC and throw FileNotFound in RuntimeAssembly.InternalLoad (#32933)

https://github.com/dotnet/runtime/commit/7c6ec46a637017971d3eaa210fd2b6e4d4a6b737#diff-53c474033a1751601becf0eb958fcb5dL287-R287 broke a bunch of tests, this should fix them all.

Fixes #22110
Fixes #32436
Fixes #32437
Fixes #32435
Fixes #32439
Fixes #32434
Fixes #32433
Fixes #32432

[loader] Remove unnecessary newline in loader mono_trace call (#32934)

Enable test fixed already (#32946)

[runtime] Use pointer size gchandles (#32850)

This would enable in the future to use CoreCLR's GC with mono. This doesn't change the current embedding api, but, in the future, we will end up aligning with coreclr on an embedding api that uses pointer sized gchandles.

Co-authored-by: Vlad Brezae <brezaevlad@gmail.com>

Invert Environment.UserInteractive (fix) (#32947)

Update windows-requirements.md (#32938)

Clarify few minor things in initial setup workflow.