Disable copy ctor test on Mono (#40161)

The underlying feature here was designed only for IJW, which isn't supported by mono

[RISCV] Build fixes and simple exception handling (#40142)

Hello Mono friends,

here are some build fixes to make the RISC-V port compile again. Also I added some minimal exception handling stuff to make most of the mini regression test suites passing in the interpreter:
```console
$ for i in mono/mini/{basic.exe,basic-float.exe,basic-long.exe,basic-calls.exe,objects.exe,arrays.exe,exceptions.exe,iltests.exe,devirtualization.exe,generics.exe,basic-vectors.exe,ratests.exe}; do \
  MONO_PATH=../managed-libs/./mcs/class/lib/net_4_x-linux/ \
  qemu-riscv64 ./mono/mini/mono-sgen --config data/config --regression --interp $i;
done
```
output here: https://gist.github.com/lewurm/d7e54b47930126e6bae77b9a4eee1d40

While this is cool, keep in mind this only works because `--regression` doesn't pull in any native transitions. For this we essentially need a working JIT and implement some trampolines. Alas I ran out of time for my hackweek project to get it in any useful state, so I didn't include it in this PR. My WIP branch is here: https://github.com/lewurm/mono/commits/riscv-wip

I also ran into an annoying qemu bug which I reported here: https://github.com/riscv/riscv-binutils-gdb/issues/223 / https://bugs.launchpad.net/qemu/+bug/1889411 Hopefully this will be fixed before I touch it next time and/or I have real hardware at this point 😄

/cc @alexrp

Co-authored-by: lewurm <lewurm@users.noreply.github.com>

Report POH objects in RootReferences and ObjectReferences (#39992)

Do not check static methods for variance safety rules (#40152)

- There are no variance restrictions on the method signature of static members

This change brings the coreclr runtime into compliance with section 9.7 of Partition II of the ECMA 335 spec.

Correcting Mismatch between ref and src (#39741)

* minor formatting

* ref changes

Verify JsonSerializer support for init-only properties (#40150)

Exclude EUid and EGid for Browser build as they are not supported (#39483)

[master] Update dependencies from dotnet/arcade mono/linker Microsoft/vstest dotnet/runtime-assets dotnet/xharness (#40085)

* Update dependencies from https://github.com/dotnet/arcade build 20200724.1

Microsoft.DotNet.XUnitExtensions , Microsoft.DotNet.GenFacades , Microsoft.DotNet.Build.Tasks.Feed , Microsoft.DotNet.Build.Tasks.Packaging , Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk , Microsoft.DotNet.Build.Tasks.TargetFramework.Sdk , Microsoft.DotNet.CodeAnalysis , Microsoft.DotNet.GenAPI , Microsoft.DotNet.XUnitConsoleRunner , Microsoft.DotNet.Helix.Sdk , Microsoft.DotNet.RemoteExecutor , Microsoft.DotNet.VersionTools.Tasks , Microsoft.DotNet.Arcade.Sdk , Microsoft.DotNet.ApiCompat
 From Version 5.0.0-beta.20364.3 -> To Version 5.0.0-beta.20374.1

* Update dependencies from https://github.com/mono/linker build 20200728.1

Microsoft.NET.ILLink.Tasks
 From Version 5.0.0-preview.3.20374.1 -> To Version 5.0.0-preview.3.20378.1

* Update dependencies from https://github.com/microsoft/vstest build 20200730-02

Microsoft.NET.Test.Sdk
 From Version 16.8.0-preview-20200720-01 -> To Version 16.8.0-preview-20200730-02

* Update dependencies from https://github.com/dotnet/runtime-assets build 20200727.1

System.ComponentModel.TypeConverter.TestData , System.Drawing.Common.TestData , System.IO.Compression.TestData , System.IO.Packaging.TestData , System.Net.TestData , System.Private.Runtime.UnicodeData , System.Security.Cryptography.X509Certificates.TestData , System.Windows.Extensions.TestData
 From Version 5.0.0-beta.20364.1 -> To Version 5.0.0-beta.20377.1

* Update dependencies from https://github.com/dotnet/xharness build 20200730.1

Microsoft.DotNet.XHarness.CLI , Microsoft.DotNet.XHarness.TestRunners.Xunit
 From Version 1.0.0-prerelease.20352.3 -> To Version 1.0.0-prerelease.20380.1

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

Add nullability annotations to XPath*files in Xml/Cache (#40114)

* Add nullability annotations to XPath* files in Xml/Cache

* Move missplaced assertion on CachedTextNode

* Add product fixes suggested on PR feedback

Generate deterministic timestamp (#40122)

- Port the logic from the Roslyn compiler that handles deterministic timestamp generation
- Enable for composite images

This allows matching up generated pdb files with the composite image to work correctly in all known cases.

Copy ctor handling for crossgen2 (#40113)

- Add IL based test for copy ctor to allow testing in Crossgen2 which doesn't yet support IJW
- Add api to determine proper EmbeddedSignatureData index for these
  - And tests to ensure this remains functional
- Marshaller changes to recognize copy constructor cases
  - Note that there isn't actual marshaller support. Instead the compiler can now able to detect when copy ctors should be used, and falls back to the runtime interop layer

Bulk-suppress linker warnings during library builds (#40106)

* Enable verbose linker output and bulk-suppress warnings

* Suppress ILLinker warnings for now, so ILLinker can enable warnings by default

Co-authored-by: Eric Erhardt <eric.erhardt@microsoft.com>

[browser][tests] Deactivate marshal tests as they are flaky right now. (#40139)

* [browser][tests] Deactivate marshal tests as they are flaky right now.

* Use active issue instead

For arm32, kill REG_PROFILER_RET_SCRATCH for LSRA but not for GC (#40123)

Reworking of #37969. Block LSRA from using R2 around the profiler leave
callback, but don't kill GC refs in R2, since late codegen will use
R2 to temporarily hold return values around the callback.

Fixes #37223.

Co-authored-by: Carol Eidt <carol.eidt@microsoft.com>

Fix ILLink.Substitutions.xml Warnings during Blazor build (#40051)

* Fix ILLink warning for System.Runtime.Serialization.Formatters

LocalAppContextSwitches is getting trimmed from the Browser specific assembly since it is unused. However, we still have an ILLink.Substitutions.xml file referencing it, causing the warning.

The fix is to only include the ILLink.Substitutions.xml file for the non-Browser build.

* Fix ILLink warning in System.Runtime.InteropServices.JavaScript

When building for Browser, the Runtime.InteropServices.JavaScript assembly doesn't use the System.SR type which causes the ILLinker to trim it during the dotnet/runtme build. But since System.SR is used for the AnyOS build we are generating an ILLink.Substitutions.xml file telling the linker to remove the System.SR type. This causes a warning during the Blazor app build because the Type doesn't exist in the assembly, but the XML file references it.

The fix is to not create an System.SR Type, nor embed the resources file, for the Browser build. This will need to be undone once a string is used in the Browser build.

Consider that retbuf arg can point to GC heap in fgCreateCallDispatcherAndGetResult() (#39815)

Caller return buffer argument can point to GC heap while DispatchTailCalls expects the return value argument to point to the stack. We should use a temporary stack allocated return buffer to hold the value during the dispatcher call and copy the value back to the caller return buffer after that.

Sync shared file (#40141)

[wasm] Address TODO in pal_runtimeinformation.c (#40133)

The WASM architecture wasn't added there since we already hardcode the architecture to wasm in the managed layer.
For consistency we should still define it in the PAL though and address the TODO comment.

Also added a test that verifies we indeed get the correct wasm architecture on the Browser platform.

Remove AspNetCore Testing Infra that isn't used (#40091)

Add first fsharp test (#39871)

* Add our first fsharp test

This will test some newly supported codepaths in .Net 5.0

* Working test

* Small change

* Addressed feedback and resolve fsharp dependencies

* Add a separate dependency to be restored and copied

* Fix typo

Telemetry doesn't log datagrams failed in send/receive (#40083)

[jit] Avoid calling mono_marshal_get_native_wrapper () too early, it needs to be called when the pinvoke method is first called. (#40063)

Co-authored-by: vargaz <vargaz@users.noreply.github.com>

Update docs for packaging and other nits (#40134)

* Update docs for packaging and other nits

Implement Header encoding selectors on SocketsHttpHandler (#39468)

* Expose HeaderEncodingSelectors on SocketsHttpHandler

* Implement header encoding selectors in SocketsHttpHandler

* Add header encoding tests

* Add summaries for new APIs

* Use Stream.Write(byte[], int, int) overloads for framework compat

* Add dummy API implementation to browser target

* HPack/QPack fixes

* Move HeaderEncodingSelector delegate to namespace, add TContext

* Encoding fixes

* Remove unused using

* Simplify test

* HttpConnection PR feedback

* Simplify fast-path detection

Support dotnet pack on libs src project (#40107)

* Support dotnet pack on libs src project

* Update eng/packaging.targets

Co-authored-by: Santiago Fernandez Madero <safern@microsoft.com>

Minor fix in library build instruction (#40109)

Fix dummy OBJ/BLK/IND nodes. (#39824)

* Add a repro.

* Add a helper function `fgTryRemoveNonLocal`.

* Fix the issue.

* extract `gtChangeOperToNullCheck`.

* update comments.

Remove dead resource strings from Microsoft.VisualBasic.Core (#40053)

Re-enable ThreadStartBool_1 test for crossgen2 compilation (#40098)

Add BinaryFormatter auditing EventSource (#39874)

Add profiler ELT test (#39550)

Fix the following issues:

    On amd64 linux we didn't save and restore the xmm registers, and didn't handle enregistered 16 bytes structs as return values
    On arm we didn't save and restore the floating point registers (I made the linux arm helpers match the windows arm helpers)
    On arm64 we didn't handle 16 byte enregistered structs as return values

And add tests

Fix CoreLib build when building libraries solutions (#40097)

If a project that is part of solution has a ProjectReference to CoreLib, the Platform property was set to AnyCPU and CoreLib was built with the wrong Platform/Platform_Target.

Add env var to control createdump on MacOS (#39982)

Add env var to control createdump on MacOS

The COMPlus_DbgEnableElfDumpOnMacOS needs to be set to 1 along with all the other standard createdump env vars for dumps to be enabled on MacOS.

This is because ELF coredumps are generated on MacOS and we want customers to be very explicit and aware of what the are getting.

Change test harness to use the new env var

Createdump documentation update

Tolerate pathological growth of optCSEHash (#40056)

The optCSEhash can grow an unbounded amount if the function has numerous trees which are put into the optCSEhash as possible CSE candidates, but fewer than MAX_CSE_CNT are found, then the compiler will spend excessive amounts of time looking up entries in the optCSEhash.

This fix addresses the issue by making the optCSEhash able to grow its count of buckets.

Tweak ObjectStackAllocationTests so that they work correctly under crossgen2 (#40096)

- Add a mechanism for passing arbitrary arguments to the crossgen2 process while running crossgen2 tests
- Pass the `--codegenopt JitObjectStackAllocation=1` when compiling this test with Crossgen2. This will result in enabling the object stack allocation feature during compilation
- As Crossgen2 currently disregards the debuggable attribute when deciding codegen mode, detect the presence running crossgen2 and expect allocation to occur on the stack even if S.P.C is debuggable

Fix unwind info decoding (#40030)

Fix TestUtilities IsTestProject being set to true inside VS (#40089)

Add config var to allow disabling automatic CPU group assignment for threads (#38568)

- When CPU groups are enabled through config, some new threads (Thread.Start, thread pool threads) are automatically assigned to a CPU group, starting with the process' CPU group and once it is filled up, assigning new threads to a different CPU group. An app may have native components that also use threads, and may want to do its own thread-spreading (for instance in DllMain), this config allows such apps to disable the automatic CPU group assignment which would otherwise override an assignment made in DllMain. The new config var does not affect GC threads.
- This was requested for .NET Framework, porting to .NET Core as well

Narrow four utf16 chars to ascii and write to buffer (#39508)

* Shims

* shim

* Cherry-pick

* NarrowFourUtf16CharsToAsciiAndWriteToBuffer

* Address comments

* Nit

Re-enable test as issue was fixed (#40026)

Add more configurations to runtimeconfig.json (#40036)

Crossgen2 composite GC stress pipeline (#39949)

Split Perf  Helix Workitem (#39859)

* wip

* split perf jobs into test categories

* add test category to run-performance-job.yml

* correct space

* add space to parameter var

* add $

* fix yaml

* revert extraparameters

* replace crossgen runkind

* change micro_mono tag

* remove space

JIT: ensure fgFirstBB has appropriate flags (#40038)

This fixes an issue where release jits might sometimes generate bad GC info.
Keeping it minimal for now so we can consider servicing preview 8.

See #39023 for details.

[wasm] Remove unused icalls for Environment properties (#40079)

They are no longer needed after https://github.com/dotnet/runtime/pull/38996 since we return values in managed code now.

BindAsync -> ListenAsync (#40068)

BindAsync -> ListenAsync

Do not test sockets handler fix on WinHttpHandler. (#40070)

WASM: Enable GetAssemblyNameTest_ValidAssembly and add hook to include custom files into vfs (#40032)

Redirect DllImport of hostpolicy to the main executable when it's embedded (#40014)

[mono] Disable cfgdir config on Windows netcore builds (#40005)

This was already disabled with autotools, but I forgot to update winconfig.h as well.

[wasm] Re-enable some tests in the System.Net.WebSockets.Tests namespace (#40004)

There is no repro for https://github.com/dotnet/runtime/issues/38807 at the moment so the related tests have been enabled.
Two tests have been disabled due to PNSE (see https://github.com/dotnet/runtime/pull/39346).

Fixes: https://github.com/dotnet/runtime/issues/38807

The test run result: `Tests run: 177, Errors: 0, Failures: 0, Skipped: 0.`

Disabled outerloop test. (#40045)

Update threadpool callback error messages to fix #38803 (#40000)

Assert that we don't get the value we don't want instead of attempting to check for a specific error code. Fixes #39955 (#40019)

[browser][wasm] Configuring request options in Browser WebAssembly (#39182)

* [browser][wasm] Initial addition of configuring request options in Browser WebAssembly

* Fix key code.  Not what was proposed

* Add TryGetValue<TValue> and Set<TValue> as per proposal

* Add missing obsolete attribute

* Address review comments

* Update tests to use Options and not obsolete Properties.

* Implement IDictionary<string, object?> explicitly

* Update tests to use Options and not obsolete Properties.

* Add HttpRequestOptions source to the System.Net.Http.Unit.Tests project to fix build.

* Address review comments - explicit

* Fix build error cannot convert from 'string' to 'System.Net.Http.HttpRequestOptionsKey<object>'

* Add tests for HttpRequestOptions

* Fix test build

* Add special case code for NETFRAMEWORK for API change.

* #endif out of place fix

* #endif out of place fix

Add Unsafe.IsNullRef and Unsafe.NullRef (#40008)

Co-authored-by: Adeel Mujahid <adeelbm@outlook.com>
Co-authored-by: Jan Kotas <jkotas@microsoft.com>

Fix creating RegionInfo object using names with different casing. (#40052)

Negate find_object GetConservativeGC logic. (#39905)

[interp] Add null checks to STIND opcodes. (#40041)

Cleanup mscorlib references under src\coreclr\src (#39994)

* s/MscorlibBinder/CoreLibBinder/

* s/g_Mscorlib/g_CoreLib/

* Remaining mscorlib->corelib renames

* Delete unreachable FNV NGen string

Fix parsing of embedded .clsidmap in comhost (#40022)

* Fix parsing of embedded .clsidmap in comhost
* Update tests to use HostModel to create/embed clsidmap

Disable based on #40034 (#40035)

[debugger] Revert Removing unhandled_exception which was used for android (#40027)

This reverts commit 60643c36f5d4e349276e5dcce0e7fc3dc1d72f74.
To investigate error on android tests.

Co-authored-by: thaystg <thaystg@users.noreply.github.com>

Manually merging driver.c from https://github.com/mono/mono/pull/20159 (#40031)

Update visualstudio.md (#40047)

[wasm] Add missing EMCC_FLAGS variable when building corebindings.o (#40024)

Intrinsify MemoryMarshal.GetArrayDataReference for interp (#39920)

Update dependencies from https://github.com/dotnet/icu build 20200728.2 (#40011)

Microsoft.NETCore.Runtime.ICU.Transport
 From Version 5.0.0-preview.8.20373.1 -> To Version 5.0.0-preview.8.20378.2

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

Enable dumping GC tables in release builds (#39946)

* Dump GC info always in release builds

Add support for dumping non-x86 info in release builds

* Revert DUMP_GC_TABLES change

* Fix formatting

[mono] Fix warnings on OSX netcore (#39997)

This commit brings us back to zero warnings for the default build configuration

Stop using transport packages for CoreCLR assets (#40002)

 use empty server name is client did not specify one (#39671)

* use empty server name

* fix merge

* feedback from review

* add missing file

Increase HTTP/2 connection expiration test's timeouts (#40015)

Error on multiple calling conventions in modopts (#39809)

Fix mdarrays (#39984)

- MDArrays are special and method references to the methods needs to be encoded with their type in more cases than normal methods
- Only generate the owner type if the memberref does not encode the same owner type
- Add tests for various multidimensional array scenarios to crossgen2smoke

Fix issue #38260

Fix typo on comment on ReflectionEnum::InternalHasFlag (#39995)

Initial (partially-reviewed API) System.Net.Connections. (#39524)

Annotate System.ComponentModel.DataAnnotations for nullability (#39611)

Expect 100 Continue Hang (#38774)

Inside sendRequestContentTask recognizes that it's invoked from a timer thread and if request content fails, unblocks SendAsyncCore and eventually propagates the exception from the content to the outside.
Fixes the issue for H2 as well.

Fixes #36717

System.Net.Sockets telemetry counters (#39708)

Counters in SocketsTelemetry measuring

`bytes-received` (Bytes Received)
The cumulative total number of bytes received by all Socket objects since the process started.

`bytes-sent` (Bytes Sent)
The cumulative number of bytes sent by all Socket objects  since the process started.

`outgoing-connections-established` (Outgoing Connections Established)
The cumulative total number of outgoing connections established by Socket objects for stream sockets since the process started.

`incoming-connections-established` (Incoming Connections Established)
The cumulative total number of incoming connections established by Socket objects for stream sockets since the process started.

`datagrams-received` (Datagrams Received)
The cumulative total number of datagram packets received by all Socket objects since the process started.

`datagrams-sent` (Datagrams Sent)
The cumulative total number of datagram packets sent by all Socket objects since the process started.

Contributes to #37428

Adapt RFC 6265 in path handling for cookies (#39250)

Resolves "Path related issues" of #26141
(described in #21440, #22372 and #25226) by adapting RFC 6265 for path management:

- Removes the restriction for the Path attribute (it's no longer expected to prefix the request path)
- Introduces the default-path calculation and path matching algorithms as defined in section 5.1.4 of the new RFC
- Adds integration tests for HttpClient based on user scenarios described in the issues

Apple Silicon support (#39939)

<!--
Thank you for your Pull Request!

If you are new to contributing to Mono, please try to do your best at conforming to our coding guidelines http://www.mono-project.com/community/contributing/coding-guidelines/ but don't worry if you get something wrong. One of the project members will help you to get things landed.

Does your pull request fix any of the existing issues? Please use the following format: Fixes #issue-number
-->

Co-authored-by: vargaz <vargaz@users.noreply.github.com>

Add ICorDebugModule4 - Get Module mapping mode (#39865)

* Add IDL for ICorDebugModule4
* Add cached version of the MIDL generated stubs
* Implement ICorDebugModule4
* Align method naming with other methods in ICorDebug

Add brew update before brew bundle (#39999)

Every lane appears to be failing because of an issue with brew bundle expecting the latest homebrew but not automatically updating: https://github.com/Homebrew/homebrew-bundle/issues/751
So forcibly update, which is apparently good practice anyway: https://github.com/Homebrew/homebrew-bundle/issues/751#issuecomment-664958735

[retry only] Additional HTTP/2 connections created when active streams limit is reached (#39439)

HTTP/2 standard commands clients to not open more than one HTTP/2 connection to the same server. At the same time, server has right to limit the maximum number of active streams per that HTTP/2 connection. These two directives combined impose limit on the number of requests concurrently send to the server. This limitation is justified in client to server scenarios, but become a bottleneck in server to server cases like gRPC. This PR introduces a new SocketsHttpHandler API enabling establishing additional HTTP/2 connections to the same server when the maximum stream limit is reached on the existing ones.

**Note**. This algorithm version uses only retries to make request choose another  connection when all stream slots are occupied. It does not implement stream credit management in `HttpConnectionPool` and therefore exhibit a sub-optimal request scheduling behavior in "request burst" and "infinite requests" scenarios.

Fixes #35088

[browser][http] Fix HttpClientHandler "Supports*" properties regressions (#39889)

* [browser][http] Fix HttpClientHandler "Supports*" properties regressions

* Also needs implementing on SocketsHttpHandler.

On the SocketsHttpHandler we will default to `true` here.

```
        internal bool SupportsAutomaticDecompression => true;
        internal bool SupportsProxy => true;
        internal bool SupportsRedirectConfiguration => true;
```

* Should be internal accessor

Fix issue in sort_mark_list causing AVs in merge_mark_lists.

This happens during gen 2 GCs where at least one GC thread sees no surviving objects. The bug causes merge_mark_lists to attempt the merge when in fact we are not using the mark lists at all during gen 2 GCs.

Fix comment in sort_mark_list.

Fix ILLink descriptors for Mono.CoreLib (#39898)

[mono] Use DefaultDllSearchPaths attribute for PInvokes (#38975)

* [mono] Use DefaultDllSearchPaths attribute for PInvokes

So far we have been ignoring the flags contained in the attribute.

Attribute can be applied to a pinvoke method or an assembly. See https://docs.microsoft.com/en-us/dotnet/api/system.runtime.interopservices.defaultdllimportsearchpathsattribute.-ctor?view=netcore-3.1#System_Runtime_InteropServices_DefaultDllImportSearchPathsAttribute__ctor_System_Runtime_InteropServices_DllImportSearchPath_

* Update src/mono/mono/metadata/native-library.c

Co-authored-by: Aleksey Kliger (λgeek) <akliger@gmail.com>
* Minor fixes to comments and error handling

* Additional fixes

Co-authored-by: Aleksey Kliger (λgeek) <akliger@gmail.com>
Co-authored-by: Ryan Lucia <rylucia@microsoft.com>

Update safemath.h

Fixes #39985

[wasm] Use interp-only instead of interp-llvmonly as the default execution mode. (#39880)

interp-llvmonly caused mono_llvm_only to be set, causing bad behavior like
stack walks not working.

Co-authored-by: vargaz <vargaz@users.noreply.github.com>

Fix releasing of file handle in binder tracing (#39974)

[jit] Add a intrinsic for ThrowForUnsupportedVectorBaseType<T>. (#39965)

Part of https://github.com/dotnet/runtime/issues/38718.

Fix superpmi.py script for asmdiffs (#39948)

Disable eventpipe test under GCStress due to test failure (#39978)

Issue: https://github.com/dotnet/runtime/issues/39932

Disable gcdump test under GCStress due to test failure (#39977)

Issue: https://github.com/dotnet/runtime/issues/39931

Remove GetIPCEventSendBufferContinuation (#39662)

* Fix write on failure to allocate buffer

* Remove GetIPCEventSendBufferContinuation altogether

[mono] Fix building multiple os/arch combinations in the same working directory (#39970)

After adding the ICU shim code to the runtime we hit an issue when e.g. compiling for "desktop" mono in a working directory that already had Browser wasm artifacts in it.
This is due to automake putting the intermediate compilation artifacts at the same location where a file was referenced from.

This means that e.g. when using `../../../libraries/Native/Unix/System.Globalization.Native/pal_icushim.c` in the Makefile.am we'd get the intermediaries in `artifacts/obj/mono/libraries/` instead of somewhere in `artifacts/obj/mono/OSX.x64.Debug`.

Later on we'd get the following error because it was reusing the existing .o file from another architecture:

```
Undefined symbols for architecture x86_64:
  "_gPalGlobalizationNative", referenced from:
    _c_qcalls in libmonoruntimesgen.a(libmonoruntimesgen_la-native-library-qcall.o)
```

Fix this by symlinking the source files into the build directory.

Fix issue with Crossgen2 package excluding Icon (#39972)

The latest packaging targets rely on ProjectDefaults inclusion of package icon,
but this item was being removed by the Crossgen2 project's targets.

Also updating the version of packaging tools to see if we have any other failures.

Keep only Abstractions dependency on Configuration.Binder (#39461)