Fix race conditions in CG2 runs (#44492)

While we do lock the test folder during CG2 compilation, we always
run the compilation which means that it can race with execution of
the already CG2-compiled executable which also locks the PE file.

While I'm not super happy about introducing more state, I believe
the easiest way to fix this is the same way CG1 works - compiling
opportunistically upon first build of the project and skipping the
compilation subsequently.

Thanks

Tomas

Fix trimming linker tests (#44613)

[Android] Split android_security.c into multiple files (#44603)

Remove the experimental Utf8String type and tests from the runtime repo (#44574)

Reduce Process test time (#44593)

Fix a test that was taking 30 seconds, and make another test outerloop.

Fix zh cultures parent chain (#44607)

Mark R2RDumpTests as incompatible with GC stress (#44586)

The purpose of this test is not to stress the runtime, it's relatively
lengthy as it processes the entire System.Private.CoreLib framework
assembly and so it's timing in GC stress runs.

Thanks

Tomas

OSX Add option -no_code_signature_warning (#44604)

When building on Apple Silicon the stripping pass warns about breaking signing
despite not having signed the binary yet. Disable the warning

Override Read/Write for spans on ConsoleStream (#44597)

Console.WriteLine ends up calling Write(span) in some cases, which incurs unnecessary additional cost to call through to Write(byte[], ...).

Special-case SocketsHttpHandler.MaxResponseDrainTime == 0 (#44568)

If the drain size is set to 0, any attempts to drain end up failing with a 1st-chance exception that's logged and eaten, when we should just be skipping all the associated work and failing immediately.

Validate ref/src parameter names (#43838)

Ensure our reference assembly parameter names match implementation.  Align all current mismatches.

[Android] Use Android SDK instead of OpenSSL where possible (#43740)

This PR redirects all RandomNumberGenerator, MD5, Sha1-512, HMAC and AES APIs to use Android SDK instead of OpenSSL.

Remove dependency on System.Linq from debug build (#44531)

Make PhysicalFilesWatcher exclusively use polling when pollForChanges=true and no FSW is provided (#41426)

When a FileSystemWatcher is not passed to the PhysicalFileWatcher
we'll permit construction (if polling is enabled) and have it behave as
exclusively polling.

The PhysicalFileProvider will use this mode when both
UsePollingFileWatcher and UseActivePolling are set which is what happens
when the DOTNET_USE_POLLING_FILE_WATCHER environment variable is set.

Remove LazyInitializer usage from corelib (#44409)

It's fine for higher layers, but in corelib we don't want to forcibly prevent LazyInitializer from being trimmed nor pay the overheads of additional cached delegates.

Fix 5-minute hang in Process tests (#44571)

Use Dictionary for underlying cache of ResourceSet (#44521)

Co-authored-by: Jan Kotas <jkotas@microsoft.com>

Copy OpenSSL binaries (#44577)

This PR could resolve some failures mentioned in https://github.com/dotnet/runtime/issues/44306

Fix race condition in Hosting test (#44548)

Change Task.Delay(1) to Task.Yield() to avoid a super race condition.

Fix #43389

Santiago's suggestion (#44554)

Fix RCS1049: Simplify boolean comparison (#44564)

[RyuJIT] Unroll single-iteration loops (#43947)

* Unroll empty loops

* Unroll single-iteration loops

* Update optimizer.cpp

* clean up

* Update optimizer.cpp

Remove unused RCW/CCW code paths (#44121)

* Remove unused checks for DCOM proxies.

* Remove empty API for WinRT scenarios.

* Remove unused static functions from runtimecallablewrapper.cpp.

* Remove unused functions in comcallablewrappers.

* Remove unused or irrelevant functions in interoputil.cpp.

Remove WinRT focused code path in ComInterfaceMarshaler.
  - ICOMInterfaceMarshalerCallback usage

Remove unused Crst entries and regenerate header. (#44556)

* Remove unused Crst entries and regenerate header.

Fix remote-unwind for TARGET_ARM crossdac (#44553)

docs: fix MSBuild property InvariantGlobalization (#44572)

Crossgen2 support for System.Private.CoreLib compilation in CoreCLR build (#44090)

This change moves the logic for crossgenning System.Private.CoreLib to the crossgen-corelib.proj script, no longer calling out to the OS-specific scripts crossgen-corelib.cmd / crossgen-corelib.sh, and adds the support for using Crossgen2 for the System.Private.CoreLib compilation. As of this commit Crossgen2 is not set as the default because the System.Utf8.Experimental libraries tests fail with Crossgen2-compiled CoreLib. I'm working on fixing this as the next step.

Thanks

Tomas

Fix StartInfo test (#44392)

* Stabilize StartInfo_NotepadWithContent_withArgumentList

* Add state in failed SetApartmentState exception

* Same for other tests

* Extract common code

* Modify

* Extract common code

* Pass down throwOnError

* Apply suggestions from code review

Co-authored-by: Jan Kotas <jkotas@microsoft.com>
* feedback

* Add process for disposal

* Make slow test outer loop

Co-authored-by: Jan Kotas <jkotas@microsoft.com>

A couple of R2RDump fixes (#44558)

Fix arm64 disasm failures (#44547)

GTF_ICON_STATIC_HDL and GTF_ICON_FTN_ADDR can't be converted
to names using eeGetFieldName and eeGetMethodFullName, respectively.
So, just print out the type of the target.

Fixes #40354

Add Type.GetMethod overload that takes Name, BindingFlags, and Parameter Types (#44529)

* Add Type.GetMethod overload that takes Name, BindingFlags, and Parameter Types

Adding overloads to GetConstructor and GetMethod that don't take a Binder or parameter modifiers.

Fix #42753

Use fcntl(F_FLUSHFSYNC) on OSX and make FlushAsync() to behave like Flush(false) on Unix (#44443)

* Use fcntl(F_FLUSHFSYNC) on OSX and make FlushAsync to behave like Flush on Unix

* Remove HAVE_F_FULLFSYNC from mono/cmake/config.h.in

* Address FlushAsyncInternal feedback

* Address feedback: use fcntl only for OSX

Drop support for IID_ICorDebugProcess10 and fix thread suspend logic (#44549)

* Stop providing IID_ICorDebugProcess10

Prevent older VS versions from setting managed data breakpoints.

* Simplify the thread collision logic to prevent deadlock

This is a simplification of https://github.com/dotnet/runtime/pull/44539
as proposed by @kouvel

Add signing information to asset manifest (port #41889 and #42688) (#43896)

* Post build signing

* Add PostBuildSign flag

Convert aka.ms links to https (#44501)

Remove internal NuGet.config that is not needed anymore (#44507)

Update buildtriage.md (#44538)

Remove dead code in MarshalNative (#44506)

Add ICorDebugHeapValue4 -- CreatePinnedHandle (#44471)

* Add ICorDebugHeapValue4
* Add EnableGCNotificationEvents deprecation comment

log exception if Timeout_SetTenMillisecondsOnLoopback_ThrowsWebException test fails (#44509)

* log exception if Timeout_SetTenMillisecondsOnLoopback_ThrowsWebException test fails

* check exception type before checking time range

add CancelWaiter assert (#44510)

Co-authored-by: Geoffrey Kizer <geoffrek@windows.microsoft.com>

Remove some allocation at "hello world" startup (#44469)

* Specialize `EqualityComparer<string>.Default`

Removes ~80 allocations at startup.

* Avoid loading Encoding.Unicode just for CodePage

* Use fixed instead of GCHandle.Alloc in EventSource.Initialize

* Remove lock / lock object from EncodingProvider.AddProvider

* Remove lock object from AppDomain.cs

* Lazily allocate EventSource's m_createEventLock

It's only used on an error path.  We don't need to allocate it for each EventSource that's created.

* Avoid unnecessary CultureInfo access in derived TextWriters

SyncTextWriter already overrides FormatProvider, in which case the t.FormatProvider passed to the base will never be used, so this call is incurring a virtual dispatch for no benefit.  And NullTextWriter needn't access InvariantCulture and force it into existence if it isn't yet, as the formatting should never actually be used, and if it is, its FormatProvider override can supply the culture.

* Avoid allocating AssemblyLoadContext's dictionary if no direct interaction with ALC

AssemblyLoadContext.OnProcessExit gets called by EventSource, which in turn forces s_allContexts into existence in order to lock on it in order to enumerate all active contexts, and if there's been no interaction with AssemblyLoadContext, there won't be any to enumerate.  So delay allocate the object.

* Address PR feedback

* Call EventListener.DisposeOnShutdown from AppContext.OnProcessExit

Avoids the need to register with AppContext.ProcessExit, avoiding an EventHandler allocation, and avoids the need in the common case to fire AppContext.ProcessExit, which in turn avoids allocating an AppDomain and EventArgs if they weren't otherwise created, plus it avoids the delegate invocation.

* Update src/libraries/System.Private.CoreLib/src/System/Diagnostics/Tracing/EventSource.cs

Update dependencies from https://github.com/mono/linker build 20201110.1 (#44499)

Microsoft.NET.ILLink.Tasks
 From Version 6.0.0-alpha.1.20559.3 -> To Version 6.0.0-alpha.1.20560.1

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

Reduce StreamWriter allocation (#44495)

* Lazily-allocate StreamWriter's byte[] buffer

The byte[] buffer is used just when flushing to the underlying stream, to store the intermediate bytes as generated from the characters by the encoding.  Currently the byte[] buffer is allocated in the constructor, but for relatively small strings written/flushed synchronously (such as those often used with Console.Write), we can avoid the buffer entirely via stack allocation (in Flush); for all other cases, we can allocate it on demand.

(I considered using ArrayPool to rent/return in each Flush{Async} call, but opted not to in this change.  Someone could investigate that subsequently.)

* Undo use of static async helpers

In .NET Framework, there was a non-trivial penalty due to StreamWriter deriving from MarshalByRefObject and the impact that had on async methods accessing lifted locals on the state machine (it made them significantly more expensive).  The workaround was to make the async methods be statics and pass in all of the relevant instance state needed.  That workaround is no longer necessary on core, where MarshalByRefObjects are nops, leaving behind a workaround that is not just clunkier, but actually makes things more expensive because more state needs to be stored on the state machine objects (all of the arguments, which can instead just be accessed off of `this`).  Undo that whole change.

* Address PR feedback

Use corlib instead of System.Private.CoreLib as a name prefix in AOT symbol names. (#44235)

WASM Bindings optimizations and fixes (#41808)

* Fix MarshalTypedArrayByte and re-enable it. Re-enable TestFunctionApply

* Re-enable MarshalTypedArray

* Detect when the managed wrapper for a JS object has been collected and create a new one

* Remove debugging code

* Maintain a small pool of temporary root instances to minimize GC pressure. Improve benchmark

* Don't use release_roots in call_method due to varargs overhead

* Various call_method optimizations

* Checkpoint: Don't rely on finally block for teardown in call path, because it has a performance cost

* Checkpoint: Unboxing fast path for primitives

* Checkpoint: Fix unboxing fast path

* Update bindings to use bound static methods instead of call_method in various places

* Address PR feedback

* Revert sample and add separate proj for benchmark

* Fix benchmark

* Revert test change

* Fix passing mono object ptrs to bound functions
Fix passing strings across the boundary
Fix JS strings being truncated at the first null when passed to mono

* Implement unboxing for chars
Slightly optimize the unboxing slow path

* Don't allocate a root buffer for arguments if nothing needs to be rooted. Reuse scratch native buffer across calls unless re-entrant to avoid per-invoke malloc

* Fix whitespace damage from merge

* Tweaks to try and prevent boxing/gc

* Fix typo

* Add some tests

* Fix test failures

* Add more error handling and diagnostic messages
Fix a couple broken tests

* Repair merge damage

* Remove bindings benchmark

* Use TypedArray.fill 3-argument version to zero memory

* Checkpoint: Introduce format strings

* Fix interpolated strings

* Test refactoring

* Checkpoint: Add more test coverage for bindings and interop

* Checkpoint: Enum marshaling works

* Improve test coverage

* Checkpoint: Unify unboxing of primitive types

* Checkpoint: Unify unboxing of primitive types

* Checkpoint: Restore fn to satisfy runtime-test.js

* Checkpoint: Unify boxing for primitives

* Remove now-unused box methods

* Don't store names for null method IDs

* Fix indentation damage

* Add test

* Satisfy CI

* Accept weaker promises

Co-authored-by: Larry Ewing <lewing@microsoft.com>

JIT: preliminary version of profile-based inline policy (#44427)

Add a new inline policy that can be used when a method has profile data.

It uses the call site frequency to boost profitability. Size and per-call
benefit are currently using the estimates done by the model policy.

Not on by default. Set COMPlus_JitInlinePolicyProfile=1 to enable.
Add testing to weekly experimental runs.

Implement internal ISpanFormattable on {U}IntPtr (#44496)

Allows nint and nuint to participate in the same optimizations in string building / formatting as do the other primitives.

Add libs.native subset when using the runtime helper target in the wasm makefile (#44450)

Ensures libSystem.Native.a/libSystem.IO.Compression.Native.a end up in the runtime pack.

Revert "Use Dictionary for underlying cache of ResourceSet (#44104)" (#44482)

This reverts commit a6835438581730da23fb3d4eea7ea7c4af1b00a3.

Fix R2RDump test in CG2 pipelines (#44460)

Our scripts normally assume that all test projects are at least
two nesting levels deep under $(TestBinDir); the r2rdump test was
violating that and, in doing so, it was triggering a failure in
CG2 compilation.

After I decided to fix this by moving the r2rdump folder under
"readytorun" I found out that there already is a r2rdump folder
there - apparently Amy during her initial R2RDump implementation
authored a basic test suite even though it's disabled right now.

I have resolved this by moving the original test under
"readytorun/r2rdump" to "readytorun/r2rdump/BasicTests" and I moved
Andrew's new test under "readytorun/r2rdump/FrameworkTests".
I'm not super happy about the naming but I don't have any better
ideas at the moment, I'll be happy to improve this based on PR
feedback.

Thanks

Tomas

[mono][jit] Emit profiler enter after jit attach; leave before detach (#44345)

* [jit] Emit profiler enter after jit attach; leave before detach

profiler enter code (such as mono_trace_enter_method) must not be
called before a thread attaches to the runtime - otherwise calls like
`mono_domain_get()` will return NULL unexpectedly and then crash.
When detaching, we should call the profiler leave code before the
detach, and suppress it on return.

Simple repro (that relies on pal_signal.c SignalHandlerLoop - which is
a background thread from System.Native that calls back into managed
when there's a SIGCHLD): compile and run this program with `MONO_ENV_OPTIONS=--trace`

```csharp
using System;
using System.Diagnostics;

namespace Repro
{
    internal class Program
    {
        private static void Main(string[] args)
        {
            using (Process myProcess = new Process())
            {
                    myProcess.StartInfo.UseShellExecute = true;
                    myProcess.StartInfo.FileName = "echo";
                    myProcess.StartInfo.Arguments = "hello from shell";
                    myProcess.StartInfo.CreateNoWindow = true;
                    myProcess.Start();
                    myProcess.WaitForExit();
            }
            Console.ReadKey ();
        }
    }
}
```

Update System.Drawing.Common stable versions to fix harvesting (#44481)

Bump Helix SDK so that iOS simulators don't get rebooted before/after every Helix job (#44455)

Use commit parents instead of branch names to evaulate changed paths. (#44474)

[runtime] Add some support for stack walks for AOT code on wasm. (#44431)

For methods which need to show up during stack walks, push/pop an LMF
frame and have mono_arch_unwind_frame () handle it.

This is needed to be able to support methods which do stack walks like
Type.GetType () or Assembly.Load () in the future.

Co-authored-by: vargaz <vargaz@users.noreply.github.com>

[RyuJIT] Fix get_ManagedThreadId(get_CurrentThread) optimization (convert to NI) (#41213)

* Convert get_ManagedThreadId(get_CurrentThread) optimization to NamedIntrinsics

* drop CORINFO_HELP_INTERNALTHROW and CORINFO_HELP_SEC_UNMGDCODE_EXCPT

[master] Update dependencies from mono/linker (#44408)

* Update dependencies from https://github.com/mono/linker build 20201109.1

Microsoft.NET.ILLink.Tasks
 From Version 6.0.0-alpha.1.20556.1 -> To Version 6.0.0-alpha.1.20559.1

* Update dependencies from https://github.com/mono/linker build 20201109.2

Microsoft.NET.ILLink.Tasks
 From Version 6.0.0-alpha.1.20556.1 -> To Version 6.0.0-alpha.1.20559.2

* Update dependencies from https://github.com/mono/linker build 20201109.3

Microsoft.NET.ILLink.Tasks
 From Version 6.0.0-alpha.1.20556.1 -> To Version 6.0.0-alpha.1.20559.3

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

Initial changes to support Mac Catalyst (#44127)

Co-authored-by: praeclarum <praeclarum@users.noreply.github.com>

Make internal API ThrowIfDeserializationInProgress internal (#44147)

* Make internal API ThrowIfDeserializationInProgress internal

also avoid doing costly argument checks

* Make methods public again

* Update src/libraries/System.Private.CoreLib/src/System/Runtime/Serialization/SerializationInfo.SerializationGuard.cs

Co-authored-by: Levi Broderick <GrabYourPitchforks@users.noreply.github.com>
Co-authored-by: Levi Broderick <GrabYourPitchforks@users.noreply.github.com>

Disable 2 failing coreclr tests until they are fixed. (#44420)

* another failing test

* exclude another failure,

Resolve warnings for assignment or explicit cast of possibly null type parameter value (#43925)

New event to track memory allocation for JIT code (#44030)

* Added MethodJitMemoryAllocatedForCode event

* Renane the event fields

* Include cold code size as well

* Replace methodName with methodId

* Update the condition that fires the event

Removing `g_hmodCoreCLR` and `g_hThisInst`  (#43735)

* g_hmodCoreCLR is Windows-only

* Use 42 in MarkAsThrownByUsWorker()

* replaced GetCLRModule with GetClrModulePathName

* Addded PAL_GetPalHostModule to mscordac_unixexports

* replaced a few cases of g_hThisInst where used to get module path. We can uise `GetClrModulePathName` instead.

* more cases where used to get module path

* unused `GetModuleInst()`

* not using HMODULE in StressLog

* removed mscoree GetModuleInst

* Deleted both  `g_hThisInst` and `g_hmodCoreCLR`

* fix Linux build

* rename `GetModuleBase` ->` GetClrModuleBase`,  it was confusing with other `GetClrModuleBase`

* Fix Linux build

* PR feedback

* Removed hMod variables in Debugger areas

* standalone GC

* cache GetClrModuleBase

* Prevent double-read of `pImageBase`

* fix linker issue

* couple more link order fixes.

* Remove `g_thisModule` in daccess.cpp. Fix typos.

Improve nullable annotation on Volatile.Read (#44410)

Make it clear to the compiler that Volatile.Read doesn't write to the ref argument, such that if the input was non-null before the call, it'll still be non-null after the call.

Fix genEventing.py to generate correct EventEnabled functions (#44384)

[iOS] Fix build for Xcode 12.1 (#44311)

Remove unused project references (#44425)

Remove some unnecessary GetTypeInfo usage (#44414)

Improve crossgen2 comparison jobs (#44119)

- Fix compilation on unix platforms
  - Wrap use of wildcard in quotes
- Print better display name into log
- Fix X86 constant comparison handling
- Add ability to compile specific overload via single method switches

Change async void System.Text.Json test to be async Task (#44418)

Disable a failing test. (#44404)

Fix C++ build for mono/metadata/threads.c (#44413)

`throw` is a reserved keyword in C++.

Move some more UnmanagedCallersOnly tests to IL now that they're invalid C# (#43366)

Add files need for wasm executable relinking/aot to the wasm runtime pack. (#43785)

Co-authored-by: Alexander Köplinger <alex.koeplinger@outlook.com>

Update glossary (#44274)

Co-authored-by: Juan Hoyos <juan.hoyos@microsoft.com>
Co-authored-by: Stephen Toub <stoub@microsoft.com>
Co-authored-by: Günther Foidl <gue@korporal.at>

Fix/remove TODO-NULLABLEs (#44300)

* Fix/remove TODO-NULLABLEs

* remove redundant !

* apply Jozkee's feedback

* address feedback

Delete stale comment about dotnet/roslyn#30797

Update dotnet/roslyn issue link

Clean up the samples (#44293)

change using in ConnectCallback_UseUnixDomainSocket_Success (#44366)

add missing constructor overloads (#44380)

Co-authored-by: Geoffrey Kizer <geoffrek@windows.microsoft.com>

LongProcessNamesAreSupported: make test work on distros where sleep is a symlink/script (#44299)

* LongProcessNamesAreSupported: make test work on distros where sleep is a symlink/script

* PR feedback

Co-authored-by: Stephen Toub <stoub@microsoft.com>
* fix compilation

Co-authored-by: Stephen Toub <stoub@microsoft.com>

Disable RunThreadLocalTest8_Values on Mono (#44357)

* Disable RunThreadLocalTest8_Values on Mono

It's failing on SLES

* fix typo

Update dependencies from https://github.com/mono/linker build 20201106.1 (#44367)

Microsoft.NET.ILLink.Tasks
 From Version 6.0.0-alpha.1.20555.2 -> To Version 6.0.0-alpha.1.20556.1

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

clarify http version test (#44379)

Co-authored-by: Geoffrey Kizer <geoffrek@windows.microsoft.com>

Improve performance of Enum's generic IsDefined / GetName / GetNames (#44355)

Eliminates the boxing in IsDefined/GetName/GetValues, and in GetNames avoids having to go through RuntimeType's GetEnumNames override.

Bootstrapping a test for R2RDump (#42150)

Reflect test path changes in .gitattributes; remove nonexistent files (#44371)

Add slash in Windows SoD tool build (#44359)

* Add slash in Windows SoD tool build

* Update SoD search path to match output dir

* Fixup dotnet version

* Remove merge commit headers

* Disable PRs

Co-authored-by: Drew Scoggins <andrew.g.scoggins@gmail>

Match CoreCLR behaviour on thread start failure (#44124)

Co-authored-by: Aleksey Kliger (λgeek) <akliger@gmail.com>

Fix Send_TimeoutResponseContent_Throws (#44356)

If the client times out too quickly, the server may never have a connection to accept and will hang forever.

[master] Update dependencies from dotnet/arcade dotnet/llvm-project dotnet/icu (#44336)

[master] Update dependencies from dotnet/arcade dotnet/llvm-project dotnet/icu

 - Merge branch 'master' into darc-master-2211df94-2a02-4c3c-abe1-e3534e896267

Fix ELT profiler tests (#44285)

Add threshold on number of files / partition in SPMI collection (#44180)

* Add check for files count

* Fix the OS check

* decrese file limit to 1500:

* misc fix

* Do not upload to azure if mch files are zero size

Tighten argument validation in StreamConformanceTests (#44326)

[master] Update dependencies from mono/linker (#44322)

* Update dependencies from https://github.com/mono/linker build 20201105.1

Microsoft.NET.ILLink.Tasks
 From Version 6.0.0-alpha.1.20527.2 -> To Version 6.0.0-alpha.1.20555.1

* Update dependencies from https://github.com/mono/linker build 20201105.2

Microsoft.NET.ILLink.Tasks
 From Version 6.0.0-alpha.1.20527.2 -> To Version 6.0.0-alpha.1.20555.2

* Disable new optimization for libraries mode (it cannot work in this mode)

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>
Co-authored-by: Marek Safar <marek.safar@gmail.com>

Simple GT_NEG optimization for #13837 (#43921)

* Simple arithmetic optimization with GT_NEG

* Skip GT_NEG optimization when an operand is constant. Revert bitwise rotation pattern

* Fixed Value Numbering assert

* Cleaned up code and comments for simple GT_NEG optimization

* Formatting

Co-authored-by: Julie Lee <jeonlee@microsoft.com>

Simplify catch-rethrow logic in NetworkStream (#44246)

A follow-up on #40772 (comment), simplifies and harmonizes the way we wrap exceptions into IOException. Having one catch block working with System.Exception seems to be enough here, no need for specific handling of SocketException.

Use Dictionary for underlying cache of ResourceSet (#44104)