Implement IAsyncDisposable.ConfigureAwait (#22160)

Fix CoreRT build after moving Task.cs to shared partition

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #22003 from adityamandaleeka/writebarrier_updates_arm64

Write barrier optimizations for ARM64 Windows

Add GC.KeepAlive to keep collectible ALC alive across usage. (#22133)

Disable superpmicollection in r2r jobs until https://github.com/dotnet/coreclr/issues/22027 is fixed (#22085)

Add unloadability testing tool (#22064)

* Add unloadability testing tool

This change adds the unloadability testing tool that can be used to run
coreclr tests or any other .NET core app inside of unloadable
AssemblyLoadContext, unload it after its execution completes and verify
that the unload succeeded. It has also various additional testing
options:
* memory leak testing
* running multiple iterations of the load/run/unload sequence
* optional breaking into debugger at various interesting stages (before
executing the test assembly, after executing it, on unload failure)
* delegated load when the AssemblyLoadContext that loads the test
assembly delegates loading of all the dependencies to another
AssemblyLoadContext

Move common ThreadPool code to shared CoreLib partition. (#22115)

* Move common ThreadPool code to shared CoreLib partition.

* Move numWorkingThreads counting out of shared code.

* Rename ThreadPoolGlobals.vmTpInitialized to threadPoolInitialized.
Remove exception handling from ThreadPoolWorkQueue.Dispatch.
Remove obsolete code from ThreadPoolWorkQueue.Dispatch.
Rename ThreadPool.EnsureVMInitialized to ThreadPool.EnsureInitialized.

Remove all traces of FEATURE_STACK_PROBE. (#22149)

Update parameter names in PInvoke signatures to match MSDN documentation.

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Build fixes.

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Fix possibly unintentional use of bit-wise or operator. (#22152)

Disable OSX.1012.Amd64.Open in Azure DevOps (#22158)

Fix R2R failure in one of ObjectStackAllocation tests.

AllocateSimpleClassAndCheckTypeNoHelper fails because
the object is allocated on the heap in R2R mode. The reason for that is
that we always use a helper for isinst in R2R mode and helper calls
cause us to assume the object escapes.

We don't have to use a helper in this case (even for R2R), #22086 tracks
fixing that.

For now the fix is not to check that the object was allocated on the stack
in this test case.

Fixes #22026.

Fix for JIT\Directed\arglist\vararg test case.

TestEchoShortNoVararg was failing and disabled. The reason it was
failing was a mismatch between DllImport declaration for echo_short and
the native function: the former specified 2-byte arg and return while
the latter specified 1-byte arg and return. I fixed that and also added
a couple of test cases with 1-byte arg and 2-byte return and
vice versa.

Fixes #19704.

Don't redirect stdlib wchar functions to our test platform shims. (#22072)

* Don't redirect stdlib wchar functions to our test platform shims.

* Fix bad find-replaces.

* Remove unused overload and last wchar shadowing.

Merge pull request #22053 from BruceForstall/FixSimd12StoreLclFld

Fix SIMD12 GT_STORE_LCL_FLD

Remove variable name duplication (#22155)

Remove unused thread abortion methods. (#22147)

Move Task to shared partition (#22105)

Use Windows.10.Arm64.Open with Jenkins ONLY (#22144)

Fix SIMD12 GT_STORE_LCL_FLD

It was ignoring the local field offset, by checking for the wrong
operator.

This appeared as a recent regression, but I couldn't find any code
(including test) change that would have caused this.

The failure only happens for JitStress with remorphing stress. This
creates the STORE_LCL_FLD. Otherwise, it looks like we normally
end up with IND(LCL_FLD_ADDR). Maybe we should be morphing these
somewhere?

No x64 PMI asm diffs in corelib or the JIT\SIMD tree. With JitStress=1
there are exactly 6 asm diffs in the Vector3Interop test, which was the
one failing.

The same fix is made for both xarch and arm64 code generators.

Fixes #21935

Remove duplicate requiresSynchronization params attribute (#22143)

Don't use Ubuntu.1604.Arm64.Open in Azure DevOps (#22135)

Decouple JIT_FLAG_PREJIT from HW intrinsics (#22117)

Per dotnet/corert#6836 (comment) moving the decision whether to enable HW intrinsics to the EE side.

Restrict HW intrinsic name check to intrinsic types (#22116)

Avoids having to compare names of all types in CoreLib to see if they're HW intrinsics.

Do not throw from TraceResolver (#22126)

Fixes #22059.

Move MemoryFailPoint to shared CoreLib partition (#22104)

* Move MemoryFailPoint to shared CoreLib partition.

* Split MemoryFailPoint into Unix and Windows versions.

* Replace MemoryFailPoint.GetMemorySettings FCall with GC.GetSegmentSize to make sharing with CoreRT easier.

Fix CoreRT build breaks

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Move TplEtwProvider to shared partition (#22120)

Remove two unnecessary ToArray calls (#22119)

We can just copy directly from the List, rather than first converting the list to an array and then copying that.

Avoid intermediate strings in some StringBuilder formatting (#22111)

* Avoid intermediate strings in some StringBuilder formatting

Several appends to string builders are first creating strings and then appending those strings, and they're not using the existing Append(primitive) overloads because they want to customize the format string or provider as part of appending the value.  This fixes a few of those cases, using another internal AppendSpanFormattable overload on StringBuilder.

* Address PR feedback

Update CoreFx to preview.19070.3 (#22061)

Move Task factory type to shared partition (#22089)

Use List<T>.ToArray() in places (#22101)

* Use ReadOnlySpan.ToArray in places

* Use List.ToArray

* Don't take .Length in to local and use as loop condition

Cleanup array related FCalls (#22097)

* Cleanup Array FCalls

* Disable outdated CoreFX tests

https://github.com/dotnet/corefx/pull/34700

Fix CoreCLR build for changes in shared partition

Fix build for ProjectN/WinRTInterop Delete superfluous AsyncCausalityTracer arguments

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Fix build

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Update Newtonsoft.Json (#22060)

Cleanup: Remove MethodDesc::GetLoaderAllocatorForCode (#22067)

This function was recently changed to just return the
MethodDesc::GetLoaderAllocator. This is a cleanup that removes the
function completely and replaces all of its usages.

Removed unused 'Stack Walking' code (#22039)

As fair as I can tell `ECWGCFCrawlCallBack(..)` is not wired-up anywhere (I've successfully compiled CoreCLR locally with this change under `x86` and `x64`)

Strip symbols on unix in release builds (#22083)

Fixes https://github.com/dotnet/coreclr/issues/22082

Fix calling conventions on reverse PInvoke callbacks. (#22044)

Run Azure DevOps builds against pull requests in coreclr/master (#22051)

And disable Windows_NT and Ubuntu arm32 and arm64 default triggers in Jenkins CI

SuperPMI Collect/Replay/AsmDiff tool (#21252)

This change adds superpmi.py. The tool feature three modes, collection, replay, and asmdiffs.

Collection
The collection logic is very similar to the logic in our superpmi-collect test. Mostly it just allows running a script which will run managed code and it will produce a .mch which is clean to be run against. See superpmi.md for more information on specific usage and problems.

Replay
Replay will take an existing .mch file and run the current jit over the collection. If there is no .mch file on disk, the script will download the latest collection and run against that.

AsmDiffs
superpmi.md has the latest information on what platforms support asmdiffs. So far, I have an updated OSX and Windows collection that I have run against. If there are binary diffs, the tool will automatically generate base & diff folders with the asm under each one. Future work would include automatically running jit-analyze over those locations.

In addition, the tool has the option to automatically run and diff jit dumps, I have found this to be useful to looking into diffs created, as re-running superpmi with different jits to collect this same information is somewhat tedious.

Future work
This change is in no way the end of the work needed to leverage superpmi effectively. Instead, it is a good first step. Below are some suggestions for future superpmi work:

Automated collections
Add pmi collection support
Leverage some of the new corefx work to use superpmi shim for collections of corefx runs
To be added/changed
I will unset zapdisable being set by default, it creates too much data, although it is useful it should be opt in
Will include example usage in superpmi.md.

Move AsyncCausality to shared partition (#22062)

* Move AsyncCausality to shared partition

* Set FeatureAsyncCausalityTracer property

Re-enable signing of System.Private.CoreLib (#22068)

* Re-enable signing for System.Private.CoreLib

Now that https://github.com/dotnet/arcade/issues/1582 is fixed.
Addresses https://github.com/dotnet/coreclr/issues/21946.

* Use uppercase build config

For consistency with other builds. Doesn't impact functionality, but
will result in the build logs showing the bin directory with the
uppercase build config during this step.

* Override arcade version of SignTool package

Add Per-assembly Load Native Library callbacks (#21555)

Add Per-assembly Load Native Library callbacks

This Change implements the Native Library resolution
Call-backs proposed in https://github.com/dotnet/corefx/issues/32015

Update dependencies from dotnet/arcade (#22035)

* Update dependencies from https://github.com/dotnet/arcade build 20190116.1

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19066.1
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19066.1

* Update dependencies from https://github.com/dotnet/arcade build 20190117.6

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19067.6
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19067.6

Enable detection of HW intrinsics (dotnet/corert#6836)

I took the liberty of marking the types containing the hardware intrinsics as [Intrinsic] to avoid doing a name check on everything in the system module. It feels like we should take advantage of this attribute in CoreCLR too.

This doesn't actually enable the support because RyuJIT unconditionally disables HW intrinsics for prejit (both CoreRT and CPAOT are considered prejit). We might want to do something about this on the RyuJIT side to address that (for CPAOT, to be able to pregenerate best code possible ahead of time, assuming a fixed ISA; and for CoreRT without JIT, where the concerns about AVX-SSE penalty don't apply). See conversation in dotnet/coreclr#21603

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Fix defines in TaskAwaiter (dotnet/corert#6846)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Handle complex constrained calls with default interface methods (#21978)

This adds handling for the interface dispatch corner case where:

* We have a constrained callsite to a method on a generic interface in shared code
* The callsite cannot be statically resolved because the result of dispatch depends on the generic context
* At runtime, the dispatch resolves to a default interface method

This would require us to have infrastructure to build "boxing thunks" - thunks that would box their first argument before dispatching to the default interface method implementation.

Since this is a corner case and the fix is actually quite involved, we're making the runtime just throw in this situation.

The test is written so that it should pass both if the runtime chooses to throw, or if the runtime makes the boxing thunk (we're not hardcoding the implementation limitation).

Use correct resolution scope when checking default implementations (#22036)

We need to use the module of the interface.

Fixes #22021.

Add comments on headers that gets parsed by Mono linker for whoever touches this next (#22054)

* Add comments on headers that gets parsed by Mono linker for whoever touches this next

* add more comments to the targets file

Move Environment to shared CoreLib (dotnet/corefx#34654)

Rather than having Environment partially live in corefx and call into an EnvironmentAugments type in CoreLib that in turn calls into an Environment type in CoreLib, we're just moving Environment to live in CoreLib.

To start that, this PR moves Environment and its dependencies from their current locations into the shared CoreLib.  Those changes will mirror over to coreclr.  After that, I'll fix it up to work in CoreLib. And once those changes are built and available back to corefx, I'll update System.Runtime.Extensions to just use the functionality from CoreLib and delete remaining unnecessary code from corefx.

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Unify xplatform.h and platformdefines.h (#21389)

* Move most of xplatform.h into platformdefines.h and clean up the interop CMake files.

* Fix build-break off Windows.

* Fix typo.

* Fix another break off-Windows.

* Fix signed/unsigned mismatch

Unblock Azure DevOps-as-CI (#22042)

* Disable JIT.Methodical/doublearray/dblarray3_cs_do

* Disable readytorun.r2rdump/R2RDumpTest

* Disable RedHat.6.Amd64.Open queue

* Rename Creator coreclr/pulls -> coreclr-pulls

* IsExternal is deprecated as of https://github.com/dotnet/arcade build 20190115.6

* Increase timeout for all test jobs

Merge pull request #22002 from dotnet-maestro-bot/master-UpdateDependencies

Update BuildTools, CoreClr, CoreFx, PgoData to preview1-03617-02, preview-27316-02, preview.19066.1, master-20190116.5, respectively (master)

Remove ToString from RuntimeAssembly.GetManifestResourceStream (#22012)

* Remove ToString from RuntimeAssembly.GetManifestResourceStream

A small allocation we can avoid with the span-based string.Concat.

* Address PR feedback

Update BuildTools, CoreClr, CoreFx, PgoData to preview1-03617-02, preview-27316-02, preview.19066.1, master-20190116.5, respectively

Split ContractsBCL into separate classes and move them to shared CoreLib (#22006)

* Split up ContractsBCL into separate classes.

* Move remaining Contract, ContractHelper code to shared partition.

* Split ContractHelper to allow custom debugging experience in CoreRT.

* Simplify ContractHelper.InternalContractFailed.

* Use resource loading code from CoreRT.

* Remove unused parameter.

Clean up a few minor Span-related uses (#22038)

Some unnecessary Span to ReadOnlySpan casts.
Some places where new Span(...).Slice(...) can be replaced with AsSpan(...).
Etc.

Remove a few stale resource strings for ConcurrentStack (#22037)

Avoid allocations in Utf8Formatter.TryFormat(float/double, ...) (#22011)

* Avoid allocations in Utf8Formatter.TryFormat(float/double, ...)

Currently every call to Utf8Formatter.TryFormat for a float or a double allocates two strings, one for the format string and one for the resulting number.   This avoids those in the common case where we can use float/double.TryFormat and format directly into a stack buffer.  Also removes some unsafe code; the performance of StandardFormat.ToString isn't currently worth the extra nanoseconds gained by using unsafe code.

* Delete assert

There's a test that uses unsafe code to cause this to fail and validate that no exception is thrown.

Merge pull request #22022 from fiigii/reenabletest

Re-enable Avx.PermuteVar tests

Fix AsyncMethodBuilder build on Mono (#22034)

Fix CoreCLR build of AsyncMethodBuilder.

Add new members to AsyncCausalitySupport.
Remove file moved to shared partition.
Fix builds without FeatureCominterop.

Move AsyncMethodBuilder to shared. (dotnet/corert#6832)

* Move AsyncMethodBuilder to shared.

* Bring back PROJECTN.

* #if-out TrackAsyncMethodCompletion for CoreRT.

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Re-enable Avx.PermuteVar tests

Update dependencies from https://github.com/dotnet/arcade build 20190115.6 (#22007)

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19065.6
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19065.6

Merge pull request #21997 from BruceForstall/FixFpRelativeInstructions

Fix two cases of FP-relative immediate offsets possibly not encodable

Reduce steps for string.Contains(string value) (#22008)

Update linux/OSX build instructions (#21679)

* Update linux/OSX build instructions

* Update based on feedback

* Address PR feedback

* Update to address feedback

 Fix imm-operand encoding for SSE/AVX instructions (#21999)

* Move more SSE2 tests to the template

* Improve Insert test template to involve more codegen situations

* Fix imm-operand encoding for SSE/AVX instructions

Fix generate_layout_only (#21996)

* Fix generate_layout_only

* Correctly add all opons

* Clean run for cross built device

Enable BenchmarksGame when BuildTestsAgainstPackages (see #21554) in tests/issues.targets

Make JIT\superpmi\superpmicollect compatible with Helix

Related issue: https://github.com/dotnet/coreclr/issues/21698

Use separate shift and indexing.

Load ephemeral bounds simultaneously with ldp.

Switch back to two compares.

Bringing Unix write barrier changes to Windows.

String -> string

Delete files moved to shared partition

Move more COM exceptions to shared partition (dotnet/corert#6829)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

WIP: Re-enable ObjectStackAllocationTests for arm32

Use MSBuild to generate __TestEnv files (#21966)

Fix two cases of FP-relative immediate offsets not being checked for encodability

For ARM32/ARM64, the immediate offsets in addressing modes have
limited range that varies by instruction. A couple cases were not
checking for that range, leading to generating potentially
un-encodable instruction.

In particular, the test case shows a case where a very large frame in a function
with a stored generic context would fail on ARM64.

There are no code diffs from this change for ARM64, except we sometimes get
better assembly comments where the local variable referenced is annotated on
the store instruction. For ARM32, the "secret stub param" is now stored using
SP-relative addressing, not FP-relative, if possible (which we generally prefer
in main function bodies).

On SIGTERM default to a non-zero exit code (#21300)

* On SIGTERM default to a non-zero exit code

* Fix Windows builds

* Improve SIG_DFL/SIG_IGN handling

* Remove PAL_GetTerminationExitCode

* Use sa_handler/sa_sigaction based on SA_SIGINFO; remove HAVE_SIGINFO_T.

* configure.cmake: remove siginfo_t check

* Move restore_signal_and_resend so OSX can use it; add function documentation

* Fix OSX build: include pal/process.h for gPID

* Check SIG_IGN and SIG_DFL against sa_handler

* Don't use sa_handler when SA_SIGINFO is set

* Fix equality check

* Swap order of checking SA_SIGINFO and SIG_IGN/SIG_DFL

Merge pull request #21963 from BrianBohe/master

Remove unreachable code

Add freebsd official build (#21988)

* Enable freebsd build

Two different environment variables are used to tell either buildtools or arcade to use an existing SDK instead of trying to restore one. The package build project is pure msbuild (it doesn't do platform detection in any wrapper .sh files), and we don't have FreeBSD detected in msbuild, so pass the __BuildOS in from the caller.

allocate the right number of slots for the handle table when number of processors > 64 (#21992)

Update CoreClr, CoreFx, PgoData to preview-27312-01, preview.19063.1, master-20190111.1, respectively (master) (#21954)

* Update CoreClr, CoreFx, PgoData to preview-27312-01, preview.19063.1, master-20190111.1, respectively

* Disable invalid test

fix the help message for runtest.sh so the gcstress instructions aren't split across multiple lines (#21989)

Large version bubble Support (#21727)

* Preliminary Changes

* Module Index Resolution

* Change infoModule encoding

* Change referencing module in R2R

* Pre-condition Check

* Virtual Method Module Resolution

* Remove Workarounds and add conditional import loading

* Add signature kind module override

* Add ELEMENT_TYPE_MODULE_ZAPSIG

* Add switch to enable large version bubble

* Cleanup

* Change Native header check

* Add large version bubble test

* Add Large Version Bubble Checks

* Cleanup

* Revert unnecessary check

* Change EncodeMethod Version Bubble Condition

* Add Large Version Bubble asserts

* Cleanup

* Add default argument to runtests.py

* Change test PreCommands

* Revert whitespace changes

* Change breaking conditional check

* Streamline Version Bubble test

* Address PR Feedback

* Address PR Feedback #2

* Remove dead code

* Add crossgen-time ifdef

Finding Standalone GC and CoreDisTools in non-standard host testing (#21983)

* Use GetInternalSystemDirectory() as the directory for standalone GC

* Use GetInternalSystemDirectory() as the directory for coredistools

Improvements for object stack allocation.

This change enables object stack allocation for more cases.

1. Objects with gc fields can now be stack-allocated.
2. Object stack allocation is enabled for x86.

ObjectAllocator updates the types of trees containing references
to possibly-stack-allocated objects to TYP_BYREF or TYP_I_IMPL as appropriate.
That allows us to remove the hacks in gcencode.cpp and refine reporting of pointers:
the pointer is not reported when we can prove that it always points to a stack-allocated object or is null (typed as TYP_I_IMPL);
the pointer is reported as an interior pointer when it may point to either a stack-allocated object or a heap-allocated object (typed as TYP_BYREF);
the pointer is reported as a normal pointer when it points to a heap-allocated object (typed as TYP_REF).

ObjectAllocator also adds flags to indirections:
GTF_IND_TGTANYWHERE when the indirection may be the heap or the stack
(that results in checked write barriers used for writes)
or the new GTF_IND_TGT_NOT_HEAP when the indirection is null or stack memory
(that results in no barrier used for writes).

Add test calling a NativeCallable via an unmanaged calli. (#21984)

Removing noisy R2R compilation outputs, and putting them under the /verbose switch (#21987)

Custom Marshalers in custom-ALC-loaded assemblies results in types loaded from crossing ALCs (#21606)

* Create repro for dotnet/coreclr#19654

* Update ICustomMarshaler.csproj

* Update ICustomMarshaler.csproj

* Clean up repro per feedback.

* Add test case for different assemblies with the same CustomMarshaler name.

* Move EEMarshalingData cache from AppDomain to LoaderAllocator. This fixes the custom-marshaler conflict when using unloadable assembly contexts.

* Internalize the LoaderHeap* parameter.

* Add the pointer to the requesting assembly to the hashtable key.

* Fix linux-musl build break.

* Move Crst out of FEATURE_COMINTEROP block.

* Make sure to copy over the assembly pointer to the key that's actually stored in the hash table.

* Add comment for m_invokingAssembly.

* Move all usages of EEMarshallingData to hang off the correct loader allocator instead of always the global one.

* Change to m_InteropDataCrst since this EEMarshallingData can be used in preemptive GC mode.

* Always init m_InteropDataCrst (since it's used by EEMarshallingData as well as COM).

* PR Feedback.

* Remove extraneous inlines.