Port CustomMarshalers.dll to C# and .NET Core (#21343)

* Import CustomMarshalers from corefx PR.

* Add tests for marshalling IEnumerator and IEnumerable using the System.Runtime.InteropServices.CustomMarshalers.

* Verify that the marshaller is used in the managed -> native direction in the tests.

* Remove #if's

* PR Feedback.

* Move ComHelpers.h into interop common headers.

* Add some template machinery to ensure that we don't accidentally pass in an incorrect type into DoQueryInterface.

* Add VariantClear

* Make marshalers internal and root them in ILLinkTrim.xml

* Revert enable-if machinery.

* Add tests for the pass-through unwrapping done by the EnumeratorToEnumVariantMarshaler.

* Remove some of my helper code.

* Added todo about exposing EnumerableToDispatchMarshaler.

* PR Feedback.

* Removed the last placement new.

* Use the runtime hooks to enable us to not have to publically expose the custom marshalers.

* Remove out of date comments.

Guarded devirtualization foundations (#21270)

Lay the groundwork for guarded devirtualization of virtual and interface
calls in the jit.

Introduce the notion of a guarded devirtualization candidate and identify
these if regular devirtualization fails. Use simple heuristics to produce
a class to guess for. Require that the method that would be invoked if the class
guess is correct be a plausible inline candidate.

Generalize the calli transformer to become an indirect call transformer.
This runs after importation because it needs to introduce control flow and
runs before inlining so that the new direct calls it introduces can be inlined.

Implement the transformation to duplicate the call site, devirtualize on the side
where the class is now known exactly, and turn the resulting direct call into an
inline candidate.

Add a motivation and design document.

Use array syntax in eng/test-job.yml (#21393)

Update eng/test-job.yml to use array syntax after changing from phase schema to job schema

Delete FEATURE_TREAT_NI_AS_MSIL_DURING_DIAGNOSTICS (#21387)

Always defined in .NET Core

Disable native image usage for collectible assemblies (#21378)

* Disable native image usage for collectible assemblies

There are couple of issues with using native images as collectible
assemblies. The most important one is that statics handling is different
for collectible and non-collectible classes. Collectible classes have
statics stored in per class allocated blocks while the non-collectible ones
are all stored per module. So the code that accesses them needs to use
different offsets relative to a statics base address in each of these cases.
The crossgen generates just a single form of code that corresponds to the
non-collectible case and so such code cannot be used when a module is
loaded as collectible.
To mitigate that, we disable using the native code from crossgen-ed
assemblies and JIT all the code instead.
We may want to revisit this in the future and e.g. unify the statics
handling for collectible and non-collectible classes.

Refactor genAllocLclFrame into two architecture-specific functions (#21074)

Move the perf jobs to Windows.10.Amd64.ClientRS4.DevEx.15.8.Open (#21258)

Merge pull request #21322 from mikedn/div-small-int

Fix lclvar "cloning" in const division lowering

Change from phases to jobs (#21384)

* Initial change to use jobs/jobs.yml

* Fix If syntax

* Hopefully fix more syntax

* Change from jobs to job

* change from queue to pool

* change scope of container name

* Change build to sync and init tools inside build.sh

* Add workspace

Suppress a CMake Warning (#21147)

* Suppress a CMake Warning

This change adds a local cmake_policy rule to suppress
warnings about libraries with unicode names.

```
CMake Warning (dev) at tests/src/Interop/PInvoke/DllImportPath/CMakeLists.txt:14 (add_library):
  Policy CMP0037 is not set: Target names should not be reserved and should
  match a validity pattern.  Run "cmake --help-policy CMP0037" for policy
  details.  Use the cmake_policy command to set the policy and suppress this
  warning.

  The target name "DllImportPath_U�n�i�c�o�d�e" is reserved or
  not valid for certain CMake features, such as generator expressions, and
  may result in undefined behavior.
This warning is for project developers.  Use -Wno-dev to suppress it.
```

* Update tests/src/Interop/PInvoke/DllImportPath/CMakeLists.txt

Co-Authored-By: swaroop-sridhar <Swaroop.Sridhar@microsoft.com>

Add tests for marshalling RuntimeHandle types. (#21091)

* Add tests for marshalling runtime handles.

* Remove DLL signature for impossible test

Remove FromGAC & OnTPAList (#21371)

* Remove FromGAC & OnTPAList
* PR feedback

Revert Array enumerator behavior change (#21368)

Fixes #21046

Update dependency files (#21352)

* Update dependencies from https://github.com/dotnet/arcade build 551

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.18603.7
- Microsoft.DotNet.Helix.Sdk - 1.0.0-beta.18603.7

* Update dependencies from https://github.com/dotnet/arcade build 598

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.18604.15
- Microsoft.DotNet.Helix.Sdk - 1.0.0-beta.18604.15

Convert SDK projects into non-SDK projects (#21369)

Add repro for `(reg2 == REG_NEXT(reg1)) || (reg2 == REG_LR)` assert in `codegenarm64`. (#21344)

* Add a repro.

* Exclude the failing test.

* fix formatting

Fix XML comments on *nux (#21372)

Additional tests for type equivalence (#21340)

* Additional tests for type equivalence

Merge pull request #21313 from stephentoub/asynciteratorattr

Add AsyncIteratorStateMachineAttribute

Improve BMI2 MultiplyNoFlags APIs (#21362)

Update the symbol uploader/publisher to version 1.0.0-beta-63604-05. (#21360)

Merge pull request #21356 from stephentoub/xmlcomments

Fix lots of malformed XML comments

Update CoreClr, CoreFx, CoreSetup to preview-27204-02, preview.18604.2, preview-27204-02, respectively (#21353)

Delete dead code in Task<T>

Enable building/validating XML comments in CoreLib

Fix lots of malformed XML comments

These are causing errors in the source.dot.net build.  Turning on DocumentationFile and suppressing 1591, 1573, and 0419, Corelib builds clean after these changes.

Update CoreClr, CoreFx, CoreSetup to preview-27204-01, preview.18604.1, preview-27203-03, respectively (#21346)

Fixing the Vector64/128/256<T>.ToString(string) methods to pass `null` for the formatProvider (#21350)

Remove *LoadContextHostBinder (#21342)

Sort System.Private.CoreLib.csproj

Add RuntimeFeature.IsDynamicCodeSupported/IsDynamicCodeCompiled

Contributes to dotnet/corefx#29258

Finish (mostly) erradicating StringBuilder marshaling from corefx (#33780)

* Finish (mostly) erradicating StringBuilder marshaling from corefx

This should finish my quest of removing StringBuilder marshaling from coreclr and corefx, which I've strived to do because it often adds unnecessary overhead and often is done incorrectly because of intricacies in how the marshaling works; while not using it often leads to `unsafe` code at call sites, there's much less magic, and it affords the ability to optimize more if desired.

There are still three remaining [Out] StringBuilder's in Interop.Odbc.cs, which I've not removed because tests are limited and the call graph to these is non-trivial with StringBuilders passed through.  There may also be a few straggling DllImports I missed while scouring interop that's not following our guidelines of being in src\Common\.

Other than those, the remaining StringBuilder usage I found in DllImports was for [In] only, and in those cases it's reasonable, as the call sites are building up StringBuilders and then passing them off to the call sites; converting those to use `char*` or similar could actually make them more expensive.  I did, however, ensure they were properly annotated as [In], in order to make the intent clear and avoid potential marshaling costs for the unnecessary [Out] direction.

Where I was touching a function in one of these stray interop files that was duplicated elsewhere, I also consolidated it to a centralized location, but I've not in this PR done the cleanup work for the rest of the files.

* Address PR feedback

* Address further feedback

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Refactor all FCalls out of AppDomain.cs (#21337)

This saves the unmanaged->managed->unmanaged trip to initialize the assembly binder.

Includes small bits of unrelated cleanup.

Vectorize some Guid APIs (ctor, TryWriteBytes) (#21336)

* Optimize some Guid APIs

* get rid of WriteByteHelper

* use TryWrite instead of Write

* Optimize ctor `Guid(ReadOnlySpan<byte> b)` and remove `Equals` optimization (move to separate PR).

Remove Hostx86/arm CrossGen from building and Simplify build.sh command line arguments for Linux/arm cross build (Part 2) (#21034)

* Stop building and publishing Hostx86/arm crossgen on Linux/arm

* Remove -crosscomponent argument and stop using CAC_ROOTFS_DIR environment variable in build.sh

* Simplify the related logic in build.sh

* Don't need to specify crosscomponent in tests/scripts/run-pmi-diffs.py

* Don't set CAC_ROOTFS_DIR in buildpipeline, Jenkins files and in tests/scripts/run-pmi-diffs.py

* Adjust documentation

Merge pull request #21264 from fiigii/x64only

 Implement 64-bit-only hardware intrinsic

Correct platorm reach for the Official build (#21310)

* Correct platorm reach for the Official build

Does the following:

1. Sets up a ci rule for master and a pr rule for master
2. Corrects the OSX queues
3. Corrects ubuntu internal queue
4. Converts all linux jobs to build using containers
5. Only runs official builds on: Pri1, release, bringing us to parity with old process
6. Fixes centos build-test
7. Adds a super-annoying groupname tag that avoids name mangling.

* make sure we only add triggers for internal builds

* Fix syntax

* Missing :

* Remove pr/ci

* Fix internal queue name

* Correct Public/internal choices.

* Add crossgen as well

* Correct indentation

* Correct checked pri1 tests

* Address pr feedback

* Add todo comments

Clarify use of LoadFromAssemblyName method (#21256)

Improvements for naked R2RDump output (#21317)

The initial impulse for this change was removing native offsets
from debug info that caused noise in naked R2R comparisons. Fixing
this required propagation of DumpOptions to some more call sites
prompting me to unify dumping logic to always use TextWriter
as the output medium. I have also fixed some minor bugs I noticed
around the naked disassembly.

Thanks

Tomas

Update BuildTools, CoreClr, CoreFx, CoreSetup to preview1-03430-01, preview-27203-03, preview.18603.1, preview-27203-01, respectively (#21291)

JIT: fix overly aggressive type propagation from returns (#21316)

For quite a while now the jit has been propagating return types from
callees to the return spill temp. However this is only safe when the
callee has a single return site (or all return sites return the same
type).

Because return spill temps often end up getting assigned to still more
temps we haven't seen this overly aggressive type propgagation lead to
bugs, but now that we're tracking single def temps and doing more type
propagation during the late devirtualization callback, the fact that
these types are wrong has been exposed and can lead to incorrect
devirtualization.

The fix is to only consider the return spill temp as single def if the
callee has a single return site, and to check that the return spill temp
is single def before trying to propagate the type.

Fixes #21295.

Make sure the debug registers are available in the SavedRedirectContext (#21293)

Remove IsNeutralDomain() (#21318)

* Remove IsNeutralDomain()

* PR feedback

Fixes abbreviated genitive (#21230)

* fixes abbreviation

* reverse .gitignore

* remove token lenght

Don't typedef intptr_t/uintptr_t when PAL_STDCPP_COMPAT is defined (#21165)

Bug: 20766

Make RyuJIT tolerate null CLASSID_RUNTIME_TYPE (#21331)

If we're compiling a class library that has no concept of reflection (and runtime types), EE cannot provide a class handle for this class. Make RyuJIT tolerant to null coming back.

Store CurrentThread in ThreadStatic (#21328)

Revert [publish symbols on FreeBSD (#21179)] (#21329)

This reverts commit 6120021023647ff881d791a033dba38a94fd1c2c.

Rename CorElementType enum members to match the others definitions (#21324)

added info about the new .NET memory book (#21326)

Update dependencies from https://github.com/dotnet/arcade build 526 (#21321)

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.18580.13
- Microsoft.DotNet.Helix.Sdk - 1.0.0-beta.18580.13

Fix lclvar "cloning" in const division lowering

The existing code was creating new uses of existing variables using the type of the division operation instead of the type of the existing variable use. There is one rare case when this does not work properly:
* if the variable is "normalize on load" (that implies that it is also a small int type variable)
* and if the variable is previously assigned to such that a subrange assertion is generated
* and if morph decides not to insert the load normalization cast due to the subrange assertion
* and if the variable is not enregistered
Then the assignment stores 2 bytes to the stack location but the uses generated by the division lowering code read 4 bytes because they have TYP_INT.

Enable COM interop for collectible classes (#20919)

* Enable COM interop for collectible classes

* Modify DispatchInfo to use LoaderAllocator handles

The DispatchMemberInfo was using global handles to refer to the managed
MemberInfo instances. That doesn't work with unloadability.
This change modifies it to use handles allocated from LoaderAllocator.

* Disable COM interop for WinRT types

* Remove collectible check from IsTypeVisibleFromCom. That fixes three
  new COM interop tests
* Add collectible check to GetComClassFactory when we check for
  unsupported interop with WinRT

* Add COM unloadability tests

Add two tests to test COM unloadability:
* One for using native COM server from managed COM client
* One for using managed COM objects from native client

* Add unloading test for IUnknownTest

* Disable NETClientPrimitivesInALC on Win ARM

The NETClientPrimitives is disabled there too.

Address PR feedback

Change target 'Target' and position in build steps for response file generation (#21315)

Migrate 64-bit-only intrinsic tests to new APIs

Migrate FormattingHelpers.CountDigits to using Lzcnt.X64

Implement 64-bit-only intrinsic

Fix crossgen segfault

Address PR feedback

Remove dead code

Merge pull request #21311 from CarolEidt/FixLvaUpdateClassDump

Fix dump in LvaUpdateClass

Reenable TypeEquivalence tests (#21309)

Remove legacy 64-bit intrinsic APIs

Add AsyncIteratorStateMachineAttribute

Exactly follows the design of AsyncStateMachineAttribute and IteratorStateMachineAttribute; the only thing different is the type name, "AsyncIterator" instead of "Async" and "Iterator".

Eliminate the requirement that abort requires no lock held on the current thread (#21206)

Fix dump in LvaUpdateClass

It was failing, presumably because of too many or too large args, so break it up a abit.

Update how CoreDisTools is discovered (#21261)

* Update Disassembler logic to search for CoreDisTools next to binary _or_ under the path specified by CORE_ROOT

* Update GCCover critical section

A few more Enum perf improvements (#21284)

* A few more Enum perf improvements

I started out to just remove the unnecessary boxing allocation that happens when you do enum.ToString("D") or, if the value doesn't map to a named enum entry, just enum.ToString() (there's an internal boxing of the value that happens in addition to any boxing that happens of the enum itself).  As part of that, I added a ValueToString method that replaces the GetValue().ToString() calls that appear several times, and in writing that ValueToString, I opted to avoid pinning, instead using Unsafe.As.  Once I did that, I then removed pinning everywhere else it was being done, standardizing on Unsafe.As.

* Address PR feedback

Update dependency files (#21211)

* Update dependencies from https://github.com/dotnet/arcade build 459

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.18576.5
- Microsoft.DotNet.Helix.Sdk - 1.0.0-beta.18576.5

* Update dependencies from https://github.com/dotnet/arcade build 491

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.18578.9
- Microsoft.DotNet.Helix.Sdk - 1.0.0-beta.18578.9

* Update dependencies from https://github.com/dotnet/arcade build 508

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.18579.9
- Microsoft.DotNet.Helix.Sdk - 1.0.0-beta.18579.9

Fix perf issues with GetCurrentThreadHomeHeapNumber (#21150)

Disable TypeEquivalence tests due to flaky x86 build (#21294)

* Remove includes of SDK imports from prop and targets files

* Disable TypeEquivalence test due to failure on x86

Undo accidental change

Add EnumerateRunes() ref APIs and unit tests (dotnet/corefx#33504)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Delete CORECLR ifdef (dotnet/corert#6610)

This ifdef should not be needed anymore.

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Typos (dotnet/corert#6605)

* accross -> across

* adress -> address

* Appartment -> Apartment

* persective -> perspective

* paramaterized -> parameterized

* Langage -> Language

* miminum -> minimum

* Curret -> Current

* currnet -> current

* definately -> definitely

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Properly report intrinsic fields (dotnet/corert#6602)

* Properly report intrinsic fields

We were hitting an assert in RyuJIT because we were reporting IntPtr.Zero as an intrinsic even if we were not trying to `CORINFO_ACCESS_GET`.

I fixed that part and also went ahead to port the rest of getFieldIntrinsic from CoreCLR. We'll need this anyway.

* Add intrinsic fields

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #21287 from hoyosjs/fix-tls-daccast

Properly DACize TLB access for thread local statics

Added TryParse to StandardFormat (#21216)

Defer Initialization of FrameworkEventSource During EventPipeController Initialization (#21255)

Update CoreClr, CoreFx, CoreSetup, PgoData to preview-27129-03, preview.18579.2, preview-27129-02, master-20181124-0042, respectively (#21178)

Properly DACize TLB access for thread local statics

Add SuperPMI code for the new getMethodNameFromMetadata

Update JIT/EE getMethodNameFromMetadata to get enclosing class name

Consolidate validation code in Enum.ToObject overloads (#21280)

Unnecessary duplication.  Moving it into a shared method has no measurable impact on ToObject performance, which is dominated by the boxing costs.

Improve performance of Enum.{Try}Parse (#21214)

* Improve performance of Enum.{Try}Parse

In particular for the generic overloads, where this avoids all per-operation allocations when commonly used underlying types are used (for example, this improves when the underlying enum type is int but not double).

* Address PR feedback

Enable type equivalence (#21265)

* Enable TypeEquivalence feature for Windows platform

* Basic test - verified test exercises TypeEquivalence code paths

Implement the Count property, the IEquatable and IFormattable interfaces, and the standard object overrides on Vector64/128/256<T> (#21259)

* Exposing the Count property on Vector64/128/256<T>

* Implementing IEquatable, IFormattable, and the object overrides on Vector64/128/256<T>

* Use StringBuilderCache, HashCode, and the provided format specifier

* Use StringBuilderCache.GetStringAndRelease and get the correct element when formatting Vector64/128/256<T>

Add more advanced SafeArray tests (#21063)

* Port simple SafeArray tests over from .NET Framework's test suite.

* Clean up native calling conventions.

* Add basic field array -> field SAFEARRAY* tests.

* Fix some hiding stdcall calling convention decorators.

* PR Feedback.

* Rewrite native part of SafeArray tests

* Wrote the managed side of the tests. Non-passing ones are currently commented out.

* Fix up tests and enable marshalling a string[] as a SAFEARRAY of LPSTR or LPWSTR.

* Add blittable records test with a return parameter.

* Add returning non-blittable record safearray test.

* Fix which typedef we're using

* Clean up

* Fix/cleanup RecordNative

* Replace "" with <> for platformdefines.h include.

* Use macro for calling convention.

* PR Feedback.

* Remove residual "Helpers.h" include.

* Fix remaining incorrect calling conventions.

* One more calling convention fix.

Fix build parallelism on Windows with NUMA (#21278)

When multiple NUMA nodes are enabled on the machine where coreclr is
built, we incorrectly detect the number of cores that we use for build
parallelism of the native part of the build (NumberOfCores) as only
a number in the last NUMA node.
The reason is that the `wmic cpu get NumberOfCores /value` returns
multiple lines, one per each NUMA node.
This change fixes it by summing values from all the lines.

Don't treat the Vector64/128/256<T> helper methods as intrinsic if featureSIMD is disabled (#21274)

Merge pull request #21267 from BruceForstall/FixExclusion

Fix ObjectStackAllocationTests on Linux under minopts

publish symbols on FreeBSD (#21179)

* enable build-id on FreeBSD

* start publishing symbols for freebsd

* enable FEATURE_PERFMAP on FreeBSD

Updating genSIMDZero to only use `xorps` (#21249)

Track single def locals in importer (#21251)

* Defer setting lvSingleDef until lvaMarkLocalVars

Since this information isn't used early on in the jit, defer setting this bit
until later.

* Track single-def locals in the importer

and use this information to enable type updates during late devirtualization.
This gets some cases where the exact type materializes late (perhaps via a
chain of copies).

Fix #21209 (#21237)

This commit has two changes to Native Load Library Tests fix the failures in:
https://github.com/dotnet/coreclr/issues/21209

1) Windows: The test tried to load a DLL from Win32 directory which doesn't exist
   in Windows server 2016. So changed to use a file that exists.
2) Linux: Disable the test when run against packages -- because in this configuration
   the tests are built on Windows, and the native DLL is built separately and copied
   over to the CORE_ROOT directory instead of the test directory.
   [Several other tests are disabled with the comment "Issue building native DLL" on Linux]

Add IsCollectible property to Memberinfo and MethodInfo (#21155)

Improve Enum.ToString perf for [Flags] enums (#21254)

Two main changes:
- Rather than using a StringBuilder to insert the strings for all of the consistuent values, we track the constituent values in a span, summing the expected length, and then new up a string and copy the results directly into it.
- When there's a single value that matches the supplied value, we just return the cached string rather than allocating a new one.

Remove obsolete assert (#21260)

Delete code related to LoaderOptimization and SharedDomain (#21031)