Specify HelixTargetQueues in yaml (#21443)

* Parametrize test-job with helixQueues(Public|Internal) in eng/test-job.yml and specify them in eng/platform-matrix.yml

* Remove HelixTargetQueues property in tests/helixpublishwitharcade.proj

* Fix the error "unknown os: linux2" with Python script

Fix warnings as errors

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Refactor internal System.AppDomain out of CoreLib (#21460)

Fixes #21028

Instead of using Win8+ api-sets use forwarder DLL to support downlevel versions of Windows. (#21469)

Update CoreClr to preview-27210-02 (#21467)

Add support for RVA fields to crossgen/R2R (#21463)

* Add support for RVA fields to crossgen/R2R

RVA fields are became more common with pre-inititialized ReadOnlySpan<byte>. Fix crossgen to deal with them for R2R.

* Fix tests, map new JIT helper for R2R

Update dependency files (#21448)

* Update dependencies from https://github.com/dotnet/arcade build 677

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.18607.6
- Microsoft.DotNet.Helix.Sdk - 1.0.0-beta.18607.6

* Update dependencies from https://github.com/dotnet/arcade build 679

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.18608.1
- Microsoft.DotNet.Helix.Sdk - 1.0.0-beta.18608.1

* Update dependencies from https://github.com/dotnet/arcade build 679

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.18608.1
- Microsoft.DotNet.Helix.Sdk - 1.0.0-beta.18608.1

Update CoreClr, PgoData to preview-27210-01, master-20181210-0037, respectively (#21452)

Fix for #21456 (Regressions in attribute allocations for non-generic attributes) (#21462)

* Fix for #21456 - restrict increased generic attribute allocations to only generic attributes

This is a trivial quick-fix for #21456 where regressions between 2.1 and 3.0 were discovered on most attibute pathways due to the allocation overhead in the generic-supporting pathways. The workaround is to simply not take that slow/expensive path for non-generics.

While I'd like to optimize `RuntimeModule.ResolveMethod` further, there's a public surface area in play there that makes the changes non-trivial. There, we'll have to choose overhead on the public path (which may still be a net win), or duplication in code for another path.

* Update comments

Delete vm/context.* (#21459)

* Delete vm/context.*

Leftover from remoting

Added Close On Exec Attribute for Mutex files (#21455) (#21458)

* Added Close On Exec Attribute for mutex files (#21455)

Fixed bug where "DCI_NUMA" was missing from debug channel names (#21454) (#21457)

In additional to adding "DCI_NUMA" to dbg_channel_names, a static assertion was added to verify that  dbg_channel_names length is valid. Also added some comments to help developpers not to forget to add corresponding entries in dbg_channel_names.

FIxes #21454

Update CoreClr, CoreFx, CoreSetup, PgoData to preview-27208-01, preview.18606.1, preview-27206-02, master-20181208-0038, respectively (#21374)

Fix regression in fat calls (#21446)

This seems to fix an AV in RyuJIT.

Leap Seconds Support (#21420)

* Leap Seconds Support

* Address Feedback

* More feedback addressing

Invalid setting csharp_new_line_within_query_expression_clauses in .editorconfig (#21449)

Same as in https://github.com/dotnet/corefx/issues/25991.

Roslyn doesn't support csharp_new_line_within_query_expression_clauses.
But Roslyn does support csharp_new_line_between_query_expression_clauses and it's missing from .editorconfig.

I also removed the comment "# Trim trailing whitespace" because that option is not set.

Remove `TryGetGuid()` and `GetDefaultInterfaceForCoclass()` from the (#21447)

* Remove `TryGetGuid()` and `GetDefaultInterfaceForCoclass()` from the
stdinterfaces API surface.

Add PNSE CustomMarshaler tests (for Tlbimp compat) (#21438)

Use string.Create in ConvertFromUtf32 (#21409)

* Use string.Create in ConvertFromUtf32

Removes the unsafe code from the method.  Also happens to make it a bit faster.

* Improve Rune.ToString performance

Remove some unnecessary spinning (#21437)

Most of the use of SpinWait in CoreLib involves waiting for some short-lived operation to complete on another thread, in which case the spinning thread should backoff as it's unable to make forward progress until the other operation completes.  In a few cases, however, SpinWait is being used just around CompareExchange operations, such that at least one thread running this code path is guaranteed to make forward progress, and the backoff in the spinning doesn't actually help (in theory it could help to reduce contention if lots of threads were all trying to CompareExchange concurrently, but in such cases you'd actually want more randomized backoff, as otherwise it's likely all the threads would re-attempt at around the same time and similarly re-encounter contention).

Moving various Vector128/256 helper method to be implemented using other intrinsics (#21432)

* Updating Vector128.CreateScalar and Vector256.CreateScalar to be implemented using other intrinsics

* Updating Vector128.Equals and Vector256.Equals to be implemented using other intrinsics

* Updating Vector256.WithLower, Vector256.GetUpper, and Vector256.WithUpper to be implemented using other intrinsics

* Updating Vector128.Create(T) and Vector256.Create(T) to be implemented using other intrinsics

* Fixing the `NI_Base_Vector256_As` intrinsics to only fold the cast if AVX is supported and add a clarifying comment to the Vector128/256.Equals code

* Changing the various `*Software()` local functions in Vector128/256 to be `SoftwareFallback()`

Add support for loading registered TLBs (#21430)

* Add support for loading registered TLBs

Build Microsoft.NET.Sdk.IL in source-build

Adding a note to the genBaseIntrinsic function header about operand assumptions (#21439)

Fix some SOS commands after SharedDomain removal (#21401)

The recent removal of SharedDomain has broken some SOS commands, like
Name2EE or bpmd. There was a code that was enumerating domains and
obtaining some information on them. And the shared domain pointer from
DacpAppDomainStoreData was being included in the list of domains. As it
is NULL now, we have failed to get the information and the domain
iteration loop was exited prematurely.
I have made SOS resilient to the possibility of missing shared domain.
On older runtimes, the shared domain is still being reported.

Add CancellationToken parameter to GetAsyncEnumerator (#21397)

Factor new AsyncIteratorStateMachineAttribute into TryResolveStateMachineMethod (#21396)

Merge pull request #21361 from fiigii/x64tests

Improve hardware intrinsic tests

Add PNSE implementations of unsupported built-in custom marshalers to enable good error messages on PIAs that could possibly directly use them. (#21429)

Disable ObjectStackAllocationTests for ARM32 (#21421)

Issue #21376

Fix Microsoft.IO.Redist compilation string.Create compilation failure

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Update dependency files (#21403)

* Update dependencies from https://github.com/dotnet/arcade build 626

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.18605.14
- Microsoft.DotNet.Helix.Sdk - 1.0.0-beta.18605.14

* Update dependencies from https://github.com/dotnet/arcade build 650

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.18606.9
- Microsoft.DotNet.Helix.Sdk - 1.0.0-beta.18606.9

Merge pull request #21431 from fiigii/fixbmi

Fix a bug that disabled Bmi1/2.X64

Work around an MCG bug (dotnet/corert#6658)

This is blocking TFS integrations.

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Fix SOS thread statics display (#21426)

I've noticed that when dumping an object with thread locals using SOS
dumpobj command, I never get the thread locals. I've stepped through the
code in SOS that displays thread statics and found that for some strange
reason, it dismisses threads where DomainLocalModule doesn't have
"initialized" flag set for the given class. However, when runtime
accesses thread statics, it just checks "allocated" flag set for the
given class in the ThreadLocalModule. Removing the extra check for
DomainLocalModule fixed the problem and now thread statics are displayed
properly.

Disable obsolete collectible corefx tests (#21428)

Now that the COM interop support for collectible classes is in, we need
to disable couple of corefx tests that were checking that it fails.

JIT: block general cloning of candidate calls (#21418)

Follow-up from #21270 and #21414.

Block general cloning from inadvertently cloning a candidate call.

Add a separate path for cloning calls that are inline and guarded
devirtualization candidates for use by guarded devirtualization.
Callers need to take extra steps after cloning one of these calls
to properly fix everything up.

Also fix up some issues in the large comment for the fat calli
transformation.

Fix a bug that disabled Bmi1/2.X64

Moving CreateScalarUnsafe, ToScalar, Vector128.ToVector256Unsafe, and Vector256.GetLower to be intrinsics (#21351)

* Moving CreateScalarUnsafe, ToScalar, Vector128.ToVector256Unsafe, and Vector256.GetLower to be intrinsics

* Adding containment support to the helper intrinsics

Merge pull request #21314 from CarolEidt/DontPromoteHwVector

Don't struct-promote opaque vectors

Revert "Move the perf jobs to Windows.10.Amd64.ClientRS4.DevEx.15.8.Open (#21258)" (#21412)

This reverts commit 5bb1b41dd19bca8f25b6d048c27d6708b86326cb.

Use Span instead of manual copy in MetadataImport.GetUserString (#21405)

* Use Span instead of manual copy in MetadataImport.GetUserString

* Address PR feedback

Remove char[] allocation from EventPipePayloadDecoder for strings (#21407)

Use string.Create in Path.GetRandomFilePath (#21410)

* Use string.Create in Path.GetRandomFilePath

Removes a good chunk of the unsafe code.

* Address PR feedback

JIT: move indirect call transformations to a new source file (#21414)

Follow-up from a review comment in #21270.

Replace a few new string(char, 1) with char.ToString(char) (#21406)

Slightly cleaner, slightly faster.

Work around apparent bug in CMD's FOR /L

Hopefully this will mean that official build failures during the actual build
phase will correctly be reported as failures.  There could be other places that
need to change, but this is all we know of right now.

Fixes #18788 (at least part of it)

Fix CancellationTokenRegistration.Token after CTS.Dispose (#21394)

CTR.Token should never throw, but it's currently throwing an ObjectDisposedException if the associated CancellationTokenSource has been disposed.

Run MSBuild in parallel when submitting jobs to Helix (#21390)

Port CustomMarshalers.dll to C# and .NET Core (#21343)

* Import CustomMarshalers from corefx PR.

* Add tests for marshalling IEnumerator and IEnumerable using the System.Runtime.InteropServices.CustomMarshalers.

* Verify that the marshaller is used in the managed -> native direction in the tests.

* Remove #if's

* PR Feedback.

* Move ComHelpers.h into interop common headers.

* Add some template machinery to ensure that we don't accidentally pass in an incorrect type into DoQueryInterface.

* Add VariantClear

* Make marshalers internal and root them in ILLinkTrim.xml

* Revert enable-if machinery.

* Add tests for the pass-through unwrapping done by the EnumeratorToEnumVariantMarshaler.

* Remove some of my helper code.

* Added todo about exposing EnumerableToDispatchMarshaler.

* PR Feedback.

* Removed the last placement new.

* Use the runtime hooks to enable us to not have to publically expose the custom marshalers.

* Remove out of date comments.

Guarded devirtualization foundations (#21270)

Lay the groundwork for guarded devirtualization of virtual and interface
calls in the jit.

Introduce the notion of a guarded devirtualization candidate and identify
these if regular devirtualization fails. Use simple heuristics to produce
a class to guess for. Require that the method that would be invoked if the class
guess is correct be a plausible inline candidate.

Generalize the calli transformer to become an indirect call transformer.
This runs after importation because it needs to introduce control flow and
runs before inlining so that the new direct calls it introduces can be inlined.

Implement the transformation to duplicate the call site, devirtualize on the side
where the class is now known exactly, and turn the resulting direct call into an
inline candidate.

Add a motivation and design document.

Use array syntax in eng/test-job.yml (#21393)

Update eng/test-job.yml to use array syntax after changing from phase schema to job schema

Delete FEATURE_TREAT_NI_AS_MSIL_DURING_DIAGNOSTICS (#21387)

Always defined in .NET Core

Disable native image usage for collectible assemblies (#21378)

* Disable native image usage for collectible assemblies

There are couple of issues with using native images as collectible
assemblies. The most important one is that statics handling is different
for collectible and non-collectible classes. Collectible classes have
statics stored in per class allocated blocks while the non-collectible ones
are all stored per module. So the code that accesses them needs to use
different offsets relative to a statics base address in each of these cases.
The crossgen generates just a single form of code that corresponds to the
non-collectible case and so such code cannot be used when a module is
loaded as collectible.
To mitigate that, we disable using the native code from crossgen-ed
assemblies and JIT all the code instead.
We may want to revisit this in the future and e.g. unify the statics
handling for collectible and non-collectible classes.

Refactor genAllocLclFrame into two architecture-specific functions (#21074)

Move the perf jobs to Windows.10.Amd64.ClientRS4.DevEx.15.8.Open (#21258)

Merge pull request #21322 from mikedn/div-small-int

Fix lclvar "cloning" in const division lowering

Change from phases to jobs (#21384)

* Initial change to use jobs/jobs.yml

* Fix If syntax

* Hopefully fix more syntax

* Change from jobs to job

* change from queue to pool

* change scope of container name

* Change build to sync and init tools inside build.sh

* Add workspace

Suppress a CMake Warning (#21147)

* Suppress a CMake Warning

This change adds a local cmake_policy rule to suppress
warnings about libraries with unicode names.

```
CMake Warning (dev) at tests/src/Interop/PInvoke/DllImportPath/CMakeLists.txt:14 (add_library):
  Policy CMP0037 is not set: Target names should not be reserved and should
  match a validity pattern.  Run "cmake --help-policy CMP0037" for policy
  details.  Use the cmake_policy command to set the policy and suppress this
  warning.

  The target name "DllImportPath_U�n�i�c�o�d�e" is reserved or
  not valid for certain CMake features, such as generator expressions, and
  may result in undefined behavior.
This warning is for project developers.  Use -Wno-dev to suppress it.
```

* Update tests/src/Interop/PInvoke/DllImportPath/CMakeLists.txt

Co-Authored-By: swaroop-sridhar <Swaroop.Sridhar@microsoft.com>

Add tests for marshalling RuntimeHandle types. (#21091)

* Add tests for marshalling runtime handles.

* Remove DLL signature for impossible test

Remove FromGAC & OnTPAList (#21371)

* Remove FromGAC & OnTPAList
* PR feedback

Revert Array enumerator behavior change (#21368)

Fixes #21046

Update dependency files (#21352)

* Update dependencies from https://github.com/dotnet/arcade build 551

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.18603.7
- Microsoft.DotNet.Helix.Sdk - 1.0.0-beta.18603.7

* Update dependencies from https://github.com/dotnet/arcade build 598

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.18604.15
- Microsoft.DotNet.Helix.Sdk - 1.0.0-beta.18604.15

Convert SDK projects into non-SDK projects (#21369)

Add repro for `(reg2 == REG_NEXT(reg1)) || (reg2 == REG_LR)` assert in `codegenarm64`. (#21344)

* Add a repro.

* Exclude the failing test.

* fix formatting

Fix XML comments on *nux (#21372)

Additional tests for type equivalence (#21340)

* Additional tests for type equivalence

Merge pull request #21313 from stephentoub/asynciteratorattr

Add AsyncIteratorStateMachineAttribute

Improve BMI2 MultiplyNoFlags APIs (#21362)

Update the symbol uploader/publisher to version 1.0.0-beta-63604-05. (#21360)

Move more SSE2 intrinsic tests to template

Remove redundant checks in test templates

Merge pull request #21356 from stephentoub/xmlcomments

Fix lots of malformed XML comments

Update CoreClr, CoreFx, CoreSetup to preview-27204-02, preview.18604.2, preview-27204-02, respectively (#21353)

Delete dead code in Task<T>

Enable building/validating XML comments in CoreLib

Fix lots of malformed XML comments

These are causing errors in the source.dot.net build.  Turning on DocumentationFile and suppressing 1591, 1573, and 0419, Corelib builds clean after these changes.

Update CoreClr, CoreFx, CoreSetup to preview-27204-01, preview.18604.1, preview-27203-03, respectively (#21346)

Fixing the Vector64/128/256<T>.ToString(string) methods to pass `null` for the formatProvider (#21350)

Remove *LoadContextHostBinder (#21342)

Sort System.Private.CoreLib.csproj

Add RuntimeFeature.IsDynamicCodeSupported/IsDynamicCodeCompiled

Contributes to dotnet/corefx#29258

Finish (mostly) erradicating StringBuilder marshaling from corefx (#33780)

* Finish (mostly) erradicating StringBuilder marshaling from corefx

This should finish my quest of removing StringBuilder marshaling from coreclr and corefx, which I've strived to do because it often adds unnecessary overhead and often is done incorrectly because of intricacies in how the marshaling works; while not using it often leads to `unsafe` code at call sites, there's much less magic, and it affords the ability to optimize more if desired.

There are still three remaining [Out] StringBuilder's in Interop.Odbc.cs, which I've not removed because tests are limited and the call graph to these is non-trivial with StringBuilders passed through.  There may also be a few straggling DllImports I missed while scouring interop that's not following our guidelines of being in src\Common\.

Other than those, the remaining StringBuilder usage I found in DllImports was for [In] only, and in those cases it's reasonable, as the call sites are building up StringBuilders and then passing them off to the call sites; converting those to use `char*` or similar could actually make them more expensive.  I did, however, ensure they were properly annotated as [In], in order to make the intent clear and avoid potential marshaling costs for the unnecessary [Out] direction.

Where I was touching a function in one of these stray interop files that was duplicated elsewhere, I also consolidated it to a centralized location, but I've not in this PR done the cleanup work for the rest of the files.

* Address PR feedback

* Address further feedback

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Refactor all FCalls out of AppDomain.cs (#21337)

This saves the unmanaged->managed->unmanaged trip to initialize the assembly binder.

Includes small bits of unrelated cleanup.

Vectorize some Guid APIs (ctor, TryWriteBytes) (#21336)

* Optimize some Guid APIs

* get rid of WriteByteHelper

* use TryWrite instead of Write

* Optimize ctor `Guid(ReadOnlySpan<byte> b)` and remove `Equals` optimization (move to separate PR).

Remove Hostx86/arm CrossGen from building and Simplify build.sh command line arguments for Linux/arm cross build (Part 2) (#21034)

* Stop building and publishing Hostx86/arm crossgen on Linux/arm

* Remove -crosscomponent argument and stop using CAC_ROOTFS_DIR environment variable in build.sh

* Simplify the related logic in build.sh

* Don't need to specify crosscomponent in tests/scripts/run-pmi-diffs.py

* Don't set CAC_ROOTFS_DIR in buildpipeline, Jenkins files and in tests/scripts/run-pmi-diffs.py

* Adjust documentation

Merge pull request #21264 from fiigii/x64only

 Implement 64-bit-only hardware intrinsic

Correct platorm reach for the Official build (#21310)

* Correct platorm reach for the Official build

Does the following:

1. Sets up a ci rule for master and a pr rule for master
2. Corrects the OSX queues
3. Corrects ubuntu internal queue
4. Converts all linux jobs to build using containers
5. Only runs official builds on: Pri1, release, bringing us to parity with old process
6. Fixes centos build-test
7. Adds a super-annoying groupname tag that avoids name mangling.

* make sure we only add triggers for internal builds

* Fix syntax

* Missing :

* Remove pr/ci

* Fix internal queue name

* Correct Public/internal choices.

* Add crossgen as well

* Correct indentation

* Correct checked pri1 tests

* Address pr feedback

* Add todo comments

Clarify use of LoadFromAssemblyName method (#21256)

Improvements for naked R2RDump output (#21317)

The initial impulse for this change was removing native offsets
from debug info that caused noise in naked R2R comparisons. Fixing
this required propagation of DumpOptions to some more call sites
prompting me to unify dumping logic to always use TextWriter
as the output medium. I have also fixed some minor bugs I noticed
around the naked disassembly.

Thanks

Tomas

Update BuildTools, CoreClr, CoreFx, CoreSetup to preview1-03430-01, preview-27203-03, preview.18603.1, preview-27203-01, respectively (#21291)

JIT: fix overly aggressive type propagation from returns (#21316)

For quite a while now the jit has been propagating return types from
callees to the return spill temp. However this is only safe when the
callee has a single return site (or all return sites return the same
type).

Because return spill temps often end up getting assigned to still more
temps we haven't seen this overly aggressive type propgagation lead to
bugs, but now that we're tracking single def temps and doing more type
propagation during the late devirtualization callback, the fact that
these types are wrong has been exposed and can lead to incorrect
devirtualization.

The fix is to only consider the return spill temp as single def if the
callee has a single return site, and to check that the return spill temp
is single def before trying to propagate the type.

Fixes #21295.

Make sure the debug registers are available in the SavedRedirectContext (#21293)

Remove IsNeutralDomain() (#21318)

* Remove IsNeutralDomain()

* PR feedback

Fixes abbreviated genitive (#21230)

* fixes abbreviation

* reverse .gitignore

* remove token lenght

Don't typedef intptr_t/uintptr_t when PAL_STDCPP_COMPAT is defined (#21165)

Bug: 20766

Make RyuJIT tolerate null CLASSID_RUNTIME_TYPE (#21331)

If we're compiling a class library that has no concept of reflection (and runtime types), EE cannot provide a class handle for this class. Make RyuJIT tolerant to null coming back.

Store CurrentThread in ThreadStatic (#21328)

Revert [publish symbols on FreeBSD (#21179)] (#21329)

This reverts commit 6120021023647ff881d791a033dba38a94fd1c2c.

Rename CorElementType enum members to match the others definitions (#21324)