Update BuildTools, CoreClr, CoreFx, CoreSetup, IbcData, PgoData to preview1-03402-01, preview-27102-02, preview.18552.1, preview-27102-03, master-20181102-0044, master-20181102-0041, respectively (master) (#20745)

* Update BuildTools, CoreClr, CoreFx, CoreSetup, IbcData, PgoData to preview1-03402-01, preview-27102-02, preview.18552.1, preview-27102-03, master-20181102-0044, master-20181102-0041, respectively

* Disabled outdated test

Perf improvements to Span and Memory (#20771)

* Perf improvements to Span and Memory
- Improves perf of AsSpan, AsMemory, ctor, and Slice

* PR feedback - add comments

Use C# compiler's static data support in Encoding.Preamble (#20768)

* Use C# compiler's static data support in Encoding.Preamble

Also avoid Array.Empty and just use default span for an empty preamble.

* Address PR feedback

Add remaining IAsyncDisposable implementations to CoreLib (#20676)

* Add remaining IAsyncDisposable implementations to CoreLib

* Address PR feedback

Fix logging so that we can see the full 64 bit integer in the log file (#20741)

Improve performance of String.Equals(..., OrdinalIgnoreCase) (#20734)

- Tries to consume multiple chars in parallel when possible
- Didn't vectorize because inputs to this function are generally fairly small
- Moved static GlobalizationMode lookup out of hot path
- Removed indirection so that StringComparer now calls directly into workhorse routine

Merge pull request #20760 from hoyosjs/arcade

Add base arcade scripts and versioning files

Allows Debug.Fail to go through Trace Listeners (#20764)

Avoid unnecessary interlocked in ManualResetValueTaskSourceCore (#20742)

When a ManualResetValueTaskSourceCore is used as the implementation for a ValueTask, it's set up for the operation, and then two things happen: a callback is hooked up at some point, and the operation completes at some point.  The former generally occurs before the latter, however there is a race condition, and so both paths currently use an Interlocked.CompareExchange to coordinate.  But that means that we always end up with two CompareExchange operations.  In the common path, there's no contention between these, and so we can avoid one of the CompareExchanges by first doing a normal read of the target field (we were already doing that read in one of the two cases, but we weren't taking advantage of it).

Fix the test. (#20701)

As https://docs.microsoft.com/en-us/dotnet/api/system.runtime.interopservices.gchandle.free?view=netframework-4.7.2 says "The caller must ensure that for a given handle, Free is called only once.".

So delete the second call to `Free()`.

I believe it changes the desired behaviour for this test but it was added before 2010 (via source depo) and there are no comments about the regression that it was able to repro, so it is not worth to investigate that.

Remove redundant zero-initializations for long-lifetime structs. (#20753)

When compInitMem is true long-lifetime structs (i.e., the ones with lvIsTemp set to false)
are zero-initialized in the prolog: https://github.com/dotnet/coreclr/blob/c8a63947382b0db428db602238199ca81badbe8e/src/jit/codegencommon.cpp#L4765

Therefore, these structs don't need an explicit zero-initialization in blocks that are not in a loop.

Add base arcade scripts and versioning files

Fix freebsd symbol upload failure. (#20759)

one more place to add case for freebsd (#20756)

Display offset in TimeZoneInfo.DisplayName (#20728)

* Display offset in TimeZoneInfo.DisplayInfo

* Display offset in TimeZoneInfo.DisplayInfo

* prefer +00.00

* Update TimeZoneInfo.Unix.cs

Merge pull request #20755 from dotnet/dev/unix_test_workflow

Enable triggers for Linux x64 PMI asm diffs

Merge pull request #20752 from BruceForstall/EnableLinuxX64PmiDiffs

Fix PMI job triggers for x64 Linux

Merge pull request #20750 from BruceForstall/ReduceExpectedTestCount

Fix expected Pri-1 test count

Disable outdated CoreFX tests (#20749)

Fix PMI job triggers for x64 Linux

Also, convert asm from ZIP to tar on non-Windows.

Merge pull request #20720 from dotnet/mmitche-patch-1

preview1 -> preview

Fix expected Pri-1 test count

https://github.com/dotnet/coreclr/pull/20693 reduced the number of
Pri-1 tests significantly, which caused this error to appear on
some Pri-1 builds, e.g., Ubuntu x64 Checked builds.

Fix JIT flags for ARM64 altjit (#20711)

The ARM64 altjit was interpreting some JIT flags from the (mismatched)
x64 runtime incorrectly: they actually specify x64 architecture
capabilities, not ARM64 capabilities. And some of these capabilities
are not fully implemented/tested, so were leading to crashes doing
altjit asm diffs.

Workaround FreeBSD symbol publishing problem. (#20733)

Issue #https://github.com/dotnet/coreclr/issues/20722

Update PMI asm diffs in the CI (#20743)

* Respond to PMI asm diffs code review feedback

Add some try/finally code to improve robustness.
Remove direct invocation of run.cmd.

Also, simplify the generated asm directory hierarchy.

* Improve PMI script error code

Only return non-zero if there is a fatal error. For non-fatal error,
such as the existence of asm diffs, return zero. This will allow
subsequent "build" steps in netci.groovy to run, namely, the
archiving of the asm directory.

Later, determine a better way figure out how to deal with the existence
of asm diffs.

* Update dotnet SDK download links

corert compile fixes, corert class Debug should be partial and s_WriteCore need to be assigned

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Make BitScanForward/BitScanForward64 PAL wrappers branchless. (#20412)

The BitScanForward/BitScanForward64 wrapper functions from the PAL and
gcenv have been modified so they're faster (and branchless), while also
adhering more closely to the behavior of the MSVC intrinsics.

Use _BitScanForward64 when targeting 64-bit Windows.

The _WIN32 macro is always defined by MSVC, even when targeting 64-bit
versions of Windows. Use the _WIN64 macro instead to check whether the
build is targeting 64-bit Windows, and if so, use the _BitScanForward64
intrinsic for the BitScanForward64 wrapper instead of the 32-bit-based
fallback.

Update BuildTools, CoreClr, CoreFx, CoreSetup, IbcData, PgoData to preview1-03330-01, preview1-27031-03, preview1.18530.5, preview1-27031-02, master-20181031-1450, master-20181031-1447, respectively (#20665)

Clean up string literal implicit const casting and some two-phase lookup nits on Windows (#20730)

* Remove implicit c-string const casting and clean up some C++ standards conformance bugs.

* Fix const string conversion in FCSigCheck.

Detect integer overflow in String.Replace

Fixes #20719

Fix corrupted StringBuilder state after out of memory exception

Fixes #20718

Make the check for a struct fitting in a register check for either managed or native depending on the situation (i.e. managed call, reflection, P/Invoke) instead of only for managed. Fixes #20702.

Clean up duplicate #ifdefs.

Move #ifdef into method impl instead of outside the implementations.

Move IsRegPassedStruct out of UNIX_AMD64_ABI #ifdef.

Move check for enregistered struct out of UNIX_AMD64_ABI #ifdef

Add dummy implementation of IsRegPassedStruct and IsNativeStructPassedInRegisters when UNIX_AMD64_ABI isn't defined.

Add PInvoke/Structures tests

Fix compile warnings

Fix compile warnings

Fix compile warnings

Remove duplicate tests. Move ReversePinvoke tests under StructMarshalling.

Clean up some compile errors.

More string cleanup.

More string fixes

Clean up consts and typedefs.

Fix typo.

Change TP_slen return type to match xplatform.h

Fix printf specifiers.

Don't define wcslen in xplatform if it's been macro redefined (to platformdefines.h's TP_slen)

Fix build breaks.

Remove extension from DllImport so it will correctly resolve xplat.

Fix printf specifiers again...

Fix Windows x86 calling convention mismatch.

Fix HRESULT size off-Windows

Add PInvoke/NativeCallManagedComVisible tests (#19328)

* Add PInvoke/NativeCallManagedComVisible tests

* Update to current infrastructure and disable off-Windows

* Fix incorrect S_OK value and made the native side actually return an HRESULT in hr.

Merge pull request #20683 from CarolEidt/FixDD710234

Arm32: Handle live-out double reg in resolution

Merge pull request #20723 from BruceForstall/ImproveNOWAYOutput

Improve the assert output for NO_WAY and BADCODE

more changes to fix packaging on FreeBSD. runtime.json now contains freebsd-x64 and portable build/packaging works (#20725)

Making Debug and Trace behavior consistent with eachother and Desktop (#20581)

* Making Debug and Trace behavior more consistent with Desktop and eachother
* Syncs IndentLevel and IndentSize for Debug and Trace
* Completing DebugProvider APIs. Fixing Indentation bugs
* Make WriteCore public
* Make s_provider and s_indentSize volatile
* Applied PR feedbacks

Remove superfluous 'const' qualifier from trivial return types (#20652)

The 'const' used in this context has no meaning

Re-Enable Windows tests with JitOptSensitive flag (#20697)

* Re-Enable windows with JitOptSensitive flag

The check in batch targets would keep us from running jitOptimiztionSensitiveTests
with COMPlus_TieredCompilation=0.

* Address pr feedback

Fix DevDiv issue with JitStressRegs=0x3 on arm32. (#20485)

* Fix the issue.

* Fix the comment.

* update the comment

Improve the assert output for NO_WAY and BADCODE

Include the file and line number information that we already have.

Fix Windows x86 EH for exception from UMThunkPrestub (#20704)

The exception handling was poping an explicit frame in
UMThunkPrestubHandler down the call chain from CallRtlUnwindSafe, but it
was not updating the tct.pBottomFrame after returning from that function
back to CPFH_RealFirstPassHandler. And the call to COMPlusAfterUnwind
then called UnwindFrames starting at the old frame that was already
removed from the chain.

Work around XUnit FileLoadException issues (#20644)

In order to mitigate System.IO.FileLoadException we built our own xunit.console.dll with ConcurrentDictionary used for DependencyContextAssemblyCache.managedAssemblyCache instead of Dictionary and use this instead of the one pulled from NuGet.

Arm32: Handle live-out double reg in resolution

When handling critical edges, live-in and live-out reg masks must contain both halves of double regs.

Merge pull request #20638 from fiigii/movetest

Move SSE/SSE2/AVX Load* intrinsic tests to the template framework

preview1 -> preview

.NET Core 3.0 previews should not have numeric suffixes.

Merge pull request #20710 from BruceForstall/DisableNonPRJobsMaster

Disable non-PR triggers in dev/unix_test_workflow branch

Disable non-PR triggers in dev/unix_test_workflow branch

Delete redundant framework API tests (#20693)

This is the last batch of deleting tests that are obviously redundant. The remaining framework API tests in CoreCLR can be dealt with as needed if it ever becomes a problem.

Fixes #12782

Add support for large number of argumets in CCW call on Arm64 (#20670)

* Fix CCW with large numbers of arguments on arm64
- Correctly align the stack in COMToCLRDispatchHelper
- Add tests for naturally 16 byte aligned stack growth, and non-aligned growth
* New many arguments COM test
* Add support for the IL stub ETW diagnostic event

Merge pull request #20703 from MattGal/bsd-pipebuild-tweaks

Remove DotNetBootstrapCliTarPath from variables

Fix printing in `CodeGen::siEndScope`. (#20698)

Fixed small typo in a comment (#20695)

fixed a simple typo, "co-" should contain a dash in this case.

fix detection for LLDB.h and make sos mandatory on FreeBSD (#20551)

* fix detection for LLDB.h and make sos mandatory on FreeBSD

* feedback from review

* feedback from review

* add llvm40 as well for completness

* fix OR condition

Remove DotNetBootstrapCliTarPath from variables as it was getting forcibly upper-cased, making it useless. Instead, use the workaround of setting it explicitly before sync.sh.

Merge pull request #20699 from MattGal/bsd-pipebuild-tweaks

Add FreeBSD to official build pipelines

add -portablebuild=false to build.sh (affects naming)

Fix `JitStressRegs=0x1` issue with `RefTypeUpperVectorSaveDef`. (#20623)

* Add a repro test.

* Fix the issue.

* Add comments

Fixing build.sh args

Add freebsd flavor to CoreCLR pipebuild

JIT: Fix call flag propagation for GenTreeArrElem (#20660)

Closes #20651.

Also fix up some "near miss" cases for GenTreeField and GenTreeBoundsCheck,
where we get lucky and the importer currently splits trees with temps so the
currently ignored child nodes have no interesting side effects.

Revise GenTreeField a bit to pull more of the initialization work into the
constructor. Add a missing R2R field propagation for field nodes in GtClone
(evidently also never hit in practice).

Merge pull request #20641 from briansull/vso_707552

Fix VSO 707552

Add the execution policy when running powershell in size on disk benchmarks (#20680)

Since moving to the helix queue, we have been failing because the execution policy on the vms is not set to unrestricted. To get around this, we need to explicitly pass -ExecutionPolicy Bypass.

Disable failing on Windows/ARM Interop/COM tests (#20675)

* Interop/COM/NETClients/Primitives/NETClientPrimitives
* Interop/COM/NativeClients/Primitives
* Interop/COM/NETClients/IDispatch/NETClientIDispatch
* Interop/COM/NETClients/Aggregation/NETClientAggregation

Corrected Typos and grammar (#20658)

* Corrected some typos and grammar as per English language guidelines.

* Reverted some of the changes

* Reverted back some changes Phase 2

Remove unnecessary Pack directive to fix build break (#20681)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #20679 from BruceForstall/DumpTempReason

Dump the "reason" for a compiler temp

Dump the "reason" for a compiler temp

Compiler temps are created with a "reason" that is dumped in JitDump.
Save the reason and display it in the local variable table dump.
This is useful when trying to find a particular temp and see what
code has been generated using it.

JIT: streamline temp usage for returns (#20640)

If the jit decides it needs a return spill temp, and the return value
has already been spilled to a single-def temp, re-use the existing
for the return temp rather than creating a new one.

In conjunction with #20553 this allows late devirtualization for calls where
the object in the virtual call is the result of an inline that provides
a better type, and the objected formerly reached the call via one or more
intermediate temps.

Closes #15873.

Fix VSO 707552
[RyuJIT][ilgen] Assertion failed 'exp->gtOper != GT_COUNT'
Use nullptr instead of NULL

Remove outdated GC perf test framework (#20673)

Some cleanup of the System.Number class (#20619)

* Formatting Number.Formatting.cs and Number.Parsing.cs

* Removing some duplicated parsing code by having the Parse method call TryParse

* Moving two constants from NumberBuffer to Dragon4

* Rename FloatPrecision to SinglePrecision

* Updating the casing of the NumberBuffer fields

* Updating NumberBuffer to allow taking a custom-sized digit buffer.

* Updating the various NumberBufferLength constants to be the exact needed lengths

* Fixing DoubleNumberBufferLength and SingleNumberBufferLength to account for the rounding digit.

* Fixing TryParseNumber to use the correct maxDigCount

* Ensure the TryParseSingle out result is assigned on success

Fix typo in linux-performance-tracing (#20667)

precomppiled -> precompiled

Unhelpful error when Activator.CreateInstance can't find default constructor  (#20491)

Update CoreClr, CoreSetup, IbcData, PgoData to preview1-27028-04, preview1-27029-01, master-20181029-0053, master-20181029-0054, respectively (#20662)

Update CoreClr, CoreSetup, IbcData, PgoData to preview1-27028-03, preview1-27028-01, master-20181028-0058, master-20181028-0055, respectively (#20653)

Delete redundant CoreMangLib decimal tests (#20649)

Fixes failing test obsoleted by #20638 and contributes to #12782

Delete redundant CoreMangLib decimal tests  \85

Update BuildTools, CoreClr, CoreSetup, IbcData, PgoData to preview1-03326-01, preview1-27027-01, preview1-27027-01, master-20181027-0055, master-20181027-0036, respectively (#20559)

Add IAsyncDisposable implementation to Timer (#20646)

Implement IAsyncDisposable on CancellationTokenRegistration (#20645)

Remove dead RESOURCE_SATELLITE_CONFIG (#20639)

Merge pull request #20621 from AaronRobinsonMSFT/block_tests_WindowsNano

Add a run time check for Windows.Nano to all COM related tests.

Allow ArrayPool.Shared devirtualization (redux) (#20637)

Move SSE/SSE2/AVX Load* intrinsic tests to the template framework

New Decimal.Remainder implementation (#20305)

* New Decimal.Remainder implementation

* Update CoreFX.issues.json

Implement interface dispatch to COM for ARM64 (#20618)

* Implement interface dispatch to COM for ARM64
- Implement missing stub (GenericComPlusCallStub)

* Re-enable IDispatch test for Arm64 (Fix issue #20580 )

JIT: refactor how we do late devirtualization (#20553)

Change late devirtualization to run in a postorder callback during
the tree search to update GT_RET_EXPRs, instead of shoehorning it into
the preorder callback.

This allows the jit to reconsider all calls for late devirtualization,
not just calls that are parents of particular GT_RET_EXPRs. The jit will
take advantage of this in subsequent work that does more aggressive
bottup-up type sharpening.

Reconsidering all calls for late devirt instead of just a select subset
incurs around a 0.5% throughput impact.

To mitigate this, short-circult the tree walk when we no longer see a
GTF_CALL flag. This prevents us from walking through CALL and RET_EXPR
free subtrees.

To make this work we have to make sure all node types propagate flags from
their children. This required some updates to a few node constructors.

There is also an odd quirk in the preorder callback where it may overwrite
the parent node (from GT_ASG to GT_BLK or GT_NOP). If the overwrite creates
a GT_NOP, the postorder callback may see a null tree. Tolerate this for now
by checking for that case in the postorder callback.

Also take advantage of `gtRetExprVal` to tunnel through GT_RET_EXPR chains
to the final tree to avoid needing multiple overwrites when propagating
the return expression back into the IR.

With these mitigations this change has minimal throughput impact.

fixes to build properly on FreeBSD (#20588)

* fixes to build properly on FreeBSD

* remove ulimit from freebsd branch

Add missing include guard in header file. (#20635)

Remove some dead code related to cross-appdomain exceptions. (#20634)

Merge pull request #20628 from stephentoub/asyncinterfaces

Add interfaces/helper types for async iterators

Working towards clean-up comments /**/ in cs (#20609)

* Working towards cleaning comments /**/

Cleaningup /**/ style comments - Following https://docs.microsoft.com/en-us/dotnet/csharp/programming-guide/xmldoc/recommended-tags-for-documentation-comments

#20330

* Updating tags

-Updating some <sumary> to <remarks>
-Adding missing tags

* Fixing PR comments

-Comment does not belong to the public description

* Hiding comment from public description.

* Update //***** to the prevalent // style.

Optimize FormattingHelpers.CountHexDigits using Lzcnt.LeadingZeroCount (#19006)

* Optimize CountHexDigits using Lzcnt

* shift bits instead

* use Lzcnt only on 64 bit

* Optimize Buffer.Utilities.SelectBucketIndex()

* #if HAS_INTRINSICS

* remove HAS_INTRINSICS

* remove HAS_INTRINSICS

Add ConfigureAwait extension method for IAsyncEnumerable

Add ManualResetValueTaskSourceCore

Add AsyncIteratorMethodBuilder

Add IAsyncEnumerable and IAsyncEnumerator

Add IAsyncDisposable

Merge pull request #20579 from fiigii/broadcast

 Implement AVX2.BroadcastScalarToVector128/256