Update CoreClr, CoreFx to preview1-26928-03, preview1-26928-03, respectively (#20180)

Added transcript of ARMEnabled. (#20181)

Update CoreClr, CoreFx, CoreSetup to preview1-26928-01, preview1-26928-01, preview1-26928-01, respectively (#20175)

Avoid AwaitTaskContinuation allocation in some awaits (#20159)

In .NET Core 2.1, I added a bunch of optimizations to async methods that are based on reusing the async state machine object itself for other purposes in order to avoid related allocations.  One of those optimizations was using the boxed state machine itself as the continuation object that could be queued onto a Task, and in the common case where the continuation could be executed synchronously, there would then not be any further allocations.  However, if the continuation needed to be run asynchronously (e.g. because the Task required it via RunContinuationsAsynchronously), the code would allocate a new work item object and queue that to the thread pool to execute.  This then also forced the state machine object to lazily allocate the Action delegate for its MoveNext method. This PR extends the system slightly to also cover that asynchronous execution case, by making the state machine box itself being queueable to the thread pool.  In doing so, it avoids that AwaitTaskContinuation allocation and also avoids forcing the delegate into existence. (As is the case for other optimizations, this one is only employed when ETW logging isn't enabled; if it is enabled, we need to flow more information, and enabling that would penalize the non-logging case.)

Update CoreClr, CoreFx, CoreSetup, PgoData to preview1-26927-03, preview1-26927-03, preview1-26927-01, master-20180926-0038, respectively (#20153)

Fix CancellationTokenRegistration.Dispose racing with cancellation (#20145)

CancellationTokenRegistration.Dispose is guaranteed to only return when the associated callback has already finished running or has been successfully removed such that it'll never run.  This is to ensure that code following Dispose can be guaranteed that the callback isn't currently running and won't after that point, as if it did, it could potentially depend on mutable shared state or itself mutate shared state in a non-thread-safe manner.

However, significant optimizations introduced in .NET Core 2.1 impacted a specific case of this guarantee.  It still behaves correctly if cancellation hasn't already been requested, if cancellation has already processed the associated callback, and even if cancellation is currently executing the associated callback.  However, if cancellation is currently processing other callbacks and hasn't yet gotten around to processing the associated one, Dispose() may incorrectly return immediately, such that the callback may still end up getting invoked after Dispose() returns, which can violate assumptions of consuming code in very impactful ways.

This commit modifies how the callbacks are removed from the registration list in order to fix the issue.  Previously, all of the callbacks were swapped out at once, which then left the list empty, which is what caused subsequent disposals to think the callback had already been processed or unregistered.  With this change, we instead just remove each registration as it's being processed, such that a concurrent disposal can still successfully find the registration in the callback list if it's not yet been processed.

This change does have a small perf impact, but only on the case where cancellation is actually invoked, which is the less common case; most usage of CTS doesn't actually result in cancellation, and optimization is focused on registration and unregistration perf.  Rather than taking and releasing the lock once when cancellation is requested, we now take and release the lock per callback when cancellation is requested.

Enable Ubuntu arm Cross Release crossgen_comparison scenario by default (#20160)

Merge pull request #19960 from echesakovMSFT/UseCrossBitnessLinuxCrossGenByDefault

Use Hostx64/arm crossgen to crossgen System.Private.CoreLib on Linux

Replace Crst* with CrstStatic for IBCLogger (#20148)

Maestro dependency update without buildtools (#20143)

* Update BuildTools, CoreClr, CoreFx, CoreSetup, PgoData to preview1-03224-03, preview1-26925-05, preview1-26925-06, preview1-26925-01, master-20180925-0031, respectively

* Enable RestoreOutputPath override

* Disable System.Security.Cryptography.Pkcs.Tests

To help unblock corefx, etc. update.

* Revert buildtools changes

* Disable buildtools auto updates

Enable Ubuntu arm crossgen_comparison Checked in each PR (#20139)

* Run Ubuntu arm crossgen_comparison (Checked | Release) daily
* Enable Ubuntu arm Checked crossgen_comparison by default

Cross-bitness in VTable Calls (#20137)

* Use TARGET_POINTER_SIZE in CEEInfo::getMethodVTableOffset in src/vm/jitinterface.cpp
* Use SIZEOF__MethodTable_ in src/vm/methodtable.h

Do not treat a custom layout as overlapping when trying to inline a struct method. (#20141)

* Do not treat custom layout as overlapping when trying to inline struct method.

That hack was added 4 years ago with independent struct promotion for parameters.
I was not able to find any related issues.

This change produces asm diffs because it allows us to inline more (lvaCanPromoteStructVar is a multiplier for
inlineIsProfitable parameter).
For System.Private.CoreLib we have total bytes of diff: 294 (0.01% of base).
For example, we started to inline methods from 'System.Threading.Tasks.ValueTask' that has '[StructLayout(LayoutKind.Auto)]'.

* Always sort fields in lcCanPromoteStructType.

It will be optimized away in the future commits.

* Delete the argument that is no longer used.

* Fix variable name according to jit-coding-conventions.

Rename 'StructPromotionInfo' to 'structPromotionInfo'.

Remove deleted HW intrinsic tests from exclusion lists for Windows arm, arm64 targets (#20151)

Fixes #20149

Merge pull request #20098 from dotnetrt/fix-win-unix-format

[CI] Fix failures in Windows/Linux CI Formatting jobs by force killing all dotnet processess

Merge pull request #20132 from jkoritzinsky/fixes/coreclr/7829

Fix possible overflow in SafeBuffer.Initialize.

Merge pull request #19939 from mikedn/visit-cmpxchg

Fix incorrect CMPXCHG visiting order

Remove duplicated test

Add outdated test to CoreFX.issues.json

PR Feedback and exclude regression test on 64-bit processes.

Use platformdefines through lib instead of cpp (#19948)

* Use platformdefines through lib instead of cpp

* add a dummy export function

* Remove dummy export

* Compile as Static Library

* revert platformdefines.cpp file

* remove DLL_EXPORT

Delete dead .NET Framework activation code (#20134)

Add regression test.

Simpler implementation from PR feedback.

Porting fix on Desktop for VirtualUnlock perf issue on WKS GC when we reset mem (#20115)

Fix possible overflow in SafeBuffer.Initialize.

Since a 0-length buffer is technically possible (though not very usable), have sizeOfEachElement==0 -> ByteLength == 0.

Merge pull request #19979 from echesakovMSFT/CrossGenComparisonSymbolFiles

CrossGen comparison - compare debugging files

Add header files to ildasm, ilasm vcxproj (#20052)

Merge pull request #20107 from dotnet/dev/unix_test_workflow

Improve Linux arm32/arm64 corefx test runs

switch to netcoreapp2.0 (#20120)

Allows to get rid of warning " CSC : warning CS1685: The predefined type 'MarshalByRefObject' is defined in multiple assemblies in the global alias;".

Add headers to cordb{di, ee_dac, ee_wks}.vcxproj files to improve developer experience (#20049)

Fix hijacking for ARM/ARM64/x86 on Unix (#20042)

* Fix hijacking for ARM/ARM64/x86 on Unix

We were not checking the case when we have interrupted a thread inside
of a function epilog for other architectures than amd64. When such an
interruption happens, GS cookie check in a stack walking has failed,
since we are unable to decode GS cookie location when the IP is in
epilog.
This fix implements IsIPInEpilog for all architectures and makes the
check unconditional.

Don't check for libintl.h on Darwin (OSX) (#20094)

clean code that counts promoted implict byref argument occurrences. (#20113)

* clean code that counts promoted implict byref argument occurrences.

Move 3 copies of that code into one in `PreOrderVisit`. Run this check after we have made morph for fields and structs.

Simplify OSVERSIONINFOEX interop (#20111)

Remove unnecessary parenthesis (dotnet/corefx#32419)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Improve Linux arm32/arm64 corefx test runs.

Add proper parallelism.

Prevent per-test output during parallel runs from interleaving
by saving output per process and displaying it after the
process has completed.

Improve summary test/failure output at end of log.

Change Linux arm32/arm64 corefx jobs to run tests in parallel.

Change Linux/arm64 corefx scheduled jobs to be daily, not weekly,
since they are very fast when run in parallel (<20 minutes).

Move run-tests.sh from corefx

This is the script used by Jenkins to run arm32/arm64 corefx testing
in the coreclr repo.

Leave the original one around, in case anyone uses it.

Name it run-corefx-tests.sh, to more closely model what we have for
Windows arm/arm64 corefx testing.

Porting NumberToDouble to managed code. (#20080)

* Porting NumberToDouble to managed code.

* Deleting bcltype/number.cpp and bcltype/number.h

* Fixing NumberToDouble to call Int64BitsToDouble, rather than DoubleToInt64Bits

* Some minor code cleanup in NumberToDouble for better readability.

* Some additional code cleanup in the Number.NumberToDouble.cs code

Fix failures in Windows/Linux CI Formatting jobs by killing all dotnet processess

Use shell commands to kill all processess with dotnet/dotnet.exe name before
attempting the final cleanup of the CI workspace

Address PR feedback - Cleanup temp dirs after usage

Merge pull request #20095 from BruceForstall/Disable80373

Disable test b80373 for all non-Windows targets

Streamline MemoryExtension Trim and Trim(char) by removing calls to TrimStart/End and avoiding unnecessary Slice. (#19959)

* Mark TrimStart and TrimEnd as Aggressively Inline to improve perf

* Remove inlining attribute and streamline Trim

Add missing <cmath> header for fabs to fix Visual C++ vNext break, av… (#20079)

* Add missing <cmath> header for fabs to fix Visual C++ vNext break, avoid narrowing to float from double

Disable test b80373 for all non-Windows targets

Tracked by #20024

Merge pull request #20033 from briansull/normalizeAssertionProp

Changes to use VNNormalValue in assertionProp

Fix copy-paste error in xml doc comment (dotnet/corefx#32388)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Move smoketests to new helix queue (#20090)

Simplifies UTF32Encoding/UTF8Encoding/UnicodeEncoding ctors initialization flow (#20072)

Fix decoding bug in r2rdump's native format reader

Sign extension is done based on a 32-bit int. We were incorrectly basing it off the size of a byte.

Performance fix for R2R: vtable calls (#20061)

* Performance fix for R2R: use vtable-based codegen for virtual calls within the System.Private.CoreLib version bubble, avoiding the use of the VSD, or in the generics case, a dictionary lookup.
The CoreLib assembly will always be serviced along side the coreclr runtime, so special casing CoreLib to using vtable-based calls like the fragile NI case is ok.

Fix issue #20076 createdump faults. (#20084)

Return E_FAIL instead of S_FALSE from ClrDataFrame::GetLocalSig().

Also issue https://github.com/dotnet/diagnostics/issues/61

Make EH table optional in R2RDump

Ready-to-run binaries don't always have an EH table. Fix r2rdump so it doesn't crash if the table isn't present.

Updated assertionprop.cpp

Convert Sse2 tests PackSignedSaturate, PackUnsignedSaturate, UnpackHigh and UnpackLow to template based (#19670)

*  Convert PackSignedSaturate, PackUnsignedSaturate, UnpackHigh, UnpackLow tests to template based

* Add generated Sse2 Pack***Saturate, UnpackHigh, UnpackLow tests, remove replaced tests

*  Remove deleted Sse2 Pack** Unpack** tests from Test.lst files for arm and arm64 Windows targets

JIT: Fix operand evaluation order for GT_INDEX_ADDR (#20047)

We need to evaluate the array operand first, and it's op1. So evaluate
in that order, and don't allow reversal.

Closes #20040.

Move RegistryKey to shared CoreLib partition (#20067)

* Move RegistryKey to shared CoreLib partition

- Cut down RegistryKey to just what CoreLib needs. I went back and forth on whether to share the corefx implementation with ifdefs or not. I have choosen to duplicate it at the end. The ifdefs were either too complex or there was too much cruft left behind that the IL linker was not able to remove.
- Move the internal CoreLib implementation of Registry to Internal.Win32 namespace to ensure that it is not confused with the public standlone one

Fixes #10741 and #17899

Disable tests of BroadcastScalarToVector128

Add pointer overloads for Avx2.BroadcastScalarToVector128

Add unsigned overloads for MultiplyLow

Add all integer overloads for AVX2/SSSE3 AlignRight

Add all integer overloads for Avx2/SSE4.1 BlendVariable

Added methods VNLiberalNormalValue and VNConservativeNormalValue

Moving GetExponent/Mantissa and make BigInteger used fixed-sized buffer

Removing BitScanReverse from pal.h

Fixing some naming conventions and removing dead code.

Removing bcltype/fp.h from native code.

Making Number.Grisu3.DigitGen slightly more efficient.

Removing the Grisu3 native implementation.

Porting the Grisu3 algorithm to managed code.

Porting bcltype/diyfp.cpp to managed code as shared/System/Number.DiyFp.cs

Removing the Dragon4 and DoubleToNumber native implementation.

Porting the Dragon4 algorithm to managed code.

Porting bcltype/bignum.cpp to managed code as shared/System/Number.BigInteger.cs

Revert "Move smoketests to use Helix queue (#20017)" (#20058)

This reverts commit d529163b2dbc880117f436d8a824d531b1506346.

Merge pull request #20035 from echesakovMSFT/CrossBitnessLinuxPerfMap

Make Hostx64/arm crossgen /CreatePerfMap behave the same as Hostarm/arm crossgen

Merge pull request #20071 from BruceForstall/FixViews

Fix arm/arm64 Jenkins views

Cleans up error message caching in DuplicateWaitObjectException (#20073)

Fix arm/arm64 Jenkins views

Filter out the non-flow jobs, especially the corefx builds that are
consumed by corefx flow jobs.

Merge pull request #20069 from dotnet/dev/unix_test_workflow

Refine Linux arm64 "limited hardware" designation

Merge pull request #20070 from BruceForstall/FixLimited

Exclude Windows from arm64 daily corefx job scheduling

Exclude Windows from arm64 daily corefx job scheduling

Merge pull request #20068 from BruceForstall/FixLimitedHardware

Refine Linux arm64 "limited hardware" designation

Refine Linux arm64 "limited hardware" designation

Add Linux arm64 to the limited hardware category, meaning non-PR jobs
only run in the master branch.

However, allow non-corefx JIT stress jobs to be scheduled daily,
as they are fast. If corefx jobs are changes to run in parallel
(and thus are faster), they can also possibly be made to run daily.

Merge pull request #20065 from BruceForstall/FixArm64Innerloop

Fix arm64 Linux innerloop triggered jobs

Fix arm64 Linux innerloop triggered jobs

Only trigger flow job, not build job.

Merge pull request #20064 from BruceForstall/FixSpace

Remove extra space from verbose context strings

Remove extra space from verbose context strings

Merge pull request #20002 from mikedn/undef-printf

Always define printf/fprintf in JIT

Merge pull request #20038 from CarolEidt/Fix20031

Fix MultiReg methods on GenTree

Merge pull request #19811 from pentp/xcnt-false-dep

Improved fix for target register false dependency of lzcnt/tzcnt/popcnt

Move smoketests to use Helix queue (#20017)

Merge pull request #19993 from dotnet/dev/unix_test_workflow

Enable arm64 Linux testing in CI

Testing is enabled on a set of Qualcomm Centriq arm64 servers running Ubuntu 16.04.
The set of jobs enabled almost matches the set run for arm32 Linux testing,
including innerloop, JIT and GC Stress, corefx, and R2R. Temporarily, the
innerloop jobs are commit jobs (invoked when a PR is merged) instead of
"default trigger" jobs (invoked when a PR is submitted), until we get more
experience with the robustness of the machines and jobs. The machines are
fast enough that they are not marked as "limited hardware" (like arm32 Linux
machines). That means that many jobs are run daily, not weekly, as periodic jobs.

Notes about the changes:
1. The Linux arm64 machines are managed by Helix, which allocates them to Jenkins.
2. The arm64 OS used has been renamed from "small_page_size" to "Ubuntu16.04". If we
add large page size machines, we'll need to add a differentiator.
3. The Jenkins "copy artifacts" plug-in runs ridiculously slowly on this hardware,
for unknown reasons, so we copy artifacts directly using "wget".
4. Tests are built using "build-test.sh" on the (cross) build machine; we don't use
Windows-built tests.
5. Added Jenkins archiving of build .log/.wrn/.err files.
6. Various tests were disabled in issues.targets, and with a new
arm64/corefx_linux_test_exclusions.txt file, to get jobs to run clean. (Several
issues have been opened to track these and other known failures.)

Cleanup registry usage within CoreLib (#20050)

- Ensure that the registry keys are always disposed
- Use smaller subset of registry APIs
- Reduce diffs with CoreCLR/CoreFX
- Contributes to #11009 and #17899

Run and compare results of "crossgen /CreatePerfMap" and "crossgen /CreatePdb" commands

Turns Math/MathF RoundLimit into a constant (#20044)

Enable arm64 Linux testing in CI

Testing is enabled on a set of Qualcomm Centriq arm64 servers running Ubuntu 16.04.
The set of jobs enabled almost matches the set run for arm32 Linux testing,
including innerloop, JIT and GC Stress, corefx, and R2R. Temporarily, the
innerloop jobs are commit jobs (invoked when a PR is merged) instead of
"default trigger" jobs (invoked when a PR is submitted), until we get more
experience with the robustness of the machines and jobs. The machines are
fast enough that they are not marked as "limited hardware" (like arm32 Linux
machines). That means that many jobs are run daily, not weekly, as periodic jobs.

Notes about the changes:
1. The Linux arm64 machines are managed by Helix, which allocates them to Jenkins.
2. The arm64 OS used has been renamed from "small_page_size" to "Ubuntu16.04". If we
add large page size machines, we'll need to add a differentiator.
3. The Jenkins "copy artifacts" plug-in runs ridiculously slowly on this hardware,
for unknown reasons, so we copy artifacts directly using "wget".
4. Tests are built using "build-test.sh" on the (cross) build machine; we don't use
Windows-built tests.
5. Added Jenkins archiving of build .log/.wrn/.err files.
6. Various tests were disabled in issues.targets, and with a new
arm64/corefx_linux_test_exclusions.txt file, to get jobs to run clean. (Several
issues have been opened to track these and other known failures.)

Changes to use VNNormalValue in assertionProp

Remove Sse2 ConvertTo* tests from Tests.lst files for arm and arm64 Windows targets

Add generated code for Convert Sse2 ConvertTo* and ConvertToVector128* tests

Removed old tests, changed GenerateTests.csx layout