Move IValueTaskSource and friends to System.Threading.Tasks.Sources

Group these more advanced types into a subnamespace.

Add token to IValueTaskSource

Implement ValueTask extensibility

This commit adds support for extending `ValueTask<T>` with arbitrary backing sources.  Prior to this change, `ValueTask<T>` could wrap a `T` or a `Task<T>`; now it can also wrap an `IValueTaskSource<T>`, which can be implemented by arbitrary objects to be represented by `ValueTask<T>`.  These objects can then be pooled and reused to minimize allocation.  The commit also adds a non-generic `ValueTask` that can represent void-returning operations, including a `default` synchronous success, `Task`, and `IValueTaskSource`.  For the non-generic `ValueTask`, the commit also includes awaiters and async method builders, so it can be both awaited and used as the return type of an async method.

The rest of the changes fall into a few buckets all related to enabling this support:
- Modifying `AsyncTaskMethodBuilder<TResult>.AwaitUnsafeOnCompleted` to specially recognize any `ValueTask` and utilize either the `Task` or `IValueTaskSource` that backs it to avoid allocating an Action MoveNext method.  If every object awaited in an async method is either a `Task`/`Task<T>` or `ValueTask`/`ValueTask<T>`, regardless of what the `ValueTask`/`ValueTask<T>` wraps, we'll be able to avoid allocating the delegate and only allocate the single state machine object that also serves as the returned object.
- Changing `Stream.WriteAsync` to return `ValueTask` instead of `Task`.  This enables interested overriding stream types to use a reusable/pooled object to avoid `WriteAsync` allocations.
- Modifying Stream.CopyToAsync to use the new `Memory`-based overloads of `ReadAsync` and `WriteAsync`.  This enables the default `CopyToAsync` implementation to take advantage of any pooling done by derived streams, but even without pooling to take advantage of synchronously completing `ReadAsync`s returning `ValueTask<int>`s that contained an `int` rather than an allocated object. (While I was modifying this, I also removed some unnecessary array clearing that we'd added before later deciding it wasn't needed in general.)
- Modifying StreamReader/Writer to use the new `ReadAsync`/`WriteAsync` overloads.

Minor documentation improvements (#16677)

Create test for rundown events with EventPipe (#16667)

Delete unnecesary StackCrawlMarks (#16648)

CAS leftovers

Update BuildTools, CoreClr, CoreFx, PgoData to preview2-02528-07, preview2-26228-08, preview2-26228-03, master-20180228-0037, respectively (#16661)

Update EventSource* Tests for EventPipe (#16645)

Merge pull request #16657 from debayang/crypto_arm64_intrinsics

Crypto arm64 intrinsics

Set isInternalRegDelayFree for several of the x86 hwintrinsics

Merge pull request #16538 from sdmaclea/PR-ARM64-R2R_FAIL

[Arm64/Windows] Make r2r green in CI

Add the array/arraysegment->Span/Memory overloads to CoreCLR. (#16658)

Part of https://github.com/dotnet/corefx/issues/26894

Revert: Simplify test dependencies for benchmarks (#16647)

This reverts commit 0598b6b8af0fb560837ce0bb8f3c8236c05bbdc9.

Updates to xunit console runner break things in Helix. So reverting
until we can get that part sorted.

Also undoes version updates from #16597; we can't move these forward
yet as we're back to netstandard 1.4 for the time being.

Merge pull request #16531 from echesakovMSFT/MakeTarget64BitMacroGlobal

Make _TARGET_64BIT_ macro global to coreclr

ARM64 Crypto intrinsics tests for AES/SHA1/SHA256

ARM64 SHA256 Crypto intrinsics implementation

ARM64 SHA1 Crypto intrinsics implementation

Mark MemoryMarshal.Cast methods for aggressive inlining (#16654)

Inlining doesn't streamline the cast logic any, but it facilitates
caller struct promotion which can substantially boost perf.

See discussion in dotnet/corefx#27485.

Add Thread.GetCurrentProcessorId() API (#16650)

Contributes to https://github.com/dotnet/corefx/issues/16767

Adding some asserts that we won't overwrite one of the hwintrinsic operand registers.

Adding tests for the implemented SSE41 hardware intrinsics

Adding partial support for the SSE41 hardware intrinsics

ARM64 Aes Crypto intrinsics implementation

Merge pull request #16599 from fiigii/fixstaticcast

Fix generic hardware intrinsics with NotSupportedException

Fix StaticCast with NotSupportedException

Add Path.Join() methods. (#16561)

* Add Path.Join() methods.

See #25536.

* Address feedback and fix a couple issues now that I've got tests running correctly.

* Update per final API approval

* Fix Unix, remove redundant helper.

* Merge and tweak join methods in GetFullPath(string, string)

* Tweak again

Fixing lambda capture unused errors. (#16555)

These errors were happening when compiling with clang 5.0.1.

Since the whole method is defined inside a #if DEBUG, it was
erroring when compiling in release mode because the lambda
variables were not being used.

Tests For GetPathRoot and Enabling NormalizeDirectorySeparatorTests (#27494)

Corrects its Implementation too

Signed-off-by: dotnet-bot-corefx-mirror <dotnet-bot@microsoft.com>

Use the same default value of MarshalAs.IidParamIndex for both Windows and Unix (#16639)

Merge pull request #16637 from dotnet-bot/from-tfs

Merge changes from TFS

Minimal Fix for the incorrect rangecheck elimination issue reported by Mike Danes

RangeCheck::IsBinOpMonotonicallyIncreasing has a bug that results in incorrect range check elimination – when the second operand is a lclvar it does not check if it’s a positive value, it only checks if it’s monotonically increasing and any constant is treated as such.

[tfs-changeset: 1689890]

Bug in GetFullPath(basePath, Path) (#16598)

* GetFullPath and GetRootLength Corrected

* Removed getpathroot

* using span

* "\\" changed to @"\"

Merge pull request #16533 from briansull/default-fill

Implement JitDefaultFill

Change new ThreadPool.QueueUserWorkItem method to be generic (#16570)

Event pipe guid in metadata (#16316), fixes #16105

* some refactor to remove dumplicated code in tests and make them fit 1 screen

* write the failing test for no activity id

* use 17, the "free slot" of TypeCode enum to represent Guid in event pipe metadata

* remove the test which would not pass until new trace event is released and Event Pipe enabled for Windows

* added comment to TypeCode about using the value 17

* post code review fixes (thanks @justinvp)

* post code review fixes (thanks @brianrob)

* refactor the rest of event pipe tests to use NetPerfFile helper

Implement JitDefaultFill
- Changes and bugs fixes when changing the JitDefaultFill value from 0xff to 0xdd
- Implement randomized DefaultFill for stress
- Added comment header for compGetJitDefaultFill
- Changed C style comments to C++ comments

Fix P1 test build break (#16631)

add PHASE_COMPUTE_REACHABILITY (#16574)

Debugger FIFO pipes are created in TMPDIR if defined #16234 (#16452)

Debugger FIFO pipes are created in TMPDIR if defined #16234

Init name to null termination to ensure failure if GetTempPathA fails

Add MemoryExtensions to CoreLib along with necessary SpanHelpers (#16521)

* Add MemoryExtensions to CoreLib along with necessary SpanHelpers

* Make the newly added AsSpan/AsMemory into array extension methods.

* Remove StringSpanHelpers.Trim

* Leftover AsReadOnlySpan -> AsSpan for *Unix.cs files

* Address PR feedback.

* Remove duplicate methods in the Span class.

* Temporarily disable AsBytes SpanBench test.

* Add back AsBytes

* Re-enable AsBytes SpanBench test

Merge pull request #16514 from echesakovMSFT/UseTargetPointerSizeMacro

Replace sizeof(void*)-like expressions with TARGET_POINTER_SIZE macro

Delete left-over globalization CoreCLR tests (#16571)

Add test for GC.GetAllocatedBytesForCurrentThread (#16428)

* Add test for GC.GetAllocatedBytesForCurrentThread

* modified test to fit coreclr test runner

* add testing with/without gc.collect()

* Address object size difference on x86 machines

Re-attempt fixing case in GC reliability/stress night config  (#16607)

* Address more config case error

Update the table-driven framework to support x86 imm-intrinsics.
And add a new range-check IR for x86 imm-intrinsics.

Add tests/templates for AVX2/SSE2 shift intrinsics

Add tests ShiftLeft/RightLogicalVariable

Add AVX.Compare/CompareScalar tests

Add Avx.SetZeroVector256<T> tests

Upgrade TraceEvent and XUnit-Performance to the latest versions. (#16597)

Fix ascii range check (#16535)

Fix for incorrect case in GC reliability/stress night config (#16595)

* Fix case for Concurrentspin2.exe

Fix SoDBench by retargeting ASP Net feed  (#16596)

Update aspnetcore feed

Define _TARGET_64BIT_ macro if not defined when _TARGET_AMD64_ or _TARGET_ARM64_ in src/jit/jit.h

Avoid async method caching of a 0 decimal task (#16588)

Replace sizeof(void*)-like expressions with TARGET_POINTER_SIZE macro

Fixed mixed mode attach/JIT debugging. (#16552)

Fixed mixed mode attach/JIT debugging.

The mixed mode debugging attach uses TLS slot to communicate between debugger break-in thread and the right side. Unfortunately, the __thread static variables cannot be used on debugger breakin
thread because of it does not have storage allocated for them.

The fix is to switch the storage for debugger word to classic TlsAlloc allocated slot that works
fine on debugger break-in thread.

There was also problem (that is also in 2.0) where the WINNT_OFFSETOF__TEB__ThreadLocalStoragePointer was using the define for 64/32 bit and ended up always the 32 bit Windows value. This caused the right side GetEEThreadValue, GetEETlsDataBlock unmanaged thread functions to always fail.

Merge pull request #16591 from BruceForstall/FixArmTestExclusions

Fix arm32/arm64 test exclusions

Fix arm32/arm64 test exclusions

Use the table of smarty exclusion tags in validArmWindowsScenarios
to drive what tests should be excluded.

Update the exclude table to add `R2R_EXCLUDE` (for consistency),
and tag R2R MinOpts and GCStress jobs appropriately.

Also, run Pri-1 tests for all runs except the 'innerloop' scenario.

Simplify test dependencies for benchmarks (#16378)

Remove the special benchmark configs and update benchmark projects accordingly.
Also update other random projects that were referencing benchmark configs.

Benchmarks now build against the default standard.

Addresses #14124, #16126.

Update PgoData to master-20180226-0052 (#16563)

Delete Single/Double.GetHashCode tests (#16567)

The test is failing because of change in the -NaN hashcode. CoreFX has redundant and better test coverage for these.

Fixes #16566

Merge pull request #16396 from jashook/add_separate_buildtests_official_build_definition

Separate build tests to its own pipeline

Use overriden double/float GetHashCode for default struct hashcodes (#16550)

Fixes #16545

Delete dead code

Delete redundant (RuntimeType) casts

Replace `== (RuntimeType)typeof(` with `== typeof`. The type comparison is treated as JIT intrinsic and the extra cast makes the code for it worse.

Delete redundant int pcaCount intializations

Fix GetCustomAttribute API for DllImportAttribute pseudo custom attribute

GetCustomAttribute for DllImportAttribute was throwing IndexOutOfRangeException. It made XUnit skip the rest of test methods after encoutering DllImport method in the test type.

It is regression introduced by https://github.com/dotnet/coreclr/pull/13870

Fixes https://github.com/dotnet/corefx/issues/27426

Update CoreFx, PgoData to preview2-26225-02, master-20180225-0051, respectively (#16553)

Delete printing of security transparency in SOS (#16560)

Security transparency is not relevant in .NET Core.

Fixed NaN's GetHashCode and Equals invariant issue. (#16551)

Fix #6237

Fix path issues (#16554)

Path tests weren't running so a few issues sneaked in.

Return empty array if length is zero (#16529)

* Return empty array if length is zero

* Return true

* Add support for portable system

* Use portable span helper instead of Array.Empty

* Move to end

* Remove else

* Return empty array if length is 0 in MemoryMarshal

Update CoreFx, PgoData to preview2-26224-02, master-20180223-0037, respectively (#16548)

Fix calling convention gap in DynamicILGenerator.EmitCalli (#16546)

Suppress "local variable is initialized but not used" warning (#16549)

Address more stacktrace print issues (#16525)

* Fix newline issue/duplicate message on Contract failures

* make it work on Unix as well

* cleanup

* Add a newline between error/user messages and stacktrace

Delete eventpipetrace test. (#16534)

Mark sharedgenerics test as GCStressIncompatible (#16507)

Update BuildTools to 2.1.0-preview2-02522-03 (#16532)

[Arm64/Windows] Make r2r green in CI

Enabling CLR implemented write watch on AMD64 on Windows. (#16516)

Add definition _TARGET_64BIT_ in clrdefinitions.cmake

Remove StringBuffer and use ValueStringBuilder (#16512)

* Remove StringBuffer and use ValueStringBuilder

* Address initial feedback

* Address further feedback

* Address some more feedback

* Put back the temporary builder for output.

* Make the temp var ref

JIT: don't trust field offsets in R2R for nullcheck bypass (#16492)

When the jit is forming an field address to pass off to points unknown
it will nullcheck at the point of creation, unless it can prove that the
field is at offset zero. Unfortunately in R2R mode field offsets may not
final and so a zero value seen when prejitting may end up being nonzero
when the code is loaded and fixed up and fool the jit into omitting a null
check that is potentially needed.

So in R2R mode, if a field offset is going to be fixed up, always emit null
checks.

Fixes #16454.

Fix preventing memory allocation in signal handler (#16485)

There was a subtle bug. When the hardware exception handler returns back
to the signal handler, the exception's CONTEXT record may contain
modified registers and so the changes need to be propagated back to the
signal context. But the recent change #16384 was restoring the signal
context from the originally grabbed context instead of the one that's
pointed to by the exception, which is different.

I have also added a little optimization - the contextRecord that was
added is not needed, since the signalContextRecord can be used as the
initial context record for the exception. So we can save the
contextRecord and also copying to the signalContextRecord from it.

Fix build break with older VS versions (#16522)

Adding a TODO-XArch to `Lowering::ContainCheckHWIntrinsic` to track https://github.com/dotnet/coreclr/issues/16497

Adding the missing function header comments to hwintrinsiccodegenxarch.cpp

AsReadOnlySpan -> AsSpan rename to fix build breaks

Rename string-slicing extension methods (dotnet/corefx#27328)

* Rename string-slicing extension methods

As part of

https://github.com/dotnet/corefx/issues/26894

the api folks have approved renaming AsROSpan and AsROMemory
on string instances to AsSpan and AsMemory (as the "readonly"
is obvious given the read-only nature of the input.)

This puts the renaming in effect. Basically a big search-replace
commit.

* Fix OpenSSL build break

* I see this is going to be a treadmill

Signed-off-by: dotnet-bot-corefx-mirror <dotnet-bot@microsoft.com>

Merge pull request #16511 from CarolEidt/FixDD541653

Handle a restored double Interval at block boundary

Update BuildTools, CoreClr, CoreFx, PgoData to preview2-02522-02, preview2-26222-07, preview2-26222-04, master-20180222-0036, respectively (#16501)

Handle a restored double Interval at block boundary

During the process of freeing registers that are no longer live at the start of a new block, we may restore a 'previousInterval'. If that is a double (and the freed interval was float), we need to skip the next float.

Add ReadOnlySpan string-like Equals/CompareTo/IndexOf/Contains API with globalization support (#16467)

* Add ReadOnlySpan string-like Equals/CompareTo/IndexOf/Contains API with globalization support

* Address PR feedback.

* Fix unix implementation

Remove most preemptive checks from GetFullPath (#16478)

* Removing the colon block that tosses out paths that are not device path.

Fixes: #26359

* Striping 2nd and 3rd args of PathHelper.Normalize

* Build on Maryam's changes

- Remove all path validity checks outside of
    - Null
    - Embedded null
    - Empty or all spaces (effectively empty)
- Remove PathStartSkip helper
- Use span overloads for StringBuffer usage
- Clean up some comments

* Address feedback

* Tweak to match other AsSpan methods

Merge pull request #16473 from CarolEidt/FixDD541648

LEA on rhs of block copy can't be contained

Add CoreLib helpers for MemoryExtensions.AsSpan/AsMemory(T[], int) (#16505)

* Add CoreLib helpers for MemoryExtensions.AsSpan/AsMemory(T[], int)

(Part of https://github.com/dotnet/corefx/issues/26894)

We intentionally don't have (T[], int] constructor overloads
for Span and Memory. So as not to incur unnecessary argument checks,
we implement this directly in CoreLib and will invoke it from
CoreFx for the fast-Span version.

* Expose an internal array-int constructor instead.

Remove relocations for MethodTable::m_pParentMethodTable for Linux ARM (#15915)

Fix impl of ReadOnlySpan ToLower/ToUpper for Unix. (#16496)