Merge pull request #17531 from BruceForstall/SpmiProtectJitStartup

Protect SuperPMI from crashes calling jitStartup

[Arm64/Linux] Use platform memset/memcpy (#17536)

Fixes buggy memset implementation
Use heavily optimized platform implementation
Follows amd64 & arm precedent

[Arm64/Windows] Simplify JIT_MemSet & JIT_MemCpy (#17537)

JIT_Memset alignment code was definitly broken for some
unaligned cases

JIT_MemCpy likely had the same issue

Simplify implementation to reduce maintenance burden

Preserve VASigCookieReg across PInvokeStubWorker call (#17521)

The call to PInvokeStubWorker can do all kinds of stuff to the
VASigCookieReg in the GenericPInvokeCalli case, since x15 is just a
temporary register. Let's save it in a callee-saved register so that
when we come back after stub generation, we still have the correct value
for the VASigCookie.

Collapse leftover AsSpan().Slice(...) into AsSpan(...) (#29078)

Signed-off-by: dotnet-bot-corefx-mirror <dotnet-bot@microsoft.com>

Update CoreClr, CoreFx to preview3-26413-01, preview3-26413-02, respectively (#17538)

Remove CreateFromPinnedArray from Memory (moved to MemoryMarshal) (#17532)

Fix for 17398. (#17501)

When enumerating live gc registers, if we are not on the active stack frame,
we need to report callee-save gc registers that are live before the call.
The reason is that the liveness of gc registers may change across a call
to a method that does not return. In this case the instruction after the call
may be a jump target and a register that didn't have a live gc pointer before
the call may have a live gc pointer after the jump. To make sure we report the
registers that have live gc pointers before the call we subtract 1 from curOffs.

Use string.IsNullOrEmpty to eliminate bounds check to first char (#17512)

Protect SuperPMI from crashes calling jitStartup

When we call jitStartup, we pass a JitHost interface that the JIT
calls to query for data. These queries look up in the recorded
MCH data, and could fail (and throw an exception) if data is
missing, which it can be for running non-matching altjit against
a collection. Protect these calls with exception handling.

Update CoreClr, CoreFx, PgoData to preview3-26412-06, preview3-26412-07, master-20180412-0051, respectively (#17526)

Fixed #16503 [x64 arm32] the test smalloom terminated with signal SIGKILL

Update BuildTools, CoreClr, CoreFx, PgoData to preview3-02711-02, preview3-26412-01, preview3-26412-02, master-20180411-0039, respectively (#17509)

Reenable Perf Correctness smoketest (#17520)

Merge pull request #17464 from briansull/wip-17435

Fix for issue #17435 - Incorrect CSE with SSE Hardware intrinsics

Fixed checks for Avx/Avx2.InsertVector128 to check the type of the second arg
Added test case JIT\HardwareIntrinsics\X86\Regression\GitHub_17435

Mutate the global heap valuenumber for any HW intrinsic that performs a memory store operation
Use fgMutateGcHeap to record memory write operations by HW Intrinsics
Set flags for the HW Intrinsic nodes that access Memory
Added support for HWIntrinsic nodes to OperMayThrow
Added support for GT_HWIntrinsic to GenTree::OperRequiresAsgFlag() and GenTree::OperIsImplicitIndir()
Refactored GenTreeHWIntrinsic::OperIsMemoryLoad() and GenTreeHWIntrinsic::OperIsMemoryStore()
Added GenTreeHWIntrinsic::OperIsMemoryLoadOrStore()
Deleted the static version of OperIsImplicitIndir(gtOper)

Some cleanup for ArrayPool trimming (#17518)

* Some cleanup for ArrayPool trimming

- fix static names
- make config switch more specific
- tweak tls free logic for logging

* Tweak the name of the config switch

Remove MemoryManager.Length (#17498)

* Remove MemoryManager.Length

* Feedback

* XML comment nits

Merge pull request #17431 from CarolEidt/Fix17389

LSRA: remove last uses only at use point

Fix Valuenum:EvalFuncForConstantArgs (#17506)

Fix CoreRT build breaks

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Ensure previous steps haven't failed when building tests (#17514)

Update conditions to ensure that we don't continue on failed test builds

Add GetPinnableReference back to Span and ReadOnlySpan (#17504)

Fix Assert in ValueTask (#17511)

Fix cmake toolchain compile flags loop (#17380)

- fix https://github.com/dotnet/corert/issues/5093
- cmake toolchain refactoring

Signed-off-by: Petr Bred <bredpetr@gmail.com>

Simple trim of ArrayPool buffers (#17078)

* Simple trim of ArrayPool buffers

Trim ArrayPool buffers on Gen2 GC if the buffer stack hasn't been emptied for awhile. If you haven't pulled all of the buffers in the past 10 seconds, let loose the top buffer on the stack and give the stack another 2 seconds of potential life. When the stack gets it's bottom bufferr returned the clock resets.

* Collect thread locals as well

* Add event

* Incorporate memory pressure into trimming.

Idea is that we normally give buckets a minute of age time unless the pressure starts to ramp up. As it ramps up we'll trim more off the stacks. If it gets really high we'll consider stale to be 10s instead of 1 min.

* Add implementation back for PinnableBufferCacheEventSource.

* Remove security attribute.
Fix GetMemoryInfo signature

* Always use Tls* for shared pools
Add environment variable switch

* Add guid to PinnableBufferCacheEventSource

* Address feedback

- move setting code to CLRConfig
- add constructor to PBCES
- trim large arrays more aggressively
- tweak names (ticks to ms, etc.)
- interlock creating the cleanup callback
- fix project file

Rent/return perf numbers are unchanged

* Remove static constructor
Inline Unsafe.SizeOf

* Fix spacing issue

* Trim all thread locals when memory pressure is high.
Move constants inline.

* Undo formatting changes

* Add back the internal call

* Put the right bits back *sigh*

* Missing the line feed

* Add event for trim polling

* Undo PinnableBufferCacheEventSource reimplementation

Update CoreClr, CoreFx to preview3-26411-01, preview3-26411-01, respectively (#17507)

Fix x86 steady state tiered compilation performance (#17476)

* Fix x86 steady state tiered compilation performance

Also included - a few tiered compilation only test hooks + small logging fix for JitBench

Tiered compilation wasn't correctly implementing the MayHavePrecode and RequiresStableEntryPoint policy functions. On x64 this was a non-issue, but due to compact entrypoints on x86 it lead to methods allocating both FuncPtrStubs and Precodes. The FuncPtrStubs would never get backpatched which caused never ending invocations of the Prestub for some methods. Although such code still runs correctly, it is much slower than it needs to be. On MusicStore x86 I am seeing a 20% improvement in steady state RPS after this fix, bringing us inline with what I've seen on x64.

Add CreateFromPinnedArray to MemoryMarshal (#17500)

* Add CreateFromPinnedArray to MemoryMarshal

* Address PR feedback: Add a warning remark to CreateFromPinnedArray

Merge pull request #17466 from dotnet-maestro-bot/master-UpdateDependencies

Update CoreClr, CoreFx, PgoData to preview3-26410-07, preview3-26409-05, master-20180410-0048, respectively (master)

Update timeout for running scenario benchmarks (#17440)

This change ups the timeout for running benchmarks to 60 minutes, and changes the training data corpus file to one that is now stored in azure blob storage, and is only 10MB, to reduce the time spent running this benchmark (which was excessively long for our lab perf testing).

Update CoreClr, CoreFx, PgoData to preview3-26410-07, preview3-26409-05, master-20180410-0048, respectively

Use non-inlineable overload for rare CompareOrdinalIgnoreCase path (#17492)

This fixes regression introduced in #17237.

Fix trigger for tier 1 call counting delay (#17477)

Fix trigger for tier 1 call counting delay

The trigger was taking into account all non-tier-1 JIT invocations to delay call counting, even for those methods that are not eligible for tiering. In the AllReady benchmark, some dynamic methods were being jitted frequently enough to not allow tier 1 call counting to begin. Fixed to count only eligible methods jitted at tier 0, such that methods not eligible for tiering don't interfere with the tiering heuristics.

Handle last uses that become contained

Avoid Unsafe.As usage in ValueTask that can break type safety (#17471)

Unsafe.As yields a performance improvement over using a normal cast, and it's fine when ValueTask is used correctly, but if the ValueTask instance were to be stored into a field and multiple threads incorrectly raced to access it, a torn read/write could result in violating type safety due to ObjectIsTask reading the wrong value for the associated object. This commit changes the implementation to only use the single object field to determine which paths to take, rather than factoring in a second field that may not be in sync.

Merge pull request #17485 from weshaggard/SignCrossTools

Enable signing for cross targeting tools

Enable signing for cross targeting tools

Fix MemoryManager ctor and use internal span ctor to improve performance (#17452)

* Fix MemoryManager ctor, add unit and perf tests, and use internal span ctor.

* Address PR feedback (remove use of Unsafe.As and Dangerous Span Ctor)

Reverting changes from #17401 (#17482)

LSRA: remove last uses only at use point

LSRA maintains liveness within a block to determine what's live across a call. It uses the last use bits on lclVar nodes to remove them from the set. However, this should be done at the point of use rather than at the point where the lclVar is encountered in the execution stream.

Fix #17389

Disable some tests under GCStress where they take too long to complete (#17437)

* Disable some tests under GCStress where they take too long to complete

https://github.com/dotnet/coreclr/issues/15309

Adding dlerr() diagnostics for libicu dlsym errors (#17454)

Fix OpenVirtualProcess SIGSEGV on Linux. (#17444)

Add DBI OpenVirtualProcessImpl2 that takes a module path instead of handle.

Fix assert on Windows debug.

Issue #17446

Publish symbols using Microsoft.SymbolUploader.Build.Task package (#17463)

Added PB_SymbolExpirationInDays (settable at queue time), PB_MsdlSymbolServerPAT, PB_SymwebSymbolServerPAT variables.

Added "msdl" (publish symbols to public Microsoft server) and "symweb" (publish symbols to symweb) variables to PB_PublishType.

Update to version 1.0.0-beta-62806-01 of the symbol uploader.

Issue #16482

Update CoreClr, CoreFx to preview3-26406-08, preview3-26406-06, respectively (#17445)

Merge pull request #17418 from CarolEidt/Fix590358

Handle SIMD8/LONG recasts for LCL_FLD

Add GetLoaderAllocatorObjectForGC to IGCToCLR (#17443)

Test windows event log (#17401)

* Windows Event Log tests

* Add test for windows event log

* Make it run under one executable

* Removing duplicate files

* remove more useless file

* fix formatting for reference to Diagnostics.EventLog

* Windows Event Log test is not supported outside Windows

* More logging to see why failures are occuring...

* Fix typo

* fix more typos

* just make the test pass on non-windows platforms

* Make the test more reliable with timing

Fix GC stress modes 4 and 8 on Linux ARM (#17456)

There were two problems:
* The illegal instruction 0xde01 used for INTERRUPT_INSTR_CALL doesn't
  generate SIGILL, but SIGTRAP, since this is the code used for
  breakpoints.
* The USE_REDIRECT_FOR_GCSTRESS was defined even for FEATURE_PAL for
  ARM, which is incorrect and resulted in explicit redirect frame not
  being created in DoGcStress and thus the GC stack walk was skipping
  managed frames that it should walk.

Add YieldAwaiter support to the async method builder delegate optimization (#17441)

We added an optimization to async methods that lets the builder avoid allocating the Action delegate when it recognizes the awaiter being used.  Previously this was enabled for all of the publicly exposed awaiters in corelib, with the exception of YieldAwaiter (what's used with Task.YIeld).  It was enabled by having the awaiter implement an internal interface.  This commit just generalizes that interface name and then implements it on YIeldAwaiter to complete the picture.

Add some comments to SpanHelpers.Char IndexOf and LastIndexOf (#17447)

revert "Work around MCG bug around `ref char` marshalling #5481" (#5656)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Update docker images for arm32 (#17422)

* mark places that we need to change

* update dockumentation for arm

* update build.sh for arm

* update dockers' versions

* fix build.sh

* change default version for arm/armem/arm64

Merge pull request #17363 from CarolEidt/Fix17242

GC info fix: correctly adjust argCnt

formatting

Remove fgMorphLocalField invalid assert

Vectorize and use ROSpan.LastIndexOf as the workhorse for string.LastIndexOf (#17370)

* Vectorize and use ROSpan.LastIndexOf as the workhorse for string.LastIndexOf

* Address PR feedback, remove Length == 0 checks where unnecessary.

* Use aligned vector read just like IndexOf

Add Word2Vec Benchmark Harness (#17350)

* Add Word2Vec Benchmark Harness

This change adds an additional scenario benchmark, the Word2Vec
benchmark. The harness pulls down Word2Vec.Net from eabdullin, applies a
patch of changes that we made to work with netcoreapp21, harness the
word training and search, and then runs the benchmark. It also updates
the timeout for running benchmarks, since the training scenario on a
100M file takes about 7 minutes locally.

Merge pull request #17424 from BruceForstall/FixArmCoreFxTests

Disable corefx Microsoft.Win32.Registry.Tests on ARM

Merge pull request #17432 from stephentoub/portnumericperf

Improve {u}int/long.ToString/TryFormat throughput by pre-computing the length

Rename conflicting definitions VER_MAJOR/MINORVERSION macros (#17364)

* Rename conflicting definitions of VER_MAJOR/MINORVERSION

These macros are defined by Windows SDK. They were overload to mean CLR version
that was causing interesting redefinition issues.

* Delete workaround for redefined Windows SDK macros

* Delete ProjectN version

* Delete dead code

Update CoreClr, CoreFx to preview3-26405-01, preview3-26405-01, respectively (#17430)

Use FormattingHelpers.Count{Hex}Digits in {u}int/long.ToString/TryFormat

Currently we create a temporary buffer on the stack, format into it, and then copy from that stack buffer into either the target span (for TryFormat) or into a new string (for ToString.

Following the approach as (and sharing the same code from) Utf8Formatter, where it first counts the number of digits in the output in order to determine an exact length, this commit changes the implementation to skip the temporary buffer and just format directly into the destination span or string.

This results in a very measurable performance boost.

Move FormattingHelpers.Count{Hex}Digits from Utf8Formatter into shared

JIT: refine x86 gc reg kill set for CORINFO_HELP_INIT_PINVOKE_FRAME (#17421)

This helper only kills EAX/ESI on x86, so make sure that is reflected in
the gc kill set.

Resolves #17404.

Merge pull request #17426 from dotnet-maestro-bot/master-UpdateDependencies

Update BuildTools to preview3-02704-01 (master)

Fix ARM32 on ARM64 Tracing (#17417)

Update BuildTools to preview3-02704-01

Handle SIMD8/LONG recasts for LCL_FLD

Lowering needs to insert a `BITCAST` in the case of a `STORE_LCL_FLD` with mismatched `TYP_SIMD8`/`TYP_LONG` operands, just as for `STORE_LCL_VAR`.

Disable corefx Microsoft.Win32.Registry.Tests on ARM

Failures tracked by #17423.

Fix ExecutionContext capture in Task (#17407)

When Task was refactored in core to remove the defunct StackCrawlMark support, the code that captured ExecutionContext was moved from a helper into TaskConstructorCore.  In doing so, though, it was put at the beginning of TaskConstructorCore, even though in its previous location it would have come after the call to TaskConstructorCore.

That change of place is causing an assert to fire, validating that m_stateFlags is still 0, which is failing because if ExecutionContext.Capture() returns null due to flow being suppressed, the code that stores the context sets a bit into m_stateFlags (to be able to differentiate null meaning no state flowed and null meaning default).

The assert is correct, though, and a small bug did result from this: Task hasn't been entirely respecting ExecutionContext.SuppressFlow (which was added back in .NET Core 2.0), in that it won't flow the current context, but because it would overwrite that bit in m_stateFlags, it would treat a null ExecutionContext as default instead of as flow suppressed, and thus would use ExecutionContext.Default to invoke the Task's delegate.  That in turn means that any EC changes made by the Task's delegate wouldn't be visible to the caller, as EC.Run would be used.

The fix is simply to move the code to the end of TaskConstructorCore instead of having it at the beginning.

Correct the path to NuGet cache (#17400)

Update CoreClr to preview3-26404-06 (#17408)

[x86/Linux] Fix COMNumber::DoubleToNumberFC arguments order (#17412)

We should use FCDECL3_VII/FCIMPL3_VII instead of FCDECL3/FCIMPL3
otherwise we got incorrect order of arguments that leads to crashes.

Consolidate and optimize TextInfo.ChangeCase (#17391)

- Move most of the implementation to the platform-agnostic file, rather than having completely different implementations for Windows and Unix.  Now the only logic in each platform-specific file is the logic around invoking the associated P/Invoke.
- Optimize that implementation to take a fast path that doesn't allocate when no case change is needed, and to avoid the native call when the whole string is ASCII.

Avoid unnecessary string allocations in IdnMapping (#17399)

If the output matches the input string, we can just use the input string as the result.

Update BuildTools, CoreClr, CoreFx, PgoData to preview3-02703-02, preview3-26404-01, preview3-26403-04, master-20180403-1552, respectively (#17383)

Merge pull request #17372 from BruceForstall/ArmWriteBarrierTighten3

Tighten arm32/arm64 write barrier kill reg sets

Remove most ARM NYI (#17365)

* Remove most ARM NYI

Convert most existing ARM NYI either to asserts or remove
the code entirely.

A few NYI are left, including:
1. GT_BITCAST from 'int' to 'float'
2. initblk unrolling is unimplemented: https://github.com/dotnet/coreclr/issues/16349
3. SIMD-related NYI (SIMD is currently unimplemented)

Merge pull request #17352 from sdmaclea/PR-ARM64-Add-x64_arm64-crossgen

[Arm64] Add x64_arm64 crossgen to tools package

Increase crst level for ReadyToRunInfo's map lock (#17376)

Fixes regex-redux-1 failure seen in https://github.com/dotnet/coreclr/issues/15309
- HashMap lookups and insertions occur under a level 0 lock and may enter cooperative GC mode inside the lock. A GC that is triggered may delete some dynamic code, which takes another level 0 lock. It does not look like it's possible for a deadlock as a result.
- Fixed by increasing the crst level for the lock used in ReadyToRunInfo

Mark GcCollect test as incompatible with GcStress (#17390)

Extends changes in #17319 to cover stress tests run via the normal
msbuild/xunit test harness.

[local gc] gc spinning part 1 (#17341)

Add an api so the VM can tell the GC how long to spin for to normalize across processor families.

Adding Begin/End definitions. Formatting correctly.

Added a new API to provide memory information that GC records. This (#17326)

is to be used by BCL for deciding when to trim memory usage in pooling code

Update CoreClr, CoreFx to preview3-26402-06, preview3-26402-02, respectively (#17377)

Merge pull request #17313 from fiigii/sethilo

Implement AVX SetHighLow

[master] Add switches for legacy signing (#17353)

* Add switches for legacy signing

[Arm64] Add x64_arm64 crossgen to tools package

Update CoreClr, CoreFx to preview3-26331-05, preview3-26331-05, respectively (#17371)

Merge pull request #17180 from fiigii/fixavxtests

Fix the code-size estimation for AVX/AVX2 ExtractVector128

Fix for 17289 (#17336)

Make AsSpan(this string) ForceInline to be on par with AsSpan(this T[]) (#17368)

Delete dead code to support OSes prior to Windows 7 (#17367)

Merge pull request #17329 from briansull/struct-gscheck-fix

Reject struct promotion of parameters when -GS checks are enabled

fix for HasCriticalFinalizer in local gc (#17369)

Tighten arm32/arm64 write barrier kill reg sets

The JIT write barrier helpers have a custom calling convention that
avoids killing most registers. The JIT was not taking advantage of
this, and thus was killing unnecessary registers when a write barrier
was necessary. In particular, some integer callee-trash registers
are unaffected by the write barriers, and no floating-point register
is affected.

Also, I got rid of the `FEATURE_WRITE_BARRIER` define, which is always
set. I also put some code under `LEGACY_BACKEND` for easier cleanup
later. I removed some unused defines in target.h for some platforms.

Merge pull request #17319 from janvorli/disable-gc-stress-incompatible-test

Mark GCCollect test as GC stress excluded