Adding dlerr() diagnostics for libicu dlsym errors (#17454)

Fix OpenVirtualProcess SIGSEGV on Linux. (#17444)

Add DBI OpenVirtualProcessImpl2 that takes a module path instead of handle.

Fix assert on Windows debug.

Issue #17446

Publish symbols using Microsoft.SymbolUploader.Build.Task package (#17463)

Added PB_SymbolExpirationInDays (settable at queue time), PB_MsdlSymbolServerPAT, PB_SymwebSymbolServerPAT variables.

Added "msdl" (publish symbols to public Microsoft server) and "symweb" (publish symbols to symweb) variables to PB_PublishType.

Update to version 1.0.0-beta-62806-01 of the symbol uploader.

Issue #16482

Update CoreClr, CoreFx to preview3-26406-08, preview3-26406-06, respectively (#17445)

Merge pull request #17418 from CarolEidt/Fix590358

Handle SIMD8/LONG recasts for LCL_FLD

Add GetLoaderAllocatorObjectForGC to IGCToCLR (#17443)

Test windows event log (#17401)

* Windows Event Log tests

* Add test for windows event log

* Make it run under one executable

* Removing duplicate files

* remove more useless file

* fix formatting for reference to Diagnostics.EventLog

* Windows Event Log test is not supported outside Windows

* More logging to see why failures are occuring...

* Fix typo

* fix more typos

* just make the test pass on non-windows platforms

* Make the test more reliable with timing

Fix GC stress modes 4 and 8 on Linux ARM (#17456)

There were two problems:
* The illegal instruction 0xde01 used for INTERRUPT_INSTR_CALL doesn't
  generate SIGILL, but SIGTRAP, since this is the code used for
  breakpoints.
* The USE_REDIRECT_FOR_GCSTRESS was defined even for FEATURE_PAL for
  ARM, which is incorrect and resulted in explicit redirect frame not
  being created in DoGcStress and thus the GC stack walk was skipping
  managed frames that it should walk.

Add YieldAwaiter support to the async method builder delegate optimization (#17441)

We added an optimization to async methods that lets the builder avoid allocating the Action delegate when it recognizes the awaiter being used.  Previously this was enabled for all of the publicly exposed awaiters in corelib, with the exception of YieldAwaiter (what's used with Task.YIeld).  It was enabled by having the awaiter implement an internal interface.  This commit just generalizes that interface name and then implements it on YIeldAwaiter to complete the picture.

Add some comments to SpanHelpers.Char IndexOf and LastIndexOf (#17447)

revert "Work around MCG bug around `ref char` marshalling #5481" (#5656)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Update docker images for arm32 (#17422)

* mark places that we need to change

* update dockumentation for arm

* update build.sh for arm

* update dockers' versions

* fix build.sh

* change default version for arm/armem/arm64

Merge pull request #17363 from CarolEidt/Fix17242

GC info fix: correctly adjust argCnt

formatting

Remove fgMorphLocalField invalid assert

Vectorize and use ROSpan.LastIndexOf as the workhorse for string.LastIndexOf (#17370)

* Vectorize and use ROSpan.LastIndexOf as the workhorse for string.LastIndexOf

* Address PR feedback, remove Length == 0 checks where unnecessary.

* Use aligned vector read just like IndexOf

Add Word2Vec Benchmark Harness (#17350)

* Add Word2Vec Benchmark Harness

This change adds an additional scenario benchmark, the Word2Vec
benchmark. The harness pulls down Word2Vec.Net from eabdullin, applies a
patch of changes that we made to work with netcoreapp21, harness the
word training and search, and then runs the benchmark. It also updates
the timeout for running benchmarks, since the training scenario on a
100M file takes about 7 minutes locally.

Merge pull request #17424 from BruceForstall/FixArmCoreFxTests

Disable corefx Microsoft.Win32.Registry.Tests on ARM

Merge pull request #17432 from stephentoub/portnumericperf

Improve {u}int/long.ToString/TryFormat throughput by pre-computing the length

Rename conflicting definitions VER_MAJOR/MINORVERSION macros (#17364)

* Rename conflicting definitions of VER_MAJOR/MINORVERSION

These macros are defined by Windows SDK. They were overload to mean CLR version
that was causing interesting redefinition issues.

* Delete workaround for redefined Windows SDK macros

* Delete ProjectN version

* Delete dead code

Update CoreClr, CoreFx to preview3-26405-01, preview3-26405-01, respectively (#17430)

Use FormattingHelpers.Count{Hex}Digits in {u}int/long.ToString/TryFormat

Currently we create a temporary buffer on the stack, format into it, and then copy from that stack buffer into either the target span (for TryFormat) or into a new string (for ToString.

Following the approach as (and sharing the same code from) Utf8Formatter, where it first counts the number of digits in the output in order to determine an exact length, this commit changes the implementation to skip the temporary buffer and just format directly into the destination span or string.

This results in a very measurable performance boost.

Move FormattingHelpers.Count{Hex}Digits from Utf8Formatter into shared

JIT: refine x86 gc reg kill set for CORINFO_HELP_INIT_PINVOKE_FRAME (#17421)

This helper only kills EAX/ESI on x86, so make sure that is reflected in
the gc kill set.

Resolves #17404.

Merge pull request #17426 from dotnet-maestro-bot/master-UpdateDependencies

Update BuildTools to preview3-02704-01 (master)

Fix ARM32 on ARM64 Tracing (#17417)

Update BuildTools to preview3-02704-01

Handle SIMD8/LONG recasts for LCL_FLD

Lowering needs to insert a `BITCAST` in the case of a `STORE_LCL_FLD` with mismatched `TYP_SIMD8`/`TYP_LONG` operands, just as for `STORE_LCL_VAR`.

Disable corefx Microsoft.Win32.Registry.Tests on ARM

Failures tracked by #17423.

Fix ExecutionContext capture in Task (#17407)

When Task was refactored in core to remove the defunct StackCrawlMark support, the code that captured ExecutionContext was moved from a helper into TaskConstructorCore.  In doing so, though, it was put at the beginning of TaskConstructorCore, even though in its previous location it would have come after the call to TaskConstructorCore.

That change of place is causing an assert to fire, validating that m_stateFlags is still 0, which is failing because if ExecutionContext.Capture() returns null due to flow being suppressed, the code that stores the context sets a bit into m_stateFlags (to be able to differentiate null meaning no state flowed and null meaning default).

The assert is correct, though, and a small bug did result from this: Task hasn't been entirely respecting ExecutionContext.SuppressFlow (which was added back in .NET Core 2.0), in that it won't flow the current context, but because it would overwrite that bit in m_stateFlags, it would treat a null ExecutionContext as default instead of as flow suppressed, and thus would use ExecutionContext.Default to invoke the Task's delegate.  That in turn means that any EC changes made by the Task's delegate wouldn't be visible to the caller, as EC.Run would be used.

The fix is simply to move the code to the end of TaskConstructorCore instead of having it at the beginning.

Correct the path to NuGet cache (#17400)

Update CoreClr to preview3-26404-06 (#17408)

[x86/Linux] Fix COMNumber::DoubleToNumberFC arguments order (#17412)

We should use FCDECL3_VII/FCIMPL3_VII instead of FCDECL3/FCIMPL3
otherwise we got incorrect order of arguments that leads to crashes.

Consolidate and optimize TextInfo.ChangeCase (#17391)

- Move most of the implementation to the platform-agnostic file, rather than having completely different implementations for Windows and Unix.  Now the only logic in each platform-specific file is the logic around invoking the associated P/Invoke.
- Optimize that implementation to take a fast path that doesn't allocate when no case change is needed, and to avoid the native call when the whole string is ASCII.

Avoid unnecessary string allocations in IdnMapping (#17399)

If the output matches the input string, we can just use the input string as the result.

Update BuildTools, CoreClr, CoreFx, PgoData to preview3-02703-02, preview3-26404-01, preview3-26403-04, master-20180403-1552, respectively (#17383)

Merge pull request #17372 from BruceForstall/ArmWriteBarrierTighten3

Tighten arm32/arm64 write barrier kill reg sets

Remove most ARM NYI (#17365)

* Remove most ARM NYI

Convert most existing ARM NYI either to asserts or remove
the code entirely.

A few NYI are left, including:
1. GT_BITCAST from 'int' to 'float'
2. initblk unrolling is unimplemented: https://github.com/dotnet/coreclr/issues/16349
3. SIMD-related NYI (SIMD is currently unimplemented)

Merge pull request #17352 from sdmaclea/PR-ARM64-Add-x64_arm64-crossgen

[Arm64] Add x64_arm64 crossgen to tools package

Increase crst level for ReadyToRunInfo's map lock (#17376)

Fixes regex-redux-1 failure seen in https://github.com/dotnet/coreclr/issues/15309
- HashMap lookups and insertions occur under a level 0 lock and may enter cooperative GC mode inside the lock. A GC that is triggered may delete some dynamic code, which takes another level 0 lock. It does not look like it's possible for a deadlock as a result.
- Fixed by increasing the crst level for the lock used in ReadyToRunInfo

Mark GcCollect test as incompatible with GcStress (#17390)

Extends changes in #17319 to cover stress tests run via the normal
msbuild/xunit test harness.

[local gc] gc spinning part 1 (#17341)

Add an api so the VM can tell the GC how long to spin for to normalize across processor families.

Adding Begin/End definitions. Formatting correctly.

Added a new API to provide memory information that GC records. This (#17326)

is to be used by BCL for deciding when to trim memory usage in pooling code

Update CoreClr, CoreFx to preview3-26402-06, preview3-26402-02, respectively (#17377)

Merge pull request #17313 from fiigii/sethilo

Implement AVX SetHighLow

[master] Add switches for legacy signing (#17353)

* Add switches for legacy signing

[Arm64] Add x64_arm64 crossgen to tools package

Update CoreClr, CoreFx to preview3-26331-05, preview3-26331-05, respectively (#17371)

Merge pull request #17180 from fiigii/fixavxtests

Fix the code-size estimation for AVX/AVX2 ExtractVector128

Fix for 17289 (#17336)

Make AsSpan(this string) ForceInline to be on par with AsSpan(this T[]) (#17368)

Delete dead code to support OSes prior to Windows 7 (#17367)

Merge pull request #17329 from briansull/struct-gscheck-fix

Reject struct promotion of parameters when -GS checks are enabled

fix for HasCriticalFinalizer in local gc (#17369)

Tighten arm32/arm64 write barrier kill reg sets

The JIT write barrier helpers have a custom calling convention that
avoids killing most registers. The JIT was not taking advantage of
this, and thus was killing unnecessary registers when a write barrier
was necessary. In particular, some integer callee-trash registers
are unaffected by the write barriers, and no floating-point register
is affected.

Also, I got rid of the `FEATURE_WRITE_BARRIER` define, which is always
set. I also put some code under `LEGACY_BACKEND` for easier cleanup
later. I removed some unused defines in target.h for some platforms.

Merge pull request #17319 from janvorli/disable-gc-stress-incompatible-test

Mark GCCollect test as GC stress excluded

Fix#16827 Stack probing for Linux (#17360)

* Add stack probing algorithm that moves sp while touching pages under _TARGET_UNIX_ only

Update BuildTools, CoreClr, CoreFx to preview3-02631-01, preview3-26331-01, preview3-26331-02, respectively (#17346)

PEImageLayout: clear instruction cache after relocations

It fixes crashes on arm when using AOT images.

Fix ilasm COR header (#17357)

Ilasm was emitting the wrong metadata version in the COR header.

This created a difference when examining the metadata diff between
desktop and core.

Only allow the rundown thread to write events during rundown to avoid corruption of the trace file. (#17358)

Reject struct promotion of parameters when -GS checks are enabled
as we could introduce shadow copies of them.
Add new test case: GitHub_17329.cs

[arm32] Fixed RBM_PROFILER_* (#17291)

* [arm32] Fixed RBM_PROFILER_*

* Changed trash registers to RBM_NONE

GC info fix: correctly adjust argCnt

When there are nested calls, and there is a non-ptr on the stack below the last ptr popped by the inner call, the `argHigh` and `argCnt` values can get out of sync.

Fix remote unwind (#17351)

The change that removed dependency on the external libunwind has broken
remote unwinding. I have not realized that the unw_create_addr_space
and other remote unwinding functions are just dummies.

This change adds the remote unwind related sources to the libunwind
compilation, enables remote unwinding support in the remote-unwind.cpp
and also does some magic in the CMakeLists.txt to fix issues caused
by the fact that the local and remote unwinding code was not expected
to be compiled into the same binary. There was one general and one
arm related function whose names needed to be different for local and
remote unwind code. And there was one function that was the same for
both local and remote case and so I had to ensure that it gets compiled
in just once.

Fortunately, all of these could still be achieved without changing the
libunwind sources.

replace unreached with assert(false) (#17359)

add an additional assert for the future

fix the bug

add repro

fix ifdefs comments

Implement AVX SetHighLow

Merge pull request #17314 from fiigii/fixgctests

Fix GCStress failures from hardware intrinsic tests

Update CoreClr, CoreFx to preview3-26330-06, preview3-26330-06, respectively (#17344)

Change OwnedMemory to MemoryManager and add an IMemoryOwner. (#17340)

* Change OwnedMemory to MemoryManager and add an IMemoryOwner.

* Fix comments.

* Reset start and length if TryGetMemoryManager returns false.

* Reset start and length if TryGetMemoryManager returns false [actually].

* Re-order MemoryHandle ctor parameters and rename TOwner to TManager.

* Fix formatting, remove unused code, and fix impl of Pin()

Update CoreClr to preview3-26330-01 (#17328)

Merge pull request #17327 from weshaggard/FixIdentityPackageBuild

Fix identity package filtering

Fix GCStress failures

Merge pull request #17322 from BruceForstall/FixTestBuild

Add back hosting to split builds

Merge pull request #17211 from mikedn/dyn-hwinfo

Remove HWIntrinsicFlag bitwise OR operator

Fix identity package filtering

We only want to filter out identity package builds on
official builds that aren't windows x64, to avoid building
and publishing them more then once in an official build.

We also need to account for source-build which sets the
OfficialBuildId property to replicate the official builds,
so we also look at the DotNetBuildOffline property to
determine that we should still build the identity package.

Fix for incorrectly handle invalid UTF8 characters issue (#17302)

There are some behavior difference between C/C++ UTF8 encoder/decoder and Encoding.UTF8 as mentioned by #16786.

Fix AssemblyLoadContext.Unloading and ProcessExit for Windows Docker containers (#17265)

On Windows, we need to shutdown the EE when receiving a CTRL_CLOSE_EVENT to we run ProcessExit handlers and other code that relies on ProcessExit working (like AssemblyLoadContext.Unloading). One way we receive this event is when there's a running process in a docker container that has the stop command run against it.

Merge pull request #17304 from dotnet/RemovingObsoleteCleanupBuilds

This BuildTask has been deprecated in favor of maintenance jobs.

Update CoreFx to preview3-26329-05 (#17318)

Add back hosting to split builds

Dict cache default comparer for object types (#17285)

* Dict cache default comparer for object types

* Improves

* Fix EventRegistrationToken Equals

StringBuilder.Equals: value to span (#17311)

Mark GCCollect test as GC stress excluded

This test is incompatible with GC stress. The tests compares results of
GC.GetTotalMemory before and after GC.Collect and fails if the size
before the collection is smaller than after the collection. But GC
stress breaks this assumption.

change arm maxIter to 20 (#17308)

Update BuildTools, CoreClr, CoreFx to preview3-02629-02, preview3-26329-01, preview3-26329-01, respectively (#17309)

[Arm64] Correct cross/arm64/tryrun.cmake (#17293)

Update BuildTools, CoreClr to preview3-02628-01, preview3-26328-08, respectively (#17299)

Merge pull request #17280 from weshaggard/SyncInitToolsWithSourceBuild

Sync init-tools scripts with what is in source-build

Use ROSpan.IndexOf as the workhorse for string.IndexOf (#17284)

* Use ROSpan.IndexOf as the workhorse for string.IndexOf

* Make changes to Span.IndexOf to follow what string.IndexOf did.

* Address PR feedback.

* Use Unsafe.Read instead of Unsafe.ReadUnaligned.

* Remove special casing for count == 0

* Fix up debug assert to use vector count instead of intptr.size

* Use size of Vector<ushort> instead of Vector<byte>.Count

Fix Dictionary CopyTo regression (#17300)

This BuildTask has been deprecated in favor of maintenance jobs.

Merge pull request #17303 from BruceForstall/EnableUbuntuArmGCStressJobsMaster

Enable Linux arm32 GCStress jobs

Removing 'EXPERIMENTAL' from tiered compilation env var (#17283)

Things have progressed far enough that its time to use a friendlier name. The feature still still has performance aspects that need to be investigated and improved, but I don't want to scare people off simply because it isn't as fast as it could be.
This also updates to use a newer CoreFX version for JitBench since that appeared to be broken, and updated some comments and usage of the tieredcompilation variable.

Enable Linux arm32 GCStress jobs

Non-PR jobs (cron and push) are disabled for now.