Add PInvoke/ExactSpelling tests (#19303)

* Add PInvoke/ExactSpelling tests

Refactor tests to fit with the rest of the Interop tests.

Fix up test to cleanly run.

Change CMakeLists.txt to match the rest of the tests.

Include Interop.cmake in CMakeLists.txt

Remove Service.

* On x86 enable stdcall mangling irrespective of ExactSpelling and account for the charset suffix when ExactSpelling = false.

Change variable name.

Clean up the FindEntryPoint. The logic flow now matches CoreRT + CoreCLR specific features (ordinals and stdcall mangling).

PR Feedback.

Fix format specifier.

Add back probing null check.

Fix offset calculation for stdcall mangling.

Probe the stdcall-mangled versions of the original entry-point names when ExactSpelling isn't set.

Cleanup.

Delete redundant framework API tests (#20481)

Contributes to https://github.com/dotnet/coreclr/issues/12782

Add PInvoke/Primitives/Int tests (#19304)

* Add PInvoke/Primitives/Int tests

* Clean up Int tests to pass xplat.

[RyuJIT] Delete dead code (#20411)

* Delete dead code

optFindLocalInit and related functions (optIsTrackedLocal, lvaLclVarRefs, lvaLclVarRefsAccumIntoRes, lvaLclVarRefsAccum) are not used anywhere.
Also delete a bunch of undefined function declarations.

* Cleanup DataFlow callback comment

Add public IThreadPoolWorkItem (#20387)

- Changes the internal IThreadPoolWorkItem to be public, removing the legacy ThreadAbortException from it (which was specific to Task, anyway).
- Removes the IThreadPoolWorkItem implementation from Task, so that devs can't write code like `ThreadPool.UnsafeQueueUserWorkItem(task);` or `((IThreadPoolWorkItem)task).Execute();`, both of which could end up doing a variety of bad things that could show up in a variety of ways, some discoverable, some less so.
- Adds an internal UnsafeQueueUserWorkItemInternal that takes object so that it can be passed either an IThreadPoolUserWorkItem or a Task,
- Changes the ThreadPool's queues to be in terms of object instead of IThreadPoolWorkItem
- Changes the dispatch loop to type check for IThreadPoolWorkItem or Task so that both remain supported.

Remove unnecessary interpreter fallback (#20470)

This was added for arm64 bring-up. Remove it, and the associated TODO.

Fixes #19696

Revert List.InsertRange changes from #8306 (#20471)

Enable code to prevent bad byrefs on all platforms (#20446)

Loop cloning is doing pattern recognition on the morphed form of a GT_INDEX
node. That form has now changed, so update to match the new form.

Fixes #17571

Print Tier-0 or Tier-1 to JIT dump output (#20453)

* Print Tier-0 or Tier-1 to JIT dump output

Make it very obvious we've been asked to generate Tier-0 code.

* Print Tier-0 or Tier-1 in assembly output, as appropriate

Fix collectible NativeCallable UMThunkEntry lifetime (#20438)

* Fix collectible NativeCallable UMThunkEntry lifetime

The UMEntryThunk cache entries created for NativeCallable target methods
for collectible classes were not properly cleaned up at the unload time.
This change fixes that by adding UMEntryThunkCache on LoaderAllocator
and using it for entries belonging to NativeCallable targets on
collectible classes. The cache is created lazily.

* Reflect PR feedback

Remove the UMEntryThunk cache from the AppDomain and leave it just on
the LoaderAllocator.

Merge pull request #20464 from brianrob/eventpipe_configpath

Use AppContext.BaseDirectory to Search for EventPipeConfig File

Use AppContext.BaseDirectory instead of AppDomain.CurrentDomain.BaseDirectory when initializing EventPipeController.

Delete `FixupIfSIMDLocal`. (#20360)

* Fix the strange `ifdef ` placement.

* Fix comments/refactoring of `LinearScan::BuildReturn`.

* Delete `FixupIfSIMDLocal`.

Do not change `LCL_FLD(long)` back to `LCL_VAR(simd8)`,

Replace 'VSCode' by 'Visual Studio Code' in doc (#20441)

Visual Studio Code is also broadly known as VSCode. But since this document already contained a typo
and Visual Studio Code is not referred as VSCode elsewhere in the CoreCLR documentation I figured it could
be nice to _clean_ this documentation page.

Merge pull request #20455 from BruceForstall/DisableFinalize

Disable GC finalizearraysleep, finalizearray tests for arm32

Fix duplicate cast in RuntimeMethodInfo.GetCustomAttributes() (#20463)

The "as RuntimeType as RuntimeType" cast was redundant here - noticed this when digging into other issues. I couldn't trace how far back this goes due to file moves, but full framework has the same code issue.

make coreclr buildable on FreeBSD again (#20459)

Optimizes StackTrace string generation (#20448)

When looking for compiler generated async state machine types and methods, we need not look at parents in the reflection path. This introduces additional overhead in both .IsDefined() and .GetCustomAttributes<T>() in every path.

See the short circuit path in: https://github.com/dotnet/coreclr/blob/57f8358221a3c4ad7f1608f625bc3c5936618505/src/System.Private.CoreLib/src/System/Reflection/CustomAttribute.cs#L1315-L1320

We can avoid the list allocation, the array from it, and the resulting combined array by not looking for inherited attributed members that cannot exist for our purposes of creating a stack trace.

Fix resetting of m_hasArgLocDescForStructInRegs (#20450)

- Also add testcase

Fixes #20449

Structured dump of instance entrypoints and decoding generic lookups (#20433)

1) Dump method signatures in the INSTANCE_METHOD_ENTRYPOINTS section;

2) Add logic for decoding generic lookups;

3) Add previously missing support for dumping MVAR index.

Thanks

Tomas

Add hack for arm64/x86 to skip build tools restore (#20390)

* Add hack for arm64/x86 to skip build tools restore

* Address pr feedback

* Correct PROCESSOR_ARCHITEW6432 comparison

High entropy ASLR for native images

Enable high entropy for 64bit native images, which expands the set of virtual address bases a native image can be loaded at.

Merge pull request #20431 from BruceForstall/IlasmArm64

Add ARM64 support to ilasm/ildasm

Disable GC finalizearraysleep, finalizearray tests for arm32

Tracked by #19218

Fix behavior of TextWriter.Write with null StringBuilder (#20451)

With other overloads (including Write(object)) if you passed null it just wouldn't write anything out, so we shouldn't throw for the StringBuilder overload either.

Remove per-AppDomain TLB (#20423)

Since there is only one AppDomain, there is no need for a per-AppDomain
TLB table for each Thread. This change removes that table and thus gets
rid of the extra indirection needed to access the TLB.

Enable building with Clang 7 (#20417)

The Clang 7 is the first version in which only the major version is used in
file names and paths. So the change needed to massage the build files a bit
more than what was needed for the previous versions.

Update command lines for building corefx repo (#20415)

* Update command lines for building corefx repo

* Combine build-managed and build-native to avoid some init issues

cross and portable parameters correctly default for native builds

Use build-test.sh script on Linux (#20430)

* Use build-test.sh script on Linux (#20333)
* Use *.tgz archive format and tar tool on Unix (#20381)
* Fix paths to "..\Common\common.csproj" in ilproj (#20407)

Remove ExportStubARM64Template support

Clarify /ARM64 argument usage

Fix compilation error when `FEATURE_HFA` is disabled. (#20432)

JIT: refactor logic to find compile time handle from a helper call (#20380)

There were 3 copies of this logic inlined into `gtFoldTypeCompare`.

Also having this functionality split out will be useful in a subsequent
change that extends `gtGetClassHandle` for some helper call cases.

So pull out the logic as a utility and refactor the 3 uses.

Extract argInfo building from fgMorphArgs (#19658)

* Extract argInfo building from fgMorphArgs

This extracts the code to build the `fgArgInfo` on a call from the code that modifies the arguments.

Eliminated a pre-existing repeated traversal of the argList by changing `EvalToTmp` to take the `fgArgTabEntry` which the caller always has available.

Optimize Span.GetPinnableReference (#20428)

* Optimize Span.GetPinnableReference

* CR feedback

Enable building with older SDKs

Add ARM64 support to ilasm/ilasm

Remove IA-64/Itanium support.

Fix code comments in Utf16Utility (#20425)

Null out CancellationTokenSource._timer on Dispose/Cancel (#20410)

We already Dispose the Timer in such cases, but we don't null out the field.  That's generally fine, unless an errant CancellationToken is held onto somewhere that references the CancellationTokenSource, in which case it in turn may end up keeping the Timer alive and whatever its delegate/state reference, prolonging their GC unnecessarily.  Minor, but good house keeping, as CancellationTokens can be used in a manner that makes them longer-lived than expected.

Fix GitHub #20389 (#20391)

Merge pull request #19914 from CarolEidt/AltJitTailCall

Dummy TailCallCopyArgsThunk for altjit

Upgrade symuploader to version 1.0.0-beta-63412-03 (#20394)

Turn off verbose symbol publish logging.

Print target arch on arm64 and target OS during in JIT_Disasm (#20327)

Corrected misspelled comment (#20408)

JIT: add some devirtualization info to the inline context (#20395)

Allows the jit to remember which calls were devirtualized and which
of those were then optimized to use an unboxed entry point. This info
is then dumped out as part of the inline tree.

Also remove some of the clutter from the COMPlus_JitPrintInlinedMethods
output stream -- we don't need to see both the in-stream results and
the final results, and we don't really need to know about the budget.
This information is still dumped for COMPlus_JitDump.

Move ObjectAllocator phase to run right after inlining. (#20377)

This change will support object stack allocation for the following reasons:

1. Objects should be allocated on the stack before struct promotion phase
so that their fields have a chance to be promoted.
2. Eventually object stack allocation will be performed in the same phase
as inlining since inlining heuristics will need to be aware of object stack allocation
opportunities.

I verified no x64 diffs with jit-diffs --frameworks --tests --pmi

Fix "Non-static method requires a target" caused by trying to access the HasValue property of a nullable type through reflection when the value is null. (#20350)

Fix MacOS launch bug when spaces in module names. (#20385)

Implement LeadingSignCount and LeadingZeroCount ARM64 Base Intrinsics (#20306)

fix hyperlink

Added docs for native DLLs

Improve performance of OrdinalIgnoreCase hash code calculation (#20309)

Do not restore or initialize buildtools for x86/arm64 (#20370)

* Do not restore or initialize buildtools for x86/arm64

* Remove string to download cli correctly

Disable tracecontrol test on all platforms. (#20374)

Changing Number.BigInteger and Number.NumberBuffer to directly use fixed-sized buffers (#20371)

* Moving Number.BigInteger to directly use a `fixed-sized buffer`

* Moving Number.NumberBuffer to directly use a `fixed-sized buffer`

Merge pull request #20368 from sergign60/unwind_fix

Fix for CoreRT #6253 Assertion slot != NO_REVERSE_PINVOKE_FRAME' fails

JitEE interface additions to support object stack allocation. (#20283)

Add two methods to JitEE interface: getHeapClassSize and canAllocateOnStack.

Change JITEEVersionIdentifier.

Update BuildTools, CoreClr, CoreFx, CoreSetup to preview1-03311-01, preview1-27011-04, preview1-27011-05, preview1-27011-01, respectively (#20341)

Enable BSTR Field Marshaller for x-plat (#20264)

Run xunit.console.dll with "-parallel collections" option on Linux/arm (#20349)

Initial work to enable ASM diff generation in CI (#20366)

A set of CI jobs is defined to generate assembly diffs:

```
Windows_NT x64 Checked pmi_asm_diffs
Windows_NT x86 Checked pmi_asm_diffs
Ubuntu arm Cross Checked pmi_asm_diffs
Ubuntu16.04 arm64 Cross Checked pmi_asm_diffs
Windows_NT x64_arm64_altjit Checked pmi_asm_diffs
Windows_NT x86_arm_altjit Checked pmi_asm_diffs
```

Most of the work is in the run-pmi-diffs.py script. This script:

1. Expects a "diff" build to exist.
2. Clones the baseline branch and builds it.
3. Downloads the dotnet CLI and unpacks it.
4. Clones the jitutils tree and builds it.
5. Generates asm with both the "baseline" and "diff" compilers, currently just on System.Private.CoreLib.dll, but that can be easily expanded (and perhaps we could create new jobs that do different sets of diffs, such as frameworks or benchmarks or all tests)
6. Runs jit-analyze.

The Linux arm/arm64 jobs do cross-compilation, so much zip and copy the build artifacts to a test machine to run.

This has been tested in the dev/unix_test_workflow branch, e.g. #20357

There is still some work to do:

1. Properly figure out the correct baseline commit.
2. Make the Linux arm/arm64 runs work (there are still some problems).
3. Do a better job surfacing the results, e.g., post back to the GitHub PR comments with the jit-analyze results.
4. Enable Linux x64 asm diffs jobs
5. Respond to code review feedback, e.g. (a) make various Python script improvements to handle failure modes, (b) do better temp directory creation, (c) use Tools\dotnetcli and init-tools instead of downloading/unpacking/installing a "live" dotnet CLI, (d) don't invoke run.cmd directly. Maybe use "build-test skipmanaged skipnative" instead?

Merge pull request #20343 from stephentoub/timerevent

Add Timer duration/period to ThreadTransferSendObj

Added `-generatelayout` (#20247)

* Added `-generatelayout`

* Update build.cmd

Removed stray paranthesis

fix enc issue where dav has an av because it tries to use the handlemanager, which isn't initialized in the dac (#20362)

add handle tracking for profiler (#20361)

fix issue where we wouldn't throw OOM after failing to allocate more space for finalize queue (#20363)

Fix for CoreRT issue Assertion slot != NO_REVERSE_PINVOKE_FRAME' failed #6253

Fix build breaks

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #20359 from BruceForstall/Disable_b152292

Disable b152292 for Linux/arm64

Minor dump improvements in R2RDump (#20344)

* Minor dump improvements in R2RDump

1) Don't silently unify available types;

2) Display RVA's for import cells to enable searching the cell by RVA
in the dump;

3) Display cell signatures for method precodes.

Disable b152292 for Linux/arm64

Tracked by #20358

Merge pull request #20347 from briansull/resolve-8648

Enable the tests associated with the fixed issue 8648

Add CancellationToken.UnsafeRegister (#20342)

Expose an equivalent to Register that doesn't flow ExecutionContext and thus doesn't capture AsyncLocals.

Added advice about using ZapDisable to get symbols

Remove obslete DBG_printf_gcc, all compilers now support DBG_printf_c99 (#20338)

Fix unwind on ARM64 Linux (#20345)

The libunwind cannot unwind from `__libc_start_main` to `_start` on
Linux ARM64 with glibc <= 2.27, because the `__libc_start_main` is
missing unwind info. While we already have a way to detect such case
when the same issue happens for `_start`, we were triggering it only in
case unw_step returned 0. For this case, it returns 1 though, which is
also a valid success indicator.
The result is that .NET core starts spinning infinitely in case an
unhandled exception happens on ARM64.
The fix is to update the check to test for the return value being >= 0.

Fix typo

Improve instructions on getting framework symbols

Merge pull request #20348 from BruceForstall/ReducePri1TestCount

Reduce the number of expected Pri-1 tests

Reduce the number of expected Pri-1 tests

The number has shrunk lately due to removing CoreMangLib tests.

Enable the tests associated with the fixed issue 8648

Throw an exception when we try to marshal a non-blittable fixed buffer. (#20263)

* Throw an exception when we try to marshal a non-blittable fixed buffer.

* Move function prototype into fieldmarshaler.cpp

Merge pull request #20337 from BruceForstall/DisableStackTracePreserveTests

Disable StackTracePreserveTests

Merge pull request #20310 from fiigii/nogeneric

 Explode generic Intel hardware intrinsic on all the supported types

Add Timer duration/period to ThreadTransferSendObj

Delete redundant API tests (#20336)

Contributes to dotnet/coreclr#12782

Fix test JIT\Regression\VS-ia64-JIT\M00\b80373 (#20321)

On 64 bit hosts it does a 64 bit store to a 32 bit parameter and corrupts the stack. A previous implementation of fgMarkAddressExposedLocals did not mark the parameter as address exposed, allowing the optimizer to remove the dead store and thus hide the incorrect code.

Fix issue 20261: infinite recursion for non PAL threads (#20267)

Disable StackTracePreserveTests

Tracked by #20322

Reduce CPU consumption by Timer's FireNextTimers (#20302)

* Reduce CPU consumption by Timer's FireNextTimers

Historically, in certain applications that were Timer-heavy (either via direct use or via wrappers like Task.Delay), timer-related operations like creation (ctor), destruction (Dispose), and firing (internally in FireNextTimers) were relatively expensive. A single linked queue of timers was maintained and protected by a single lock, such that every creation, destruction, and firing would require taking that lock and operating on the list.

In .NET Core 2.1, we improved this significantly to reduce contention by splitting the single lock and queue into N partitions, each with its own lock and queue (and native timer that triggers the processing of that queue). This enables lots of threads that would otherwise all be contending for timer creation/destruction/firing to now spread the load across the various partitions. This made a significantly positive and measurable impact on these timer-heavy workloads, in particular for workloads that created and destroyed lots of timers with most never actually firing (e.g. where timers are used to implement timeouts, and most things don't timeout).

However, we still see some apps that rely heavily on timers firing, in particular with apps that have tens of thousands or hundreds of thousands of periodic timers, with lots of time spent inside FireNextTimers (the function that's invoked when the native timer for a partition fires to process whatever set of timers may be ready to fire in its queue). This operation currently walks the whole list of that queue's timers, such that it needs to touch and do a little work for every scheduled timer in that partition, even if only one or a few timers actually need to fire. The more timers are scheduled, even if they're for a time far in the future, the more costly FireNextTimers becomes. And as FireNextTimers is invoked while holding that partition's lock, this also then slows down any code paths trying to create/destroy timers on the same partition.

This PR attempts to address the most impactful cases of that. Instead of each partition maintaining a single queue, we simply split the queue into two: a "short" list that contains all scheduled timers with a next firing time that's <= some absolute threshold, and a "long" list for the rest. When FireNextTimers is invoked, we walk the "short" list, processing it as we do today. If the current time is less than or equal to the absolute threshold, then we know we don't need to examine the long list and can skip it and the (hopefully) majority of timers it contains. If, however, we're beyond that time or the short list becomes empty, we continue to process the long list as we do today, with the slight modification that we then also move to the short list anything with a due time that puts it at or under the threshold, which is reset to point to a time short into the future. When new timers are added, we just add them to the appropriate list based on their due time.

The theory behind this is that the problematic cases are when we have lots of long-lived timers that rarely fire but today we're having to examine them every time any timer fires; by maintaining a short list that ideally has only a small subset of the timers, we can avoid touching the majority of the timers each time FireNextTimers is called, on average. This doesn't change the O(N) complexity of FireNextTimers, but it should often reduce the size of N significantly.  Synthetic workloads have shown that it often reduces the cost of FireNextTimers to just 5-10% of what it was previously, and without increasing the cost of the fast add/dispose path measurably.

(An alternative approach considered is to use a priority queue / heap for the timer list. This would allow for FireNextTimers to pull off in O(log N) time each of the next timers to fire, hopefully making FireNextTimers much cheaper. However, it comes at the expense of making creation and destruction also O(log N) instead of O(1). And in cases where all timers in the list needed to fire, it would make FireNextTimers O(N log N) instead of O(N). It is, however, an approach that could be pursued if this approach proves less effective in real-world applications than expected.)

* Address PR feedback

Improve handling of the case where the short list ends up empty.

Also fix an issue I noticed around the setting of m_currentAbsoluteThreshold.

Update BuildTools, CoreFx, CoreSetup to preview1-03309-01, preview1-27009-06, preview1-27009-01, respectively (#20316)

Do not promote struct field with type mistmatch. (#20085)

* Add a test that reads int field as double.

It fails in `void CodeGen::genCodeForStoreInd(GenTreeStoreInd* tree)`  on `assert(!varTypeIsFloating(targetType) || (targetType == data->TypeGet()));`.

* Fix for the previous test.

No asm diffs.

* Add a test that reads struct field as another struct type.

It fails with assert `Compiler::StructPromotionHelper::CheckFakedType` `assert(fakedFieldsMap.Lookup(fieldHnd));`.

* Fix the previous test.

Check that we promote with the same class.

* Add a test case for accessing an invalid offset.

It fails in `fgMorphStructField` with `noway_assert(fieldLclIndex != BAD_VAR_NUM);`.

* Fix the previous test.

Reject field promotion if offset is invalid. No asm diffs.

Simplify next command output for build-test.sh (#19903)

Simplify next command output for build-test.sh

Move ARM64 Windows boxen to be Helix-provisioned (#20204)

Use runtest.cmd for arm(64) windows testing (#20301)

* Use runtest.cmd for arm(64) windows testing

* Correct archival

* Address pr feedback

* Correct containsKey to containsValue

* Change to just use contains

Merge pull request #20129 from briansull/vn-add-exception-sets

Full support for exception sets in value numbering.

Disable tests for generic hardware intrinsic

Explode generic Intel hardware intrinsic on all the supported types

Improve performance of String.ToUpper and friends (#20304)

Cleanup MSDN URL's (dotnet/corefx#32663)

* Fix non-https msdn links

* Additional HTTPS treatment

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>