Merge pull request #20455 from BruceForstall/DisableFinalize

Disable GC finalizearraysleep, finalizearray tests for arm32

Fix duplicate cast in RuntimeMethodInfo.GetCustomAttributes() (#20463)

The "as RuntimeType as RuntimeType" cast was redundant here - noticed this when digging into other issues. I couldn't trace how far back this goes due to file moves, but full framework has the same code issue.

make coreclr buildable on FreeBSD again (#20459)

Optimizes StackTrace string generation (#20448)

When looking for compiler generated async state machine types and methods, we need not look at parents in the reflection path. This introduces additional overhead in both .IsDefined() and .GetCustomAttributes<T>() in every path.

See the short circuit path in: https://github.com/dotnet/coreclr/blob/57f8358221a3c4ad7f1608f625bc3c5936618505/src/System.Private.CoreLib/src/System/Reflection/CustomAttribute.cs#L1315-L1320

We can avoid the list allocation, the array from it, and the resulting combined array by not looking for inherited attributed members that cannot exist for our purposes of creating a stack trace.

Fix resetting of m_hasArgLocDescForStructInRegs (#20450)

- Also add testcase

Fixes #20449

Structured dump of instance entrypoints and decoding generic lookups (#20433)

1) Dump method signatures in the INSTANCE_METHOD_ENTRYPOINTS section;

2) Add logic for decoding generic lookups;

3) Add previously missing support for dumping MVAR index.

Thanks

Tomas

Add hack for arm64/x86 to skip build tools restore (#20390)

* Add hack for arm64/x86 to skip build tools restore

* Address pr feedback

* Correct PROCESSOR_ARCHITEW6432 comparison

High entropy ASLR for native images

Enable high entropy for 64bit native images, which expands the set of virtual address bases a native image can be loaded at.

Merge pull request #20431 from BruceForstall/IlasmArm64

Add ARM64 support to ilasm/ildasm

Disable GC finalizearraysleep, finalizearray tests for arm32

Tracked by #19218

Fix behavior of TextWriter.Write with null StringBuilder (#20451)

With other overloads (including Write(object)) if you passed null it just wouldn't write anything out, so we shouldn't throw for the StringBuilder overload either.

Remove per-AppDomain TLB (#20423)

Since there is only one AppDomain, there is no need for a per-AppDomain
TLB table for each Thread. This change removes that table and thus gets
rid of the extra indirection needed to access the TLB.

Enable building with Clang 7 (#20417)

The Clang 7 is the first version in which only the major version is used in
file names and paths. So the change needed to massage the build files a bit
more than what was needed for the previous versions.

Update command lines for building corefx repo (#20415)

* Update command lines for building corefx repo

* Combine build-managed and build-native to avoid some init issues

cross and portable parameters correctly default for native builds

Use build-test.sh script on Linux (#20430)

* Use build-test.sh script on Linux (#20333)
* Use *.tgz archive format and tar tool on Unix (#20381)
* Fix paths to "..\Common\common.csproj" in ilproj (#20407)

Remove ExportStubARM64Template support

Clarify /ARM64 argument usage

Fix compilation error when `FEATURE_HFA` is disabled. (#20432)

JIT: refactor logic to find compile time handle from a helper call (#20380)

There were 3 copies of this logic inlined into `gtFoldTypeCompare`.

Also having this functionality split out will be useful in a subsequent
change that extends `gtGetClassHandle` for some helper call cases.

So pull out the logic as a utility and refactor the 3 uses.

Extract argInfo building from fgMorphArgs (#19658)

* Extract argInfo building from fgMorphArgs

This extracts the code to build the `fgArgInfo` on a call from the code that modifies the arguments.

Eliminated a pre-existing repeated traversal of the argList by changing `EvalToTmp` to take the `fgArgTabEntry` which the caller always has available.

Optimize Span.GetPinnableReference (#20428)

* Optimize Span.GetPinnableReference

* CR feedback

Enable building with older SDKs

Add ARM64 support to ilasm/ilasm

Remove IA-64/Itanium support.

Fix code comments in Utf16Utility (#20425)

Null out CancellationTokenSource._timer on Dispose/Cancel (#20410)

We already Dispose the Timer in such cases, but we don't null out the field.  That's generally fine, unless an errant CancellationToken is held onto somewhere that references the CancellationTokenSource, in which case it in turn may end up keeping the Timer alive and whatever its delegate/state reference, prolonging their GC unnecessarily.  Minor, but good house keeping, as CancellationTokens can be used in a manner that makes them longer-lived than expected.

Fix GitHub #20389 (#20391)

Merge pull request #19914 from CarolEidt/AltJitTailCall

Dummy TailCallCopyArgsThunk for altjit

Upgrade symuploader to version 1.0.0-beta-63412-03 (#20394)

Turn off verbose symbol publish logging.

Print target arch on arm64 and target OS during in JIT_Disasm (#20327)

Corrected misspelled comment (#20408)

JIT: add some devirtualization info to the inline context (#20395)

Allows the jit to remember which calls were devirtualized and which
of those were then optimized to use an unboxed entry point. This info
is then dumped out as part of the inline tree.

Also remove some of the clutter from the COMPlus_JitPrintInlinedMethods
output stream -- we don't need to see both the in-stream results and
the final results, and we don't really need to know about the budget.
This information is still dumped for COMPlus_JitDump.

Move ObjectAllocator phase to run right after inlining. (#20377)

This change will support object stack allocation for the following reasons:

1. Objects should be allocated on the stack before struct promotion phase
so that their fields have a chance to be promoted.
2. Eventually object stack allocation will be performed in the same phase
as inlining since inlining heuristics will need to be aware of object stack allocation
opportunities.

I verified no x64 diffs with jit-diffs --frameworks --tests --pmi

Fix "Non-static method requires a target" caused by trying to access the HasValue property of a nullable type through reflection when the value is null. (#20350)

Fix MacOS launch bug when spaces in module names. (#20385)

Implement LeadingSignCount and LeadingZeroCount ARM64 Base Intrinsics (#20306)

fix hyperlink

Added docs for native DLLs

Improve performance of OrdinalIgnoreCase hash code calculation (#20309)

Do not restore or initialize buildtools for x86/arm64 (#20370)

* Do not restore or initialize buildtools for x86/arm64

* Remove string to download cli correctly

Disable tracecontrol test on all platforms. (#20374)

Changing Number.BigInteger and Number.NumberBuffer to directly use fixed-sized buffers (#20371)

* Moving Number.BigInteger to directly use a `fixed-sized buffer`

* Moving Number.NumberBuffer to directly use a `fixed-sized buffer`

Merge pull request #20368 from sergign60/unwind_fix

Fix for CoreRT #6253 Assertion slot != NO_REVERSE_PINVOKE_FRAME' fails

JitEE interface additions to support object stack allocation. (#20283)

Add two methods to JitEE interface: getHeapClassSize and canAllocateOnStack.

Change JITEEVersionIdentifier.

Update BuildTools, CoreClr, CoreFx, CoreSetup to preview1-03311-01, preview1-27011-04, preview1-27011-05, preview1-27011-01, respectively (#20341)

Enable BSTR Field Marshaller for x-plat (#20264)

Run xunit.console.dll with "-parallel collections" option on Linux/arm (#20349)

Initial work to enable ASM diff generation in CI (#20366)

A set of CI jobs is defined to generate assembly diffs:

```
Windows_NT x64 Checked pmi_asm_diffs
Windows_NT x86 Checked pmi_asm_diffs
Ubuntu arm Cross Checked pmi_asm_diffs
Ubuntu16.04 arm64 Cross Checked pmi_asm_diffs
Windows_NT x64_arm64_altjit Checked pmi_asm_diffs
Windows_NT x86_arm_altjit Checked pmi_asm_diffs
```

Most of the work is in the run-pmi-diffs.py script. This script:

1. Expects a "diff" build to exist.
2. Clones the baseline branch and builds it.
3. Downloads the dotnet CLI and unpacks it.
4. Clones the jitutils tree and builds it.
5. Generates asm with both the "baseline" and "diff" compilers, currently just on System.Private.CoreLib.dll, but that can be easily expanded (and perhaps we could create new jobs that do different sets of diffs, such as frameworks or benchmarks or all tests)
6. Runs jit-analyze.

The Linux arm/arm64 jobs do cross-compilation, so much zip and copy the build artifacts to a test machine to run.

This has been tested in the dev/unix_test_workflow branch, e.g. #20357

There is still some work to do:

1. Properly figure out the correct baseline commit.
2. Make the Linux arm/arm64 runs work (there are still some problems).
3. Do a better job surfacing the results, e.g., post back to the GitHub PR comments with the jit-analyze results.
4. Enable Linux x64 asm diffs jobs
5. Respond to code review feedback, e.g. (a) make various Python script improvements to handle failure modes, (b) do better temp directory creation, (c) use Tools\dotnetcli and init-tools instead of downloading/unpacking/installing a "live" dotnet CLI, (d) don't invoke run.cmd directly. Maybe use "build-test skipmanaged skipnative" instead?

Merge pull request #20343 from stephentoub/timerevent

Add Timer duration/period to ThreadTransferSendObj

Added `-generatelayout` (#20247)

* Added `-generatelayout`

* Update build.cmd

Removed stray paranthesis

fix enc issue where dav has an av because it tries to use the handlemanager, which isn't initialized in the dac (#20362)

add handle tracking for profiler (#20361)

fix issue where we wouldn't throw OOM after failing to allocate more space for finalize queue (#20363)

Fix for CoreRT issue Assertion slot != NO_REVERSE_PINVOKE_FRAME' failed #6253

Fix build breaks

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #20359 from BruceForstall/Disable_b152292

Disable b152292 for Linux/arm64

Minor dump improvements in R2RDump (#20344)

* Minor dump improvements in R2RDump

1) Don't silently unify available types;

2) Display RVA's for import cells to enable searching the cell by RVA
in the dump;

3) Display cell signatures for method precodes.

Disable b152292 for Linux/arm64

Tracked by #20358

Merge pull request #20347 from briansull/resolve-8648

Enable the tests associated with the fixed issue 8648

Add CancellationToken.UnsafeRegister (#20342)

Expose an equivalent to Register that doesn't flow ExecutionContext and thus doesn't capture AsyncLocals.

Added advice about using ZapDisable to get symbols

Remove obslete DBG_printf_gcc, all compilers now support DBG_printf_c99 (#20338)

Fix unwind on ARM64 Linux (#20345)

The libunwind cannot unwind from `__libc_start_main` to `_start` on
Linux ARM64 with glibc <= 2.27, because the `__libc_start_main` is
missing unwind info. While we already have a way to detect such case
when the same issue happens for `_start`, we were triggering it only in
case unw_step returned 0. For this case, it returns 1 though, which is
also a valid success indicator.
The result is that .NET core starts spinning infinitely in case an
unhandled exception happens on ARM64.
The fix is to update the check to test for the return value being >= 0.

Fix typo

Improve instructions on getting framework symbols

Merge pull request #20348 from BruceForstall/ReducePri1TestCount

Reduce the number of expected Pri-1 tests

Reduce the number of expected Pri-1 tests

The number has shrunk lately due to removing CoreMangLib tests.

Enable the tests associated with the fixed issue 8648

Throw an exception when we try to marshal a non-blittable fixed buffer. (#20263)

* Throw an exception when we try to marshal a non-blittable fixed buffer.

* Move function prototype into fieldmarshaler.cpp

Merge pull request #20337 from BruceForstall/DisableStackTracePreserveTests

Disable StackTracePreserveTests

Merge pull request #20310 from fiigii/nogeneric

 Explode generic Intel hardware intrinsic on all the supported types

Add Timer duration/period to ThreadTransferSendObj

Delete redundant API tests (#20336)

Contributes to dotnet/coreclr#12782

Fix test JIT\Regression\VS-ia64-JIT\M00\b80373 (#20321)

On 64 bit hosts it does a 64 bit store to a 32 bit parameter and corrupts the stack. A previous implementation of fgMarkAddressExposedLocals did not mark the parameter as address exposed, allowing the optimizer to remove the dead store and thus hide the incorrect code.

Fix issue 20261: infinite recursion for non PAL threads (#20267)

Disable StackTracePreserveTests

Tracked by #20322

Reduce CPU consumption by Timer's FireNextTimers (#20302)

* Reduce CPU consumption by Timer's FireNextTimers

Historically, in certain applications that were Timer-heavy (either via direct use or via wrappers like Task.Delay), timer-related operations like creation (ctor), destruction (Dispose), and firing (internally in FireNextTimers) were relatively expensive. A single linked queue of timers was maintained and protected by a single lock, such that every creation, destruction, and firing would require taking that lock and operating on the list.

In .NET Core 2.1, we improved this significantly to reduce contention by splitting the single lock and queue into N partitions, each with its own lock and queue (and native timer that triggers the processing of that queue). This enables lots of threads that would otherwise all be contending for timer creation/destruction/firing to now spread the load across the various partitions. This made a significantly positive and measurable impact on these timer-heavy workloads, in particular for workloads that created and destroyed lots of timers with most never actually firing (e.g. where timers are used to implement timeouts, and most things don't timeout).

However, we still see some apps that rely heavily on timers firing, in particular with apps that have tens of thousands or hundreds of thousands of periodic timers, with lots of time spent inside FireNextTimers (the function that's invoked when the native timer for a partition fires to process whatever set of timers may be ready to fire in its queue). This operation currently walks the whole list of that queue's timers, such that it needs to touch and do a little work for every scheduled timer in that partition, even if only one or a few timers actually need to fire. The more timers are scheduled, even if they're for a time far in the future, the more costly FireNextTimers becomes. And as FireNextTimers is invoked while holding that partition's lock, this also then slows down any code paths trying to create/destroy timers on the same partition.

This PR attempts to address the most impactful cases of that. Instead of each partition maintaining a single queue, we simply split the queue into two: a "short" list that contains all scheduled timers with a next firing time that's <= some absolute threshold, and a "long" list for the rest. When FireNextTimers is invoked, we walk the "short" list, processing it as we do today. If the current time is less than or equal to the absolute threshold, then we know we don't need to examine the long list and can skip it and the (hopefully) majority of timers it contains. If, however, we're beyond that time or the short list becomes empty, we continue to process the long list as we do today, with the slight modification that we then also move to the short list anything with a due time that puts it at or under the threshold, which is reset to point to a time short into the future. When new timers are added, we just add them to the appropriate list based on their due time.

The theory behind this is that the problematic cases are when we have lots of long-lived timers that rarely fire but today we're having to examine them every time any timer fires; by maintaining a short list that ideally has only a small subset of the timers, we can avoid touching the majority of the timers each time FireNextTimers is called, on average. This doesn't change the O(N) complexity of FireNextTimers, but it should often reduce the size of N significantly.  Synthetic workloads have shown that it often reduces the cost of FireNextTimers to just 5-10% of what it was previously, and without increasing the cost of the fast add/dispose path measurably.

(An alternative approach considered is to use a priority queue / heap for the timer list. This would allow for FireNextTimers to pull off in O(log N) time each of the next timers to fire, hopefully making FireNextTimers much cheaper. However, it comes at the expense of making creation and destruction also O(log N) instead of O(1). And in cases where all timers in the list needed to fire, it would make FireNextTimers O(N log N) instead of O(N). It is, however, an approach that could be pursued if this approach proves less effective in real-world applications than expected.)

* Address PR feedback

Improve handling of the case where the short list ends up empty.

Also fix an issue I noticed around the setting of m_currentAbsoluteThreshold.

Update BuildTools, CoreFx, CoreSetup to preview1-03309-01, preview1-27009-06, preview1-27009-01, respectively (#20316)

Do not promote struct field with type mistmatch. (#20085)

* Add a test that reads int field as double.

It fails in `void CodeGen::genCodeForStoreInd(GenTreeStoreInd* tree)`  on `assert(!varTypeIsFloating(targetType) || (targetType == data->TypeGet()));`.

* Fix for the previous test.

No asm diffs.

* Add a test that reads struct field as another struct type.

It fails with assert `Compiler::StructPromotionHelper::CheckFakedType` `assert(fakedFieldsMap.Lookup(fieldHnd));`.

* Fix the previous test.

Check that we promote with the same class.

* Add a test case for accessing an invalid offset.

It fails in `fgMorphStructField` with `noway_assert(fieldLclIndex != BAD_VAR_NUM);`.

* Fix the previous test.

Reject field promotion if offset is invalid. No asm diffs.

Simplify next command output for build-test.sh (#19903)

Simplify next command output for build-test.sh

Move ARM64 Windows boxen to be Helix-provisioned (#20204)

Use runtest.cmd for arm(64) windows testing (#20301)

* Use runtest.cmd for arm(64) windows testing

* Correct archival

* Address pr feedback

* Correct containsKey to containsValue

* Change to just use contains

Merge pull request #20129 from briansull/vn-add-exception-sets

Full support for exception sets in value numbering.

Disable tests for generic hardware intrinsic

Explode generic Intel hardware intrinsic on all the supported types

Improve performance of String.ToUpper and friends (#20304)

Cleanup MSDN URL's (dotnet/corefx#32663)

* Fix non-https msdn links

* Additional HTTPS treatment

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Avoid building DebugFinalizableAsyncStateMachineBox unless necessary (#20318)

[arm64] Fix GitHub 20211 Issue (#20240)

Bug with lowering SIMDIntrinsicGetItem on ARM64 when INS_mov (move w/o sign-extension) was used to copy signed value from Vn.b[i] (or Vn.h[i]) to general register Wd (or Xd) instead of INS_smov (move with sign-extension).

Clear unnecessary state from completed Tasks (#20294)

When Tasks backed by delegates are created, an ExecutionContext is captured.  When the task completes, its delegate is being cleared, but its ExecutionContext is not, which means if the Task is subsequently kept alive (e.g. stored in a cache), so too is its ExecutionContext, which can capture an arbitrary amount of ambient state via async locals.  This commit augments the clearing of the delegate to similarly clear the ExecutionContext.

Related, async methods can also capture ExecutionContext when awaits yield, so this clears out that context as well.  And as long as we're doing that, we may as well also clear the state machine state, so that any hoisted locals in the state machine aren't kept alive if the resulting task is kept alive.  Not doing so previously was a conscious choice, in order to aid in debugging, but as we've heard of at least a couple of cases where it unexpectedly caused a leak, I'm going ahead and changing it.

Merge pull request #20078 from CarolEidt/Fix20063

Handle partial multireg COPY

Disabled outdates corefx test (#20315)

Remove mentions of Rotor from codebase (#20298)

* Moving parsing from TypeNameParser ctor to a separate method.

It seems a bit odd to have the constructor parsing and then use
a dummy method (MakeRotorHappy) to make it look more normal.

* Remove CorMarkThreadInThreadPool.

It is neither referenced nor exported.

* Remove reference to rotor from securitywrapper.h

* Remove reference to rotor from Strike/vm.cpp.

This file is only built for Windows.

* Remove reference to rotor from debugreturn.h

This is the only file the defines these macros, so there is no need to
undef them first.

* Remove unused code refering to rotor from PAL.

* Remove references to Rotor from PAL.

* Remove references to deleted tests from DisabledTests.txt

I can't find any evidence that this file is actually used.

* Remove unneeded casts.

* Remove dead and misleading code from profilinghelper.cpp.

FEATURE_PROFAPI_EVENT_LOGGING is always defined when PROFILING_SUPPORTED
is defined. And the entire contents of profilinghelper.cpp is surrounded
with "ifdef PROFILING_SUPPORTED". So all sections in
"ifndef FEATURE_PROFAPI_EVENT_LOGGING" are dead.

Furthermore, in coreclr this does not use the eventlog, so the macro name
is misleading.

* Remove dead code in excep.cpp.

This entire function is surrounded with "ifndef FEATURE_PAL".

* Remove refererences to rotor from safemath.h

This does not appear to cause any compile problems, so nobody was using
safemath.h without _ASSERTE defined.

Also S_SIZE_T_WP64BUG is not used anywhere.

* Remove dead code from palclr.h.

I don't know why these check to see if the macro is undefined immediately
after defining them.

Also the comment appears to reference some unions that are no longer in
this file.

* Expose ISymUnmanagedWriter2 from SymWriter as required by COM.

The comment talks about the C# compiler using this, however I cannot see
a way for the C# compiler to get an instance of this. It is only used
internally by AssemblyBuilder and not exposed otherwise.

* Restore check for _ASSERTE in safemath.h.

On Windows sometimes that this file is included without
_ASSERTE being defined. As the existing comment suggests, it appears
that SOS explicitly does not want _ASSERTE to do anything.

Document describing upcoming object stack allocation work. (#20251)

Merge pull request #20289 from echesakovMSFT/FixBitOperationsInstructionEncodingFormat

[arm64] Use IF_DR_2G for "Bit Operations" (IF_EN2L)

JIT: retrieve element class for arrays of ref types (#20292)

Allows element-typed based optimizations for some array cases, say
virtual calls through a `string[]`.

Update BuildTools, CoreClr, CoreFx, CoreSetup, IbcData, PgoData to preview1-03307-03, preview1-27008-04, preview1-27008-04, preview1-27008-01, master-20181008-0042, master-20181008-0040, respectively (#20254)

Merge pull request #20210 from fiigii/lastavx2

 Implement the remaining AVX2 intrinsic

Runtest.py on Windows Arm(64) (#20227)

* Initial infrastructure work to get arm(64) runtest.cmd working

* Add excludes and improve runtest.py

1) Adds a build_test_wrappers only to build-test.sh.
2) Adds arm64 windows excludes
3) Adds printlastresults to runtest.cmd
4) corrects runsequential in runtest.sh
5) Corrects SequentialRun in runtest.py
6) Minor improvements to printing test results and copying native test binaries

* Address pr feedback

* Add to issues targets for arm64

* Working Pri 0 testing.

* Remove unecessary common msbuild arguments

* add pri1 excludes

* Remove common msbuild args

* Fix silly python3 issue

Fix SegmentInitialize for OS_PAGE_SIZE > 4k (#20280)

The function was incorrectly rounding the dwCommit down instead of up
to OS_PAGE_SIZE. It accidentally works for OSes where page size is 4096
bytes, because the dwCommit is 4096. But for ARM64 Linux distros where
the page size is 64kB, this was committing zero bytes and so the runtime
initialization was crashing a bit later when it tried to access the
memory it was supposed to be commited.

This problem was introduced in #17769.

Remove mention of rotor from comments (#20297)

* Remove old reference to Rotor in documentation.

All remaining references relate to rotor's role in CoreCLR history.

* Remove rotor comment from enummem.cpp.

I can find no evidence that the presence of g_pStressLog is conditional
on FEATURE_PAL being defined.

* Remove old todo, DbgDllMain looks for thread detach.

* Update nativepipeline.h comment refernce to rotor.

All unix-like systems except android have FEATURE_DBGIPC_TRANSPORT_DI
defined, hence "most unix-like platforms".

* Update some comments to not refer to Rotor.

* Remove some more references to Rotor from comments.

* Remove old comment.

Though maybe this macro should be removed and everywhere use the & operator.
It appears there are only two places that use this macro.