Merge pull request #20343 from stephentoub/timerevent

Add Timer duration/period to ThreadTransferSendObj

Added `-generatelayout` (#20247)

* Added `-generatelayout`

* Update build.cmd

Removed stray paranthesis

fix enc issue where dav has an av because it tries to use the handlemanager, which isn't initialized in the dac (#20362)

add handle tracking for profiler (#20361)

fix issue where we wouldn't throw OOM after failing to allocate more space for finalize queue (#20363)

Fix build breaks

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #20359 from BruceForstall/Disable_b152292

Disable b152292 for Linux/arm64

Minor dump improvements in R2RDump (#20344)

* Minor dump improvements in R2RDump

1) Don't silently unify available types;

2) Display RVA's for import cells to enable searching the cell by RVA
in the dump;

3) Display cell signatures for method precodes.

Disable b152292 for Linux/arm64

Tracked by #20358

Merge pull request #20347 from briansull/resolve-8648

Enable the tests associated with the fixed issue 8648

Add CancellationToken.UnsafeRegister (#20342)

Expose an equivalent to Register that doesn't flow ExecutionContext and thus doesn't capture AsyncLocals.

Added advice about using ZapDisable to get symbols

Remove obslete DBG_printf_gcc, all compilers now support DBG_printf_c99 (#20338)

Fix unwind on ARM64 Linux (#20345)

The libunwind cannot unwind from `__libc_start_main` to `_start` on
Linux ARM64 with glibc <= 2.27, because the `__libc_start_main` is
missing unwind info. While we already have a way to detect such case
when the same issue happens for `_start`, we were triggering it only in
case unw_step returned 0. For this case, it returns 1 though, which is
also a valid success indicator.
The result is that .NET core starts spinning infinitely in case an
unhandled exception happens on ARM64.
The fix is to update the check to test for the return value being >= 0.

Fix typo

Improve instructions on getting framework symbols

Merge pull request #20348 from BruceForstall/ReducePri1TestCount

Reduce the number of expected Pri-1 tests

Reduce the number of expected Pri-1 tests

The number has shrunk lately due to removing CoreMangLib tests.

Enable the tests associated with the fixed issue 8648

Throw an exception when we try to marshal a non-blittable fixed buffer. (#20263)

* Throw an exception when we try to marshal a non-blittable fixed buffer.

* Move function prototype into fieldmarshaler.cpp

Merge pull request #20337 from BruceForstall/DisableStackTracePreserveTests

Disable StackTracePreserveTests

Merge pull request #20310 from fiigii/nogeneric

 Explode generic Intel hardware intrinsic on all the supported types

Add Timer duration/period to ThreadTransferSendObj

Delete redundant API tests (#20336)

Contributes to dotnet/coreclr#12782

Fix test JIT\Regression\VS-ia64-JIT\M00\b80373 (#20321)

On 64 bit hosts it does a 64 bit store to a 32 bit parameter and corrupts the stack. A previous implementation of fgMarkAddressExposedLocals did not mark the parameter as address exposed, allowing the optimizer to remove the dead store and thus hide the incorrect code.

Fix issue 20261: infinite recursion for non PAL threads (#20267)

Disable StackTracePreserveTests

Tracked by #20322

Reduce CPU consumption by Timer's FireNextTimers (#20302)

* Reduce CPU consumption by Timer's FireNextTimers

Historically, in certain applications that were Timer-heavy (either via direct use or via wrappers like Task.Delay), timer-related operations like creation (ctor), destruction (Dispose), and firing (internally in FireNextTimers) were relatively expensive. A single linked queue of timers was maintained and protected by a single lock, such that every creation, destruction, and firing would require taking that lock and operating on the list.

In .NET Core 2.1, we improved this significantly to reduce contention by splitting the single lock and queue into N partitions, each with its own lock and queue (and native timer that triggers the processing of that queue). This enables lots of threads that would otherwise all be contending for timer creation/destruction/firing to now spread the load across the various partitions. This made a significantly positive and measurable impact on these timer-heavy workloads, in particular for workloads that created and destroyed lots of timers with most never actually firing (e.g. where timers are used to implement timeouts, and most things don't timeout).

However, we still see some apps that rely heavily on timers firing, in particular with apps that have tens of thousands or hundreds of thousands of periodic timers, with lots of time spent inside FireNextTimers (the function that's invoked when the native timer for a partition fires to process whatever set of timers may be ready to fire in its queue). This operation currently walks the whole list of that queue's timers, such that it needs to touch and do a little work for every scheduled timer in that partition, even if only one or a few timers actually need to fire. The more timers are scheduled, even if they're for a time far in the future, the more costly FireNextTimers becomes. And as FireNextTimers is invoked while holding that partition's lock, this also then slows down any code paths trying to create/destroy timers on the same partition.

This PR attempts to address the most impactful cases of that. Instead of each partition maintaining a single queue, we simply split the queue into two: a "short" list that contains all scheduled timers with a next firing time that's <= some absolute threshold, and a "long" list for the rest. When FireNextTimers is invoked, we walk the "short" list, processing it as we do today. If the current time is less than or equal to the absolute threshold, then we know we don't need to examine the long list and can skip it and the (hopefully) majority of timers it contains. If, however, we're beyond that time or the short list becomes empty, we continue to process the long list as we do today, with the slight modification that we then also move to the short list anything with a due time that puts it at or under the threshold, which is reset to point to a time short into the future. When new timers are added, we just add them to the appropriate list based on their due time.

The theory behind this is that the problematic cases are when we have lots of long-lived timers that rarely fire but today we're having to examine them every time any timer fires; by maintaining a short list that ideally has only a small subset of the timers, we can avoid touching the majority of the timers each time FireNextTimers is called, on average. This doesn't change the O(N) complexity of FireNextTimers, but it should often reduce the size of N significantly.  Synthetic workloads have shown that it often reduces the cost of FireNextTimers to just 5-10% of what it was previously, and without increasing the cost of the fast add/dispose path measurably.

(An alternative approach considered is to use a priority queue / heap for the timer list. This would allow for FireNextTimers to pull off in O(log N) time each of the next timers to fire, hopefully making FireNextTimers much cheaper. However, it comes at the expense of making creation and destruction also O(log N) instead of O(1). And in cases where all timers in the list needed to fire, it would make FireNextTimers O(N log N) instead of O(N). It is, however, an approach that could be pursued if this approach proves less effective in real-world applications than expected.)

* Address PR feedback

Improve handling of the case where the short list ends up empty.

Also fix an issue I noticed around the setting of m_currentAbsoluteThreshold.

Update BuildTools, CoreFx, CoreSetup to preview1-03309-01, preview1-27009-06, preview1-27009-01, respectively (#20316)

Do not promote struct field with type mistmatch. (#20085)

* Add a test that reads int field as double.

It fails in `void CodeGen::genCodeForStoreInd(GenTreeStoreInd* tree)`  on `assert(!varTypeIsFloating(targetType) || (targetType == data->TypeGet()));`.

* Fix for the previous test.

No asm diffs.

* Add a test that reads struct field as another struct type.

It fails with assert `Compiler::StructPromotionHelper::CheckFakedType` `assert(fakedFieldsMap.Lookup(fieldHnd));`.

* Fix the previous test.

Check that we promote with the same class.

* Add a test case for accessing an invalid offset.

It fails in `fgMorphStructField` with `noway_assert(fieldLclIndex != BAD_VAR_NUM);`.

* Fix the previous test.

Reject field promotion if offset is invalid. No asm diffs.

Simplify next command output for build-test.sh (#19903)

Simplify next command output for build-test.sh

Move ARM64 Windows boxen to be Helix-provisioned (#20204)

Use runtest.cmd for arm(64) windows testing (#20301)

* Use runtest.cmd for arm(64) windows testing

* Correct archival

* Address pr feedback

* Correct containsKey to containsValue

* Change to just use contains

Merge pull request #20129 from briansull/vn-add-exception-sets

Full support for exception sets in value numbering.

Disable tests for generic hardware intrinsic

Explode generic Intel hardware intrinsic on all the supported types

Improve performance of String.ToUpper and friends (#20304)

Cleanup MSDN URL's (dotnet/corefx#32663)

* Fix non-https msdn links

* Additional HTTPS treatment

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Avoid building DebugFinalizableAsyncStateMachineBox unless necessary (#20318)

[arm64] Fix GitHub 20211 Issue (#20240)

Bug with lowering SIMDIntrinsicGetItem on ARM64 when INS_mov (move w/o sign-extension) was used to copy signed value from Vn.b[i] (or Vn.h[i]) to general register Wd (or Xd) instead of INS_smov (move with sign-extension).

Clear unnecessary state from completed Tasks (#20294)

When Tasks backed by delegates are created, an ExecutionContext is captured.  When the task completes, its delegate is being cleared, but its ExecutionContext is not, which means if the Task is subsequently kept alive (e.g. stored in a cache), so too is its ExecutionContext, which can capture an arbitrary amount of ambient state via async locals.  This commit augments the clearing of the delegate to similarly clear the ExecutionContext.

Related, async methods can also capture ExecutionContext when awaits yield, so this clears out that context as well.  And as long as we're doing that, we may as well also clear the state machine state, so that any hoisted locals in the state machine aren't kept alive if the resulting task is kept alive.  Not doing so previously was a conscious choice, in order to aid in debugging, but as we've heard of at least a couple of cases where it unexpectedly caused a leak, I'm going ahead and changing it.

Merge pull request #20078 from CarolEidt/Fix20063

Handle partial multireg COPY

Disabled outdates corefx test (#20315)

Remove mentions of Rotor from codebase (#20298)

* Moving parsing from TypeNameParser ctor to a separate method.

It seems a bit odd to have the constructor parsing and then use
a dummy method (MakeRotorHappy) to make it look more normal.

* Remove CorMarkThreadInThreadPool.

It is neither referenced nor exported.

* Remove reference to rotor from securitywrapper.h

* Remove reference to rotor from Strike/vm.cpp.

This file is only built for Windows.

* Remove reference to rotor from debugreturn.h

This is the only file the defines these macros, so there is no need to
undef them first.

* Remove unused code refering to rotor from PAL.

* Remove references to Rotor from PAL.

* Remove references to deleted tests from DisabledTests.txt

I can't find any evidence that this file is actually used.

* Remove unneeded casts.

* Remove dead and misleading code from profilinghelper.cpp.

FEATURE_PROFAPI_EVENT_LOGGING is always defined when PROFILING_SUPPORTED
is defined. And the entire contents of profilinghelper.cpp is surrounded
with "ifdef PROFILING_SUPPORTED". So all sections in
"ifndef FEATURE_PROFAPI_EVENT_LOGGING" are dead.

Furthermore, in coreclr this does not use the eventlog, so the macro name
is misleading.

* Remove dead code in excep.cpp.

This entire function is surrounded with "ifndef FEATURE_PAL".

* Remove refererences to rotor from safemath.h

This does not appear to cause any compile problems, so nobody was using
safemath.h without _ASSERTE defined.

Also S_SIZE_T_WP64BUG is not used anywhere.

* Remove dead code from palclr.h.

I don't know why these check to see if the macro is undefined immediately
after defining them.

Also the comment appears to reference some unions that are no longer in
this file.

* Expose ISymUnmanagedWriter2 from SymWriter as required by COM.

The comment talks about the C# compiler using this, however I cannot see
a way for the C# compiler to get an instance of this. It is only used
internally by AssemblyBuilder and not exposed otherwise.

* Restore check for _ASSERTE in safemath.h.

On Windows sometimes that this file is included without
_ASSERTE being defined. As the existing comment suggests, it appears
that SOS explicitly does not want _ASSERTE to do anything.

Document describing upcoming object stack allocation work. (#20251)

Merge pull request #20289 from echesakovMSFT/FixBitOperationsInstructionEncodingFormat

[arm64] Use IF_DR_2G for "Bit Operations" (IF_EN2L)

JIT: retrieve element class for arrays of ref types (#20292)

Allows element-typed based optimizations for some array cases, say
virtual calls through a `string[]`.

Update BuildTools, CoreClr, CoreFx, CoreSetup, IbcData, PgoData to preview1-03307-03, preview1-27008-04, preview1-27008-04, preview1-27008-01, master-20181008-0042, master-20181008-0040, respectively (#20254)

Merge pull request #20210 from fiigii/lastavx2

 Implement the remaining AVX2 intrinsic

Runtest.py on Windows Arm(64) (#20227)

* Initial infrastructure work to get arm(64) runtest.cmd working

* Add excludes and improve runtest.py

1) Adds a build_test_wrappers only to build-test.sh.
2) Adds arm64 windows excludes
3) Adds printlastresults to runtest.cmd
4) corrects runsequential in runtest.sh
5) Corrects SequentialRun in runtest.py
6) Minor improvements to printing test results and copying native test binaries

* Address pr feedback

* Add to issues targets for arm64

* Working Pri 0 testing.

* Remove unecessary common msbuild arguments

* add pri1 excludes

* Remove common msbuild args

* Fix silly python3 issue

Fix SegmentInitialize for OS_PAGE_SIZE > 4k (#20280)

The function was incorrectly rounding the dwCommit down instead of up
to OS_PAGE_SIZE. It accidentally works for OSes where page size is 4096
bytes, because the dwCommit is 4096. But for ARM64 Linux distros where
the page size is 64kB, this was committing zero bytes and so the runtime
initialization was crashing a bit later when it tried to access the
memory it was supposed to be commited.

This problem was introduced in #17769.

Remove mention of rotor from comments (#20297)

* Remove old reference to Rotor in documentation.

All remaining references relate to rotor's role in CoreCLR history.

* Remove rotor comment from enummem.cpp.

I can find no evidence that the presence of g_pStressLog is conditional
on FEATURE_PAL being defined.

* Remove old todo, DbgDllMain looks for thread detach.

* Update nativepipeline.h comment refernce to rotor.

All unix-like systems except android have FEATURE_DBGIPC_TRANSPORT_DI
defined, hence "most unix-like platforms".

* Update some comments to not refer to Rotor.

* Remove some more references to Rotor from comments.

* Remove old comment.

Though maybe this macro should be removed and everywhere use the & operator.
It appears there are only two places that use this macro.

Remove some dead remoting and context static things (#20277)

* Remove IsRemotingIntercepted methods that always return false.

* Remove GetOptionalMembersAllocationSize parameters that are always false.

* Remove references to context static.

Remove references in comments and methodnames.

* Remove RemotingVtsInfo.

Update buildtools to v3 (#20286)

Typos (dotnet/corefx#32625)

* Obejct -> Object

* Oberserver -> Observer

* objetcs -> objects

* observeable -> observable

* obsolated -> obsoleted

* occour -> occur

* occurance -> occurrence

* occures -> occurs

* occuring -> occurring

* occurrance -> occurrence

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

JIT: make sure to use normalized type when retyping box temp (#20285)

Take advantage of the fact that `lvaSetStruct` figures out the right
type to use in the IR.

Fixes first part of #20260.

Move BinaryPrimitives into coreclr shared source (#20288)

Add BSTR xplat PInvoke testcase (#20231)

Improve performance of span-based ToUpper and related APIs (#20275)

Update the dllmap design doc (6)

Update the dllmap design doc (5)

Update the dllmap design doc (4)

Update the dllmap design doc (3)

Update the dllmap design doc (2)

Update the dllmap design doc

Add a dllmap design document

Refactoring of struct promotion code for the future fix. (#20216)

Create StructPromotionHelper.

* Add the check for promoted fields with changed type.

`CanPromoteStructType` can fake a field type if the field type is "structs of a single field of scalar types aligned at their natural boundary.". Add a check in debug that when we morph struct field access we have an expected type in the field handle.

Enable Config-File Based Control of EventPipe (#20238)

Add tests for AVX2 and new intrinsic

Use IF_DR_2G for "Bit Operations" (IF_EN2L) in src/jit/emitarm64.cpp

Added method header comments in optcse describing the algorithm

Full support for exception sets in value numbering.

New method that add exception sets:
  fgValueNumberAddExceptionSet
  - fgValueNumberAddExceptionSetForIndirection
  - fgValueNumberAddExceptionSetForDivision
  - fgValueNumberAddExceptionSetForOverflow
  - fgValueNumberAddExceptionSetForCkFinite

Refactoring work added methods:
 VNEvalShouldFold - method to decide if constant folding should be performed
 EvalUsingMathIdentity - Uses math identities to simplify value number exoressions
 Renamed fgValueNumberHelperMethVNFunc to fgValueNumberJitHelperMethodVNFunc

Removed the suffixes from the method headers comments

Report instantiation argument in non-virtual interface calls (#20257)

The existing code would incorrectly inhibit codegen from generating instantiation argument in non-virtual calls to default interface methods (i.e. those that can happen with the `base` syntax in C#).

Fixes #16775.

Typos (#20271)

* oportunistically -> opportunistically

* oppportunity -> opportunity

* Oppporunity -> Opportunity

* optinal -> optional

* optimisitic -> optimistic

* optionaly -> optionally

* origianl -> original

* orignally -> originally

* otheriwse -> otherwise

* otherrwise -> otherwise

Remove context statics stuff (#20256)

* Remove context statics stuff part 1

This change removes all context statics stuff from the runtime since
context statics are not supported and this code was obsolete.

* Remove context statics stuff from the debugger code

Synchronize access to static variable call_count (#20259)

call_count is a static variable that is being read/modified and written to without any synchronization. Fortunately, a critical section is already available that can be leveraged to synchronize access to it.

Add printing of LoaderAllocator to MethodTable in SOS (#20255)

This change adds printing of LoaderAllocator to MethodTable dump in SOS
for collectible types.

R2RDump fixes for dumping method instance entrypoint table (#20243)

R2RDump fixes for dumping method instance entrypoint table

While investigating Michal's unit test demonstrating a bug in the
CPAOT compiler I found out that R2RDump is broken in multiple
aspects w.r.t. instantiated methods. Parsing of the method
signatures in the instance entrypoint table was just broken
and the R2RMethod was duplicating parts of the signature decoding
and name formatting process.

I created a new flag "normalize" that requests normalization of various R2R
tables in the dump aimed at improving diff quality. I have also
noticed and fixed somewhat weird formatting of method signatures.
As a slight cleanup I have lumped the various dump flags into
a helper class DumpOptions. Last but not least I have renamed "Canon"
to "__Canon".

Thanks

Tomas

Merge pull request #20252 from steveharter/FixIsAssignableFrom

Fix compat issue with Type.IsAssignableFrom

Enable thread statics for collectible classes (#19944)

* Enable thread statics for collectible classes

This change removes checks that were preventing usage of thread statics
in collectible classes and also implements all the necessary changes.
The handles that hold arrays with thread statics are allocated from
LoaderAllocator for collectible classes instead of using the global
strong handle like in the case of non-collectible classes.
The change very much mimics what is done for regular statics.

This change also adds ability to reuse freed handles to the
LoaderAllocator handle table. Freed handle indexes are stored into a
stack and when a new handle allocation is requested, the indices from
this stack are used first.
Due to the code path from which the FreeTLM that in turn frees the
handles is called, I had to modify the critical section flags and also
refactor the handle allocation so that the actual managed array
representing the handle table is allocated out of the critical section.
When I was touching the code, I have also moved the code that was
dealing with handles that are not stored in the LoaderAllocator handle
tables out of the critical section, since there is no point in having it
inside of it.

Remove AppDomain unload (#20250)

* Remove AppDomain unload

This change removes all code in AppDomain that's related to AppDomain
unloading which is obsolete in CoreCLR. It also removes all calls to the
removed methods.
In few places, I have made the change simpler by taking into account the
fact that there is always just one AppDomain.

Merge pull request #20235 from BruceForstall/Disable19361

Disable GitHub_19361 for Linux arm64

Update CoreClr, CoreFx, CoreSetup, IbcData, PgoData to preview1-27003-01, preview1-27003-02, preview1-27003-01, master-20181003-0045, master-20181003-0040, respectively (master) (#20241)

* Update CoreClr, CoreFx, CoreSetup, IbcData, PgoData to preview1-27003-01, preview1-27003-02, preview1-27003-01, master-20181003-0045, master-20181003-0040, respectively

* Disabled outdated tests

Fix compat issue with Type.IsAssignableFrom

Implement the remaining AVX2 intrinsic

Fix AVX2 intrinsic doc

Merge pull request #20173 from fiigii/retest

Optimize some SSE2 intrinsic importation and re-enable tests

report the entire generation table in EnumWksGlobalMemoryRegions and EnumSvrGlobalMemoryRegions (#20233)

Support building cross-architecture components on armel (#20190)

Marshal blittable structs via memcpy even if nested within non-blittable struct (#20194)

* Add regression test for dotnet/coreclr#18521.

* Add custom marshaler for fixed buffers that acts as a scalar memory copy of the length of the fixed buffer.

* Remove regression test. Moving it to a unit test in corefx.

* Move attribute class name into classnames.h

* Remove unreachable code left over from debugging.

* Marshal fixed buffers by reusing the field marshaler of the single field to pretend that there are multiple fields consecutively in the structure.

* Remove now-dead code paths.

* Use initializers in FieldMarshaler_NestedValueClass constructor where appropriate.

* Clean up IsFixedBuffer implementation.

* Remove unused GC_PROTECTs.

* Specifically check that the attribute exists, not just that there wasn't an error.

* Fix missing else statement.

* Add asserts so we don't corrupt the heap.

* Add unit test for masked bug (incorrect native size of structure calculated).

* Don't use new behavior on non-blittable fixed buffers.

* Revert "Add unit test for masked bug (incorrect native size of structure calculated)."

This reverts commit 496eef5906638c3c2696ede0d922a5e707447b4e.

* Use memcpy instead of field emulation.

* Remove unused forward-declared class.

* Clean up code. Refactor one GetMethodTable call I missed.

* Remove now-unneeded custom attribute includes. More diff cleanup.

* Remove unneeded FixedBufferAttribute define.

Add MethodImplOptions.AggressiveOptimization and use it for tiering (#20009)

Add MethodImplOptions.AggressiveOptimization and use it for tiering

Part of fix for https://github.com/dotnet/corefx/issues/32235
Workaround for https://github.com/dotnet/coreclr/issues/19751
- Added and set CORJIT_FLAG_AGGRESSIVE_OPT to indicate that a method is flagged with AggressiveOptimization
- For a method flagged with AggressiveOptimization, tiering uses a foreground tier 1 JIT on first call to the method, skipping the tier 0 JIT and call counting
- When tiering is disabled, a method flagged with AggressiveOptimization does not use r2r-pregenerated code
- R2r crossgen does not generate code for a method flagged with AggressiveOptimization

PDF link wasn't working (#20242)

Correct pdf link

Fix X86 disassembly and a bug regarding ExportedTypes in R2RDump (#20230)

1) X86 CoreDisTools disassembler has a bug in decoding absolute
indirections, interpreting them as RIP-relative offsets. I have
reused the logic that's already in place for patching X64
RIP-relative addresses to take care of this additional case.

2) the CoreDisTools disassembly apparently only produces newline
(0A) characters that don't work well in Notepad and other viewers;
I have forcibly replaced them with the platform newline separator.

3) I hit a bug in available type decoding - the logic wasn't
properly checking whether the type is exported or not.

Thanks

Tomas

Merge pull request #20237 from BruceForstall/MakeInnerloopArm64DefaultTriggered

Change the innerloop arm64 Linux jobs to be default triggered

Change the innerloop arm64 Linux jobs to be default triggered

The two innerloop jobs had been push triggered, to see how the
jobs behave in the system. They have been pretty stable, so
change to make them default triggered.

Disable GitHub_19361 for Linux arm64

Tracking: #20232

Add Bionic to sources.list for cross (#20202)

Merge pull request #20203 from AndyAyersMS/FixGtIndexAddrTest

Fix test for GT_INDEX_ADDR to forcibly compile with minopts

Merge pull request #20193 from fiigii/addbc

Add pointer overloads for Avx2.BroadcastScalarToVector256

Stop updating gtRsvdRegs before LSRA (#20136)