Fix regression in Timers with long timeouts (#25604)

* Fix regression in Timers with long timeouts

Early in .NET Core 3.0, we added an important optimization to significantly reduce lock contention and CPU overheads in situations where lots of timers were firing.  The optimization worked by splitting the set of timers into those expected to fire in the very near future and then everything else.  However, for really long timers (e.g. > 24 days), due to integer overflows we can accidentally put a long timer onto the short list and cause a timer that shouldn’t fire for days to instead fire in milliseconds.  This is not the first such bug we’ve had in Timer, and there is a fair amount of complicated casting (that we sometimes get wrong, obviously) in order to keep the tick count usage within the Int32 domain.  This PR addresses the problem (and hopefully others in the future) by switching over to using Int64.  We’re already paying to get 64-bit tick counts on both Windows and Unix, so this just removes truncation that was being performed, does a little more addition/comparison with 64-bit values instead of with 32-bit, and stores an Int64 instead of Int32 in each TimerQueueTimer.  On 64-bit, this has a 0 increase in memory consumption, as it simply ends up utilizing padding space that was previously in TimerQueueTimer.  On 32-bit, it increases memory allocation when creating a Timer by 4 bytes from 80 to 84 (still 3 allocations), but I believe it’s the right trade-off for reduced complexity and bug likelihood.

* Address PR feedback

Adding DisplayUnits property to all the runtime counters (#25598)

Return HardLimitBytes from GCMemoryInfo.TotalAvailableMemoryBytes (#25437)

* Add property HardLimitBytes to GCMemoryInfo

This adds a new property HardLimitBytes.

Unlike TotalAvailableMemoryBytes,
this will reflect an explicitly set COMPLUS_GCHeapHardLimit.

It will also reflect the fraction of a container's size that we use,
where TotalAvailableMemoryBytes is the total container size.

Normally, though, it is equal to TotalAvailableMemoryBytes.

Fix #38821

* Remove HardLimitBytes; have TotalAvailableMemoryBytes take on its behavior

* Fix typos

* Separate total_physical_mem and heap_hard_limit
so we can compute highMemoryLoadThresholdBytes and memoryLoadBytes

* Do more work in gc.cpp instead of Gc.cs

* Consistently end names in "Bytes"

Add arm64 floatconversion.S (#25597)

* Add arm64 floatconversion.S

* Update comment

Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20190708.1 (#25594)

- optimization.IBC.CoreCLR - 99.99.99-master-20190708.1
- optimization.PGO.CoreCLR - 99.99.99-master-20190708.1

Update dependencies from https://github.com/dotnet/core-setup build 20190707.09 (#25593)

- Microsoft.NETCore.App - 3.0.0-preview8-27907-09

Update dependencies from https://github.com/dotnet/arcade build 20190708.1 (#25591)

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19358.1
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19358.1
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19358.1
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19358.1

Fixes spelling

Update dependencies from https://github.com/dotnet/arcade build 20190706.1 (#25582)

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19356.1
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19356.1
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19356.1
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19356.1

Update dependencies from https://github.com/dotnet/corefx build 20190706.5 (#25583)

- Microsoft.NETCore.Platforms - 3.0.0-preview8.19356.5
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview8.19356.5

Update dependencies from https://github.com/dotnet/core-setup build 20190706.07 (#25584)

- Microsoft.NETCore.App - 3.0.0-preview8-27906-07

Update dependencies from https://github.com/dotnet/core-setup build 20190705.12 (#25578)

- Microsoft.NETCore.App - 3.0.0-preview8-27905-12

Update dependencies from https://github.com/dotnet/corefx build 20190705.7 (#25577)

- Microsoft.NETCore.Platforms - 3.0.0-preview8.19355.7
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview8.19355.7

Update dependencies from https://github.com/dotnet/arcade build 20190705.2 (#25576)

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19355.2
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19355.2
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19355.2
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19355.2

Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20190706.1 (#25579)

- optimization.IBC.CoreCLR - 99.99.99-master-20190706.1
- optimization.PGO.CoreCLR - 99.99.99-master-20190706.1

fix merge error (#25573)

[master] Update dependencies from dotnet/corefx (#25564)

- Microsoft.NETCore.Platforms - 3.0.0-preview8.19354.4
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview8.19354.4

* Disable failing test

Re-enable Microsoft.VisualBasic tests (#25572)

many core (#25350)

[master] Update dependencies from dnceng/internal/dotnet-optimization (#25566)

- optimization.IBC.CoreCLR - 99.99.99-master-20190705.1
- optimization.PGO.CoreCLR - 99.99.99-master-20190705.1

Update dependencies from https://github.com/dotnet/arcade build 20190704.2 (#25569)

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19354.2
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19354.2
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19354.2
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19354.2

Update dependencies from https://github.com/dotnet/core-setup build 20190704.08 (#25570)

- Microsoft.NETCore.App - 3.0.0-preview8-27904-08

Fix instantiation stub maker for case where no register is used by function parameters (#25558)

* Fix instantiation stub maker for case where no register is used by function parameters

Update dependencies from https://github.com/dotnet/core-setup build 20190703.14 (#25565)

- Microsoft.NETCore.App - 3.0.0-preview8-27903-14

Update dependencies from https://github.com/dotnet/arcade build 20190703.19 (#25563)

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19353.19
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19353.19
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19353.19
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19353.19

Fix dotnet-dump/createdump launch failure (#25562)

On CentOS or OpenSUSE dotnet-dump collect fails but a
valid coredump is generated. The "prctl()" call is failing
that gives the child createdump process permission to ptrace
to the runtime process. On CentOS/OpenSUSE the PR_SET_PTRACER
option isn't supported and not needed.

Issue: https://github.com/dotnet/diagnostics/issues/334

Remove legacy resource value (PrivateBuild) in binaries. (#25560)

* Remove legacy resource value (PrivateBuild) in binaries.

* Never set the private file flag on the binary

Fix getting rundown events during EventPipe::Shutdown (#25450)

arm64singlestepper (#25512)

Add single step emulation for arm64 Linux

Add a copy and rework armsinglestepper to arm64singlestepper

Add arm64 emulation of all armv8 user space instructions which read or write PC.
- ADR, ADRP
- Branch instructions: B, BL, B.cond, BR, BLR, RET
- LDR (literal)

* Add FEATURE_EMULATE_SINGLESTEP
* Enable for ARM64 linux

* Debugging fixes

Fix IsSSFlagEnabled bug
Fix opcode type
Fix code buffer asserts
Fix CBZ typo
Fix BitExtract
Fix m_targetPc
Minimize written instructions
Fix comments
Fix Bypass address truncation
Fix false assert
Add additional logging
Use %lx to log addresses
Remove stray LOG
Remove stray assert

Prevent EventPipe rundown from blocking on write (#25523)

* Write all rundown events to the buffer manager to prevent the write from blocking while holding the CodeManager lock

* * Incorporate PR feedback
* changed to one suspend rather than suspend->resume->suspend
* added some comments

* update comments

Add check to prevent attaching a profiler when one is already present (#25520)

* Don't load multiple profilers

* add comment

* Move check to LoadProfiler, and eliminate race condition between attach profiler and startup profiled

Enable coredumps on unix (#25551)

* Enable coredumps on unix

* Remove morph change

Fix GCStress modes that do code instrumentation to work with code versioning (#25261)

- SOS changes are in https://github.com/dotnet/diagnostics/pull/369
- Fixes https://github.com/dotnet/coreclr/issues/17646

Add test for eventcounter (#25555)

Update dependencies from https://github.com/dotnet/corefx build 20190702.11 (#25549)

- Microsoft.NETCore.Platforms - 3.0.0-preview8.19352.11
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview8.19352.11

[master] Update dependencies from dnceng/internal/dotnet-optimization (#25538)

- optimization.IBC.CoreCLR - 99.99.99-master-20190703.1
- optimization.PGO.CoreCLR - 99.99.99-master-20190703.1

[master] Update dependencies from dotnet/core-setup (#25537)

- Microsoft.NETCore.App - 3.0.0-preview8-27903-01

Cleanup IL linker heuristic usage (#25547)

Prep-work for using mainstream IL linker

Update dependencies from https://github.com/dotnet/arcade build 20190702.7 (#25548)

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19352.7
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19352.7
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19352.7
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19352.7

Delete some dead code (#25546)

Add a new CompilationDiagnostic ETW Keyword (#25544)

Merge ReadyToRunInfo::GenericMethodIterator in to ReadyToRunInfo::MethodIterator (#25518)

Ensure YIELD_WHILE() in EventPipeBufferManager::SuspendWriteEvent() always terminates (#25491)

Merge pull request #25540 from MattGal/update-more-docker-images

Fix all remaining Python 2 Helix Docker images

Remove test method exclusions addressed in https://github.com/dotnet/corefx/pull/38856 (#25389)

This should finish off updating all of CoreCLR's images to versions supporting python 3 from https://github.com/dotnet/dotnet-buildtools-prereqs-docker (also saves some time by preinstalling virtualenv stuff)

Update dependencies from https://github.com/dotnet/corefx build 20190702.1 (#25536)

- Microsoft.NETCore.Platforms - 3.0.0-preview8.19352.1
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview8.19352.1

Update dependencies from https://github.com/dotnet/arcade build 20190701.4 (#25535)

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19351.4
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19351.4
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19351.4
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19351.4

Use Array.MaxArrayLength in ArrayList (#25530)

Now that `ArrayList` is in CoreLib, we don't need the copy.

Reduce allocations in GetLocale() (#25531)

Add RundownRequested switch to EventPipe IPC protocol (#25495)

* Add RundownRequested switch to EventPipe IPC protocol

* Fix linux build

* make the rundownRequested field a bool

* some renaming

* Make a new command that has an option for disabling rundown instead of breaking change

* code review feedback

Decrease EventListener buffer size (#25526)

* Reduce the default EventPipe circularBufferSize to 10MB for EventListener sessions

* make it a static var instead of random # in the code

test DisplayUnits/DisplayRateTimeScale properties (#25525)

Use AssemblyLoadContext from shared partition (dotnet/corert#7570)

We were missing methods that got added for 3.0. The only LoadContext that works is the default one though.

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Delete dead code (#25513)

Get rid of warnings while building tests (#25514)

[master] Update dependencies from dotnet/arcade (#25503)

* Update dependencies from https://github.com/dotnet/arcade build 20190629.2

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19329.2
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19329.2
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19329.2
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19329.2

* Update dependencies from https://github.com/dotnet/arcade build 20190630.1

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19330.1
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19330.1
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19330.1
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19330.1

[master] Update dependencies from dnceng/internal/dotnet-optimization (#25504)

- optimization.IBC.CoreCLR - 99.99.99-master-20190701.1
- optimization.PGO.CoreCLR - 99.99.99-master-20190701.1

[master] Update dependencies from dotnet/corefx (#25497)

- Microsoft.NETCore.Platforms - 3.0.0-preview8.19330.3
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview8.19330.3

Disable windows formatting job in PRs (#25507)

Temporarily disable this job to stop redness in PRs until #25499 is addressed.

[master] Update dependencies from dotnet/arcade (#25476)

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19328.2
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19328.2
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19328.2
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19328.2

Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20190628.3 (#25498)

- optimization.IBC.CoreCLR - 99.99.99-master-20190628.3
- optimization.PGO.CoreCLR - 99.99.99-master-20190628.3

Remove an old CoreFX exclusion file (#25500)

Plus, add comments to the new exclusion file

Update documentation for corefx testing in coreclr repo (#25493)

* Update documentation for corefx testing in coreclr repo

* Apply suggestions from code review

Co-Authored-By: Jan Kotas <jkotas@microsoft.com>
* Update a command line; improve clarity

Re-enable corefx tests (#25490)

Re-enable corefx tests

Fix GCStress issue on x86 and Arm (#25445)

* Fix GCStress issue on x86 and Arm32
  When we write one of the new gc stress instruction, such as INTERRUPT_INSTR_PROTECT_FIRST_RET
  we might be writing it in the epilog region on x86 or ARM as a direct call can be the last
  instruction before an epilog.  (This isn't allowed on x64)
  This fix expands the set of instructions we are allowed by IsMarkerInstr() toinclude these
  newly added gc stress instructions.
  added comment to GetGcMarkerExceptionCode
  Fix DAC build

* Code review feedback

* Additional code review chnages

Fix a mutex abandon case with WaitHandle.WaitAll in the PAL (#25452)

Fixes https://github.com/dotnet/coreclr/issues/25108
- Upon a `WaitAll` when all waits are already satisfied, the abandoned flag is overwritten with the abandoned state of the last wait object in the array
- So if the first wait object is an abandoned mutex and the second wait object is a signaled event, the `WaitAll` succeeds and does not report that anything was abandoned
- Fixed to accumulate into the flag instead of overwriting it

Stop using reflection on pollingcounter tests (#25489)

Don't return TRUE on tracepoint_enabled if LTTng library does not exist on build (#25459)

Use regular static variable for EEConfig storage (#25479)

Fixes #25475

Fix an assertion failure in the thread pool's QueueUserWorkItemCallbackBase (#25482)

Fixes https://github.com/dotnet/coreclr/issues/25242
- The issue could be that there is no memory barrier (or in the wrong place) on the thread reading the value, and an old value could be cached and read

Avoid the multiplication generated by mc.exe (#25454)

Update dependencies from https://github.com/dotnet/corefx build 20190627.9 (#25477)

- Microsoft.NETCore.Platforms - 3.0.0-preview8.19327.9
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview8.19327.9

Add windows arm32 native vararg excludes (#25429)

* Add windows arm32 native vararg excludes

* Fix typo

arm32_ci_script.sh: Fix tizen armel build (#25087)

Enable parsing multiple providers for LTTngConfig variable (#25451)

* Enable parsing multiple providers for LTTngConfig variable

* Handle case where LTTngConfig==NULL

* renaming some methods

* Add comment about the format of environment variable being parsed

Add test for IncrementingEventCounter (#25462)

* Add test for IncrementingEventCounter

* Some cleanup

* Remove unused using

Move coreclr-corefx pipelines into their own files (#25465)

removed unnecessary WriteLine form a test (#25460)

Merge pull request #25424 from dotnet/darc-master-e048b5ab-4671-4e74-8671-932e8299b22b

[master] Update dependencies from dotnet/arcade

Fix VersionBubbles test (#25392)

The test was not crossgening with large version bubble enabled since
the part of the .csproj that generates part of the .sh/.bat test
running scripts was commented out. There were also bugs in the
commented out code. Also, to ensure that it works, tiered compilation
and jit minopts need to be disables to ensure that the test method
won't be re-jitted.

Don't reload or spill for keepAliveThis (#25441)

Fix #25433

React to new compiler nullability warnings

[master] Update dependencies from dotnet/core-setup (#25426)

- Microsoft.NETCore.App - 3.0.0-preview7-27826-04

Update dependencies from https://github.com/dotnet/corefx build 20190626.15 (#25453)

- Microsoft.NETCore.Platforms - 3.0.0-preview8.19326.15
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview8.19326.15

Fix SIGSEGV in GC when dealing with large double[] on ARM32 (#25403)

* Fix for #25252
* revert to special casing 8-alignement for double[] in GC helpers for x86

Update linux-instructions.md

Update dependencies from https://github.com/dotnet/arcade build 20190626.44

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19326.44
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19326.44
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19326.44
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19326.44

Update dependencies from https://github.com/dotnet/arcade build 20190626.2

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19326.2
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19326.2
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19326.2
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19326.2

Hardcode LKG version of ucrtbased.dll (#25444)

* Hardcode LKG version of ucrtbased.dll

* Only use hardcoded UCRT version when search path fails

* Add missing single-quotes

Fix typo & make the code leaner (#25442)

Enum.HasFlag generates bigger IL and depends on complex JIT optimization for a good code.
The classic bit check is strongly preferred accross CoreCLR and CoreFX.

Fix ActivityTracker ES_BUILD_STANDALONE build

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Tweak nullable attribute per API review (#25443)

Update docs (#25446)

- Delete references to Jenkins CI
- Add note on Squash&Merge

EventPipe events should only be sent to sessions that are listening to the event (#25401)

Fix EncoderNLS / DecoderNLS regression in reporting error index (#25397)

Also fixes incorrect asserts in the Encoding type

[createdump] Write page offset in NT_FILE note (#25384)

Update branding to preview8 in master (#25438)

[master] Update dependencies from dotnet/corefx (#25425)

* Update dependencies from https://github.com/dotnet/corefx build 20190626.2

- Microsoft.Bcl.AsyncInterfaces - 1.0.0-preview7.19326.2
- Microsoft.NETCore.Platforms - 3.0.0-preview7.19326.2
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview7.19326.2

* Reenable globalization tests

Tweak some annotations on EventRegistrationTokenTable<T> (#25386)