Fix ReJIT failures (#25377)

emit rundown event for generic methods in R2R images (#25371)

* emit rundown event for generic methods in R2R images

* fix mac build

* Code Review Feedback

Remove the Crossgen-specific VSD flag from R2RDump (#25391)

Based on JanK's advice I have removed the VSD flag from R2RDump.
The flag should get never observed by the dump tool as it's just
an intermediate contract internal to the Crossgen ZAP logic.

Thanks

Tomas

Delete DeserializationBlockedException (#25393)

Contributes to dotnet/corefx#36723

Policheck comment adjustment

Update dependencies from https://github.com/dotnet/corefx build 20190624.8 (#25379)

- Microsoft.Bcl.AsyncInterfaces - 1.0.0-preview7.19324.8
- Microsoft.NETCore.Platforms - 3.0.0-preview7.19324.8
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview7.19324.8

React to compiler respecting nullable attributes on properties

Update dependencies from https://github.com/dotnet/arcade build 20190624.24

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19324.24
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19324.24
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19324.24
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19324.24

Make sure EventPipeProvider::m_keywords is accurate after EventPipeConfiguration::Disable (#25358)

JitBench: Run PowerShell with an execution policy (#25259)

PowerShell is useless without this argument in default Windows configurations.

Map C Locale to Invariant (#25373)

ICU map the C locale to en-US_POSIX which has a non desired collation behavior as it doesn't support case insensitive comparison.
This change is to force mapping C locale to Invariant instead.

Updating the zapper to filter out some named intrinsics which are dependent on the ISAs supported by the target CPU. (#25365)

Fix StackChange value for OpCodes.Stelem (#25382)

Fixes dotnet/corefx#37955

Update dependencies from https://github.com/dotnet/core-setup build 20190624.03 (#25380)

- Microsoft.NETCore.App - 3.0.0-preview7-27824-03

Add pr.yml ci.yml internal.yml pipelines to /eng/pipelines (#25385)

Remove outputPath parameter for EventPipe IPC protocol (#25363)

Fix StackFrameIterator::IsValid check race (#25359)

* Fix StackFrameIterator::IsValid check race

During GC stress >= 4, there could be a race when we would compute
bRedirectedPinvoke as false, but before the condition of the following
_ASSERTE is evaluated, the thread that is being walked pushes a
ResumableFrame to the explicit frames stack of that thread in the GC
marker handler.

The fix to prevent this race is to evaluate all the conditions that
formed the bRedirectedPinvoke after the conditions in the _ASSERTE.

Add a note about ReadyToRun to ManagedNativeHeader

Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20190624.3 (#25381)

- optimization.IBC.CoreCLR - 99.99.99-master-20190624.3
- optimization.PGO.CoreCLR - 99.99.99-master-20190624.3

Stop deallocating provider/events on shutdown (#25369)

Brick table (#25349)

Fix brick table logic to fix perf issue in several ASP.NET tests, remove #ifdef FFIND_OBJECT.

What I observed was that some GCs spent a lot of time in find_first_object called from find_object, which is called during stack scanning to find the containing object for interior pointers. A substantial fraction of generation 0 was being scanned, indicating that the brick table logic didn't work properly in these cases.

The root cause was the fact that the brick table entries were not being set in adjust_limit_clr if the allocation was satisfied from the free list in gen0 instead of newly allocated space. This is the case if there are pinned objects in gen0 as well.

The main fix is in adjust_limit_clr - if the allocation is satisfied from the freelist, seg is nullptr, the change is to set the bricks in this case as well if we are allocating in gen0 and the allocated piece is above a reasonable size threshold.

The bricks are not set always set during allocation - instead, when we detect an interior pointer during GC, we make the allocator set the bricks during the next GC cycles by setting gen0_must_clear_bricks. I changed the way this is handled for server GC (multiple heaps). We used to multiply the decay time by the number of heaps (gc_heap::n_heaps), but only applied it to the single heap where an interior pointer was found. Instead, I think it's better to instead set gen0_must_clear_bricks for all heaps, but leave the decay time unchanged compared to workstation GC.

Maoni suggested to remove the #ifdef FFIND_OBJECT - interior pointers are not going away, so the #ifdefs are unnecessary clutter.

Addressed code review feedback:
 - add parentheses as per GC coding conventions
 - use max instead of if-statement
 - merge body of for-loop over all into existing for-loop

Fix broken ETW events (#25364)

Make s_numberOfSessions Volatile as advertisement to other devs that the data is being used across multiple threads and a portion of that usage is lock-free (#25366)

Events with keyword 0 needs to be fired (#25361)

Address last round of nullable feedback - S.Resources.ResourceManager, System.Reflection.Emit and ILGeneration (#25318)

* Address nullable feedback for System.Resources.ResourceManager

* Address nullable feedback for System.Reflection.Emit.ILGeneration

* Address nullable feedback for System.Reflection.Emit

* PR Feedback and clean-up redundant casts

Add /eng/pipelines/*.yml (#25325)

Throw platform unsupported error for windows arm32 varargs (#25320)

* Throw unsupported platform for native vcarargs on Arm32 Windows

* Re-enable baseservices vararg test

Updating Dragon4 to ensure the number buffer always provides a significant digit if one exists. (#25096)

* Updating Dragon4 to ensure the number buffer always provides a significant digit if one exists.

* Changing System.Number.RoundNumber to not round up floating-point numbers.

* Re-enabling the RealFormatterTestsBase CoreFX tests

* Updating Number.RoundNumber to take a isCorrectlyRounded parameter and to use IEEE compliant rounding for floating-point numbers.

* Change SinglePrecisionCustomFormat to 7, ensuring it matches the value used in netcoreapp2.1

Switch from IndexOf(string) to Contains(string) for better readability and performance (#38757)

* Fix performance IndexOf(string) -> Contains(string)

* Make comparison ordinal

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Make Vector*.ToString() Culture invariant (#25343)

* Remove IFormattable
* Hardcode characters
* Add tests

Multiple bug fixes (#25308)

- Fixes EventPipe does not properly dispose of itself on an active session error #25228
  - On EventPipeSession::ThreadProc, if an error occurs on the IPC streaming, then EventPipe::Disable will be invoked.
- Fixes Prevent EventPipe Sessions IDs from being reused on disconnect #25229

Remove AggressiveOptimization flag from System.Text (#25356)

Based on conversation with Levi, I don't think this flag is needed.

The flag currently controls two things:
* Disqualifies the method from precompilation
* Disables Tier-0 JIT for the method

Removing the attribute allows us to precompile some of the methods (not all, because of `Vector<T>`). It measurably helps improve startup time because many of the attributed methods are complex and take a while to compile.

Once tier-1 JIT kicks in, the generated code should be identical to what we were getting before.

JIT: see if jmp offset will fit in 32 bit displacement (#25348)

On x86 we can always reach any IAT_PVALUE entry via a 32 bit indirect
jump, and proper handling of jmp epilogs depends on this. So check if the
target address is reachable in 32 bits, and if so, use the jmp [addr] form
on x86, and the jmp [rip + disp] form for x64.

Fixes #25345
Fixes #25346
Undoes the assertion change from #25302
Fixes #25286

Update R2R format doc to 3.0 (#25297)

I have updated the various enumerations and tables. I didn't try
to go overboard w.r.t. understanding tables I'm not yet familiar
with, most notably the diagnostic, inlining and profiling tables.

Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20190624.1 (#25354)

- optimization.IBC.CoreCLR - 99.99.99-master-20190624.1
- optimization.PGO.CoreCLR - 99.99.99-master-20190624.1

Update dependencies from https://github.com/dotnet/arcade build 20190623.4 (#25351)

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19323.4
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19323.4
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19323.4
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19323.4

Update dependencies from https://github.com/dotnet/core-setup build 20190623.05 (#25353)

- Microsoft.NETCore.App - 3.0.0-preview7-27823-05

Update dependencies from https://github.com/dotnet/corefx build 20190623.4 (#25352)

- Microsoft.Bcl.AsyncInterfaces - 1.0.0-preview7.19323.4
- Microsoft.NETCore.Platforms - 3.0.0-preview7.19323.4
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview7.19323.4

Extend the assert for zero-offset fields (#25341)

CoreRT has an [actual field](https://github.com/dotnet/corert/blob/ba3ba929c88bd80ec5d4dd9cf6917471ad8fa180/src/System.Private.CoreLib/src/System/Object.CoreRT.cs#L30) for the method table table pointer in `System.Object`. CoreCLR does shenanigans when laying out `System.Object` to leave a pointer-sized hole instead.

I think the zero-offset field is triggering these asserts.

Force secondary await continuations to run asynchronously (#25280)

* Force secondary await continuations to run asynchronously

For performance reasons, await continuations have been invoked synchronously, meaning they're invoked as part of the antecedent task's completion (as long as that task allows it, as long as there's sufficient stack space, etc.)  This generally works out well in the case where there's a single await continuation, which is far and away the common case.  However, it can cause problems in situations where there are multiple await continuations, as those continuations will end up being serialized, which can lead to slowdowns and deadlocks in niche situations.  To address that, this commit backs off a bit.  The first await continuation is still invoked synchronously, but subsequent await continuations are invoked asynchronously, such that they are not blocked by a previously registered await continuation.

* Fix nits

Update dependencies from https://github.com/dotnet/core-setup build 20190622.05 (#25338)

- Microsoft.NETCore.App - 3.0.0-preview7-27822-05

MemoryExtensions ToUpper / ToLower throws for overlapping buffer (#25327)

Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20190623.1 (#25339)

- optimization.IBC.CoreCLR - 99.99.99-master-20190623.1
- optimization.PGO.CoreCLR - 99.99.99-master-20190623.1

Update dependencies from https://github.com/dotnet/arcade build 20190622.2 (#25336)

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19322.2
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19322.2
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19322.2
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19322.2

Update dependencies from https://github.com/dotnet/corefx build 20190622.7 (#25337)

- Microsoft.Bcl.AsyncInterfaces - 1.0.0-preview7.19322.7
- Microsoft.NETCore.Platforms - 3.0.0-preview7.19322.7
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview7.19322.7

Change exception throwing in Path.GetRelativePath (#25047)

* Fix Path.GetRelativePath throws ArgumentNullException when relativeTo is empty string

* Fix ArgumentException for relativeTo

ArgumentException: use system-supplied message if message is null (#25115)

Enable using a system-supplied message while also providing an argument/parameter name by passing in a null message. Made to match the behavior of FileNotFoundException.

Fix ReturnKind classification for byref like types returned in registers (#25333)

These types contain byrefs, and so when returned in registers we may need
to avoid GC stress at the return site.

Addresses part of #24263.

Update dependencies from https://github.com/dotnet/arcade build 20190621.75 (#25328)

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19321.75
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19321.75
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19321.75
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19321.75

Update dependencies from https://github.com/dotnet/corefx build 20190621.8 (#25329)

- Microsoft.Bcl.AsyncInterfaces - 1.0.0-preview7.19321.8
- Microsoft.NETCore.Platforms - 3.0.0-preview7.19321.8
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview7.19321.8

Update dependencies from https://github.com/dotnet/core-setup build 20190621.07 (#25330)

- Microsoft.NETCore.App - 3.0.0-preview7-27821-07

Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20190622.1 (#25331)

- optimization.IBC.CoreCLR - 99.99.99-master-20190622.1
- optimization.PGO.CoreCLR - 99.99.99-master-20190622.1

Fix generation of RID on distros that do not set VERSION_ID (#25034)

Rolling-release distros do not set this variable, leading to invalid
RIDs such as "gentoo.-x64", which causes build failures.

Omit VERSION_ID (and the period preceding it) when unset, so it's
consistent with host and PlatformAbstractions.

Fixes #19769.

[master] Update dependencies from dotnet/corefx (#25120)

* Update dependencies from https://github.com/dotnet/corefx build 20190621.1

- Microsoft.Bcl.AsyncInterfaces - 1.0.0-preview7.19321.1
- Microsoft.NETCore.Platforms - 3.0.0-preview7.19321.1
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview7.19321.1

* Disable failing tests

Arm64: Correct encoding of fabd (#25150)

don't require seg size to be power of 2 for large pages (#25216)

large pages will have segments aligned to 16mb (the default min seg size for hardlimit)

Update dependencies from https://github.com/dotnet/arcade build 20190620.1 (#25311)

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19320.1
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19320.1
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19320.1
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19320.1

Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20190621.1 (#25314)

- optimization.IBC.CoreCLR - 99.99.99-master-20190621.1
- optimization.PGO.CoreCLR - 99.99.99-master-20190621.1

[master] Update dependencies from dotnet/core-setup (#25254)

* Update dependencies from https://github.com/dotnet/core-setup build 20190620.07

- Microsoft.NETCore.App - 3.0.0-preview7-27820-07

Merge pull request #25260 from briansull/GitHub_25134

Fix Issue #25134 - AssertionProp incorrectly removes cast from uint

Add EventPipe Processor Number support and make NetTrace the default … (#25276)

* Add EventPipe Processor Number support and make NetTrace the default format

The EventPipe header now has a Processor Number field. On windows we query the correct value, on other OSes we currently have a -1 placeholder, but the field is written to the format regardless.
NetTrace is now the default format when using the environment variable, and the format must be explicitly configured when using the IPC channel or managed API. A parallel change in the diagnostics repo is changing dotnet-trace and dotnet-counter to specify nettrace format which means .NET devs should see nettrace almost exclusively from now on. If for whatever reason it is needed, NetPerf remains available if a scenario explicitly requests to use it.

* PR feedback + attempting to fix broken tests

WorkAround for #25050. (#25316)

* WorkAround for #25050.

A temporary workaround to push the milestone for this issue to 3.next.

* Response review.

Fix test to use mutual waits (#25317)

Fix #25245

Address nullable feedback for System.Diagnostics.Tracing and StackTrace (#25303)

* Address nullable feedback for System.Diagnostics.Tracing and StackTrace

* Disable corefx tests that need to be updated

Update instructions to build individual tests

cc @jashook and @sandreenko

ifdef Linux specific readvirtual code (#25299)

Remove several unnecessary string allocations (#25305)

JIT: update epilog exit size assert for x86 (#25302)

With the advent of #25251 we can now see the epilog exit sequence on x86 vary
by as much as 6 bytes. Update the assert accordingly.

Fixes #25301.

Fixed mis-matching arguments in src/CMakeLists.txt (#25307)

Disable unloading incompatible test for runincontext (#25126)

* Disable unloading incompatible test for runincontext

These tests do various things that make them incompatible with running
in an unloadable assembly load context using the runincontext tool.
I've attached comments to the UnloadabilityIncompatible element
describing the specific problems of each test.

I've also found a problem in the parameter passing in the
runincontext.sh where it was always passing 7 parameters to each test
and tests that were checking the number of parameters were failing due
to that. This change fixes it by passing just the parameters that were
passed to the runincontext.sh.

* Added printing unhandled exception details if it happened in the test
* Added 10ms wait to the GC collection loop to also give time to async
stuff to completely exit threadpool threads

Mark the profiler attach thread during attach

Fix OSX floating point state extraction (#25295)

There was a bug reported on a very recent Mac with Intel i9 processor. A
crash in the RtlRestoreContext was happening at the fxrstor instruction
due to the fact that the floating point state data were garbage.
The investigation has shown that sometimes, the x86_FLOAT_STATE64
cannot be obtained using the thread_get_state API. And it was also found
that at the same time, the x86_AVX_STATE64 can be obtained. The state
extracted by the AVX variant contains all the registers that the FLOAT
variant would extract.
However, in some cases, even the x86_AVX_STATE64 cannot be obtained and
there is a third flavor that we can get - x86_AVX512_STATE64.
Unfortunately, there are cases where none of those can be obtained.
It is not clear what causes these cases, it seems only kernel debugging
can give us an answer to that.

This change modifies the way we extract the floating point state. We
first try to get the AVX state, if we fail, we try the AVX512 and
finally we fall back to the FLOAT state. If we fail to get the floating
point state with any of these, we return context without the floating
point state flag set. Also, if only getting the FLOAT state succeeds,
we return context without the XSTATE flag set.

Reduce string allocation in DiagnosticCounter.GetMetadataString (#25219)

When the _metadata dictionary contains a single key/value pair, the method ends up allocating an unnecessary StringBuilder, char[] beneath it, and input string.

When the _metadata dictionary contains more key/value pairs, the method ends up allocating an unnecessary string per key/value pair.

ensure process-wide fence when updating GC write barrier on ARM64 (#25130)

* ensure process-wide fences when updating GC write barrier on ARM64

[master] Update dependencies from dotnet/arcade (#25253)

* Update dependencies from https://github.com/dotnet/arcade build 20190619.25

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19319.25
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19319.25
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19319.25
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19319.25

[master] Update dependencies from dnceng/internal/dotnet-optimization (#25255)

* Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20190620.1

- optimization.IBC.CoreCLR - 99.99.99-master-20190620.1
- optimization.PGO.CoreCLR - 99.99.99-master-20190620.1

Added the complementary test cases of going from a negative int to an unsigned.

Revert "ILMarshaler Refactor (#21227)" (#25292)

This reverts commit 70febbad4bbe23326c26480b2848cdfe9fc8450c.

Add custom default base address option to crossgen (#25227)

* Add crossgen option to setup default base address for native image

This is enabled only with -DFEATURE_ENABLE_NO_ADDRESS_SPACE_RANDOMIZATION.

* Mmap native images at default base address if env variable COMPlus_UseDefaultBaseAddr=0x1 is setup.

This is enabled only with -DFEATURE_ENABLE_NO_ADDRESS_SPACE_RANDOMIZATION.

Fix eventpipe filtering (#25221)

* Add DOTNET_TRACE_CONTEXT and change macros to use DOTNET_TRACE_CONTEXT instead of MCGEN_TRACE_CONTEXT

* Fixing macro definitions

* eventing codegen scripts now generates EventPipe trace contexts

* Fix macros to use the EVENTPIPE_TRACE_Context

* Fix linux build

* Fix windows build

* Update Eventpipe provider context at EtwCallbackComon

* break in switch

* Update rundown provider context manually

* PR feedback

* Eventpipe->EventPipe

* cleanup in codegen script

Update linux-performace-tracing doc to add eventpipe/dotnet-trace (#25212)

* Update linux-performace-tracing doc to add eventpipe/dotnet-trace

* typo

* Add more detailed doc instead of just a link :)

* remove redundant part

* Update based on noah's feedback

Remove dead code related to copy-constructors and intercept stubs (#25264)

* Remove dead code related to copy-constructors and intercept stubs

* PR Feedback.

Disable NativeVarargsTest on Windows Nano Server. (#25284)

Move resources/containers out of azure-pipelines.yml to platform-matrix.yml (#25155)

Initial check-in of R2R format documentation (#25267)

In this initial check-in I have converted Jan Kotas' R2R format doc
from an internal Word document to the md format and I removed some
references to other internal docs. I plan to follow up by updating
the description to the current format version (e.g. apparently the
description doesn't yet include the instance entrypoint table) and
by adding specific extensions for the composite R2R format.

Thanks

Tomas

Merge pull request #25285 from MattGal/update-arm32-dockerimages

Update ARM32 Helix Images to include Python 3

Remove SOS and lldb plugin (#25220)

* Remove SOS and lldb plugin

Issue: https://github.com/dotnet/coreclr/issues/24092

Triage issues in #25098 (#25240)

JIT: use register indirect for indirect jumps (#25251)

If we are jumping to another method via an indirection cell, the cell address
may be too far from the jump to address via a RIP-relative indirection. So
instead, load the target address into RAX and jump register indirect.

Fixes #22342.

missed a spot

Update ARM32 Helix Images to include Python 3

Remove test 366085 (#25277)

This test was checking for "Parameter name:" substring in the
ArgumentNullException message. But a recent change #25185 modified
that string to just "Parameter".

We also have a coverage for this in corefx tests, so I am removing
this test.

Fix visibility on Exception.InnerExceptionPrefix (#25278)

Merge pull request #25265 from BruceForstall/FixCorefxTestingScript

Update run-corefx-tests.py for new 3.0.0 directory name

Restrict copyprop if address-taken (#25247)

* Restrict copyprop if address-taken

Fix #25231

Update run-corefx-tests.py for new 3.0.0 directory name

Address nullable feedback for S.T.Overlapped, S.Memory, S.R.InteropServices (#25214)

* Address nullable feedback for System.Threading.Overlapped

* Address nullable feedback for System.Memory

* Address nullable for System.Runtime.InteropServices

* Update xml comments and make CultureInfo nullable to match String.ToLower/Upper feedback

* PR feedback: revert accepting null comparer in BinarySearch

* Disable test that needs to be updated in corefx

Fix Issue #25134 - AssertionProp incorrectly removes cast from uint
Add additional check for the GT_UNSIGNED flag
+ Ran clang-format
+ Code review feedback, use IsUnsigned()

Change Diagnostic Server transport name to align with spec (#25031)

resolves 24859

Exception format cleanup subset (#25185)

* Change ArgumentException message to one line

* Disable 2 tests

* Remove duplication in AggregateException.ToString()

* Inner exceptions on new lines

* Caps letter

* Typo