Merge pull request #23876 from briansull/jit-dump

Improved JitDump

Merge pull request #23858 from sandreenko/fixOptPrepareTreeToReplacement

Clean optVNConstantPropOnTree.

Check for a null import descriptor when fixing up vtables. (#23825)

A fragile ngened image doesn't have an import descriptor directory in its PE image. Without this check, we AV when loading a fragile ngened image.

jit-format

Improved JitDump
- Prints the bbNatLoopNum when dumping the BasicBlocks
- Refactor the GenTree node dump to use gtDispCommonEndLine:
//     Utility function that prints the following node information
//       1: The associated zero field sequence (if any)
//       2. The register assigned to this node (if any)
//       2. The value number assigned (if any)
//       3. A newline character

Update the comment.

Update Range.GetOffsetAndLength (#23855)

* Update Range.GetOffsetAndLength

Make it return offset and length tuple instead of the old Type Range.OffsetAndLength

* Fix the return Tuple fields names

Tweaking some APIs according to user feedback. (#23857)

* Updating the Avx2.ConvertToVector256UInt APIs to return a signed type (matching the native signature and Sse41 APIs).

* Adding explicit overloads for `Sse41.ConvertToVector128Int*` and `Avx2.ConvertToVector256Int*` that take a pointer

* Updating the word ordering for the Compare/CompareScalar methods.

Update dependencies from https://github.com/dotnet/core-setup build 20190409.17 (#23865)

- Microsoft.NETCore.App - 3.0.0-preview5-27609-17

Update CoreClr to preview5-27610-71 (#23859)

Update Windows instructions (#23841)

The instructions for CMake failed to list 3.14.1 when using Visual Studio 2019.

Update profiling-api-status.md

Clarifying that profiler attach/detach are a known gap

Change optExtractSideEffList to optExtractSideEffList.

Fix newlines for  ilegal trees in `gtDispTree`.

Expose new EventCounter APIs (#23808)

* rename BaseCounter to DiagnosticCounter

* Change MetaData->Metadata

* Make EventSource and Name a property for counter classes

* Make the counter APIs public

* fix build errors

* Change float to double

* Few cleanups, fix test

* fix GetMetadataString

* PR feedback

* More PR feedback

Remove dlclose call to unload CoreCLR (#23863)

Add back using to EventSourceException

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Update CoreRT for changes in shared partition

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Add 'SetNotificationForWaitCompletion' to ILLinkTrim.xml (#23822)

SetNotificationForWaitCompletion is meant to be func-eval'ed by the debugger to enable async step out. But this method was being removed by the IL linker. This adds it back.

Delete the asignment that was added as a workaround.

Clarify some unsupported cases in `optVNConstantPropOnTree`.

Clean optVNConstantPropOnTree.

Create a new tree with const val and attach side-effects to it.
Extract common code and delete returns in the of the switch.

Don't denormalize enum return values on instance methods on x86. (#23816)

* Don't denormalize enum return values on instance methods on x86.

* Reuse closedElemType.

Alter CCW wrapping semantics (#23709)

* Update CCW semantics to not unwrap when a managed COM server was activated
  from a managed COM client. This is a functional change from .NET Framework.

* Add support for CoreShim to "attach" to the existing CLR instance when
 running from a CoreRun scenario.

* Add testing for NET COM client activating a NET COM server

Destroy the old tree in `optAssertionProp_Update`.

Currently compiletion will fail with an assert because of `optPrepareTreeForReplacement`.

Delete condition that was previously checked with noway_assert.

Exclude PInvokes declared on other modules. We don't yet encode crossmodule references (#23828)

* Exclude PInvokes declared on other modules. We don't yet encode cross module references

Unconditionally set CrossGenTest to false for readytorun/tests/mainv1 mainv2 (#23826)

Group XUnitWrapper.dll into the same Payloads when submit to Helix (#23476)

* Add DisplayNameAttribute to each Fact

* Split files under bin/tests folder into groups and specify the corresponding *.XUnitWrapper.dll

* Group some of the *.XUnitWrapper.dll files into PayloadGroups and split others into different PayloadGroups if they have more than one TestGroup defined

* Add "TestGroup" trait to XUnitWrapper facts

* Add Microsoft.DotNet.XUnitConsoleRunner to eng\Versions.props

* Overwrite xunit.console.dll with the version coming from Microsoft.DotNet.XUnitConsoleRunner

Update CoreClr to preview5-27609-71 (#23809)

Update dependencies from https://github.com/dotnet/core-setup build 20190408.16 (#23836)

- Microsoft.NETCore.App - 3.0.0-preview5-27608-16

Improve RuntimeHelpers.GetSubArray (#23829)

* Improve RuntimeHelpers.GetSubArray

This change does three things.

First, it fixes `GetSubArray` to work when the supplied array is actually a `U[]` where `U : T`.  Currently this case ends up throwing an exception inside of span, which doesn't like working with arrays covariantly.

Second, it fixes argument validation so that we throw an ArgumentNullException if the input array is null rather than NullReferenceException.

Third, it improves the performance of `GetSubArray` for the 95% common case where either `T` is a value type or the type of the array matches the `T` type specified.

* Only use `Array.Empty<T>` when `typeof(T[]) == array.GetType()`

Remove exclusion for System.Threading.Tasks.Tests (#23818)

* Update exclusion for System.Threading.Tasks.Tests

There is a race in the test, which causes failures in various stress runs. And that is not Linux specific.

The failure is addressed in https://github.com/dotnet/corefx/pull/36645
This is to update the exclusion lists to make it not just for Linux and to link to the fix PR, so that it could be tracked when it makes it into coreclr.

* Update corefx_test_exclusions.txt

* Update corefx_test_exclusions.txt

Merge pull request #23739 from briansull/struct-cse

Block the hoisting of TYP_STRUCT rvalues in loop hoisting

Merge pull request #23752 from adityamandaleeka/arm64_clrww

Enable CLR write watch for ARM64 Windows

Block the hoisting of TYP_STRUCT rvalues in loop hoisting
Added test case GitHub_23739.cs

Merge pull request #23814 from sandreenko/disableSystemIOTestsCorefx

Diable CoreFX System.IO.Tests.dll on windows arm64.

Merge pull request #23251 from mjsabby/largePagesInGC

Add Large pages support in GC

Merge pull request #23813 from wtgodbe/PrevAgain

Re-update branding to preview5

Remove the MultiFileSec option from EventPipe. (#23777)

This option was a pseudo mechanism to fake "streaming" events out-of-proc.
The idea was to have EventPipe creating files every N seconds, with event data up to that point. Thus, external processes could read these files in an attempt to get "read-time" data.
Now, we actually have streaming of event through IPC channels, so this option is not needed.

Merge pull request #23715 from BruceForstall/FixArmStackProbing

Fix ARM32/ARM64 large frame stack probing

Add Large pages support in GC

Diable CoreFX System.IO.Tests.dll on windows arm64.

Re-update branding to preview5

Merge pull request #23801 from sergiy-k/enabler2rtestingonunix

Enable running tests in the ReadyToRun mode on Linux on OSX

[master] Update dependencies from dotnet/arcade (#23797)

* Update dependencies from https://github.com/dotnet/arcade build 20190406.5

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19206.5
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19206.5

* Update dependencies from https://github.com/dotnet/arcade build 20190407.1

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19207.1
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19207.1

[master] Update dependencies from dotnet/corefx (#23798)

* Update dependencies from https://github.com/dotnet/corefx build 20190406.5

- Microsoft.NETCore.Platforms - 3.0.0-preview5.19206.5
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview5.19206.5

* Update dependencies from https://github.com/dotnet/corefx build 20190408.1

- Microsoft.NETCore.Platforms - 3.0.0-preview5.19208.1
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview5.19208.1

Merge pull request #23605 from franksinankaya/gcc_cleanup_17

Fix conversion warning

Allow reabstraction of default interface methods (#23313)

Allow the runtime to load types with incomplete interface implementations. With this change, we allow (in pseudo-C#):

```csharp
interface IFoo { void Frob() { } }
interface IBar : IFoo { abstract void IFoo.Frob() }
class Fooer : IBar { }
```

Calling IFoo.Frob on an instance of `Fooer` will result in new exception being thrown because the default implementation of `IFoo.Frob` was re-abstracted by `IBar`.

Update CoreClr to preview5-27607-72 (#23799)

Enable running tests in the ReadyToRun mode on Linux on OSX

Add Alpine.38.Arm64.Open Helix queue

Update image coreclr uses for arm64 musl crossbuild

Fix two new nullable warnings with latest compiler

Update BuildTools, CoreClr to preview4-03906-01, preview5-27606-71, respectively

Merge pull request #23775 from sandreenko/reenableFixedCoreFX

Reenable System.Runtime.Tests. for arm64.

Normalize directory separators before calling LoadLibrary (#23776)

* Normalize directory separators when loading native library via ALC.LoadUnmanagedDllFromPath

Remove remaining devdocs and cleanup ComponentModel code (#23175)

* Remove remaining devdocs and cleanup ComponentModel code

Merge pull request #23781 from sergiy-k/addcrossgenforcoreroot1

Add crossgen option to build-test.sh

Update dependencies from https://github.com/dotnet/arcade build 20190405.6 (#23784)

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19205.6
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19205.6

[master] Update dependencies from dotnet/corefx (#23785)

* Update dependencies from https://github.com/dotnet/corefx build 20190405.9

- Microsoft.NETCore.Platforms - 3.0.0-preview5.19205.9
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview5.19205.9

*  System.Data.DataSetExtensions is not a package anymore

Make  GCToOSInterface::FlushProcessWriteBuffers use MEMBARRIER_CMD_PRIVATE_EXPEDITED if available (#23778)

Basically a port of  https://github.com/dotnet/coreclr/pull/20949   to  GCToOSInterface

Update CoreClr to preview5-27605-73 (#23782)

Match PtrToStringUTF8 to the other PtrToString* families. (#23731)

* Match PtrToStringUTF8 to the other PtrToString* families.

* Make PtrToString*(IntPtr,int) exceptions consistent.

* Exclude out-of-date tests in CoreFX.

* Update exclusions to cover tests that are now throwing ArgumentOutOfRangeExceptions instead of ArgumentExceptions.

* Fix parameter order for exception.

* Pass value to exception.

Fix typo in Buffer.BlockCopy (#23636)

Fix broken links (#23748)

Add crossgen option to build-test.sh
This option will cause the script to call crossgen to precompile the
managed assemblies in CORE_ROOT after generating layout.
Most of this code has been transferred from tests/bringup_runtest.sh.

WIP Fix ARM32/ARM64 large frame stack probing

Fedora.28.Amd64 queue is dead. Use container instead (#23765)

* Fedora.28.Amd64 queue is dead. Use container instead

* udpate ubuntu to Ubuntu

* do not escape () as rest of the coreclr does not do it either.

Reenable System.Runtime.Tests. for arm64.

Merge pull request #23728 from briansull/FixConstByref

Fix for Issue #23538

Merge pull request #23770 from wtgodbe/Preview5

Update branding to preview5

Replacing some calls to GetThread with an inlined version (#23771)

Whitespace (#23772)

Fix rounding to UINT32_MAX (#23764)

In case you would have UINT32_MAX - 1 CPUs, you would round up to return UINT32_MAX CPUs.

Fix issue 23713: handle TypeDesc field handles (#23767)

[master] Update dependencies from dotnet/arcade (#23718)

* Update dependencies from https://github.com/dotnet/arcade build 20190404.16

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19204.16
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19204.16

Update CoreClr to preview4-27605-71 (#23710)

[master] Update dependencies from dotnet/core-setup (#23719)

* Update dependencies from https://github.com/dotnet/core-setup build 20190404.13

- Microsoft.NETCore.App - 3.0.0-preview4-27604-13

Update the JIT to recognize the IsSupported property for all HWIntrinsics (#23751)

* Moving some JITDUMP calls into Compiler::lookupNamedIntrinsic

* Marking the IsSupported methods as Intrinsic for all HWIntrinsic ISAs

* Updating the hwintrinsic importation to more generally handle IsSupported and ThrowPNSE

* Applying formatting patch.

* Adding using System.Runtime.CompilerServices to the various x86 PlatformNotSupported HWIntrinsic files

Enable return buffers on Windows ARM64 for struct-returning member functions (#23625)

* Enable return buffers on Windows ARM64 for struct-returning member functions. Fixes #23577.

* Update comment to match new condition.

* Enable byref return on all Windows (excluding arm64 HFA. Add more test cases for ThisCall.

* On x86, if we have a normalized return value in an instance method, get back the actual type so that we correctly marshal it via a return buffer.

* Fix param ordering.

* Clean up based on PR feedback.

* Fix accidental variable shadowing.

Update branding to preview5

Fix conversion warning

Don't null out references in Stream/BinaryReader/Writer (#23725)

These types null out some fields on Dispose, and some of those fields are accessible directly via exposed properties, which means that nulling them out would either force us to annotate those properties as being nullable or would require us to lie about them being nullable.  Nulling them out also makes it easier to accidentally null ref in the implementation, and prevents us from making the fields readonly.

It should be exceedingly rare that you dispose of one of these objects and then keep it alive while also being concerned about keeping alive the other helper objects the type uses.  So this change just uses a separate flag to track disposal, and avoids nulling out the fields, which is not a common practice elsewhere in the framework.

This will be a visible change in that after Dispose, properties like StreamWriter.BaseStream/Encoding will now return the stream/encoding rather than null.  In theory that could break someone if they were using those properties to determine whether the writer had been disposed, but that seems unlikely / similar fallout from most any bug fix, and objects generally aren't supposed to be touched after Dispose, anyway.

Change the backing storage for Byref constants in ValueNumber-ing to use size_t.
Fixes #23538

Partially improve support for `--cpus` from Docker CLI (#23747)

* Round up the value of the CPU limit

In the case where `--cpus` is set to a value very close to the smaller
integer (ex: 1.499999999), it would previously be rounded down. This
would mean that the runtime would only try to take advantage of 1 CPU in
this example, leading to underutilization.

By rounding it up, we augment the pressure on the OS threads scheduler,
but even in the worst case scenario (`--cpus=1.000000001` previously
being rounded to 1, now rounded to 2), we do not observe any
overutilization of the CPU leading to performance degradation.

* Teach the ThreadPool of CPU limits

By making sure we do take the CPU limits into account when computing the
CPU busy time, we ensure we do not have the various heuristic of the
threadpool competing with each other: one trying to allocate more
threads to increase the CPU busy time, and the other one trying to
allocate less threads because there adding more doesn't improve the
throughput.

Let's take the example of a system with 20 cores, and a docker container
with `--cpus=2`. It would mean the total CPU usage of the machine is
2000%, while the CPU limit is 200%. Because the OS scheduler would never
allocate more than 200% of its total CPU budget to the docker container,
the CPU busy time would never get over 200%. From `PAL_GetCpuBusyTime`,
this would indicate that we threadpool threads are mostly doing non-CPU
bound work, meaning we could launch more threads.

Fix invalid use of stack memory (#23758)

* Fix invalid use of stack memory

Revert optimization (#23759)

Disable marshalling delegates as _Delegate and enable marshalling delegates as IDispatch. (#23738)

* Disable marshalling delegates as _Delegate and enable marshalling delegates as IDispatch.

* ifdef out the new IDispatch marshalling on non-COM-supporting platforms.

* PR feedback.

Improve performance of Memory<T>.Span property getter (#23750)

Disable a couple of S.R.InteropServices tests (#23697)

Disabled the two tests that were fixed in PR https://github.com/dotnet/corefx/pull/34968

Merge pull request #23633 from dotnet/NullableFeature

Nullable feature into master

Fix Debug.Assert in GenericDelegateCache (#23755)

Fix SystemV AMD64 Explicit structure classification (#22041)

* Don't bail out on enregistering explicit structs if there are no overlapping fields.

* Don't enregister if any unaligned fields.

* Enable passing explicit structs by-value by enregistering on systemv. Some edge cases are likely still broken, but just removing our blanket opt-out makes the current tests pass.

* Enable MarshalstructAsLayoutExp off-Windows.

* Start adding additional tests for explicit layout to try to catch edge cases in SystemV classification.

* Added a test that spans across multiple eightbytes and has an overlap in the second eightbyte.

* Change repro to use an array of floats and an int field in managed and use a float array for padding in native to force an SSE classification on the first byte.

* New algorithm to calculate eightbyte classification by going throw the structure byte-by-byte instead of field-by-field.

* Fix updating eightbyte classifications in the loop to actually used the iterated-upon variable.

* Consider each element of a fixed array as a separate field (to match native implementations).

* Implement correct SystemV classification for fixed buffers in non-blittable structures. Fixed buffers in blittable structures have the managed layout assign classifications, which still is buggy.

* Add tests.

* Correctly classify blittable fixed buffers. Move "is this field a fixed buffer" tracking into one of the unused bits in FieldDesc as code that isn't in marshalers needs to know about it.

* Handle the case where we have a struct that has no fields in an eightbyte that contains (i.e. no fields in the first eight bytes of the structure).

* PR feedback.

* Only look up FixedBufferAttribute when the type is a value class and the type of the field is a value type.

* Use heuristic to determine if a type is a fixed buffer for SystemV classification.

* Revert tracking if a field is a fixed buffer in the FieldDesc.

* Update comments.

* Classify aligned, nonoverlapping, float/double only structures as HFAs even if explicitly laid out

* Enable overlapping fields in HFAs. Update NativeType HFA to check for alignment.

I checked Godbolt to verify that HFAs for overlapping fields are allowed.

* Add HFA tests.

* Fix compile errors from HFA alignment check.

* Non-valuetypes will never have their managed layout used to classify SystemV eightbytes.

* Don't classify a struct with no zero-offset field as an HFA.

* Remove duplicate semicolon.

* PR feedback.

* Add test with 2-field double HFA.

* Clean up and add static asserts for struct size.

* Add define for static_assert_no_msg to the native test headers

* Fix build breaks.

* Remove unneeded "size = X bytes" comments. They were holdovers from the .NET Framework test tree.

* Use GetNumInstanceFieldBytes instead of GetLayoutInfo()->GetManagedSize()

* Fix build break.

* Centralize FieldMarshaler offsettting in ClassifyEightBytesWithNativeLayout.

* Fix signed/unsigned mismatch

* Fix condition to also detect arm64.

* Change ifdef to if defined.

* Remove duplicate declaration (broken in rebase)

* Add some logging in one of the unreproable OSX test failures.

* Mark System.Numerics.Vector as intrinsic and don't use the eightbyte classifier to enregister it.

* Also explicitly opt-out of HFAs for System.Numerics.Vector`1 for consistency.

* Update R2R required version to 3.0.

* Remove debugging prints.

Merge pull request #23537 from janvorli/remove-gc-cpu-group-knowledge

Remove CPU groups notion from the gc.cpp

Merge pull request #23735 from safern/merge-master-nullable

Pull master changes into NullableFeature

Run on Ubuntu.1604.Arm32.Open in pull requests and scheduled builds (#23729)

Use BYOC pools in "Publish to BAR" job (#23733)

Fix merge conflicts on Delegate and String.resx

Merge remote-tracking branch 'dotnet/master' into merge-master-nullable