[master] Update dependencies from dotnet/corefx (#23785)

* Update dependencies from https://github.com/dotnet/corefx build 20190405.9

- Microsoft.NETCore.Platforms - 3.0.0-preview5.19205.9
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview5.19205.9

*  System.Data.DataSetExtensions is not a package anymore

Make  GCToOSInterface::FlushProcessWriteBuffers use MEMBARRIER_CMD_PRIVATE_EXPEDITED if available (#23778)

Basically a port of  https://github.com/dotnet/coreclr/pull/20949   to  GCToOSInterface

Update CoreClr to preview5-27605-73 (#23782)

Match PtrToStringUTF8 to the other PtrToString* families. (#23731)

* Match PtrToStringUTF8 to the other PtrToString* families.

* Make PtrToString*(IntPtr,int) exceptions consistent.

* Exclude out-of-date tests in CoreFX.

* Update exclusions to cover tests that are now throwing ArgumentOutOfRangeExceptions instead of ArgumentExceptions.

* Fix parameter order for exception.

* Pass value to exception.

Fix typo in Buffer.BlockCopy (#23636)

Fix broken links (#23748)

Fedora.28.Amd64 queue is dead. Use container instead (#23765)

* Fedora.28.Amd64 queue is dead. Use container instead

* udpate ubuntu to Ubuntu

* do not escape () as rest of the coreclr does not do it either.

Merge pull request #23728 from briansull/FixConstByref

Fix for Issue #23538

Merge pull request #23770 from wtgodbe/Preview5

Update branding to preview5

Replacing some calls to GetThread with an inlined version (#23771)

Whitespace (#23772)

Fix rounding to UINT32_MAX (#23764)

In case you would have UINT32_MAX - 1 CPUs, you would round up to return UINT32_MAX CPUs.

Fix issue 23713: handle TypeDesc field handles (#23767)

[master] Update dependencies from dotnet/arcade (#23718)

* Update dependencies from https://github.com/dotnet/arcade build 20190404.16

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19204.16
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19204.16

Update CoreClr to preview4-27605-71 (#23710)

[master] Update dependencies from dotnet/core-setup (#23719)

* Update dependencies from https://github.com/dotnet/core-setup build 20190404.13

- Microsoft.NETCore.App - 3.0.0-preview4-27604-13

Update the JIT to recognize the IsSupported property for all HWIntrinsics (#23751)

* Moving some JITDUMP calls into Compiler::lookupNamedIntrinsic

* Marking the IsSupported methods as Intrinsic for all HWIntrinsic ISAs

* Updating the hwintrinsic importation to more generally handle IsSupported and ThrowPNSE

* Applying formatting patch.

* Adding using System.Runtime.CompilerServices to the various x86 PlatformNotSupported HWIntrinsic files

Enable return buffers on Windows ARM64 for struct-returning member functions (#23625)

* Enable return buffers on Windows ARM64 for struct-returning member functions. Fixes #23577.

* Update comment to match new condition.

* Enable byref return on all Windows (excluding arm64 HFA. Add more test cases for ThisCall.

* On x86, if we have a normalized return value in an instance method, get back the actual type so that we correctly marshal it via a return buffer.

* Fix param ordering.

* Clean up based on PR feedback.

* Fix accidental variable shadowing.

Update branding to preview5

Don't null out references in Stream/BinaryReader/Writer (#23725)

These types null out some fields on Dispose, and some of those fields are accessible directly via exposed properties, which means that nulling them out would either force us to annotate those properties as being nullable or would require us to lie about them being nullable.  Nulling them out also makes it easier to accidentally null ref in the implementation, and prevents us from making the fields readonly.

It should be exceedingly rare that you dispose of one of these objects and then keep it alive while also being concerned about keeping alive the other helper objects the type uses.  So this change just uses a separate flag to track disposal, and avoids nulling out the fields, which is not a common practice elsewhere in the framework.

This will be a visible change in that after Dispose, properties like StreamWriter.BaseStream/Encoding will now return the stream/encoding rather than null.  In theory that could break someone if they were using those properties to determine whether the writer had been disposed, but that seems unlikely / similar fallout from most any bug fix, and objects generally aren't supposed to be touched after Dispose, anyway.

Change the backing storage for Byref constants in ValueNumber-ing to use size_t.
Fixes #23538

Partially improve support for `--cpus` from Docker CLI (#23747)

* Round up the value of the CPU limit

In the case where `--cpus` is set to a value very close to the smaller
integer (ex: 1.499999999), it would previously be rounded down. This
would mean that the runtime would only try to take advantage of 1 CPU in
this example, leading to underutilization.

By rounding it up, we augment the pressure on the OS threads scheduler,
but even in the worst case scenario (`--cpus=1.000000001` previously
being rounded to 1, now rounded to 2), we do not observe any
overutilization of the CPU leading to performance degradation.

* Teach the ThreadPool of CPU limits

By making sure we do take the CPU limits into account when computing the
CPU busy time, we ensure we do not have the various heuristic of the
threadpool competing with each other: one trying to allocate more
threads to increase the CPU busy time, and the other one trying to
allocate less threads because there adding more doesn't improve the
throughput.

Let's take the example of a system with 20 cores, and a docker container
with `--cpus=2`. It would mean the total CPU usage of the machine is
2000%, while the CPU limit is 200%. Because the OS scheduler would never
allocate more than 200% of its total CPU budget to the docker container,
the CPU busy time would never get over 200%. From `PAL_GetCpuBusyTime`,
this would indicate that we threadpool threads are mostly doing non-CPU
bound work, meaning we could launch more threads.

Fix invalid use of stack memory (#23758)

* Fix invalid use of stack memory

Revert optimization (#23759)

Disable marshalling delegates as _Delegate and enable marshalling delegates as IDispatch. (#23738)

* Disable marshalling delegates as _Delegate and enable marshalling delegates as IDispatch.

* ifdef out the new IDispatch marshalling on non-COM-supporting platforms.

* PR feedback.

Improve performance of Memory<T>.Span property getter (#23750)

Disable a couple of S.R.InteropServices tests (#23697)

Disabled the two tests that were fixed in PR https://github.com/dotnet/corefx/pull/34968

Merge pull request #23633 from dotnet/NullableFeature

Nullable feature into master

Fix Debug.Assert in GenericDelegateCache (#23755)

Fix SystemV AMD64 Explicit structure classification (#22041)

* Don't bail out on enregistering explicit structs if there are no overlapping fields.

* Don't enregister if any unaligned fields.

* Enable passing explicit structs by-value by enregistering on systemv. Some edge cases are likely still broken, but just removing our blanket opt-out makes the current tests pass.

* Enable MarshalstructAsLayoutExp off-Windows.

* Start adding additional tests for explicit layout to try to catch edge cases in SystemV classification.

* Added a test that spans across multiple eightbytes and has an overlap in the second eightbyte.

* Change repro to use an array of floats and an int field in managed and use a float array for padding in native to force an SSE classification on the first byte.

* New algorithm to calculate eightbyte classification by going throw the structure byte-by-byte instead of field-by-field.

* Fix updating eightbyte classifications in the loop to actually used the iterated-upon variable.

* Consider each element of a fixed array as a separate field (to match native implementations).

* Implement correct SystemV classification for fixed buffers in non-blittable structures. Fixed buffers in blittable structures have the managed layout assign classifications, which still is buggy.

* Add tests.

* Correctly classify blittable fixed buffers. Move "is this field a fixed buffer" tracking into one of the unused bits in FieldDesc as code that isn't in marshalers needs to know about it.

* Handle the case where we have a struct that has no fields in an eightbyte that contains (i.e. no fields in the first eight bytes of the structure).

* PR feedback.

* Only look up FixedBufferAttribute when the type is a value class and the type of the field is a value type.

* Use heuristic to determine if a type is a fixed buffer for SystemV classification.

* Revert tracking if a field is a fixed buffer in the FieldDesc.

* Update comments.

* Classify aligned, nonoverlapping, float/double only structures as HFAs even if explicitly laid out

* Enable overlapping fields in HFAs. Update NativeType HFA to check for alignment.

I checked Godbolt to verify that HFAs for overlapping fields are allowed.

* Add HFA tests.

* Fix compile errors from HFA alignment check.

* Non-valuetypes will never have their managed layout used to classify SystemV eightbytes.

* Don't classify a struct with no zero-offset field as an HFA.

* Remove duplicate semicolon.

* PR feedback.

* Add test with 2-field double HFA.

* Clean up and add static asserts for struct size.

* Add define for static_assert_no_msg to the native test headers

* Fix build breaks.

* Remove unneeded "size = X bytes" comments. They were holdovers from the .NET Framework test tree.

* Use GetNumInstanceFieldBytes instead of GetLayoutInfo()->GetManagedSize()

* Fix build break.

* Centralize FieldMarshaler offsettting in ClassifyEightBytesWithNativeLayout.

* Fix signed/unsigned mismatch

* Fix condition to also detect arm64.

* Change ifdef to if defined.

* Remove duplicate declaration (broken in rebase)

* Add some logging in one of the unreproable OSX test failures.

* Mark System.Numerics.Vector as intrinsic and don't use the eightbyte classifier to enregister it.

* Also explicitly opt-out of HFAs for System.Numerics.Vector`1 for consistency.

* Update R2R required version to 3.0.

* Remove debugging prints.

Merge pull request #23537 from janvorli/remove-gc-cpu-group-knowledge

Remove CPU groups notion from the gc.cpp

Merge pull request #23735 from safern/merge-master-nullable

Pull master changes into NullableFeature

Run on Ubuntu.1604.Arm32.Open in pull requests and scheduled builds (#23729)

Use BYOC pools in "Publish to BAR" job (#23733)

Fix merge conflicts on Delegate and String.resx

Merge remote-tracking branch 'dotnet/master' into merge-master-nullable

Runtime support for upcoming .NET Core WinRT Host (#23402)

* First pass at adding winrt host entry-point.

* There's no way to specify HResult-swapping on a function called via hosted-interop so just return the HResult instead.

* Use the WindowsRuntimeMarshal class to create the activation factory and initialize it.

* Implement loading the dependent assemblies of a WinRT assembly into an isolated load context.

* PR Feedback.

* Fail to get the activation factory if the found type is not a managed type exported from a winmd.

* Rearrange parameters based on PR feedback.

* Remove unneeded include.

* Make ActivationFactoryLoader internal.

* Fix null-ref in WinRT-dependent-assembly loading

* Remove extraneous "System."

Support simple assembly name in startup hook (#23517)

* Add support for specifying only assembly name for startup hook.

* Implement checking for simple assembly names in startuphook.

Also wrap load exceptions.

* Avoid global alloc

* Allow extra path separators in the startup hook variable

* Fixes for extra path separators

Merge pull request #23721 from janvorli/fix-musl-arm64-crossbuild

Fix MUSL ARM64 cross build

Add Working Set runtime counter (#23717)

* Add cpu counter

* Fix windows build

* Make the counter just return current CPU usage as %

* Add Unix

* Fix unix build

* Some cleanup

* rename

* fixing some build errors

* some cleanup

* remove unused using

* more cleanup

* newline

* Add working set counter

* Remove old file

Fix build break due to conflicting PRs (#23726)

Improve Upper Vector Save/Restore (#23344)

Improve Upper Vector Save/Restore

In order to avoid saving and restore the upper half of large vectors around every
call even if they are not used, separately model the upper half of large vector
lclVars, and track whether the large vector lclVar is partially-spilled, in which
case its upper half resides in its upper half Interval's location.

Fix #18144

Fix prefix of mock hostpolicy on Unix (#23692)

Fixes #23682

Handle local struct pointer arithmetic (#23704)

The assert introduced in #23570 was overly aggressive, and didn't account for the fact that pointer arithmetic can exist in the IL, not just introduced by morph.

Fix #23693

Move parts of delegate to shared partition (#23552)

Fix MUSL ARM64 cross build

There were two issues:
* the cross/toolchain.cmake was unconditionally setting the linker to ld.gold.
  This is not wanted in general and the ld.gold cannot link arm64 MUSL stuff
  correctly (it leaves a couple of TLS symbols as undefined)
* the src/vm/arm64/asmhelpers.S was referencing a global variable using absolute
  relocation, which is not allowed in shared libraries on MUSL based Linux distros.

Don't null out buffer in MemoryStream on Capacity reset (#23700)

Modify affinity range config format for Windows

Each entry has to be prefixed by group number followed by comma. There
is nothing like global CPU index on Windows, all the APIs that support
more than 64 processors use group, in-group index pair. So specifying
the affinity this way matches what users are used to.

Fixes for extra path separators

Allow extra path separators in the startup hook variable

Nullable: shared/System/Security  (#23623)

* Nullable: shared/System/Security

* fix windows

* address feedback

* IIIIdentity.Identity?

* apply feedback

Merge pull request #23706 from sandreenko/runCoreFXbaseileDaily

Run CoreFX baseline arm/arm64 Windows/Ubuntu daily.

Add CPU runtime counter (#23680)

* Add cpu counter

* Fix windows build

* Make the counter just return current CPU usage as %

* Add Unix

* Fix unix build

* Some cleanup

* rename

* fixing some build errors

* some cleanup

* remove unused using

* more cleanup

* newline

* Address PR feedback

* more pr feedback

* More feedback

Nullable: Streams (#23703)

Fix resource loading (#23714)

- Some resources are generated without setting a Major/Minor version in the resource directory
- This is legal, and we shouldn't skip parsing the resource

Move null check into separate method to prevent unnecessary conversion of null into ReadOnlySpan (#23616)

Nullable: System.Threading.Tasks (#23691)

* Nullable: System.Threading.Tasks

* Address PR feedback

Fix GitHub23672 (#23674)

Run CoreFX baseline arm/arm64 Windows/Ubuntu daily.

Remove ADID and ADIndex from CoreCLR (#23588)

- Remove concept of AppDomain from object api in VM
- Various infrastructure around entering/leaving appdomains is removed
- Add small implementation of GetAppDomain for use by DAC (to match existing behavior)
- Simplify finalizer thread operations
- Eliminate AppDomain::Terminate
- Remove use of ADID from stresslog
- Remove thread enter/leave tracking from AppDomain
- Remove unused asm constants across all architectures
- Re-order header inclusion order to put gcenv.h before handletable
- Remove retail only sync block code involving appdomain index

Avoid global alloc

Implement checking for simple assembly names in startuphook.

Also wrap load exceptions.

Add support for specifying only assembly name for startup hook.

Fix Arm64 intrinsic lookup (#23673)

Fix #23669

Fix interop test cases to pass doubles for native varargs. (#23690)

Remove these tests from the windows exclude list. Also move one
other exclude entry from its own section into the general exclude list.

Closes #22974

Change Auto charset to mean UTF-8 off-Windows (#23664)

Match Mono's behavior by changing the Auto character set to mean UTF-8 on non-Windows platforms (new behavior) and UCS-2/UTF-16 on Windows (current behavior).

Fixes #23464
Fixes dotnet/corefx#32442

Impact of breaking change: It is highly unlikely that anyone is actively using current behavior since it is inconsistent with Mono and doesn't match any native system APIs on non-Windows platforms (they're all UTF-8 based).

We will need to update our documentation to reflect this updated behavior.

Merge pull request #23671 from BruceForstall/ImproveJitFunctionTraceOutput

Improve COMPlus_JitFunctionTrace

Fix flipped error codes

Use the GCHeapAffinitizeRanges / GCHeapAffinitizeMask exclusively

The GCHeapAffinitizeRanges are now used only when CPU groups are enabled
and the GCHeapAffinitizeMask when CPU groups are disabled.

Reflect PR feedback

Remove CPU groups handling from the gc.cpp

This change removes all explicit manipulation and handling of CPU groups
from the gc.cpp and hides it behind the GCToOSInterface. This is a step
to prepare for removing the CPU groups emulation on Unix. In fact, I've
already updated the standalone Unix GC to be able to affinitize GC
threads to any subset of CPUs and added previously missing support for
the affinity setting itself. The NUMA support still remains missing there.

It also adds a new way to specify GC thread affinitization that is not
limited to 64 threads. Instead of affinity mask stored in 64 bit
integer, we now use a bitset that can contain as many processors as
GC can support. And there is a new GC config to specify the affinity in
a form of a range list.

Fix typo in zapimage.cpp (#23698)

Nullable: All remaining exceptions (#23676)

* Nullable: All remaining exceptions

* Fix build break and PR Feedback

Merge pull request #23553 from janvorli/fix-accidental-non-collectible-alc-unloading

Fix accidental non-collectible context unloading

Merge pull request #23670 from BruceForstall/FixArmAltjitAsmDiffs

Fix arm altjit asm diffs

Emit event for calls to ReadyToRunInfo::GetEntryPoint. (#23662)

Update dependencies from https://github.com/dotnet/core-setup build 20190402.14 (#23688)

- Microsoft.NETCore.App - 3.0.0-preview4-27602-14

Update CoreClr to preview4-27603-71 (#23679)

Update dependencies from https://github.com/dotnet/arcade build 20190402.13 (#23686)

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19202.13
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19202.13

[Preview 4] Disable tier 0 JIT (quick JIT) by default, rename config option (#23599)

Disable tier 0 JIT (quick JIT) by default, rename config option

- Tier 0 JIT is being called quick JIT in config options, renamed DisableTier0Jit to StartupTierQuickJit
- Disabled quick JIT by default, the current plan is to do that for preview 4
  - Concerns were that code produced by quick JIT may be slow, may allocate more, may use more stack space, and may be much larger than optimized code, and there there may be many cases where these things lead to regressions when the span of time between startup and steady-state is important
  - The thought was that with quick JIT disabled, tiering overhead from call counting and backgorund jitting with optimizations would be less, and perf during any point in time would be closer to 2.x releases
  - This mostly loses the startup perf gains from tiering. It may also be slightly slower compared with tiering off due to some overhead. When quick JIT is disabled for the startup tier, made a change to disable tiered compilation for methods in modules that are not R2R'ed since they will not be tiered currently anyway. The overhead and regression in R2R'ed modules will be looked into separately to see if it can be reduced.

Fixes https://github.com/dotnet/coreclr/issues/22998
Fixes https://github.com/dotnet/coreclr/issues/19751

Nullable: ReaderWriterLockSlim (#23657)

* Nullable: ReaderWriterLockSlim

* Address PR feedback

* Audit System.Threading for unannotated statics

Treat WinMDs as having been loaded in the default ALC for AssemblyLoadContext.GetLoadContext (#23678)

Avoid unnecessary SetLastError on PInvokes (dotnet/corefx#36544)

These console PInvokes are used in nearly every app. Omitting unnecessary SetLastError
will save us from generating marshalling stub for them.

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #23668 from briansull/pipeline-work

Remove a few Check builds and Check tests for PullRequests

Updating the HWIntrinsic x86 codegen to handle indir nodes. (#23629)

* Updating the SimpleBinOpTest.template to cover some additional containment scenarios

* Regenerating the x86 HWIntrinsic tests from their templates

* Updating the HWIntrinsic x86 codegen to handle indir nodes.

Disable *.Arm32.Open in PullRequest and remove two queues from scheduled builds (#23677)

Change tests to not modify Core_Root (#23470)

Redesign tests that needed to modify Core_Root to no longer do so.

- Loader.FromNativePaths: Use `CORE_LIBRARIES` instead of `COREROOT`
- Loader.AssemblyDependencyResolver: Split out the invalid hosting test that needs hostpolicy to not be preloaded. Have `CoreRun` and `CoreShim` preload hostpolicy when a path to a hostpolicy is specified in the `MOCK_HOSTPOLICY` environment variable.
- Add a `CLRTest.MockHosting.targets` file that is imported when a test requires hostpolicy. It adds the reference to the mock hostpolicy and ensures that the `MOCK_HOSTPOLICY` environment variable is correctly set in the test scripts.

Fixes #23429.

Fix spill check for struct lclVars (#23570)

* Fix spill check for struct lclVars

With the 1st class struct changes, the `SPILL_APPEND` check for the case of an assignment to a lclVar needs to handle block ops as well as lclVar lhs.

Fix #23545

Improve COMPlus_JitFunctionTrace

Indicated if the generated function was generated by altjit.
This helps when there is code generated by both altjit and non-altjit.

Fix arm altjit asm diffs

At shutdown, the VM iterates over generated code as part of ETW
"rundown". This currently includes altjit generated code. It calls
functions which interprets the code as native code, e.g., arm32
GC info as x86 GC info.

The fix is to make a call to BackoutJitData(), which was already
suggested in the comments. This removes the altjit generated code
from the "nibble map", and hence from the iteration.

Fixes #23393

Merge pull request #23521 from k15tfu/fix-issue-20784

Move C/C++ and platform headers to pal/inc/rt/cpp folder

Nullable: System.Threading (#23663)

Finishes off annotation of the System.Threading namespace, not including subnamespaces.

Update dependencies from https://github.com/dotnet/arcade build 20190401.12 (#23652)

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19201.12
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19201.12

Reduce Check build and Check tests for PullRequest to
        - Linux_arm
        - Linux_arm64
        - Linux_musl_x64
        - Linux_x64
        - OSX_x64
        - Windows_NT_arm
        - Windows_NT_arm64
        - Windows_NT_x64
        - Windows_NT_x86

Merge pull request #23565 from briansull/pipeline-work

Move to outerloop - several  azure-pipeline jobs

Nullable: Interlocked, Volatile (#23655)

Also fixing the class? annotation on public LazyInitializer methods.

Nullable: Overlapped and friends (#23656)

* Nullable: Overlapped and friends

* Address PR feedback

Merge pull request #23601 from dotnet-maestro-bot/master-UpdateDependencies

Update CoreClr to preview4-27602-71 (master)

Merge pull request #23659 from safern/merge-master-nullable

Merge master into NullableFeature

Output error messages to stderr. This provides a better integration with the .NET SDK (#23658)