Merge pull request #23997 from safern/merge-master-nullable

Merge master into nullable feature

Fix build errors from merge conflicts and compiler update

Merge remote-tracking branch 'dotnet/master' into merge-master-nullable

Update CoreClr to preview5-27615-71 (#23991)

Update dependencies from https://github.com/dotnet/corefx build 20190414.16 (#23989)

- Microsoft.NETCore.Platforms - 3.0.0-preview5.19214.16
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview5.19214.16

improve entropy (#23591)

Update CoreClr to preview5-27614-72 (#23985)

Fix a few internal nullable annotations and comments (#23987)

Fix typo in environment variable name - profiler loading doc (#23983)

Nullable: System.Runtime.InteropServices.CustomMarshalers/WindowsRuntime (#23930)

Remove unused offset calculation (#23793)

Utf8Parser has a redundant calculation of date time offset.

Fix #21834

Remove old method names from Rune (#23938)

* Remove old method names from Rune, reenable suppressed tests

* Revert re-enablement of failing ArraySegment tests

Update CoreClr to preview5-27614-71 (#23978)

Fix broken new lines (#23979)

These files don't render correctly on github due to broken new lines - fixing it. Only new line characters replaced, nothing else touched.

Move GCMemoryInfo to shared partition

Fix AssemblyName regression

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Move GCMemoryInfo to shared partition

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Update BuildTools, CoreClr to preview4-03913-01, preview5-27612-73, respectively (master) (#23916)

* Update BuildTools, CoreClr to preview4-03913-01, preview5-27612-73, respectively

* Fix nullable build errors

Delete unused AssemblyName._hashForControl and related code (#23972)

EnterContextualReflection handle null (#23953)

* EnterContextualReflection handle null

* Add ContextualReflection MockAssembly test

* Fix ContextualReflection typo

Use xUnit TestOutputHelper to get proper test output in Azure DevOps Tests Explorer (#23957)

Delete outdated comment (#23967)

Remove unnecessary ThrowIfCreated call (#23839)

[master] Update dependencies from dotnet/arcade (#23926)

* Update dependencies from https://github.com/dotnet/arcade build 20190412.2

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19212.2
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19212.2

Fix ARM's genPutArgStk codegen (#23867)

* Fix ARM's genPutArgStk codegen

When the OBJ node wraps a LCL_VAR node the code uses the type information (struct size, GC layout) from LclVarDsc. This is not always correct because the OBJ may actually have a different struct type due to type reinterpretation (e.g. Unsafe.As<X, Y>).

* Fix genPutArgStk comment

Merge pull request #23948 from BruceForstall/Fix23920

Update maximum allowed arm prolog size

Move DateTime Windows implementation to shared CoreLib (#23888)

* Move DateTime Windows implementation to shared CoreLib

* Make all the BOOL/struct marshalling explicit

* internal -> private

* Use unsafe code on all layers, remove unnecessary fixed blocks

Delete outdated comment

Update dependencies from https://github.com/dotnet/corefx build 20190412.14 (#23964)

- Microsoft.NETCore.Platforms - 3.0.0-preview5.19212.14
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview5.19212.14

Delete COMPlus_FinalizeOnShutdown (#23595)

This compat quirk is increasingly more broken since the framework is generally not compatible with, and we have not heard anybody actually using it.

Changed Environment.HasShutdownStarted to unconditionally return false. It does not make sense for it to ever return true with shutdown finalization disabled.

Nullable: src\System\Runtime\InteropServices (#23936)

* Nullable: src\System\Runtime\InteropServices

* Address PR feedback

Exclude ResolveEventTests.cmd and CallbackTests.cmd on Windows_NT x86 (#23942)

Merge pull request #23935 from BruceForstall/FixArm64LargeOutgoingWithLocalloc

Fix arm64 localloc with large outgoing argument space

Fix EventPipe IPC streaming (#23768)

* Make events stream out faster when we are doing IPC

* Block size should be less during IPC session

* Modify some comments

* Address PR feedback

* more pr feedback

* Fix high volume scenario

* Fix flush

* cleanup

* Only flush when we have buffers written

Nullable: Enums, Structures from Reflection folder (#23933)

* Nullable: Enums, Structures from Reflection

Fix x86 stack probing (#23881)

* Fix x86 stack probing

On x86, structs are passed by value on the stack. We copy structs
to the stack in various ways, but one way is to first subtract the
size of the struct and then use a "rep movsb" instruction. If the
struct we are passing is sufficiently large, this can cause us to
miss the stack guard page.

So, introduce stack probes for these struct copies.

It turns out the stack pointer after prolog probing can be sitting
near the very end of the guard page (one `STACK_ALIGN` slot before
the end, which allows a "call" instruction which pushes its
return address to touch the guard page with the return address push).
We don't want to probe with every argument push, though. So change
the prolog probing to insert an "extra" touch at the final SP location
if the previous touch was "too far" away, leaving at least some
buffer zone for un-probed SP adjustments. I chose this to be the
size of the largest SIMD register, which also can get copied to the
argument stack with a "SUB;MOV" sequence.

Added several test case variations showing different large stack
probe situations.

Fixes #23796

* Increase the argument size probe buffer

* Formatting

[master] Update dependencies from dotnet/corefx (#23893)

* Update dependencies from https://github.com/dotnet/corefx build 20190411.2

- Microsoft.NETCore.Platforms - 3.0.0-preview5.19211.2
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview5.19211.2

* Update dependencies from https://github.com/dotnet/corefx build 20190411.22

- Microsoft.NETCore.Platforms - 3.0.0-preview5.19211.22
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview5.19211.22

* Removing renamed HWIntrinsic APIs from S.P.Corelib

* Updating the hwintrinsiclistxarch to match the new intrinsic API names

* Updating the HWIntrinsic generated tests to use the new API names

Add R2R prefix to TestRunNamePrefix when running ReadyToRun jobs (#23945)

Merge pull request #23911 from safern/merge-master-nullable

Merge master into nullable branch

PR Feedback

Fix OSX debugging (#23924)

A recent change has incorrectly added dependency on libcoreclrpal.a to
libutilcodenohost.a. This in turn, due to the transitive propagation of
dependencies, caused the libmscordbi to be linked with libcoreclrpal.a.
So libmscordbi contained its own PAL after that change, which is wrong.
libmscordbi should depend on PAL APIs through libmscordaccore that
exports the symbols it needs for it in order to keep just one PAL in the
process.

The fix is to remove the libcoreclrpal.a dependency and export few
new symbols from libmscordaccore instead.

Fix DIM Test to run on mono (#23870)

Changing the test to run on runtimes that supports lookups with runtime determined boxing and on runtimes that doesn't support.

Display the arm instruction size

When dumping an arm instruction, and when we don't have the actual
code bytes (such as during code generation, as opposed to emission),
display the (current) instruction size, either 2 bytes (2B),
4 bytes (4B), or 6 bytes (6B).

Update maximum allowed arm prolog size

Change #23715 changed the localloc stack probe loop to load a
negative constant instead of zero to start the probing loop.
This increased the size of the probing loop, and hence the
size of the maximum prolog, by 4 bytes. Bump the assert on
the maximum size to match.

Note that as the comment says, the maximum size there is not
actually a maximum (it was originally), it is just to alert
us when the maximum generated prolog size has gone up.

Fixes #23920

Don't Free UpperVector (#23889)

* Don't Free UpperVector

UpperVector regs are freed at their time of use, and shouldn't be freed when the last RefPosition is encountered.
Also, we need to specify all 3 operands for vinsertf128

Fix #23861
Fix #23904
Fix #23804

Fix arm64 localloc with large outgoing argument space

With a large outgoing argument space, we were attempting to
generate un-encodable ADD and SUB instructions. Call an existing
helper instead that uses the reserved register when needed to
load large constants into a register.

Consolidate duplicate assignment (#23923)

* Consolidate duplicate assignment.

Merge pull request #23900 from sergiy-k/fixcrossarchr2r1

Enable precompiling CoreRoot overlay with crossgen for Linux arm/arm64

Nullable System.ComponentModel, System.Diagnostics.CodeAnalysis, System.Diagnostics.Contracts (#23910)

* Nullable System.ComponentModel, System.Diagnostics.CodeAnalysis, System.Diagnostics.Contracts

* Address PR feedback

Nullable: Runtime serialization, COM, Vector, remaining IO, and other (#23895)

Nullable: System.Runtime.CompilerServices (#23886)

Nullable: Globalization native interop + some missing files (#23914)

* Nullable: globalization native + some missing files

* address feedback

Add several links to deep-dive blog posts

JIT: update byref null check logic to handle field chains (#23850)

The jit was not properly accumulating offsets when figuring out if a byref
should be null checked.

Use a non-null MorphAddressContext as indication that GT_FIELD and GT_IND
nodes are actually part of an ongoing address computation.

During field morphing propagate the current address context to the child node,
instead of starting a new one.

Fixes #23791.

Enable precompiling CoreRoot overlay with crossgen for Linux arm/arm64

Enable default Ready2Run testing in pull requests. Workaround an issue with custom xunit.console.dll runner. (#23848)

Remove duplicates. (#23922)

Add optimized UTF-8 validation and transcoding apis, hook them up to UTF8Encoding (#21948)

* Add optimized UTF-8 validation and transcoding logic
- Hook it up through the existing Utf8 public static APIs
- Move some shared methods out of ASCIIUtility
- Hook it up through the Utf8String ctor

* Hook up new UTF-8 logic through UTF8Encoding
- Add vectorized UTF-16 validation and transcoded byte counts
- Move Utf16Utility into Unicode namespace alongside Utf8Utility
- Fix some bugs in DecoderNLS's draining logic

* Improve perf of "is ASCII?" inner loop in UTF-8 validation.

* Remove SSE41.X64 optimization from AsciiUtility
RyuJIT now handles this optimally

* Clarify that vector read is unaligned

* Simplify vectorized logic; remove unnecessary adjustment

* PR feedback: GetElement(0) -> Sse2.StoreLow

* PR feedback
- Simplify CountNumberOfLeadingAsciiBytesFrom24BitInteger
- Extract some consts out to top of file w/ comments

* PR feedback: Enable SSE2 in Utf16Utility code

* Expand masks in Utf8Utility, fix const in fallback path

* Temporarily disable failing CoreFX tests

* Fix incorrect Debug.Assert statements

* Add comments tracking JIT workarounds.

* Rename DWORD -> UInt32 throughout API surface

* Re-flow Utf8Utility.Helpers

* PR feedback: Fix typos

* PR feedback: CountNumberOfLeadingAsciiBytesFrom24BitInteger

* PR feedback: Remove redundant endianess checks

* PR feedback: Validate nint definitions

* PR feedback: Clarify charIsNonAscii vector usage

* PR feedback: document tempUtf8CodeUnitCountAdjustment usage

* Fix compilation failure in Utf16Utility

* PR feedback: Clarify 3-byte sequence processing

* Add missing check to 3-byte processing logic

* Clarify comment in 3-byte processing

Fix Assembly.LoadFromPartialName(string)  (#23912)

Assembly.LoadFromPartialName(string) should not throw FileNotFoundException, but
should rather return null.

ArgumentException should use nameof(partialName)

Fixes #19817

Update Version annotations to match changes in master (#23917)

Nullable: System.Diagnostics (#23753)

* added nullable annotation for system.Diagnostics

* fixing build errors with nullableFeature branch

* stephen feedback

* annotating files in the shared folder

* removing newline, correxting message and adding comments

Nullable System.Diagnostics.Store (#23874)

* removing using systems and adding nullability for System.Diagnostics.SymbolStore

* annotating the class that implements the internal interface

* adding bang to fix failure

* correcting the byte array declarations

Nullable: Interop.Adavapi32 (#23875)

* interop definations nullified

* reverting null check and adding arguments nullable to match win32 function definations

Update CoreClr to preview5-27611-71 (#23884)

Fix Version's comparer operators to allow null (#23898)

Previously for `<`/`<=` it would throw if `v1` argument was null, but for `>`/`>=` would throw if the `v1` argument was null, albeit using `v1` in the exception parameter name.  It's also not expected for comparisons like this to throw, in general.

Fix 23740 (#23906)

Adjust AssemblyLoadContextBaseObject packing for
windows arm.

JIT: fix assert when there are mixed types in Enum.HasFlags optimization (#23902)

In some cases the pre-boxed nodes may differ in type. Bail if they don't have
the same stack type, then compute the result using the stack type.

Extended the hasflags test with a case that shows this issue.

Closes #23847

Fix build errors due to merge conflicts

Merge remote-tracking branch 'dotnet/master' into merge-master-nullable

Clarify comment in 3-byte processing

Add missing check to 3-byte processing logic

PR feedback: Clarify 3-byte sequence processing

Disable nullability-related warnings

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Fix compilation failure in Utf16Utility

Nullable: Interop: Kernel32 and few others (#23880)

* Nullable: Interop: Kernel32 and few others

* fix compile errors (new compiler)

* address feedback

PR feedback: document tempUtf8CodeUnitCountAdjustment usage

PR feedback: Clarify charIsNonAscii vector usage

PR feedback: Validate nint definitions

PR feedback: Remove redundant endianess checks

PR feedback: CountNumberOfLeadingAsciiBytesFrom24BitInteger

PR feedback: Fix typos

Update dependencies from https://github.com/dotnet/core-setup build 20190410.11 (#23894)

- Microsoft.NETCore.App - 3.0.0-preview5-27610-11

[master] Update dependencies from dotnet/arcade (#23834)

* Update dependencies from https://github.com/dotnet/arcade build 20190409.1

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19209.1
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19209.1

* Update dependencies from https://github.com/dotnet/arcade build 20190409.2

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19209.2
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19209.2

* Update dependencies from https://github.com/dotnet/arcade build 20190410.7

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19210.7
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19210.7

Renaming 'failure' in counter tests (#23891)

If a delegate type is a WinRT delegate or a WinRT-projected delegate, allow default marshalling. (#23877)

Merge remote-tracking branch 'origin/master' into utf8_validation_apis_3

Remove overrelease in test (#23887)

Contextual reflection (#23740)

* Add ContextualReflection APIs

Add ContextualReflection APIs approved in dotnet/corefx#36236
Fix issue #22213

* SetParentAssembly even when IsCollectible()
* ContextualReflection tests

* PR Feedback
* Add more usage tests

Add using statement tests
Add bad usage tests including Assert.Throws<>

* Only initialize on set
* Add XML API comments
* Unify VerifyIsolation
* Fix unused expectedAssembly
* Remove ContextualReflectionScope throw
* Clean up TestResolveMissingAssembly et. al
* Remove unused QCall::AppDomainHandle
* Remove AppDomainBaseObject
* Pass AssemblyLoadContext as managed object to native
* Fix AssemblyLoadContextBaseObject packing

* AssemblyLoadContext backing stores

Use explicit backing stores for events and properties

* Remove StaticAsyncLocalCurrentContextualReflectionContext
* Remove PermissionSetObject

Merge pull request #23824 from janvorli/remove_unix_cpu_groups_emulation

Remove Unix CPU groups emulation

Re-flow Utf8Utility.Helpers

Rename DWORD -> UInt32 throughout API surface

Add comments tracking JIT workarounds.

Move AssemblyName to shared (#23737)

Address follow-up PR feedback on System nullability annotations (#23878)

Move TimerQueue.TickCount Windows implementation to shared CoreLib (#23838)

Make GC.GetGCMemoryInfo public (#23779)

* Make GC.GetGCMemoryInfo public

This is to be used to allow users to optimize memory consumption based
on what's available to the GC and on the system.

This is based on https://github.com/dotnet/corefx/issues/34631

* Address reviews

- Pass GCMemoryInfo struct to native in place of many arguments
- Make GCMemoryInfo.HeapSize and GCMemoryInfo.Fragmentation long in place of IntPtr

* Address reviews

- Mark GCMemoryInfo readonly

* Rearrange fields and match managed/native names

* Fix compilation

* Use getter shorthand

* Address API Design Review

https://github.com/dotnet/corefx/issues/34631#issuecomment-481358549

* Fix comments

* Fix comments

* Do everything in managed

* Address review

 - Remove unecessary [StructLayout.Sequential]
 - Remove "_" prefix for parameters variables

Merge pull request #23876 from briansull/jit-dump

Improved JitDump

Merge pull request #23858 from sandreenko/fixOptPrepareTreeToReplacement

Clean optVNConstantPropOnTree.

Check for a null import descriptor when fixing up vtables. (#23825)

A fragile ngened image doesn't have an import descriptor directory in its PE image. Without this check, we AV when loading a fragile ngened image.

jit-format