Fix DIM Test to run on mono (#23870)

Changing the test to run on runtimes that supports lookups with runtime determined boxing and on runtimes that doesn't support.

Don't Free UpperVector (#23889)

* Don't Free UpperVector

UpperVector regs are freed at their time of use, and shouldn't be freed when the last RefPosition is encountered.
Also, we need to specify all 3 operands for vinsertf128

Fix #23861
Fix #23904
Fix #23804

Consolidate duplicate assignment (#23923)

* Consolidate duplicate assignment.

Merge pull request #23900 from sergiy-k/fixcrossarchr2r1

Enable precompiling CoreRoot overlay with crossgen for Linux arm/arm64

Add several links to deep-dive blog posts

JIT: update byref null check logic to handle field chains (#23850)

The jit was not properly accumulating offsets when figuring out if a byref
should be null checked.

Use a non-null MorphAddressContext as indication that GT_FIELD and GT_IND
nodes are actually part of an ongoing address computation.

During field morphing propagate the current address context to the child node,
instead of starting a new one.

Fixes #23791.

Enable precompiling CoreRoot overlay with crossgen for Linux arm/arm64

Enable default Ready2Run testing in pull requests. Workaround an issue with custom xunit.console.dll runner. (#23848)

Remove duplicates. (#23922)

Add optimized UTF-8 validation and transcoding apis, hook them up to UTF8Encoding (#21948)

* Add optimized UTF-8 validation and transcoding logic
- Hook it up through the existing Utf8 public static APIs
- Move some shared methods out of ASCIIUtility
- Hook it up through the Utf8String ctor

* Hook up new UTF-8 logic through UTF8Encoding
- Add vectorized UTF-16 validation and transcoded byte counts
- Move Utf16Utility into Unicode namespace alongside Utf8Utility
- Fix some bugs in DecoderNLS's draining logic

* Improve perf of "is ASCII?" inner loop in UTF-8 validation.

* Remove SSE41.X64 optimization from AsciiUtility
RyuJIT now handles this optimally

* Clarify that vector read is unaligned

* Simplify vectorized logic; remove unnecessary adjustment

* PR feedback: GetElement(0) -> Sse2.StoreLow

* PR feedback
- Simplify CountNumberOfLeadingAsciiBytesFrom24BitInteger
- Extract some consts out to top of file w/ comments

* PR feedback: Enable SSE2 in Utf16Utility code

* Expand masks in Utf8Utility, fix const in fallback path

* Temporarily disable failing CoreFX tests

* Fix incorrect Debug.Assert statements

* Add comments tracking JIT workarounds.

* Rename DWORD -> UInt32 throughout API surface

* Re-flow Utf8Utility.Helpers

* PR feedback: Fix typos

* PR feedback: CountNumberOfLeadingAsciiBytesFrom24BitInteger

* PR feedback: Remove redundant endianess checks

* PR feedback: Validate nint definitions

* PR feedback: Clarify charIsNonAscii vector usage

* PR feedback: document tempUtf8CodeUnitCountAdjustment usage

* Fix compilation failure in Utf16Utility

* PR feedback: Clarify 3-byte sequence processing

* Add missing check to 3-byte processing logic

* Clarify comment in 3-byte processing

Fix Assembly.LoadFromPartialName(string)  (#23912)

Assembly.LoadFromPartialName(string) should not throw FileNotFoundException, but
should rather return null.

ArgumentException should use nameof(partialName)

Fixes #19817

Update CoreClr to preview5-27611-71 (#23884)

Fix Version's comparer operators to allow null (#23898)

Previously for `<`/`<=` it would throw if `v1` argument was null, but for `>`/`>=` would throw if the `v1` argument was null, albeit using `v1` in the exception parameter name.  It's also not expected for comparisons like this to throw, in general.

Fix 23740 (#23906)

Adjust AssemblyLoadContextBaseObject packing for
windows arm.

JIT: fix assert when there are mixed types in Enum.HasFlags optimization (#23902)

In some cases the pre-boxed nodes may differ in type. Bail if they don't have
the same stack type, then compute the result using the stack type.

Extended the hasflags test with a case that shows this issue.

Closes #23847

Clarify comment in 3-byte processing

Add missing check to 3-byte processing logic

PR feedback: Clarify 3-byte sequence processing

Disable nullability-related warnings

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Fix compilation failure in Utf16Utility

PR feedback: document tempUtf8CodeUnitCountAdjustment usage

PR feedback: Clarify charIsNonAscii vector usage

PR feedback: Validate nint definitions

PR feedback: Remove redundant endianess checks

PR feedback: CountNumberOfLeadingAsciiBytesFrom24BitInteger

PR feedback: Fix typos

Update dependencies from https://github.com/dotnet/core-setup build 20190410.11 (#23894)

- Microsoft.NETCore.App - 3.0.0-preview5-27610-11

[master] Update dependencies from dotnet/arcade (#23834)

* Update dependencies from https://github.com/dotnet/arcade build 20190409.1

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19209.1
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19209.1

* Update dependencies from https://github.com/dotnet/arcade build 20190409.2

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19209.2
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19209.2

* Update dependencies from https://github.com/dotnet/arcade build 20190410.7

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19210.7
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19210.7

Renaming 'failure' in counter tests (#23891)

If a delegate type is a WinRT delegate or a WinRT-projected delegate, allow default marshalling. (#23877)

Merge remote-tracking branch 'origin/master' into utf8_validation_apis_3

Remove overrelease in test (#23887)

Contextual reflection (#23740)

* Add ContextualReflection APIs

Add ContextualReflection APIs approved in dotnet/corefx#36236
Fix issue #22213

* SetParentAssembly even when IsCollectible()
* ContextualReflection tests

* PR Feedback
* Add more usage tests

Add using statement tests
Add bad usage tests including Assert.Throws<>

* Only initialize on set
* Add XML API comments
* Unify VerifyIsolation
* Fix unused expectedAssembly
* Remove ContextualReflectionScope throw
* Clean up TestResolveMissingAssembly et. al
* Remove unused QCall::AppDomainHandle
* Remove AppDomainBaseObject
* Pass AssemblyLoadContext as managed object to native
* Fix AssemblyLoadContextBaseObject packing

* AssemblyLoadContext backing stores

Use explicit backing stores for events and properties

* Remove StaticAsyncLocalCurrentContextualReflectionContext
* Remove PermissionSetObject

Merge pull request #23824 from janvorli/remove_unix_cpu_groups_emulation

Remove Unix CPU groups emulation

Re-flow Utf8Utility.Helpers

Rename DWORD -> UInt32 throughout API surface

Add comments tracking JIT workarounds.

Move AssemblyName to shared (#23737)

Move TimerQueue.TickCount Windows implementation to shared CoreLib (#23838)

Make GC.GetGCMemoryInfo public (#23779)

* Make GC.GetGCMemoryInfo public

This is to be used to allow users to optimize memory consumption based
on what's available to the GC and on the system.

This is based on https://github.com/dotnet/corefx/issues/34631

* Address reviews

- Pass GCMemoryInfo struct to native in place of many arguments
- Make GCMemoryInfo.HeapSize and GCMemoryInfo.Fragmentation long in place of IntPtr

* Address reviews

- Mark GCMemoryInfo readonly

* Rearrange fields and match managed/native names

* Fix compilation

* Use getter shorthand

* Address API Design Review

https://github.com/dotnet/corefx/issues/34631#issuecomment-481358549

* Fix comments

* Fix comments

* Do everything in managed

* Address review

 - Remove unecessary [StructLayout.Sequential]
 - Remove "_" prefix for parameters variables

Merge pull request #23876 from briansull/jit-dump

Improved JitDump

Merge pull request #23858 from sandreenko/fixOptPrepareTreeToReplacement

Clean optVNConstantPropOnTree.

Check for a null import descriptor when fixing up vtables. (#23825)

A fragile ngened image doesn't have an import descriptor directory in its PE image. Without this check, we AV when loading a fragile ngened image.

jit-format

Improved JitDump
- Prints the bbNatLoopNum when dumping the BasicBlocks
- Refactor the GenTree node dump to use gtDispCommonEndLine:
//     Utility function that prints the following node information
//       1: The associated zero field sequence (if any)
//       2. The register assigned to this node (if any)
//       2. The value number assigned (if any)
//       3. A newline character

Update the comment.

Update Range.GetOffsetAndLength (#23855)

* Update Range.GetOffsetAndLength

Make it return offset and length tuple instead of the old Type Range.OffsetAndLength

* Fix the return Tuple fields names

Tweaking some APIs according to user feedback. (#23857)

* Updating the Avx2.ConvertToVector256UInt APIs to return a signed type (matching the native signature and Sse41 APIs).

* Adding explicit overloads for `Sse41.ConvertToVector128Int*` and `Avx2.ConvertToVector256Int*` that take a pointer

* Updating the word ordering for the Compare/CompareScalar methods.

Update dependencies from https://github.com/dotnet/core-setup build 20190409.17 (#23865)

- Microsoft.NETCore.App - 3.0.0-preview5-27609-17

Update CoreClr to preview5-27610-71 (#23859)

Update Windows instructions (#23841)

The instructions for CMake failed to list 3.14.1 when using Visual Studio 2019.

Fix few issues discovered by testing

Update profiling-api-status.md

Clarifying that profiler attach/detach are a known gap

Fix RecycledLists size on Unix

The list size was set to g_SystemInfo.dwNumberOfProcessors which is a
number of processors the current process is allowed to run on, but not
the total number of processors in the system. Fixed to use
PAL_GetTotalCpuCount.

Also revert a change to the mbind node mask length computation I've
incorrectly made in my last commit and make it clear that the value is
a number of used bits in the node mask, which is the highest numa node
plus 1. And finally, re-reading the mbind doc, I've found that the
maxnode parameter is in fact "number of nodes" in the mask, so fixing
that too.

Change optExtractSideEffList to optExtractSideEffList.

Fix newlines for  ilegal trees in `gtDispTree`.

Expose new EventCounter APIs (#23808)

* rename BaseCounter to DiagnosticCounter

* Change MetaData->Metadata

* Make EventSource and Name a property for counter classes

* Make the counter APIs public

* fix build errors

* Change float to double

* Few cleanups, fix test

* fix GetMetadataString

* PR feedback

* More PR feedback

Fix incorrect Debug.Assert statements

Temporarily disable failing CoreFX tests

Remove dlclose call to unload CoreCLR (#23863)

Add back using to EventSourceException

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Update CoreRT for changes in shared partition

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Expand masks in Utf8Utility, fix const in fallback path

Add 'SetNotificationForWaitCompletion' to ILLinkTrim.xml (#23822)

SetNotificationForWaitCompletion is meant to be func-eval'ed by the debugger to enable async step out. But this method was being removed by the IL linker. This adds it back.

PR feedback: Enable SSE2 in Utf16Utility code

Delete the asignment that was added as a workaround.

Clarify some unsupported cases in `optVNConstantPropOnTree`.

Clean optVNConstantPropOnTree.

Create a new tree with const val and attach side-effects to it.
Extract common code and delete returns in the of the switch.

PR feedback
- Simplify CountNumberOfLeadingAsciiBytesFrom24BitInteger
- Extract some consts out to top of file w/ comments

Don't denormalize enum return values on instance methods on x86. (#23816)

* Don't denormalize enum return values on instance methods on x86.

* Reuse closedElemType.

Alter CCW wrapping semantics (#23709)

* Update CCW semantics to not unwrap when a managed COM server was activated
  from a managed COM client. This is a functional change from .NET Framework.

* Add support for CoreShim to "attach" to the existing CLR instance when
 running from a CoreRun scenario.

* Add testing for NET COM client activating a NET COM server

PR feedback: GetElement(0) -> Sse2.StoreLow

Merge remote-tracking branch 'origin/master' into utf8_validation_apis_3

Destroy the old tree in `optAssertionProp_Update`.

Currently compiletion will fail with an assert because of `optPrepareTreeForReplacement`.

Delete condition that was previously checked with noway_assert.

Exclude PInvokes declared on other modules. We don't yet encode crossmodule references (#23828)

* Exclude PInvokes declared on other modules. We don't yet encode cross module references

Unconditionally set CrossGenTest to false for readytorun/tests/mainv1 mainv2 (#23826)

Group XUnitWrapper.dll into the same Payloads when submit to Helix (#23476)

* Add DisplayNameAttribute to each Fact

* Split files under bin/tests folder into groups and specify the corresponding *.XUnitWrapper.dll

* Group some of the *.XUnitWrapper.dll files into PayloadGroups and split others into different PayloadGroups if they have more than one TestGroup defined

* Add "TestGroup" trait to XUnitWrapper facts

* Add Microsoft.DotNet.XUnitConsoleRunner to eng\Versions.props

* Overwrite xunit.console.dll with the version coming from Microsoft.DotNet.XUnitConsoleRunner

Update CoreClr to preview5-27609-71 (#23809)

Update dependencies from https://github.com/dotnet/core-setup build 20190408.16 (#23836)

- Microsoft.NETCore.App - 3.0.0-preview5-27608-16

Improve RuntimeHelpers.GetSubArray (#23829)

* Improve RuntimeHelpers.GetSubArray

This change does three things.

First, it fixes `GetSubArray` to work when the supplied array is actually a `U[]` where `U : T`.  Currently this case ends up throwing an exception inside of span, which doesn't like working with arrays covariantly.

Second, it fixes argument validation so that we throw an ArgumentNullException if the input array is null rather than NullReferenceException.

Third, it improves the performance of `GetSubArray` for the 95% common case where either `T` is a value type or the type of the array matches the `T` type specified.

* Only use `Array.Empty<T>` when `typeof(T[]) == array.GetType()`

Remove exclusion for System.Threading.Tasks.Tests (#23818)

* Update exclusion for System.Threading.Tasks.Tests

There is a race in the test, which causes failures in various stress runs. And that is not Linux specific.

The failure is addressed in https://github.com/dotnet/corefx/pull/36645
This is to update the exclusion lists to make it not just for Linux and to link to the fix PR, so that it could be tracked when it makes it into coreclr.

* Update corefx_test_exclusions.txt

* Update corefx_test_exclusions.txt

Fix several issues

* Fix build on OSX and Linux machines without NUMA installed - there were
couple of places where I was missing ifdefs
* Fix bug in nodeMaskLength computation
* Remove testing change in eeconfig.cpp that has leaked into the PR
* Fix GCToOSInterface::GetTotalProcessorCount for embedded GC to return
all processors on the system, not just the ones enabled for the current
process.

Merge pull request #23739 from briansull/struct-cse

Block the hoisting of TYP_STRUCT rvalues in loop hoisting

Remove Unix CPU groups emulation

This change removes CPU groups emulation from Unix PAL and modifies the
GC and thread pool code accordingly.

Merge pull request #23752 from adityamandaleeka/arm64_clrww

Enable CLR write watch for ARM64 Windows

Block the hoisting of TYP_STRUCT rvalues in loop hoisting
Added test case GitHub_23739.cs

Simplify vectorized logic; remove unnecessary adjustment

Merge pull request #23814 from sandreenko/disableSystemIOTestsCorefx

Diable CoreFX System.IO.Tests.dll on windows arm64.

Clarify that vector read is unaligned

Merge pull request #23251 from mjsabby/largePagesInGC

Add Large pages support in GC

Merge pull request #23813 from wtgodbe/PrevAgain

Re-update branding to preview5

Merge remote-tracking branch 'origin/master' into utf8_validation_apis_3

Remove the MultiFileSec option from EventPipe. (#23777)

This option was a pseudo mechanism to fake "streaming" events out-of-proc.
The idea was to have EventPipe creating files every N seconds, with event data up to that point. Thus, external processes could read these files in an attempt to get "read-time" data.
Now, we actually have streaming of event through IPC channels, so this option is not needed.

Merge pull request #23715 from BruceForstall/FixArmStackProbing

Fix ARM32/ARM64 large frame stack probing

Add Large pages support in GC

Diable CoreFX System.IO.Tests.dll on windows arm64.

Re-update branding to preview5

Merge pull request #23801 from sergiy-k/enabler2rtestingonunix

Enable running tests in the ReadyToRun mode on Linux on OSX

[master] Update dependencies from dotnet/arcade (#23797)

* Update dependencies from https://github.com/dotnet/arcade build 20190406.5

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19206.5
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19206.5

* Update dependencies from https://github.com/dotnet/arcade build 20190407.1

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19207.1
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19207.1