[Local GC] Remove a number of inclusions of handle table private headers from the VM (#12389)

* Remove inclusions of private handle table headers from the VM

* Add TraceRefCountedHandles to the GC handle table interface

* Fix the Unix build

* Move ValidatePinnedObject to marshalnative.h

Fix JitMinOptsTrackGCrefs for legacy x86 back-end (#12416)

Addresses #12415

Merge pull request #12424 from wtgodbe/ArmRunsPipeline

Enable ARM test runs in Helix

Fix systemMask on Linux (#12387)

* fix systemMask

* code refactor

Spmi third cleaning (#12418)

* CreateAgnostic_CORINFO_SIG_INFO
Also you pSig_Index always when it is index in the buffer map,
as we do for sigInst_classInst_Index for example.
* spmi Restore_CORINFO_RESOLVED_TOKENout
delete another duplicate.

* SpmiDumpHelper

Merge pull request #12409 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #12417 from sjsinju/fix_3bytes_struct

[RyuJIT/ARM32] Change the 3bytes struct to int on morph phase.

Enable ARM test runs in Helix

Merge pull request #12413 from wtgodbe/ArmRuns

First step for enabling ARM test runs

Merge pull request #12422 from CarolEidt/lvaSetClassDiffable

Make lvaSetClass dump diffable

Make lvaSetClass dump diffable

Update attribute-value in security build definition. (#12419)

[RyuJIT/ARM32] Change the 3bytes struct to int on morph phase.

It is necessary that the 3bytes struct which is a local var to int on morph phase.

Related Issue : #12290 (Assertion failed 'emitTypeSizes[TypeGet(type)] > 0')

Add String.Contains overload with StringComparison (#12400)

Staging change of System.Private.CoreLib for CoreFX #20846

Spmi second cleaning (#12402)

* don't init zero-init struct with nulls.

* Clean spmi code for GetTokenTypeAsHandle and GetCastingHelper

* Clean spmi GetVarArgsHandle and CanGetVarArgsHandle

* Clean GetCookieForPInvokeCalliSig and CanGetCookieForPInvokeCalliSig

* clean spmi GetNewHelper

* clean spmi GetArgType

* clean spmi GetArgClassValue

First step for enabling ARM test runs

Merge pull request #12404 from adiaaida/changeLinuxTPAssemblies

Align Linux TP benchmarks with Windows TP benchmarks

Fix arm64 build break

[tfs-changeset: 1662444]

Need to pass handle to SeekCore (#12399)

We're not setting the member field until the end of construction.

Fix event, semaphore, mutex create/open to request the maximum allowe… (#12381)

Fix event, semaphore, mutex create/open to request the maximum allowed access

Functional fix for #11306
- Ported dotnet/corert@78fae17f5434839a8720603973ff53f27e27f916 to CoreCLR, see that commit for details on the hang during mutex creation that is also fixed by this change.
- Replaced all uses of the *_ALL_ACCESS flags relevant to events, semaphores, and mutexes

Merge pull request #12395 from erozenfeld/fgMorphRecognizeBoxNullable

Fix for a bug in fgMorphRecognizeBoxNullable.

Provision CodeBase and NotificationAlias variables -CoreCLR (#12403)

* Security build JSONs.

* Provision CodeBase and NotificationAlias variables.

Align Linux TP benchmarks with Windows TP benchmarks

On Windows, we download a set of assemblies that we have uploaded to
MyGet. On Linux, we were building corefx each run to get the benchmarks.
This change updates Linux to pull down the same benchmarks Windows uses,
using curl to grab the nuget package from MyGet.

Note: after this commit, we will have data for fewer assemblies on
Linux, but we will now have the same set for both Windows and Linux.
Some data in Benchview may be affected.

Merge pull request #12379 from dotnet-maestro-bot/master-UpdateDependencies

Update CoreClr, CoreFx to preview1-25421-01, preview1-25421-02, respectively (master)

Merge pull request #12164 from hqueue/arm/ryujit/lsra_12078_live_in

[RyuJIT/ARM32] Unassign double register properly at BB entry

Merge pull request #12358 from jyoungyun/ryujit/assersion_failed_info_numslots_is_1

[RyuJIT/ARM32] Assign 2 numslots to gtLsraInfo.srcCount in TYP_DOUBLE

Update CoreClr, CoreFx to preview1-25421-01, preview1-25421-02, respectively

Please include this line to enable build (#12382)

find_path(LLDB_H "lldb/API/LLDB.h" PATHS "/usr/lib/llvm-4.0/include")

Spmi source code cleaning (#12378)

* fix pointer names in CORINFO_RESOLVED_TOKENin

* Remove exceptionCode from Agnostic_CORINFO_RESOLVED_TOKENout

The target if to do Agnostic_CORINFO_RESOLVED_TOKEN =
Agnostic_CORINFO_RESOLVED_TOKENin + Agnostic_CORINFO_RESOLVED_TOKENout

* Agnostic_CORINFO_RESOLVED_TOKEN = Agnostic_CORINFO_RESOLVED_TOKENin + Agnostic_CORINFO_RESOLVED_TOKENout

* spmi cleaning for ResolvedToken.

It is only the first part of changes. I am trying to delete as many code
as I can, because for now it is bad pain to make changes in this files.

Fix for a bug in fgMorphRecognizeBoxNullable.

fgMorphRecognizeBoxNullable doesn't work correctly when called during re-morphing. In particular it can't handle late args in the call to CORINFO_HELP_BOX_NULLABLE. The test case results in several asserts (the first one in lsra) followed by an infinite loop in the jit.

The reason the optimization is not performed during global morph is that only patterns with GT_EQ and GT_NE are handled. Some versions of csc generate

...
ldnull
cgt.un
ret

for

this C# line

null != this.value

so we get GT_GT instead.

The fix has two parts:

1. Don't attempt to perform the optimization when called during re-morph and the struct parameter is a late arg.
2. Call fgMorphRecognizeBoxNullable for GT_GT nodes with GTF_UNSIGNED set. This allows the optimization to fire during global morph.

Enable and use updateAssginedInterval() for all targets

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Update trusted RHEL build Dockertag to support LTO (#12396)

The new RHEL image was generated using the same Dockerfile as the
previous, but has LLVM recompiled with gold support enabled, which is
required to do a build with -flto (a prerequisite for PGO).

Introduce LinearScan::isAssignedToInterval()

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Fix typo and formatting issues

[RyuJIT/ARM32] Avoid assersion for double arguments

Double arguments in ARM32 uses 2 slots and it isn't a multi-reg struct.
In this case, it should avoid an assersion that checks if the slot is 1.

[RyuJIT/ARM32] Assign 1 srcCount in TYP_DOUBLE

Even though TYP_DOUBLE uses 2 numSlots, we consume 1 srcCount in TYP_DOUBLE

Assign 2 numslots to gtLsraInfo.srcCount in TYP_DOUBLE

[RyuJIT/ARM32] Use helper to update RegRecord

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

[RyuJIT/ARM32] Clear assigned interval of double register

Clear assigned interval of double register properly

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

[RyuJIT/ARM32] Unassign double register properly at BB entry

When updating var locations at basic block entry, we should
unassign double register properly for TYP_DOUBLE interval.

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Stub Environment from registry apis inside app-containers. (CoreCLR) (#12390)

We're not going to get exemptions for these inside appcontainers
so we'll change them to behave as they do on Unix (present
an empty reg key that eats writes requests.)

Update building documentation for osx/macOS (#12366)

* Update osx-instructions.md

add 10.12 Sierra as minimal needed version and add some more notes for pkg-config add reference to clean.sh

[Local GC] Move handle creation/deletion profiler callbacks out of the GC (#12314)

* [Local GC] Move handle creation and handle destruction profiler
callbacks out of the GC

* Remove dead code

* Move some handle-related code out of gcheaputilities.cpp and into gchandleutilities.cpp

* Address code review feedback, remove some more dead code and add some style fixes

* Refactor handle creation and destruction helpers to go through a common function

[RyuJIT/ARM32] Implement storing multi-reg/HFA return value at caller (#12294)

* [RyuJIT/ARM32] Initial implementation of multi-reg return

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>
* [RyuJIT/ARM32] Update multi-reg return for ARM32

- Update comment
- Remove wrong implementation
- Handle HFA struct correctly by consitering type

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>
* Update comments for GetABIReturnReg() and GetABIReturnRegs()

- Remove and update obsolete comment
- Fix format

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Merge pull request #11629 from pentp/Math-perf

Optimized Math.Sign

Update CI to follow up corefx changes (#12384)

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

.clang format from jit (#12377)

Merge pull request #12313 from kyulee1/st

Remove static for function pointer

Don't close passed in FileStream handles in constructor (#12253)

* Don't close passed in FileStream handles in constructor

As the finalizer will run when throwing we need to be
careful to make sure we don't put the passed-in handle
in the member field until we're sure we've succeeeded.

Additionally we need to make sure any wrapping SafeHandle
we create on a passed in IntPtr isn't collected.

* Move platform specific assertion and add comment.

* Comment- fix mistake in CanSeekCore

Fixing CompareInfo AssemblyMode.Full serialization between Core <--> Desktop (#12365)

* Fixing CompareInfo AssemblyMode.Full serialization

* Adding reason why culture field is introduced

Merge pull request #12055 from mikedn/lower-long-relops

[WIP] Simplify long relop lowering

ILLink Performance Tests: Enable MusicStore

Enable the Musicstore tests, since the failure in JitBench is
now fixed.

[RyuJIT/ARM32] Update LinearScan::resolveLocalRef() for ARM32 (#12194)

Update LinearScan::resolveLocalRef()
- Always update two float register consisting a double register
- Use helper function for ARM32 double register
- Use stronger assertion condition

Introduce updateAssignedInterval() to update assigned interval
of ARM32 register considering register type.

Merge pull request #12364 from adiaaida/removeSudoThroughput

Remove sudo from throughput run

Update CoreClr, CoreFx to preview1-25419-02, preview1-25419-02, respectively (#12342)

Remove sudo from throughput run

Sudo is not necessary for running throughput testing, so remove sudo so
we don't run into requests for passwords if the ubuntu machines are not
set up correctly.

Cleanup most code in StringBuilder (#10156)

* Cleanup most code in StringBuilder

* Respond to PR feedback

* Document StringBuilder's fields

* VerifyClassInvariant -> AssertInvariants

* Fix always-true assert

* Respond to PR feedback from @stephentoub

Merge pull request #12335 from mikedn/assert-prop-alloc

Remove unnecessary bitvec allocation in assertion prop

Further improve perf of Char.IsWhiteSpace (#12353)

IsWhiteSpaceLatin1 is not being inlined.  By changing a range check done with two comparison operations to instead be done with a subtraction and a single comparison, the code is shortened to not only be less expensive but also then get inlined into IsWhiteSpace and then further into String.IsNullOrWhiteSpace.  The net result is a measurable throughput improvement for IsNullOrWhiteSpace.

Merge pull request dotnet/corert#3911 from jkotas/nmirror-merge

Merge nmirror to master

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Add regression test for issue #12224 (#12331)

This change adds regression test for EH getting stuck in an infinite
loop when NullReferenceException happens inside a handler of another
NullReferenceException.

Remove some dead argument checks for unsigned primitives for less than zero (#12349)

* Remove dead comparisons of unsigned primitive less than zero

* Delete bad assertition that is consistently hit using the Debug coreclr using the tests

Fix chained hardware exception handling on Unix (#12344)

There is an issue when hardware exception occurs while handling another hardware exception. In such case,
the exception unwinding ends up in an infinite loop. It is caused by the kernel reusing the same location
for signal handler context.

The fix is to use a windows style context local variable in the common_signal_handler that contains
the right context - it is the original signal context converted to windows style context.

Throw ArgumentNullException on Unix calling Marshal.IsComObject(null) (#12348)

Fix perf.groovy

Fix perf.groovy so that ILLink perf tests can be triggered.

LoadFromResolve event handler should return null incase of any load error (#12329)

Fix CompareInfo.Version on Windows (#12330)

We call Windows to get the sort version. We call Windows passing the structure NlsVersionInfoEx but Windows expect we have to initialize the size of this structure which we are missing.

Security build JSONs. (#12279)

Update CoreClr, CoreFx to preview1-25416-04, preview1-25416-02, respectively (#12319)

Add path to exception messages (#12322)

* Remove dead code

* Arg_PathIllegal

* IO_PathTooLong

* Remove no longer necessary path sanitization

* Argument_PathFormatNotSupported

* Arg_PathIllegalUNC

* Arg_InvalidSearchPattern

* Dead strings

* Missing nameof

Remove unnecessary bitvec allocation in assertion prop

optVnNonNullPropCurStmt is called for each node and every time it allocates an empty BitVec because optNonNullAssertionProp_Call and optAssertionProp_Ind require it, they are also used in other code paths that do provide a non-empty BitVec.

Merge pull request #12203 from wtgodbe/Timing

Fix timing issues in some baseservices tests

Merge pull request #12321 from BruceForstall/FixMeasureSize2

Convert size measurements for nodes to unsigned __int64

Remove unused source causing restore error

[ARM] Set local variables as addr-exposed (for LEGACY_BACKEND) (#12237)

Disable Portable RID build for Tizen (#12292)

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Fix chained hardware exception handling on Unix (#12316)

There is an issue when hardware exception occurs while handling another hardware exception. In such case,
the exception unwinding ends up in an infinite loop. It is caused by the kernel reusing the same location
for signal handler context.

The fix is to use the windows style context local variable in the common_signal_handler that contains
the right context - it is the original signal context converted to windows style context.

Merge pull request #12320 from BruceForstall/CompactGenTreeCall2

Compact the size of GenTreeCall nodes

Merge pull request #12185 from hqueue/arm/ryujit/lsra_11851_resolve_edges

[RyuJIT/ARM32] Select proper temp register when resolving edges

Compact the size of GenTreeCall nodes

The data stored in GenTreeCall under `#ifdef FEATURE_MULTIREG_RET`
(defined for x86 (RyuJIT), amd64/Linux, arm32, arm64) was poorly
packed. Improving this reduces x86 GenTreeCall node size from 124 to 112 bytes.
Since GenTreeCall is the largest node, it also reduces the size of all
"large" nodes.

Convert size measurements for nodes to unsigned __int64

I found these numbers overflowing a size_t on x86 with a long
SuperPMI run.

Merge pull request #12298 from dotnet/revert-12227-PR-12197

Revert "[Arm64] JIT_WriteBarrier optimization"

[x86/Linux] Enable gcMarkFilterVarsPinned (WIN64EXCEPTIONS) (#11281)

* [x86/Linux] Enable gcMarkFilterVarsPinned

Do gcMarkFilterVarsPinned() for WIN64EXCEPTIONS

* [x86/Linux] GCInfo : Force this pointer untracked

`this` pointer is now always untracked so we can use pinned flag in tracked lifetimes.
This allows us to make the refs(inside filter) pinned to prevent from double-relocation.

* [x86/Linux] GCInfo : fix comment and formatting

* [x86/Linux] GCInfo : Update

- Force "this" pointer untracked only when "this" is generic context
- Style fixes

* [x86/Linux] GCInfo : remove this_OFFSET_FLAG

Update CoreFx to preview1-25415-03 (#12305)

Remove static for function pointer

qsort with static compare functions crashes with ALTJIT.
It appears due to _guard_check_icall_fptr in Windows 10.
Simply dropping static keyword works.

Merge pull request #12307 from stephentoub/iswhitespace

Small cleanup to Char.IsWhiteSpaceLatin1

Merge pull request #12311 from jashook/arm64_unix_ci

Add the arm64 unix CI

Fix timing issues in some baseservices tests

Merge branch 'master' into arm64_unix_ci

Add the arm64 unix CI

This will enable unix arm64 testing in CI. Currently there are no
default tirggers; however, anyone will be able to request the jobs.

Merge pull request #12310 from dotnet/revert-11743-arm64_unix_ci

Revert "Add the arm64 unix CI"

Revert "Add the arm64 unix CI"

Merge pull request #11743 from jashook/arm64_unix_ci

Add the arm64 unix CI

Merge pull request #12297 from stephentoub/getdatepart

Avoid duplicated computations with DateTime.GetDatePart

Small cleanup to Char.IsWhiteSpaceLatin1

For some reason this is resulting in measurably better throughput, in particular for non-whitespace chars, so much so that it's visible in microbenchmarks against string.IsNullOrWhiteSpace.

If nothing else, it's cleaner.

Merge pull request dotnet/corert#3890 from jkotas/nmirror-merge

Merge nmirror to master

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #12047 from rartemev/issue_4122_2

Fixed determintaion of need to make code that contains tail.call loop fully interuptible

[Local GC] Fix a number of handle table interface violations (#12277)

* Fix a smattering of GC handle table interface violations

Stub out a few other handle violations

* [Local GC] Add SetExtraInfoForHandle onto GC handle manager interface

* [Local GC] Changes uses of HndGetHandleADIndex to GetHandleContext

* Add HandleGetType to GC handle table interface

1) Change IGCHandleManager methods that take "int" to represent the type of a handle to HandleType, and fix callers to cast to HandleType
2) Add HandleFetchType to IGCHandleManager, returning a HandleType
3) Fix uses of handtablepriv's HandleFetchType and remove the GC directory from the include path

* 9 -> HNDTYPE_WEAK_WINRT, 0 -> HNDTYPE_WEAK_SHORT in assert

Merge branch 'master' into arm64_unix_ci

Merge pull request #12287 from briansull/nowarn-SIMD

Crossgen - Disable the Target-dependent SIMD vector types warning