Add a flag to build.{sh,cmd} to disable PGO.

This is helpful when performing JIT throughput measurements.

Cleanup some instances of project.json from the repo (#12484)

* Replace ScriptGenerator project.json with csproj

* Update project.json occurrences in docs
Fix few typos.

* Remove project.json comments

Fix remove in list (#12497)

`remove` uses `erase` to delete the entry in list.
Since `erase` returns the next iterator, the iterator shouldn't be increased
when the entry is found and deleted.

Remove disabled tests for Marshal.IsComObject(null) (#12359)

Partially remove relocations from Class section of NGEN-ed images (#11962)

* Remove relocations for ParamTypeDesc::m_TemplateMT.

* Remove relocations for LayoutEEClass::m_LayoutInfo.m_pFieldMarshalers.

* Prepare RelativeFixupPointer.

* Remove relocations for FieldMarshaler::m_pFD and FieldMarshaler_*::m_*.

Remove unused declaration (#12501)

spmi add R2R field to getFieldInfo (#12498)

Fix JIT_NewArr1 8-byte alignment for ELEMENT_TYPE_R8 on x86.

Fix rough edges after CLI update (dotnet/corert#3983)

* Move build-restore.cmd back to build-managed

buildpipeline needs to be updated to make this split

* Cleanup dir.props/dir.targets

* Add back VS clues

* Reformat whitespaces to match VS convention

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Fix bad range check in TextInfo.IndexOfStringOrdinalIgnoreCase (#12478)

Breaks:

   int idx = "\uabcd".IndexOf("", 1, StringComparison.OrdinalIgnoreCase);

should return 1, returns -1 instead.

(propagated fix from CoreRT)

Implement JIT_NewArr1_R2R as R2R wrapper for JIT_NewArr1 to support both MethodTable-based and TypeDesc-based helpers. (#12475)

Related issue: #12463

Merge pull request #12473 from hqueue/arm/ryujit/lsra_use_helper

[RyuJIT/ARM32][WIP] Update LSRA with helpers

[Linux][GDB-JIT] Fix memory leak (#12452)

Use NewArrayHolder for pVars in LocalsInfo class

[RyuJIT/ARM32] Update LSRA with new helper

- Introduce updatePreviousInterval()
- Update LSRA with helper

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

support spmi collection for r2r calls. (#12343)

* CreateAgnostic_CORINFO_SIG_INFO

Also you pSig_Index always when it is index in the buffer map,
as we do for sigInst_classInst_Index for example.

* spmi Restore_CORINFO_RESOLVED_TOKENout

delete another duplicate.

* SpmiDumpHelper

* spmi cleaning: GetFunctionEntryPoint and GetAddressOfPInvokeTarget

* support GetReadyToRunHelper and GetReadyToRunDelegateCtorHelper in spmi.

* Fix typo that annoys desktop build.

* spmi GetReadyToRunDelegateCtorHelper

* spmi: use agnostic type for GetReadyToRunDelegateCtorHelper value.

* spmi dump Agnostic_CORINFO_LOOKUP

add stubLookup to dmpGetCallInfo

* clean dmpGetMethodSig and dmpGetTailCallCopyArgsThunk

[RyuJIT/ARM32] Use helper for LSRA

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Merge pull request #12460 from pgavlin/SinglePassRationalize

Rephrase rationalize as a single IR walk.

Format code.

Merge pull request #12423 from CarolEidt/ContainDoNotEnreg

Mark lvDoNotEnregister lclVars as contained

Merge pull request #12457 from pgavlin/RewriteIntrinsicsRefactor

Refactor the rationalizer's instrinsic rewriter.

Rephrase rationalize as a single IR walk.

This walk performs both pre- and post-order visits. The pre-order visit
is responsible for rewriting intrinsics as user calls where necessary;
the post-order visit is resonsible for converting HIR nodes into LIR
nodes.

Use LIR utilities in the intrinsic rewriter.

This simplifies the code a bit and prepares it for some changes to
perform single-pass rationalization.

Merge pull request #12440 from pgavlin/MaintainIsUnusedValue

Maintain `LIR::IsUnusedValue` in the backend.

Update a header comment.

Format code and address PR feedback.

Replace array type handle with method table in arguments of array allocation helpers (#12369)

* Remove direct usage of type handle in JIT_NewArr1, with except of retrieving template method table.

* Assert that array type descriptor is loaded when array object's method table is set.

* Pass template method tables instead of array type descriptors to array allocation helpers.

Refactor the rationalizer's instrinsic rewriter.

Change its two constituent static methods into instance methods.

Merge pull request #12441 from pgavlin/TryGetUseInline

Avoid the use edge iterator in `TryGetUse`.

Merge pull request dotnet/corert#3969 from dotnet/nmirror

Merge nmirror to master

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Format code.

Return early in `TryGetUse` for unused nodes.

Now that `IsUnusedValue` is maintained during the first half of the
backend, `TryGetUse` can terminate early if it is set.

Note that this may return false negatives if the `IsUnusedValue` flag is
incorrectly set, but remains correct if said flag is incorrectly
cleared.

Remove an IR walk during lowering.

Now that the `IsUnusedValue` flag is maintained by decomposition and
lowering, it does not need to be recalculated before LSRA.

Maintain `LIR::IsUnusedValue` in the backend.

This flag indicates whether or not the SDSU temp produced by a node is
ever read. This information is needed by the register allocator, but is
also useful in other parts of the compiler (for example, `TryGetUse` can
return immediately if this flag is set). Setting this flag properly in
rationalize and maintaining it through decomposition and lowering allows
us to remove an IR walk immediately prior to LSRA.

Merge pull request #12439 from pgavlin/SkipDecomp

Update compLongUsed in rationalize.

[CoreRT armel] fix for PINVOKE calls in CoreRT (#12373)

Avoid the use edge iterator in `TryGetUse`.

`TryGetUse` does not require the ordering semantics provided by the use
edge iterator. Replace use edge iteration with manual inspection of each
node type.

Update compLongUsed in rationalize.

This allows us to skip decompisition if long-typed values are not used by a method.

Mark lvDoNotEnregister lclVars as contained

Even if a lclVar is tracked, it may not be a register candidate. When determining whether a lclVar should be contained or RegOptional, take that into account.
In the interest of making this as accurate as possible, mark lclVars early as lvDoNotEnregister when they meet criteria that will later disqualify them from a register.

Update Windows parameter name for Normalize/IsNormalized with invalid form (#12430)

# This is a combination of 2 commits.
# The first commit's message is:

Mark lvDoNotEnregister lclVars as contained

Even if a lclVar is tracked, it may not be a register candidate. When determining whether a lclVar should be contained or RegOptional, take that into account.
In the interest of making this as accurate as possible, mark lclVars early as lvDoNotEnregister when they meet criteria that will later disqualify them from a register.

# This is the commit message #2:

Formatting

Add ELF program and section headers to core dump. (#12425)

Add ELF program and section headers to core dump.

Issue #12341

This allows the build id for the modules be extracted properly.

Add .eh_frame, .eh_frame_hdr and some other important sections to core dump.

Add managed module names to core dump so the symbol acquisition
tool can get symbol store keys for them.

Add the non memory/file backed memory regions to core dump so debuggers
like lldb can check if an address is "code" or not. Unwinding doesn't
work when there isn't a module/.so file present.

[Local GC] Remove a number of inclusions of handle table private headers from the VM (#12389)

* Remove inclusions of private handle table headers from the VM

* Add TraceRefCountedHandles to the GC handle table interface

* Fix the Unix build

* Move ValidatePinnedObject to marshalnative.h

Fix JitMinOptsTrackGCrefs for legacy x86 back-end (#12416)

Addresses #12415

Merge pull request #12424 from wtgodbe/ArmRunsPipeline

Enable ARM test runs in Helix

Fix systemMask on Linux (#12387)

* fix systemMask

* code refactor

Spmi third cleaning (#12418)

* CreateAgnostic_CORINFO_SIG_INFO
Also you pSig_Index always when it is index in the buffer map,
as we do for sigInst_classInst_Index for example.
* spmi Restore_CORINFO_RESOLVED_TOKENout
delete another duplicate.

* SpmiDumpHelper

Merge pull request #12409 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #12417 from sjsinju/fix_3bytes_struct

[RyuJIT/ARM32] Change the 3bytes struct to int on morph phase.

Enable ARM test runs in Helix

Merge pull request #12413 from wtgodbe/ArmRuns

First step for enabling ARM test runs

Merge pull request #12422 from CarolEidt/lvaSetClassDiffable

Make lvaSetClass dump diffable

Make lvaSetClass dump diffable

Update attribute-value in security build definition. (#12419)

[RyuJIT/ARM32] Change the 3bytes struct to int on morph phase.

It is necessary that the 3bytes struct which is a local var to int on morph phase.

Related Issue : #12290 (Assertion failed 'emitTypeSizes[TypeGet(type)] > 0')

Add String.Contains overload with StringComparison (#12400)

Staging change of System.Private.CoreLib for CoreFX #20846

Spmi second cleaning (#12402)

* don't init zero-init struct with nulls.

* Clean spmi code for GetTokenTypeAsHandle and GetCastingHelper

* Clean spmi GetVarArgsHandle and CanGetVarArgsHandle

* Clean GetCookieForPInvokeCalliSig and CanGetCookieForPInvokeCalliSig

* clean spmi GetNewHelper

* clean spmi GetArgType

* clean spmi GetArgClassValue

First step for enabling ARM test runs

Merge pull request #12404 from adiaaida/changeLinuxTPAssemblies

Align Linux TP benchmarks with Windows TP benchmarks

Fix arm64 build break

[tfs-changeset: 1662444]

Need to pass handle to SeekCore (#12399)

We're not setting the member field until the end of construction.

Fix event, semaphore, mutex create/open to request the maximum allowe… (#12381)

Fix event, semaphore, mutex create/open to request the maximum allowed access

Functional fix for #11306
- Ported dotnet/corert@78fae17f5434839a8720603973ff53f27e27f916 to CoreCLR, see that commit for details on the hang during mutex creation that is also fixed by this change.
- Replaced all uses of the *_ALL_ACCESS flags relevant to events, semaphores, and mutexes

Merge pull request #12395 from erozenfeld/fgMorphRecognizeBoxNullable

Fix for a bug in fgMorphRecognizeBoxNullable.

Provision CodeBase and NotificationAlias variables -CoreCLR (#12403)

* Security build JSONs.

* Provision CodeBase and NotificationAlias variables.

Align Linux TP benchmarks with Windows TP benchmarks

On Windows, we download a set of assemblies that we have uploaded to
MyGet. On Linux, we were building corefx each run to get the benchmarks.
This change updates Linux to pull down the same benchmarks Windows uses,
using curl to grab the nuget package from MyGet.

Note: after this commit, we will have data for fewer assemblies on
Linux, but we will now have the same set for both Windows and Linux.
Some data in Benchview may be affected.

Merge pull request #12379 from dotnet-maestro-bot/master-UpdateDependencies

Update CoreClr, CoreFx to preview1-25421-01, preview1-25421-02, respectively (master)

Merge pull request #12164 from hqueue/arm/ryujit/lsra_12078_live_in

[RyuJIT/ARM32] Unassign double register properly at BB entry

Merge pull request #12358 from jyoungyun/ryujit/assersion_failed_info_numslots_is_1

[RyuJIT/ARM32] Assign 2 numslots to gtLsraInfo.srcCount in TYP_DOUBLE

Update CoreClr, CoreFx to preview1-25421-01, preview1-25421-02, respectively

Please include this line to enable build (#12382)

find_path(LLDB_H "lldb/API/LLDB.h" PATHS "/usr/lib/llvm-4.0/include")

Spmi source code cleaning (#12378)

* fix pointer names in CORINFO_RESOLVED_TOKENin

* Remove exceptionCode from Agnostic_CORINFO_RESOLVED_TOKENout

The target if to do Agnostic_CORINFO_RESOLVED_TOKEN =
Agnostic_CORINFO_RESOLVED_TOKENin + Agnostic_CORINFO_RESOLVED_TOKENout

* Agnostic_CORINFO_RESOLVED_TOKEN = Agnostic_CORINFO_RESOLVED_TOKENin + Agnostic_CORINFO_RESOLVED_TOKENout

* spmi cleaning for ResolvedToken.

It is only the first part of changes. I am trying to delete as many code
as I can, because for now it is bad pain to make changes in this files.

Fix for a bug in fgMorphRecognizeBoxNullable.

fgMorphRecognizeBoxNullable doesn't work correctly when called during re-morphing. In particular it can't handle late args in the call to CORINFO_HELP_BOX_NULLABLE. The test case results in several asserts (the first one in lsra) followed by an infinite loop in the jit.

The reason the optimization is not performed during global morph is that only patterns with GT_EQ and GT_NE are handled. Some versions of csc generate

...
ldnull
cgt.un
ret

for

this C# line

null != this.value

so we get GT_GT instead.

The fix has two parts:

1. Don't attempt to perform the optimization when called during re-morph and the struct parameter is a late arg.
2. Call fgMorphRecognizeBoxNullable for GT_GT nodes with GTF_UNSIGNED set. This allows the optimization to fire during global morph.

Enable and use updateAssginedInterval() for all targets

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Update trusted RHEL build Dockertag to support LTO (#12396)

The new RHEL image was generated using the same Dockerfile as the
previous, but has LLVM recompiled with gold support enabled, which is
required to do a build with -flto (a prerequisite for PGO).

Introduce LinearScan::isAssignedToInterval()

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Fix typo and formatting issues

[RyuJIT/ARM32] Avoid assersion for double arguments

Double arguments in ARM32 uses 2 slots and it isn't a multi-reg struct.
In this case, it should avoid an assersion that checks if the slot is 1.

[RyuJIT/ARM32] Assign 1 srcCount in TYP_DOUBLE

Even though TYP_DOUBLE uses 2 numSlots, we consume 1 srcCount in TYP_DOUBLE

Assign 2 numslots to gtLsraInfo.srcCount in TYP_DOUBLE

[RyuJIT/ARM32] Use helper to update RegRecord

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

[RyuJIT/ARM32] Clear assigned interval of double register

Clear assigned interval of double register properly

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

[RyuJIT/ARM32] Unassign double register properly at BB entry

When updating var locations at basic block entry, we should
unassign double register properly for TYP_DOUBLE interval.

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Stub Environment from registry apis inside app-containers. (CoreCLR) (#12390)

We're not going to get exemptions for these inside appcontainers
so we'll change them to behave as they do on Unix (present
an empty reg key that eats writes requests.)

Update building documentation for osx/macOS (#12366)

* Update osx-instructions.md

add 10.12 Sierra as minimal needed version and add some more notes for pkg-config add reference to clean.sh

[Local GC] Move handle creation/deletion profiler callbacks out of the GC (#12314)

* [Local GC] Move handle creation and handle destruction profiler
callbacks out of the GC

* Remove dead code

* Move some handle-related code out of gcheaputilities.cpp and into gchandleutilities.cpp

* Address code review feedback, remove some more dead code and add some style fixes

* Refactor handle creation and destruction helpers to go through a common function

[RyuJIT/ARM32] Implement storing multi-reg/HFA return value at caller (#12294)

* [RyuJIT/ARM32] Initial implementation of multi-reg return

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>
* [RyuJIT/ARM32] Update multi-reg return for ARM32

- Update comment
- Remove wrong implementation
- Handle HFA struct correctly by consitering type

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>
* Update comments for GetABIReturnReg() and GetABIReturnRegs()

- Remove and update obsolete comment
- Fix format

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Merge pull request #11629 from pentp/Math-perf

Optimized Math.Sign

Update CI to follow up corefx changes (#12384)

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

.clang format from jit (#12377)

Merge pull request #12313 from kyulee1/st

Remove static for function pointer

Don't close passed in FileStream handles in constructor (#12253)

* Don't close passed in FileStream handles in constructor

As the finalizer will run when throwing we need to be
careful to make sure we don't put the passed-in handle
in the member field until we're sure we've succeeeded.

Additionally we need to make sure any wrapping SafeHandle
we create on a passed in IntPtr isn't collected.

* Move platform specific assertion and add comment.

* Comment- fix mistake in CanSeekCore

Fixing CompareInfo AssemblyMode.Full serialization between Core <--> Desktop (#12365)

* Fixing CompareInfo AssemblyMode.Full serialization

* Adding reason why culture field is introduced

Merge pull request #12055 from mikedn/lower-long-relops

[WIP] Simplify long relop lowering

ILLink Performance Tests: Enable MusicStore

Enable the Musicstore tests, since the failure in JitBench is
now fixed.

[RyuJIT/ARM32] Update LinearScan::resolveLocalRef() for ARM32 (#12194)

Update LinearScan::resolveLocalRef()
- Always update two float register consisting a double register
- Use helper function for ARM32 double register
- Use stronger assertion condition

Introduce updateAssignedInterval() to update assigned interval
of ARM32 register considering register type.

Merge pull request #12364 from adiaaida/removeSudoThroughput

Remove sudo from throughput run

Update CoreClr, CoreFx to preview1-25419-02, preview1-25419-02, respectively (#12342)

Remove sudo from throughput run

Sudo is not necessary for running throughput testing, so remove sudo so
we don't run into requests for passwords if the ubuntu machines are not
set up correctly.

Cleanup most code in StringBuilder (#10156)

* Cleanup most code in StringBuilder

* Respond to PR feedback

* Document StringBuilder's fields

* VerifyClassInvariant -> AssertInvariants

* Fix always-true assert

* Respond to PR feedback from @stephentoub

Merge pull request #12335 from mikedn/assert-prop-alloc

Remove unnecessary bitvec allocation in assertion prop

Further improve perf of Char.IsWhiteSpace (#12353)

IsWhiteSpaceLatin1 is not being inlined.  By changing a range check done with two comparison operations to instead be done with a subtraction and a single comparison, the code is shortened to not only be less expensive but also then get inlined into IsWhiteSpace and then further into String.IsNullOrWhiteSpace.  The net result is a measurable throughput improvement for IsNullOrWhiteSpace.