Merge pull request #15445 from jashook/arm_archive_obj

Archive the obj directory for arm builds

Jit: fix long shift helper for overly long shift counts (#15443)

Reduce shift amount modulo 64 to match behavior on other platforms and the
jit optimizer.

Also, fix IL in related test case so it is valid for 32 bits too.

Also, make these two tests pri-0 so they get run with regular CI testing.

Fixes #15442.

Archive the obj directory for arm builds

This will allow us to correctly populate the core_root for eventual
arm linux testing.

Fix uaf in DestroyThread function. (#15437)

Mark thread's buffers as no longer owned before calling
Thread::OnThreadTerminate because thread can delete itself in
this method.

Merge pull request #15439 from BruceForstall/FixTimeout

Fix timeouts. Up timeouts for non-default (Pri-1) builds.

Fix timeouts. Up timeouts for non-default (Pri-1) builds.

Add optional integer offset to OwnedMemory Pin (#15410)

Add GetReference and TryGetArray to MemoryMarshal (#15417)

* Add GetReference and TryGetArray to MemoryMarshal

* Marking GetReference with AggressiveInlining

* Do not use ByReference as a return type.

* Addressing PR feedback.

Merge pull request #15342 from BruceForstall/FixLongNeg

Fix NEG decomposition to mark instructions that set and use flags

Merge pull request #15407 from BruceForstall/ReduceArmGcStress3JobFrequency

Reduce arm/armlb/arm64 GCStress=3 and HeapVerify=1 jobs to weekly

Cast lp1 to the ScanContext; lp2 is a function pointer. (#15433)

Externalize exception boxing (#15418)

Turn off outerloop perf and make job run periodically (#15416)

This is mostly for testing purposes.

Merge pull request #15400 from CarolEidt/Fix15325

Fix GT_FIELD_LIST double passed as int

Merge pull request #15425 from BruceForstall/ImproveProgressOutput

Add progress output to runtest.cmd so you don't think it's hung

Merge pull request #15420 from swgillespie/test-build-perf

Don't set BuildVersionFile when doing a test build

Add progress output to runtest.cmd so you don't think it's hung

Predicate overwrite of BuildVersionFile on OverwriteCoreClrPackageVersion == true

Fix a variable re-definition that resulted in two git invocations per project build

Don't change SIGINT/SIGQUIT handling when they are set to SIG_IGN (#15393)

* Don't change SIGINT/SIGQUIT handling when they are set to SIG_IGN

JIT: fix remorph assert in cast long shift optimization (#15386)

In some cases reachable from IL we may simplify the shift amount,
which sets the MORPHED flag, and then later remorph, leading to an assert
in DEBUG/CHECK builds.

Fix is to clear the MORPHED flag.

Added test case.

Update CoreClr, CoreFx to preview1-26006-09, preview1-26006-07, respectively (#15401)

new intrinsic type support (#15340)

Null Check added to GetFullPath Function in Unix (#15399)

Null Check added to GetFullPath Function in Unix

Reduce arm/armlb/arm64 GCStress=3 and HeapVerify=1 jobs from daily to weekly

This will reduce our ARM64 hardware load.

Merge pull request #15385 from BruceForstall/EnableGcstressPeriodicJobs

Enable arm/armlb/arm64 periodic GCStress=C jobs

Move all non-full opt, non-pgo perf legs to periodic (#15398)

We don't need the perf results for min-opt/no-pgo runs as frequently as
we need full-opt pgo runs (which we want to get per commit, if
possible), so move them to only running once daily.

Fix GT_FIELD_LIST double passed as int

Correctly handle a double field passed in int regs under a `GT_FIELD_LIST`, especially in the case of a `PutArgSplit`.
Also, reduce the spew of dump info when `COMPlus_JitStressModeNames` or `COMPlus_JitStressModeNamesNot` are set.
Enhance the dumping of `fgArgInfo`.

Fix #15325

Merge pull request #15388 from BruceForstall/NoLongRunningTests

Don't run ARM/ARM64 tests marked LONG_RUNNING

Update PgoData to master-20171206-0036 (#15390)

Merge pull request #15387 from BruceForstall/FixArmTesting

Adjust BenchI/BenchF paths to account for recent file moves

Address PR feedback for change adding key to KeyNotFoundException (#15234)

* Throwing KeyNotFoundException using Throw + get for JIT to generate better code for ii

Don't run ARM/ARM64 tests marked LONG_RUNNING

These tests can time out when run with the default job timeout.
So, disable them in normal runs.

Update CoreClr to preview1-26005-01 (#15371)

Adjust BenchI/BenchF paths to account for recent file moves

Enable arm/armlb/arm64 periodic GCStress=C jobs

[Arm64] Enable SIMD (#14633)

* [Arm64] EXTERNAL_FeatureSIMD_Default = 1

* [Arm64] Enable SIMD compilation

* [Arm64] Enable SIMD in crossgen

* [Arm64] Allow SIMD in altjit

Add flag SIMD16ByteOnly
Set COMPlus_SIMD16ByteOnly=1 in x64_arm64_altjit.cmd
If SIMD16ByteOnly, limit clear FLAG_USE_AVX2 to disable SIMD32 vector size
Enable SIMD in protonjit

* Fix #if per feedback

Fixed some broken formatting (#15369)

Update BuildTools, CoreClr, PgoData to prerelease-02304-01, preview1-26004-04, master-20171205-0037, respectively (#15356)

Remove old methods using string format (#15363)

Have a Type.IsConvertible property. (#15365)

dotnet/corefx#25671 asks for this as a public API, but this just seeks
to make it available to corefx.

Motivation discussed at dotnet/corefx#25663 and dotnet/corefx#25670

Mirror PR to corert will need and overload making runtime types return
false there.

Separate large perf benchmarks into their own legs (#15231)

Separate large perf benchmarks into their own legs

This change splits the windows perf test stages into 6 pipelined legs per flavor to reduce the amount of time we spend running the perf tests and reduce the total time of the job. This change also decreases the size of the stashed bin directory by deleting the obj directory. Finally, we move the benchstones suite into one directory (moving BenchF and BenchI into a shared dir called Benchstones)

Update CoreClr, PgoData to preview1-26004-01, master-20171204-0047, respectively (#15350)

Rename the method FloorLog2 to be more clear & fix spelling (#25335) (#15349)

Update CoreClr, PgoData to preview1-26002-02, master-20171202-0035, respectively (#15346)

JIT: defer removing statements during opt CSE (#15323)

The statements may contain CSE defs which if removed can confuse subsequent
CSE processing.

Fixes #15319.

Delete sortversioning.cpp/h (#15345)

Fixes #8403

Update CoreClr, CoreFx to preview1-26002-01, preview1-26002-01, respectively (#15344)

Fix NEG decomposition to mark instructions that set and use flags

Fixes bad codegen in System.Math.Sign(long):
```
return unchecked((int)(value >> 63 | (long)((ulong)-value >> 63)));
```
where the flag-setting low part of the decomposed NEG was removed
as dead by the constant right shift with constant >= 32, even though
the flag setting is needed by the upper part.

Fixes the MathSign5 failure of #14860.

Merge pull request #15315 from CarolEidt/Fix14548

Unmark unused fields as not lvOnFrame

Improve throughput of String.Split(char / char[], ...) (#15322)

* Improve throughput of String.Split(char / char[], ...)

Also reduces the amount of unsafe code used.

* Address PR feedback

Change name to perf jobs to reflect the actual OS they run on (#15314)

* Change name fo perf jobs to reflect the actual OS they run on

* readd Ubuntu 14.04

Merge pull request #15190 from sdmaclea/PR-ARM64-IsContainableMemoryOp

[Arm64] Allow IsContainableMemoryOp() use

Merge pull request #15281 from sdmaclea/PR-ARM64-Fix-UNROLL_LIMIT

[Arm64] Fix UNROLL_LIMIT logic

Merge pull request #15270 from sdmaclea/PR-ARM64-JITSTRESS-lvaStressLclFldCB

[ARM64] Align Compiler::lvaStressLclFldCB padding

JIT: handle boundary cases for casts of long shifts (#15294)

* JIT: handle boundary cases for casts of long shifts

Remove the assert that the shift count is non-negative.
Don't try and optimize if the shift count is >= 64 or < 0.
Update test case to cover these values.

Updates the fix from #15236.
Closes #15291.

Update BuildTools, CoreClr, CoreFx to prerelease-02301-01, preview1-26001-02, preview1-26001-02, respectively (#15321)

Merge pull request #15262 from sdmaclea/PR-ARM64-JITSTRESS-genEpilogRestoreReg

[Arm64] Use REG_IP1 for genEpilogRestoreReg*

Merge pull request #15275 from sdmaclea/PR-ARM64-SIMD-genMultiRegCallStoreToLocal-produceReg

[Arm64] SIMD genMultiRegCallStoreToLocal add missing produceReg

Merge pull request #15311 from BruceForstall/FixArmFlowTriggering

Don't add triggers for arm/armlb/arm64 non-flow jobs

Merge pull request #15317 from dotnet-bot/from-tfs

Merge changes from TFS

Unix: Remove MaxPath, MaxName (#15229)

* Unix: Remove MaxPath, MaxName

PATH_MAX is not an upper bound on path lengths on Unix. system function return
values should be used to determine behavior, instead of limiting the path length.

NAME_MAX depends on the file system used. Its value depends on the path, it is
not constant for the entire system.

* PR feedback

* Sync with corefx Interop.ReadLink

* Deal with /etc/localtime link containing relative path

Jumpstub fixes (#15296)

- Reserve space for jump stubs for precodes and other code fragments at the end of each code heap segment. This is trying
to ensure that eventual allocation of jump stubs for precodes and other code fragments succeeds. Accounting is done
conservatively - reserves more than strictly required. It wastes a bit of address space, but no actual memory. Also,
this reserve is not used to allocate jump stubs for JITed code since the JITing can recover from failure to allocate
the jump stub now. Fixes #14996.

- Improve algorithm to reuse HostCodeHeap segments: Maintain estimated size of the largest free block in HostCodeHeap.
This estimate is updated when allocation request fails, and also when memory is returned to the HostCodeHeap. Fixes #14995.

- Retry JITing on failure to allocate jump stub. Failure to allocate jump during JITing is not fatal anymore. There is
extra memory reserved for jump stubs on retry to ensure that the retry succeeds allocating the jump stubs that it needs
with high probability.

- Respect CodeHeapRequestInfo::getRequestSize for HostCodeHeap. CodeHeapRequestInfo::getRequestSize is used to
throttle code heap segment size for large workloads. Not respecting it in HostCodeHeap lead to too many
too small code heap segments in large workloads.

- Switch HostCodeHeap nibble map to be allocated on regular heap as part. It simplied the math required to estimate
the nibble map size, and allocating on regular heap is overall goodness since it does not need to be executable.

Merge pull request #15312 from BruceForstall/FixSmartyArchive

Fix smarty output archiving

Update CoreClr, CoreFx, PgoData to preview1-26001-01, preview1-26001-01, master-20171130-0053, respectively (#15298)

Merge pull request dotnet/corert#5038 from dotnet/nmirror

Merge nmirror to master

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Unmark unused fields as lvOnFrame

If a dependently promoted (i.e. non-register candidate) field of a struct is unused, and its parent is not allocated onto the stack, we cannot allocate the dependent fields to the stack either (they were previously being assigned offsets from 0, which may be in the GC ptr area, which causes an assert).

Fix #14548

Fix smarty output archiving

Need to unset AltJit environment variables (and possibly others)
before running powershell.

delete the second definition of getMethodNameFromMetadata2

[tfs-changeset: 1682581]

delete the second definition of getMethodNameFromMetadata

[tfs-changeset: 1682574]

Don't add triggers for arm/armlb/arm64 non-flow jobs

Fixed DCE of call nodes (#15192)

Fixed DCE of call nodes which affect stack level

Merge pull request #15305 from BruceForstall/AddMoreSmartyZipFileLogging

Add temporary logging to track down failure to ZIP smarty output

Use ILAsm from buildtools, take 2 (#15300)

Since #15172 got rolled back in #15292, trying this again.

This time also deleting garbage `.permission` attributes from the failing tests. Permissions are not supported in CoreCLR.

Filed #15299 on some more ILAsm from CoreCLR frustrations.

Add temporary logging to track down failure to ZIP smarty output

Removed Check Invalid Path Chars (#15191)

Removed Check Invalid Chars from Coreclr

Update build definition execute conditions for api v3.2 (#15285)

Expose Environment.ProcessorCount via EnvironmentAugments (#15297)

[Local GC] Fail fast on exceptions within a standalone GC (#15290)

Update CoreFx to preview1-25930-02 (#15295)

Merge pull request #15292 from BruceForstall/Revert15172

Revert "Use ILAsm from buildtools (#15172)"

[RyuJit] Delete contained workaround.  (#15257)

* Move CodeGen::indirForm and IntForm to common.

* GenTreeFieldList: SetContained only for the head.

* delete the workaround.

* move check from isContained to CheckLIR

`isContained` can't determinate does node has user or not. Move this check to the appropriate place.

* check that SetContained and IsContained are consistent.

Merge pull request #15282 from BruceForstall/EnableMoreArmGcStressModes

Allow arm/armlb/arm64 to run additional jobs

Revert "Use ILAsm from buildtools (#15172)"

This reverts commit e864120d14c829df6f6d4c6cff6f3d23db19606c.

Merge pull request #15288 from wtgodbe/Crossgen

Ensure CoreCLR Package version overwrite works correctly in test build

Fix GC stress C bug for arm (#15269)

* Fix GC stress C bug for arm

The OnGcCoverageInterrupt function was not removing the "thumb" bit from
the address before putting back the original instruction that was
previously replaced by an invalid instruction that invokes the
OnGcCoverageInterrupt. That resulted in the original instruction being
restored to incorrect location (to the original address + 1) and later
to the GC stress failure.

* Reflect PR feedback

Ensure CoreCLR Package version overwrite works correctly in test build

Update CoreClr, CoreFx, PgoData to preview1-25929-01, preview1-25929-02, master-20171129-0045, respectively (#15266)

Allow arm/armlb/arm64 to run additional jobs

This improves stress test coverage and creates consistency with
other platforms.

The jobs:
```
tieredcompilation
forcerelocs
jitnosimd (will soon be interesting for ARM64)
heapverify1
gcstress0xc_zapdisable
gcstress0xc_zapdisable_jitstress2
gcstress0xc_zapdisable_heapverify1
gcstress0xc_minopts_heapverify1
```

[Arm64] Fix UNROLL_LIMIT logic

[tfs-changeset: 1682429]

[ARM64] Align Compiler::lvaStressLclFldCB padding

Use ILAsm from buildtools (#15172)

* Use ILAsm from buildtools

On Windows: this stops using the ILASM that ships with Windows in favor
of CoreCLR ILASM
On Unix: this stops using the live built ILASM.

I image this fixes some issues in crossbuild on both platforms but I
can't find where the workarounds for that are.

Necessary prerequisite for being able to build tests for the default
interfaces feature.

[Arm64] SIMD genMultiRegCallStoreToLocal add missing produceReg

Avoid provider-related costs for default integer formatting (#15272)

One of the biggest costs when invoking Int32.ToString() and similar methods is in fetching the current culture, accessing its number information, etc.  And if a culture is provided explicitly, there are still costs related to casts.  But when the default format is used for non-negative integer values, the number format information isn't used at all, and we can skip the associated costs.  This improves formatting perf in such cases by upwards of ~25%.

[Arm64] Use REG_IP1 for genEpilogRestoreReg*

Avoid conflict with FASTTAILCALL_TARGET reg

Update BuildTools, CoreClr, CoreFx to prerelease-02228-01, preview1-25928-08, preview1-25929-01, respectively (#15252)

Merge pull request #15246 from stephentoub/double_tryformat

Add double/float.TryFormat

Address PR feedback

- Simplify FCALL signatures
- Simplify mantissa logic copied from corert

Reduce duplicate code for span formatting in StringBuilder