Merge pull request #14307 from fiigii/removeavxflag

[RyuJIT] Remove FEATURE_AVX_SUPPORT flag

Merge pull request #14294 from sdmaclea/PR-ARM64-EMIT-Exclusives

[Arm64] Add LD/ST exclusive emitters

Merge pull request #14318 from sdmaclea/PR-Fix-jump-bind-typo

[Arm64] Fix emitJumpDistBind typo

Merge pull request #14293 from sdmaclea/PR-ARM64-SMUL-DIS

[Arm64] Fix smul[lh] disassembly

Move String.Searching.cs to shared CoreLib partition (dotnet/corert#4673)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #14325 from dotnet-bot/from-tfs

Merge changes from TFS

Allow X86 Hardware intrinsics for non-Legacy 32-bit x86
Unit tests exisist for this functionality on x86 CoreCLR

[tfs-changeset: 1677287]

[Arm64] Fix emitJumpDistBind typo

[Arm64] Fix IF_LS_3D emitter

Merge pull request dotnet/corert#4663 from dotnet/nmirror

Merge nmirror to master

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #14298 from stephentoub/stringconcat_char

Special-case T==char in string.Concat(IEnumerable<T>)

Make CancellationTokenRegistration.Token public (#14310)

Fix broken ARM64 build (#14313)

The std::max was being passed arguments of different types (int and DWORD).

remove FEATURE_AVX_SUPPORT flag

Few build changes to support Freebsd (#14121)

* also look for python27

* add more locations to search for lldb.h so it just work on FreeBSD

* add adm64 to ARCH selection. This is mostly cosmetic to avoild warning on FreeBSD

* add support for -osgroup=XXX - this is mostly for conistency. -OSGroup=FreeBSD is similar to freebsdmscorlib in build.cmd

* fix typo adm->amd

* add back fi removed by mistake

* add __HostDistroRid for FreeBSD

* adress fedback from review: make python lookup consistent - starting with most specific version. uddate warning message about lldb.h and remove composite flag

* feedback from review: type and small change on OSGroup syntax

* few more minor fixes

Update Buildtools and Roslyn (#14228)

* Update Buildtools and Roslyn

* Fixing importing of the roslyn files on msbuild 14.0

* Correctly looking for the latest VS Installation

Fix for x86 JIT build break

[tfs-changeset: 1677224]

Merge pull request #14312 from adiaaida/addPerfPipeline

Add empty perf pipeline job

Merge pull request #14295 from BruceForstall/FixArm64FastTailcallGSCookie

Put JIT64 compat assert under `_TARGET_AMD64_` ifdef

Add empty perf pipeline job

This is step one of adding the pipeline job for performance runs. In
this change, we add perf-pipelinejobs.groovy, which defines what Jenkins
will see in the UI. perf-pipeline.groovy is basically an empty job, so
we can test the actual perf-pipeline work after this is checked in,
which is step two.

Optimize Memory<T> to ReadOnlyMemory<T> cast (#14309)

They have the same layout; we can just use Unsafe.As.  In a microbenchmark that just repeatedly reads from a `Memory<byte>` field and writes it to a `ReadOnlyMemory<byte>` field, this doubles throughput.

Fix IsSafeToContained. (#14268)

When AliasSet adds a node, it should also add all its nodes that are
executed inside it (marked as contained).

JIT: run type equality optimizations earlier (#14244)

Refactor the type equality optimizations embedded in morph so that they can
also be invoked earlier, in particular, during importation. This allows the
importer to short-circut importing blocks that are provably unreachable. For
instance in generic methods with type specialization (via equality) the jit
will now selectively import just the applicable regions of the method. In some
cases this means the jit may avoid importing EH regions and so remove EH from
a specialized method all together.

Also, generalize the handle compare pattern to look through the handle indirs
that can arise when prejitting.

Running the type opts early also improves jit throughput a little.

Mark the embedded handle indirs as nonfaulting. Would also like to mark
them as invariant, but CSE gets overly enthusiastic and we see bad diffs.

Enable CLR Thread Pool via a MSBuild flag (default enabled on Unix)

This PR completes, adds tests for, and enables the CLR Thread Pool on Unix. It also adds Windows implementations for the low level primitives used in the CLR Thread Pool.

The thread pool is enabled by setting the MSBuild property FeaturePortableThreadPool to true, which is the default on Unix.

Supersedes #4039.
Rebased and squashed replacement for original PR #4124.

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Fix build with latest Xcode on OSX (#14282)

* Fix build with latest Xcode on OSX

The latest Xcode 9 cannot successfully build CoreCLR PAL. There are
several issues. First, it complains that min / max macros cannot be defined
in C++ code, since they would collide with the std::min and std::max
functions. Second, some of the headers that PAL includes pull in declarations
of several template classes that we explicitly define in PAL and also
the new operator declaration.

To fix that, I have undefined the min and max macros for PAL and replaced
their usage by the std::min / max functions. I have also removed the manual
declaration of the colliding template classes and new operator and added
inclusion of the proper C++ headers instead.

The PAL was including non-pal safemath.h and to make this change compatible
with it, I have added definition of USE_STL that makes safemath.h include
type_trait from STL instead of our local trimmed copy.

I have also removed some dead code that I have discovered during the process.

Fixes #14279

* Fix build on ARM32 and very recent GLIBCXX

Merge pull request #14292 from sdmaclea/PR-ARM64-Unreached

[Arm64] Fix TODO-Cleanup add unreached

Merge pull request #14027 from mikedn/simd-eq-opt

Simplify some relop/jtrue related optimizations

[Arm64] Fix smul[lh] disassembly

[SOS] Use addresses without sign extension in lldb plugin (#14009)

lldb doesn't expect sign-extended addresses so we need to convert
them before using with lldb API.

This patch allows to use SOS plugin for core files in lldb on 32-bit
platforms and also fixes output of the 'clrstack -f' command.

Special-case T==char in string.Concat(IEnumerable<T>)

This allows string.Concat to be used as an efficient mechanism for creating a `string` from an `IEnumerable<char>`.  The JIT specializes the implementation for char vs non-char, so there's minimal impact on the non-char case, and for the char case, we a) avoid creating a string for each individual char, and b) use StringBuilder's fast path for adding individual chars.  This can result in a massive allocation savings for long enumerations (for <= 1 char, there's no difference, but each character after that is an allocation saved), and for more than a few characters can yield up to a 2x increase in throughput.

[x86/Linux] Fix regdisplay initialization in case of WIN64EXCEPTIONS (#14296)

Method Debugger::IsThreadAtSafePlaceWorker for x86 sets values only
for ControlPC and PCTAddr fields of REGDISPLAY but there is assert
in StackFrameIterator::Init that checks that field pCurrentContext
is not NULL if WIN64EXCEPTIONS is defined.

This patch uses FillRegDisplay function to correctly initialize
regdisplay in case of WIN64EXCEPTIONS.

Put JIT64 compat assert under `_TARGET_AMD64_` ifdef

Fixes #14205

delete the old workaround. (#14288)

gcc is not supported.

[Arm64] Add LD/ST exclusive emitters

Merge pull request #14220 from wateret/ryu-arm-bitcast-cleanup

[RyuJIT/arm32] Code cleanup

[Arm64] Fix TODO-Cleanup add unreached

Improve runtest.sh concurrency (#14036)

* Imporove runtest.sh concurrency

`runtest.sh` runs next tests immediately after any of child processes is done

* Fix runtest.sh getting number of processors

For linux, check if `nproc` or `getconf` exists
when getting number of processors.

* Add tests that fail with OOM to unsupported list

Add several tests that consumes a lot of memory to unsupported test list(arm32).
This change is temporary until we properly handle these test with memory issue.

Merge pull request #14274 from fiigii/vexencoding

[RyuJIT] Fix VEX.vvvv for cvtss2sd and cvtsd2ss

Fix a jump over variable initialization (#14286)

Merge pull request #14181 from ViktorHofer/MutexCodeCleanup

Mutex code cleanup and removal of unused types

Workaround GetSystemTimePreciseAsFileTime inaccuracies (#14283)

* Workaround GetSystemTimePreciseAsFileTime inaccuracies

On misconfigured systems, GetSystemTimePreciseAsFileTime may drift quickly from GetSystemTimeAsFileTime.  We want to use the former, though.  As a workaround/heuristic, when checking whether we have GetSystemTimePreciseAsFileTime, invoke both and ensure they're "close", falling back to GetSystemTimeAsFileTime if it seems like the precise variant has run away.

* Update comment

Small bug fixes on "perf.groovy" (#14259)

- `submission-metadata` option is `--user-email`, not `--user`
- We need to escape user input. On batch, " -> ""

The !DumpArray sos command emits invalid DML for array elements (#13855)

Element Methodtable is reported correctly but for individual elements, the generated DML uses the MT of the array, not the element, thus giving incorrect results
Only value types are affected

0:007> !DumpArray /d 02b16574
Name:        WindowsFormsApplication2_SOS_bug.Test[]
MethodTable: 011c82ec
EEClass:     011c8290
Size:        412(0x19c) bytes
Array:       Rank 1, Number of elements 100, Type VALUETYPE
Element Methodtable: 011c824c
[0] 02b1657c => here is the problem

Move JCMP transform to LowerJTrue

Unlike many other relop transforms we do this one is only triggerred by the presence of a conditional branch (JTRUE) so it makes more sense to do it when lowering JTRUE nodes, avoids unnecessary calls to TryGetUse.

Extend flag reuse optimization to all relops

Reimplement compare flags reuse using SETCC/JCC

Simplify SIMD EQ/NE optimization

Adding a patch to fix coreclr build for VS 15.5 (using older SDKs). (#14272)

Fix VEX.vvvv for cvtss2sd and cvtsd2ss

StompWriteBarrier initialization path refactoring (#14105)

* refactored arm, arm64, amd64 and x86 to signal about icache flush and ee restarts

* refactored gc init stage to stomp write barrier (hence flush icache) only once

* review fixes, care taken of icache invalidation during StompResize

* fixed heap boundaries initialization bug introduced after refactoring gc.cpp

* stylistic review fixe

* global variable rename

* global variable rename once more

Update build clang/llvm/lldb 3.9 (#14096)

Update build scripts, docs and build pipeline docker images to clang/llvm/lldb 3.9

Fix spelling errors (#14218)

Fix some spelling errors and capitalization.

Add info on loading core dumps in lldb. (#13955)

Enable hardware intrinsic in debug and reflection

Implement IsSuppoored for all ISA classes

Merge pull request #14265 from MattGal/build_def_updates

Build definition publishing behavior tweaks

Build definition publishing behavior tweaks

[RyuJIT/ARM32] hotfix for a regression (#14252)

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

[x86/Linux] Fix CopyREGDISPLAY for WIN64EXCEPTIONS (#14254)

When WIN64EXCEPTIONS is defined, fields pCurrentContextPointers,
pCallerContextPointers, pCurrentContext and pCallerContext of the
REGDISPLAY are used. So we need to fix their values after coping.

[x86/Linux][SOS] Fix DumpStack command output on x86 (#14189)

On x86 DumpStack command doesn't print symbol information for
caller and callee. This patch fixes it and make output the same
as on AMD64.

Allow cross machine re-crossgen (#14241)

[x86/Linux] Fix assert in HelperMethodFrame::UpdateRegDisplay (#14235)

In some cases during execution of the SOS command 'clrstack -i'
portability assert in HelperMethodFrame::UpdateRegDisplay occurs.
This patch removes this assert and adds corresponding implementation.

Fixing Retain to return MemoryHandle with correct PinnedPointer (#14248)

* Fixing Retain to return MemoryHandle with correct PinnedPointer.

* Make MemoryHandle AddOffset internal.

Merge pull request #14247 from rartemev/issue_13420

Fixed difference between produced code in CHK and REL modes

Added CopyToAsync overload using default buffer size (#14219)

* Added CopyToAsync overload using default buffer size

* Address feedback

* Added comment about overrides and argument validation

* Renamed helper method to GetCopyBufferSize

To convey that this method should only be used for
getting a buffer size to be passed to CopyTo{Async}.

Fixed differenece between produced code in CHK and REL modes

ignore GT_ARGPLACE before gtUseNum check. (#14233)

Add the capability to force JIT options on the SPMI command line. (#14209)

expand the grammar for jit{,2}option to -jitoption [force] key=value

[x86/Linux] Fix typo in SetDebuggerREGDISPLAYFromREGDISPLAY (#14221)

Fix typo in SetDebuggerREGDISPLAYFromREGDISPLAY: Esi -> Eax.

Merge pull request #14225 from fiigii/falsedependency

[RyuJIT] Fix bad VEX encoding to avoid false register dependency

JIT: have gtClone handle long constants (#14201)

The `Enum.HasFlag` opt needs to clone the enum values, and they
can be long constants. Make sure `gtClone` handles this case.

Closes #14149.

Merge pull request #14232 from BruceForstall/Fix14196

Fix issue with HFA altjit api

fix bad VEX.vvvv to avoid false register dependency

Merge pull request #14192 from sdmaclea/PR-ARM64-JCMP

[Arm64] Add GT_JCMP node

[RyuJIT/arm32] Code cleanup

- Add an assertion for double type arg regs for armel
- Merge two if statements that have same body

Merge pull request #14231 from fiigii/fixintrinsic

fix bugs from #14164

Merge pull request #14234 from dotnet/ConditionLoc

Move Condition location in dotnet-trusted-publish

Move Condition location in dotnet-trusted-publish

nit pr feedback

Fix issue with HFA altjit api

One case in the Interop\ArrayMarshalling\ByValArray\MarshalArrayByValTest\MarshalArrayByValTest.cmd
test marshals an array of strings as members of a struct. The !FEATURE_HFA
code for IsHFA() needs to check for value type before calling CheckForHFA(),
which will assert if it is not a value type.

Fixes #14196.

[Arm64] Respond to feedback

fix bug from #14164

Adding {RO}Memory<T> debugger view (#14130)

* Adding memory debugger view and fixing ToArray impl.

* Addressing PR feedback and adding span debugger display string.

* Adding link to specific VSTS instance.

* Removing redundant info in comments.

Merge pull request #14230 from dotnet/CondInjection

Condition Injection on SignType

Condition Injection on SignType

Merge pull request #14229 from dotnet/PB_Fix

Change PB_ConfigurationGroup to ConfigurationGroup

Update DotNet-Trusted-Publish.json

Fix modf and fmod casing for consistency

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

[Jit] fix DevDiv_499435 (#14179)

fix DevDiv_499435

Merge pull request #14226 from dotnet/SymbolPkgInject

Conditionally Inject signed symbol packages on SignType

Conditionally Inject signed symbol packages on SignType

[ARM64/Unix] Enable FEATURE_EVENT_TRACE (#14176)

* [ARM64/Unix] Enable FEATURE_EVENT_TRACE

* [Arm64] Remove _PlatformDoesNotSupportEventTrace

Additional parameter validation for StartNoGCRegion (#14088)

* Additional parameter validation for StartNoGCRegion

* Fix the clang build by moving some defs before the first goto

* Guard against size_t overflow when scaling allocation budgets

* Move some parameter validation for managed code, throw better exceptions on parameter validation errors

* Remove stray comma

* Address code review feedback - unify code branches that branch to the failure case. Also keep data types as uint64_t as long as possible to avoid size_t overflow

* Fix the clang build

* Code review feedback:
 1. Remove useless asserts
 2. Remove a dead code path
 3. Add a LocalGC TODO to comment

Merge pull request #13897 from hseok-oh/ryujit/ftc_arg_count

Argument register & stack size calculation for fast tail call

[Arm64] Add JCMP comments per review

[Arm64] Fix JCMP lsra binding

Merge pull request #14207 from CarolEidt/Fix14028

Handle GT_SIMD in GenTree::Compare

Merge pull request #14090 from BredPet/interface_dispatch_cell

ARM32: fix interface dispatch cell address transfer

JIT: devirtualization support for EqualityComparer<T>.Default (#14125)

Mark `EqualityComparer<T>.Default`'s getter as `[Intrinsic]` so
the jit knows there is something special about it. Extend the jit's
named intrinsic recognizer to recognize this method.

Add a new jit interface method to determine the exact type returned
by `EqualityComparer<T>.Default`, given `T`. Compute the return type by
mirroring the logic used in the actual implementation. Bail out when
`T` is not final as those cases won't simplify down much and lead to
code bloat.

Invoke this interface method when trying to devirtualize calls where
the 'this' object in the call comes from `EqualityComparer<T>.Default`.

The devirtualized methods can then be inlined. Since the specific comparer
`Equal` and `GetHashCode` methods look more complicated in IL than they
really are, mark them with AggressiveInlining attributes.

If devirtualization and inlining happen, it is quite likely that the value
of the comparer object itself is not used in the body of the comparer. This
value comes from a static field cache on the comparer helper.

When the comparer value is ignored, the jit removes the field access since it
is non-faulting. It also removes the the class init helper that is there to
ensure that the (no-longer accessed) field is properly initialized. This helper
has relatively high overhead even in the fast case where the class has been
initialized aready.

Add a perf test.

Closes #6688.

[GDBJIT] Provide full file names in generated DWARF (#14172)

* Fix compile unit info

Provide full path to source in SequencePoints for GDBJIT
Use source file and directory path for compile unit info in DWARF instead of module name.

* Add a class for building Directory Table and File Table

* Fix code inconsistencies and add comments