[Build Pipeline] Add ability to skip testing (#14813)

Merge pull request #14804 from dotnet/tfUrlUpdate

TransportFeed URL update

Switch to /utf-8 for MSVC (#14822)

* Add /source-charset:utf-8 to force MSVC to compile source as UTF-8.

* Fix the illegal character in siginfo.cpp.

Merge pull request #14797 from BruceForstall/FixBuildCmdPriorityHandling

Fix handling of `-priority=N` argument in build.cmd

Move Dictionary to shared CoreLib partition (#14795)

Add perf pipeline job full groovy (#14397)

This change converts our perf testing to use pipeline jobs. Pipeline
jobs allow us to do the following:

1) Test on the same commit for each of the test legs
2) Parallelize the build and test steps.
3) Separate the build and test steps from one another. This gives us the
ability to use the same build assets for all of the test legs of the
same configuration. It also allows us to build on virtual machines and
test on perf machines, so we only use the perf resources for testing.
4) Have different test scenarios for PRs and rolling. This isn't
strictly a benefit of pipeline jobs, but certainly is made easier by
them.
5) Allows us to have one trigger for PR jobs which will get us all the
perf testing scenarios.

This change also cleans up the groovy scripting for perf testing.

Merge pull request #14791 from sdmaclea/PR-ARM64-impSIMDSelect

[Arm64] Fix impSIMDSelect

Fix sync's location. (#14817)

Merge pull request #14808 from sdmaclea/PR-ARM64-genSIMDIntrinsicDotProduct

[Arm64] Fix genSIMDIntrinsicDotProduct

Merge pull request #14812 from BruceForstall/AddPeriodicAltjitTriggers

Enable periodic triggers for `x86_arm_altjit` and `x64_arm64_altjit` jobs

[Local GC] Fix (another) ScanContext layout issue when building without FEATURE_REDHAWK (#14777)

Enable periodic triggers for x86_arm_altjit and x64_arm64_altjit jobs

These jobs are getting clean enough where having them regularly run
will be valuable.

JIT: fix overly aggressive box-unbox.any assert (#14799)

A recently added assert was trying to ensure that `compareTypesForEqualty`
caught all the box-unbox.any cases we got before by direct handle comparison.
But there are cases where identical handles cannot resolve equality
comparisons, eg when the handles represent shared types like __Canon, and
the assert was not screening for those.

Seems simplest just to remove the assert, it was really only of value when
coding up the new jit interface method.

Closes #14780.

JIT: convert fixed-sized locallocs to locals, enable inlining (#14623)

Optimize fixed sized locallocs of 32 bytes or less to use local buffers,
if the localloc is not in a loop.

Also "optimize" the degenerate 0 byte case.

Allow inline candidates containing localloc, but fail inlining if any
of a candidate's locallocs do not convert to local buffers.

The 32 byte size threshold was arrived at empirically; larger values did
not enable many more cases and started seeinge size bloat because of
larger stack offsets.

We can revise this threshold if we are willing to reorder locals and see
fixed sized cases larger than 32 bytes.

Closes #8542.

Also add missing handler for the callsite is in try region, this was
an oversight.

[Arm64] Fix genSIMDIntrinsicDotProduct

Revert sync test sync binaries (#14807)

Updating xUnit Benchmark Scenarios to capture Etw with Pmc support. (#14734)

- Adding 'tiered' jitting
- Enable JitBench to capture Pmc data (Profile=On)
- Fixed some xUnit performance warnings
- Enforce DOTNET_MULTILEVEL_LOOKUP environment to be turned off
- Specify `dotnet publish` output directory.

Publishing to the transport feed main feed

Supporting publishing to the main feed where the relative path is empty

Merge pull request #14792 from sdmaclea/PR-SIMD-negative-get_Item

SIMD Handle negative indicies in get_Item

Merge pull request #14788 from sdmaclea/PR-ARM64-9b-INSTR

[Arm64] Instruction requires 9 bits now

Merge pull request #14781 from fiigii/x86reg

[RyuJIT/X86] Limit byte register candidates for CRC32

TransportFeed URL update

Updating URL to point to the new main feed

[RyuJit/ARMARCH] lower arg with list of float fields. (#14753)

apply bitcast on reg fields
rename ReplaceArgWithPutArgOrBitcast

Merge pull request #14761 from hseok-oh/ryujit/fix_13746

[RyuJIT/ARM32] Fix double type PutArgStk check bug on LSRA init

Fix handling of `-priority=N` argument in build.cmd

This argument is intended to be passed through directly to msbuild,
but CMD doesn't handle `=` well, so using `-priority=N` with
`build all` didn't work, for instance.

Add special handling for the `-priority` argument to get around
this problem.

Fix (#14778)

skip commas and nops.

Merge pull request #14779 from fiigii/fixclone

Fix #14773

Merge pull request #14629 from sdmaclea/PR-ARM64-SIMD-CODEGEN

[Arm64] Add SIMD codegen

Merge pull request #14616 from sdmaclea/PR-ARM64-SIMDINTRINSICLIST

[Arm64] Implement simdintrinsiclist.h

[Arm64] Fix impSIMDSelect

Merge pull request #14790 from sdmaclea/PR-ARM64-insEncodeDatasizeLS

[Arm64] Revise insEncodeDatasizeLS

SIMD Handle negative indicies in get_Item

[Arm64] Revise insEncodeDatasizeLS

[Arm64] Instruction requires 9 bits now

Update URLs to use for formatter job (#14785)

Need 2.0 SDK now. Not sure of the best URLs but these seem to work.

Also shorten path so we don't run into windows pathlength issues.

Limit byte register candidates for CRC32

Merge pull request #14767 from CarolEidt/Fix14373

Fix checking for reg in use

Remove intermediate sync for test build (#14775)

Fix slot size for transformed long

Fix slot size as 2 for transformed long from double
Use expected slot size for assertion check

fix #14773

PR feedback & fix an error in `isRegInUse`

Merge pull request #14705 from hseok-oh/ryujit/fix_14666

[RyuJIT/ARMARCH] Use ActualType for PutArgStk size

[Arm64] Add SIMD codegen

Clean up YieldProcessorNormalized (#14739)

Move YieldProcessorNormalized into separate files

Clean up YieldProcessorNormalized

Make NonRandomizedStringEqualityComparer serialize into GenericEqualityComparer<string> (#14756)

Fix checking for reg in use

Combine the check for an inactive but not-yet-freed interval, with the check for other cases of a register that is in use at the current location. This simplifies the code and fixes the assert condition for double registers.

Fix #14373

Merge pull request #14614 from hqueue/arm/ryujit/issue_14374_pr2

[RyuJIT/ARM32] Fix resolving TYP_DOUBLE and TYP_FLOAT intervals

Merge pull request #14748 from dseefeld/addRetryInInitTools

Add retry logic for setup of dotnet cli

Change leading bracked to char as well

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #14759 from stephentoub/gettaskforresult_inlining

Don't inline GetTaskForResult when await'ing ValueTask

Move System.Tuple to shared CoreLib partition (#14762)

Update BuildTools, PgoData to prerelease-02131-01, master-20171031-0018, respectively (#14764)

Update CoreFx to preview1-25831-01 (#14760)

[RyuJIT/ARM32] Fix double type PutArgStk check bug on LSRA init

Fix to handle hardfp/softfp all

[RyuJIT/ARM32] Fix resolving TYP_DOUBLE and TYP_FLOAT intervals

- When generating fromReg to toReg move to resolve edges,
  we have to consider either of fromReg and toReg can contain double type.

- Add a new helper, i.e. addResolutionForDouble()

- Fix bug when reserving temp reigster for TYP_DOUBLE by introducing tempRegDbl.
  There was a bug when it can't find a double reg, but find a even-numbered float reg,
  because we check validness of tempFltReg with register number only.
  We found that it is not easy to check validness of tempRegFlt,
  if we use tempRegFlt for both TYP_DOUBLE for TYP_FLOAT.
  Therefore we decide to introduce tempRegDbl to reserve a temp double reigster separately.

- Apply review feedback

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Add retry logic for setup of dotnet cli

Don't inline GetTaskForResult when await'ing ValueTask

When await'ing a ValueTask, we should only ever end up calling AwaitUnsafeOnCompleted when the ValueTask wraps a non-null _task; if its _task were null, IsCompleted would have returned true due to treating the _result as the successful result.  However, the value task's AsTask() is currently used via an inlined interface invocation in AwaitUnsafeOnCompleted to get the _task from the ValueTask, and AsTask ends up inlining the _task==null branch that inlines AsyncTaskMethodBuilder'1.GetTaskForResult, which ends up bloating the asm unnecessarily.  We can simply change the interface implementation used by AwaitUnsafeOnCompleted to not inline GetTaskForResult.  In a simple example, this cuts the asm for AwaitUnsafeOnCompleted by ~50%.

Add wrapper support for getUnboxedEntry (#14752)

Set toolset dir only for ARM64 (#14755)

Merge pull request #14730 from fiigii/SSE4

[RyuJIT] Rename and Simplify SSE3_4 flag

[Local GC] Fix an issue where the size of ScanContext differs between EE and GC (#14747)

Fix build warning (#14751)

Update BuildTools to prerelease-02130-03 (#14750)

Merge pull request #14683 from weshaggard/MergeDevRelease200

Merge changes from dev/release/2.0.0

Update code in AwaitUnsafeOnCompleted to use interface matching

Given that the jit can now avoid boxing on some interface calls to value types,
generalize the patterns introduced in AwaitUnsafeOnCompleted in #14718 by
using interfaces instead of checking for specific types.

Also move the catch-all processing back in line as the jit can now fold the
interface tests early and not pull in the EH portion of the method unless it is
needed.

JIT: optimize calls on boxed objects

For calls with boxed this objects, invoke the unboxed entry point if available
and modify the box to copy the original value or struct to a local. Pass the
address of this local as the first argument to the unboxed entry point.

Defer for cases where the unboxed entry point requires an extra type parameter.

This may enable subsequent inlining of the method, and if the method has other
boxed parameters, may enable undoing those boxes as well.

The jit is not yet as proficient at eliminating the struct copies, but they
are present with or without this change, and some may even be required when the
methods mutate the fields of `this`.

Closes #14213.

Merge pull request #14677 from CarolEidt/Fix14626

Avoid allocating IP0 and IP1

Update dependencies to latest with new property names

Update dependency properties used in PerfHarness project

Add RoslynIncompatibleMsbuildVersion condition on Roslyn import

Due to merge conflict this condition got removed so adding it back
to allow for older msbuild versions to work (at least temporarily).

Add blob feed to the restore sources

Merge the blob feed restore source added in
https://github.com/dotnet/coreclr/pull/14709

Switch to sourcing in init-tools to enable the return statements to work

Move CoreCLRPackageVersion property useage

Also did some small clean-up:
Fix missing tag from bad merge
Fix spacing in init-tools.sh

Use restore with no --source for optdata proj feed

This lets dotnet pick up RestoreSources hierarchically rather than only use what's predefined in DotnetRestoreCommand (in dir.props).

Implement auto dependency flow Repo API (#14518)

Pass overridden packages directory to CMake

Align init-tools scripts with other source-build repos

Normalize the alpine and rhel RIDs

See: https://github.com/dotnet/core-setup/commit/c8a27076f93c3107759b8a86a02ea4f40d100b67

We need to strip the last part of the version number for alpine and rhel because
they are compatible and we don't want the specific versions.

Remove coreclr patches from source-build repo

Updates the branch to include patches that were applied in source-build:

0001-Respect-NUGET_PACKAGES-if-it-is-set.patch
0002-Unify-CLI-and-BuildTools-Versions.patch
0003-Add-clear-to-NuGet.config.patch
0004-PATCH-Use-clang-3.9-by-default.patch

Update BuildTools, CoreClr, CoreFx, PgoData to prerelease-02130-01, preview1-25829-02, preview1-25830-02, master-20171030-0047, respectively (#14714)

[Arm64] Implement simdintrinsiclist.h

Rename and simplify SSE3_4 to SSE4

Fix gtNewStringLiteralNode (#14744)

- there is IAT_VALUE case from constructStringLiteral(CoreRT)

Signed-off-by: Petr Bred <bredpetr@gmail.com>

Simplify Comparer/EqualityComparers (#14737)

- Make EnumEqualityComparer sealed. This helps with JIT optimizations.
- Delete SByteEnumEqualityComparer and ShortEnumEqualityComparer because of they are not needed anymore. The optimization that they were introduced for is done by the JIT now.
- Deleted ForwardedFrom attributes on types that do not need them

Fix spelling error in comment (#14745)

delete unused functions and arguments in lower. (#14726)

* move putArg inside

* delete unused function

LowerPutArgStk with two arguments was never used.

* delete extra argument

Merge pull request #14456 from fiigii/crc32

Enable Crc32 , Popcnt, Lzcnt intrinsics

Merge pull request #14712 from BruceForstall/VS2017Arm64

Allow building arm64 using VS2017 tools

Fix for issue EventSource MultiEnable bug (#14729)

Fixes issue #14728

Merge pull request #14733 from CarolEidt/Fix14732

Fix another overly agressive assert

Formatting & typo

Update Hashtable.cs (#14741)

Fix little misspelling.

Fix another overly agressive assert

Fix #14732

Merge pull request #14717 from CarolEidt/Fix14624

Fix FixedReg assert

Don't wake up other GC threads when we decide to not proceed with the GC (#14719)

Enable Portable Pdb generation (#14721)

When https://github.com/dotnet/corefx/pull/24025 goes through to change coreFX over to use portable PDBs we want to do the same for System.private.Corelib.pdb in CoreCLR.   This change does this.

Delete dead code (#14703)

Revise class hierarchy for some EqualityComparer<T> subclasses (#14723)

Make GenericEqualityComparer<T> a final class and reparent
NonRandomizedStringEqualityComparer.

Also add a note to the jit sources indicating why we can't be more aggressive
about devirtualizing `get_Default` if we have a shared type (in particular
__Canon).

Merge pull request #14715 from jashook/14667_regression_test

Add regression test for double counting retbuf

Revert "Move to DotNetCore-Build agent pool (#14693)" (#14731)

This reverts commit 4103b6276cd5c3d497cd4a20de14bda6a98495cb.