[Arm64] JIT_WriteBarrier optimization (#12227)

* [Arm64] JIT_WriteBarrier optimization

Add skipEphemeralCheck if gcServer=1

Copy all gc parameters into a literal pool which
fits in single cache line

Add dmb ishst on gcHeap changes

Reduce unpredictable branches

Remove unneeded instructiuons

Fixes #11374
Fixes #12197

* [Arm64] fix typo in asm

* Fixup asm

* [Arm64] Revise per comments

Nits - Whitespace, Labels to PascalCase
Fix state change order
Add Suspend/Resume to fix race
Fix errors in Windows arm64 assembly

* [Arm64] Remove SuspendEE/RestartEE in StompWriteBarrierResize

* Use Volatile<> for g_highest_address

* Revise synchronization per comments

Remove unused forward declaration (#12288)

Fix build break

Download from Azure task does not retain blob prefix when downloading blobs.

Update CoreClr to preview1-25414-05 (#12282)

Update buildtools to 2.0.0-prerelease-01714-04 (#12280)

Fix NullReferenceException thrown when using CurrentCulture (#12281)

CurrentCulture used the static field s_userDefaultCulture which used to store the current culture. We always ensure this field is initialized all the time. When we introduced the v2.0 added APIs, we have added ClearCachedData(). This method was setting s_userDefaultCulture to null which can cause any other thread to throw this NullReferenceException if it is using s_userDefaultCulture. Here is example of such stack

System.NullReferenceException : Object reference not set to an instance of an object.
Stack Trace :
   at System.Globalization.NumberFormatInfo.get_CurrentInfo()
   at System.Double.ToString(String format, IFormatProvider provider)

Renaming serializable field (#12273)

Remove the warning about Implicit boxing during crossgen (#12274)

Merge pull request #12272 from jashook/add_documentation_for_building_tests_on_unix

Add documentation for building test(s) on Unix

Add documentation for building test(s) on Unix

This also includes steps on how to build individual tests.

Fix a COMDouble::Round() issue (#12210)

* Fix a COMDouble::Round() issue
fixes https://github.com/dotnet/coreclr/issues/12137

* Add a couple tests for Math.Round(double)
based on https://github.com/dotnet/coreclr/issues/12137

* Use G17 format specifier for printing double values

Update CoreClr to preview1-25414-04 (#12270)

Add `-PortableBuild=false` option in Tizen CI build (#12241)

Additional to fix #12104 for CoreRT issue #3672 (armel tizen) (#12244)

* Additional to fix #12104 for CoreRT issue #3672 (armel tizen)

* Fix for unregistered info.compLvFrameListRoot

Fix gethashcode for ordinal comparer (#12267)

Fix GetHashCode for ordinal comparer

Rewrite of OpCodeGen.pl script to generate correctly IL OpCodes (#12040)

* Rewrite of OpCodeGen.pl script to generate correctly IL OpCodes related C# code: FlowControl.cs, OpCodes.cs, OpCodeTypes.cs, OperandType.cs, StackBehaviour.cs from opcode.def file

* Update OpcodeType.cs to OpCodeType.cs in System.Private.CorLib.csproj

Improve the packing of RefPosition (#12263)

The LSRA RefPosition type was not packing well. In particular,
bitfields don't pack unless they have the same base type.

Move all the data member declarations to the top, and make them adjacent,
so it is easier to see them all together. Also, change all bitfields
to "unsigned char" base type.

This reduces the size from 36 to 28 bytes for x86, and 48 to 40 bytes
for x64 (release, on Windows).

[Arn64/Unix] Revise Volatile.T barriers (#12156)

* [Arm64] Revise Volatile<T> barriers

* Remove VolateStore from CopyValueClassUnchecked

* Replace MemoryBarrier() in CopyValueClassUnchecked

Keep previous cmake arguments when using buildstandalonegc (#12108)

Currently, using buildstandalonegc makes ./build.sh discard any
previous values of __cmakearg set explicitly or implicitly. Preserve
those arguments.

Without this fix, the following invocations behave differently:

    $ ./build.sh ignorewarnings buildstandalonegc verbose

    $ ./build.sh buildstandalonegc ignorewarnings verbose

Update CoreClr, CoreFx to preview1-25414-02, preview1-25414-01, respectively (#12258)

Remove serializable attribute from OrdinalIgnoreCaseComparer (#12215)

* Remove serializable attribute from OrdinalIgnoreCaseComparer

* Introducing OrdinalCaseSensitiveComparer to serialize correctly with netfx

* Updated PR feedback

Merge pull request #12255 from briansull/concat-fix

Removed the unused vararg version of String Concat

Removed the unused vararg version of String Concat

The __arglist version of varargs is not supported on CoreCLR

Fixes issue #12146 - crossgen warning - Vararg calling convention not supported.

Added a new test case for String Concat
Added <DebugType>None
Fixed src\JIT\Directed\Misc\gettype csproj as well

Skip PGO if clang is too old, and add warnings for skipped PGO (#12248)

Clang/LLVM cannot merge profile data generated by a newer version of
itself. Training currently requires 3.6, but we don't want to completely
break the build for 3.5. I'm adding a version check to allow non-PGO
release builds on 3.5, along with a warning message. I'm also updating
the LTO detection to print a warning message if it causes PGO to be
disabled.

Added the checked CORE_ROOT path to this

Merge pull request #12092 from wtgodbe/CoreDisTools

Explicitly download correct version of CoreDisTools package

Specified where the failing tests are listed.

Updated the path for the test results html file

Fixed typo

Updated for checked build testing and corrected some paths

Merge pull request #12105 from alpencolt/ryu-arm-softfp-pass-ret

[RyuJIT/armel] Fix for correct passing and returning float values.

[RyuJIT/ARM32] Fix assertion when using invalid imm for INS_add (#12162)

* [RyuJIT/ARM32] Fix assertion when using invalid imm for INS_add

`JIT/Regression/CLR-x86-JIT/V1-M12-Beta2/b54611/b54611/b54611.sh`

Assertion failed '!"Instruction cannot be encoded" has been occurred.

INS_add couldn't process with the invalid imm of -273 on this test.
So in this PR, If it got the value that cannot be processed, moving to register that after changing status would be ran so that it can be processed.

* Modify 'Lowering::IsContainableImmed' to work normally.

insFlags when the function is called was always INS_FLAGS_DONT_CARE.
In this case, if the imm is such as -273, the result would be false.

The correct flags have to be set.

* add ifdef for the flags variable

Merge pull request #12243 from hqueue/arm/ryujit/issue_11842

[RyuJIT/ARM32] Enable HasMultiRegRetVal() for struct

Make ActivityID guids process specific. (#11726)

This is a port a change from the Nuget version of this library.
Bascially it hashs in the process ID into the activity ID GUID.  This make collisions across processes unlikely.

Merge pull request #12235 from BruceForstall/FixSuperPmiCollect

Fix SuperPMI collection script to allow passing arch/flavor args

Merge pull request #12245 from adiaaida/throughputJobChanges

Replace System.Private.CoreLib with new version in TP jobs

Pull CoreCLR build from RHEL7.2 in perf runs (#12238)

Our Ubuntu perf testing has been creating Linux CoreCLR builds by
creating the build locally. This fits the local developer scenario, but
doesn't actually test the bits that ship; the 'official' product
configuration is generated by building on RHEL 7.2 and packaging those
bits for various distros, including Ubuntu.

In order to more accurately measure end-user-perceived performance, we
should do the same thing official builds do: build on RHEL7.2, then copy
those bits onto other OSes to test perf on those OSes.

This PR makes that happen by structuring Linux perf and throughput jobs
as flow jobs, with builds up front on a RHEL VM, before the bits are
dropped onto Ubuntu perf test machines.

Update CoreClr, CoreFx to preview1-25413-01, preview1-25413-02, respectively (#12242)

Replace System.Private.CoreLib with new version in TP jobs

SPC and the jit/coreclr are tightly coupled. With the changes to
crossgen into the dll, rather than the ni.dll, the throughput jobs are
now using the non-crossgen'd version of SPC on TP runs, which led to a
regression in TP on Linux because our comparison was not the same. This
change updates testing to replace the System.Private.CoreLib in the
throughput directory with the System.Private.CoreLib built by the
coreclr build.

Partially remove relocations for ModuleSection (ZapVirtualSectionType). (#11853)

Use NuGetPush target from BuildTools (#12221)

[RyuJIT/ARM32] Enable HasMultiRegRetVal() for struct

This will pass some tests and will trigger NYI assertions as expected.

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Fix Linux PGO optdata consumption + PGO count update (#12239)

* Update PGO package version to 20170612-1411

* Fix PGO optdata path issue on Linux

Update CoreClr, CoreFx to preview1-25412-03, preview1-25413-01, respectively (#12234)

Fix legacy backend build when FEATURE_READYTORUN_COMPILER is undefined (#12232)

Merge pull request #12175 from wtgodbe/VS2017

Use roslyn common props in test build

Merge pull request #12223 from DrewScoggins/AddHelpToPerf

Add help statement for perf.groovy

[Arm64/Unix] Implement YieldProcessor() (#12229)

Fix SuperPMI collection script to allow passing arch/flavor args

Previously, runtest would always be invoked with the default
args, meaning x64 debug.

This script is not used in the coreclr test run.

[Arm64/Unix] Add 64K page support (#10981)

* [Arm64/Unix] Support 64K pages

* GC move GCToOSInterface::Initialize() into InitializeGarbageCollector()

Merge pull request #12163 from hseok-oh/ryujit/fix_11850_2

[RyuJIT/ARM32] Fix comment and ifdef condition

make REG_VIRTUAL_STUB_PARAM depended on Abi. (#12209)

* make REG_VIRTUAL_STUB_PARAM depended on Abi.

Add VirtualStubParamInfo that is part of compiler and must be init in
compCompile.

Disable some test cases to workaround compiler bug

Need to workaround compiler bug https://github.com/dotnet/roslyn/issues/14785
so disabling some test cases in the JIT isisnt tests.

Disable some GC tests

Add help statement for perf.groovy

When you use the help from dotnet bot you do not get any of the
performance runs in the help.  This should add those in.

Update CoreClr, CoreFx to preview1-25412-01, preview1-25412-02, respectively (#12214)

[x86/Linux] Port 'ThrowControlForThread' (#11641)

Update PGO counts to version 20170609-1125 (#12201)

Disable IEnumerable.GetEnumerator on RCW through IDispatch (#11865)

Update CoreClr, CoreFx to preview1-25409-02, preview1-25410-01, respectively (#12212)

Move ILLink Perf to a separate job

This changes ILLink performance testing to its own leg.
With this change, ILLink perf test will not be run for every PR by default.
It can be requested explicitly on a PR, and will run on the rolling builds.

JitBench build breaks have broken the PR builds a few times, so this change
moves ILLink perf tests out of the PR job, so that MusicStore testing can be
enabled again.

Revert ResourceManager change to unblock uap tests (#12179)

[Local GC] No longer need to initialize SVR dacvars separately (#12173)

* [Local GC] No longer need to initialize SVR dacvars separately

* Remove rest of uses of DEFINE_DACVAR_SVR

Merge pull request #12208 from rartemev/fix_encoding_1

Fixed files encoding to utf8 (issue #12182)

Merge pull request #12200 from erozenfeld/FastTailCallLoweringFix

Fix fast tail call lowering bug.

Merge pull request #12206 from wtgodbe/OverlayOnly

Add documentation for build-overlay-only

Add documentation for build-overlay-only

Fix files encoding to utf8

Merge pull request #12184 from rartemev/legacy_jit_1

Fix and enable legacy jit for x86

Fix fast tail call lowering bug.

Lowering::LowerFastTailCall has code that handles the case when the caller and the callee both have parameters
passed on the stack and the callee has register arguments that are computed from the caller's stack-passed arguments.
In that case the stack arguments of the callee are set up in the caller's incoming argument area so they override
the caller's arguments. Lowering::LowerFastTailCall creates temps for any caller's arguments passed on the stack that are
used to compute callee's register arguments. That code had a bug where it was converting GT_LCL_FLD nodes into
GT_LCL_VAR nodes. That's problematic both for the case of a single-field struct with a double field and for multi-field structs.
In the former case we were getting LSRA asserts in checked builds and SBCG in release builds. In the latter case we were getting SBCG
both in checked and release builds.

The fix is not to convert GT_LCL_FLD nodes into GT_LCL_VAR nodes and mark the new temps as not-enregisterable if the
local is not-enregisterable.

An alternative fix would be to create multiple register temps for each GT_LCL_FLD or GT_LCL_VAR targeting the local but that
would complicate the code and I decided to go with a simlper solution for this uncommon case.

Merge pull request #12189 from mskvortsov/FixExplicitContainedness

[RyuJIT/ARM32] Fix failures related to explicit containedness

Merge pull request #10996 from mikedn/magic-udiv

Do unsigned magic division

[RyuJIT/armel] Correct returning float values.

Returned from function float pointing value in softfp mode should be
stored into r0 (r0-r1 for TYP_DOUBLE).

Allow users to set the number of build processes (#12188)

* Allow users to set the number of build processes

* Add a command-line option

* Use common initialization style (use __NumProc and extract initialization from build_native)

* Set __NumProc before argument parsing (and replace NumProc with __NumProc)

Update CoreClr, CoreFx to preview1-25409-01, preview1-25409-03, respectively (#12187)

DateTime serialization fixed, added attention labels to serialized fields (#12181)

* DateTime serialization fixed, added attention labels to serialized fields

* CultureAwareComparer serialization fix

* Order or property fixed

[ARM/Linux] Validate memory using ldrb instead of ldr (#12191)

RyuJIT/ARM32: Fix failures related to explicit containedness

Enable CPU Group on Linux AMD64 (#12140)

* fix GetCurrentProcessCpuCount on Linux AMD64

* code refactor

* expose NUMA related APIs on Linux

delete DECLARE_TYPED_ENUM (#12177)

* delete DECLARE_TYPED_ENUM

delete the workaroung for g++ c++11, that was fixes in gcc 4.4.1 many
years ago.

The workaround makes code dirty and sometimes we have typos like:
};
END_DECLARE_TYPED_ENUM(insFlags,unsigned)

or
END_DECLARE_TYPED_ENUM(ChunkExtraAttribs, BYTE);
with double ;;

* jit-format

perf.groovy fails to sanitize <PR> name properly (#12167)

Fix #12166

* Using "double quotes" instead of [square brackets] in the if condition.

Enable legacy jit for x86

Merge pull request #11901 from CarolEidt/RegVal

Make containedness explicit

[Arm64/Unix] Fix SOFTWARE_WRITE_WATCH for 64K pages (#11413)

* Decouple Software Write Watch from page size

* Use WRITE_WATCH_UNIT_SIZE in revisit_written_page(s)

* GC add align_write_watch_lower_page

Merge pull request #12011 from pgavlin/FixTestNugetRuntimeId

Fix TestNugetRuntimeId.

First steps for generating nuget packages for ARM64/Android. (#10286)

* First steps for generating nuget packages for ARM64/Android. Adds Android RIDS and related conditionals to appropriate files

* Additional changes for Android package build

* Revert addition of Android to supported packages

* Allow Android .nuget package build

Adding runtime.Android files for package generation
Adding TODO for reliable generation of __DistroRid for Android

* Added/corrected logic for detecting __DistroRid at commandline
Removed hack and TODO

* Removed newline

* Revert unintentional change to osx rid

* Removed commenting of __DistroRid initialization

* Latest fixes for __DistroRid cmdline detection

Removed __DistroRid initialization (clobbers value set at cmdline)
Removed echo test of __DistroRid in generate nuget pkg function
(Hopefully) fixed cross-build os-release detection

* Removed android.21-arm from supported RIDs

Removed arm32 from supported RIDs until test build can be done or CI for arm32 added (?)

* Fixes for package generation for android

Modified build-android-rootfs.sh so it would generate file w/platform info
Reverted all prior changes to initTargetDistroRid, added new android platform detection

* Fixed conditional for Android

* Added platform generation for Android portable build, if ever needed

* Added information about android_platform

Added help info about android_platform file
Added TODO for dynamic generation of RID based on $__ApiLevel and $__BuildArch

* Syntax cleanup for build.sh

Removed extra space in initTargetDistroRid() logic

* Recommended review changes

removed Android-specific runtime files for packaging
added conditional to have Android use Linux runtime files

* Updated topic branch from master, resolving SPC.ni.dll file nuget pkg issue

* ericstj review changes

Fixed accidental fedora version change
Fixed indenting

* Removed TODO comment; logic already in place, added in earlier commit

* Removed Android OfficialBuildRID

Merge pull request #12172 from pgavlin/gh12154

Don't dump an uninitialized bitset in LSRA.

Use roslyn common props in test build

Merge pull request #12148 from mikedn/oper-dump

Make JIT dumps more readable

Don't dump an uninitialized bitset in LSRA.

LSRA was unconditionally dumping `fpCalleeSaveCandidateVars`, which is
not initialized if we are not enregistering any lclVars. This was
causing an assertion with dumping enabled.

[Local GC] Add GetThread to the GC/EE interface (#12036)

Merge pull request #12005 from wateret/wip-armel-lsra

[RyuJIT/armel] Support putting floating-point args

Describe how to use daily by setting RuntimeFrameworkVersion and publishing self-contained. (#12056)

* Describe how to use daily by setting RuntimeFrameworkVersion and publishing self-contained.

[Arm64] stlr for JIT_WriteBarrier

[Arm64] Use ish domain JIT_WriteBarrier

Merge pull request #12145 from AndyAyersMS/UpdateBenchmarks

Modify iteration behavior some benchmarks

Update CoreClr to preview1-25408-03 (#12161)

Merge pull request dotnet/corert#3832 from dotnet/nmirror

Merge nmirror to master

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Fix linker GUARD option (#11492)

I have found that the /GUARD:CF option set in the root CMakeFiles.txt
was not being propagated to the Visual C++ project files generated
by cmake because of a wrong casing. The CMakeFiles.txt used /guard:cf
but it works correctly only if it is all upper case.

[RyuJIT/ARM32] Fix comment and ifdef condition

Fix comment for elif and endif
Apply fix for RyuJIT/ARM32 only (not for LegacyJIT/ARM32)