Merge pull request #20070 from BruceForstall/FixLimited

Exclude Windows from arm64 daily corefx job scheduling

Exclude Windows from arm64 daily corefx job scheduling

Merge pull request #20068 from BruceForstall/FixLimitedHardware

Refine Linux arm64 "limited hardware" designation

Refine Linux arm64 "limited hardware" designation

Add Linux arm64 to the limited hardware category, meaning non-PR jobs
only run in the master branch.

However, allow non-corefx JIT stress jobs to be scheduled daily,
as they are fast. If corefx jobs are changes to run in parallel
(and thus are faster), they can also possibly be made to run daily.

Enable arm64 Linux testing in CI

Testing is enabled on a set of Qualcomm Centriq arm64 servers running Ubuntu 16.04.
The set of jobs enabled almost matches the set run for arm32 Linux testing,
including innerloop, JIT and GC Stress, corefx, and R2R. Temporarily, the
innerloop jobs are commit jobs (invoked when a PR is merged) instead of
"default trigger" jobs (invoked when a PR is submitted), until we get more
experience with the robustness of the machines and jobs. The machines are
fast enough that they are not marked as "limited hardware" (like arm32 Linux
machines). That means that many jobs are run daily, not weekly, as periodic jobs.

Notes about the changes:
1. The Linux arm64 machines are managed by Helix, which allocates them to Jenkins.
2. The arm64 OS used has been renamed from "small_page_size" to "Ubuntu16.04". If we
add large page size machines, we'll need to add a differentiator.
3. The Jenkins "copy artifacts" plug-in runs ridiculously slowly on this hardware,
for unknown reasons, so we copy artifacts directly using "wget".
4. Tests are built using "build-test.sh" on the (cross) build machine; we don't use
Windows-built tests.
5. Added Jenkins archiving of build .log/.wrn/.err files.
6. Various tests were disabled in issues.targets, and with a new
arm64/corefx_linux_test_exclusions.txt file, to get jobs to run clean. (Several
issues have been opened to track these and other known failures.)

Remove Sse2 ConvertTo* tests from Tests.lst files for arm and arm64 Windows targets

Add generated code for Convert Sse2 ConvertTo* and ConvertToVector128* tests

Removed old tests, changed GenerateTests.csx layout

Convert Sse2 ConvertTo* and ConvertToVector128* tests to template based

Changes comprise addition of new templates, new test generation logic
which supports test cases which have to be differentiated based
on both return VectorNNN baset type and source VectorNNN base type.
This commit is skipping all code which was generated or changed
due to code layout adjustment (white space changes).

Fix perf scenarios in the min_opt config (#20010)

The appropriate environment variables were not being set due to a name mismatch

Replace assert in Precode::SetTargetInterlocked (#20007)

Fixes https://github.com/dotnet/coreclr/issues/19954
- `SetTargetInterlocked` can be soon followed by `ResetTargetInterlocked`, so the assert at the end of `SetTargetInterlocked` is invalid
- Removed the assert and instead just verified that the specified target is not the default prestub target

Add 2.2 sdk/runtime to JitBench (#19778)

Add 2.2 sdk/runtime to JitBench

Indentation

Disable outdated Enumerator tests

* Revert the changes to TryInsert() introduced by https://github.com/dotnet/coreclr/pull/17096 completely, which only showed modest size improvement

* Removing the _version increment from Clear() entirely to bring it in line with the behavior in Remove() and to keep size gains

[tfs-changeset: 1714543]

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Include in alphabetical order (#20028)

For consistency with https://github.com/dotnet/coreclr/pull/20005

Merge pull request #19996 from dotnetrt/jit-update-headers

Update clrjit headers files included via CMakeList.txt into clrjit.vcxproj

Port Formatting Japanese First Year of Era (#19976)

Do not add invalid masm flags in cordbdi.vcxproj for x64 Windows (#19995)

Fixes #19902

Add headers to cee_wks, cee_dac vcxprojs to improve developer experience (#20011)

Fix Buffer.cs formatting to follow coding guidelines (#20020)

Reduces diffs with CoreRT

Add gc header files to vcxproj file to improve user experience (#19980)

Work toward #14884

Add EH info support to R2RDump (#20000)

* Add EH info support to R2RDump

This change expands runtime function dump to include the exception
handling info looked up via the EXCEPTION_INFO R2R header table.

* Address Zach's PR feedback

1) Base EHClause.Length on sizeof(uint) instead of sizeof(int)
for consistency with the asctual data types in the class.

2) Fix my overlooking that Zach spotted - in the EHLookupTable
ctor, we need to assign rva2 and eh2 to rva1 and eh1 at the end
of the loop block as we need to traverse consecutive pairs
of CORCOMPILE_EXCEPTION_LOOKUP_TABLE_ENTRY elements.

* Addressed Bruce Forstall's PR feedback

1) I modified the EH info method ctors to accept the R2RReader
instead of the raw byte[] image as the reader can be used to
provide textual representations of metadata tokens.

2) I changed the mask test to a switch that throws an exception
if multiple of the three lowest bits are set which is illegal
according to Bruce.

* Addressed additional Bruce Forstall's PR feedback

Remove interpretation of ClassTokenOrFilterOffset as it's not applicable
in the FINALLY and FAULT cases.

Thanks

Tomas

Use elaborated type specifiers to prevent meaning changes (#20019)

Port https://github.com/dotnet/corert/pull/6341/ to CoreCLR

Updating Buffer.ZeroMemory to call SpanHelpers.ClearWithoutReferences

Merge pull request #15657 from mikedn/fp-divmul-binary

Move FP DIV/MUL handling to genCodeForBinary

Fix spmi environment reset. (#19943)

* Dump spmi string environment variables with -d key.

Sometimes it is not clear which environment variables are set during a replay. Add a possibility to dump all active string environment variables with "-v d" key.

It is especially useful when you debug one method and can't get output that you want (for example JitDump) because altJit was set during the collection.

* Dump int spmi environment variables with -d key.

The same change but for int variables that need an additional parsing.

* Fix environment reset in spmi.

The previous changes revealed that we have a problem with environment reset. The reset was added in #13596 to support a correct replay of mch files with mc that had different env variables during the collection.

It was based on Environment that was later deprecated by #13110.

That caused the environment to be reset for each mc file. The fix updates env only when it is necessary and decreases the replay time of an mch file with 200000 methods from 500s to 370s.

* Fix dumpHelp.

Fix formating and adds note that all keys and values are case sensetive.

* Delete retired packages logic.

These packages were retired a long time ago and there is no value to have a special logic for them.

Merge pull request #19949 from fiigii/fixhwapis

Fix inconsistent Intel hardware intrinsic APIs

Jit: ensure objp properly updated by SpillRetExprHelper (#19974)

We need to arrange to actually update the call objp in the SpillRetExprHelper,
otherwise the changes don't propagate back into the tree.

Update clrjit headers files included into clrjit.vcxproj

System.Private.CoreLib: Move ResoureReader/ResourceSet to shared. (#19994)

* Move ResoureReader/ResourceSet to shared.

* Remove unnecessary cast to RuntimeType from ResoureReader.

Correctly disable varargsupport for windows x86 (#19981)

Merge pull request #19988 from BruceForstall/Disable18989

Disable arm64 float_cs_ro.cmd

Disable arm64 float_cs_ro.cmd

Tracked by #18989

Layout native test components correctly on unix (#19918)

* Enable native test build and add skipmanaged

* Fix adding native components to test dir

* Clean pri1/pri0 builds with native lib copy

This change disables the build of several tests which have native
dependencies; however, would not build the native dependencies on
unix. At copy time this would result in a build-test failure. In
addition, it fixes, adding executables and dynamic/static libraries
to the test's location.

It has been tested with build-test.sh priority1.

* Fix comment wording

* Remove buildagainstpackage arg

* Fix default clang version

* Clean pri1 run OSX

* Correct test count on unix

* Address typo

* Merge runtest.proj

Fix build break in P1 tests (#19975)

Add short guide for using tiered compilation and how to provide feedback (#19773)

* Add short guide for using tiered compilation and how to provide feedback

* Suggested changes

* Update to say that it's enabled by default

* Add info about target framework/runtime

convert HandleStore::_underlyingBucket to a pointer (#19935)

* convert HandleStore::_underlyingBucket to a pointer

* undo _underlyingBucket pointer change and delete Ref_CreateHandleTableBucket

* update comment

Merge pull request #19125 from mikedn/cse-extract

[WIP] Fix CSE side effect and definition extraction

Expand CrossGen Comparison script to able to run on DotNetSdk archive (#19929)

* Set platform_assemblies_paths_sep based on OS
* Add crossgen_dotnet_sdk command in tests/scripts/crossgen_comparison.py
* Add example for running crossgen_dotnet_sdk command
* Add OutputFileSizeInBytes property
* Improve crossgen_comparison "compare" command reporting

Merge pull request #19845 from briansull/vn-enhancements

Value Number Enhancements:

don't force float->double->int cast for x86 (#19833)

Merge pull request #19951 from vitek-karas/MoveAssertionsToCommon

Move Assert class from Interop into the CoreCLRTestLibrary

Fixed TimeoutHelper typos (#19956)

Fixed typo ‘defualt’ (#19955)

Merge pull request #19745 from CarolEidt/Fix19448

Arm: Correctly handle multi-reg COPY

temporarily disable some hw intrinsic tests

Fix inconsistent Intel hardware intrinsic APIs

Merge pull request #19945 from echesakovMSFT/EnableCrossBitnessCrossGenTesting

Run both Hostx86/arm and Hostx64/arm CrossGens in CI

Dev16 removed the static_cast<> in a std::basic_string constructor so need to explicit convert string to wstring to avoid warning. (#19947)

Replace fgMarkAddressExposedLocals (#19621)

* Add test for 16472

* Replace fgMarkAddressExposedLocals

* CR: Move fgAddFieldSeqForZeroOffset to improve diff

* CR: Improve comments and various other small issues

* CR: Delete gtCheckQuirkAddrExposedLclVar

* Revert "disable tests\src\JIT\Methodical\fp\exgen\10w5d_cs_do (#19465)"

This reverts commit b0686a29be2eff059f080a66b7aa4febe55a01bc.

Run both Hostx86/arm32 and Hostx64/arm32 crossgens in crossgen_comparison scenario

whitespace fixes

Value Number Enhancements:

Revise the exeception gernerating value number functions:
VNF_OverflowEXc, VNF_CastOvf, VNF_ARithmeticExc, VNF_DivideByZeroExc and ConvertOverflowExc
added support methods for VNNormalValue
Extended GetVNGuncForOper to support overflow operations and additional unsigned operations:
And added value number functions for
- unsigned comparisons, unsigned add, sub and mul
- overflow add, sub, mul
New method: VMCheckAscending to validate that exception sets maintain the ascending ordfer property.
New method: VMExcSetIntersection and VMExcIsSubset
Changed the constant folding logic in VNForFunc to avoid folding when the operation will unconditionally throw when folded.
Explicitly specialize some EvalOp<> calls
Added several new method headers comments in ValueNum.cpp
Clear the unsigned flag when bashing nodes into GT_COMMA or GT_NOP nodes
Removed GT_NOP and GT_COMMA cases from GetVNFuncForOper
Added enum VNOperKind
Added support for the unsigned multiply VNFunc used on 32-bit target

Fix xplat debugging perf problem. (#19911)

Issue #18705

Add threadId to DebuggerIPCEvent so we don't need to use the
slow DAC functions (because of extra memory reads) to get it.

Fixed CorDBIPC_BUFFER_SIZE on arm builds.

Merge pull request #19933 from echesakovMSFT/PublishCrossBitnessCrossGenAsWell

Publish both Hostx86 and Hostx64 arm32 CrossGens on Linux

Update ChineseLunisolarCalendar.cs (#19946)

Corrects an issue with the conversion table for Gregorian to Chinese lunisolar dates.
See: #19480.

Issue: data discrepancy in year 2057, 2089, and 2097.
Table entry for these years have incorrect days per month for some months.  See #19480 for full details.

Notes
The DaysPerMonth flag uses the binary literal for ease of readability.

Move Assert class from Interop into the CoreCLRTestLibrary

Moving the Assert class to the common library so that it can be used
by tests outside of the Interop tree.

Merge pull request #19927 from adityamandaleeka/fix_arm64_emitIns

Fix emitIns_S_S_R_R not to encode SP to ZR before an add may be emitted

Adding the ARM floating point registers to the cordebug.idl file (#19934)

Publish Hostx64/arm32 crossgen and libclrjit.so on Linux

Address msbuild issues with cross compiled tests in helix (#19901)

* Address msbuild issues with cross compiled tests in helix

* Fix test warning about duplicate types

Fix emitIns_S_S_R_R not to encode SP to ZR before an add may be emitted.

Implement Thread.GetApartmentState/TrySetApartmentState (#6323)

Fixes #5776

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Revert changes that are causing buildbreaks of OOB packages

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Arm: Correctly handle multi-reg COPY

Fix #19448

Update AsyncMethodBuilder.cs (#19909)

Changed commentary for range of AsyncCache Tasks with Int32 type.

Fix GC for collectible classes (#19892)

There is a subtle bug in the GC that causes access violation when a
LoaderAllocator of a collectible class is pushed to the mark stack and
that class also has partial sub-objects. One example is an array of byte
arrays. In that case, the mark stack is supposed to have the reference
to the instance of the class stored right before the related partial
sub-objects references. But due to the bug, the slot where the instance
of the class was expected to be located was not set to anything.

CallSites for MemoryExtensions.Contains (CoreCLR) (#19874)

* Update additional callsites for MemoryExtensions.Contains

* One more callsite

* More callsites

* CR fixes

Fix optimization of CAST(int)(LSH(long)<<CNS_INT 32+ with side effects). (#19899)

* add a repro test

* Fix

Move more registry files to shared partition

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #19885 from brianrob/runtimeeventsource_tests

Fix Intermittent RuntimeEventSource Test

JIT: use bit vector for identifying jump targets (#19884)

When doing the initial IL scan to locate block boundaries the jit really
only needs to track one bit per offset.

Merge pull request #19867 from echesakovMSFT/BuildCrossBitnessCrossGenAsWell

  Build both Hostx86 and Hostx64 arm32 CrossGens on Linux

Move registry interop to shared CoreLib partition (#19886)

Basic implementation for testing of COM activation of a .NET class (#19760)

* Rough outline of managed implementation for COM activation in SPCL

* Add property for finding interop common
Add property to exclude default assertion file
Display exe ExeLaunchProgram class is going to launch

* Add a native client for the NETServer
Consume the ExeLauncherProgram.cs file as a wrapper for the native test

* Update COM Server contracts to use 'int' instead of 'long'

* Complete symmetric testing coverage for .NET server and native client.

* Block EXE launch from running on non-Windows machines

* Disable COM testing in helix since it has issues on Windows Nano and there
is no way to determine that is the platform.

* Update tests based on CLSID mapping manifest approach.

Merge pull request #19276 from CarolEidt/FixUxArgSize

Fix Unix preallocatedArgCount

Fix intermitted RuntimeEventSource test.

Build both Hostx86 and Hostx64 arm32 crossgens. Continue to use Hostx86 crossgen to crossgen System.Private.CoreLib.dll

Build Hostx86/arm32 coreclrpal when CROSSCOMPILE is "1" and Hostx64/arm32 coreclrpal otherwise in configurecompiler.cmake

Build Hostx86/arm32 crossgen when CROSSCOMPILE is "1" and Hostx64/arm32 crossgen otherwise in configurecompiler.cmake

Allow Hostx64/arm32 combination in configurecompiler.cmake

ToPointerFix - VS debugger needs the ToPointer() methods to inspect a pointer, marking it as DependencyReductionRoot to make sure it is not optimized away.

[tfs-changeset: 1713493]

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Add test cases for Pclmulqdq intrinsic

Implement PCLMULQDQ intrinsic

Add GetCacheSizePerLogicalCpu and GetCurrentProcessCpuCount to gcenv for windows (#19879)

* Add GetCacheSizePerLogicalCpu and GetCurrentProcessCpuCount to gcenv for windows

* Remove dead code, switch to __cpuid instaed of asm helper

* code review feedback

Fix Unix preallocatedArgCount

This has been an existing ToDo for some time.
This results in 19 bytes reduction in code size for pmi diffs of tests and frameworks.

Merge pull request #19881 from vitek-karas/EventSouceCommentTypos

Fix multiple typos in the EventSource.cs design comment.

Merge pull request #19844 from CarolEidt/Enable19397Arm64

Re-enable GitHub_19397 test

Fix multiple typos in the EventSource.cs design comment.

Merge pull request #19870 from nattress/debuginfo

Add DebugInfo dumping support to r2rdump

Update BuildTools, CoreClr, CoreFx, CoreSetup, PgoData to preview1-03207-02, preview1-26907-04, preview1-26907-04, preview1-26907-05, master-20180907-0057, respectively

Add DebugInfo dumping support to r2rdump

Display formatted debug info for each runtime function

Fix AVX2 Gather Intrinsic failture with JITStress

delete superpmi-shared/compileresult.cpp  assert on x86. (#19841)

* fix emitOutputAM for x86.

* Revert "fix emitOutputAM for x86."

This reverts commit fe5ade83e7c8e1ac1cb4442defdfee1d3a3be3f0.

* delete an assert

* add an assert about slotNum

MemoryExtensions.Contains (#19863)

Fixes towards making the runtime compiled without FEATURE_PREJIT defined (#19864)

Merge pull request #19866 from dotnetrt/fix-generatetests-script

Remove all Sse2 Pack* and Unpack* tests from GneerateTests.csx script

Move FP DIV/MUL handling to genCodeForBinary

Floating point (SSE) MUL/DIV instructions have the same formats as ADD/SUB but they're handled by genCodeForMul and genCodeForDivMod. At least in the case of division this results in duplicated logic being required in genCodeForDivMod.

Import signature parsing and general improvements in R2RDump (#19813)

* Import signature parsing and general improvements in R2RDump

GcInfo - fixed a bug where the machine architecture was stored in
the instance field later than it was used in the calculation of
SlotTable which subsequently ended up with the wrong register set
(ARM64 instead of AMD64).

GcTransition - changed register set selector to a switch as the
previous implementation was incorrect for AMD64.

UnwindInfo - bug fix: the 4-alignment padding should come before
the personality routine, not after it. I have also slightly
simplified the calculation of the padding size.

CoreDisTools - added support for annotating indirect calls with
symbol information for the import cells; fixed formatting of
short relative jumps and added some code comments.

DisassemblingTypeProvider - bumped up some visibilities and made
a few generalizations letting me use this helper in the general
signature parser.

R2RImportSection - replaced binary signature samples with the
actual parsed representation.

R2RReader - I removed special-casing for eager import signatures
that seems wrong - I don't see any equivalent code in the
CoreCLR runtime. Please let me know if anyone is aware of a reason
why this was put here in the first place.

TextDumper and elsewhere - I have removed all tabs from the
R2RDump tool output.

R2RConstants - I have merged the various CoreCLR and R2R constants
in this file - previously they were interspersed in multiple
classes - and I added a bunch of new stuff needed by the signature
parser.

R2RSignature - comprises the newly added R2R signature parser.

Thanks

Tomas

* Slight modification in signature formatting to make it easier to read

I have swapped the ordering of the signature content with the
signature name - based on analyzing actual disassembly produced
by the code I came to the conclusion that the parsed signature
is generally more important than the cell fixup type which is
often obvious just based on the code context.

Thanks

Tomas

* Add dump of unwind info and RVA translation for near jumps / calls

* Add code comment on GetInstruction return value per PR feedback

Merge pull request #19857 from CarolEidt/Fix19674

Morph ByRef args of SIMD field assign