Fix throughput testing (#19314)

Also adds architecture to throughput trigger phrase.

R2RDumpTests on Windows_NT.x64.Release (#19315)

Merge pull request #19318 from BruceForstall/AddDavidArm64

Update arm64 users list

Update arm64 users list

Port x86 unwinder fix from .NET Framework (#19311)

We have not hit this case in CoreCLR yet, but there is a good chance that we will at some point.

Merge pull request #19228 from AndyAyersMS/FixDevirtFinalMethod

Fix resolveVirtualMethodHelper to check for explicit override cases

Only register signals and create alt exception stack in coreclr. (#19309)

There was a couple of places where the DAC (IsValidObject, GetAppDomainForObject)
assumed that a NULL target/debuggee address would throw an exception that would
be caught by try/catch. Any other invalid address is handled with a software
exception throwed by the read memory functions. In general it is a better overall
design not to have any of the DBI/DAC, etc. code depend on hardware exceptions
being caught. On Linux the C++ runtime sometimes can't handle it. There is a
slight risk that there are other places in the DAC that make the NULL address
assumption but testing so far has found any.

Added PAL_SetInitializeDLLFlags as a fallback to allow the PAL_InitializeDLL flags
to be set for a PAL instance for the DAC where we could still register h/w signals
but not the altstack switching to reduce this risk. The flags can't be build time
conditional because we only build one coreclrpal.a library that all the modules
used. Having a PAL_InitializeFlags function doesn't really help either because of
the PAL_RegisterModule call to PAL_IntializeDLL and the LoadLibrary dance/protocol
that uses it to call the loading module's DLLMain.

Add PAL_SetInitializeFlags; remove flags from PAL_INITIALIZE and PAL_INITIALIZE_DLL
default. Add PAL_InitializeFlags() to allowing the default to be overriden.

Regenerating the templated x86 HWIntrinsic tests.

Updating the x86 HWIntrinsic test templates to log the scenarios they run.

update test case

R2RDump - Ignore sensitive properties to pass tests (#19155)

* Ignore sensitive properties in tests

* Enable for JIT stress

* Keep logic for ignoreSensitive in XmlDumper

* Only ignoreSensitive when option is set

Improve StreamWriter format perf (#19235)

* Improve StreamWriter format perf

Override the format overloads for TextWriter and skip the extra string allocation for the formatted string by using StringBuilder directly, copying straight to the output buffer.

Improves performance roughtly 10% and cuts allocations by 10x and up (formatting a string into a string goes to *zero* allocations).

* Fix copy/paste slipup- test added to CoreFX PR

Disable NETClientPrimitives test (#19294)

* Disable NETClientPrimitives test

Fails on many R2R and JitStress jobs.

Tracked by #19164

* Remove disabling under build against packages

Merge pull request #19287 from BruceForstall/Revert19254

Revert "Build managed tests with dotnet (#19254)"

Revert "Build managed tests with dotnet (#19254)"

This reverts commit 101baee1010eaad47cd7afd1e041a7f422aefa78.

Updating the x86 HWIntrinsics program to print out the list of supported ISAs

Moved LocalVariableInfo to shared (#19184)

* File Modified

* Moved to shared

* Introducing RuntimeLocalVariableInfo

* Build Corefx change

* sealed added

Handle MovRelocatableImmediate on ARM32 as a special case (IF_T2_N3) (#19013)

* Add IF_T2_N3 instruction form and make this a specific case of IF_T2_N when EA_IS_RELOC(attr) is true
* Move "movw/movt reg,relocatableImm" case to function emitIns_MovRelocatableImmediate
* Introduce new instruction descriptor instrDescReloc
* Delete unused CnsVal from ARM32 and ARM64 emitters
* Introduce target_ssize_t and use this type for non-relocatable constants

Merge pull request #19274 from MattGal/remove-ubuntu-1710

Remove EOL Ubuntu 17.10

Remove EOL Ubuntu 17.10

Merge pull request #19259 from MattGal/update-fedoras

Remove Fedora 26, add Fedora 28

Build managed tests with dotnet (#19254)

* Change managed projects to build with dotnet msbuild, rather than desktop msbuild

* Build sdk tests as AnyCPU

* Correct args passed through to dotnet for tests

* Remove extra backslash from baseIntermediateOutputPath that was causing individual test exe builds to fail

* Fix double import warning for sdk projects

* Add default params from config.json to build-test dotnet invocations

* Fix priority argument passing from the command line for tests

Merge pull request #18223 from mikedn/inc-codegen

Get rid of codegenlinear.h and x86_instrs.h

Fix resolveVirtualMethodHelper to check for explicit override cases

Explicit method overrides in a class can override a virtual final method
with different method. This is only possible if the different method
first is introduced in a new slot. So when devirtualizing, verify that the
slot of the derived method matches the slot of the base method.

If they don't match, just bail on devirtualizing.

Fixes #19222.

Fix interop test targets

Fix interop test targets

Remove TargetFramework from Interop.settings.targets since it already gets handled by the build environment and 2.0 doesn't work.

Moved NativeCallable Attribute to shared (#19258)

Update debugging doc with symbol downloader instructions. (#19262)

Remove unused/nop/questionable code (#19239)

* Remove unused holder code

* Remove NOP `IsV2RuntimeLoaded()` usage.

* Remove unused/nop/questionable code in util

* Remove unused V2Profiler message from resource

Remove Fedora 26, add Fedora 28

Make `Vector64<T>`, `Vector128<T>`, and `Vector256<T>` readonly

Merge pull request #19115 from dotnet/dev/unix_test_workflow

Enable Windows ARM64 builds using release product tools

Fix VSTS build's tests on Alpine

Earlier changes to rename alpine stuff to musl seems to have missed this change

Fixes #19179

Resolving the remaining HWIntrinsics issues blocking PMI for S.P.CoreLib

Get rid of x86_instrs.h

Get rid of codegenlinear.h

Merge pull request #19249 from BruceForstall/DisableFailingTests

Disable failing ARM tests

Disable failing ARM tests

Merge pull request #19234 from CarolEidt/Fix19124

Handle COMMA nodes when morphing struct args

Update BuildTools, CoreClr, CoreFx, CoreSetup, PgoData to preview1-03101-02, preview1-26802-01, preview1-26802-01, preview1-26801-04, master-20180801-0056, respectively (master) (#19162)

* Update BuildTools, CoreClr, CoreFx, CoreSetup, PgoData to preview1-03101-02, preview1-26802-01, preview1-26802-01, preview1-26801-04, master-20180801-0056, respectively

* Disable tests failing on active issue

Fix broken link (#19244)

Add arm32 tp (#19098)

* Add Arm32 support to throughput scripts

Enable Windows ARM32 and ARM64 Debug builds as default PR triggered

These will be PR triggered for all users, not just those on the
arm64Users list. Since these are Build only, and do no testing,
with the change to use public VS2017 build tools, they can be run
by anyone.

Users on the arm64Users list will still get Checked Build and Test
jobs, which require using the private test machines.

Enable ARM64 builds using release product tools

Remove support for specifying the toolset directory for arm64,
which was used to point to an internal toolset.

Building for arm64 now works just like the other platforms, e.g.
invoke `build arm64`.

The requirements:
. Visual Studio 2017 Update 4 or later, with ARM64 toolset installed
. Windows SDK 10.0.17134.0 or later
. CMake 3.10 or later

Merge pull request #19241 from BruceForstall/Revert19230

Revert "Build managed tests with dotnet (#19230)"

Revert "Build managed tests with dotnet (#19230)"

This reverts commit 763142a210d858289d30365dd1d4f2772e48f30d.

Use 16 bytes to spill SIMD12 (#19237)

On 64-bit systems, SIMD12 locals are naturally rounded to 16 bytes, but the spill temp logic was not doing the same.

Fix #19197

formatting

Merge pull request #19181 from BruceForstall/UpdateComment

Update arm64 comment for IsCallTargetInRange function

Allow rejit on attach (#19054)

* change profiler rejit to be enabled by default, and also change the debugger to only give up on setting a breakpoint if a method has been rejitted, rather than just whenever rejit is on

* copy corprof changes to the pal version, and change rejit so it is allowable on attach

* Change GetILFunctionBody/SetILFunctionBody to be allowed after attach

* Also make RequestRevert allowable on attach

* change lock order and switch from GC_NOTRIGGER to GC_TRIGGERS in Rejit codepath through the codeversionmanager

* make GetReJITIDs callable after attach

* change profiler rejit to be enabled by default, and also change the debugger to only give up on setting a breakpoint if a method has been rejitted, rather than just whenever rejit is on

* copy corprof changes to the pal version, and change rejit so it is allowable on attach

* Change GetILFunctionBody/SetILFunctionBody to be allowed after attach

* Also make RequestRevert allowable on attach

* change lock order and switch from GC_NOTRIGGER to GC_TRIGGERS in Rejit codepath through the codeversionmanager

* make GetReJITIDs callable after attach

* rename value to enable/disable rejit on attach, and cache values of profiler rejit and config value

* Change places where the jit checks for rejit being enabled to actually check for what it wants, which is whether jump stamps are enabled

* get rid of old value that was readded by merge somehow

* disallow detach after setting rejit event mask, and prevent it from being set if rejit on attach is turned off

* fix incorrect assert

* Take the codemanager lock in SetIP

Handle COMMA nodes when morphing struct args

Fix #19124

Provide a desktop-only implementation of RuntimeThread.CurrentOSThreadId for Microsoft.Diagnostics.Tracing.EventSource.Redist.

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Build managed tests with dotnet (#19230)

* Change managed projects to build with dotnet msbuild, rather than desktop msbuild

* Build sdk tests as AnyCPU

* Correct args passed through to dotnet for tests

* Remove extra backslash from baseIntermediateOutputPath that was causing individual test exe builds to fail

* Fix double import warning for sdk projects

* Add default params from config.json to build-test dotnet invocations

Fix value number update in fgMorphCast. (#19226)

removing GT_CAST nodes. It caused a problem for cases
where GT_CAST operand is a constant (e.g., GT_CNS_INT). In these
cases the value number shouldn't change since there is an
assumption that constant nodes have known constant value numbers.

The bug was found by ILGEN, I created a corresponding C# repro.
Without the fix this assert fires: https://github.com/dotnet/coreclr/blob/1f28125ad1f9975fbe68dd6839908aa6e63fc43b#gitext://gotocommit/1f28125ad1f9975fbe68dd6839908aa6e63fc43b/src/jit/assertionprop.cpp#L2687

The fix is to update value numbers only when we changed the operand of GT_CAST and
value number wasn't updated otherwise (e.g., in optNarrowTree).

I verified no x64 diffs in
jit-diff diff  --pmi --tests --frameworks
(with pri0 and pri1 tests).

Expose OSThreadId and TimeStamp on EventWrittenEventArgs (#19002)

* Add EventWrittenEventArgs public properties OSThreadId and TimeStamp and plumb through OSThreadId.

* Plumb ActivityId and RelatedActivityId to EventListener.

build-test - fix ilasm warnings caused by missing/incorrect extern assembly declarations (#19188)

* build-test - fix ildasm warnings caused by missing or incorrect extern assembly declarations

white space was fixed in all files which were edited (tabs -> spaces, no white space at the end of line)

* Remove unnecessary assembly declaration metadata

Use the identified python when building System.Private.CoreLib (#19043)

build.sh and build.cmd contain logic to identify a working version of
python to use. System.Private.CoreLib ignores that and directly invokes
'python', which may not work, or even execute a different program.

Cross-bitness in GcInfoEncoder::Build() (#19206)

* Remove dead code in BitArray
* Replace size_t with uint32_t in BitArray

Add a spec for tiered compilation (#19207)

Add a spec for tiered compilation

Fix build break

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Delete dead code (#19208)

- IsAppXDesignMode is always false
- Win32Res class is never used

Delete FEATURE_IPCMAN (#19212)

JIT: fast path for minopts/debug codegen in lvaMarkRefs (#19103)

For minopts and debug codegen, consider all locals to be implicitly
referenced.

This is set up during `lvaMarkLocalVars` and maintained after that
by having `incRefCnts` set the implicit reference bit and not doing
anything in `decRefCnts` for minopts / debug.

Likewise suppress local var sorting, as we don't have accurate counts
to go by.

Updating SetCpuInfo to be more accurate

R2RDump - Fix and update R2RDumpTests (#19039)

* Fix GenericFunctions and MultipleRuntimeFunctions tests, x86 nwindInfo tests

* Fix tests

* Avoid using rva as index

* Update expected xml

* Add count as an attribute

* Clean up and move rebaseline script to r2rdump test directory

* Remove R2RDumpTest warnings

* Use original test framework instead of netcoreapp2.0

Add netcoreapp dependencies (#19177)

* Add MicrosoftNETCoreAppPackageVersion to dependencies.props
- Add MicrosoftNETCoreAppPackageVersion property
- Add required coresetup dependency build infos

* Change test projects to use new MicrosoftNETCoreAppPackageVersion property

Expose the x86 HWIntrinsics via a set of class hierarchies matching the underlying ISA hierarchies

Moving the ilproj sdk to be built/published under the TargetsWindows condition

Fix HW intrinsics test projects naming and optimization levels according to repo conventions

Temporarily flag a SIMD test as optimization-sensitive (#19163)

The test runs in several PR-triggered jobs. It fails with minopts and once tiering is enabled it would fail in every PR. See https://github.com/dotnet/coreclr/issues/19124.

Change type of EnumLocaleData to struct (#19193)

Saves allocation and makes the code smaller. It had to be class before we had ref locals.

Fix invalid IntPtr == null comparisons, set strict mode for Roslyn (#19191)

Issue reported in https://github.com/dotnet/corefx/issues/31456
Solution is to compare always against IntPtr.Zero and use Roslyn
stric mode for reporting warnings for IntPtr == null comparisons

Added version increment for TrimExcess and EnsureCapacity (#19096)

* Added version increment for TrimExcess and EnsureCapacity

* Added old unit test to exclusion list

* Excluded missing unit tests

build-test - fix TestWrapper CS warnings (#19180)

spmi: exclude methods using a file with saved md5 hashes. (#18769)

* read md5, linear search for each method.

* rewrite with HANDLE

* fix linux

* do not waste time dumping md5 if no methods exluded

Merge pull request #19165 from BruceForstall/FixCodeGenBringUpTestsBuilds

Specify specific build flavors for CodeGenBringUpTests tests

Add comment explaining the return value of ToUpper/ToLower (#19176)

Update arm64 comment for IsCallTargetInRange function

Lowering: Atomic ops can produce a value (#19173)

* Lowering: Atomic ops can produce a value

#18887 changed OperIsStore to include the atomic functions, but `Lowering::LowerArg()` and `Lowering::CheckCallArg()` assume that stores do not produce a value, so it doesn't correctly set the argument register (or build a `PUTARG_REG`) for the case where the result of an atomic op is passed to a call.
Fix this and add additional asserts.

Fix #19171

Updating emitInsCanOnlyWriteSSE2OrAVXReg to cover some of the newer instructions.

Merge pull request #19145 from CarolEidt/Fix19081

Include long shifts in OperIsShiftOrRotate

Specify specific build flavors for CodeGenBringUpTests tests

Don't let them "float" based on the current build type.

Update the arm/arm64 tests.lst files to use the new `_ro` versions.
It is expected these files will disappear soon, so don't add all
the new versions to them.

Fixes #9722

JIT: add extra check to struct of struct of x promotion (#19156)

Avoid promoting structs that contain struct fields that themselves
wrap single simple fields, if those single simple fields are smaller
than their enclosing struct.

Otherwise we run the risk of losing track of the "extra" bytes in the
innner struct.

Addresses #19149.

Add CI PR-triggered Ubuntu x64 innerloop no-tiering job (#19123)

Merge pull request #19154 from BruceForstall/FixArm64Localloc

Fix overallocation of arm64 small constant localloc

Update CoreClr, CoreFx, PgoData to preview1-26727-01, preview1-26727-01, master-20180727-0226, respectively (#19102)

Reference in box HW intrinsics (#19137)

* Update BuildTools, CoreClr, CoreFx, PgoData to preview1-03025-01, preview1-26726-01, preview1-26725-04, master-20180726-0111, respectively

* Reference System.Runtime.Intrinsics in box package

* Disable X509Certificates tests for CoreFX update

Merge pull request #19144 from BruceForstall/Fix13796

Re-enable arm64 tests that no longer fail

Fixing the x86 hwintrinsics to not assert for invalid generic types.

Fix overallocation of arm64 small constant localloc

We were dividing the number of bytes to allocate by 8 (right shift by 3)
to determine the number of loops, then allocating and zeroing 16 bytes
per loop.

Simplify this by removing the number of `STACK_ALIGN_SHIFT` cases we have.

Add a small test case that exhibits this behavior.

Fixes #4571

Merge pull request #19153 from adityamandaleeka/fix_buildtest_help

Fix batch syntax error in help text

Fix syntax error in help text.

reenable corefx System.Runtime.Tests  on arm32 (#19128)

#17585 the issue was fixed long time ago, but this exclusion was forgotten.

Adding the Microsoft.NET.Sdk.IL pkgproj

Include long shifts in OperIsShiftOrRotate

The register allocator uses `OperIsShiftOrRotate` as the assertion for the method that gets the kills for the class of instructions that use RCX as the shift amount register. Expand it to include `RSH_LO` and `LSH_HI`.

Fix #19081

Re-enable arm64 tests that no longer fail

Fixes #13796, #12549

Note that test GitHub_11408 is still disabled, now against issue #11408.

Switch to using MicrosoftNETCorePlatformsPackageVersion as the RuntimeFrameworkVersion parameter in the test wrappers and SDK props file (#19130)

Update CoreFX documentation (#19092)

* Update CoreFX documentation

* Add test binary refresh and parallelization sections

* Add test exclusion information

Sdk test projects (#19044)

Change the associated targets and props files in the test directory to allow the test csproj's to be built as SDK style projects alongside traditional style projects.

Remove CodeTaskFactory:
- Allows the projects to be built using the core version of msbuild/dotnet build
- Converted to using msbuild property expansion instead

Add directory.build.{props,targets}:
- Currently we just import the dirs.props and targets, but means SDK style projects don't need to explicitly include these files
- We probably want to move all projects over to using these in the future, but this keeps the changes smaller for now

Specific code for SDK projects:
- There are a several changes required to build an SDK project. This change guards them behind conditionals so that only the new style projects see them. When we get to the point that there are only new projects, we can remove the guards (probably at the same time as ditching the dir.props)

Reordered build targets:
- Because SDK projects implicitly import the build targets, we can no longer re-define the build targets unconditionally knowing they will likely be overwritten.
- Instead we move the overwritten targets to separate files, and include these conditionally based on properties. In this way there is always a build defined for SDK projects, which can then be overwritten to do nothing as needed.

Removing duplicate CoreCLRTestLibrary project references

Regenerating the x86 HWIntrinsic templated tests