Marking Vector128<T>.Count and Vector256<T>.Count as [Intrinsic] (#24991)

* Marking Vector128<T>.Count and Vector256<T>.Count as [Intrinsic]

* Fixing NI_Vector128_Count and NI_Vector256_Count to use clsHnd when getting the simdSize and baseType

* Applying the formatting patch.

* Changing some comments to just be "vector element count".

* Fixing impBaseIntrinsic to set the baseType so Vector128_Count and Vector256_Count don't return nullptr

Use CMake's C# support to build DacTableGen instead of manually invoking csc.exe ourselves. (#24342)

* Use CMake's C# support to build DacTableGen instead of manually invoking csc.exe ourselves.

* Fix x86 failures.

* Disable DAC generation when building with NMake Makefiles and issue an error since the CMake C# support is VS-only. We don't actually support building with NMake (only configure) so this is ok.

* Clean up rest of the macro=1's

PR Feedback.

* Fix Visual Studio generator matching.

* Explicitly specify anycpu32bitpreferred for DacTableGen so the ARM64 build doesn't accidentally make it 64-bit

* Fix bad merge

Move COM object lifetime control tests to CoreCLR. (#24990)

* Add COM object lifetime control tests to CoreCLR.

* Combine cleanup control test into NETClientPrimitives.

Fix initializing BuildTools when the Platform environment variable is set (#24998)

* Make build-test.cmd exit if init-tools.cmd fails

* Clear Platform variable before initializing BuildTools

Merge pull request #25011 from dotnet/revert-24987-ReenableStackTraceTest

Revert "Reenable StackTracePreserveTests."

Revert "Reenable StackTracePreserveTests."

Clear syncblock early when `VERIFY_HEAP && DEBUG` to prevent verification asserts. (#24992)

Fixes:#24879

Reenable StackTracePreserveTests. (#24987)

I was not able to repro any failures, maybe they were fixed already. Lets see what ci thinks.

Exclude tests that do not work without tailcalls on arm32 Unix. (#24995)

Delete unnecessary security transparency attributes (#25007)

Shortenning /Platform_Assemblies_Paths to just /p for convenience. Leaving the original switch name for compatibility reasons. (#24986)

Add R2R outerloop test mode without any stress modes (#24961)

* Add R2R outerloop test mode without any stress modes

PInvoke stubs for Unix platforms (#24834)

Enable pinvoke stub inlining on Unix
Exclude x86 Unix platforms from inlining pinvoke stubs (limited support)

Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20190606.1 (#25006)

- optimization.IBC.CoreCLR - 99.99.99-master-20190606.1
- optimization.PGO.CoreCLR - 99.99.99-master-20190606.1

[master] Update dependencies from dotnet/arcade (#24969)

* Update dependencies from https://github.com/dotnet/arcade build 20190605.13

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19305.13
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19305.13
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19305.13
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19305.13

Update dependencies from https://github.com/dotnet/corefx build 20190606.1 (#25004)

- Microsoft.Bcl.AsyncInterfaces - 1.0.0-preview7.19306.1
- Microsoft.NETCore.Platforms - 3.0.0-preview7.19306.1
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview7.19306.1

Fix tmp dir in configure.cmake (#25003)

The ONE_SHARED_MAPPING_PER_FILEREGION_PER_PROCESS check was using a temp
path that had some non-existent components. While this works fine on Linux,
it fails to create the temp file on OSX.
The fix is to use temp dir in the CMake's output dir.

Delete TwoKeywords test. (#24982)

Merge two equal exclusion groups for arm32 All OS. (#24984)

There were two:
<!-- Arm32 All OS -->
    <ItemGroup Condition="'$(XunitTestBinBase)' != '' and ('$(BuildArch)' == 'arm' or '$(AltJitArch)' == 'arm')">
and
<!-- arm32 All OS specific excludes -->
    <ItemGroup Condition="'$(XunitTestBinBase)' != '' and  ('$(BuildArch)' == 'arm' or '$(AltJitArch)' == 'arm')">

Less work for OptimalMaxSpinWaitsPerSpinIteration fast-path (#21702)

APIs to allow profilers to use DoStackSnapShot on Linux (#24968)

Fix GCStress coverage for multi reg returns. (#24826)

* Extract ReplaceInstrAfterCall.

* Avoid GCStress when return multireg with pointers.

Determinate when we need to protect the second register and do not cause GCStress in such cases.

* Add a repro test.

* Reenable MethodImplOptionsTests.

* Extract IsGcCoveregeInterruptInstruction.

That changes how we do checks for arm32 in `IsGcCoverageInterrupt`.

* Tolerate direct call to JIT_RareDisableHelper.

x86 ILStubClass:IL_STUB_PInvoke(byref,ref,int,byref):int generates it like:
Generating: N119 (  4,  7) [000118] ------------              *  RETURNTRAP int    REG NA
IN0021:        cmp      dword ptr [0F9BF9F8H], 0
New Basic Block BB10 [0009] created.
IN0022:        je       L_M6496_BB10
                                                        Call: GCvars=00000001 {V01}, gcrefRegs=00000000 {}, byrefRegs=00000000 {}
IN0023:        call     CORINFO_HELP_STOP_FOR_GC

* Support GC stress protect return 1/2/both Unix x64.

* Fix arm64.

Do not insert GC Stress instrucitons when we can't determinate the exact return kind.

* Fix review1.

* Fix review2.

* Change the test as Andy suggested.

* Fix some typos.

* Replace all SLOT with PBYTE.

* Disable assert that can fail because of multithreading.

Reenable StackTracePreserveTests.

I was not able to repro any failures, maybe they were fixed already. Lets see what ci thinks.

Fix PAL_GetLogicalProcessorCacheSizeFromOS on mac (#24777)

* Fix PAL_GetLogicalProcessorCacheSizeFromOS on mac

In a previous PR
(https://github.com/dotnet/coreclr/commit/ed52a006c01a582d4d34add40c318d6f324b99ba#diff-8447e54277bb962d167a77bb260760d7R1879),
GetCacheSizePerLogicalCpu was changed to no longer rely on cpuid on
amd64 systems; instead it uses GetLogicalProcessorCacheSizeFromOS().
Unfortunately that function consisted of a number of `#if`s, none of
which were active on macs, and we just returned 0. This caused us to
default to a gen0size of only 0.25MB, causing many GCs.

Fixed by adding a new case that uses `sysctlbyname`.

Fix #24658

* Fixes from code review

* Check for function sysctlbyname instead of header

Shortenning /Platform_Assemblies_Paths to just /p for convenience. Leaving the original switch name for compatibility reasons.

Zero initReg in genSetGSSecurityCookie (#24371)

Fix an issue that is reproduced when

1) a register is used in the prolog for initializing GSSecurityCookie (i.e. the register contains a random non-zero value) and
2) the same register holds a must-init GC variable in the next basic block and
3) the variable is live at the beginning of this basic block.

The register was not zeroed at the end of the prolog and this was causing segmentation fault during GC.Collect().

Merge pull request #24937 from safern/FixNullableAnnotationsApiReview

Fix some nullable annotations from API Review

Cleanup block stores and test for 24846 (#24950)

* Cleanup block stores and test for 24846

Fix zero-length assert/bad codegen for initblk.
Remove redundant assertions in codegen and those that don't directly relate to codegen requirements.
Eliminate redundant LEA that was being generated by `genCodeForCpBlk`.
Rename `genCodeFor[Cp|Init]Blk` to `genCodeFor[Cp|Init]BlkHelper` to parallel the other forms.
Fix the test case for #24846.

Add test verifying reliable SafeHandle unmarshalling (#24959)

* Add test ensuring we correctly unmarshal a SafeHandle even when the stub throws an exception.

* PR Feedback.

Use Modern CMake features instead of CMAKE_CXX_FLAGS (#24861)

* Convert C++ standard settings and warning options from CMAKE_<LANG>_FLAGS to Modern CMake isms.

* More $<COMPILE_LANGUAGE> generator expressions instead of CMAKE_CXX_FLAGS.

* Use $<COMPILE_LANGUAGE:CXX> for all -fpermissive usage

* Fix generator expression that generates multiple flags

* Fix invalid use of CMAKE_CXX_FLAGS instead of CMAKE_C_FLAGS.

* Treat AppleClang as though it is Clang (match pre-3.0 behavior).

* Update our build system to understand that AppleClang is distinct from Clang and remove CMP0025 policy setting.

* PR Feedback.

Disable corefx tests

Small fixes around AST nodes. (#24957)

* Fix MEASURE_NODE_SIZE and naming mistakes.

* The additional fields were deleted in #14582 (~1.5 years ago).

* Fix  GT_INDEX_ADDR def.

We created them as `new (this, GT_INDEX_ADDR) GenTreeIndexAddr` but used smaller `GenTreeIndex` as nessecary size.

* Use LargeOpOpcode instead of GT_CALL.

Update dependencies from https://github.com/dotnet/core-setup build 20190604.03 (#24971)

- Microsoft.NETCore.App - 3.0.0-preview7-27804-03

Update dependencies from https://github.com/dotnet/corefx build 20190605.1 (#24970)

- Microsoft.Bcl.AsyncInterfaces - 1.0.0-preview7.19305.1
- Microsoft.NETCore.Platforms - 3.0.0-preview7.19305.1
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview7.19305.1

Resolve Windows 10 Kits dir via the environment variable. (#24960)

* Resolve Windows 10 Kits dir via environment variable.

Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20190605.1 (#24972)

- optimization.IBC.CoreCLR - 99.99.99-master-20190605.1
- optimization.PGO.CoreCLR - 99.99.99-master-20190605.1

signedness (#24878)

Remove stale Task async extension methods from TaskExtensions (#24958)

Remove Collection<T> range APIs (#24938)

Synchronize managed and unmanaged Variant fields (#24951)

* Synchronize managed and unmanaged Variant fields

Fixes #24948

More PR Feedback

Make sure we can enable auto-trace when the root level define is added (#24955)

PR Feedback

EventPipe fixes (#24952)

Fix PGO on Windows (#24949)

* Add warning disables around InitJITHelpers1 for C4731

* Move configureoptimization up in configurecompiler.

[master] Update dependencies from dotnet/corefx (#24883)

* Update dependencies from https://github.com/dotnet/corefx build 20190603.11

- Microsoft.Bcl.AsyncInterfaces - 1.0.0-preview7.19303.11
- Microsoft.NETCore.Platforms - 3.0.0-preview7.19303.11
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview7.19303.11

* Add Microsoft.Diagnostics.Runtime to CoreFx.depproj

* Remove removed commands from RunTests.cmd/sh

Update to AutoTrace (#24936)

* * Add license headers to autotrace.h|cpp
* use W() macro for getting correct string literal type
* formalize env vars to be COMPlus_* style
* add documentation
* modify cmake files to have the flag and set default value to 0

* Fix typo

Being consistent (#24927)

Being consistent using all if statement with curly braces.

Update dependencies from https://github.com/dotnet/arcade build 20190604.1 (#24944)

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19304.1
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19304.1
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19304.1
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19304.1

Update dependencies from https://github.com/dotnet/core-setup build 20190603.11 (#24945)

- Microsoft.NETCore.App - 3.0.0-preview7-27803-11

follow the ICU User Guide recommendation to optimize the perf of InvariantCultureIgnoreCase on Linux (#24889)

* follow the ICU User Guide recommendation to optimize the perf of InvariantCultureIgnoreCase on Linux:

1. try to guess the max size and call ucol_getSortKey just once
2. if the buffer is not big enough, call the method again providing the actual sort key length

* handle 0 case

* handle integer overflow

* shorten the time the buffers are pinned

* use the cheapest pinning

* code review fixes: don't use variable length stackalloc, don't copy text from docs (licensing) + don't try to go with the fast path when it would require allocating more managed memory for big strings

* simplify the condition

PR Feedback

Fix some nullable annotations from API Review

fix doc for stress run instructions (#24941)

Specify TaskScheduler.Default in EventPipeEventDispatcher (#24930)

Just in case there's a non-default TaskScheduler in play, explicitly specify TaskScheduler.Default so that we don't accidentally schedule this task to another scheduler, in which case it's up to that scheduler if and how to respect the LongRunning request.

Added scenario to test that CallGetTotalAllocatedBytes is monotonic in imprecise mode. (#24935)

Avoid moving the bitOffset twice when enumerating safepoints

Fix signature mismatch between managed and unmanaged GetCodeInfo signatures (#24932)

Fixes #24925

Remove some event trace asserts that can fail if tracing is stopped at a particular point (#24897)

Remove unnecessary Shared<T> class from Task (#24931)

It's just StrongBox<T>.

Adjust several `where T : class?` constraints (#24894)

* Adjust several `where T : class?` constraints

* Address PR feedback

Removing the TestAllOnes, TestAllZeros, and TestMixOnesZeros methods from the Sse41 class (#24886)

* Removing the TestAllOnes, TestAllZeros, and TestMixOnesZeros methods from the Sse41 class

* Removing JIT support for the SSE41_TestAllOnes, SSE41_TestAllZeros, and SSE41_TestMixOnesZeros intrinsics

* Removing tests for the Sse41.TestAllOnes, Sse41.TestAllZeros, and Sse41.TestMixOnesZeros methods

Fix initialize methods to set m_Header correctly (#24892)

* put check in to ensure incoming message header has reasonable size

Fix armel tests build (#24678)

* Fix build-tests script for cross build and fix tests for armel

* Handle case of -skipcrossgen for cross builds

* Fix build error in case of cross builds when ROOTFS_DIR is not passed explicitly

* Fix portable build parameter setup for armel tests build

* Move force of non-portable build for armel from build.sh/build-test.sh to init-distro-rid.sh

* Fix priority1 tests build for armel

Reenable tests

Fix logic for deletion

Disable event pipe tests for investigation

Reenable tests turned off in #24772

Fix event pipe session provider list clear

Update dependencies from https://github.com/dotnet/arcade build 20190602.2 (#24918)

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19302.2
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19302.2
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19302.2
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19302.2

JIT HW Intrinsic implementation doc (#23622)

* JIT HW Intrinsic implementation doc

Final touch

Productize auto_trace

AutoTrace - launch dotnet trace to capture trace as soon as the runtime is available to trace

[master] Update dependencies from dotnet/arcade (#24906)

* Update dependencies from https://github.com/dotnet/arcade build 20190601.2

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19301.2
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19301.2
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19301.2
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19301.2

Improve fatal err msg (#24390)

* Improve fatal err msg

* Match SO format

* a

* Remove dead define

* More adjustments to ex msg

* And PAL

* Remove special case for SOE

* Remove excess Debug.Assert newline

* Remove excess newline

* typo

* New format

* Remove DebugProvider redundancy

* Adjustments

* Remove preceding newline

* Make other SOE and OOM consistent

* Tidy up assertion msg

* Fix missing newline after inner exception divider

* CR when no inner exception

* ToString never CR terminated

* disable corefx tests temporarily

Move EventPipeEventSource deletion to a better place (#24901)

* Move EventPipeEventSource deletion to a better place

* typo

Fix FileStream.FlushAsync() to behave like Flush() (#24902)

Flush() behaves like Flush(false) and writes out any buffered data but doesn't P/Invoke to FlushFileBuffers/FSync to flush the OS buffers.

But whereas FlushAsync() is supposed to just be an async equivalent of Flush(), it's actually behaving like Flush(true).  This makes FlushAsync() inconsistent and much more expensive.  (This is separate from FlushAsync not actually being async, which is an impactful problem to be solved separately.)

This changes FlushAsync to behave like Flush()/Flush(false) rather than Flush(true).  If someone wants the FlushFileBuffers/FSync behavior, they can call Flush(true).

Add workaround for native tool installation CI hang (#24899)

Revert "Update dependencies from https://github.com/dotnet/arcade build 20190530.2 (#24882)" (#24898)

This reverts commit aa26688ee5e2b03945a22cda324887341e10595f.

Update branding to preview7 in master (#24895)

Update dependencies from https://github.com/dotnet/core-setup build 20190530.01 (#24884)

- Microsoft.NETCore.App - 3.0.0-preview6-27730-01

Update dependencies from https://github.com/dotnet/arcade build 20190530.2 (#24882)

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19280.2
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19280.2
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19280.2
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19280.2

Handle a zero byte cpblk (#24871)

Fix #24846

Fix overlooked moduleIndex initial value (#24881)

When adding the signature copying some time ago, I have overlooked one
place where the moduleIndex was set to -1 instead of MODULE_INDEX_NONE.
I was using the -1 during the development and replaced it by creating
MODULE_INDEX_NONE during final cleanup at all but one places.

This caused issues during crossgen even without large version bubble
enabled. Methods requiring generic constraint were not crossgen-ed due
to this.

Makes GetTotalAllocatedBytes monotonic in nonprecise case. (#24875)

* Makes GetTotalAllocatedBytes monotonic in nonprecise case.

Fixes:#24615

* read `dead_threads_non_alloc_bytes` atomically on 32bit platforms

* Update src/vm/comutilnative.cpp

Co-Authored-By: Jan Kotas <jkotas@microsoft.com>

Delete dead code (#24876)

Check that we are using a valid IDispatch invocation flag earlier to limit the amount of work we do when we're going to return early anyway. (#24872)

Fix #24867 (#24870)

Pre SDK 3.0, a project type that is not .csproj would not include Directory.Build.targets. Change empty.proj to empty.csproj to allow source build, which uses a 2.1 sdk to build, correctly import Directory.Build.targets.

Remove unused code in vm/util.* (#24863)

* Remove unused code in vm/util.*

Add information in docs for required Windows SDK version for test build. (#24865)

Merge pull request #24869 from briansull/desktop-build-fixes

Fixes for building the Desktop JIT in CodegenMirror

Create NearDiffer in SuperPMI based on specified targetArchitecture (#24860)

Support running SuperPMI with ARM protononjit.dll (#24840)

Remove BuildTools from product build (#24841)

* Remove BuildTools imports from product build
* Split scripts for installing dotnet vs BuildTools

Fixes for building the Desktop JIT in CodegenMirror

Add build-tools.cmd (#24817)

* Add build-tools.cmd

This script builds selected tools in the src/tools directory (for the
time being, it builds just the runincontext tool). This is a preparation
step to enable nightly runs with unloadability tests. The
build-tools.cmd should build helper tools needed during test runs.

* Remove the build-tools.cmd

* Build the tools as part of the managed runtime build.
* Update the R2RDump project to put binaries into the bin/Product/...

* Update runincontext.cmd/sh scripts

Reflect the new location of the runincontext binary

Move CI to supported queues

[master] Update dependencies from dotnet/arcade (#24854)

* Update dependencies from https://github.com/dotnet/arcade build 20190529.5

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19279.5
- Microsoft.DotNet.Build.Tasks.Feed - 2.2.0-beta.19279.5
- Microsoft.DotNet.Build.Tasks.Packaging - 1.0.0-beta.19279.5
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19279.5

* Work around dotnet/arcade#2673

Update CoreClr to preview6.19280.1 (#24848)