Merging the instrsxarch fp, rf, and wf parameters into a single flags parameter

Remove reflection from RuntimeEventSource test. (#19692)

Using shared copy of registryvalueKind (dotnet/corefx#31922)

* using local copy of registryvaluekind and advapi32

* Moving complete file to shared

* name changed

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Some fixes for the interpreter (#19678)

A number of fixes to the interpreter so it can run many pri0 basic tests.

* fix build break
* fix new array
* fix small struct return assert
* implement must-expand `ByReference<T>` intrinsics
* add some missing null checks
* fix `stobj` type check assert
* basic SIMD support
* obey `COMPlus_FeatureSIMD` setting

HW Intrinsics are still not supported / implemented.

Deal with compilation warnings in JIT in cross-bitness scenario  (#19590)

* Fix warnings due to "strlen return type is size_t" in src/jit/emitarm.cpp src/jit/unwindarm.cpp

* Use ptrdiff_t disp in emitter::emitOutputInstr in src/jit/emitarm.cpp

* Compiler::gtHashValue should depend on host-bitness in src/jit/gentree.cpp

* Simplify checking using ImmedValNeedsReloc() in src/jit/lowerarmarch.cpp

* Use target_ssize_t immVal in Lowering::IsContainableImmed in src/jit/lowerarmarch.cpp

* Remove int offs and use BYTE* addr and %p specifier in emitter::emitDispInsHelp in IF_T2_J3 case in src/jit/emitarm.cpp

* Cast gtIconVal to target_size_t in CodeGen::genLclHeap in src/jit/codegenarm.cpp

* Use int argSize in CodeGen::genEmitCall in src/jit/codegen.h src/jit/codegenlinear.cpp

* Use ssize_t disp in emitter::emitIns_Call in src/jit/emitarm.cpp src/jit/emitarm.h

* Use int argSize in emitter::emitIns_Call in src/jit/emitarm.cpp src/jit/emitarm.h

* Use target_size_t return type in Compiler::eeGetPageSize Compiler::getVeryLargeFrameSize in src/jit/codegencommon.cpp src/jit/compiler.h

* Cast gtIconVal to unsigned in CodeGen::genCodeForShift CodeGen::genCodeForShiftLong in src/jit/codegenarm.cpp src/jit/codegenarmarch.cpp

* Cast gtIconVal to unsigned in DecomposeLongs::DecomposeRotate in src/jit/decomposelongs.cpp

* Use unsigned size in CodeGen::genConsumePutStructArgStk in src/jit/codegenlinear.cpp

* Use target_ssize_t stmImm in cast in CodeGen::genZeroInitFrame in src/jit/codegencommon.cpp

* Cast to target_ssize_t in Compiler::gtSetEvalOrder in src/jit/gentree.cpp

* Address PR feedbask - use dspPtr(addr) in src/jit/emitarm.cpp

Revert "Cleanup netfx-specific code from projects that no longer build in netfx configurations (#31818)"

This reverts commit 21eb9aa89fae41b73f87c073abd95041ecf1b0e0.

Cleanup netfx-specific code from projects that no longer build in netfx configurations (#31818)

* Remove Crc32Helper.Managed.cs and '$(TargetGroup)' == 'netfx' conditionals from System.IO.Compression.csproj

* Remove netfx conditionals from System.Data.Common.csproj

* Remove netfx conditionals from System.Diagnostics.StackTrace.csproj

* Remove 'netfx' and 'net46' conditionals from System.Net.Http.csproj

* Remove 'netfx' conditionals from System.Net.Sockets.csproj

* Remove 'netfx', 'net462' and 'net47' conditionals from System.Runtime.InteropServices.RuntimeInformation.csproj

* Remove 'netfx' conditionals from System.Runtime.Serialization.Primitives.csproj

* Remove 'netfx' conditionals from System.Runtime.Serialization.Xml.csproj

* Remove 'netfx' and 'net47' conditionals from System.Security.Cryptography.Algorithms.csproj

* Remove 'netfx' conditionals from System.Security.SecureString.csproj

* Remove 'netfx' conditionals from System.Threading.Overlapped.csproj

* Remove 'netfx' conditionals from System.Xml.XPath.XDocument.csproj

* Trim out unused source file DeferredDisposableLifetime.cs

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

R2RDump - Non-Windows machine code (#19638)

* Get machine architecture for non-Windows images

* Update readme

* Throw exception if machine is invalid, output OS

* Capitalization

R2RDump - Fix errors caused by ExportedTypes rids in AvailableTypes section (#19647)

* Fix error caused by exportedType in AvailableTypes section

* TypeDef and ExportedType can both have the same rid

* Use HashSet instead of Dictionary

R2RDump - Check disassembler support (#19664)

* Determine if disasm is supported on architectures instead of match

* Readme changes

Remove some GT_ASG_op leftovers (#18205)

Streamline fgExcludeFromSsa (#15351)

This function is relatively expensive due to the many checks it does. Adding an LclVarDsc "in SSA" bit that is set during SSA construction by calling fgExcludeFromSsa only once per variable results in 0.35% drop in instructions retired.

Most of the checks done in fgExcludeFromSsa are implied by lvTracked and they could probably be converted to asserts. But lvOverlappingFields is not implied by lvTracked so even if all redundant checks are converted to asserts fgExcludeFromSsa still needs 2 checks rather than just one.

Incidentally, this difference between tracked variables and SSA variables results in SSA and value numbers being assigned to some variables that are actually excluded from SSA - SsaBuilder::RenameVariables and fgValueNumber assign numbers to all live in fgFirstBB variables that require initialization without checking fgExcludeFromSsa first. Structs with overlapping fields are not common but properly excluding them is still enough to save 0.15% memory when compiling corelib.

- Replace calls to fgExcludeFromSsa with calls to lvaInSsa (the old name is kind of weird, it has nothing to do with the flow graph and "exclude" results in double negation)
- Move fgExcludeFromSsa logic to SsaBuild::IncludeInSsa and use it to initialize LclVarDsc::lvInSsa for all variables
- Change RenameVariables and fgValueNumber to call lvaInSsa before assigning numbers to live in fgFirstBB variables

Remove NumaNodeInfo, CPUGroupInfo, AppDomain, SystemDomain, and EEConfig stubs from local gc (#19500)

* Switch NumaNodeInfo and CPUGroupInfo to the interface

* Remove AppDomain/SystemDomain stubs

* remove EEConfig methods

* Port numa code to the coreclr side

* add numa back to PAL and standalone builds

* enable numa for PAL/Standalone builds, and fix BOOL warnings

* remove unused defines, and fix linux build errors

* building on windows

* about to delete numa work from unix and want a backup

* add stubs for unix numa/cpugroup

* Code review feedback

* Code review feedback

Very small cleanup of various comments and code formatting (#19665)

* Very small cleanpu of various comments and code formatting

Fixed couple of comments to match the code and the wording.
Fixed indentation in several places.
Removed unused local variable in AppDomain::BindAssemblySpec

* Remove unused enum in the binder

Fix long spmi file names/clean few functions. (#19656)

* delete extern functions

* extract LoadRealJitLib func

* extract getResultFileName

Disable System.Numerics.Vectors.Tests (#19537)

Use runtest.py to run tests for all platforms (#19213)

Change build-test.sh to always build the xunit wrappers. Before it would drop a token and check the existence of the token.

Unify x64 linux/OSX/Windows excludes into one file, issues.targets. Includes different locations in the file which show where to put excludes.

Remove all target specific aspects of issues.targets, all tests are excluded now via wildcard, this allows expanding to .cmd and .sh based on the built platform.

Unify path separators to forward slash(/) in issues.targets to support both platforms

Clean up issues.targets by removing long standing exclude tests, specifically tests that have been excluded due to missing features like rva_statics.
Add DisableProjectBuild to tests which have been removed from issues.targets

Conditionally add DisableProjectBuild to tests which have been marked as unsupported on unix. This is mostly a port of the unsupportedOnUnix.txt list. Instead of excluding the tests, unix will simply not build them. If tests are built on windows, they will be run but they will return pass, the test wrapper will check return instantly.

All exclusions ported to issues.targets for linux targets.
Expand runtest.py, this includes simple issues that made it past the original CR. In addition it adds more optional features to help with inner loop dev work such as: creating a repro folder under bin/repro/.. which sets up the env and calls the failing test. In addition a launch.json will now be created under bin/repro/.. which can be used to easily debug using vscode. More logging, such as printing failures, longest running tests ect.
Initial excludes ported for arm64 windows

Arm64 linux, armhf unix excludes and enables running runtest.sh for these targets.
arm64 windows and arm32 windows excludes and enables running runtest.cmd on arm64 targets
init-tools.sh changes to pull armhf and aarch64 dotnetcli

init-tools.cmd changes to pull x86 packages for dotnetcli for arm64 windows
runtest.cmd for almost all scenarios will call runtest.py
runtest.sh for almsot all scenarios will call runtest.py
Removes all logic for running tests using runtest.sh

Fix FileStream in WinRT build (#19659)

Fix typo

Update version in documentation samples to 3.0

Fix JitBench (#19584)

Fix JitBench

Fixes https://github.com/dotnet/coreclr/issues/19569
- I believe the issue was that JitBench (which was an netstandard1.6 project) was running against a netcoreapp3.0 layout with corerun (layout built by build + recent packages), and XmlDocument is in a different place now
- Copied the unofficial project and replaced the official one
- Switched to netcoreapp3.0 along with other miscellaneous fixes to get it working
- I haven't figured out yet how to get one project that builds with the test build and works with dotnet. TargetFramework would have to be different anyway if running with dotnet runtime 2.1. So the unofficial project is still there for use with dotnet.
- Also retargeted the empty console project and changed to always set ExePath (when using existing setup for instance)

Merge pull request #19556 from mikedn/dmp-speed

Speed-up JIT dump

Update interop test xplat header (#19576)

* Remove no-op #define logic for Interop tests
Remove single usage of #define for function remap

* Consolidate all uses of CoTaskMem* functions into new CoreClr* functions
for the Interop native tests.

* Remove unused functions and make formatting consistent.

* Remove '_cdecl' and replace all uses with '__cdecl'

* Convert '__stdcall' to 'STDMETHODCALLTYPE' for all non-calling convention dependent tests

* Replace 'CALLBACK' and 'NATIVEAPI' calling convention macros will well-defined 'STDMETHODCALLTYPE'

Implement Intel AES intrinsic

Add test cases for AES intrinsic

R2RDump - ARM and ARM64 UnwindInfo (#19618)

* UnwindInfo for Arm

* ARM64 unwindInfo, change Machine.Arm to Machine.ArmThumb2

* Fix incorrect location of UnwindCode and GcTransition in the disasm

* Use x64 GcInfo for Arm and Arm64

* Cleanup, update readme

Merge pull request #19636 from jakobbotsch/fix-shift-value-executed

Mask shift value for shift [mem], const

Fix superpmi-shim-counter (#19639)

* fix the issue

* improve counter perfomance

do not rewrite output file after each method

JIT: fix handling of newarr size (#19633)

`newarr` accepts either an int or native int for array size, and the
newarr helper the jit invokes takes a native int.

If the value on the stack is an int and the jit is running on a platform
where native int is larger than int, the jit must explicitly widen the
int to native int.

Found this while running some code through the interpreter -- the path
the interpreter uses to invoke jitted code doesn't guarantee that int args
are 64 bit clean.

Workaround to remove unnecessary bounds checks when using {ReadOnly}Span.IsEmpty (#19640)

Merge pull request #19635 from josalem/syntax-error-build-test

Fix syntax error in build-test.sh

Make clang happy and fix old comment

Mask shift value for shift [mem], const

The shift value needs to be masked as otherwise the emitter may end up
believing it needs 4 bytes for constants >= 128. Since an encoding with
4-byte immediate does not exist for shifts, the last part of the
immediate would be interpreted as code and executed.

This was only a problem for constants between 128 and 256 as other
constants are not currently contained.

Fixes #19601

fix syntax error in build-test.sh

Merge pull request #19610 from briansull/fmt-bb

define FMT_BB as "BB%02u" and use it uniformly in the codebase

Two R2RDump fixes for Crossgen output (#19585)

1) In some situations, Crossgen emits a section with EntrySize = 0.
Apparently the engine defaults to size_t in such case.

2) Similarly, Crossgen sometimes emits a section with the UNKNOWN
kind. I have relaxed the section kind check to just treat all
non-eager section kinds the same.

Thanks

Tomas

Fix terminology in netci file (#19608)

Remove Avx.PermuteVar tests to unblock signature change propagation to corefx

Test will be rewritten after corefx Avx.PermuteVar changes will be absorbed

Fix base types of second paramters used in Avx.PermuteVar and Avx2.Permute4x64
for float, double overloads

Fixes #19579

Merge branch 'master' into fmt-bb

Merge pull request #15011 from mikedn/ssa-mem-num

Eliminate duplicate SSA number bookkeeping

Deal with compilation warnings in VM in cross-bitness scenario (#18707)

Handle multireg copies correctly (#19588)

* Handle multireg copies correctly

Fix #19029

Enable unloading of AssemblyLoadContext (#18476)

Enable assembly unloading

* Allow PInvoke methods on collectible assemblies

* Fix test unloadability

Several hundreds of tests were using Helper class that created
GCHandle, but never freed it. That prevented unloading of those
tests. The change modifies the Helper class to keep the handle
in a finalizable object.

Several GCHandle related tests were not freeing the GCHandle they
allocated, so this change adds freeing them to enable the unloading.

* Add missing error messages to the resources

* Fix shuffle thunk cache for unloadability

* Add GetLoaderAllocator to ICLRPrivBinder

 Implement AVX2 MaskLoad and MaskStore (#19513)

* Implement AVX2 MaskLoad and MaskStore

* Add test cases for AVX2 MaskLoad and MaskStore

* Fix AVX MaskStore tests

* template AVX MaskLoad tests

define FMT_BB as "BB%02u" and use it uniformly in the codebase

We use the following format when print the BasicBlock number: bbNum
This define is used with string concatenation to put this in printf format strings

Make sure RuntimeEventSource is passed to EventListener.OnEventSourceCreated (#19393)

Fix a PAL spin lock issue (#19604)

Fix for https://github.com/dotnet/coreclr/issues/18486
- Lock release needs to be at least volatile

Speed-up JIT dump

Add a config option that allows routing JIT's stdout output to a
specified file. jitStartup disables stdio buffering on its stdout
created stream and that makes large dumps (such as the ones generated
by jit-diff) 2-4x slower. Simply enabling buffering is somewhat
problematic, it would require occasional flushing to avoid losing
output in the case of a crash and can also result in mingled output
if crossgen decides to print something via its own stdout stream.

file

fix

Fix broken documentation links into mscorlib code (#19598)

AesGcm, AesCcm (dotnet/corefx#31389)

* AesGcm, AesCcm

* add osx stubs

* disable tests on osx and desktop (APIs not there/not supported)

* TagByteSizes on OSX

* fix TagByteSizes compilation error

* apply review feedback

* fix typo when setting tag/nonce length in ccm

* add missing SetCcmTagLength

* attempt to detect if ccm is available on Ubuntu 14.04

* disable tests on ubuntu 14.04, attempt for osx support

* attempt to fix osx

* fix osx

* review feedback

* disable new ccm testcases on ubuntu 14.04

* attempt to make Ubuntu 14.04 work

* add Interop.Initialization to OSX

* fix KeySizeHelpers after merge conflict

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

R2RDump - Interweave x64 unwind codes into disasm (#19577)

* Interweave unwind codes into disasm, fix incorrect x64 register names

* Fix xml dump errors

Merge pull request #19572 from briansull/fmt-vn

Define FMT_VN as "$%x" and use it uniformly in the codebase

Merge pull request #19581 from sergign60/unwind_fix

[corert armel] Fixed CoreRT issue #5874 for non-callee-saved regs

Define FMT_VN as "$%x" and use it uniformly in the codebase

We use a unique prefix character when printing value numbers in dumps:  i.e.  $1c0
This define is used with string concatenation to put this in printf format strings

Cleanup unnecessary casts in roundUp

Add roundUp(unsigned size, unsigned mult) and roundDn(unsigned size, unsigned mult) to 64-bit host in src/jit/jit.h

[corert armel] Fixed CoreRT issue #5874 for non-callee-saved regs

Handle null byref in helper (#19571)

Add JIT_ByRefWriteBarrier to IsIPInMarkedJitHelper so that a null dereference will be handled.

Fix #19444

Backout change to pass -ibcoptimize in official builds

Stop using size_t for passing immediate values in CodeGen CodeGenInterface (#19544)

R2RDump - Add image describing R2R format (#19528)

* Add image describing R2R format

* Remove help message stating -v option dumps raw bytes

Fix tiered compilation option for case-sensitive systems (#19567)

Merge pull request #19334 from CarolEidt/Fix19243

Fix evaluation order for block copy

Add IBC support (#19046)

This change adds support to consume IBC data packages that are created by the dotnet/optimization repository. With these changes and dotnet/buildtools#2103 to enable IBC optimizations for corefx, we will see a 32% decrease in the size of NetCoreApp (and an overall decrease of 16%), a 30% reduction in ref set, a 5% improvement in time to first request and steady state performance for MusicStore.

Size

  Crossgen Partial Partial vs Crossgen (lower is better)
Shared (MB) 185.6 137.3 0.74
Microsoft.NETCore.App (MB) 115.6 67.4 0.58
RefSet

MusicStore

  Crossgen Partial Partial vs Crossgen (lower is better)
Total 19.389 13.472 0.69
AllReady

Crossgen Partial Partial vs Crossgen (lower is better)
Total 17.58 12.214
Performance

MusicStore

  Crossgen Partial Partial vs Crossgen (lower is better)
Server Start (ms) 870 870.6 1.00
First request (ms) 3532.6 3386.6 0.95
Steady State (ms) 2.926 2.79 0.95
AllReady

Crossgen Partial Partial vs Crossgen (lower is better)
Server Start (ms) 2102 1942.4
First Request (ms) 4263.2 4126
Steady State (ms) 5.69 5.68
TechEmpower Plaintext

Crossgen Partial Partial vs Crossgen (lower is better)
Requests per Second 1928649.8 1893183.8
First Request (ms) 76.14 80.11
Startup (ms) 391 372.8
Working Set (MB) 382.2 373.4

JIT: remove incremental ref count updates (#19345)

Remove almost all of the code in the jit that tries to maintain local ref
counts incrementally. Also remove `lvaSortAgain` and related machinery.

Explicitly sort locals before post-lower-liveness when optimizing to get the
best set of tracked locals.

Explicitly recount after post-lower liveness to get accurate counts after
dead stores. This can lead to tracked unreferenced arguments; tolerate this
during codegen.

Update Microsoft.NETCore.CoreDisTools to version 1.0.1-prerelease-00005 (#19520)

* Update Microsoft.NETCore.CoreDisTools to version 1.0.1-prerelease-00005. Temporarily add a direct reference to the win-x64 and win-x86 runtime packages

* Change Microsoft.NETCore.CoreDisTools package references to the identity package.

Improve formatting of R2RDump.csproj properties.

* Add an ArgumentException to explain the currently faulty behavior where disassembling an R2R image whose architecture is different than the coredistools.dll architecture.

* Add Issue #19564 to the R2RDump.cs Disassembler comment

Fix dbgshim's > 1000 module bug (issue #19538) (#19553)

Fix dbgshim's > 1000 module bug (issue #19538)

Cap cbNeeded on second EnumProcessModules call. Change the allocations
to HMODULE to make sure they are aligned properly.

Fix issues with calling convention in tests. (#19548)

Add comment

Normalize whitespace/indentation

Update t4 templates to generate simplified type names

Mark some readonly fields readonly (#19559)

Optimize number formatting (#19551)

Mark more structs as readonly (#19557)

Make DateTimeOffset a readonly struct (#19552)

 Free the alternate signal stack if this PAL's thread allocated it. (#19539)

Free the alternate signal stack if this PAL's thread allocated it.

Move Ensure/FreeSignalAlternateStack to CPalThread class.

Frees the alternate stack a little sooner during thread termination.

Fix test case comment to reflect the actual test (#19531)

Enable Microsoft.VisualBasic.dll in crossgen_comparison scenario

Return "default" target-specific NaN value during constant folding of arithmetic expressions on ARM32 and ARM64

Fix wrong sprinf_s format string in gtGetArgMsg getGetLateArgMsg on ARM32 (#19536)

Exclude some assemblies from CrossGen Comparison job (#19534)

* System.Runtime.Intrinsics.Experimental.dll
* Xunit assemblies

Initial support for R2R image diff (#19533)

* Initial support for R2R image diff

In this first cut I'm adding just three size diff statistics -
PE section size diff, R2R section size diff and method size diffs.
I assume we'll add more statistics as needed in the course of various
size investigations.

Thanks

Tomas

Remove tests previously ported to CoreFX repo (#19527)

* Remove tests previously ported to CoreFX repo

* Remove references to ported Marshal API tests

Merge pull request #19530 from BruceForstall/DisableArmUbuntuCorefxLogging

Disable Ubuntu arm32 corefx xunit test result parsing

Merge pull request #19378 from sergign60/unwind_fix

[CoreRT armel]Fix for unwinding support for ARM #5874

Disable Ubuntu arm32 corefx xunit test result parsing

We have a problem with the xunit plug-in, where it is consistently
failing on Ubuntu arm32 test result uploading with this error:

```
The plugin hasn't been performed correctly
```

We haven't been able to identify the reason. So, do not add xunit parsing of the test data in this scenario.
This is tracked by: https://github.com/dotnet/coreclr/issues/19447.

Merge pull request #19512 from dotnet-maestro-bot/master-UpdateDependencies

Update BuildTools, CoreClr, CoreFx, CoreSetup, PgoData to preview1-03116-01, preview1-26817-05, preview1-26817-04, preview1-26817-01, master-20180817-0151, respectively (master)

Enable Tiered Compilation by default (#19525)

Enable Tiered Compilation by default

1) Changes the default state of the tiered compilation feature check to be ON BY DEFAULT
2) Removed comments about the source about this being a work in progress. Although it will surely continue to evolve and improve, remaining issues would be better tracked in our issue tracking system with the same default presumption as other runtime features - assume it works unless noted otherwise.
3) Adjusts a number of tests and automated scripts that made assumptions that the default setting of this feature is off.
4) Stop accepting the deprecated env var COMPLUS_EXPERIMENTAL_TieredCompilation. I'm not aware it has any remaining usage but if so we're going to find out.
5) Adjust config names for JitBench

Update BuildTools, CoreClr, CoreFx, CoreSetup, PgoData to preview1-03116-01, preview1-26817-05, preview1-26817-04, preview1-26817-01, master-20180817-0151, respectively

Merge pull request #19514 from dotnet/dev/unix_test_workflow

 Introduce CrossGen Comparison scenario

Add CrossGen Comparison scenario to netci.groovy

Add tests/scripts/crossgen_comparison.py

Remove coreclr.*txt upload (#19524)

R2RDump - Documentation (#19497)

* Add comments

* Add README

* Use href links, disable disasm

Moved registry.cs to shared (#19471)

* moved registry to shared

* using corefx version

* set value added

Determine memory load based on cgroup usage. (#19518)

cgroup usage is used to trigger oom kills. It includes rss and file cache
of the cgroup.

The implementation was only using the process rss to determine memory load.
This is less than the cgroup usage and leads to oom kills due to GC not
being triggered soon enough.

Add an empty console application to measure startup of the runtime. (#19490)

Disable a regex test that is failing with minopts (#19488)

See dotnet/coreclr#18912. This test would always fail once tiered compilation is enabled by default in CoreFX test runs in the CoreCLR repo.

Build-test.sh handles native test assets (#19430)

* Respect Windows script argument to skip package building.

* Bring build.sh logic closer to build.cmd with respect to passing CMAKE flags for building tests

* Make cmake gen script find override file without using script arguments

* build-test.sh can now build native test projects
Remove compileoptions.cmake and push contents into configurecompiler.cmake
 which contains compiler configuration from repo root CMakeLists.txt