Deal with cross-bitness compilation warnings Pt.2 (#19781)

* Disable ASMCONSTANTS_C_ASSERT in cross-bitness scenario in src/vm/ceeload.cpp

* Adjust MAXFIELDMARSHALERSIZE for cross-bitness scenario in src/vm/arm/cgencpu.h

* Make ALLOC_ALIGN_CONSTANT host specific in src/inc/stdmacros.h

* Make PRECODE_ALIGNMENT host specific in src/vm/arm/cgencpu.h

* Disable unreachable code in src/vm/arm/stubs.cpp

* Adjust CorDBIPC_BUFFER_SIZE for cross-bitness scenario in src/debug/inc/dbgipcevents.h

* Disable warning C4359 in src/vm/arm/cgencpu.h

* Deal with warning C4267: 'initializing': conversion from 'size_t' to 'int' in src/vm/stublink.cpp

* Deal with warning C4267: 'initializing': conversion from 'size_t' to 'int' in src/vm/callingconvention.h

* Disable unreachable REGDISPLAY constructor in src/inc/regdisp.h

Add modules to the heap only dump in order to have: (#19761)

+ types in with sos.dumpheap -stat instead of UNKNOWN
  + complete stack with sos.dumpstack On a dual core machine, full=11GB, withheap=226MB, withheap(+patch)=269MB

i386: Fixed definition with declaration in eetoprofinterfaceimpl.cpp (#18792)

Fix callKillSet for CORINFO_HELP_ASSIGN_BYREF on x64. (#19780)

* Fix callKillSet for CORINFO_HELP_ASSIGN_BYREF.

on x64.

* Fix typos.

Add Avx2.Permute4x64 template based tests

Implement Avx2.Permute4x64 intrinsics

Fix build-test.sh wrapper build (#19779)

* Fix build-test.sh wrapper build

In addition this change creates a json file with the build info so that the wrapper build
may be skipped if it was built on the same os/arch/buildtype.

* Address pr feedback

Revert "Remove not necessary type forwarded from attributes when type comes from mscorlib in netfx" (#19784)

This reverts commit 4fb001d431e0f44df15709f02f776e565fec14c7.

Fix build break in CoreRT/ProjectN

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #19772 from fiigii/insxor

Fix target register false dependency of lzcnt, tzcnt, and popcnt

JIT: don't allocate promoted struct death vars map for clear or lookup (#19753)

Only allocate this map if we're adding something. Refactor clearing and
lookup to do minimal work if the map hasn't been allocated (and it won't
have been in debug / minopts).

Saves a tiny bit of throughput and memory.

IndexOf(char, Ordinal) use fast path (#19788)

Enable gc_profiling for local gc (#19777)

[local gc]  move DacNotifyGCMarkEnd and AnalyzeSurvivorsRequested to GCToEEInterface  (#19774)

Updating runtest.py so that it works with Python 3

Add startup hook in System.Private.CoreLib (#19486)

* Add startup hook in System.Private.CoreLib

ProcessStartupHooks can be called from the host before the user's Main
entry point. It receives a list of dlls and types containing
Initialize() methods that will be called, making it possible to inject
managed code early during startup.

* Allow ! in assembly path for startup hook and other changes

Also:
- Report full assembly path when startup hook assembly is not found
- Remove unnecessary assert
- use Type.Delimiter instead of "."

* Use C# 7 tuple syntax and remove assert

* Improve error handling

Throw MissingMethodException only when there aren't any Initialize
methods at all.

When there are Initialize methods with incorrect
signatures (parameters, return type, visibility, or instance methods),
throw invalid signature error.

This should improve diagnosability of this feature.

* Remove eager check for missing startup hook assemblies

* Require full assembly path and use Split(char) overload.

* Remove startup hook type syntax

The type is now required to be "StartupHook" (in the global
namespace).

* Add assembly path to startup signature exception

With a hard-coded type name, printing the type.method of the startup
hook in the exception will no longer be much of an aid in debugging
startup hook signature issues. Adding the assembly path makes it clear
which startup hook had the problem.

* Use const strings

* Call startup hook inside ExecuteMainMethod

This way it will be called when the application is executed, but not
during other uses of hosting apis that go through
coreclr_create_delegate. This change will ensure that the threading
state is set based on attributes in the main method, before the
startup hooks run.

* Run startup hooks after setting root assembly and other fixes

- Run startup hooks after setting the appdomain's root
  assembly (visible in Assembly.GetEntryAssembly()
- Make the class static
- Remove debug output
- Don't allocate an empty ARG_SLOT array

* Allow non-public Initialize method, adjust coding style

* Remove overly-specific assert

Update existing COM test assets (native/managed) to share CLSIDs with… (#19756)

* Update existing COM test assets (native/managed) to share CLSIDs with other projects.

* Update Interop.settings.targets

None of these test changes apply to Ubuntu ARM

Fix target register false dependency of lzcnt, tzcnt, and popcnt

Fix CoreCLR debug launch (#19730)

JIT: don't compute edge weights if not optimizing (#19736)

We were spending a bit less than 1% of jit time computing edge weights
for minopts an debug codegen, but then never using them.

Also when optimizing we wanted to just compute edge weights but ran
through a bit more code than that.

Restructure the code so it's clearer what runs when, and bypass the
edge weight computations for minopts and debug codegen.

typo fix (#19763)

Fix test folder register (#19749)

rename test

Delete code that tracks stack level in morph. (#19703)

* call fgCheckArgCnt only from stackLevelSetter

* delete changing fgPtrArgCntMax from codegencommon

* delete fgPtrArgCntCur

* reset write phase only once

* delete gtStkDepth

* add headers for the new fucntions

* fix comments

fix merge conflict in build-test.sh (#19744)

Define T_RUNTIME_FUNCTION in cross-bitness crossgen ARM32 (#19718)

* Allow 'Non-ARM Host managing ARM related code' scenario in src/inc/crosscomp.h
* Restrict RtlUnwindEx RtlVirtualUnwind to X86 || FEATURE_PAL in src/inc/clrnt.h
* Define PTR_RUNTIME_FUNCTION via T_RUNTIME_FUNCTION in src/inc/daccess.h

Merge pull request #19742 from CarolEidt/Disable19397Arm64

Disable Failing test on Arm64

Merge pull request #19727 from echesakovMSFT/ConstantPropImmedValNeedsReloc

Do not Constant-Prop immediate values that require relocation on ARM32

Update floatdouble and floatsingle to use `floatcontrol(precise, value push)` and `floatcontrol(precise, pop)`

Updating floatdouble and floatsingle to work around an incorrect result under /fp:fast

Merge pull request #19726 from briansull/vn-dumping

Value Numbering dumping changes and documentation on normal and excSet value numbers

Typos (#19737)

* testsing -> testing

* reclaming -> reclaiming

* oppurtunity -> opportunity

* implemenation -> implementation

* indicaates -> indicates

* enregisterd -> enregistered

* compuations -> computations

* convinient -> convenient

* intution -> intuition

* Communicaton -> Communication

Fix typo

Remove not necessary type forwarded from attributes when type comes from mscorlib in netfx

Disable Failing test on Arm64

Value Numbering dumping changes and documentation on normal and excSet value numbers

Support the dumping of exception set
Added full method header comments for VNNormVal and VNWithExc
Removed extra spew for fieldSeq
Removed several unnecessary fgCurMemoryVN assigned printf
Added noway_asserts when dealing with a GT_ASG for a LHS that is a GT_PHI_ARG, GT_BLK or GT_OBJ

using struct for VectorPacket in PacketTracer benchmark

Merge pull request #19695 from CarolEidt/Fix19397

Handle multiReg COPY

Merge pull request #19205 from vancem/EventSourceUIntFix

Event source uint fix

Enable ibc official build (#19586)

Enable IBCOptimize for x86 and x64 Release builds

Improve struct promotion for 256-bit SIMD fields

Fix IJW test failing on Linux (#19729)

Disables the IJW test on Linux and ARM64

Cast gtIconVal to target_ssize_t in src/jit/assertionprop.cpp

Do not Constant-Prop immediate values that require relocation on ARM32

Merge pull request #19619 from echesakovMSFT/Mov32RelocatableDisplacementARM32

[ARM32] Split IF_T2_N3 into relocatable and non-relocatable cases

Merge pull request #19053 from riverar/riverar/r2r_size_unavail

Set function size to -1 if sizing info unavailable

Update BuildTools, CoreClr, CoreFx, CoreSetup, PgoData to preview1-03127-01, preview1-26827-04, preview1-26827-04, preview1-26827-01, master-20180827-0150, respectively (master) (#19543)

* Update BuildTools, CoreClr, CoreFx, CoreSetup, PgoData to preview1-03127-01, preview1-26827-04, preview1-26827-04, preview1-26827-01, master-20180827-0150, respectively

* Undo buildtools update

* Use older version of CoreFx.Private.TestUtilities

* Disable outdated test

* Disable failing test against #19537

Enable mixed mode assembly loading (#19542)

Bring back functionality for loading IJW assemblies and calling managed->native. Also add workaround to test case for the C++ compiler inserting calls to mscoree.

Merge pull request #19712 from briansull/remove-unused-arg

Removed unused argument 'evalAsgLhsInd' in Value Numbering

Merge pull request #19716 from BruceForstall/Fix19715

Fix warning C4723 potential divide by zero

return NETClientPrimitives to the exluce list for all platforms (#19717)

Replacing the IsDstSrcSrcAVXInstruction jump table with a flag.

Replacing the IsDstDstSrcAVXInstruction jump table with a flag.

Break into debugger on assertion failures (#19702)

* Break into debugger on assertion failures

Assertion failures terminated the process by default that made them hard to debug. Changed them to
break into debugger or trigger fail fast when the debugger is not attached. This should make the day-to-day
CoreCLR developer experience better and it is simular to what we had on .NET Framework in the past.

* Fix Unix build break

Add RaiseFailFastException to Unix PAL

Merge pull request #19701 from BruceForstall/FixLinuxNonJitBuild

Fix Linux/x86 altjit

Handle multiReg COPY

On x86, `MUL_LONG` wasn't considered a multi-reg node, as it should be, so that when it gets spilled or copied, the additional register will be correctly handled.
Also, the ARM and X86 versions of genStoreLongLclVar should be identical and shared (neither version were handling the copy of a `MUL_LONG`).
Finally, fix the LSRA dumping of multi-reg nodes.

Fix #19397

Merge pull request #19709 from acmyu/docs

R2RDump - Add tables describing which architectures have been tested

Fix warning C4723 potential divide by zero

Appears in VS 15.8 for arm64 builds.

Fixes #19715

Removed unused argument 'evalAsgLhsInd' in Value Numbering
It was previously used for Assign-Op forms of assignment
which we no longer use in the RyuJIT.

fix build break when STUB_LOGGING is defined (#19707)

Add missing license headers. (#19693)

re-enable com for local gc (#19681)

* re-enable com for local gc

* Use RefCountedHandleCallbacks instead of new api

Add architectures supported table

Merging the instrsxarch fp, rf, and wf parameters into a single flags parameter

Remove reflection from RuntimeEventSource test. (#19692)

Using shared copy of registryvalueKind (dotnet/corefx#31922)

* using local copy of registryvaluekind and advapi32

* Moving complete file to shared

* name changed

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Fix Linux/x86 altjit

This is a Linux/x86-targeting, Windows/x86-hosted altjit.
Fix the build so it uses an appropriate gcinfo library, built
with the appropriate defines. Currently, this eliminates a single assert.

Some fixes for the interpreter (#19678)

A number of fixes to the interpreter so it can run many pri0 basic tests.

* fix build break
* fix new array
* fix small struct return assert
* implement must-expand `ByReference<T>` intrinsics
* add some missing null checks
* fix `stobj` type check assert
* basic SIMD support
* obey `COMPlus_FeatureSIMD` setting

HW Intrinsics are still not supported / implemented.

Deal with compilation warnings in JIT in cross-bitness scenario  (#19590)

* Fix warnings due to "strlen return type is size_t" in src/jit/emitarm.cpp src/jit/unwindarm.cpp

* Use ptrdiff_t disp in emitter::emitOutputInstr in src/jit/emitarm.cpp

* Compiler::gtHashValue should depend on host-bitness in src/jit/gentree.cpp

* Simplify checking using ImmedValNeedsReloc() in src/jit/lowerarmarch.cpp

* Use target_ssize_t immVal in Lowering::IsContainableImmed in src/jit/lowerarmarch.cpp

* Remove int offs and use BYTE* addr and %p specifier in emitter::emitDispInsHelp in IF_T2_J3 case in src/jit/emitarm.cpp

* Cast gtIconVal to target_size_t in CodeGen::genLclHeap in src/jit/codegenarm.cpp

* Use int argSize in CodeGen::genEmitCall in src/jit/codegen.h src/jit/codegenlinear.cpp

* Use ssize_t disp in emitter::emitIns_Call in src/jit/emitarm.cpp src/jit/emitarm.h

* Use int argSize in emitter::emitIns_Call in src/jit/emitarm.cpp src/jit/emitarm.h

* Use target_size_t return type in Compiler::eeGetPageSize Compiler::getVeryLargeFrameSize in src/jit/codegencommon.cpp src/jit/compiler.h

* Cast gtIconVal to unsigned in CodeGen::genCodeForShift CodeGen::genCodeForShiftLong in src/jit/codegenarm.cpp src/jit/codegenarmarch.cpp

* Cast gtIconVal to unsigned in DecomposeLongs::DecomposeRotate in src/jit/decomposelongs.cpp

* Use unsigned size in CodeGen::genConsumePutStructArgStk in src/jit/codegenlinear.cpp

* Use target_ssize_t stmImm in cast in CodeGen::genZeroInitFrame in src/jit/codegencommon.cpp

* Cast to target_ssize_t in Compiler::gtSetEvalOrder in src/jit/gentree.cpp

* Address PR feedbask - use dspPtr(addr) in src/jit/emitarm.cpp

Revert "Cleanup netfx-specific code from projects that no longer build in netfx configurations (#31818)"

This reverts commit 21eb9aa89fae41b73f87c073abd95041ecf1b0e0.

Cleanup netfx-specific code from projects that no longer build in netfx configurations (#31818)

* Remove Crc32Helper.Managed.cs and '$(TargetGroup)' == 'netfx' conditionals from System.IO.Compression.csproj

* Remove netfx conditionals from System.Data.Common.csproj

* Remove netfx conditionals from System.Diagnostics.StackTrace.csproj

* Remove 'netfx' and 'net46' conditionals from System.Net.Http.csproj

* Remove 'netfx' conditionals from System.Net.Sockets.csproj

* Remove 'netfx', 'net462' and 'net47' conditionals from System.Runtime.InteropServices.RuntimeInformation.csproj

* Remove 'netfx' conditionals from System.Runtime.Serialization.Primitives.csproj

* Remove 'netfx' conditionals from System.Runtime.Serialization.Xml.csproj

* Remove 'netfx' and 'net47' conditionals from System.Security.Cryptography.Algorithms.csproj

* Remove 'netfx' conditionals from System.Security.SecureString.csproj

* Remove 'netfx' conditionals from System.Threading.Overlapped.csproj

* Remove 'netfx' conditionals from System.Xml.XPath.XDocument.csproj

* Trim out unused source file DeferredDisposableLifetime.cs

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

R2RDump - Non-Windows machine code (#19638)

* Get machine architecture for non-Windows images

* Update readme

* Throw exception if machine is invalid, output OS

* Capitalization

R2RDump - Fix errors caused by ExportedTypes rids in AvailableTypes section (#19647)

* Fix error caused by exportedType in AvailableTypes section

* TypeDef and ExportedType can both have the same rid

* Use HashSet instead of Dictionary

R2RDump - Check disassembler support (#19664)

* Determine if disasm is supported on architectures instead of match

* Readme changes

Remove some GT_ASG_op leftovers (#18205)

Streamline fgExcludeFromSsa (#15351)

This function is relatively expensive due to the many checks it does. Adding an LclVarDsc "in SSA" bit that is set during SSA construction by calling fgExcludeFromSsa only once per variable results in 0.35% drop in instructions retired.

Most of the checks done in fgExcludeFromSsa are implied by lvTracked and they could probably be converted to asserts. But lvOverlappingFields is not implied by lvTracked so even if all redundant checks are converted to asserts fgExcludeFromSsa still needs 2 checks rather than just one.

Incidentally, this difference between tracked variables and SSA variables results in SSA and value numbers being assigned to some variables that are actually excluded from SSA - SsaBuilder::RenameVariables and fgValueNumber assign numbers to all live in fgFirstBB variables that require initialization without checking fgExcludeFromSsa first. Structs with overlapping fields are not common but properly excluding them is still enough to save 0.15% memory when compiling corelib.

- Replace calls to fgExcludeFromSsa with calls to lvaInSsa (the old name is kind of weird, it has nothing to do with the flow graph and "exclude" results in double negation)
- Move fgExcludeFromSsa logic to SsaBuild::IncludeInSsa and use it to initialize LclVarDsc::lvInSsa for all variables
- Change RenameVariables and fgValueNumber to call lvaInSsa before assigning numbers to live in fgFirstBB variables

Remove NumaNodeInfo, CPUGroupInfo, AppDomain, SystemDomain, and EEConfig stubs from local gc (#19500)

* Switch NumaNodeInfo and CPUGroupInfo to the interface

* Remove AppDomain/SystemDomain stubs

* remove EEConfig methods

* Port numa code to the coreclr side

* add numa back to PAL and standalone builds

* enable numa for PAL/Standalone builds, and fix BOOL warnings

* remove unused defines, and fix linux build errors

* building on windows

* about to delete numa work from unix and want a backup

* add stubs for unix numa/cpugroup

* Code review feedback

* Code review feedback

Very small cleanup of various comments and code formatting (#19665)

* Very small cleanpu of various comments and code formatting

Fixed couple of comments to match the code and the wording.
Fixed indentation in several places.
Removed unused local variable in AppDomain::BindAssemblySpec

* Remove unused enum in the binder

Fix long spmi file names/clean few functions. (#19656)

* delete extern functions

* extract LoadRealJitLib func

* extract getResultFileName

Disable System.Numerics.Vectors.Tests (#19537)

Use runtest.py to run tests for all platforms (#19213)

Change build-test.sh to always build the xunit wrappers. Before it would drop a token and check the existence of the token.

Unify x64 linux/OSX/Windows excludes into one file, issues.targets. Includes different locations in the file which show where to put excludes.

Remove all target specific aspects of issues.targets, all tests are excluded now via wildcard, this allows expanding to .cmd and .sh based on the built platform.

Unify path separators to forward slash(/) in issues.targets to support both platforms

Clean up issues.targets by removing long standing exclude tests, specifically tests that have been excluded due to missing features like rva_statics.
Add DisableProjectBuild to tests which have been removed from issues.targets

Conditionally add DisableProjectBuild to tests which have been marked as unsupported on unix. This is mostly a port of the unsupportedOnUnix.txt list. Instead of excluding the tests, unix will simply not build them. If tests are built on windows, they will be run but they will return pass, the test wrapper will check return instantly.

All exclusions ported to issues.targets for linux targets.
Expand runtest.py, this includes simple issues that made it past the original CR. In addition it adds more optional features to help with inner loop dev work such as: creating a repro folder under bin/repro/.. which sets up the env and calls the failing test. In addition a launch.json will now be created under bin/repro/.. which can be used to easily debug using vscode. More logging, such as printing failures, longest running tests ect.
Initial excludes ported for arm64 windows

Arm64 linux, armhf unix excludes and enables running runtest.sh for these targets.
arm64 windows and arm32 windows excludes and enables running runtest.cmd on arm64 targets
init-tools.sh changes to pull armhf and aarch64 dotnetcli

init-tools.cmd changes to pull x86 packages for dotnetcli for arm64 windows
runtest.cmd for almost all scenarios will call runtest.py
runtest.sh for almsot all scenarios will call runtest.py
Removes all logic for running tests using runtest.sh

Fix FileStream in WinRT build (#19659)

Fix typo

Update version in documentation samples to 3.0

Fix JitBench (#19584)

Fix JitBench

Fixes https://github.com/dotnet/coreclr/issues/19569
- I believe the issue was that JitBench (which was an netstandard1.6 project) was running against a netcoreapp3.0 layout with corerun (layout built by build + recent packages), and XmlDocument is in a different place now
- Copied the unofficial project and replaced the official one
- Switched to netcoreapp3.0 along with other miscellaneous fixes to get it working
- I haven't figured out yet how to get one project that builds with the test build and works with dotnet. TargetFramework would have to be different anyway if running with dotnet runtime 2.1. So the unofficial project is still there for use with dotnet.
- Also retargeted the empty console project and changed to always set ExePath (when using existing setup for instance)

Merge pull request #19556 from mikedn/dmp-speed

Speed-up JIT dump

Update interop test xplat header (#19576)

* Remove no-op #define logic for Interop tests
Remove single usage of #define for function remap

* Consolidate all uses of CoTaskMem* functions into new CoreClr* functions
for the Interop native tests.

* Remove unused functions and make formatting consistent.

* Remove '_cdecl' and replace all uses with '__cdecl'

* Convert '__stdcall' to 'STDMETHODCALLTYPE' for all non-calling convention dependent tests

* Replace 'CALLBACK' and 'NATIVEAPI' calling convention macros will well-defined 'STDMETHODCALLTYPE'

Implement Intel AES intrinsic

Add test cases for AES intrinsic

R2RDump - ARM and ARM64 UnwindInfo (#19618)

* UnwindInfo for Arm

* ARM64 unwindInfo, change Machine.Arm to Machine.ArmThumb2

* Fix incorrect location of UnwindCode and GcTransition in the disasm

* Use x64 GcInfo for Arm and Arm64

* Cleanup, update readme

Merge pull request #19636 from jakobbotsch/fix-shift-value-executed

Mask shift value for shift [mem], const

Fix superpmi-shim-counter (#19639)

* fix the issue

* improve counter perfomance

do not rewrite output file after each method

JIT: fix handling of newarr size (#19633)

`newarr` accepts either an int or native int for array size, and the
newarr helper the jit invokes takes a native int.

If the value on the stack is an int and the jit is running on a platform
where native int is larger than int, the jit must explicitly widen the
int to native int.

Found this while running some code through the interpreter -- the path
the interpreter uses to invoke jitted code doesn't guarantee that int args
are 64 bit clean.

Workaround to remove unnecessary bounds checks when using {ReadOnly}Span.IsEmpty (#19640)

Merge pull request #19635 from josalem/syntax-error-build-test

Fix syntax error in build-test.sh

Make clang happy and fix old comment

Mask shift value for shift [mem], const

The shift value needs to be masked as otherwise the emitter may end up
believing it needs 4 bytes for constants >= 128. Since an encoding with
4-byte immediate does not exist for shifts, the last part of the
immediate would be interpreted as code and executed.

This was only a problem for constants between 128 and 256 as other
constants are not currently contained.

Fixes #19601

fix syntax error in build-test.sh

Merge pull request #19610 from briansull/fmt-bb

define FMT_BB as "BB%02u" and use it uniformly in the codebase

Two R2RDump fixes for Crossgen output (#19585)

1) In some situations, Crossgen emits a section with EntrySize = 0.
Apparently the engine defaults to size_t in such case.

2) Similarly, Crossgen sometimes emits a section with the UNKNOWN
kind. I have relaxed the section kind check to just treat all
non-eager section kinds the same.

Thanks

Tomas

Split between non-reloc and reloc in IF_T2_N1 in src/jit/emitarm.cpp