Cleanup/optimize many string.Compare overloads, part 1 (dotnet/coreclr#6603)

Cleanup, optimize some String.Compare overloads

Commit migrated from https://github.com/dotnet/coreclr/commit/d67f034cf37717b94a97b59b86bde49ae4fbb6af

Remove idiv from ThreadPoolWorkQueue:Dequeue loop (dotnet/coreclr#6781)

Commit migrated from https://github.com/dotnet/coreclr/commit/ff315182efd0754428e6b9be2d4031b8e899f82a

Merge pull request dotnet/coreclr#6883 from gkhanna79/WinArm32

Enable Windows Arm32 build

Commit migrated from https://github.com/dotnet/coreclr/commit/9426f7ed702e5b8cbc4ffb0ad89a2ad7a448c56c

Better lazy initialization for Encoding static properties (dotnet/coreclr#6890)

Better lazy initialization for Encoding static properties

Commit migrated from https://github.com/dotnet/coreclr/commit/df50db75953d87485563c7542048f4c1aa402ede

Remove extra TypeForward from facade to fix ConfiguredTaskAwaiter (dotnet/coreclr#6899)

Commit migrated from https://github.com/dotnet/coreclr/commit/0da00521a99ae13522697d5fd58f9200c753b9a5

Fix dotnet/coreclr#3554. (dotnet/coreclr#6880)

On x86, `emitter::emitInsBinary` was calling `genProduceReg` on the
`dst` tree if the source was a contained class field load and the
destination was a register. As per the comment on the offending
function, it is the caller's responsibility to call `genProduceReg`
for the destination register, if any. This was causing errors in
GC ref reporting on x86. This issue did not appear on x64 because
AFAICT we very nearly always morph class field loads into loads of
a `CNS_INT` handle (see morph.cpp:6344 in `fgMorphField` for
details).

Commit migrated from https://github.com/dotnet/coreclr/commit/2c38643f91d98a278d8084c2d776d927a4405e16

Add single separator String.Split overloads (dotnet/coreclr#895)

Commit migrated from https://github.com/dotnet/coreclr/commit/a352d949e5342e13b1ac1f545711d7f5d12bd8ce

Merge pull request dotnet/coreclr#6859 from adiaaida/addNMakeOption

Update build to optionally configure with nmake

Commit migrated from https://github.com/dotnet/coreclr/commit/7784afd1e33855d8672c4e5075783d7817cb6b39

Update build to optionally configure with nmake

For formatting, we want to be able to obtain the compile_commands.json
file so that we do not have to 1) do a full build of coreclr and 2)
generate it ourselves from the build log. This change modifies build.cmd
to take an option "usenmakemakefiles." This option will set
__NMakeMakefiles to 1, which is used by the gen-buildsys-win.bat script.
This option also sets all the same options as configureonly, as we cannot
do a full build using NMake Makefiles, and we only want to use this to
force CMake to generate a compile_commands.json file for the jit
directory, which it can do using NMake Makefiles, but not Visual Studio.
The update to gen-buildsys-win.bat checks the value of __NMakeMakefiles,
and if it is set to 1, it sets the CMake Generator to NMake Makefiles.

Commit migrated from https://github.com/dotnet/coreclr/commit/7d53e9b49c3cb0802f2cd8542c1f54ec6cd38612

Merge pull request dotnet/coreclr#6896 from dotnet-bot/from-tfs

Merge changes from TFS

Commit migrated from https://github.com/dotnet/coreclr/commit/03ff9b0b6b7fc7a037f4d03a904ed5da8a208dbb

Disabling test against issue 6553 (dotnet/coreclr#6895)

Commit migrated from https://github.com/dotnet/coreclr/commit/36cf34141d5266b3bca99b9d3cf683725376e2a8

Allow Ubuntu 16.10 to use MSBuild (dotnet/coreclr#6897)

Commit migrated from https://github.com/dotnet/coreclr/commit/7c6f1b70015d7138bfc5ab3731fb894485e521db

Handle multi-reg PUTARG_STK nodes. (dotnet/coreclr#6870)

* Handle multi-reg PUTARG_STK nodes.

When FEATURE_MULTIREG_ARGS is true, a GT_PUTARG_STK node may have a
GT_LIST as a child if the child was originally a multi-reg argument.
Handle this case in `GenTreeUseEdgeIterator`.

Fixes dotnet/coreclr#6583.

* Update the bug number for some ARM64 failures.

These tests are now failing due to a differnt bug.

Commit migrated from https://github.com/dotnet/coreclr/commit/4071333a89d6c9bf240b8291535fdf7acf708642

Merge pull request dotnet/coreclr#6894 from adiaaida/morphingLongCall

Remove NYI for helper calls with long return types

Commit migrated from https://github.com/dotnet/coreclr/commit/6a119e8e4d6c0aba7897069c1a594c02a881102f

Some minor changes.

Commit migrated from https://github.com/dotnet/coreclr/commit/6b5695013d972fd1239241a6613865749123e0fa

Merge pull request dotnet/coreclr#6887 from BruceForstall/Fix6588a

Fix local var ref counts in IND/STOREIND decomposition

Commit migrated from https://github.com/dotnet/coreclr/commit/de35406913bf2fd02dd692c031194017da5dee92

Merge pull request dotnet/coreclr#6866 from tarekgh/GlobalizationPorting1

Enable more code under globalization for netcore

Commit migrated from https://github.com/dotnet/coreclr/commit/37f4a5a473ff0ee43536b8aa12eb25238a85aed4

Fix full framework build

[tfs-changeset: 1623920]

Commit migrated from https://github.com/dotnet/coreclr/commit/afcff256a27d5f04ce899fb8bbd749137fe23417

Remove NYI for helper calls with long return types

The LIR changes fixed the bug in the decomp and the dumper for morphing
nodes into helper calls with long return types, so this NYI can be
removed.

Commit migrated from https://github.com/dotnet/coreclr/commit/53ad9e12cc0cdd94c54d5ef59edb071d6c4ae3b7

Merge pull request dotnet/coreclr#6882 from rahku/arm64tests

ARM64: update tests.lst

Commit migrated from https://github.com/dotnet/coreclr/commit/809524536f47fc76b2c1864f13a38166bac9db07

Initial commit to build Win32 Arm CoreCLR

Commit migrated from https://github.com/dotnet/coreclr/commit/ad7c799eb9a2ae1e7371c75655d4b244e196b239

Merge pull request dotnet/coreclr#6851 from ramarag/unifytestbuild

Changing The way Coreclr Test Builds

Commit migrated from https://github.com/dotnet/coreclr/commit/d7821eb792915fa64ff6219c7ce4b9abc195ab7e

Merge pull request dotnet/coreclr#6885 from BruceForstall/FixLIRComments

Fix DecomposeStoreInd comments

Commit migrated from https://github.com/dotnet/coreclr/commit/bf5d75d55a16611d1d9b6719ddc8c6a1c835908c

Merge pull request dotnet/coreclr#6869 from joperezr/AddingTimeZone

Adding System.TimeZone

Commit migrated from https://github.com/dotnet/coreclr/commit/6a019ad175ff7e1d963f7e4cbd730b9ba8ac62b3

Module.Name: Avoid unnecessary char[] allocation (dotnet/coreclr#6865)

Instead of `new string(s.ToCharArray(), i + 1, s.Length - i - 1)`, use
the simpler `string.Substring(i + 1)` to avoid the unnecessary
intermediate char[] allocation.

Commit migrated from https://github.com/dotnet/coreclr/commit/cacf46feb64583d1e774a2a3c9c12da1120effa7

DateTimeFormat: Avoid intermediate char[] allocation (dotnet/coreclr#6863)

An unnecessary intermediate char[] allocation can be avoided by calling
`new string(c, 1)` instead of `new string(new char[] { c })`.

Commit migrated from https://github.com/dotnet/coreclr/commit/d014a8fab82d2ff70185ae6c29d2ae5a4074cc00

Allow to use clang 3.9 in build.sh (dotnet/coreclr#6888)

Can be found e.g. in Debian Sid.

Commit migrated from https://github.com/dotnet/coreclr/commit/bc2bcc0cde64d43019cfab61d4cc7f8cf783173f

  Infra changes to unify the  tests to be built against a common project.json.
   1. tests\src\Common\test_dependencies\project.json - To consume corefx and other nuget feeds

   2. tests\src\Common\empty\project.json - To build against the mscorlib facade,to use this just Add
            <ReferenceLocalMscorlib>true</ReferenceLocalMscorlib> to your project

Commit migrated from https://github.com/dotnet/coreclr/commit/71dd695faef9e6d310a2df612cb51462dfeefc98

Cosmetic changes, removing unnceseary files and entries in project files.
    Unifying the way project referring mscorlib facade builds

Commit migrated from https://github.com/dotnet/coreclr/commit/5537ed53eeedc0176b973787944512ebdd1f4ebc

Disable downloading xplat binaries as we no longer need to build these packages in razzle. (dotnet/coreclr#6871)

[tfs-changeset: 1623740]

Commit migrated from https://github.com/dotnet/coreclr/commit/ecf77758f8364bfa3ba2494a22da81e1c5b368dc

Fix local var ref counts in IND/STOREIND decomposition

When creating new references to a local variable in long decomposition,
the variable reference count must be incremented.

Fixes dotnet/coreclr#6588

Commit migrated from https://github.com/dotnet/coreclr/commit/9fe631c1ae3ce12b05de6fdcc7eba465be8ec2ec

Fix DecomposeStoreInd comments

Commit migrated from https://github.com/dotnet/coreclr/commit/0d9a44f9f0a11546ebd4d65af490f047b143d595

update tests.lst

Commit migrated from https://github.com/dotnet/coreclr/commit/ec1e4ebff3a901890c0a3494b567fdbf5d9de37c

Moving baseservices tests to use uber project.json

Commit migrated from https://github.com/dotnet/coreclr/commit/0c9a68a6be96249143970501cbebbb1f289a58ea

Bulk moving Tests to use uber project.json

Commit migrated from https://github.com/dotnet/coreclr/commit/513543505aaa43108d3a6fffc85dd0b81f91b23a

Moving GC tests to use uber project.json

Commit migrated from https://github.com/dotnet/coreclr/commit/3b8c43389488ce1c33c0909b72f3a5092abc4826

Merge pull request dotnet/coreclr#6873 from BruceForstall/Fix6180

Reenable tests

Commit migrated from https://github.com/dotnet/coreclr/commit/ff9ac8f2be9a0bcc1657efee2b09de435c6baa0f

Enable more code under globalization for netcore
This fix is to enable the code handling LCID for Windows in globalization namespace

Commit migrated from https://github.com/dotnet/coreclr/commit/1153e4cefbee7d59a659344e709a3a223bb6aa87

Stop maintaining costs in fgSimpleLowering. (dotnet/coreclr#6872)

This was causing a few asserts on x86.

Commit migrated from https://github.com/dotnet/coreclr/commit/9b46970f46ca055932d8a2815965fff702c37557

Merge pull request dotnet/coreclr#6868 from mmitche/disable-node-reuse

Disable node reuse

Commit migrated from https://github.com/dotnet/coreclr/commit/24978b97358d397c264291a46af5bc2d0f290356

Merge pull request dotnet/coreclr#6858 from adiaaida/fixBuildsh

Fix ConfigureOnly option in build.sh

Commit migrated from https://github.com/dotnet/coreclr/commit/aeb33545748b9d727d07ab079a0e92011a5b74d9

Reenable tests

The tests disabled due to the assert in dotnet/coreclr#6180 no longer fail
(possibly as a side-effect of the LIR backend changes?), so
reenable them.

Commit migrated from https://github.com/dotnet/coreclr/commit/49192f8292ecd1e8e0204d1a4fafe10241f86141

Disable node reuse

Commit migrated from https://github.com/dotnet/coreclr/commit/8d46dc0976d15292f60524fa3fcc6408f868ea1e

Merge pull request dotnet/coreclr#6815 from rahku/apicompat

Expose MulticastDelegate.GetObjectData method

Commit migrated from https://github.com/dotnet/coreclr/commit/43d27e01d18c666f4293947666eb51343a68271a

Add missing .gitmirror file. (dotnet/coreclr#6864)

[tfs-changeset: 1623730]

Commit migrated from https://github.com/dotnet/coreclr/commit/69ac976d48950b618993bc7a5e854eb1145c36e3

Adding System.TimeZone

Commit migrated from https://github.com/dotnet/coreclr/commit/518057d4429bd8b89898bcb1e7b72ddd3e2ff915

Fix the ninja build for FC23. (dotnet/coreclr#6861)

Fedora installs ninja under the name `ninja-build` rather than `ninja`.

Commit migrated from https://github.com/dotnet/coreclr/commit/b08d0366674eb086b1d07d14a6b36c0e2c8de203

Stop maintaining cost estimates in the RyuJIT backend. (dotnet/coreclr#6849)

* Summarize HIR cost estimates on Compiler.

These cost estimates are made on HIR and are not used by the backend.
Stash them before converting the function to LIR and report them at the
end of compilation.

* Stop maintaining costs in the backend.

The backend does not use the tree cost estimates.

* Remove a bit more cost maintenance.

* Address PR feedback.

Commit migrated from https://github.com/dotnet/coreclr/commit/ab703ce987243e9573e04a05894294621e7046a8

Merge pull request dotnet/coreclr#6852 from BruceForstall/Disable4702

Conditionally disable C4702 "unreachable code" warnings

Commit migrated from https://github.com/dotnet/coreclr/commit/60ee81121cf4aa7f4b74f1646db6a3989fe061ec

Fix ConfigureOnly option in build.sh

ConfigureOnly is intended to run the CMake to configure the build, but
nothing else. However, when you passed configureonly to build.sh, it set
__SkipConfigure=1, which made it skip the configure step of the build.
This change fixes that by removing that option from the options set my
configureonly, and adds a check right after configure and right before
running the build to exit if we are only configuring.

Commit migrated from https://github.com/dotnet/coreclr/commit/a69d5a89a1c018f9179c0f02eca1e995cd52cf9b

Adding missing members on System Namespace (dotnet/coreclr#6818)

Adding missing members on System Namespace

Commit migrated from https://github.com/dotnet/coreclr/commit/4212e7e0c9388337adc0feb5bc2046ca29681b78

Merge pull request dotnet/coreclr#6664 from dagood/update-existing-pr

Use versions repo tooling from BuildTools

Commit migrated from https://github.com/dotnet/coreclr/commit/3bb39a56e3fc96a7bdcc668be745551249e5cd4e

Merge pull request dotnet/coreclr#6848 from BruceForstall/FixArm64SuperPmi2

Fix superpmi arm64 build

Commit migrated from https://github.com/dotnet/coreclr/commit/5cc75c3933979b788073ff065d81916680bccf5a

Merge pull request dotnet/coreclr#6846 from BruceForstall/FixSuperPmiX86

Reenable superpmi test for x86

Commit migrated from https://github.com/dotnet/coreclr/commit/1aa8df1fe0f2b05160b24f4cfb246702db94cc49

Conditionally disable C4702 "unreachable code" warnings

The CLR header file check.h, macro CHECK_MSG_EX, can create unreachable code if the LEAVE_DEBUG_ONLY_CODE
macro is not empty (such as it is defined in contract.h) and the _RESULT macro expands to "return".
Checked-in compilers used by the TFS-based desktop build (e.g., version 18.10.40116.8) started reporting
unreachable code warnings when debugholder.h was changed to no longer #define "return" to something relatively
complex. However, newer compilers, such as Visual Studio 2015, used to build the CLR from the open source
GitHub repo, still do not report this warning. We don't want to disable this warning for the open source build,
which will use a newer compiler. Hence, only disable it for older compilers.

Commit migrated from https://github.com/dotnet/coreclr/commit/c3fa47e14b09cd461f723bdc6306e74f98eede4f

Fix SOS build break from PR dotnet/coreclr#6838. (dotnet/coreclr#6845)

[tfs-changeset: 1623588]

Commit migrated from https://github.com/dotnet/coreclr/commit/a1ee7b807b78c99979996e924f94bf58dd2116ec

Merge pull request dotnet/coreclr#6847 from jhendrixMSFT/master

Use the "open" key for strong-name signing SOS.NETCore.dll.

Commit migrated from https://github.com/dotnet/coreclr/commit/c136d19291808bc9250005cef203b3edf415d81a

Adding the missing string function to model.xml (dotnet/coreclr#6694)

* Adding + stubbing out the missing Globalization functions
* Doing the correct native implementation now...

Commit migrated from https://github.com/dotnet/coreclr/commit/c940bc816db970c4dcb3130f6e1a8f3a51d73328

Merge pull request dotnet/coreclr#6850 from mmitche/fix-regex

Fix regex

Commit migrated from https://github.com/dotnet/coreclr/commit/c4ccc5434a72bc534e967b1b4313ff531a84ddfb

Fix regex

Commit migrated from https://github.com/dotnet/coreclr/commit/3ad3ea795991f05ddc821e694b71c6f3c3fa4ed7

Merge pull request dotnet/coreclr#6822 from smile21prc/coreclr-perf

Automate enhancement on the perf data collection for JIT CodeQuality benchmarks on Windows.

Commit migrated from https://github.com/dotnet/coreclr/commit/098cb9e831b1e2ab1d66355c28c627cc704bbd08

Fix superpmi arm64 build

Commit migrated from https://github.com/dotnet/coreclr/commit/f2324b6744f05a051829a2aa65b745bb073d6f98

Use the "open" key for strong-name signing SOS.NETCore.dll.

Switch to using the OSS strong name instead of the default MSFT one.

Commit migrated from https://github.com/dotnet/coreclr/commit/5339543e0299d40ffbe93b65ced29cd4d4a537ee

Reenable superpmi test for x86

Replace Roslyn CscBench with Bytemark, since CscBench fails with
an inlining assert (opened as issue dotnet/coreclr#6844) on x86.

Commit migrated from https://github.com/dotnet/coreclr/commit/ced16dbc4b37370ede18b0bad1b5e8d6cc939320

Remove fgDebugCheckLinear{Tree,NodeLinks}. (dotnet/coreclr#6842)

These functions are not necessary for LIR.

Commit migrated from https://github.com/dotnet/coreclr/commit/caaca713decbaefa91d55973f18600786714448a

Use versions repo tooling from BuildTools.

Sets up dependencies.props config. Removes UpdateDependencies powershell script, to be replaced by a call into VersionTools in Maestro automation. Changes UpdatePublishedVersions to pass through to VersionTools for backward compatibility.

Commit migrated from https://github.com/dotnet/coreclr/commit/5a63fd855de5d38d8429b68c50c08b8f00973d22

Merge pull request dotnet/coreclr#6840 from hann013/t-hazhan/SuppressIldasmAttribute

Added SuppressIldasmAttribute

Commit migrated from https://github.com/dotnet/coreclr/commit/784f4d93d43f29cc52d41ec9fae5a96ad68633cb

Merge pull request dotnet/coreclr#6821 from mellinoe/opensuse421

Add a CI job for openSUSE 42.1

Commit migrated from https://github.com/dotnet/coreclr/commit/158db015291e012bb79c6eba15718834cb4ae173

Added SuppressIldasmAttribute to mscorlib and model.xml

Commit migrated from https://github.com/dotnet/coreclr/commit/cd62a87885db9f020e643486e078434e5f0e46b4

Merge pull request dotnet/coreclr#6806 from wateret/fix-hfa

[ARM/Linux] Fix HFA structs

Commit migrated from https://github.com/dotnet/coreclr/commit/d872d88defabcce0f9a1a92d2ddd4b1ded105d46

Further optimizations for String.Join, String.Concat (dotnet/coreclr#6800)

* Apply length-1 optimization to Join(string, object[])
* Apply length-1 optimization to Concat(IEnumerable<string>)
* Apply length-1 optimization to Concat(IEnumerable<T>)
* Apply lengths 0/1 optimizations to Concat(object[]), Concat(string[])

Commit migrated from https://github.com/dotnet/coreclr/commit/d39efa70a59c853b689a7bfc0afb5687920d8d25

[ARM/Linux] Fix HFA structs

Re-enable FEATURE_MULTIREG_RET for ARM32 which was disabled by dotnet/coreclr#6467.

Fix dotnet/coreclr#6677

Commit migrated from https://github.com/dotnet/coreclr/commit/400dee451355e92f604934479f0df75c20005604

Merge pull request dotnet/coreclr#6832 from dotnet-bot/from-tfs

Merge changes from TFS

Commit migrated from https://github.com/dotnet/coreclr/commit/bb8345f0d91872c57b69e43c43e3e158dd1f2339

Merge remote-tracking branch 'upstream/master' into from-tfs

Commit migrated from https://github.com/dotnet/coreclr/commit/0d25412997731f0738dc6d81f7d92fa260ce10f0

Disable SuperPMI unit test for x86 legacy backend

[tfs-changeset: 1623421]

Commit migrated from https://github.com/dotnet/coreclr/commit/204108f12a53fca7b7a2c2e45d0cd6ae3ee0b644

SuperPMI: fix ARM build break

[tfs-changeset: 1623419]

Commit migrated from https://github.com/dotnet/coreclr/commit/627f3a3eb006f876546197a283b79ddf17ad52a6

Assert that any node with a non-zero dstCount produces a value. (dotnet/coreclr#6827)

* Assert that any node with a non-zero dstCount produces a value.

The register allocator will otherwise misallocate, as such nodes will
produce an unconsumed value.

* Fix the dstCount for GT_RETFILT.

Commit migrated from https://github.com/dotnet/coreclr/commit/fb470cb634bcd48501081a8dc9dee195a8e356f5

Disable superpmi test for RyuJIT/x86

[tfs-changeset: 1623413]

Commit migrated from https://github.com/dotnet/coreclr/commit/91cbbc1709165414f949df25316f720f7e87753f

Fix build break related to LogException requiring non-empty varargs arguments

[tfs-changeset: 1623412]

Commit migrated from https://github.com/dotnet/coreclr/commit/9c8beb2dd90c567a3f590ea204d865e01938c90d

Fix ARM64 build breakage (dotnet/coreclr#6819)

Commit migrated from https://github.com/dotnet/coreclr/commit/fcb97bac543cc65c7f727be2440837fff9b1a6e6

Delete CanChangeType from model.xml

[tfs-changeset: 1623392]

Commit migrated from https://github.com/dotnet/coreclr/commit/f9679ca0c4816fdb74f3861a1d23747df8f4a63f

Fix build breaks and warnings in internal build

[tfs-changeset: 1623382]

Commit migrated from https://github.com/dotnet/coreclr/commit/d6753d1ba1bde374befac3ad31b2b6b86eba0927

Merge pull request dotnet/coreclr#6793 from erozenfeld/TailCallInCalleeInlining

Don't inline methods that have tail-prefixed calls.

Commit migrated from https://github.com/dotnet/coreclr/commit/f725c3a616b1e55db17b239b0256648fecd2356e

Fix casing of DaylightTime.cs

[tfs-changeset: 1623368]

Commit migrated from https://github.com/dotnet/coreclr/commit/22049defe2dedfdf6f09e27d5dc503888bee27c6

Merge pull request dotnet/coreclr#6799 from adityamandaleeka/osx_ci_dumps

Enable additional functionality for OS X CI dumps.

Commit migrated from https://github.com/dotnet/coreclr/commit/b5643e73dfa310b803b66c2c9ec8c8c43fbb7a0b

Merge pull request dotnet/coreclr#6816 from CarolEidt/FixArmCrossgen2

Fix dstCount of GT_RETURNTRAP for Arm64

Commit migrated from https://github.com/dotnet/coreclr/commit/1b64dcbb1d29a94ed88f27f2a2a4ed42cf508d0e

Instead of checking in these python tools, pull them from Nuget package instead.

Commit migrated from https://github.com/dotnet/coreclr/commit/405f7d74da839efd56ff63b116c4ae6e83b74c9e

Create SOS SymbolReader managed project and change SOS to use it. (dotnet/coreclr#6783)

* Change SOS to use wrapper class that is now in System.Diagnostics.StackTrace.

The portable PDB helper code for SOS source/line support has been moved from
System.Diagnostics.Debug.SymbolReader to a new managed SOS project in the coreclr
repo called SOS.NETCore.

The public APIs have now been made internal.

Plumb through the loaded PE address to the managed SymbolReader functions so it can be used as a key.

Fixed a stack trashing/overflow when a unresolved managed breakpoint is resolved because one of the
module name buffers was too small (MAX_PATH_FNAME). Changed it (and others) to MAXLONGPATH.

SOS now works with Portable PDBs on Windows.

New dac private get module data request. Used to get the necessary info for portable PDBs.

SOS now supports in-memory PE's on xplat and Windows. Needed to get and plumb though the in-memory
PE layout where it is file based or loaded.

Better Windows GetLineByILOffset support. Uses the SymbolReader and now works with in-memory PEs.

Misc code formatting and general cleanup.

* Code review feedback.

Commit migrated from https://github.com/dotnet/coreclr/commit/75890669d59ea8e1a28ade8222ebec2706082674

Open source SuperPMI

OVERVIEW
========

This directory contains the SuperPMI tool used for testing the .NET
just-in-time (JIT) compiler.

SuperPMI has two uses:
1. Verification that a JIT code change doesn't cause any asserts.
2. Finding test code where two JIT compilers generate different code, or verifying
that the two compilers generate the same code.

Case dotnet/coreclr#1 is useful for doing quick regression checking when making a source
code change to the JIT compiler. The process is: (a) make a JIT source code
change, (b) run that newly built JIT through a SuperPMI run to verify no
asserts have been introduced.

Case dotnet/coreclr#2 is useful for generating assembly language diffs, to help analyze the
impact of a JIT code change.

SuperPMI works in two phases: collection and playback. In the collection phase,
the system is configured to collect SuperPMI data. Then, run any set of .NET managed
programs. When these managed programs invoke the JIT compiler, SuperPMI gathers and
captures all information passed between the JIT and its .NET host. In the
playback phase, SuperPMI loads the JIT directly, and causes it to compile all
the functions that it previously compiled, but using the collected data to
provide answers to various questions that the JIT needs to ask. The .NET
execution engine (EE) is not invoked at all.

TOOLS
==========

There are two native executable tools: superpmi and mcs. There is a .NET Core
C# program that is built as part of the coreclr repo tests build called
superpmicollect.exe.

All will show a help screen if passed -?.

COLLECTION
==========

Set the following environment variables:

SuperPMIShimLogPath=<full path to an empty temporary directory>
SuperPMIShimPath=<full path to clrjit.dll, the "standalone" JIT>
COMPlus_AltJit=*
COMPlus_AltJitName=superpmi-shim-collector.dll

(On Linux, use libclrjit.so and libsuperpmi-shim-collector.so. On Mac,
use libclrjit.dylib and libsuperpmi-shim-collector.dylib.)

Then, run some managed programs. When done running programs, un-set these variables.

Now, you will have a large number of .mc files. Merge these using the mcs
tool:

mcs -merge base.mch *.mc

One benefit of SuperPMI is the ability to remove duplicated compilations, so
on replay only unique functions are compiled. Use the following to create a
"unique" set of functions:

mcs -removeDup -thin base.mch unique.mch

Note that -thin is not required. However, it will delete all the compilation
result collected during the collection phase, which makes the resulting MCH
file smaller. Those compilation results are not required for playback.

Use the superpmicollect.exe tool to automate and simplify this process.

PLAYBACK
========

Once you have a merged, de-duplicated MCH collection, you can play it back
using:

superpmi unique.mch clrjit.dll

You can do this much faster by utilizing all the processors on your machine,
and replaying in parallel, using:

superpmi -p unique.mch clrjit.dll

REMAINING WORK
=============

The basic of assembly diffing are there, using the "coredistools"
package. The open source build needs to be altered to use this package
to wire up the correct build steps.

[tfs-changeset: 1623347]

Commit migrated from https://github.com/dotnet/coreclr/commit/d85eb92698be624b181ae9685f9cceb09524f75f

Don't inline methods that have tail-prefixed calls.

This commit changes the inlining behavior when the callee has tail-prefixed calls.
The jit was turning tail-prefixed calls in inlinees into normal calls. That means that
in some cases tail prefix wasn't honored. I changed the code to not inline such callees.
This matches the behavior of the legacy x64 jit. A possible improvement would be to allow
inlining when the tail-prefixed calls in the inlinee could still be dispatched as tail calls from the caller.

I enabled TailcallVerifyWithPrefix set of tests. They were disabled because Condition8.Test1, Condition8.Test2,
and Condition8.Test3 used varargs calling convention. I commented out code that was calling those tests.
I didn't delete them in case CoreCLR will support varargs in the future.

I also turned on Condition21.Test1, Condition21.Test2, Condition21.Test3, Condition21.Test6, and Condition21.Test7.
Condition21.Test3 is the test that was failing because the jit was inlining calees with tail-prefixed calls.
The other Condition21 tests above were passing and just weren't called.

Commit migrated from https://github.com/dotnet/coreclr/commit/52184be2ba019275e8a0193e14528eb03f9758ab

Use getBootstrapPublishRid function to override __PUBLISH_RID while bringing up new platforms

Commit migrated from https://github.com/dotnet/coreclr/commit/349add9a62ff44fae1a9e84b4425e6c6d4901d89

1. Enable machine data collection.
2. Upload generated machinedata.json and all perf-*.xml files to /artifact/ Jenkins dir.
3. Enable InstRetired.
4. Force the perf runs to use physical machines.
5. Add test name, and benchmark InstRetired to the console output per Eugene's request.

Commit migrated from https://github.com/dotnet/coreclr/commit/2ebf42803190ea75ade8a415be24717a163e18e2

Support MSBuild on opensuse.42.1-x64

Commit migrated from https://github.com/dotnet/coreclr/commit/31c58c7e8a2d60add47370ee50cf4d19a796ba89

Add a run for opensuse 42.1

Commit migrated from https://github.com/dotnet/coreclr/commit/579e2d095928c141069434c28191b3caccfa5557

Merge pull request dotnet/coreclr#6813 from CarolEidt/FixArmCrossgen

Fix One Arm64 crossgen failure

Commit migrated from https://github.com/dotnet/coreclr/commit/9834cd1656c7d829a9247cf55d63d29b7ca0b4e8

Merge pull request dotnet/coreclr#6811 from mellinoe/update-buildtools

Update buildtools to 1.0.26-prerelease-00718-04, remove duplicate props

Commit migrated from https://github.com/dotnet/coreclr/commit/57211f039be0a860ae938e7b28f124c1ae6e1f32

Automate the perf data collection for JIT CodeQuality benchmarks on Windows.

Fix a quote.

Commit migrated from https://github.com/dotnet/coreclr/commit/e2f9a0f485f9f8dc35eda6bf8ffea7c3310c9c0c

Merge pull request dotnet/coreclr#6812 from kouvel/Api

Expose some types deriving from SafeHandle

Commit migrated from https://github.com/dotnet/coreclr/commit/5e3ff714af876367eff9ab91781c92bdc118edb6

Fix dstCount of GT_RETURNTRAP

Commit migrated from https://github.com/dotnet/coreclr/commit/9748eeaca851a051e2f6ee6d56f5578ff8e49080

Fix Arm64 crossgen

The type of the ADDR node needs to be set to TYP_BYREF for arm64.
For x64/ux, oddly, it requires the struct type. I added a TODO-Cleanu8p
comment because a GT_ADDR should never be TYP_STRUCT.

Commit migrated from https://github.com/dotnet/coreclr/commit/1ca8b494fe38145f04753adc341d965f2bb328d6