Fix security annotation

[tfs-changeset: 1624088]

Cleanup/optimize many string.Compare overloads, part 1 (#6603)

Cleanup, optimize some String.Compare overloads

Remove idiv from ThreadPoolWorkQueue:Dequeue loop (#6781)

Merge pull request #6883 from gkhanna79/WinArm32

Enable Windows Arm32 build

Better lazy initialization for Encoding static properties (#6890)

Better lazy initialization for Encoding static properties

Remove extra TypeForward from facade to fix ConfiguredTaskAwaiter (#6899)

Fix #3554. (#6880)

On x86, `emitter::emitInsBinary` was calling `genProduceReg` on the
`dst` tree if the source was a contained class field load and the
destination was a register. As per the comment on the offending
function, it is the caller's responsibility to call `genProduceReg`
for the destination register, if any. This was causing errors in
GC ref reporting on x86. This issue did not appear on x64 because
AFAICT we very nearly always morph class field loads into loads of
a `CNS_INT` handle (see morph.cpp:6344 in `fgMorphField` for
details).

Add single separator String.Split overloads (#895)

Merge pull request #6859 from adiaaida/addNMakeOption

Update build to optionally configure with nmake

Update build to optionally configure with nmake

For formatting, we want to be able to obtain the compile_commands.json
file so that we do not have to 1) do a full build of coreclr and 2)
generate it ourselves from the build log. This change modifies build.cmd
to take an option "usenmakemakefiles." This option will set
__NMakeMakefiles to 1, which is used by the gen-buildsys-win.bat script.
This option also sets all the same options as configureonly, as we cannot
do a full build using NMake Makefiles, and we only want to use this to
force CMake to generate a compile_commands.json file for the jit
directory, which it can do using NMake Makefiles, but not Visual Studio.
The update to gen-buildsys-win.bat checks the value of __NMakeMakefiles,
and if it is set to 1, it sets the CMake Generator to NMake Makefiles.

Merge pull request #6896 from dotnet-bot/from-tfs

Merge changes from TFS

Disabling test against issue 6553 (#6895)

Allow Ubuntu 16.10 to use MSBuild (#6897)

Handle multi-reg PUTARG_STK nodes. (#6870)

* Handle multi-reg PUTARG_STK nodes.

When FEATURE_MULTIREG_ARGS is true, a GT_PUTARG_STK node may have a
GT_LIST as a child if the child was originally a multi-reg argument.
Handle this case in `GenTreeUseEdgeIterator`.

Fixes #6583.

* Update the bug number for some ARM64 failures.

These tests are now failing due to a differnt bug.

Merge pull request #6894 from adiaaida/morphingLongCall

Remove NYI for helper calls with long return types

Some minor changes.

Merge pull request #6887 from BruceForstall/Fix6588a

Fix local var ref counts in IND/STOREIND decomposition

Merge pull request #6866 from tarekgh/GlobalizationPorting1

Enable more code under globalization for netcore

Fix full framework build

[tfs-changeset: 1623920]

Remove NYI for helper calls with long return types

The LIR changes fixed the bug in the decomp and the dumper for morphing
nodes into helper calls with long return types, so this NYI can be
removed.

Merge pull request #6882 from rahku/arm64tests

ARM64: update tests.lst

Initial commit to build Win32 Arm CoreCLR

Merge pull request #6851 from ramarag/unifytestbuild

Changing The way Coreclr Test Builds

Merge pull request #6885 from BruceForstall/FixLIRComments

Fix DecomposeStoreInd comments

Merge pull request #6869 from joperezr/AddingTimeZone

Adding System.TimeZone

Module.Name: Avoid unnecessary char[] allocation (#6865)

Instead of `new string(s.ToCharArray(), i + 1, s.Length - i - 1)`, use
the simpler `string.Substring(i + 1)` to avoid the unnecessary
intermediate char[] allocation.

DateTimeFormat: Avoid intermediate char[] allocation (#6863)

An unnecessary intermediate char[] allocation can be avoided by calling
`new string(c, 1)` instead of `new string(new char[] { c })`.

Allow to use clang 3.9 in build.sh (#6888)

Can be found e.g. in Debian Sid.

  Infra changes to unify the  tests to be built against a common project.json.
   1. tests\src\Common\test_dependencies\project.json - To consume corefx and other nuget feeds

   2. tests\src\Common\empty\project.json - To build against the mscorlib facade,to use this just Add
            <ReferenceLocalMscorlib>true</ReferenceLocalMscorlib> to your project

Cosmetic changes, removing unnceseary files and entries in project files.
    Unifying the way project referring mscorlib facade builds

Disable downloading xplat binaries as we no longer need to build these packages in razzle. (#6871)

[tfs-changeset: 1623740]

Fix local var ref counts in IND/STOREIND decomposition

When creating new references to a local variable in long decomposition,
the variable reference count must be incremented.

Fixes #6588

Fix DecomposeStoreInd comments

update tests.lst

Moving baseservices tests to use uber project.json

Bulk moving Tests to use uber project.json

Moving GC tests to use uber project.json

Merge pull request #6873 from BruceForstall/Fix6180

Reenable tests

Merge pull request #6878 from terrajobst/master

Add section on how to file security bugs

Enable more code under globalization for netcore
This fix is to enable the code handling LCID for Windows in globalization namespace

Add section on how to file security bugs

Stop maintaining costs in fgSimpleLowering. (#6872)

This was causing a few asserts on x86.

Merge pull request #6868 from mmitche/disable-node-reuse

Disable node reuse

Merge pull request #6858 from adiaaida/fixBuildsh

Fix ConfigureOnly option in build.sh

Reenable tests

The tests disabled due to the assert in #6180 no longer fail
(possibly as a side-effect of the LIR backend changes?), so
reenable them.

Disable node reuse

Merge pull request #6815 from rahku/apicompat

Expose MulticastDelegate.GetObjectData method

Add missing .gitmirror file. (#6864)

[tfs-changeset: 1623730]

Adding System.TimeZone

Fix the ninja build for FC23. (#6861)

Fedora installs ninja under the name `ninja-build` rather than `ninja`.

Stop maintaining cost estimates in the RyuJIT backend. (#6849)

* Summarize HIR cost estimates on Compiler.

These cost estimates are made on HIR and are not used by the backend.
Stash them before converting the function to LIR and report them at the
end of compilation.

* Stop maintaining costs in the backend.

The backend does not use the tree cost estimates.

* Remove a bit more cost maintenance.

* Address PR feedback.

Merge pull request #6852 from BruceForstall/Disable4702

Conditionally disable C4702 "unreachable code" warnings

Fix ConfigureOnly option in build.sh

ConfigureOnly is intended to run the CMake to configure the build, but
nothing else. However, when you passed configureonly to build.sh, it set
__SkipConfigure=1, which made it skip the configure step of the build.
This change fixes that by removing that option from the options set my
configureonly, and adds a check right after configure and right before
running the build to exit if we are only configuring.

Adding missing members on System Namespace (#6818)

Adding missing members on System Namespace

Merge pull request #6664 from dagood/update-existing-pr

Use versions repo tooling from BuildTools

Merge pull request #6848 from BruceForstall/FixArm64SuperPmi2

Fix superpmi arm64 build

Merge pull request #6846 from BruceForstall/FixSuperPmiX86

Reenable superpmi test for x86

Conditionally disable C4702 "unreachable code" warnings

The CLR header file check.h, macro CHECK_MSG_EX, can create unreachable code if the LEAVE_DEBUG_ONLY_CODE
macro is not empty (such as it is defined in contract.h) and the _RESULT macro expands to "return".
Checked-in compilers used by the TFS-based desktop build (e.g., version 18.10.40116.8) started reporting
unreachable code warnings when debugholder.h was changed to no longer #define "return" to something relatively
complex. However, newer compilers, such as Visual Studio 2015, used to build the CLR from the open source
GitHub repo, still do not report this warning. We don't want to disable this warning for the open source build,
which will use a newer compiler. Hence, only disable it for older compilers.

Fix SOS build break from PR #6838. (#6845)

[tfs-changeset: 1623588]

Merge pull request #6847 from jhendrixMSFT/master

Use the "open" key for strong-name signing SOS.NETCore.dll.

Adding the missing string function to model.xml (#6694)

* Adding + stubbing out the missing Globalization functions
* Doing the correct native implementation now...

Merge pull request #6850 from mmitche/fix-regex

Fix regex

Fix regex

Merge pull request #6822 from smile21prc/coreclr-perf

Automate enhancement on the perf data collection for JIT CodeQuality benchmarks on Windows.

Fix superpmi arm64 build

Use the "open" key for strong-name signing SOS.NETCore.dll.

Switch to using the OSS strong name instead of the default MSFT one.

Reenable superpmi test for x86

Replace Roslyn CscBench with Bytemark, since CscBench fails with
an inlining assert (opened as issue #6844) on x86.

Remove fgDebugCheckLinear{Tree,NodeLinks}. (#6842)

These functions are not necessary for LIR.

Use versions repo tooling from BuildTools.

Sets up dependencies.props config. Removes UpdateDependencies powershell script, to be replaced by a call into VersionTools in Maestro automation. Changes UpdatePublishedVersions to pass through to VersionTools for backward compatibility.

Merge pull request #6840 from hann013/t-hazhan/SuppressIldasmAttribute

Added SuppressIldasmAttribute

Merge pull request #6821 from mellinoe/opensuse421

Add a CI job for openSUSE 42.1

Added SuppressIldasmAttribute to mscorlib and model.xml

Merge pull request #6806 from wateret/fix-hfa

[ARM/Linux] Fix HFA structs

Further optimizations for String.Join, String.Concat (#6800)

* Apply length-1 optimization to Join(string, object[])
* Apply length-1 optimization to Concat(IEnumerable<string>)
* Apply length-1 optimization to Concat(IEnumerable<T>)
* Apply lengths 0/1 optimizations to Concat(object[]), Concat(string[])

[ARM/Linux] Fix HFA structs

Re-enable FEATURE_MULTIREG_RET for ARM32 which was disabled by #6467.

Fix #6677

Merge pull request #6832 from dotnet-bot/from-tfs

Merge changes from TFS

Merge remote-tracking branch 'upstream/master' into from-tfs

Disable SuperPMI unit test for x86 legacy backend

[tfs-changeset: 1623421]

SuperPMI: fix ARM build break

[tfs-changeset: 1623419]

Assert that any node with a non-zero dstCount produces a value. (#6827)

* Assert that any node with a non-zero dstCount produces a value.

The register allocator will otherwise misallocate, as such nodes will
produce an unconsumed value.

* Fix the dstCount for GT_RETFILT.

Disable superpmi test for RyuJIT/x86

[tfs-changeset: 1623413]

Fix build break related to LogException requiring non-empty varargs arguments

[tfs-changeset: 1623412]

Fix ARM64 build breakage (#6819)

Delete CanChangeType from model.xml

[tfs-changeset: 1623392]

Fix build breaks and warnings in internal build

[tfs-changeset: 1623382]

Merge pull request #6793 from erozenfeld/TailCallInCalleeInlining

Don't inline methods that have tail-prefixed calls.

Fix casing of DaylightTime.cs

[tfs-changeset: 1623368]

Merge pull request #6799 from adityamandaleeka/osx_ci_dumps

Enable additional functionality for OS X CI dumps.

Merge pull request #6816 from CarolEidt/FixArmCrossgen2

Fix dstCount of GT_RETURNTRAP for Arm64

Instead of checking in these python tools, pull them from Nuget package instead.

Create SOS SymbolReader managed project and change SOS to use it. (#6783)

* Change SOS to use wrapper class that is now in System.Diagnostics.StackTrace.

The portable PDB helper code for SOS source/line support has been moved from
System.Diagnostics.Debug.SymbolReader to a new managed SOS project in the coreclr
repo called SOS.NETCore.

The public APIs have now been made internal.

Plumb through the loaded PE address to the managed SymbolReader functions so it can be used as a key.

Fixed a stack trashing/overflow when a unresolved managed breakpoint is resolved because one of the
module name buffers was too small (MAX_PATH_FNAME). Changed it (and others) to MAXLONGPATH.

SOS now works with Portable PDBs on Windows.

New dac private get module data request. Used to get the necessary info for portable PDBs.

SOS now supports in-memory PE's on xplat and Windows. Needed to get and plumb though the in-memory
PE layout where it is file based or loaded.

Better Windows GetLineByILOffset support. Uses the SymbolReader and now works with in-memory PEs.

Misc code formatting and general cleanup.

* Code review feedback.

Open source SuperPMI

OVERVIEW
========

This directory contains the SuperPMI tool used for testing the .NET
just-in-time (JIT) compiler.

SuperPMI has two uses:
1. Verification that a JIT code change doesn't cause any asserts.
2. Finding test code where two JIT compilers generate different code, or verifying
that the two compilers generate the same code.

Case #1 is useful for doing quick regression checking when making a source
code change to the JIT compiler. The process is: (a) make a JIT source code
change, (b) run that newly built JIT through a SuperPMI run to verify no
asserts have been introduced.

Case #2 is useful for generating assembly language diffs, to help analyze the
impact of a JIT code change.

SuperPMI works in two phases: collection and playback. In the collection phase,
the system is configured to collect SuperPMI data. Then, run any set of .NET managed
programs. When these managed programs invoke the JIT compiler, SuperPMI gathers and
captures all information passed between the JIT and its .NET host. In the
playback phase, SuperPMI loads the JIT directly, and causes it to compile all
the functions that it previously compiled, but using the collected data to
provide answers to various questions that the JIT needs to ask. The .NET
execution engine (EE) is not invoked at all.

TOOLS
==========

There are two native executable tools: superpmi and mcs. There is a .NET Core
C# program that is built as part of the coreclr repo tests build called
superpmicollect.exe.

All will show a help screen if passed -?.

COLLECTION
==========

Set the following environment variables:

SuperPMIShimLogPath=<full path to an empty temporary directory>
SuperPMIShimPath=<full path to clrjit.dll, the "standalone" JIT>
COMPlus_AltJit=*
COMPlus_AltJitName=superpmi-shim-collector.dll

(On Linux, use libclrjit.so and libsuperpmi-shim-collector.so. On Mac,
use libclrjit.dylib and libsuperpmi-shim-collector.dylib.)

Then, run some managed programs. When done running programs, un-set these variables.

Now, you will have a large number of .mc files. Merge these using the mcs
tool:

mcs -merge base.mch *.mc

One benefit of SuperPMI is the ability to remove duplicated compilations, so
on replay only unique functions are compiled. Use the following to create a
"unique" set of functions:

mcs -removeDup -thin base.mch unique.mch

Note that -thin is not required. However, it will delete all the compilation
result collected during the collection phase, which makes the resulting MCH
file smaller. Those compilation results are not required for playback.

Use the superpmicollect.exe tool to automate and simplify this process.

PLAYBACK
========

Once you have a merged, de-duplicated MCH collection, you can play it back
using:

superpmi unique.mch clrjit.dll

You can do this much faster by utilizing all the processors on your machine,
and replaying in parallel, using:

superpmi -p unique.mch clrjit.dll

REMAINING WORK
=============

The basic of assembly diffing are there, using the "coredistools"
package. The open source build needs to be altered to use this package
to wire up the correct build steps.

[tfs-changeset: 1623347]

Don't inline methods that have tail-prefixed calls.

This commit changes the inlining behavior when the callee has tail-prefixed calls.
The jit was turning tail-prefixed calls in inlinees into normal calls. That means that
in some cases tail prefix wasn't honored. I changed the code to not inline such callees.
This matches the behavior of the legacy x64 jit. A possible improvement would be to allow
inlining when the tail-prefixed calls in the inlinee could still be dispatched as tail calls from the caller.

I enabled TailcallVerifyWithPrefix set of tests. They were disabled because Condition8.Test1, Condition8.Test2,
and Condition8.Test3 used varargs calling convention. I commented out code that was calling those tests.
I didn't delete them in case CoreCLR will support varargs in the future.

I also turned on Condition21.Test1, Condition21.Test2, Condition21.Test3, Condition21.Test6, and Condition21.Test7.
Condition21.Test3 is the test that was failing because the jit was inlining calees with tail-prefixed calls.
The other Condition21 tests above were passing and just weren't called.

Use getBootstrapPublishRid function to override __PUBLISH_RID while bringing up new platforms

1. Enable machine data collection.
2. Upload generated machinedata.json and all perf-*.xml files to /artifact/ Jenkins dir.
3. Enable InstRetired.
4. Force the perf runs to use physical machines.
5. Add test name, and benchmark InstRetired to the console output per Eugene's request.

Support MSBuild on opensuse.42.1-x64

Add a run for opensuse 42.1

Merge pull request #6813 from CarolEidt/FixArmCrossgen

Fix One Arm64 crossgen failure

Merge pull request #6811 from mellinoe/update-buildtools

Update buildtools to 1.0.26-prerelease-00718-04, remove duplicate props

Automate the perf data collection for JIT CodeQuality benchmarks on Windows.

Fix a quote.