Merge pull request #7312 from adiaaida/improveFormattingVerbosity

Improve formatting job output

Improve formatting job output

To make it more clear where there are formatting errors, have format.py
print what commands the user needs to run to fix the formatting errors in
their PR.

Merge pull request #7311 from adiaaida/fixutilsformatting

Fix formatting in utils.cpp

Fix formatting in utils.cpp

Supports cross build configuration override (#7307)

Merge pull request #7304 from dotnet-bot/from-tfs

Merge changes from TFS

Generate CrossGen Pdbs as part of bulid (#7298)

This change has two parts.  The first part changes build.cmd and the pkgproj
so that as part of generating a .NET Core package we also generate the PDBS
for the Native System.Private.Corelib.ni.dll.

The second part changes crossgen so that it marks the Native Images as having
a list of 0 exports.   This is important because we want the generated PDBs
to be naturally published on the symbol server, and currently the symbol server
skips DLLs what are 'resource only' (no imports or exports).   Because native
images don't use 'normal' PE imports and exports, they get optimized away
by the symbol server.  Making a empy list of exports fixes this.

Display histogram of total memory per method when MEASURE_MEM_ALLOC is on. (#7286)

* Display histogram of total memory per method when MEASURE_MEM_ALLOC is on.

Merge pull request #7285 from sivarv/internalReg

 Support Lower to reserve internal register(s) different from targetReg.

Add missing contracts on GCHeapUtilities

[tfs-changeset: 1628632]

Merge pull request #7302 from adiaaida/moreFormatting

Fix formatting in ssabuilder

Support Lower to reserve internal register(s) different from targetReg.

Merge pull request #7299 from tarekgh/MarkCultureInfoMethodsAsPublic

Mark some CultureInfo methods as public

Fix formatting in ssabuilder

The formatting changes missed the new changes to ssabuilder. Format that
file.

Merge pull request #7291 from adiaaida/format

Reformat jit source base and turn on formatting jobs for PR

Merge pull request #7284 from gkhanna79/Ver120

Update Nuget package versions to 1.2.0

Mark some CultureInfo methods as public

We are exposing such APIs now so we need them to be public

Fix formatting job for Ubuntu

The change to move to the newer version of the CLI for coreclr causes
something to look for a config.json file in the current directory (rather
than the directory where the build.sh script resides), forcing build.sh to
be run from the base coreclr dir (you can't run it from any other
location), so changing directories to the jitutils bin directory would
cause the build to fail, failing the jit-format run. This change fixes the
format.py script to build the full path to the jit-format executable and
then run it from the coreclr directory, rather than changing to the utils
bin dir and running jit-format from there.

Make formatting jobs required for PR

Fix conflicts between nix and Windows formatting

Reformat jit code on OSX

Reformat jit code for Windows x64

Merge pull request #7191 from erozenfeld/SSAStackOverflow

Fix for StackOverflow in SsaBuilder::TopologicalSort.

Fix OS X build break with AppleClang 8.0.0 (#7292)

Fixes issue #7275

Merge pull request #7293 from CarolEidt/FixArmObj

Fix Arm64 codegen to use GT_FIELD_LIST

Merge pull request #7289 from CarolEidt/Fix7196

Fix Issue 7196: No extra internal regs for block nodes

Fix Arm64 codegen to use GT_FIELD_LIST

In #7252 changing GT_LIST to GT_FIELD_LIST when passing struct fields,
I omitted some required changes to codegenarm64.cpp. This caused the
crossgen of System.Private.CoreLib.dll to fail.

Fix for StackOverflow in SsaBuilder::TopologicalSort.

SsaBuilder::TopologicalSort allocated an array of bools on the stack.
In one of internal cases the array had 126,758 elements, which caused a
StackOverflow. This change switches SsaBuilder::TopologicalSort from
stack-allocated array of bools to BitVec.

TopologicalSortHelper used to be recursive. It was changed to use an iterative
algorithm in a previous change. I'm inlining TopologicalSortHelper into
TopologicalSort now.

I verified no measurable negative throughput impact from this change
and no asm diffs in SuperPMI.

Fix Issue 7196: No extra internal regs for block nodes

There is some possibly obsolete code that copies the internal registers
for a GT_IND onto the address node as well. With the struct IR changes,
the block nodes (e.g. GT_STORE_BLK) also return true for OperIsIndir(),
so they were getting the internal registers copied over from their address
node. This led to an assert on Arm64.

Fix #7196

Fix CrossGen error reporting when input is missing (#7287)

Currently, running "crossgen foo.dll" when foo.dll does not exist produces
a misleading error message "The image being compiled is not a .NET assembly".
The reason is CrossGen ignores the actual error code reported during
initial asssembly load and verification, and always reports the error as
NGEN_E_FILE_NOT_ASSEMBLY. This change removes that logic, since the original
error code is much more likely to be useful.

If out some dead code in System.Array for FEATURE_CORECLR (#7288)

Clean up GenTree node size dumping code. (#7278)

Clean up GenTreeXxxx struct size dump; fix 32-bit build when MEASURE_NODE_SIZE is enabled.

Merge pull request #7280 from JosephTremoulet/BoundsCheckDisable

Respect JitNoRangeChks flag in RyuJit

Update Nuget package versions to 1.2.0

Merge pull request #7252 from CarolEidt/x86GtObj

Support GT_OBJ for x86

Fix launch timing issue in dbgshim found in VS. (#7279)

Issue #7274.

Respect JitNoRangeChks flag in RyuJit

Honor this config flag by having assertion prop treat all bounds check
nodes as redundant when it is set.

Also change the flag's lookup options to `REGUTIL_default` to match the
rest of the jit-focused flags.

Note that support for this flag is conditional on having the preprocessor
flag `FEATURE_ENABLE_NO_RANGE_CHECKS` defined, which requires a custom
build with line 199 of inc/switches.h un-commented (or with compile flags
altered to include `-DFEATURE_ENABLE_NO_RANGE_CHECKS`) -- the purpose of
the flag is to facilitate experiments to estimate the cumulative cost of
bounds checking in various workloads.

Support GT_OBJ for x86

Add support for GT_OBJ for x86, and allow them to be transformed into a list
of fields (in morph) if it is a promoted struct. Add a new list type for
this (GT_FIELD_LIST) with the type and offset, and use it for the multireg
arg passing as well for consistency.
Also refactor fgMorphArgs so that there is a positive check for reMorphing,
rather than relying on gtCallLateArgs, which can be null if there are no
register args.
In codegenxarch, modify the struct passing (genPutStructArgStk) to work for
both the x64/ux and x86 case, including the option of pushing fields onto
the stack.
Eliminate the redundant INS_movs_ptr, and replace with the pre-existing
INS_movsp.

Upgrade CLI, buildtools for RTM shared framework. (#7045)

mute EH failures exposed by LTO (#7267)

It does this by using a no-inline, no-opt function that takes in
the volatile pointer and performing operation that generates h/w
exception. The function has a runtime check on the volatile pointer to
pretend to throw (but never does), which fools the C++ runtime into
handling the h/w exception.

Merge pull request #7268 from vancem/master

Fix Bad NGEN Pdbs for ReadyToRun images

Merge pull request #7181 from ramarag/CompilerServices

Adding Compiler services APIs

Create long-named DAC and SOS DLLs for Windows. (#7265)

Issue #5869

Fix GC Stress testing on non windows platforms

test FixedAddressValueType and RuntimeWrappedException

FixBadReadyToRunPdb.9-19-16

Merge pull request #7232 from pgavlin/gh4186

Implement indirect VSD calls for x86.

Add option for showing GT_xxx operator counts. (#7262)

Fix a bug in LIR::Use::ReplaceWith.

Expose missing public field on Debugger (#7258)

Fill out SecurityException with stubs (#7250)

Merge pull request #7237 from swaroop-sridhar/gc86legacy

X86 GcEncode: Support V1 and V2 encodings

Mark GT_IND nodes that represent VSD targets.

The operand to such a node must be materialized into a register on
certain platforms. This change defines a new IND-specific flag,
GTF_IND_VSD_TGT, and uses that flag to indicate that a particular
GT_IND node represents a VSD target. This flag is then observed by
lowering on the necessary platforms in order to short circuit the
logic that attempts to make the GT_IND's operand contained.

X86 GcEncode: Support V1 and V2 encodings

The RYU+LegacyBackend Desktop JIT for X86 is still on V1.
So, permit both V1 and V2 encodings in gcencode.cpp.

Exposing Type.GetTypeFromHandleUnsafe from model.xml (#7249)

Exposing Type.GetTypeFromHandleUnsafe from model.xml

Version: Make fields readonly and delete duplicate code (#7246)

Change `Version`'s fields to `readonly` to better guarantee its
immutability, and remove duplicate code.

Prevent source line info from being released (#7222)

Exposing IUnknownConstantAttribute

Exposing Remaining CompilerServices Apis in mscorlib

Exposing ExecuteCodeWithGuaranteedCleanup in mscorlib

Exposing RunModuleConstructor in mscorlib

Merge pull request #7238 from dotnet/mellinoe-patch-1

Add an Ubuntu 16.10 badge to README.md

Address PR feedback.

Merge pull request #7169 from adiaaida/shiftCnsInt

Add optimization for shift by CNS_INT

Add an Ubuntu 16.10 badge to README.md

Merge pull request #7233 from mellinoe/ubuntu1610-ci

Add Ubuntu 16.10 to CI

Add few System.Reflection APIs (#7193)

* Add few remaining exposable System.Reflection APIs

Add optimization for shift by CNS_INT

This change adds support for shifting by a GT_CNS_INT without going
through a helper. If the shiftOp is a GT_CNS_INT we do several
transformations based on the shift amount:

If the shift amount is 0, the shift is a nop, so we just put together the
hi and lo ops as a GT_LONG.

If the shift amount is < 32, we generate a shl/shld pattern, a shr/shrd
pattern or a sar/shrd pattern, depending on the oper. The first operand of
the shrd/shld is a GT_LONG, which we crack in codegen, using it
essentially as two int operands, rather than creating a tri op GenTree
node (essentially so that we can have 3 operands, instead of the normal
two).

If the shift amount is 32, it differs between shifting left and shifting
right. For GT_LSH, we move the loOp into the hiResult and set the loResult
to 0. For GT_RSZ, we move the hiOp into the loResult, and set the hiResult
to 0. For GT_RSH, we move the hiOp into the loResult, and set the hiResult
to a 31 bit signed shift of the hiOp to sign extend.

If the shift amount is less than 64, but larger than 32: for GT_LSH, the
hiResult is a shift of the loOp by shift amount - 32 (the move from lo into hi is
the 32 bit shift). We set the loResult to 0. For GT_RSH and GT_RSZ, the
loResult is a right shift (signed for GT_RSH) of the hiOp by shift amount
- 32. The hiResult is 0 for GT_RSZ, and a 31 bit signed shift of hiOp1 for
GT_RSH.

If the shift amount is >= 64, we set both hiResult and loResult to 0 for
GT_LSH and GT_RSZ, and do a sign extend shift to set hiResult and loResult
to the sign of the original hiOp for GT_RSH.

Add Ubuntu 16.10 to CI

Implement indirect VSD calls for x86.

Indirect VSD calls on x86 require not only that the address of the
VSD indirection cell is passed to the stub in EAX, but also that the
call instruction is
a) preceeded by a 3-byte NOP, and
b) exactly `call [eax]`.

On x64, these types of calls only require that the indirection cell
address is passed in R11 (i.e. they do not require the generation of
a specific call instruction encoding). The RyuJIT IR is therefore
able to represent such calls succinctly as something like:

    t72 =    lclVar    ref    V04 loc1         u:3 (last use) $240

           /--*  t72    ref
    t295 = *  putarg_reg ref

    t202 =    lclVar    long   V09 tmp4         u:4 $382

           /--*  t202   long
    t296 = *  putarg_reg long

    t106 =    lclVar    long   V09 tmp4         u:4 (last use) $382

           /--*  t106   long
    t297 = *  indir     long

           /--*  t295   ref    this in rcx
           +--*  t296   long   arg1 in r11
           +--*  t297   long   calli tgt
    t107 = *  call ind stub ref    $24a

In this form, the address of the indirection cell is in the lclVar
`tmp4`, which is then used by both a `putarg_reg` to move the
argument into R11 and by the indirection that generates the call
target. Because there are a relatively large number of registers on
x64, this works out nicely: the address of the indirection cell is
frequently allocated to R11, few extraneous copies are required,
and the code generator produces `call [r11]` for the call instruction.

Unfortunately, the situation is not so straightforward on x86: not
only must code generator must both pass the address of the indirection
cell in EAX and produce the specific call form mentioned earlier,
but there are also far fewer available registers. As a result, the
address of the indirection cell is infrequently allocated to EAX and
(barring an implicit understanding in the code generator that a
previous putarg_reg has placed the address of the indirection cell
into EAX) requires a redundant `mov eax, ...` before the call.

Ideally, we would be able to store the address of the indirection cell
to a local with a very short lifetime and pre-allocate that local to
EAX, but the IR does not have that capability, and adding it now
seems to be prohibitively expensive. Instead, this change omits the
`putarg_reg` used to put the the indirection cell address into the
required register on other platforms and simply uses the `calli tgt`
operand to the call to represent both the non-standard argument and
the call target:

    t40 =    lclVar    ref    V04 loc1         u:3 $1c0

           /--*  t40    ref
    t280 = *  putarg_reg ref

    t70 =    lclVar    int    V06 loc3         u:4 (last use) $2c1

           /--*  t70    int
    t281 = *  indir     int

           /--*  t280   ref    this in ecx
           +--*  t281   int    calli tgt
    t71 = *  call ind stub ref    $1c6

Lowering then marks the indirection as contained and sets the
destination candidates for its operand to EAX.

Enable Building Libraries for ilproj

Option for reporting GenTree operator bashing stats (#7152)

* Add option (off by default) to report GenTree operator bashing stats.

Merge pull request #7212 from joperezr/FixmscorlibRef

Remove unwanted String.Split methods from Reference assembly

Merge pull request #7170 from pgavlin/gh7144

Refactor call arg table updates.

Merge pull request #7194 from sivarv/jitstressregs1or8Fix

Fix to issues #7167, 7094 and 7143

Minor fix in GC section of BOTR

Refactor call arg table updates.

When a call argument is replaced by a new node, the corresponding entry
in the call's argument table must be replaced. Managing this replacement
was a bit ad-hoc: there were a (small) number of places throughout the
compiler that needed to do so, and each determined whether or not to
call the udpate method (`fgFixupArgTabEntryPtr`) independently. The
update method has been removed and its functionality replaced with a
new method, `GenTree::ReplaceOperand`, which will update the call
argument table iff the replaced node is a call argument.

Adding new Split members with defaults

Fix LSRA stress modes not to constrain candidates to below the
required limit.

Merge pull request #7213 from dotnet/revert-7123-WinArm32CI

Revert "Enable Win32Arm CI support"

Revert "Enable Win32Arm CI support"

Remove unwanted String.Split methods from Reference assembly

Merge pull request #7159 from JosephTremoulet/HelperHoist

Recognize mod-free helper calls in loop hoisting

Update the GC from CoreRT (#7207)

Merge pull request #7123 from gkhanna79/WinArm32CI

Enable Win32Arm CI support

Recognize mod-free helper calls in loop hoisting

Update the code in `optHoistLoopExprsForTree` that identifies exprs with
memory side-effects to recognize helper calls that don't mutate the heap;
this allows hoisting invariant exprs past such helper calls.

Fixes #6901.

Merge pull request #7162 from JosephTremoulet/VolatileTest

Add missing volatile annotation to test

Harden test against JIT optimizations

Declare static field `finalizerCompletedOnce` volatile -- this test has a
side-effect-free busy-loop which checks that static variable for a change it
expects a finalizer to make to it; this static field must be volatile to
ensure the jit doesn't hoist the load from the loop.

Call GC.KeepAlive on the objects constructed in the various allocation
loops in this test, to make sure that the entire allocation isn't
optimized away.

Merge pull request #7201 from JosephTremoulet/MscVer

Update _MSC_FULL_VER check for constexpr handling

Merge pull request #7179 from dotnet-bot/master-UpdateDependencies

Update CoreClr, CoreFx, External to beta-24515-02, beta-24514-06, beta-24514-00, respectively (master)

Update _MSC_FULL_VER check for constexpr handling

Previously the code was comparing against 190024210 (VS2015 Update 3).
Update it to instead compare against 190024315, the last pre-release build
before C++14 constexpr support got added; this fixes compilation using
pre-release MSVC compilers between 24210 and 24315.

Fixes #6642.

Override CopyTo in MemoryStream (#7131)

* Cache some virtual method calls in Stream.ValidateCopyToArguments
* Add override of Stream.CopyTo to MemoryStream

Update CoreClr, CoreFx, External to beta-24515-02, beta-24514-06, beta-24514-00, respectively

Minor String.Split cleanup to align more closely with CoreRT (#7185)

Merge pull request #7189 from pgavlin/x86-cmp-long

Implement long compare lowering for x86.

Merge pull request #7188 from CarolEidt/Fix7160

Allow GT_OBJ for Arm64

Merge pull request #6892 from jamesqo/list-optimizations

Copy directly to the internal buffer in List.InsertRange

Address more PR feedback.

Address PR feedback.

Merge pull request #6974 from swaroop-sridhar/gc86

Implement GcInfo v2 for X86