Merge pull request #6560 from dotnet-bot/from-tfs

Merge changes from TFS

Rename ZeroFreeMemoryUTF8 to ZeroFreeCoTaskMemUTF8 in ref (#6561)

Documentation: Additional optimization levels for ARM/Linux (#6548)

This instruction is to enable -Ofast or -Oz optimization level of clang on ARM/Linux.
Below is file-size comparison result of major components among -O3, -Ofast,
and -Oz on ARM/Linux-based Raspberry Pi2 board (Ubuntu/ARM 14.04 32bit).

* Linux/ARM: Release Build + O3(default): stripped , commit: 561b64d2c210b4d999de7f1ac55756704eaba784 (Jul-26-2016)
------------------------------------------------------------------------------------------------------------------
-rwxr-xr-x 1 leemgs leemgs     18,472 Jul 27 16:14 corerun
-rwxr-xr-x 1 leemgs leemgs  1,512,828 Jul 27 18:33 libclrjit.so
-rwxr-xr-x 1 leemgs leemgs  4,525,328 Jul 27 18:33 libcoreclr.so
-rwxr--r-- 1 leemgs leemgs     29,696 Jul 27 00:55 ./mscorlib.dll
-rwxr--r-- 1 leemgs leemgs  2,211,840 Jul 27 00:54 ./System.Private.CoreLib.dll
Total:   8,298,164 bytes

* Linux/ARM: Release Build + Ofast: stripped , commit: 561b64d2c210b4d999de7f1ac55756704eaba784 (Jul-26-2016)
-------------------------------------------------------------------------------------------------------------
-rwxr-xr-x 1 leemgs leemgs    18,496 Jul 26 05:00 ./corerun
-rwxr-xr-x 1 leemgs leemgs 1,512,844 Jul 26 04:59 ./libclrjit.so
-rwxr-xr-x 1 leemgs leemgs 4,525,360 Jul 26 04:59 ./libcoreclr.so
-rwxr--r-- 1 leemgs leemgs    29,696 Jul 26 00:49 ./mscorlib.dll
-rwxr--r-- 1 leemgs leemgs 2,211,840 Jul 26 00:48 ./System.Private.CoreLib.dll
Total:   8,298,236 bytes

* Linux/ARM: Release Build + Oz: stripped , commit: 561b64d2c210b4d999de7f1ac55756704eaba784 (Jul-26-2016)
---------------------------------------------------------------------------------------------------------
-rwxr-xr-x 1 leemgs leemgs    14,400 Jul 29 05:02 ./corerun
-rwxr-xr-x 1 leemgs leemgs 1,181,160 Jul 29 04:40 ./libclrjit.so
-rwxr-xr-x 1 leemgs leemgs 3,407,200 Jul 29 04:40 ./libcoreclr.so
-rwxr--r-- 1 leemgs leemgs    29,696 Jul 29 00:49 ./mscorlib.dll
-rwxr--r-- 1 leemgs leemgs 2,211,840 Jul 29 00:48 ./System.Private.CoreLib.dll
Total:  6,844,296 bytes

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>

Merge pull request #6565 from Priya91/checkrun

Add /m option for builds.

Merge pull request #6533 from pgavlin/LSRA

Replace the LSRA stack with a hash table.

Add /m option for builds.

Merge pull request #6546 from pgavlin/LivenessCleanup

Refactor fgComputeLife.

Add function headers for new liveness methods.

In particular, `Compiler::fgComputeLife{Call,Local}` now have function
headers.

Merge pull request #6557 from Priya91/runfix

Fix errors in build scripts from run tool update.

Merge pull request #6366 from pgavlin/RemoveEmbeddedStatementsPlan

Add the proposal for embedded statement removal.

Replace the LSRA stack with a hash table.

LSRA currently uses a stack to find the `LocationInfo` for each register consumed
by a node. The changes in this stack's contents given a particular node are
governed by three factors:
- The number of registers the node consumes (`gtLsraInfo.srcCount`)
- The number of registers the node produces (`gtLstaInfo.dstCount`)
- Whether or not the node produces an unused value (`gtLsraInfo.isLocalDefUse`)

In all cases, `gtLsraInfo.srcCount` values are popped off of the stack in the
order in which they were pushed (i.e. in FIFO rather than LIFO order). If the
node produces a value that will be used, `gtLsraInfo.dstCount` values are
then pushed onto the stack. If the node produces an unused value, nothing is
pushed onto the stack.

Naively, it would appear that the number of registers a node consumes would be
at least the count of the node's non-leaf operands (to put it differently, one
might assume that any non-leaf operator that produces a value would define at
least one register). However, contained nodes complicate the situation: because
a contained node's execution is subsumed by its user, the contained node's
sources become sources for its user and the contained node does not define any
registers. As a result, both the number of registers consumed and the number of
registers produced by a contained node are 0. Thus, contained nodes do not
update the stack, and the node's parent (if it is not also contained) will
pop the values produced by the contained node's operands. Logically speaking,
it is as if a contained node defines the transitive closure of the registers
defined by its own non-contained operands.

The use of the stack relies on the property that even in linear order the
JIT's IR is still tree ordered. That is to say, given an operator and its
operands, any nodes that execute between any two operands do not produce
SDSU temps that are consumed after the second operand. IR with such a
shape would unbalance the stack.

The planned move to the LIR design given in #6366 removes the tree order
constraint in order to simplify understanding and manipulating the IR in the
backend. Because LIR may not be tree ordered, LSRA may no longer use a stack
to find the `LocationInfo` for a node's operands. This change replaces the
stack with a map from nodes to lists of `LocationInfo` values, each of
which describes a register that is logically defined (if not physically
defined) by that node. Only contained nodes logically define registers that
they do not physically define: contained nodes map to the list of
`LocationInfo` values logically defined by their operands. All non-contained
nodes map to the list of `LocationInfo` values that they physically define.
Non-contained nodes that do not define any registers are not inserted into
the map.

Add ExtraParameters to config.json to enable --.

Fix errors in build scripts from run tool update.

Initialize `doAgain`.

Refactor fgComputeLife.

- Extract the liveness computations for call and local var nodes out into
  fgComputeLifeCall and fgComputeLifeLocal, respectively.
- Split fgComputeLife into two versions: one for the RyuJIT backend and
  one for the legacy backend. The former leaves out the QMARK/COLON
  processing that is necessary in the latter.

Merge pull request #6491 from adiaaida/formatting2

Massage code for clang-format

Merge pull request #6400 from Priya91/useruntool

Use run tool in coreclr dev workflow.

Update linux-performance-tracing.md

Apply run on recent changes in master.

Respond to PR feedback.

Remove clean option from arm script, which deletes the copied test bits in CI.

Grant 777 for run.sh

Use run tool in coreclr dev workflow.

Merge pull request #6493 from rahku/crossgen

adds testhost package

adds testhost package

Merge pull request #6521 from adityamandaleeka/remove_internal_free

Remove CorUnix::InternalFree from PAL

Merge pull request #6281 from papaslavik/cse_sort_sz

The sort for CSE size optimization should be different from exec

Merge pull request #6515 from kyulee1/fixcontract

Remove useless contract in EventListener

Merge pull request #6479 from dagood/update-dependencies

Using full versions, update CoreFX dependencies to beta-24326-03

Fix a build break.

[tfs-changeset: 1619855]

Using full versions, update CoreFX dependencies to beta-24328-05.

To fix tests, change dnxcore50 -> netcoreapp1.0 and add test_runtime.

Merge pull request #6506 from gkhanna79/FixReflectionLoadContext

Enable RefEmitted assemblies to have Fallback LoadContext notion

Massage code for clang-format

This change starts the process of updating the jit code to make it ready
for being formatted by clang-format. Changes mostly include reflowing
comments that go past our column limit and moving comments around ifdefs
so clang-format does not modify the indentation. Additionally, some
header files are manually reformatted for pointer alignment and marked
as clang-format off so that we do not lose the current formatting.

Merge pull request #6523 from dotnet-bot/UpdateDependencies20160729052446

Updating External dependencies to beta-24329-00

Merge pull request #6499 from ramarag/unc_cwd

Fxing the paths that are resolved relative to a network share

Updating External dependencies to beta-24329-00

Merge pull request #6394 from adityamandaleeka/ymm_save_restore

Save and restore ymm registers in signal handlers.

Merge pull request #6512 from dotnet-bot/UpdateDependencies20160728083626

Updating External dependencies to beta-24328-00

Expose missing members of Array in contract to prep for dotnet/corefx#9998. (#6519)

Merge pull request #6509 from dotnet-bot/from-tfs

Merge changes from TFS

Remove CorUnix::InternalFree.

Merge pull request #6496 from adityamandaleeka/virtual_cleanup

Add in-memory circular buffer for logging virtual memory operations.

Update how we pass parameters when building CoreFx (#6511)

Change how we pass parameters when building CoreFx

Also clear CONTEXT_XSTATE if fpregs aren't available.

Merge pull request #6480 from davmason/master

Merge changes with .net native.

The fix for DisposeOnShutdown is already in here, these are the changes that exist in ProjectN that are not in CoreCLR yet.

Add extended state to RtlRestoreContext

Remove useless contract in EventListener

Fixes https://github.com/dotnet/coreclr/issues/6504

Fxing the paths that are resolved relative to a network share

Updating External dependencies to beta-24328-00

Skip dummy null argument for string constructors under CoreRT ABI (#6498)

Fix for build issue #807024, assemble debug helpers for ARM64.

[tfs-changeset: 1619712]

Enable RefEmitted assemblies to have Fallback LoadContext notion

Merge pull request #6502 from russellhadley/errnoFix

Add errno.h to resolve (internal) build break

Merge pull request #6278 from Dmitri-Botcharnikov/feature-gdbjit

[Linux] GDB JIT support for source line debug information.

Fix a couple of paths related to exception codes. (#6497)

Add in-memory logging for virtual memory operations.

Add errno.h

Merge pull request #6490 from KrzysztofCwalina/ConvertAll

Exposed List<T>.ConvertAll

Rename PCMI->pLast and other cleanup of virtual memory code.

Merge pull request #6484 from CarolEidt/AssertionPropAsserts

Do not propagate bad assertions from unreachable blocks

Exposed List<T>.ConvertAll

Merge pull request #6489 from JohnChen0/master

Update CrossGen doc for "Unable to load Jit" error

GC update from CoreRT (#6487)

https://github.com/dotnet/corert/tree/master/src/Native/gc 35d3eefeb4d14193433a103411526fa869321a82

porting changes from .net native to CoreCLR

Merge pull request #6488 from stephentoub/add_objref_mscorlib

Add IObjectReference to mscorlib ref assembly

Update CrossGen doc for "Unable to load Jit" error

Do not propagate bad assertions from unreachable blocks

Also ensure only valid assertions are utilized.

Add IObjectReference to mscorlib ref assembly

[SOS][ARM/Linux] Enable clru SOS command (#6477)

* Enable clru SOS command on ARM/Linux

* Set thumb bit on ARM/Linux

Optimize the generic string.Join for length 1 collections (#6463)

* Optimize the generic string.Join for length 1 collections
* Keep the call order consistent: MoveNext-Current-ToString
* Convert to do..while loop to reduce code duplication

Merge pull request #6486 from stephentoub/expose_updatevalue

Expose SerializationInfo.UpdateValue for corefx

Expose SerializationInfo.UpdateValue for corefx

ObjectManager in corefx needs to access to SerializationInfo.UpdateValue, which is currently internal.  We don't need to expose UpdateValue in a public contract (which would necessitate adding it to desktop), but by making it public we can give corefx the functionality it needs without needing to move a whole bunch more down from corefx into the runtime.

Add flag to check re-entrancy of JIT notification

Merge pull request #6485 from stephentoub/iobjref_model

Add IObjectReference to model.xml

Add IObjectReference to model.xml

And expose a couple of missing properties on SerializationInfo in the mscorlib facade.

Merge pull request #6467 from briansull/multireg-return2

Enable multireg returns on Arm64

Merge pull request #6401 from AndyAyersMS/PropagateOptMethodFlags

Jit: fix issues with optMethodFlags

Merge pull request #6418 from rahku/crossgen

Do not insert gcstress interrupt instruction at call to JIT_RareDisab…

Enable multireg returns on Arm64

Added method IsMultiRegPassedType and updated IsMultiRegReturnType
Switched these methods to using getArgTypeForStruct and getReturnTypeForStruct
Removed IsRegisterPassable and used IsMultiRegReturned instead.
Converted lvIsMultiregStruct to use getArgTypeForStruct
Renamed varDsc->lvIsMultiregStruct() to compiler->lvaIsMultiregStruct(varDsc)
Skip calling getPrimitiveTypeForStruct when we have a struct larger than 8 bytes
Refactored ReturnTypeDesc::InitializeReturnType
Fixed missing SPK_ByReference case in InitializeReturnType
Fixes for RyiJIt x86 TYP_LONG return types and additional ARM64 work for full multireg support
Added ARM64 guard the uses of MAX_RET_MULTIREG_BYTES with FEATURE_MULTIREG_RET
Fixes for multireg returns in Arm64 Codegen
Added dumping of lvIsMultiRegArg and lvIsMultiRegRet in the assembly output
Added check and set of compFloatingPointUsed to InitializeStructReturnType
Fixes to handle JIT helper calls that say they return a TYP_STRUCT with no class handle available
Placed all of the second GC return reg under MULTIREG_HAS_SECOND_GC_RET ifdefs
Added the Arm64 VM changes from Rahul's PR 5175
Update getArgTypeForStruct for x86/arm32 so that it returns TYP_STRUCT for all pass by value cases
Fixes for the passing of 3,5,6 or 7 byte sized structs
Fix issue on ARM64 where we would back fill into x7 after passing a 16-byte struct on the stack
Implemented register shuffling for multi reg Call returns on Arm64
Fixed regression on Arm32 for struct args that are not multi regs
Updated Tests.Lst with 23 additional passing tests

Changes from codereview feedback

Merge pull request #6481 from stephentoub/add_serialization_facade

Add serialization primitives to mscorlib facade

Use the correct call to get properties, DeclaredProperties does not return properties for a base class

Rewrite gtIsVtableAccess to avoid assert

Calling `HasIndex` from `gtIsVtableAccess` can leads to asserts as the
underly code checks to see if the addressing sub-expressions are
contained. But earlyProp runs early enough that it is not concerned with
containment. The code just needs to verify that there is a ref type base
and no index. Rework the code to do the checks directly.

Add serialization primitives to mscorlib facade

Merge pull request #6464 from russellhadley/HardenJitStartup

Harden stdout at startup

Harden stdout at startup

Check the results of the dup call to ensure that we're working with
a valid file handle.  In the case where we aren't we leave the jitstdout
set to nullptr.

Merge pull request #6473 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #6472 from dotnet-bot/UpdateDependencies20160726051912

Updating External dependencies to beta-24326-00

Addressing arm64 build break due to old compiler

[tfs-changeset: 1619335]

Updating External dependencies to beta-24326-00

Fix copy check condition for native interop test library. (#6468)

Linux/ARM: Fix +3000 bus errors of unit-test in case of O2/O3 levels (#6379)

**PROBLEM**
This patch is to resolve +3000 bus errors that are generated whenever we use
the aggressive optimization levels of clang (issue #5844 ).

When we enable the -O3 optimization level of the clang version(from clang 3.5
to clang 3.9(snapshot)), we have always got the lots of bus errors from the
coreCLR's unit tests. Actually, we can easily monitor SIGBUS signals (e.g.,
"misaligned memory access") with /proc/cpu/alignment facility in kernel space.
Using "echo 2 > /proc/cpu/alignment" makes Linux kernel fixes the problems
but the performance of the application will be degraded.
.source: http://lxr.free-electrons.com/source/Documentation/arm/mem_alignment

**VERSION 4**
. Use 'GET_UNALIGNED_VALXXX' macros in the CoreClr infra-structure without
  any need for ifdefs.

**VERSION 3**
.Apply this PR on only Linux/ARM for different system environment (Windows).

Here is .NET CI Report on Windows: Compile Error
error C2146: syntax error: missing ';' before identifier '__unaligned_int32'
(compiling source file D:\j\workspace\checked_windo---f6dc6fe4\src\jit\alloc.cpp)
[D:\j\workspace\checked_windo---f6dc6fe4\bin\obj\Windows_NT.x64.Checked\src\jit\
crossgen\clrjit_crossgen.vcxproj] Indication 1

**VERSION 2**
.Add UNALIGNED_ARM macro for handling ARM core specific optimization levels.
.Add RISC-based ARM core handling into the existing infra-structure of the
platform adaptation layer (PAL) for aggressive optimization cases on Linux/ARM.

**VERSION 1**
Basically, RISC-based ARM architecture requires aligned access with 4byte reads.
In order to support aggressive optimization levels such as O2/O3, let's use
attribute keyword of aligned(1) instead of using memcpy(2) in into
a properly aligned buffer or the packing attribute.

**BACKGROUND**
According to ARM information center(infocenter.arm.com), By default,
the ARM compiler expects normal C and C++ pointers to point
to an aligned word in memory. A type qualifier __packed is provided to
enable unaligned pointer access. If you want to define a pointer to a word
that can be at any address (that is, that can be at a non-natural alignment),
you must specify this using the __packed qualifier when defining the pointer:
__packed int *pi; // pointer to unaligned int

However, clang/llvm does not support the __packed qualifier such as
__attribute__((packed)) or __attribute__((packed, aligned(4)))

In -O0 (debug build) the innermost block is emitted as the following assembly,
which works properly:
 ldr r1, [r0, #24]
 ldr r2, [r0, #20]

In -O3 (release build) however the compiler realizes these fields are adjacent
and generates this assembly:
 ldrdeq  r2, r3, [r0, #20]
Unfortunately, vldr/ldrdb instructions always generate an alignment fault
(in practice). It seems that clang uses ldrb instruction although GCC uses
ldr instruction because armv7 supports unaligned ldr instruction.

Note: If some arm architectures (e.g., Linux/ARM Emulator) does not support
unaligned ldr, this issue is not generated with aggressive optimization
levels (e.g., -O2 and -O3).

* Case study: How does the ARM Compiler support unaligned accesses?
  http://infocenter.arm.com/help/index.jsp?topic=/com.arm.doc.faqs/ka15414.html

* Case study: Indicating unaligned access to Clang for ARM compatibility
  http://stackoverflow.com/questions/9185811/indicating-unaligned-access-to-clang-for-arm-compatibility

* Case study: Chromium source for UnalignedLoad32() on ARM
  https://github.com/nwjs/chromium.src/blob/nw15/third_party/cld/base/basictypes.h#L302

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>

Merge pull request #6328 from ramarag/arm64debugger

Implementing Arm64 Debugger Requirements

Do not insert gcstress interrupt instruction at call to JIT_RareDisableHelper

Arm64: Debugger

    Instruction emulation for Break Points
    Debugger::FuncEvalSetup
    NativeWalker
    ExceptionHijack
    Exception intercept
    Managed Return Value

Fix offset to VectorRegister in i386/asmconstants.h.

Merge pull request #6156 from justinvp/activitytracker_tostring

Avoid string concat array allocation in ActivityTracker

Merge pull request #6158 from justinvp/tracing_stringcomparison

Specify StringComparison.Ordinal in System.Diagnostics.Tracing

Merge pull request #6461 from stephentoub/update_buildtools

Update BuildTools to 1.0.26-prerelease-00625-01

Update BuildTools to 1.0.26-prerelease-00625-01

Merge pull request #6456 from dotnet-bot/UpdateDependencies20160725083514

Updating CoreClr dependencies to beta-24325-02