Merge pull request #6285 from JosephTremoulet/LenProp

Propagate known array lengths to more places

Propagate known array lengths to more places

Earlyprop limits its propagation of array lengths to blocks marked
BBF_HAS_INDX, for throughput reasons.  The importer sets that flag on
blocks that store/load array elements, but not blocks that simply extract
an array's length.  This change renames the flag to BBF_HAS_IDX_LEN, and
updates the importer to set it also on blocks with ldlen operations.  This
change also updates fgOptWhileLoop to propagate the flag when it
copies such an expression as part of a zero-trip test.

Fixes #2325.

Merge pull request #6682 from JosephTremoulet/ConstantIndex

Update FieldSeq annotations in EarlyProp

Merge pull request #6671 from gkhanna79/FixLFAN

Fix LoadFromAssemblyName to invoke fallback context

Merge pull request #6606 from rahku/arm64todo

ARM64: Fix for ARM64TODO

ARM64: Fix for ARM64TODO

Merge pull request #6683 from jashook/remove_unreachable_code

Fix unreachable code in flowgraph

Add StackCrawl reference marker to each of the Assembly.Load implementations.

Fix unreachable code in flowgraph

There is debugging information that is expected to be printed; however,
unreachable because the function returns before printing under debug.

Fixed by moved the return past the debug log.

Improve Enum.ToString performance (#6645)

Reduces allocations by 66%; increases performance by 600% (x7)

With these changes ToString no longer boxes the value and doesn't create an empty array for `CustomAttributeRecords` when the enum is not flagged; also caches whether the enum is flagged.

It still boxes the enum to Enum to make the ToString virtual call however.

Using the @jkotas enummark :wink:

```csharp
enum MyEnum { One, Two, Three, Four, Five, Six, Seven, Eight, Nine, Ten };
public static void Main(string[] args)
{
    (MyEnum.Seven).ToString();
    int start = Environment.TickCount;
    for (int i = 0; i < 10000000; i++)
    {
        (MyEnum.Seven).ToString();
    }
    int end = Environment.TickCount;
    Console.WriteLine((end - start).ToString());
}
```
Pre: 5828ms, 5828ms, 5829ms (1.7M/s)
Post: 828ms, 828ms, 828ms (12.1M/s)

Merge pull request #6678 from dotnet-bot/UpdateDependencies20160810052139

Updating External dependencies to beta-24410-00

Fix for VCR 190024210 and Win SDK 10.0.14393.0 (#6674)

Updating External dependencies to beta-24410-00

Merge pull request #6653 from echesakov/StackAllocation

Work towards objects stack allocation

TypeSystem generics test cases (#6663)

TypeSystem generics test cases (TypeGenerator tests)

Fix LoadFromAssemblyName to invoke fallback context (analogous to static assembly loads within the context)

Update FieldSeq annotations in EarlyProp

When morph expands `ldelem`s, it annotates local vars and int constants
that contribute linearly to the index.  When value-numbering runs,
ParseArrayAddress must still be able to discover annotations.  EarlyProp
runs between morph and value-numbering, and might replace a `ldlen` that
happens to be in an array index expression with a constant.  This change
updates EarlyProp to call LabelIndex in such cases to annotate the
constants appropriately for their new context.

In order to ensure that EarlyProp can determine whether a replacement is
in an array index context or not, this change also adds a new flag
`GTF_ARRLEN_ARR_IDX`, which LabelIndex sets on GT_ARR_LENGTH nodes and
EarlyProp can subsequently check.

Fixes #6649.

The call to LOG expects a pointer argument, but the actual argument was of class type 'ComCallWrapperPtr'. (#6665)

Merge pull request #6668 from dotnet-bot/UpdateDependencies20160809052353

Updating External dependencies to beta-24409-00

Updating External dependencies to beta-24409-00

Work towards objects stack allocation: moved allocation part of newobj-lowering into separate phase

1. Introduced `GT_ALLOCOBJ` node to mark places where object allocation happens
2. In `importer.cpp` changed lowering of allocation part of newobj instruction from an allocation helper call to a `GT_ALLOCOBJ` node creation
3. Created new phase `ObjectAllocator` (`PHASE_ALLOCATE_OBJECTS`) and put it right after dominator computing (we will need the information for escape analysis)
4. Current implementation of ObjectAllocator walks over all basic blocks having flag `BBF_HAS_NEWOBJ` set and replaces `GT_ALLOCOBJ` with  an allocation helper call

Merge pull request #6662 from rahku/disabletransparencychecks

Disable few more transparency checks for .net core

Merge pull request #6660 from rahku/stackwalkerFix

Port CS#1596330 from netfxdev1 (bug#119959)

Merge pull request #6659 from rahku/warning

Fix compiler warnings

Disable few more transparency checks for .net core

Merge pull request #6656 from jashook/arm_link_fix

Fix for missing symbol OnHijackTripThread

Merge pull request #6652 from JohnChen0/crossgen-createpdb

Modify "crossgen -createpdb" to skip loading clrjit.dll (#6607)

Fix compiler warnings

Port CS#1596330 from netfxdev1 (bug#119959)

Refresh mscorlib reference assembly based on what is in S.P.C (#6655)

Split mscorlib.cs into mscorlib.manual.cs for the internal
members we needed to expose. Used the genapi tool from
https://github.com/dotnet/buildtools/tree/master/src/GenAPI.Desktop
to generate mscorlib.cs. It doesn't exactly match due to some
much easier just by running genapi against S.P.CoreLib.

Modify "crossgen -createpdb" to skip loading clrjit.dll (#6607)

The -JITPath option doesn't work properly when CrossGen is used to
create a PDB file (issue #6607). Since clrjit.dll isn't really
needed for creating PDB files, the issue is fixed by modifying
CrossGen to skip loading clrjit.dll when -createpdb option is given.

Also following suggestion from issue #6607, added a new switch
-diasymreaderPath to CrossGen, to allow loading diasymreader.dll
from an alternative path.

Fix for missing symbol OnHijackTripThread

PR #6522 changed from OnHijackScalarTripThread to OnHijackTripThread; however,
missed changing this definition for arm windows.

Add Title (so that web searches work better) (#6654)

Also added a very short description

Merge pull request #6582 from alsemenn/fixrefreg

For helper method frame DAC doesn't read register pointers. So set them to NULL to not use "wrong" data.

Check PAL_VirtualUnwind failure during GC (#6598)

As discussed in #6525, PAL_VirtualUnwind sometimes fails during GC.

This GC failure leads to very unpredicatble behavior (which is very hard to
analyze).

This commit tries to stop the execution at the point where error
happens.

Don't overwrite crossgen log in build.cmd script (#6639)

Fix compile error (#6641)

error: cannot initialize return object of type 'void *' with an lvalue
of type 'void ()'

Merge pull request #6619 from BruceForstall/Fix6517

Fix #6517

Merge pull request #6630 from dotnet-bot/UpdateDependencies20160805073043

Updating External dependencies to beta-24405-00

Merge pull request #6631 from erozenfeld/NullCheckFolding

Null check folding.

Decrease writes to local variables in Buffer.MemoryCopy (#6627)

In `Buffer.MemoryCopy` currently we are making 4 writes every time we copy some data; 1 to update `*dest`, 1 to update `dest`, 1 to update `src` and 1 to update `len`. I've decreased it to 2; one to update a new local variable `i`, which keeps track of how many bytes we are into the buffer. All writes are now made using

```cs
*(dest + i + x) = *(src + i + x)
```

which has no additional overhead since they're converted to using memory addressing operands by the jit.

Another change I made was to add a few extra cases for the switch-case at the beginning that does copying for small sizes without any branches. It now covers sizes 0-22. This is beneficial to the main codepath, since we can convert the unrolled loop to a `do..while` loop and save an extra branch at the beginning. (max 7 bytes for alignment, 16 for 1 iteration of the loop, so the min bytes we can copy without checking whether we should stop is 23.) This adds

This PR increases the performance of `MemoryCopy` by 10-20% for most buffer sizes on x86; you can see the performance test/results (and the generated assembly for each version) [here](https://gist.github.com/jamesqo/337852c8ce09205a8289ce1f1b9b5382). (Note that this codepath is also used by `wstrcpy` at the moment, so this directly affects many common String operations.)

Merge pull request #6636 from AndyAyersMS/MoreObservations

Inliner: add a few more observations

Fix #6517

My previous change #6342 to implement tailcall-via-helper for RyuJIT/x86
also changed non-x86 for Delegate Invoke calls, to avoid creating a
temp where we already had a local. However, this temp is needed if the
local is a field (with an offset). Even if it is not a field, I saw it
needed in a JitStressRegs case. So I'm returning it to the previous logic
for non-x86, non-tailcall cases. It is still required for tailcall cases
to preserve some delicate ordering constraints on the special tailcall
argument values.

Inliner: add a few more observations

Now that we can trust `optMethodFlags`, note if the root caller has
newarr or newobj. We can't yet tell if these operations might feed
a particular call's arguments but their presence in the root method
alone might be enough to build correlations with performance changes.

Count number of returns in the callee. Note if callee has same this
as the (root) caller. Note when callee is a class constructor.

Add code to dump out the new observations. No policies act on these yet.

Merge pull request #6522 from swaroop-sridhar/gcinfov2

Implement GcInfo v2

Null check folding.

1. Added a null check folding optimization to early prop. The optimization tries to fold
GT_NULLCHECK(y) nodes  into GT_IND(x) nodes where x=y+const
in the same block (where const is sufficiently small). The algorithm uses SSA use-def info
to go from x to its def and then tries to match the pattern x = COMMA(NULLCHECK(y), ADD(y, const))).
If such a pattern is found, the algorithm checks the trees and statements that are between the use
and the def in execution order to see if they have unsafe side effects: calls, exception sources, and
assignments (all assignment if we are in a try and assignments to global memory if we are not).
If there are no nodes with unsafe side effects, the null check is removed.

2. Made several improvements to null check elimination in assertion propagation.
..* Added a new kind for op1: O1K_VALUE_NUMBER
..* Non-null assertions can now be made about arbitrary value numbers, not just locals
..* Fixed code that was trying to find a ref given a byref: the code now handles an arbitrary number of
    offsets and checks whether the total offsetof is small enough.
..* Added similar code that tries to find a ref VN given a byref VN

This addresses part of the suboptimal code generated for #1226: null check is no longer emitted.

Correctness: ran full desktop and CoreCLR testing.

Throughput: no measurable throughput impact (verified by running internal CQNgenTP several times).

Code size in CoreCLR:

Framework assemblies:

Total bytes of diff: -805 (-0.01 % of base)
    diff is an improvement.
Total byte diff includes 0 bytes from reconciling methods
        Base had    0 unique methods,        0 unique bytes
        Diff had    0 unique methods,        0 unique bytes
Top file improvements by size (bytes):
        -352 : System.Private.CoreLib.dasm (-0.01 % of base)
        -306 : Microsoft.CodeAnalysis.CSharp.dasm (-0.01 % of base)
         -58 : Microsoft.CodeAnalysis.dasm (-0.01 % of base)
         -48 : System.Numerics.Vectors.dasm (-0.08 % of base)
         -14 : System.Xml.XmlDocument.dasm (-0.01 % of base)
7 total files with size differences.
Top method improvements by size (bytes):
         -30 : System.Numerics.Vectors.dasm - System.Numerics.Matrix4x4:ToString():ref:this
         -30 : System.Private.CoreLib.dasm - System.DateTimeParse:ParseByFormat(byref,byref,byref,ref,byref):bool
         -24 : Microsoft.CodeAnalysis.CSharp.dasm - <GetMethodsToEmit>d__68:MoveNext():bool:this
         -18 : System.Private.CoreLib.dasm - System.DateTimeParse:Lex(int,byref,byref,byref,byref,byref,int):bool
         -18 : System.Private.CoreLib.dasm - System.DateTimeParse:ProcessDateTimeSuffix(byref,byref,byref):bool
243 total methods with size differences.

JIT Code quality benchmarks in CoreCLR:

Total bytes of diff: -29 (-0.01 % of base)
    diff is an improvement.
Total byte diff includes 0 bytes from reconciling methods
        Base had    0 unique methods,        0 unique bytes
        Diff had    0 unique methods,        0 unique bytes
Top file improvements by size (bytes):
         -25 : Bytemark\Bytemark\Bytemark.dasm (-0.03 % of base)
          -4 : BenchmarksGame\pidigits\pi-digits\pi-digits.dasm (-0.21 % of base)
2 total files with size differences.
Top method improvements by size (bytes):
          -9 : Bytemark\Bytemark\Bytemark.dasm - AssignJagged:second_assignments(ref,ref)
          -6 : Bytemark\Bytemark\Bytemark.dasm - EMFloat:MultiplyInternalFPF(byref,byref,byref)
          -4 : Bytemark\Bytemark\Bytemark.dasm - EMFloat:AddSubInternalFPF(ubyte,byref,byref,byref)
          -2 : Bytemark\Bytemark\Bytemark.dasm - EMFloat:denormalize(byref,int)
          -2 : Bytemark\Bytemark\Bytemark.dasm - EMFloat:DivideInternalFPF(byref,byref,byref)
8 total methods with size differences.

In internal SPMI:

3915 methods with diffs, almost everything -- code size improvements
13,715 bytes code size reduction overall 0.51% on affected methods

CQ_Perf: 85 methods with diffs, 84 code size improvements, no regressions
Benchmarks with code size diffs:
Roslyn 59
TrueTypeBench 19
mono-pi-digits 2
mono-chameneos-redux 2
ByteMark\assign_jagged 1
Json_Serialize 1
SharpChess 1
BenchI\mulmtx 1

Internal CQPerf didn't report any runtime wins for these benchmarks.

Implement GcInfo v2
Ref #4379

This change implements GcInfo version 2 for all platforms that use the
GcInfo library (all architectures other than X86).

Changes are:
1) Defines ReturnKind enumeration for all platforms
2) Change the GcInfo encoder library to encode the ReturnKind and ReversePInvokeFrame slot
3) Change the CM's GcInfo decoder to encode the ReturnKind and ReversePInvokeFrame slot for GCINFO_VERSION 2
4) Some corrections to GCINFO_MEASUREments
5) Changes to RYU Jit to provide the correct information to the encoder
6) Changes to the VM to use the ReturnKind information while hijacking a thread
   - If ReturnKind is available from GcInfo, new hijack routines are used
   - Otherwise, fall back to old method (for compatibility)
7) Rework and simplify the thread hijack routines by scanning HijackFrames directly for gcroots
8) Supporting code to implement the above features.

Returning Structs in multiple registers

Hijacking for StructInRegs is currently only implemented for
Unix SystemV ABI Multi-reg struct returns. However, the hijack-workers that use
ReturnKind are ready to handle other platforms (ex: ARM/ARM64 Windows)
once the corresponding HijackTripThread() assembly routines are defined.

The New feature flag: FEATURE_MULTIREG_RETURN is set for platforms where a struct value
can be returned in multiple registers [ex: Windows/Unix ARM/ARM64, Unix-AMD64]
FEATURE_UNIX_AMD64_STRUCT_PASSING is a specific kind of FEATURE_MULTIREG_RETURN
specified by SystemV ABI for AMD64

Compatibility with other JITs

- All new GCInfo generated by RYU Jit is in GcInfo version 2
- All Ngen images must be regenerated with the new GcInfo version.
- Ready-to-run images with old GcInfo will continue to work.
- Jit64/X64 uses the GcInfo library, so it generates GcInfo version 2.
  However, it doesn't (yet) provide the data to encode the correct ReturnKind
  Similar is the case for ARM32 code running on JIT32, and any other JITs
  that may be using GcInfo library but not yet modified to use the new API.
  So, compatibility is achived using RT_Unset flag.

When ReturnKind is RT_Unset, it means that the JIT did not set
the ReturnKind in the GCInfo, and therefore the VM cannot rely on it,
and must use other mechanisms (similar to GcInfo ver 1) to determine
the Return type's GC information.

Implement GC root scanning for Hijack-frames

This change implements GCScanRoots() method for Hijacke-frames
based on the ReturnKind information available from the GcInfo.
If the exact ReturnKind is not available in the GcInfo, the
thread-suspension logic will compute the ReturnKind based on
the method-signature.

As a result of this change, several hijack-helpers in the VM
are cleaned up. There's only one implementation of HijackWorker()
to handle all returnKinds.

This change also simplifies the thread-hijack logic by using a
single assembly helper OnHijackTripThread() in most cases.
The only other helper used is for X86 floating point return values
for save/restoring the top of the FP stack.

ARM64

Only GcIndfo v2 is reliably supported for ARM64 platform.
The changes to thread-hijack mechanism fixes #6494 for ARM64.

No measurable change in JIT throughput, performance or native-image
size from this change.

For helper method frame DAC doesn't read register pointers. So set them to NULL to not user "wrong" data.

Moved context pointers NULL assignment to gmsamd64.cpp

Squash commits

Merge pull request #6629 from JosephTremoulet/DeadFlag

Remove GTF_REDINDEX_CHECK

Updating External dependencies to beta-24405-00

Merge pull request #6628 from vancem/WCF_ExplictChannels

Wcf explict channels

Merge pull request #6495 from briansull/cleanup

Followup work from codereview feedback

Merge pull request #6617 from adityamandaleeka/fix_sos

Fix bug in SymbolReader initialization in SOS

Merge pull request #6620 from hqueue/fix/typo_20160805

Fix misleading comment in codegenlegacy.cpp

Remove GTF_REDINDEX_CHECK

This flag is unused.  Its description also sounds like it's redundant with
the GTF_ARR_BOUND_INBND flag, so the latter flag could be used if a new
need to convey this information arises in the future.

Preserving GTF_ARR_BOUND_INBND and removing GTF_REDINDEX_CHECK makes more
sense than the other way around since GTF_ARR_BOUND_INBND is specific to
the relevant opcode.

Merge pull request #6577 from lukasztomczyk/threadpool-spinwaitconfig

Expose ThreadPool_UnfairSemaphoreSpinLimit config

Merge pull request #6609 from AndyAyersMS/InlineSummaryData

Inliner: gather summary stats and dump to Jit CSV log

Fix typo/comments

Merge pull request #6618 from hseok-oh/struct8byte

disable pass/return struct(float, float) using register in 32bit arch

Fix invalid checks for CONTEXT_XSTATE (#6621)

Checks for context flags containing CONTEXT_XSTATE were incorrect at two places.
The issue was that CONTEXT_XSTATE is not a single bit flag, but contains two
bits set - it is CONTEXT_AMD64 | 0x40. So testing the flag using
(contextFlags & CONTEXT_XSTATE) != 0 was always true, since context flags
on AMD64 always contain CONTEXT_AMD64 and so the `&` result is always non-zero.

Fix Issue 6585: Add offset to struct field arg (#6616)

When the child of a GT_OBJ is a lclFldAddr, genConsumePutStructArgStk()
was not adding the offset of the struct field to the base address of
the local.

Fix misleading comment in codegenlegacy.cpp

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

disable pass/return struct(float, float) using register in 32bit architecture

Clean up some SOS code.

Cache failure to initialize SymbolReader logic in SOS.

Merge pull request #6103 from mikedn/nothrowinl

Do not inline methods that never return

Followup work from codereview feedback

For PR  #6467 - Enable multireg returns on Arm64

Merge pull request #6597 from yizhang82/test-warnings

Fix warnings in interop tests

Merge pull request #6572 from JosephTremoulet/starg

Allow inlining when inlinee has `starg`

Allow inlining when inlinee has `starg`

The inliner's restriction that methods that make use of the `starg` opcode
cannot be inlined is somewhat artificial.  The comments indicate that the
reason for this excluion is because the inliner forward-substitutes
argument expressions in place of parameter references, but the codepaths
required to force evaluating an argument expression at the callsite and
reference that result in place of parameter references is already in place
to handle `ldarga` and complex argument expressions.

This change
 - adds an `argHasStargOp` flag to the `inlArgInfo` type, similar
   to the existing `argHasLdargaOp` flag
 - removes the `CALLEE_STORES_TO_ARGUMENT` inline observation and instead
   sets the new flag for `starg` cases
 - updates `impInlineFetchArg` to force evaluation to a temp for arguments
   that are marked `argHasStargOp`
 - updates `starg` processing in the importer to store to the
   corresponding temp when importing for an inlinee

Resolves #6014.

Merge pull request #6579 from CarolEidt/LessConservativeGtObj

Less Conservative GtObj

Merge pull request #6608 from dotnet-bot/from-tfs

Merge changes from TFS

Fix newly introduced typo in Documentation/README

Fix warnings in interop tests and disable IsComObject(null) scenario as it is failing in non-Windows

Fix link to all BotR chapters in table of contents

Merge pull request #6612 from vancem/Doc_Add_BOTR_TOC

Add a table of contents to the book of the runtime

Pull Request feedback

Add a table of contents to the book of the runtime

 (so you have one link to go to that represents the entire book)

Adding support to the following generic dictionary entry slots for R2R: (#6291)

DeclaringTypeHandleSlot
ConstrainedMethodEntrySlot

Fix contract violation (violation caused by a copy/paste bug in PR 6200

[tfs-changeset: 1620960]

Merge pull request #6558 from bryanar/dumpling_ci2

Collect core dump URLs from dumpling service to raise up to CI.

on fail: create local_dumplings.txt with the url of the uploaded core dump file if dumpling is enabled. After, concatenate all of the local_dumplings.txt in to $(PWD)/dumplings.txt

Inliner: gather summary stats and dump to Jit CSV log

Collect per-method summary stats about inlining: number of calls,
number of candidates, etc.

Updating External dependencies to beta-24404-00 (#6601)

Added additional comments to AppendFormatHelper to explain the parsing. (#1261)

* Added additional comments to AppendFormatHelper to explain the parsing.
* Create private static readonly properties for Index Limit and Width Limit.

Add a throw/inline benchmark

Do not inline methods that never return

Methods that do not contain return blocks can't ever exit normally, they either throw or loop indefinitely. Inlining is not beneficial in such cases as it increases the code size without providing any speed benefits. In the particular case of throws the inlined code can easily be 10 times larger than the call site.

The call to fgMoreThanOneReturnBlock has been replaced with code that does the same thing but also detects the existence of at least one return block. This avoids walking the basic block list twice.

Note that BBJ_RETURN blocks are also generated for CEE_JMP. Methods exiting via CEE_JMP instead of CEE_RET will continue to be inlined (assuming they were inlined before this change).

Merge pull request #6596 from yizhang82/interop-api

Add more interop API into System.Runtime

Merge pull request #6589 from briansull/issue-5954

Fix for Issue 5954

Adding Support for FieldDescSlot generic dictionary entries for R2R generic code. (#6200)

This enables generic code with ldtoken instructions for fields on generic types to be compiled into R2R.

This change makes newer versions of the runtime compatible with older version R2R images,
but not vice-versa. Therefore, the major version is increased to 2 with this change.

This change adds more encodings to a R2R image without changing the format of any previously encoded
entity, and is backwards compatible.

Add more interop API into System.Runtime and update mscorlib.cs

Fix for issue 5954 - Assert 'fieldSeq != FieldSeqStore::NotAField()'

Added new method GenTree:OperIsLocalField()
Fixes DefinesLocalAddress to properly update pIsEntire when we have a LocalField node type
Fixed fgValueNumberBlockAssignment to handle a GT_COPYBLK or GT_COPYOBJ operation
  where we have an incomplete field sequence for the Dst/LHS node.
  We already were handling an incomplete field sequence for the Src/RHS node.
  Update the dump to properly print "new uniq" whenever we issue a conservative value number.

Merge pull request #6592 from Priya91/runpath

Modify rebuild scenario.

Update documentation on how to build corefx (#6594)

Merge pull request #6586 from kyulee1/fixbuildtest

ARM64: Fix Build Test Break

Modify rebuild scenario.

Merge pull request #6534 from RussKeldorph/fix6236

Fix build warnings in Vector3Interop test

Merge pull request #6578 from rahku/version

RC2 release used version 4.6.*. However RTM release started to use th…

ARM64: Fix Build Test Break

Merge pull request #6584 from kyulee1/distest

ARM64: Disable Two Tests