PR feedback

Align to reduce false sharing

Adjust fences and add padding

Reduce false sharing in ManagedPerAppDomainTPCount

GetCleanCounts to Volatile read on x64

Use GetCleanCounts where result is used directly and
DangerousGetDirtyCounts when used as part of compare exchange loop

WorkerThreadStart volatile read+cmpxchg loop

The call to LOG expects a pointer argument, but the actual argument was of class type 'ComCallWrapperPtr'. (#6665)

Merge pull request #6668 from dotnet-bot/UpdateDependencies20160809052353

Updating External dependencies to beta-24409-00

Updating External dependencies to beta-24409-00

Merge pull request #6662 from rahku/disabletransparencychecks

Disable few more transparency checks for .net core

Merge pull request #6660 from rahku/stackwalkerFix

Port CS#1596330 from netfxdev1 (bug#119959)

Merge pull request #6659 from rahku/warning

Fix compiler warnings

Disable few more transparency checks for .net core

Merge pull request #6656 from jashook/arm_link_fix

Fix for missing symbol OnHijackTripThread

Merge pull request #6652 from JohnChen0/crossgen-createpdb

Modify "crossgen -createpdb" to skip loading clrjit.dll (#6607)

Fix compiler warnings

Port CS#1596330 from netfxdev1 (bug#119959)

Refresh mscorlib reference assembly based on what is in S.P.C (#6655)

Split mscorlib.cs into mscorlib.manual.cs for the internal
members we needed to expose. Used the genapi tool from
https://github.com/dotnet/buildtools/tree/master/src/GenAPI.Desktop
to generate mscorlib.cs. It doesn't exactly match due to some
much easier just by running genapi against S.P.CoreLib.

Modify "crossgen -createpdb" to skip loading clrjit.dll (#6607)

The -JITPath option doesn't work properly when CrossGen is used to
create a PDB file (issue #6607). Since clrjit.dll isn't really
needed for creating PDB files, the issue is fixed by modifying
CrossGen to skip loading clrjit.dll when -createpdb option is given.

Also following suggestion from issue #6607, added a new switch
-diasymreaderPath to CrossGen, to allow loading diasymreader.dll
from an alternative path.

Fix for missing symbol OnHijackTripThread

PR #6522 changed from OnHijackScalarTripThread to OnHijackTripThread; however,
missed changing this definition for arm windows.

Add Title (so that web searches work better) (#6654)

Also added a very short description

Merge pull request #6582 from alsemenn/fixrefreg

For helper method frame DAC doesn't read register pointers. So set them to NULL to not use "wrong" data.

Check PAL_VirtualUnwind failure during GC (#6598)

As discussed in #6525, PAL_VirtualUnwind sometimes fails during GC.

This GC failure leads to very unpredicatble behavior (which is very hard to
analyze).

This commit tries to stop the execution at the point where error
happens.

Don't overwrite crossgen log in build.cmd script (#6639)

Fix compile error (#6641)

error: cannot initialize return object of type 'void *' with an lvalue
of type 'void ()'

Merge pull request #6619 from BruceForstall/Fix6517

Fix #6517

Merge pull request #6630 from dotnet-bot/UpdateDependencies20160805073043

Updating External dependencies to beta-24405-00

Merge pull request #6631 from erozenfeld/NullCheckFolding

Null check folding.

Decrease writes to local variables in Buffer.MemoryCopy (#6627)

In `Buffer.MemoryCopy` currently we are making 4 writes every time we copy some data; 1 to update `*dest`, 1 to update `dest`, 1 to update `src` and 1 to update `len`. I've decreased it to 2; one to update a new local variable `i`, which keeps track of how many bytes we are into the buffer. All writes are now made using

```cs
*(dest + i + x) = *(src + i + x)
```

which has no additional overhead since they're converted to using memory addressing operands by the jit.

Another change I made was to add a few extra cases for the switch-case at the beginning that does copying for small sizes without any branches. It now covers sizes 0-22. This is beneficial to the main codepath, since we can convert the unrolled loop to a `do..while` loop and save an extra branch at the beginning. (max 7 bytes for alignment, 16 for 1 iteration of the loop, so the min bytes we can copy without checking whether we should stop is 23.) This adds

This PR increases the performance of `MemoryCopy` by 10-20% for most buffer sizes on x86; you can see the performance test/results (and the generated assembly for each version) [here](https://gist.github.com/jamesqo/337852c8ce09205a8289ce1f1b9b5382). (Note that this codepath is also used by `wstrcpy` at the moment, so this directly affects many common String operations.)

Merge pull request #6636 from AndyAyersMS/MoreObservations

Inliner: add a few more observations

Fix #6517

My previous change #6342 to implement tailcall-via-helper for RyuJIT/x86
also changed non-x86 for Delegate Invoke calls, to avoid creating a
temp where we already had a local. However, this temp is needed if the
local is a field (with an offset). Even if it is not a field, I saw it
needed in a JitStressRegs case. So I'm returning it to the previous logic
for non-x86, non-tailcall cases. It is still required for tailcall cases
to preserve some delicate ordering constraints on the special tailcall
argument values.

Inliner: add a few more observations

Now that we can trust `optMethodFlags`, note if the root caller has
newarr or newobj. We can't yet tell if these operations might feed
a particular call's arguments but their presence in the root method
alone might be enough to build correlations with performance changes.

Count number of returns in the callee. Note if callee has same this
as the (root) caller. Note when callee is a class constructor.

Add code to dump out the new observations. No policies act on these yet.

Merge pull request #6522 from swaroop-sridhar/gcinfov2

Implement GcInfo v2

Null check folding.

1. Added a null check folding optimization to early prop. The optimization tries to fold
GT_NULLCHECK(y) nodes  into GT_IND(x) nodes where x=y+const
in the same block (where const is sufficiently small). The algorithm uses SSA use-def info
to go from x to its def and then tries to match the pattern x = COMMA(NULLCHECK(y), ADD(y, const))).
If such a pattern is found, the algorithm checks the trees and statements that are between the use
and the def in execution order to see if they have unsafe side effects: calls, exception sources, and
assignments (all assignment if we are in a try and assignments to global memory if we are not).
If there are no nodes with unsafe side effects, the null check is removed.

2. Made several improvements to null check elimination in assertion propagation.
..* Added a new kind for op1: O1K_VALUE_NUMBER
..* Non-null assertions can now be made about arbitrary value numbers, not just locals
..* Fixed code that was trying to find a ref given a byref: the code now handles an arbitrary number of
    offsets and checks whether the total offsetof is small enough.
..* Added similar code that tries to find a ref VN given a byref VN

This addresses part of the suboptimal code generated for #1226: null check is no longer emitted.

Correctness: ran full desktop and CoreCLR testing.

Throughput: no measurable throughput impact (verified by running internal CQNgenTP several times).

Code size in CoreCLR:

Framework assemblies:

Total bytes of diff: -805 (-0.01 % of base)
    diff is an improvement.
Total byte diff includes 0 bytes from reconciling methods
        Base had    0 unique methods,        0 unique bytes
        Diff had    0 unique methods,        0 unique bytes
Top file improvements by size (bytes):
        -352 : System.Private.CoreLib.dasm (-0.01 % of base)
        -306 : Microsoft.CodeAnalysis.CSharp.dasm (-0.01 % of base)
         -58 : Microsoft.CodeAnalysis.dasm (-0.01 % of base)
         -48 : System.Numerics.Vectors.dasm (-0.08 % of base)
         -14 : System.Xml.XmlDocument.dasm (-0.01 % of base)
7 total files with size differences.
Top method improvements by size (bytes):
         -30 : System.Numerics.Vectors.dasm - System.Numerics.Matrix4x4:ToString():ref:this
         -30 : System.Private.CoreLib.dasm - System.DateTimeParse:ParseByFormat(byref,byref,byref,ref,byref):bool
         -24 : Microsoft.CodeAnalysis.CSharp.dasm - <GetMethodsToEmit>d__68:MoveNext():bool:this
         -18 : System.Private.CoreLib.dasm - System.DateTimeParse:Lex(int,byref,byref,byref,byref,byref,int):bool
         -18 : System.Private.CoreLib.dasm - System.DateTimeParse:ProcessDateTimeSuffix(byref,byref,byref):bool
243 total methods with size differences.

JIT Code quality benchmarks in CoreCLR:

Total bytes of diff: -29 (-0.01 % of base)
    diff is an improvement.
Total byte diff includes 0 bytes from reconciling methods
        Base had    0 unique methods,        0 unique bytes
        Diff had    0 unique methods,        0 unique bytes
Top file improvements by size (bytes):
         -25 : Bytemark\Bytemark\Bytemark.dasm (-0.03 % of base)
          -4 : BenchmarksGame\pidigits\pi-digits\pi-digits.dasm (-0.21 % of base)
2 total files with size differences.
Top method improvements by size (bytes):
          -9 : Bytemark\Bytemark\Bytemark.dasm - AssignJagged:second_assignments(ref,ref)
          -6 : Bytemark\Bytemark\Bytemark.dasm - EMFloat:MultiplyInternalFPF(byref,byref,byref)
          -4 : Bytemark\Bytemark\Bytemark.dasm - EMFloat:AddSubInternalFPF(ubyte,byref,byref,byref)
          -2 : Bytemark\Bytemark\Bytemark.dasm - EMFloat:denormalize(byref,int)
          -2 : Bytemark\Bytemark\Bytemark.dasm - EMFloat:DivideInternalFPF(byref,byref,byref)
8 total methods with size differences.

In internal SPMI:

3915 methods with diffs, almost everything -- code size improvements
13,715 bytes code size reduction overall 0.51% on affected methods

CQ_Perf: 85 methods with diffs, 84 code size improvements, no regressions
Benchmarks with code size diffs:
Roslyn 59
TrueTypeBench 19
mono-pi-digits 2
mono-chameneos-redux 2
ByteMark\assign_jagged 1
Json_Serialize 1
SharpChess 1
BenchI\mulmtx 1

Internal CQPerf didn't report any runtime wins for these benchmarks.

Implement GcInfo v2
Ref #4379

This change implements GcInfo version 2 for all platforms that use the
GcInfo library (all architectures other than X86).

Changes are:
1) Defines ReturnKind enumeration for all platforms
2) Change the GcInfo encoder library to encode the ReturnKind and ReversePInvokeFrame slot
3) Change the CM's GcInfo decoder to encode the ReturnKind and ReversePInvokeFrame slot for GCINFO_VERSION 2
4) Some corrections to GCINFO_MEASUREments
5) Changes to RYU Jit to provide the correct information to the encoder
6) Changes to the VM to use the ReturnKind information while hijacking a thread
   - If ReturnKind is available from GcInfo, new hijack routines are used
   - Otherwise, fall back to old method (for compatibility)
7) Rework and simplify the thread hijack routines by scanning HijackFrames directly for gcroots
8) Supporting code to implement the above features.

Returning Structs in multiple registers

Hijacking for StructInRegs is currently only implemented for
Unix SystemV ABI Multi-reg struct returns. However, the hijack-workers that use
ReturnKind are ready to handle other platforms (ex: ARM/ARM64 Windows)
once the corresponding HijackTripThread() assembly routines are defined.

The New feature flag: FEATURE_MULTIREG_RETURN is set for platforms where a struct value
can be returned in multiple registers [ex: Windows/Unix ARM/ARM64, Unix-AMD64]
FEATURE_UNIX_AMD64_STRUCT_PASSING is a specific kind of FEATURE_MULTIREG_RETURN
specified by SystemV ABI for AMD64

Compatibility with other JITs

- All new GCInfo generated by RYU Jit is in GcInfo version 2
- All Ngen images must be regenerated with the new GcInfo version.
- Ready-to-run images with old GcInfo will continue to work.
- Jit64/X64 uses the GcInfo library, so it generates GcInfo version 2.
  However, it doesn't (yet) provide the data to encode the correct ReturnKind
  Similar is the case for ARM32 code running on JIT32, and any other JITs
  that may be using GcInfo library but not yet modified to use the new API.
  So, compatibility is achived using RT_Unset flag.

When ReturnKind is RT_Unset, it means that the JIT did not set
the ReturnKind in the GCInfo, and therefore the VM cannot rely on it,
and must use other mechanisms (similar to GcInfo ver 1) to determine
the Return type's GC information.

Implement GC root scanning for Hijack-frames

This change implements GCScanRoots() method for Hijacke-frames
based on the ReturnKind information available from the GcInfo.
If the exact ReturnKind is not available in the GcInfo, the
thread-suspension logic will compute the ReturnKind based on
the method-signature.

As a result of this change, several hijack-helpers in the VM
are cleaned up. There's only one implementation of HijackWorker()
to handle all returnKinds.

This change also simplifies the thread-hijack logic by using a
single assembly helper OnHijackTripThread() in most cases.
The only other helper used is for X86 floating point return values
for save/restoring the top of the FP stack.

ARM64

Only GcIndfo v2 is reliably supported for ARM64 platform.
The changes to thread-hijack mechanism fixes #6494 for ARM64.

No measurable change in JIT throughput, performance or native-image
size from this change.

For helper method frame DAC doesn't read register pointers. So set them to NULL to not user "wrong" data.

Moved context pointers NULL assignment to gmsamd64.cpp

Squash commits

Merge pull request #6629 from JosephTremoulet/DeadFlag

Remove GTF_REDINDEX_CHECK

Updating External dependencies to beta-24405-00

Merge pull request #6628 from vancem/WCF_ExplictChannels

Wcf explict channels

Merge pull request #6495 from briansull/cleanup

Followup work from codereview feedback

Merge pull request #6617 from adityamandaleeka/fix_sos

Fix bug in SymbolReader initialization in SOS

Merge pull request #6620 from hqueue/fix/typo_20160805

Fix misleading comment in codegenlegacy.cpp

Remove GTF_REDINDEX_CHECK

This flag is unused.  Its description also sounds like it's redundant with
the GTF_ARR_BOUND_INBND flag, so the latter flag could be used if a new
need to convey this information arises in the future.

Preserving GTF_ARR_BOUND_INBND and removing GTF_REDINDEX_CHECK makes more
sense than the other way around since GTF_ARR_BOUND_INBND is specific to
the relevant opcode.

Merge pull request #6577 from lukasztomczyk/threadpool-spinwaitconfig

Expose ThreadPool_UnfairSemaphoreSpinLimit config

Merge pull request #6609 from AndyAyersMS/InlineSummaryData

Inliner: gather summary stats and dump to Jit CSV log

Fix typo/comments

Merge pull request #6618 from hseok-oh/struct8byte

disable pass/return struct(float, float) using register in 32bit arch

Fix invalid checks for CONTEXT_XSTATE (#6621)

Checks for context flags containing CONTEXT_XSTATE were incorrect at two places.
The issue was that CONTEXT_XSTATE is not a single bit flag, but contains two
bits set - it is CONTEXT_AMD64 | 0x40. So testing the flag using
(contextFlags & CONTEXT_XSTATE) != 0 was always true, since context flags
on AMD64 always contain CONTEXT_AMD64 and so the `&` result is always non-zero.

Fix Issue 6585: Add offset to struct field arg (#6616)

When the child of a GT_OBJ is a lclFldAddr, genConsumePutStructArgStk()
was not adding the offset of the struct field to the base address of
the local.

Fix misleading comment in codegenlegacy.cpp

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

disable pass/return struct(float, float) using register in 32bit architecture

Clean up some SOS code.

Cache failure to initialize SymbolReader logic in SOS.

Merge pull request #6103 from mikedn/nothrowinl

Do not inline methods that never return

Followup work from codereview feedback

For PR  #6467 - Enable multireg returns on Arm64

Merge pull request #6597 from yizhang82/test-warnings

Fix warnings in interop tests

Merge pull request #6572 from JosephTremoulet/starg

Allow inlining when inlinee has `starg`

Allow inlining when inlinee has `starg`

The inliner's restriction that methods that make use of the `starg` opcode
cannot be inlined is somewhat artificial.  The comments indicate that the
reason for this excluion is because the inliner forward-substitutes
argument expressions in place of parameter references, but the codepaths
required to force evaluating an argument expression at the callsite and
reference that result in place of parameter references is already in place
to handle `ldarga` and complex argument expressions.

This change
 - adds an `argHasStargOp` flag to the `inlArgInfo` type, similar
   to the existing `argHasLdargaOp` flag
 - removes the `CALLEE_STORES_TO_ARGUMENT` inline observation and instead
   sets the new flag for `starg` cases
 - updates `impInlineFetchArg` to force evaluation to a temp for arguments
   that are marked `argHasStargOp`
 - updates `starg` processing in the importer to store to the
   corresponding temp when importing for an inlinee

Resolves #6014.

Merge pull request #6579 from CarolEidt/LessConservativeGtObj

Less Conservative GtObj

Merge pull request #6608 from dotnet-bot/from-tfs

Merge changes from TFS

Fix newly introduced typo in Documentation/README

Fix warnings in interop tests and disable IsComObject(null) scenario as it is failing in non-Windows

Fix link to all BotR chapters in table of contents

Merge pull request #6612 from vancem/Doc_Add_BOTR_TOC

Add a table of contents to the book of the runtime

Pull Request feedback

Add a table of contents to the book of the runtime

 (so you have one link to go to that represents the entire book)

Adding support to the following generic dictionary entry slots for R2R: (#6291)

DeclaringTypeHandleSlot
ConstrainedMethodEntrySlot

Fix contract violation (violation caused by a copy/paste bug in PR 6200

[tfs-changeset: 1620960]

Merge pull request #6558 from bryanar/dumpling_ci2

Collect core dump URLs from dumpling service to raise up to CI.

on fail: create local_dumplings.txt with the url of the uploaded core dump file if dumpling is enabled. After, concatenate all of the local_dumplings.txt in to $(PWD)/dumplings.txt

Inliner: gather summary stats and dump to Jit CSV log

Collect per-method summary stats about inlining: number of calls,
number of candidates, etc.

Updating External dependencies to beta-24404-00 (#6601)

Added additional comments to AppendFormatHelper to explain the parsing. (#1261)

* Added additional comments to AppendFormatHelper to explain the parsing.
* Create private static readonly properties for Index Limit and Width Limit.

Add a throw/inline benchmark

Do not inline methods that never return

Methods that do not contain return blocks can't ever exit normally, they either throw or loop indefinitely. Inlining is not beneficial in such cases as it increases the code size without providing any speed benefits. In the particular case of throws the inlined code can easily be 10 times larger than the call site.

The call to fgMoreThanOneReturnBlock has been replaced with code that does the same thing but also detects the existence of at least one return block. This avoids walking the basic block list twice.

Note that BBJ_RETURN blocks are also generated for CEE_JMP. Methods exiting via CEE_JMP instead of CEE_RET will continue to be inlined (assuming they were inlined before this change).

Merge pull request #6596 from yizhang82/interop-api

Add more interop API into System.Runtime

Merge pull request #6589 from briansull/issue-5954

Fix for Issue 5954

Adding Support for FieldDescSlot generic dictionary entries for R2R generic code. (#6200)

This enables generic code with ldtoken instructions for fields on generic types to be compiled into R2R.

This change makes newer versions of the runtime compatible with older version R2R images,
but not vice-versa. Therefore, the major version is increased to 2 with this change.

This change adds more encodings to a R2R image without changing the format of any previously encoded
entity, and is backwards compatible.

Add more interop API into System.Runtime and update mscorlib.cs

Fix for issue 5954 - Assert 'fieldSeq != FieldSeqStore::NotAField()'

Added new method GenTree:OperIsLocalField()
Fixes DefinesLocalAddress to properly update pIsEntire when we have a LocalField node type
Fixed fgValueNumberBlockAssignment to handle a GT_COPYBLK or GT_COPYOBJ operation
  where we have an incomplete field sequence for the Dst/LHS node.
  We already were handling an incomplete field sequence for the Src/RHS node.
  Update the dump to properly print "new uniq" whenever we issue a conservative value number.

Merge pull request #6592 from Priya91/runpath

Modify rebuild scenario.

Update documentation on how to build corefx (#6594)

Merge pull request #6586 from kyulee1/fixbuildtest

ARM64: Fix Build Test Break

Modify rebuild scenario.

Merge pull request #6534 from RussKeldorph/fix6236

Fix build warnings in Vector3Interop test

Merge pull request #6578 from rahku/version

RC2 release used version 4.6.*. However RTM release started to use th…

ARM64: Fix Build Test Break

Merge pull request #6584 from kyulee1/distest

ARM64: Disable Two Tests

Merge pull request #6529 from JosephTremoulet/AssertionOrder

Optimize bounds checks with correct assertion set

ARM64: Disable Two Tests

https://github.com/dotnet/coreclr/issues/6583

Merge pull request #6576 from Priya91/runpath

Use absolute paths for specifying projects to build.

Expose ThreadPool_UnfairSemaphoreSpinLimit config

Spin-wait in ThreadpoolMgr::UnfairSemaphore::Wait can cause significant
CPU usage, which is unnecessary in some scenarios, where threadpool
receives work in bursts. Use of the above parameter will allow fine tuning
of the threadpool behavior based on the workload expectation.

Fix #5928

RC2 release used version 4.6.*. However RTM release started to use the default values of 1.0.* by mistake. Revert back to using 4.6 as major & minor version number

Less Conservative GtObj

Don't mark GT_OBJ with GTF_EXCEPT or GTF_GLOB_REF if it is a local struct.
Also, fix changes needed in arm register allocation and code generation to handle the case where a struct argument is promoted, which appears to be code that was never exercised.
These changes are in preparation for further changes for First Class Structs. I am working to replace block ops with assignments, and was attempting to get to zero diffs, but it is quite difficult to do so given some inconsistencies in the treatment of GT_OBJs of locals.

Optimize bounds checks with correct assertion set

Assertion prop defers removing redundant bounds checks until processing
the parent comma, because the rewrite involves the comma as well.  The
code currently has a bug in that its check for whether the bounds check
is redundant also occurs when processing reaches the comma, which is wrong
because the assertion set may then include assertions generated by the RHS
of the comma (there is code to compensate for the assertion generated by
the bounds check itself, which is the LHS of the comma, but no compensation
for the RHS).

This change moves the analysis of whether bounds checks are redundant to
the proper spot in the processing order, and delays only the rewrite to
the processing of the comma; the redundancy of the bounds check is
communicated via a new opcode-specific flag: GTF_ARR_BOUND_INBND.

Fixes #6318.

Update cross-building.md

Update windows-test-instructions.md

Update unix-test-instructions.md

Fix build warnings in Vector3Interop test

Fixes #6236

Swallow exception in gc_heap::fire_etw_allocation_event (#6571)

The gc_heap::fire_etw_allocation_event calls TypeHandle::GetName that can throw
due to OOM. But we don't want failures to fire event cause a failure during the GC,
so such exception should be swallowed and no event fired in such case.
This was discovered as a contract failure during test runs with ETW logging enabled
when this function was transitively called from Thread::PerformPreemptiveGC which
was recently modified to have NOTHROW contract.
Interestingly, this was not detected by the static contract checker.