Merge pull request #8509 from dotnet-bot/from-tfs

Merge changes from TFS

Refactor Span<T> to ease implementation of JIT intrinsics (#8497)

- Introduce internal ByReference<T> type for byref fields and change Span to use it
- Generalize handling of byref-like types in the type loader
- Make DangerousGetPinnableReference public while I was on it

Merge pull request #8505 from pgavlin/VSO297215

Use a left-leaning comma tree when morphing a stelem.ref helper.

Enable POGO build and link for CodegenMirror

[tfs-changeset: 1640669]

Merge pull request #8504 from mikedn/sort-comparison

Change ArraySortHelper to use Comparison<T>

Merge pull request #8482 from CarolEidt/Fix8220

Use only lower floats for Vector3 dot and equality

Merge pull request #8488 from sivarv/upperSave

Fix to issue 8356.

Use a left-leaning comma tree when morphing a stelem.ref helper.

fgMorphCall may change a call to the stelem.ref helper that is storing a
null value into a simple store. This transformation needs to construct a
comma tree to hold the argument setup nodes present on the call if any
exist. Originally this tree was constructed in right-leaning fashion
(i.e. the first comma node was the root of the tree and each successive
comma node was the RHS of its parent). Unfortunately, this construction
did not automatically propagate the flags of a comma node's children to
the comma node, since not all of each comma node's actual children were
available at the time it was constructed. Constructing the tree in
left-leaning fashion (i.e. the first comma node is the left-most child
and the final comma node is the root of the tree) allows the flag
propagation to be performed correctly by constrution.

Fixes VSO 297215.

Merge pull request #8503 from pgavlin/VSO289704

Remove a use of `gtGetOp` in earlyprop.

Remove unused DepthLimitedQuickSort methods

These are never used in CoreCLR

Change ArraySortHelper to use Comparison<T>

The Array/List.Sort overloads that take a Comparison<T> have worse performance than the ones that take a IComparer<T>. That's because sorting is implemented around IComparer<T> and a Comparison<T> needs to be wrapped in a comparer object to be used.

At the same time, interface calls are slower than delegate calls so the existing implementation doesn't offer the best performance even when the IComparer<T> based overloads are used.

By changing the implementation to use Comparison<T> we avoid interface calls in both cases.

When IComparer<T> overloads are used a Comparison<T> delegate is created from IComparer<T>.Compare, that's an extra object allocation but sorting is faster and we avoid having two separate sorting implementations.

Remove a use of `gtGetOp` in earlyprop.

Instead, use `GenTreeIndir::Addr`, as some indirections are not simple
operators.

Fixes VSO 289704.

[x86/Linux][SOS] Get correct stack pointer from DT_CONTEXT (#8500)

Use only lower floats for Vector3 dot and equality

For both dot product and comparisons that produce a boolean result, we need to use only the lower 3 floats. The bug was exposed by a case where the result of a call was being used in one of these operations without being stored to a local (which would have caused the upper bits to be cleared).

Fix #8220

[x86/Linux][SOS] Add definitions for CLR_CMAKE_PLATFORM_ARCH_I386 in CMakeLists.txt file of lldbplugin (#8499)

Move JIT_EndCatch from asmhelpers.asm into jithelp.asm (#8492)

* Move JIT_EndCatch from asmhelpers.asm into jithelp.asm

The name of JIT_EndCatch suggests that it is a JIT helper, but its
implementation is inside asmhelpers.asm (not in jithelp.asm).

This commit moves its implementation into jithelp.asm.

* Move COMPlusEndCatch declaration

[x86/Linux] Port StubLinkerCPU::EmitSetup (#8494)

This commit ports StubLinkerCPU::EmitSetup to x86/Linux.

Merge pull request #8470 from brianrob/fix_lttng_header_detection

Fix building against liblttng-ust-dev 2.8+

[x86/Linux] Port asmhelpers.asm (#8489)

This commit ports asmhelpers.asm to x86/Linux.
(CallRtlUnwind is currently marked as NYI)

[x86/Linux] Port PATCH_LABEL macro (#8483)

GcInfoEncoder: Initialize the BitArrays tracking liveness (#8485)

The non-X86 GcInfoEncoder library uses two bit-arrays to keep track
of pointer-liveness. The BitArrays are allocated using the arena allocator
which doesn't zero-initialize them. This was causing non-deterministic
redundant allocation of unused slots. This change fixes the problem.

Merge pull request #8484 from pgavlin/VSO297113

Fix use edge iterator for DYN_BLK nodes.

Fix to issue 8356.

Fix building against liblttng-ust-dev 2.8+

Fix use edge iterator for DYN_BLK nodes.

Dynamic block nodes (i.e. DYN_BLK and STORE_DYN_BLK) are not standard
nodes. As such, the use order of their operands may be reordered in ways
that are not visible via the usual mechanisms. The use edge iterator was
not taking these mechanisms into account, which caused mismatches
between the use order observed by LSRA and the order observed by code
generation. This in turn caused SBCG under circumstances in which one
operand needed to be copied from e.g. esi to edi before another operand
was unspilled into esi.

Fixes VSO 297113.

Merge pull request #8466 from CarolEidt/Fix297074

Create Blk node for struct vararg

Merge pull request #8467 from briansull/vso-287663

Don't change a GT_DYN_BLK into a GT_BLK when the size is zero

Merge pull request #8263 from AndyAyersMS/InlineInlinePinvoke

JIT: enable inline pinvoke in more cases

Fixed typo

We should not transform a GT_DYN_BLK with a constant zero size into a GT_BLK as we do not support a GT_BLK of size zero.

Fixes VSO 287663

Merge pull request #8464 from pgavlin/VSO297109

x86: Deactivate P/Invoke frames after a native call.

Address PR feedback.

[x86/Linux][SOS] Fix DataTarget::GetPointerSize for x86 (#8473)

[x86/Linux][SOS] Disable ARM target support for xplat (#8471)

[x86/Linux] Fix Dacp structure size mismatch (#8377)

Fix compile error for x86/Linux
- add __attribute__((__ms_struct__)) as "MSLAYOUT" for those structures
- Fix "Dacp structs cannot be modified due to backwards compatibility" error

Extract ARRAYSTUBS_AS_IL code from STUBS_AS_IL region (#8443)

FEATURE_ARRAYSTUBS_AS_IL code seems to be independent from
FEATURE_STUBS_AS_IL, but the related code is enclosed with
FEATURE_STUBS_AS_IL.

This commit extracts the related code from STUBS_AS_IL region.

Merge pull request #8463 from CarolEidt/Fix288220

Allow remorph of SIMD assignment

[x86/Linux] Fix exception handling routine (#8433)

* [x86/Linux] Fix exception handling routine

DispatchManagedException requires WIN64EXCEPTIONS to be defined, but it
is not defined for x86/Linux.

[x86/Linux] Revise COMPlusThrowCallback (#8430)

GetCallerToken and GetImpersonationToken methods in FrameSecurityDescriptorBaseObject
are implemented only for Windows-platform.

[x86/Linux] Fix unknown pragma build error (#8427)

Create Blk node for struct vararg

When morphing a reference to a struct parameter in a varargs method, it must be a blk node if it is the destination of an assignment.

Merge pull request #8468 from DrewScoggins/LinuxPerfFixup

Fix calls to curl in prep script

Fix calls to curl in prep script

Before we were calling curl without the -L configuration.  This would
cause it not follow redirects and several of the files we needed have
now started using redirects.  This fixes that issue.

[x86/Linux] Port gmsasm.asm (#8456)

[x86/Linux] Mark several Windows-specific functions in excepx86.cpp as NYI  (#8424)

* Mark several Windows-specific functions as NYI

* Use FEATURE_PAL instead of PLATFORM_UNIX

* Revert the change in threads.h

Add UnhandledExceptionHandlerUnix Stub (#8425)

FuncEvalHijack in dbghelpers.S uses UnhandledExceptionHandlerUnix as a
personality routine, but UnhandledExceptionHandlerUnix is not avaiable
for x86 (UnhandledExceptionHandlerUnix is available only when
WIN64EXCEPTIONS which is not defined for x86).

This commit adds UnhandledExceptionHandlerUnix to fix dangling
reference.

Merge pull request #8461 from sivarv/shiftFix

Compare opt against zero involving a shift oper.

Merge pull request #8195 from DrewScoggins/LinuxPerfAuto

Add Linux perf support to Jenkins

[x86/Linux] Enclose ArrayOpStub Exceptions with FEATURE_ARRAYSTUB_AS_IL (#8445)

* Enclose ArrayOpStub Exceptions with FEATURE_ARRAYSTUB_AS_IL

* Fix unmatched ifdef

* Fix unmatched ifdef

[x86/Linux] Fix no known conversion from 'void ()' to 'void *' (#8450)

Fix compile error for x86/Linux
- this will fix "no known conversion from 'void ()' to 'void *'" for "CallRtlUnwindSafe"
- for compiler clang 3.8

[x86/Linux] add a stub for THROW_CONTROL_FOR_THREAD_FUNCTION (#8455)

THROW_CONTROL_FOR_THREAD_FUNCTION is defined as ThrowControlForThread
for x86/Linux, but unixstubs implements RedirectForThrowControl (which
corresponds to x64/Linux).

This commit renames RedirectForThrowControl as ThrowControlForThread to
fix dangling ThrowControlForThread reference in x86/Linux.

x86: Deactivate P/Invoke frames after a native call.

Although this does not appear to be strictly necessary, this matches
JIT32's behavior. With this change, the stack walker will ignore the
P/Invoke frame even while it is still present on its thread's frame
list.

Fixes VSO 297109.

Allow remorph of SIMD assignment

This fixes an assert exposed by JitStress=1.

Compare opt against zero involving a shift oper.

Copy CoreFX environment variable code (#8405)

Tweak the core code to match up with what we had done in CoreFX and expose
so that we can have a single source of environment truth. This is
particularly important for Unix as we use a local copy of the state.

Merge pull request #8109 from BruceForstall/FixSimd12NYI

RyuJIT/x86: Implement TYP_SIMD12 support

Add Linux perf support to Jenkins

This change adds perf support for CoreCLR on Ubuntu 14.04 to Jenkins.
This is mostly work extending what Smile had already done.  The main
changes were to build CoreCLR rather then grab it from CI, and work to
get the upload portion finished.

Incorporate changes from Jan's #8437, plus review feedback.

Still honoring windows exception interop restrictions on all platforms
and runtimes. Will revisit when addressing #8459.

JIT: enable inline pinvoke in more cases

An inline pinvoke is a pinvoke where the managed/native transition
overhead is reduced by inlining parts of the transition bookkeeping
around the call site. A normal pinvoke does this bookkeeping in
a stub method that interposes between the managed caller and the
native callee.

Previously the jit would not allow pinvoke calls that came from inlines
to be optimized via inline pinvoke. This sometimes caused performance
surprises for users who wrap DLL imports with managed methods. See for
instance #2373.

This change lifts this limitation. Pinvokes from inlined method bodies
are now given the same treatment as pinvokes in the root method. The
legality check for inline pinvokes has been streamlined slightly to
remove a redundant check. Inline pinvokes introduced by inlining are
handled by accumulating the unmanaged method count with the value from
inlinees, and deferring insertion of the special basic blocks until after
inlining, so that if the only inline pinvokes come from inline instances
they are still properly processed.

Inline pinvokes are still disallowed in try and handler regions
(catches, filters, and finallies).

X87 liveness tracking was updated to handle the implicit inline frame
var references. This was a pre-existing issue that now can show up more
frequently. Added a test case that fails with the stock legacy jit
(and also with the new enhancements to pinvoke). Now both the original
failing case and this case pass.

Inline pinvokes are also now suppressed in rarely executed blocks,
for instance blocks leading up to throws or similar.

The inliner is now also changed to preferentially report inline
reasons as forced instead of always when both are applicable.

This change adds a new test case that shows the variety of
situations that can occur with pinvoke, inlining, and EH.

Merge pull request #8306 from jamesqo/better-bulk-add

Better bulk adds for List.

[x86/Linux] Re-enable FrameHandlerExRecord for x86/Linux (#8409)

* Re-enable FrameHandlerExRecord for x86/Linux

* Use _TARGET_X86_ instead of WIN64EXCEPTIONS

[x86/Linux] Fix dangling ClrCaptureContext (#8453)

Fix dangling StubLinkerCPU::EmitDelegateInvoke in x86/Linux (#8444)

Several methods in StublicLinkerCPU (including EmitDelegateInvoke) are
available only when FEATURE_STUBS_AS_IL is defined.

This commit encloses their declaration with appropriate macro
(FEATURE_STUBS_AS_IL), and fix related build erros.

[x86/Linux] Enclose stub-linking methods with FEATURE_STUBS_AS_IL (#8432)

[x86/Linux] Fix dangling CLR_ImpersonateLoggedOnUser reference (#8435)

src/vm/securityprincipal.cpp is not included in x86/Linux build, and
thus all the reference to the functions in it will be dangling. (i.e.
COMPrincipal::CLR_ImpersonateLoggedOnUser).

This commit hides COMPrincipal for non-Windows platforms, and marks
COMPlusThrowCallbackHelper as NYI.

Fix runtest.sh: delete ni file and lock correctly (#8081)

[x86/Linux] Mark LeaveCatch as NYI (#8384)

* Disable LeaveCatch for non-Windows platforms

* Mark LeaveCatch as NYI

* Use #ifndef as before

[x86/Linux] Fix all paths through this function will call itself (#8451)

Fix compile error for x86/Linux
- disable "infinite-recursion" for "recursiveFtn" function
- only for clang

[x86/Linux] Use Portable LMul JIT Helper (#8449)

[x86/Linux] Fix indirection of non-volatile null pointer will be deleted (#8452)

Fix compile error for x86/Linux
- fix error "indirection of non-volatile null pointer will be deleted, not trap [-Werror,-Wnull-dereference]"
- using clang 3.8

Use Portable Floating-point Arithmetic Helpers (#8447)

This commit enables portable floating-point arithmetic helpers for
x86/Linux build.

[x86/Linux] Fix dangling DoubleToNumber and NumberToDouble (#8446)

This commit enables portable DoubleToNumber and NumberToDouble for
x86/Linux.

Fix several misspellings of exception and "a exception". (#8442)

[x86/Linux] Revert UMThkCallFrame-related changes (#8434)

* [x86/Linux] Revert UMThkCallFrame-related code

* [x86/Linux] Fix dangling 'TheUMEntryPrestub' reference

This commit re-enables GenerateUMThunkPrestub and its related code in
order to remove TheUMEntryPrestub reference.

* [x86/Linux] Re-enable several methods in StubLinkerCPU

This commit re-enables the following methods for x86/Linux:
 - StubLinkerCPU::EmitSetup
 - StubLinkerCPU::EmitComMethodStubProlog
 - StubLinkerCPU::EmitComMethodStubEpilog

In addtion, EmitComMethodStubEpilog is marked as NYI.

[x86/Linux] Fix unused function warning (#8429)

* Delete the unused code

Ensure MSBuild properties get persisted to child MSBuild tasks, fixes a race condition in the build (#8404)

RyuJIT/x86: Implement TYP_SIMD12 support

There is no native load/store instruction for Vector3/TYP_SIMD12,
so we need to break this type down into two loads or two stores,
with an additional instruction to put the values together in the
xmm target register. AMD64 SIMD support already implements most of
this. For RyuJIT/x86, we need to implement stack argument support
(both incoming and outgoing), which is different from the AMD64 ABI.

In addition, this change implements accurate alignment-sensitive
codegen for all SIMD types. For RyuJIT/x86, the stack is only 4
byte aligned (unless we have double alignment), so SIMD locals are
not known to be aligned (TYP_SIMD8 could be with double alignment).
For AMD64, we were unnecessarily pessimizing alignment information,
and were always generating unaligned moves when on AVX2 hardware.
Now, all SIMD types are given their preferred alignment in
getSIMDTypeAlignment() and alignment determination in
isSIMDTypeLocalAligned() takes into account stack alignment (it
still needs support for x86 dynamic alignment). X86 still needs to
consider dynamic stack alignment for SIMD locals.

Fixes #7863

[x86/Linux] fix several parentheses compile warnings (#8428)

Introduce CORINFO_EH_CLAUSE_SAMETRY flag for CoreRT ABI (#8422)

CORINFO_EH_CLAUSE_SAMEBLOCK flag is returned on mutually protecting EH clauses for CoreRT ABI. It is set on EH clauses that cover same try block as the previous one. The runtime cannot reliably infer this information from native code offsets without full description of duplicate clauses because of different try blocks can have same offsets. Alternative solution to this problem would be inserting extra nops to ensure that different try blocks have different offsets.

Merge pull request #8419 from jkotas/master-UpdateDependencies

Update CoreClr, CoreFx to beta-24801-03, beta-24721-02, respectively

Disable test against #8418 to unblock corefx updates

[x86/Linux] Use portable JIT helpers (#8392)

[x86/Linux] Disable Watson-related code for non-Windows platforms (#8410)

[x86/Linux] Add Portable PopSEHRecords as NYI (#8412)

Resolve duplicated functions (#8413)

Several functions are implemented in both cgenx86.cpp and unixstubs.cpp,
which results in linking errors.

This commit disables functions in cgenx86.cpp to resolve linking errors.

[x86/Linux] Adjust the definition of FnStaticBaseHelper for x86 (#8390)

Merge pull request #8414 from BruceForstall/FixSimdRegressions

Fix recent x86 SIMD regressions

Update CoreClr, CoreFx to beta-24801-03, beta-24721-02, respectively

fix permissive C++ code (MSVC /permissive-) (#8337)

* fix permissive C++ code (MSVC /permissive-)

These were found by the C++ compiler group when doing "Real world code"
build tests using /permissive-.  We are sharing these with you to help you clean up
your code before the new version of the compiler comes out.  For more information on /permissive-
see https://blogs.msdn.microsoft.com/vcblog/2016/11/16/permissive-switch/.

----------------------------
Under /permissive-, skipping the initialization of a variable is not allowed.
As an extension the compiler allowed this when there was no destructor for the type.

    void func(bool b)
    {
        if(b) goto END;

        int value = 0; //error C2362: initialization of 'value' is skipped by 'goto END'
     int array[10]; //Okay, not initialized.
        //... value used here

    END:
        return;
    }

Fix 1) Limit the scope of value:

    {
      int value = 0;
      //... value used here
    }
    END:

Fix 2) Initialize/declare value before the 'goto'

    int value = 0;
    if(b) goto END;
    //... value used here
    END:

Fix 3) Don't initialize value in the variable declaration.

    int value;
    value = 0
    //... value used here
    END:

-------------------
Alternative token representations.
The following are reserved as alternative representations for operators:
  and and_eq bitand bitor compl not not_eq or or_eq xor xor_eq

    //Can't use reserved names for variables:
    static int and = 0; // Change name (possibly to 'and_')

    void func()
    {
        _asm {
            xor     edx,edx // xor is reserved, change to uppercase XOR
            or      eax,eax // or is reserved, change to uppercase OR
        }
    }

* Apply formatting patch.

* fixes from code review.

I addressed @janvorli requests from the pull request code review.

Re-enable UMThkCallFrame and fix compile errors (#8411)

Fix build error in ARM64 code (#8407)

CONTEXT struct for ARM64 does not contain X29 field.

Add EXCEPTION_REGISTRATION_RECORD for x86/Linux (#8408)

Fix recent x86 SIMD regressions

1. Recent PUTARG_STK work didn't consider SIMD arguments.
2. SSE3_4 work caused underestimation of instruction sizes for SSE4
instructions (e.g., pmulld).

Remove the BinaryCompatibility class as it is not useful on .NET Core… (#8396)

* Remove the BinaryCompatibility class as it is not useful on .NET Core and creates issues on Debug builds when the TFM on the AppDomain is not recognized.
* Update the code for DateTimeFormatInfo to not use BinaryCompatibility
* Remove initialization of preferExistingTokens now that we removed its usage

Add printing managed assert message to console (#8399)

I have discovered that when GUI assertion dialogs are disabled, the assert
message is not shown anywhere and the app just silently exits.
This change adds printing the message and stack trace to console in such case.

Skip emitting duplicate clauses for CoreRT (#8400)

Fixes https://github.com/dotnet/corert/issues/2262

Add parentheses aroung logical operations (#8406)

This commit fixes logical-op-parentheses compile error for x86/Linux build.

Merge pull request #8209 from stephentoub/arraypool_perf

Improve ArrayPool implementation and performance

Merge pull request #8382 from BruceForstall/FixShift

Fix x86 encoder to use 64-bit type to accumulate opcode/prefix bits

Exclude jithelp.asm for x86/Linux (#8393)