Merge pull request #2883 from stephentoub/cts_size

Reduce size of CancellationCallbackInfo

Reduce size of CancellationCallbackInfo

Each registration with a cancelable CancellationToken results in allocating a CancellationCallbackInfo instance to store the relevant state, e.g. the action to invoke, the associated CTS, etc.  CancellationToken.Register has a little-known and very-little-used feature that enables the callback to be automatically sent to a captured SynchronizationContext, and as such the CancellationCallbackInfo has a field to store the SynchronizationContext, too.  But this field is almost always null.

This change reduces the size of CancellationCallbackInfo from 56 to 48 bytes on 64-bit by moving the TargetSynchronizationContext field to a derived type.  The derived instance with the extra field is only allocated when there is a SynchronizationContext captured.

Merge pull request #2879 from janvorli/fix-exception-in-prestub-using-holder-pass1

Fix exception in PreStubWorker call chain - update

Fix exception in PreStubWorker call chain - update

This change fixes one case that the previous fix was missing. This is a case when
the exception in the PreStubWorker call chain is thrown by native code, for example
during jitting the target managed method. In this case, the DispatchManagedException
is called in the first pass, so we need to do the same change as in the previous
fix for the first pass as well.
Since we now have the first managed frame context available in the
DispatchManagedException for the first pass too, I have modified the
UnwindManagedExceptionPass1 to get it as a parameter so that it doesn't
need to do the unwinding to that frame again.

Merge pull request #2866 from LLITCHEV/x86-assert-fix

Disable initialization of _lvArgReg and _lvOtherArgReg on x86.

Merge pull request #2864 from richlander/rich-header

Update copyright and file header guidance for .NET Core

Update copyright for .NET Core and update file header guidance

Fix a bug in fgExtendDbgLifetimes for testing lvArgReg instead of
lvIsRegArg.

The code for extending lifetime of lclvar was looking at lvArgReg instead
of lvIsRegArg member of LclVarDesc.

Merge pull request #2871 from gkhanna79/FixBadAssert

Remove Invalid assert

Merge pull request #2869 from wtgodbe/pathName

Shorten path names of test binaries in the CI to avoid file names longer than 260 chars

Remove Invalid assert

Shorten path names of test binaries in the CI to avoid file names longer than 260 chars

Merge pull request #2857 from briansull/fix_issue_2823

Change to disallow the generation of "locked" instructions for non-x86/x64 targets

Merge pull request #2851 from AndyAyersMS/FixDeltaBlue

Modify deltablue to avoid gratuitous exception at runtime

Change to disallow the generation of "locked" instruction for non-x86/x64 targets

Updated Tests.lst with 79 tests that now pass after this fix
Newly passing tests are also marked with the ISSUE_2823 tag
Updated Test.lst with additional REL_PASS tests

Merge pull request #2821 from mikem8361/osxbpfix

Fix OSX bps for PC-relative instructions.

Modify deltablue to avoid gratuitous exception at runtime

Merge pull request #2815 from steveharter/FixSanitizerClrStartup

Clang sanitizer fixes to remove incorrect function type 'void *(*)()'

Merge pull request #2863 from janvorli/fix-exception-in-prestub-using-holder

Fix exception exiting the PreStubWorker

Merge pull request #2859 from jkotas/gc-update

Update GC from CoreRT

Merge pull request #2846 from eerhardt/Fix5469

TimeZoneInfo behaves differently before and after calling GetSystemTimeZones on Unix

Fix exception in PreStubWorker

This change fixes a problem when exception happens in managed code called from
the PreStubWorker and the PreStubWorker (resp. its caller, ThePreStub) was called
from native code.
The issue was that the INSTALL_MANAGED_EXCEPTION_DISPATCHER calls DispatchManagedException
and that function expected that the INSTALL_MANAGED_EXCEPTION_DISPATCHER was always
at the boundary between managed and native frames and so it skipped the native frames
upto the first managed frame.
The PreStubWorker is the only case where this is not always true and so the native frames
need to be unwound by rethrowing the C++ exception when the PreStubWorker was called from
native code.

Fix OSX bps for PC-relative instructions.

Changed the mach exception handling to always hijack/send the exception back to the faulting
thread. Once running back in the faulting thread in PAL_DispatchException if the VM/debugger
code/hardware exception catching doesn't want this exception the exception message is forwarded
to the next exception port if one. Otherwise the process is aborted.

If the exception is forwarded, the faulting thread just busy waits until it gets hijacked
again by the next PAL exception thread in the system.

The exception message is always sent success as a reply after after the faulting thread is
hijacked. All the reply forwarding logic has been removed. This means we assume that OSX
default action for the unhandled exception is to abort the process. We don't reply with
KERN_FAILURE like before when the exception is unhandled. This also means that any third
party code hooking exception ports at the task or host level are not sent the exception
message.

The exception message is now also passed to PAL_DispatchException along with the ExceptionRecord
and Context so it can be used to forward the message if the VM doesn't want it (via a new function
called ForwardMachException).

Removed creating the reply port MachMessage::ForwardNotification and handle/ignore replies
in worker thread.

The original hijack logic queried the faulting thread's current state to build the thread CONTEXT
and the ExceptionRecord. Because the faulting thread runs now and forwards the exception notification
in its context, the hijack logic needs to use the thread state from the message to build the thread
CONTEXT. Refactored CONTEXT_GetThreadContextFromThreadState out of CONTEXT_GetThreadContextFromPort
as a part of this. Also needed to deal with x86_THREAD_STATE thread state flavor (which can be either
32 or 64 bit) instead of the x86_THREAD_STATE32/x86_THREAD_STATE64 explicitly used to get the thread
state in the original code.

Removed the code in ExceptionRecordFromMessage (formerly known as exception_from_trap_code) to
explicitly get the fault address from the thread instead of using the extra "code" in the exception
message to fill in the ExceptionInformation[1] field for access violations. Getting the faulting
address from the thread port doesn't work if the exception was forwarded and the "code" in the
exception message is accurate.

Since ICLRRuntimeHost2::RegisterMacEHPort() isn't implemented or used anymore and to simplify
the MAC exception code, removed s_TopExceptionPort and the top/bottom exception port logic.

Removed the s_ExceptionPortSet and just use s_ExceptionPort directly because we no longer
wait to receive messages from the reply port when forwarding the exception.

General cleanup. Renaming functions not to have underscores and locals not have the first letter
capitalized.

renamed:
        catch_exception_raise -> HijackFaultingThread
        exception_from_trap_code -> ExceptionRecordFromMessage

removed:
        malloc_zone_t *s_pExecutableHeap
        struct ForwardedNotification
        PROCThreadFromMachPort(mach_port_t hTargetThread)
        IsWithinCoreCLR(void *pAddr)
        all the malloc_zone utilities in machexception.cpp
        IsHandledException(MachMessage *pNotification, CorUnix::CPalThread *pThread)

Update GC from CoreRT

https://github.com/dotnet/corert/tree/master/src/Native/gc 0dcc350dae128b6fcca6b1ed74b580ed3240460a

Merge pull request #2825 from bbowyersmyth/StringStartsWithPt2

String.StartsWith performance - OrdinalCompareSubstring

Merge pull request #2853 from gkhanna79/Fix2850

Ensure TPA Binder initialized Managed ALC field to NULL.

String.StartsWith performance - StartsWithOrdinalHelper

Merge pull request #2855 from adityamandaleeka/fixDasmAssert

Move assert under COREDISTOOLS ifdef.

Merge pull request #2852 from adiaaida/updateContract

Change isDelegateCall to be LIMITED_METHOD_CONTRACT

Move assert under COREDISTOOLS ifdef.

Labeled the ARM64 dbg test failures due to issue 2849

Ensure TPA Binder initialized Managed ALC field to NULL

Change isDelegateCall to be LIMITED_METHOD_CONTRACT

WRAPPER_NO_CONTRACT on isDelegateCall causes static contract analyzer to fail.  Change to LIMITED_METHOD_CONTRACT to fix this issue.

Merge pull request #2845 from AndyAyersMS/DisableCscBenchOffWindows

Disable running CscBench off windows

Merge pull request #2819 from briansull/lvOtherArgReg

Fix issues on ARM64 with lvOtherArgReg being initialized to REG_STK

TimeZoneInfo behaves differently before and after calling GetSystemTimeZones on Unix

Once GetSystemTimeZones() is called, TimeZoneInfo assumes it has all of the time zones from the local machine, and doesn't try going back to the local machine in FindSystemTimeZoneById.  On Unix, we get all system time zones from the zones.tab file and each individual time zone comes from a tzfile with the "ID" as the file name. There are some tzfiles that aren't in the zones.tab file. This means if you call FindSystemTimeZoneById before calling GetSystemTimeZones(), it will be successful since we check the file system. But after you call GetSystemTimeZones(), a TimeZoneNotFoundException is thrown.

In order to solve this, on Unix we always check the local machine for FindSystemTimeZoneById before throwing a TimeZoneNotFoundException, no matter if GetSystemTimeZones() was called already or not.

Fix https://github.com/dotnet/corefx/issues/5469

Merge pull request #2807 from kangaroo/seh-unwind-context-fix

Fix PAL_VirtualUnwindOutOfProc for the case where unw_context is not …

Clang sanitizer fixes to remove incorrect function type 'void *(*)()'

Merge pull request #2832 from Priya91/includefiles

Add identity.cpp to build.

Merge pull request #2811 from wtgodbe/groovy

Fixed build and test of rc2 branch in CI

Disable running CscBench off windows

Disable this test when running off Windows for now, while we're getting to the root cause of #2728.

Fixed build and test of rc2 branch in CI

Merge pull request #2814 from sejongoh/add_jit_stress_modes

Add jit stress modes to netci.groovy

Merge pull request #2843 from hughbe/bitconverter-comments

Remove irrelevant endianness comment, fix #834

Remove irrelevant endianness comment, fix #834

Fixes #834 (see the issue for the rationale)

Merge pull request #2828 from juergenhoetzel/python3_fixes

Fix Python 3 issue in LTTNG generating code script

Fix Python 3 issue in LTTNG generating code script

In Python 3 the print statement has become a function.
Enforce Python 3 style by by using __future__ module.

Fix build breaks and ensure GetComputerNameW is included in mscorlib.

Merge pull request #2838 from dotnet/revert-2817-CoreRTPInvoke

Revert "Generate P/Invoke transitions for CoreRT."

Revert "Generate P/Invoke transitions for CoreRT."

Add JIT stress modes to netci.groovy

Fixed the environment variable names for JIT stress modes

Merge pull request #2817 from pgavlin/CoreRTPInvoke

Merge pull request #2837 from akarpov89/fix-typo

Fix typo

Fix typo

Replace "childre" with "children"

Merge pull request #2833 from stephentoub/convertto

Improve inlining of Convert.To* methods

Add identity.cpp to build.

Merge pull request #2829 from krytarowski/netbsd-support-11

Add new IMAGE_FILE_MACHINE_NATIVE_OS_OVERRIDE type for NetBSD

Address code review feedback.

Merge pull request #2745 from ellismg/disable-finalizer-test

Disable flaky test against 2744

Add new IMAGE_FILE_MACHINE_NATIVE_OS_OVERRIDE type for NetBSD

Random number selected for NetBSD is 0x1993.
1993 is the year of founding the project.

Closes #2805 "What's the Platform ID for NetBSD?" by myself.

Sort IMAGE_FILE_MACHINE_NATIVE_OS_OVERRIDE by OS

Merge pull request #2614 from AndyAyersMS/Bytemark

Add the bytemark benchmarks

Disable flaky test against #2744

Improve perf of Convert.To* methods

Many of these methods are just casts with an up-front out-of-bounds check to throw an exception it an overflow occurs.  Those checks, and specifically the throw statement that follows is causing many of these methods to be non-inlineable.  A microbenchmark shows that factoring out these statements increases throughput by as much as 6x.  Some of these were previously showing up as measurable contributions to CPU time in a real-world app being profiled.

Merge pull request #2797 from krytarowski/netbsd-support-6

NetBSD: Define PAL_CS_NATIVE_DATA_SIZE for few NetBSD platforms

Merge pull request #2800 from krytarowski/netbsd-support-8

NetBSD: CHAR_BIT as defined by POSIX in limits.h

Merge pull request #2795 from Dmitry-Me/fixInterlockedDecrementRace

Non-interlocked read of variable after InterlockedDecrement() causes a race

Merge pull request #2802 from krytarowski/netbsd-support-9

NetBSD: Don't link with -ldl for dlopen(3) on NetBSD

Merge pull request #2799 from krytarowski/netbsd-support-7

NetBSD: Detect copysign(3) properly on NetBSD inside the math library

Merge pull request #2804 from krytarowski/netbsd-support-10

NetBSD: Add a kludge to disable unimplemented SEHEnable()/Disable()

Merge pull request #2826 from kangaroo/uname-fix

[xplat] uname -p reports unknown on some arch -- fall back to uname -m

[xplat] uname -p reports unknown on some arch -- fall back to uname -m

Fix PAL_VirtualUnwindOutOfProc for the case where unw_context is not a ucontext_t

Merge pull request #2808 from erozenfeld/ValueNumberingFix

Fix a bug in JIT value numbering.

Merge pull request #2779 from swgillespie/event_tracing

Untangle FEATURE_EVENT_TRACE and GC_PROFILING for coreclr

Fix issues on ARM64 with lvOtherArgReg being initialized to REG_STK

Merge pull request #2818 from briansull/arm64-tests

Arm64 Smarty List file use for testing on Windows systems

Arm64 Smarty List file use for testing on Windows systems

Generate P/Invoke transitions for CoreRT.

This change adds support for CoreRT-style P/Invoke transitions
to RyuJIT. Instead of the usual inlined transition code, these
transitions are made up of calls to two new JIT helpers:

    PInvokeTransitionFrame frame; // opaque local
    CORINFO_HELP_INIT_PINVOKE_FRAME(&frame);
    ...
    CORINFO_HELP_JIT_PINVOKE_BEGIN(&frame);
    target(...);
    CORINFO_HELP_JIT_PINVOKE_END(&frame);
    ...

The preemptive mode constraints apply between calls to
JIT_PINVOKE_BEGIN and JIT_PINVOKE_END: no managed references
may be live only in registers and managed references may not
be manipulated.

Merge pull request #2791 from rahku/master

Use coreclr buildtools nuget package instead of compiling the tools u…

Use coreclr buildtools nuget package instead of compiling the tools used during build.
This only applies to windows build.

Merge pull request #2806 from janvorli/fix-stack-limit-check

Fix missing setting of ScanContext::stack_limit

Fix a bug in JIT value numbering.

This is a fix for a silent bad codegen bug in value numbering.
The value numbering algorithm tries to check whether heap PHI arguments
evaluate to the same value for the given query. In doing so, it may encounter
PHIs that recursively depend on each other (this corresponds to cycles in
control flow graph). A special value RecursiveVN is returned in such cases.
The algorithm uses the following rule:
if some PHI arguments evaluate to RecursiveVN but all others evaluate to the
same value that's not RecursiveVN, then that value can be used as the result.
Furthermore, in order to avoid exponential searches in case of many PHI's the
results of all PHI evaluations are memoized.

The bug was that if RecursiveVN was used to get the result, it can't always
be memoized. In particular, if the loop causing recursive PHIs is a multi-entry
loop, intermediate PHI results shouldn't be memoized. The fix is conservative in
that it always disables memoization if RecursiveVN was involved. Note that we
also have another mechanism (budget) to mitigate expensive PHI evaluations.

There were no diffs in SuperPMI and no measurable throughput impact.

I added a test with a simplified repro.
The original bug had code with yield return.

I also fixed some formatting and added several function headers.

NetBSD: Add a kludge to disable unimplemented SEHEnable()/Disable()

Fix missing setting of ScanContext::stack_limit

There is a code path executed when the GCStress is on and that was missing setting the stack_limit
value that the PromoteCarefully uses to detect objects on the stack.

NetBSD: Don't link with -ldl for dlopen(3) on NetBSD

NAME
     dlopen, dlclose, dlsym, dlvsym, dladdr, dlctl, dlerror - dynamic link
     interface

LIBRARY
     (These functions are not in a library.  They are included in every
     dynamically linked program automatically.)

SYNOPSIS
     #include <dlfcn.h>

     void *
     dlopen(const char *path, int mode);

NetBSD: CHAR_BIT as defined by POSIX in limits.h

Reference:

    limits.h - implementation-defined constants

    Numerical Limits
        {CHAR_BIT} Number of bits in a type char.

--- http://pubs.opengroup.org/onlinepubs/009695399/basedefs/limits.h.html

There is no such file as sys/limits.h in NetBSD.

NetBSD: Detect copysign(3) properly on NetBSD inside the math library

The copysing(3) function is a part of the libm library on NetBSD.
This is also true for other POSIX platforms.

NAME
     copysign, copysignf, copysignl - functions to manipulate signs

LIBRARY
     Math Library (libm, -lm)

SYNOPSIS
     #include <math.h>

     double
     copysign(double x, double y);

     float
     copysignf(float x, float y);

     long double
     copysignl(long double x, long double y);

STANDARDS
     The described functions conform to ISO/IEC 9899:1999 (``ISO C99'').

Add a comment from where comes the PAL_CS_NATIVE_DATA_SIZE value

NetBSD: Define PAL_CS_NATIVE_DATA_SIZE for few NetBSD platforms

Set PAL_CS_NATIVE_DATA_SIZE for:
- amd64 (x86_64),
- earm,
- hppa,
- i386,
- mips,
- sparc (32bit),
- sparc64.

Sort the definitions of PAL_CS_NATIVE_DATA_SIZE by platforms and archs

Non-interlocked read of variable after InterlockedDecrement() causes a race

Merge pull request #2794 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #2786 from wtgodbe/groovy

Set longer timeout for pri 1 tests, and add testing for rc2 branch

Merge pull request #2772 from ramarag/fixincrementabuild

Fix incremental build

Untangle FEATURE_EVENT_TRACE and GC_PROFILING to enable one to be enabled
without the other

Fix the Ubuntu build by ensuring that HeapWalkHelper is defined when the rest of the heap walking mechanisms are defined

+feedback from jkotas and address missing symbols on Ubuntu

Fix x86chk coresys build

[tfs-changeset: 1567626]

Fix ProjectK build breaks related to GC Stress change.

[tfs-changeset: 1567550]

Merge pull request #2784 from krytarowski/netbsd-support-5

NetBSD: Add new target in src/pal/src/configure.cmake for NetBSD

Add the bytemark benchmarks

These are C# versions of benchmarks that originally appeared in BYTE magazine in 1995.
See file headers for attribution.

I've added [Benchmark] entry points for xunit-performance, and tuned each portion to run for
about 1 second per xunit-performance iteration. Note a couple of the tests have variant
implementations in C# -- either jagged vs MD arrays, or class vs struct, so there are more
numbers reported than in the original benchmark. When run under xunit the work per test is fixed.

When run as a command line app this will auto-tune (adjust iterations to try and hit some
running time threshold).  We may want to reduce the running time here some; I'll see what
it ends up being in the lab.

I've also tried to enable validation code where possible, both to ensure that the compiler
gets the right answers, and also so it can't cheat and remove computation.

The two assign benchmarks seem to report varying times in xunit mode, and may need to be
investigated further.