Fix exception in PreStubWorker call chain - update

This change fixes one case that the previous fix was missing. This is a case when
the exception in the PreStubWorker call chain is thrown by native code, for example
during jitting the target managed method. In this case, the DispatchManagedException
is called in the first pass, so we need to do the same change as in the previous
fix for the first pass as well.
Since we now have the first managed frame context available in the
DispatchManagedException for the first pass too, I have modified the
UnwindManagedExceptionPass1 to get it as a parameter so that it doesn't
need to do the unwinding to that frame again.

Fix exception in PreStubWorker

This change fixes a problem when exception happens in managed code called from
the PreStubWorker and the PreStubWorker (resp. its caller, ThePreStub) was called
from native code.
The issue was that the INSTALL_MANAGED_EXCEPTION_DISPATCHER calls DispatchManagedException
and that function expected that the INSTALL_MANAGED_EXCEPTION_DISPATCHER was always
at the boundary between managed and native frames and so it skipped the native frames
upto the first managed frame.
The PreStubWorker is the only case where this is not always true and so the native frames
need to be unwound by rethrowing the C++ exception when the PreStubWorker was called from
native code.

Merge pull request #2845 from AndyAyersMS/DisableCscBenchOffWindows

Disable running CscBench off windows

Merge pull request #2819 from briansull/lvOtherArgReg

Fix issues on ARM64 with lvOtherArgReg being initialized to REG_STK

Merge pull request #2807 from kangaroo/seh-unwind-context-fix

Fix PAL_VirtualUnwindOutOfProc for the case where unw_context is not …

Merge pull request #2832 from Priya91/includefiles

Add identity.cpp to build.

Merge pull request #2811 from wtgodbe/groovy

Fixed build and test of rc2 branch in CI

Disable running CscBench off windows

Disable this test when running off Windows for now, while we're getting to the root cause of #2728.

Fixed build and test of rc2 branch in CI

Merge pull request #2814 from sejongoh/add_jit_stress_modes

Add jit stress modes to netci.groovy

Merge pull request #2843 from hughbe/bitconverter-comments

Remove irrelevant endianness comment, fix #834

Remove irrelevant endianness comment, fix #834

Fixes #834 (see the issue for the rationale)

Merge pull request #2828 from juergenhoetzel/python3_fixes

Fix Python 3 issue in LTTNG generating code script

Fix Python 3 issue in LTTNG generating code script

In Python 3 the print statement has become a function.
Enforce Python 3 style by by using __future__ module.

Fix build breaks and ensure GetComputerNameW is included in mscorlib.

Merge pull request #2838 from dotnet/revert-2817-CoreRTPInvoke

Revert "Generate P/Invoke transitions for CoreRT."

Revert "Generate P/Invoke transitions for CoreRT."

Add JIT stress modes to netci.groovy

Fixed the environment variable names for JIT stress modes

Merge pull request #2817 from pgavlin/CoreRTPInvoke

Merge pull request #2837 from akarpov89/fix-typo

Fix typo

Fix typo

Replace "childre" with "children"

Merge pull request #2833 from stephentoub/convertto

Improve inlining of Convert.To* methods

Add identity.cpp to build.

Merge pull request #2829 from krytarowski/netbsd-support-11

Add new IMAGE_FILE_MACHINE_NATIVE_OS_OVERRIDE type for NetBSD

Address code review feedback.

Merge pull request #2745 from ellismg/disable-finalizer-test

Disable flaky test against 2744

Add new IMAGE_FILE_MACHINE_NATIVE_OS_OVERRIDE type for NetBSD

Random number selected for NetBSD is 0x1993.
1993 is the year of founding the project.

Closes #2805 "What's the Platform ID for NetBSD?" by myself.

Sort IMAGE_FILE_MACHINE_NATIVE_OS_OVERRIDE by OS

Merge pull request #2614 from AndyAyersMS/Bytemark

Add the bytemark benchmarks

Disable flaky test against #2744

Improve perf of Convert.To* methods

Many of these methods are just casts with an up-front out-of-bounds check to throw an exception it an overflow occurs.  Those checks, and specifically the throw statement that follows is causing many of these methods to be non-inlineable.  A microbenchmark shows that factoring out these statements increases throughput by as much as 6x.  Some of these were previously showing up as measurable contributions to CPU time in a real-world app being profiled.

Merge pull request #2797 from krytarowski/netbsd-support-6

NetBSD: Define PAL_CS_NATIVE_DATA_SIZE for few NetBSD platforms

Merge pull request #2800 from krytarowski/netbsd-support-8

NetBSD: CHAR_BIT as defined by POSIX in limits.h

Merge pull request #2795 from Dmitry-Me/fixInterlockedDecrementRace

Non-interlocked read of variable after InterlockedDecrement() causes a race

Merge pull request #2802 from krytarowski/netbsd-support-9

NetBSD: Don't link with -ldl for dlopen(3) on NetBSD

Merge pull request #2799 from krytarowski/netbsd-support-7

NetBSD: Detect copysign(3) properly on NetBSD inside the math library

Merge pull request #2804 from krytarowski/netbsd-support-10

NetBSD: Add a kludge to disable unimplemented SEHEnable()/Disable()

Merge pull request #2826 from kangaroo/uname-fix

[xplat] uname -p reports unknown on some arch -- fall back to uname -m

[xplat] uname -p reports unknown on some arch -- fall back to uname -m

Fix PAL_VirtualUnwindOutOfProc for the case where unw_context is not a ucontext_t

Merge pull request #2808 from erozenfeld/ValueNumberingFix

Fix a bug in JIT value numbering.

Merge pull request #2779 from swgillespie/event_tracing

Untangle FEATURE_EVENT_TRACE and GC_PROFILING for coreclr

Fix issues on ARM64 with lvOtherArgReg being initialized to REG_STK

Merge pull request #2818 from briansull/arm64-tests

Arm64 Smarty List file use for testing on Windows systems

Arm64 Smarty List file use for testing on Windows systems

Generate P/Invoke transitions for CoreRT.

This change adds support for CoreRT-style P/Invoke transitions
to RyuJIT. Instead of the usual inlined transition code, these
transitions are made up of calls to two new JIT helpers:

    PInvokeTransitionFrame frame; // opaque local
    CORINFO_HELP_INIT_PINVOKE_FRAME(&frame);
    ...
    CORINFO_HELP_JIT_PINVOKE_BEGIN(&frame);
    target(...);
    CORINFO_HELP_JIT_PINVOKE_END(&frame);
    ...

The preemptive mode constraints apply between calls to
JIT_PINVOKE_BEGIN and JIT_PINVOKE_END: no managed references
may be live only in registers and managed references may not
be manipulated.

Merge pull request #2791 from rahku/master

Use coreclr buildtools nuget package instead of compiling the tools u…

Use coreclr buildtools nuget package instead of compiling the tools used during build.
This only applies to windows build.

Merge pull request #2806 from janvorli/fix-stack-limit-check

Fix missing setting of ScanContext::stack_limit

Fix a bug in JIT value numbering.

This is a fix for a silent bad codegen bug in value numbering.
The value numbering algorithm tries to check whether heap PHI arguments
evaluate to the same value for the given query. In doing so, it may encounter
PHIs that recursively depend on each other (this corresponds to cycles in
control flow graph). A special value RecursiveVN is returned in such cases.
The algorithm uses the following rule:
if some PHI arguments evaluate to RecursiveVN but all others evaluate to the
same value that's not RecursiveVN, then that value can be used as the result.
Furthermore, in order to avoid exponential searches in case of many PHI's the
results of all PHI evaluations are memoized.

The bug was that if RecursiveVN was used to get the result, it can't always
be memoized. In particular, if the loop causing recursive PHIs is a multi-entry
loop, intermediate PHI results shouldn't be memoized. The fix is conservative in
that it always disables memoization if RecursiveVN was involved. Note that we
also have another mechanism (budget) to mitigate expensive PHI evaluations.

There were no diffs in SuperPMI and no measurable throughput impact.

I added a test with a simplified repro.
The original bug had code with yield return.

I also fixed some formatting and added several function headers.

NetBSD: Add a kludge to disable unimplemented SEHEnable()/Disable()

Fix missing setting of ScanContext::stack_limit

There is a code path executed when the GCStress is on and that was missing setting the stack_limit
value that the PromoteCarefully uses to detect objects on the stack.

NetBSD: Don't link with -ldl for dlopen(3) on NetBSD

NAME
     dlopen, dlclose, dlsym, dlvsym, dladdr, dlctl, dlerror - dynamic link
     interface

LIBRARY
     (These functions are not in a library.  They are included in every
     dynamically linked program automatically.)

SYNOPSIS
     #include <dlfcn.h>

     void *
     dlopen(const char *path, int mode);

NetBSD: CHAR_BIT as defined by POSIX in limits.h

Reference:

    limits.h - implementation-defined constants

    Numerical Limits
        {CHAR_BIT} Number of bits in a type char.

--- http://pubs.opengroup.org/onlinepubs/009695399/basedefs/limits.h.html

There is no such file as sys/limits.h in NetBSD.

NetBSD: Detect copysign(3) properly on NetBSD inside the math library

The copysing(3) function is a part of the libm library on NetBSD.
This is also true for other POSIX platforms.

NAME
     copysign, copysignf, copysignl - functions to manipulate signs

LIBRARY
     Math Library (libm, -lm)

SYNOPSIS
     #include <math.h>

     double
     copysign(double x, double y);

     float
     copysignf(float x, float y);

     long double
     copysignl(long double x, long double y);

STANDARDS
     The described functions conform to ISO/IEC 9899:1999 (``ISO C99'').

Add a comment from where comes the PAL_CS_NATIVE_DATA_SIZE value

NetBSD: Define PAL_CS_NATIVE_DATA_SIZE for few NetBSD platforms

Set PAL_CS_NATIVE_DATA_SIZE for:
- amd64 (x86_64),
- earm,
- hppa,
- i386,
- mips,
- sparc (32bit),
- sparc64.

Sort the definitions of PAL_CS_NATIVE_DATA_SIZE by platforms and archs

Non-interlocked read of variable after InterlockedDecrement() causes a race

Merge pull request #2794 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #2786 from wtgodbe/groovy

Set longer timeout for pri 1 tests, and add testing for rc2 branch

Merge pull request #2772 from ramarag/fixincrementabuild

Fix incremental build

Untangle FEATURE_EVENT_TRACE and GC_PROFILING to enable one to be enabled
without the other

Fix the Ubuntu build by ensuring that HeapWalkHelper is defined when the rest of the heap walking mechanisms are defined

+feedback from jkotas and address missing symbols on Ubuntu

Fix x86chk coresys build

[tfs-changeset: 1567626]

Fix ProjectK build breaks related to GC Stress change.

[tfs-changeset: 1567550]

Merge pull request #2784 from krytarowski/netbsd-support-5

NetBSD: Add new target in src/pal/src/configure.cmake for NetBSD

Add the bytemark benchmarks

These are C# versions of benchmarks that originally appeared in BYTE magazine in 1995.
See file headers for attribution.

I've added [Benchmark] entry points for xunit-performance, and tuned each portion to run for
about 1 second per xunit-performance iteration. Note a couple of the tests have variant
implementations in C# -- either jagged vs MD arrays, or class vs struct, so there are more
numbers reported than in the original benchmark. When run under xunit the work per test is fixed.

When run as a command line app this will auto-tune (adjust iterations to try and hit some
running time threshold).  We may want to reduce the running time here some; I'll see what
it ends up being in the lab.

I've also tried to enable validation code where possible, both to ensure that the compiler
gets the right answers, and also so it can't cheat and remove computation.

The two assign benchmarks seem to report varying times in xunit mode, and may need to be
investigated further.

Merge pull request #2783 from AndyAyersMS/RayTracer

Add the RayTracer benchmark

Merge pull request #2696 from gkhanna79/AssemblyResolve

AssemblyResolve support

Merge pull request #2774 from ramarag/fixtestlayout

Fixes the test intermediates layout for clean builds

Retire unused Asian LOCALE_NAME

Removed variants:
- JA_JP_LOCALE_NAME,
- KO_KR_LOCALE_NAME,
- ZH_TW_LOCALE_NAME.

Merge pull request #2782 from krytarowski/netbsd-support-4

NetBSD: Set proper shortAsciiName for NetBSD's libc

Merge pull request #2781 from krytarowski/netbsd-support-3

NetBSD: Add support for retrieving the number of available CPUs

Merge pull request #2732 from steveharter/FixSanitizerClrStartup

Reduce clr startup noise when using Clang sanitizers

Generating Event Logging Headers From CMake for Linux

Conflicts:
build.sh

FIx the incremental build for Windows

Conflicts:
build.cmd
src/dlls/clretwrc/CMakeLists.txt

Cleanup

Merge pull request #2788 from kyulee1/fixpath

Fix test path for ilasm nightly

Fix test path for ilasm nightly

Merge pull request #2777 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #2787 from mmitche/add-jitstress

Add JitStress=1 stress configuration

Add JitStress=1 stress configuration

Merge pull request #2778 from krytarowski/netbsd-support-2

NetBSD: Add PYTHON env variable for build.sh to specify python exec name

Fixes the test intermediates layout for clean builds

Set longer timeout for pri 1 tests, and add testing for rc2 branch

Reduce clr startup noise when using Clang sanitizers

NetBSD: Add new target in src/pal/src/configure.cmake for NetBSD

This code is based on FreeBSD, with the following differences:
- At the moment there is no libunwind for NetBSD.
- The is no need for libc.so magic like in GNU, neither on FreeBSD
  someone wrongly assumed it there.
- ptrace(2) uses (void*) instead of (caddr_t)

NetBSD: Set proper shortAsciiName for NetBSD's libc

There is no need for the LIBC_SO-like solution on NetBSD.

Add the RayTracer benchmark

NetBSD: Add support for retrieving the number of available CPUs

$ uname
NetBSD
$ getconf NPROCESSORS_ONLN
2
$ getconf _NPROCESSORS_ONLN
getconf: _NPROCESSORS_ONLN: unknown variable

Merge pull request #2780 from pgavlin/BuildRyuJitPackage

Use output redirection in BuildRyuJitPackage.

Use output redirection in BuildRyuJitPackage.

Command capture was producing unexpected results on the build
machines.

NetBSD: Add PYTHON env variable for build.sh to specify python exec name

This allows to overload the default 'python' executable name and is used
on NetBSD with pkgsrc, where python is either python2.7 or python3.x.

Merge pull request #2760 from mmitche/add-ubuntu-minopts

Add minopts testing for the other cross compiled OS's

Add minopts for ubuntu and osx.

Merge pull request #2776 from janvorli/fix-projectk-build

Fix missing disassembler.cpp in .targets files

Update Unicode data to 8.0

This a change porting that is done on the desktop. in addition updating some tests
The change is to update the Unicode characters data from v6.3 to v8 (support 2 releases after 6.3). the change is purely a data change and there is no product code changes.

[tfs-changeset: 1567358]

Fix missing disassembler.cpp in .targets files

This change adds missing disassembler.cpp to wks.targets and dacwks.targets files.

Add support for AssemblyResolution when an assembly is not found in a given Load Context.

1) Expose AssemblyResolve event off AssemblyLoadContext
2) Invoke the event if the abstract Load implementation does not return an assembly.

Merge pull request #2758 from stephentoub/list_toarray

Use _emptyArray in List<T>.ToArray

Merge pull request #2706 from adityamandaleeka/gc_stress

Add support for GCStress 0xC