Merge pull request #2092 from BruceForstall/CleanupTargetHIfdefs

Simplify JIT target.h #ifdefs for ETW_EBP_FRAMED

Merge pull request #2094 from rahku/master

Fix dac verification errors caused by 48617ae

Merge pull request #2091 from mikem8361/fixfreebsd

Fixed FreeBSD sos plugin build.

Fix dac verification errors caused by 48617ae

Simplify JIT target.h #ifdefs for ETW_EBP_FRAMED

Many macros related to register usage were #ifdef'ed such that under ETW_EBP_FRAMED, EBP
doesn't appear in the macro. The complication was made much worse when UNIX support was
added because it doubled the number of such macros.

I simplified this by defining macros for EBP based on ETW_EBP_FRAMED that can then be used
in subsequent macros defining various register sets and lists. This greatly reduces the
number of #ifdefs.

Fixed FreeBSD sos plugin build.

Merge pull request #2068 from mikem8361/palsxs

Add new pal test that tests exceptions across multiple PALs

Add new pal test that tests exceptions across multiple PALs in different modules.

Currently disabled for FreeBSD.

Merge pull request #2088 from kyulee1/corert

A few fixes for standalone Jit (RyuJit) for CoreRT integration

Merge pull request #2084 from benpye/revert-arm-build-break

Revert change in 4e06e42 that broke ARM cross build

A few fixes for standlone Jit build

1. Fix for assertion in fgAddFieldSeqForZeroOffset
The fix relaxed the assertion under FEATURE_REF_ZERO_OFFSET_ALLOWED.
The feature is enabled when the standalone jit is built.

2. Package spec files for Windows/Linux and redirection.

3. Rename ProtoJit to RyuJit

Merge pull request #2087 from blackdwarf/master

Add additional data to PATENTS.TXT

Merge pull request #2055 from LLITCHEV/SysVTests

Add the tests used to bring the System V struct passing/returning fun…

Add the tests used to bring the System V struct passing/returning functionality.

There are:
1. Tests for passing managed struct.\
2. Tests for returning managed structs.
3. Tests for PInvoke and reverse PInvoke using callbacks and native SO.

Add additional data to PATENTS.TXT

Merge pull request #2079 from mikedn/no-decomp

Ifdef out useless code in JIT lowering

Merge pull request #2082 from BruceForstall/Fix2053

Fix RyuJIT assert 'emitCurIG != emitPrologIG'

Revert change in 4e06e42 that broke ARM cross build

Merge pull request #2061 from akoeplinger/utf-escape

Replace Unicode symbols with escape sequence in test source files

Merge pull request #2010 from ellismg/update-test-documentation

Update testing instructions

Merge pull request #2064 from akoeplinger/failcount-zero

Don't print the "Some tests failed" message when _failCount is 0

Merge pull request #2062 from akoeplinger/dont-hardcode-libc.dylib

Fix two Marshal tests to not hardcode OSX libc

Merge pull request #2042 from kouvel/StartupFlags

Allow setting some startup flags outside Windows

Merge pull request #2049 from stephentoub/uuid_generate_random

Use uuid_generate_random instead of uuid_generate in CoCreateGuid

Merge pull request #2067 from akoeplinger/fix-overflow-gcstress

Fix OverflowException in b115557.cs GC test on systems with fewer than four processors/cores

Merge pull request #2073 from mmitche/fix-exit-code

Exit outerlevel build call if innerlevel exits with non-zero code

Fix RyuJIT assert 'emitCurIG != emitPrologIG'

This occurs when the call-to-finally block exists as the last code in the function
(including any funclets). After we generate all "normal" code, we start over and
generate code for all the prologs and epilogs. In this case, we didn't reset the
emitForceNewIG global, which determines if we should force a new IG to be created
the next time code is generated. It is used for specifying no-GC regions. This fix
initializes it (along with emitNOGCIG) at the beginning of generating and prolog
or epilog.

Merge pull request #2066 from akoeplinger/argparsing-gcstress

Use InvariantCulture for parsing float arguments in GC stress tests

Exit outerlevel build call if innerlevel exits with non-zero code

Merge pull request #2074 from erozenfeld/RotateTestFix

Fix for test break.

Merge pull request #2016 from steveharter/CMake

Enable Clang sanitizers for debug builds (address sanitizer, undefined behavior sanitizer and leak sanitizer)

Ifdef out useless code

In 64 bit builds Lowering::DecompNodeHelper does nothing so walking the trees is pointless.  Profiling indicates that this accounts for 0.5% of the mscorlib crossgen time.

Merge pull request #1983 from LLITCHEV/SystemVStructsCleanup

Fixed a bad merge issue.

Enable CLANG sanitizers for native debug builds

Fix for test break.

Merge pull request #2069 from erozenfeld/RotationFix

Fix for a rotation transformation bug.

Fixed a bad merge issue and some internal API cleanup.

Sometime ago when the SystemVStructs branch was PRed into master a bad
merge has occured.

Some struct classification cleanup for native vs. managed struct layout
representation.

When classifying a native layout of the struct use the following
algorithm.

1. If the struct has special marshaling it has a native layout.
   In such cases the classifier needs to use the native layout.
2. For structs with no native layout, the managed layout should be used
   even if classified for the purposes of marshaling/PInvoke passing.

Fix for a rotation transformation bug.

rotatedValueBitSize should be calculated from genActualType(rotatedValue->gtType) instead of rotatedValue->gtType.
I added a test that was failing with an assert because of this bug: rol32ushort.

Merge pull request #2052 from stephentoub/startswith_null

Add USEARCH_DONE check to StartsWith in System.Globalization.Native

Fix OverflowException in b115557.cs GC test on systems with fewer than four processors/cores

_allocPerThreadMB/2 can be larger than what fits into byte (because it's based on the number of processors/cores),
resulting in an OverflowException on those systems.

Use InvariantCulture for parsing float arguments in GC stress tests

Otherwise they'd fail on cultures where '.' isn't used as a decimal separator.

Don't print the "Some tests failed" message when _failCount is 0

Fix two Marshal tests to not hardcode OSX libc

Don't hardcode OSX path to libc.dylib, we can just use libc in the DllImport.

Fix the signature to return an IntPtr and do marshalling of the string correctly.

Replace Unicode symbols with escape sequence in test source files

Those files don't have a BOM and can be misinterpreted.

Merge pull request #2057 from bryanar/loader_tests

Porting loader tests from internal legacy tree.

Merge pull request #2060 from mmitche/fix-arm-rootfs

Fix typo in rootfs name

Fix typo in rootfs name

Porting loader tests from internal legacy tree.

Add USEARCH_DONE check to StartsWith in System.Globalization.Native

The StartsWith ICU wrapper was not checking the result of usearch_first
to see if it was USEARCH_DONE, indicating no match found.  This has two
ramifications:
1. When there isn't a match, USEARCH_DONE (-1) gets passed in as the
textLength argument to ucol_openElements, which treats -1 as meaning
the string isn't null-terminated, and thus ends up walking the string
looking for non-ignorable collation elements.  Our tests have been passing
because they've been using strings containing only non-ignorable
elements, and thus the first character checked causes us to bail and correctly
return false.  If nothing else, this is an unnecessary perf overhead.
2. But on top of that if there are only ignorable collation elements
before the first null character in the string (e.g. if the string begins
with a null character), then because we told ICU that the string ended
at the first null character, it'll stop walking the string and return
a match. e.g. "\0bug".StartsWith("test") returns true incorrectly.

This commit simply adds a check for USEARCH_DONE to StartsWith.
EndsWith already has such a check.

Merge pull request #2043 from stephentoub/startsendswith_null

Pass target string lengths to ICU on Unix

Merge pull request #2046 from JohnChen0/heap

Remove an unsafe memory write in HeapFree

Use uuid_generate_random instead of uuid_generate in CoCreateGuid

The PAL implementation of CoCreateGuid is currently using uuid_generate.
This will be based on high-quality randomness if available, otherwise it
falls back to an algorithm that incorporates the local ethernet MAC address
along with the current time and a pseudo-random generator. To avoid potential
privacy issues, this commit switches to using uuid_generate_random, which
instead falls back purely to a pseudo-random generator.

Allow setting some startup flags outside Windows

Allowing the GC-related flags to be set using properties passed into coreclr_initialize.

Remove an unsafe memory write in HeapFree

The PAL implementation of HeapFree assumes that the memory region always
have at least 4 bytes. Depending on the heap implementation, this is not
necessarily true, and can potentially cause memory corruption.

Merge pull request #2045 from JohnChen0/master

Fix buffer overrun in SetMscorlibPath

Fix buffer overrun in SetMscorlibPath

Pass target string lengths to ICU on Unix

Our current ICU shims for StartsWith, EndsWith, IndexOf, and LastIndexOf
take the length of the source string but not the length of the target
string.  This forces ICU to compute the length of the string by searching
for a null terminator.  We can save those costs and be more accurate
around nulls in the target string by passing the known length in.

Merge pull request #2034 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #2033 from brianrob/crossgen_perfmap2

Enable Offline Generation of Text-Based Symbol Tables for NGEN Images

Merge pull request #2030 from jkotas/vs2015-update1-buildbreak

Fix build break on VS2015 Update 1

Merge pull request #2013 from mikem8361/createthread

Fix Thread.Start while debugging bug on OSX.

Merge pull request #2031 from janvorli/fix-exceptions-in-filter

Fix processing of unhandled exception in exception filter

Fix Thread.Start while debugging bug on OSX.

The OSX exception logic is running on a separate thread from the one that the exception happened. The CatchHardwareExceptionHolder::IsEnabled used to check for h/w exception holders assumed it was running on the thread the exception/holders happened not the exception notification thread. Moved the h/w exception holder count to the CPalThread object instead of a TLS thread variable so the OSX exception code can check it given a CPalThread instance.

The main problem was that the stubmgr when creating a thread (for the start notification) put a breakpoint in ThePreStubPatch which is in the coreclr text section and because the h/w exception holder check was broken, it thought the breakpoint wasn't the debugger's and aborted the coreclr process.  The other part of this fix is to put a h/w exception holder around the called to ThePreStubPatch in prestub.cpp.

The stubmgr's delegate invoke subclass used the wrong registers for Linux/OSX to read the "this" and parameter registers. Added the proper ifdefs and registers (ecx -> rdi, rdx -> rsi) for the Unix platforms.

On both Linux and OSX, the h/w exception holder check in the exception routing logic needed to check if the int3/trap is in DBG_DebugBreak so asserts always abort/core dump. Move DBG_DebugBreak to an assembly worker so the start/end address can be used for this check.

Fix inconsistent security annotations

[tfs-changeset: 1547876]

Merge pull request #2032 from mmitche/add-cross-packages

Add missing packages for arm/arm64 cross build

Add missing packages for arm64 cross build

Enable offline generation of text-based symbol tables for native images.  This is needed in order to profile applications on Linux using perf_event.

This change also modifies the runtime to emit a perfmap entry when a native image is loaded so that offline trace processing tools can identify when a perfmap file for a native image is needed and generate it.

Merge pull request #2024 from jkotas/crossgen-ifdefs

Improve FEATURE_NATIVE_IMAGE_GENERATION ifdefs

Fix build break on VS2015 Update 1

Fix processing of unhandled exception in exception filter

This change fixes processing of unhandled exceptions in exception filter on Unix.
Before this fix, such exception leads to assert in the exception handling code
due to the fact that the exception tracker of the unhandled exception is not
popped from the exception tracker stack of the thread.
Although the PopTrackers method was being called, it bailed out due to the fact
that the exception tracker belonging to the unhandled exception has empty scanned
stack range.
The fix is to explicitly pop the tracker in the EX_CATCH that catches the
exception from the filter.
I have also re-enabled the JIT test b68872 that has uncovered the issue.

Merge pull request #2020 from pgavlin/StructABITests

Add some additional cases to the struct ABI test.

Merge pull request #2009 from LLITCHEV/Issue1995-1

Fix for issue 1995.

Merge pull request #2026 from AlfredoMS/async_fix

Fix Task so that RunContinuationsAsynchronously flag works with all continuations

Merge pull request #2028 from dotnet/revert-2023-disable-x86-release

Revert "Disable x86 windows release build until it passes"

Fix for issue 1995.

This changes containg a fix for Issue 1995.
When remorphing an argument that has been already completed (in case of
CSE rewriting for example, as in this case) the classification code was
not run properly and it is triggering an assertion. As the Issue 1995
states the assert failure is benign since the generated code is correct -
the change of registers used during completed argument classification is
not allowed and the code is not changing them.
This changes add the necessary code to properly classify and assign
registes for completed arguments remorphing, which complies with the expectations of the failing assert.

Merge pull request #2027 from erozenfeld/RotationImprovements

Implement improvements for rotation matching.

Revert "Disable x86 windows release build until it passes"

Merge pull request #2025 from jkotas/fatal-error

Use volatile store for g_hrFatalError

Implement improvements for rotation matching.

1. Recognize patterns with XOR instead of OR, e.g., (x << 5) ^ (x >> 27).
2. Recognize patterns with instance or static fields and ref params.
Only GTF_PERSISTENT_SIDE_EFFECTS (i.e., calls and assignments) and
GTF_ORDER_SIDEEFF (i.e., volatile accesses) prevent tree matching.
Before this change we used GTF_ALL_EFFECT.

Fix Task so that RunContinuationsAsynchronously flag works with all types of continuation

Use volatile store for g_hrFatalError

Merge pull request #1985 from schellap/master

Emit custom test launcher hook for custom test runners

Improve FEATURE_NATIVE_IMAGE_GENERATION ifdefs

Merge pull request #2023 from mmitche/disable-x86-release

Disable x86 windows release build until it passes

Disable x86 windows release build until it passes

To trigger in the meantime, say: 'test x86 windows release'

Merge pull request #2015 from kouvel/TpaBinder

Fix a couple of issues involving assembly loading

Merge pull request #2017 from dotnet-bot/from-tfs

Merge changes from TFS

Fix a couple of issues involving assembly loading

Fixes #1740
- After an assembly is loaded through a custom load context, when its dependencies are being loaded and the dependencies are in an app folder but not on the TPA list, don't search app paths when using the TPA binder, and instead use the default binder for the dependent assembly to load dependencies through the same custom AssemblyLoadContext.

Fixes #1187
- In the AssemblyName created by AssemblyLoadContext.GetAssemblyName(), don't initialize the CodeBase property since it's not in the exposed surface area for .NET Core. If the AssemblyName is passed to Assembly.Load(), note that regardless of the path sent to GetAssemblyName(), default search orders are still used to load the assembly by name. A custom AssemblyLoadContext would need to be used to control where an assembly is loaded from.

- Fixed a couple of error messages that mentioned phone

Add some additional cases to the struct ABI test.

These tests cover boundary cases for the SysV ABI.

Merge pull request #2019 from mmitche/no-pal-tests-for-x86

No pal tests for x86 windows nt

Emit custom test launcher hook for custom test runners

No pal tests for x86 windows nt

Merge pull request #2012 from adiaaida/x86failures

Add x86 build to PR test and remove xunit

Merge pull request #2011 from kyulee1/fixbuild

Fix for build break

Merge pull request #1928 from adityamandaleeka/jenkins_enable_unix

Exit runtest.sh with a failure code if any tests fail

Add x86 build to PR test and remove xunit

This change adds an x86 build to the list of jobs started with each PR so
that we make sure we don't break the x86 build. Also remove xunit parsing
from x86 jobs since they do not run tests.

Fix for build break

When building llilc against coreclr in Linux, m_IsSlotTableFrozen is defined under _DEBUG
but it is used without guard "#ifdef _DEBUG"
This is fix for it.

Temporarily disable StructABI test to unblock CI while issues are resolved

Update testing instructions

The how to test with a custom runtime instructions had gotten stale
since CoreFX no longer consumes the runtime package we produce (it
instead uses the official packages).

Since we can not yet build these packages here, we need to update the
instructions to use BUILDTOOLS_OVERRIDE_RUNTIME in order to be able to
deploy a custom runtime at test time.

Merge pull request #2006 from richardlford/gettypetypeofmatrix

Respond to review of gettypetypeofmatrix test.