Merge pull request #2047 from eerhardt/ShortDate

DateTimeFormat.ShortDatePattern should use CLDR 'short' format on Unix.

Merge pull request #2100 from gsfreema/master

Fixing a typo in developer-guide.md.

Merge pull request #2104 from wtgodbe/deleteTests

Deleted duplicate globalization and localization tests from coreclr

Merge pull request #2102 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #1981 from pgavlin/SysV

Fix struct padding issues with SysV struct classification.

Deleted duplicate globalization and localization tests from coreclr

Fix ARM64 build break

[tfs-changeset: 1550309]

Fixing a typo in developer-guide.md.

The words 'are' and 'and' were mistyped and need to be switched.

Merge pull request #2098 from janvorli/fix-threadpool-shiftwaitarray

Fix issue with threadpool and wait for multiple objects on Linux

Fix issue with threadpool and wait for multiple objects on Linux

There is a method ThreadpoolMgr::ShiftWaitArray which uses memcpy to do
a move a segment of the waitPointer and waitHandle arrays one position
down, so the source and destination ranges overlap. However, it uses
memcpy, which on Linux copies items starting from the last one. So
the arrays get corrupted after the memcpy, containing multiple copies
of the last element and not containig some elements that were expected
to move.
The fix is to use memmove which should be used when the source and
destination memory regions overlap.

Update osx-instructions.md

Added text to describe increasing the file limit so mscorlib will not fail during build with file limit errors.

Merge pull request #2092 from BruceForstall/CleanupTargetHIfdefs

Simplify JIT target.h #ifdefs for ETW_EBP_FRAMED

Merge pull request #2094 from rahku/master

Fix dac verification errors caused by 48617ae

Merge pull request #2091 from mikem8361/fixfreebsd

Fixed FreeBSD sos plugin build.

Fix dac verification errors caused by 48617ae

Simplify JIT target.h #ifdefs for ETW_EBP_FRAMED

Many macros related to register usage were #ifdef'ed such that under ETW_EBP_FRAMED, EBP
doesn't appear in the macro. The complication was made much worse when UNIX support was
added because it doubled the number of such macros.

I simplified this by defining macros for EBP based on ETW_EBP_FRAMED that can then be used
in subsequent macros defining various register sets and lists. This greatly reduces the
number of #ifdefs.

Fixed FreeBSD sos plugin build.

Merge pull request #2068 from mikem8361/palsxs

Add new pal test that tests exceptions across multiple PALs

Add new pal test that tests exceptions across multiple PALs in different modules.

Currently disabled for FreeBSD.

Fix struct padding issues with SysV struct classification.

This change revises the handling of padding bytes between struct fields
and bytes that trail the last field in a struct. These changes address
problems with structs that contain > 8 bytes between fields as well as
C# fixed arrays (which are emitted as a struct with a single field of
the fixed array element type and an explicit size derived from the
number of elements and the size of the element type).

The classification given to a particular byte that is not part of a
formal field depends on whether that byte is between fields or
trails the final field in a struct. Bytes in the former category--
padding bytes--are classified as NO_CLASS as per the SysV ABI spec.
Bytes in the latter category--"leftover" bytes after the final
field of a struct--are assigned the classification of the final
field in the struct. This allows C# fixed-size arrays to work
properly, as their representative structs are logically (but
unfortunately not physically) structs with element-count fields of
the element type. Were they explicit, each of these fields would
have the same classification.

Merge pull request #2088 from kyulee1/corert

A few fixes for standalone Jit (RyuJit) for CoreRT integration

Merge pull request #2084 from benpye/revert-arm-build-break

Revert change in 4e06e42 that broke ARM cross build

A few fixes for standlone Jit build

1. Fix for assertion in fgAddFieldSeqForZeroOffset
The fix relaxed the assertion under FEATURE_REF_ZERO_OFFSET_ALLOWED.
The feature is enabled when the standalone jit is built.

2. Package spec files for Windows/Linux and redirection.

3. Rename ProtoJit to RyuJit

Merge pull request #2087 from blackdwarf/master

Add additional data to PATENTS.TXT

Merge pull request #2055 from LLITCHEV/SysVTests

Add the tests used to bring the System V struct passing/returning fun…

Add the tests used to bring the System V struct passing/returning functionality.

There are:
1. Tests for passing managed struct.\
2. Tests for returning managed structs.
3. Tests for PInvoke and reverse PInvoke using callbacks and native SO.

Add additional data to PATENTS.TXT

Merge pull request #2079 from mikedn/no-decomp

Ifdef out useless code in JIT lowering

Merge pull request #2082 from BruceForstall/Fix2053

Fix RyuJIT assert 'emitCurIG != emitPrologIG'

Revert change in 4e06e42 that broke ARM cross build

Merge pull request #2061 from akoeplinger/utf-escape

Replace Unicode symbols with escape sequence in test source files

Merge pull request #2010 from ellismg/update-test-documentation

Update testing instructions

Merge pull request #2064 from akoeplinger/failcount-zero

Don't print the "Some tests failed" message when _failCount is 0

Merge pull request #2062 from akoeplinger/dont-hardcode-libc.dylib

Fix two Marshal tests to not hardcode OSX libc

Merge pull request #2042 from kouvel/StartupFlags

Allow setting some startup flags outside Windows

Merge pull request #2049 from stephentoub/uuid_generate_random

Use uuid_generate_random instead of uuid_generate in CoCreateGuid

Merge pull request #2067 from akoeplinger/fix-overflow-gcstress

Fix OverflowException in b115557.cs GC test on systems with fewer than four processors/cores

Merge pull request #2073 from mmitche/fix-exit-code

Exit outerlevel build call if innerlevel exits with non-zero code

Fix RyuJIT assert 'emitCurIG != emitPrologIG'

This occurs when the call-to-finally block exists as the last code in the function
(including any funclets). After we generate all "normal" code, we start over and
generate code for all the prologs and epilogs. In this case, we didn't reset the
emitForceNewIG global, which determines if we should force a new IG to be created
the next time code is generated. It is used for specifying no-GC regions. This fix
initializes it (along with emitNOGCIG) at the beginning of generating and prolog
or epilog.

Merge pull request #2066 from akoeplinger/argparsing-gcstress

Use InvariantCulture for parsing float arguments in GC stress tests

Exit outerlevel build call if innerlevel exits with non-zero code

Merge pull request #2074 from erozenfeld/RotateTestFix

Fix for test break.

Merge pull request #2016 from steveharter/CMake

Enable Clang sanitizers for debug builds (address sanitizer, undefined behavior sanitizer and leak sanitizer)

Ifdef out useless code

In 64 bit builds Lowering::DecompNodeHelper does nothing so walking the trees is pointless.  Profiling indicates that this accounts for 0.5% of the mscorlib crossgen time.

Merge pull request #1983 from LLITCHEV/SystemVStructsCleanup

Fixed a bad merge issue.

Enable CLANG sanitizers for native debug builds

Fix for test break.

Merge pull request #2069 from erozenfeld/RotationFix

Fix for a rotation transformation bug.

Fixed a bad merge issue and some internal API cleanup.

Sometime ago when the SystemVStructs branch was PRed into master a bad
merge has occured.

Some struct classification cleanup for native vs. managed struct layout
representation.

When classifying a native layout of the struct use the following
algorithm.

1. If the struct has special marshaling it has a native layout.
   In such cases the classifier needs to use the native layout.
2. For structs with no native layout, the managed layout should be used
   even if classified for the purposes of marshaling/PInvoke passing.

Fix for a rotation transformation bug.

rotatedValueBitSize should be calculated from genActualType(rotatedValue->gtType) instead of rotatedValue->gtType.
I added a test that was failing with an assert because of this bug: rol32ushort.

Merge pull request #2052 from stephentoub/startswith_null

Add USEARCH_DONE check to StartsWith in System.Globalization.Native

Fix OverflowException in b115557.cs GC test on systems with fewer than four processors/cores

_allocPerThreadMB/2 can be larger than what fits into byte (because it's based on the number of processors/cores),
resulting in an OverflowException on those systems.

Use InvariantCulture for parsing float arguments in GC stress tests

Otherwise they'd fail on cultures where '.' isn't used as a decimal separator.

Don't print the "Some tests failed" message when _failCount is 0

Fix two Marshal tests to not hardcode OSX libc

Don't hardcode OSX path to libc.dylib, we can just use libc in the DllImport.

Fix the signature to return an IntPtr and do marshalling of the string correctly.

Replace Unicode symbols with escape sequence in test source files

Those files don't have a BOM and can be misinterpreted.

Merge pull request #2057 from bryanar/loader_tests

Porting loader tests from internal legacy tree.

Merge pull request #2060 from mmitche/fix-arm-rootfs

Fix typo in rootfs name

Fix typo in rootfs name

Porting loader tests from internal legacy tree.

Add USEARCH_DONE check to StartsWith in System.Globalization.Native

The StartsWith ICU wrapper was not checking the result of usearch_first
to see if it was USEARCH_DONE, indicating no match found.  This has two
ramifications:
1. When there isn't a match, USEARCH_DONE (-1) gets passed in as the
textLength argument to ucol_openElements, which treats -1 as meaning
the string isn't null-terminated, and thus ends up walking the string
looking for non-ignorable collation elements.  Our tests have been passing
because they've been using strings containing only non-ignorable
elements, and thus the first character checked causes us to bail and correctly
return false.  If nothing else, this is an unnecessary perf overhead.
2. But on top of that if there are only ignorable collation elements
before the first null character in the string (e.g. if the string begins
with a null character), then because we told ICU that the string ended
at the first null character, it'll stop walking the string and return
a match. e.g. "\0bug".StartsWith("test") returns true incorrectly.

This commit simply adds a check for USEARCH_DONE to StartsWith.
EndsWith already has such a check.

Merge pull request #2043 from stephentoub/startsendswith_null

Pass target string lengths to ICU on Unix

Merge pull request #2046 from JohnChen0/heap

Remove an unsafe memory write in HeapFree

Use uuid_generate_random instead of uuid_generate in CoCreateGuid

The PAL implementation of CoCreateGuid is currently using uuid_generate.
This will be based on high-quality randomness if available, otherwise it
falls back to an algorithm that incorporates the local ethernet MAC address
along with the current time and a pseudo-random generator. To avoid potential
privacy issues, this commit switches to using uuid_generate_random, which
instead falls back purely to a pseudo-random generator.

Allow setting some startup flags outside Windows

Allowing the GC-related flags to be set using properties passed into coreclr_initialize.

DateTimeFormat.ShortDatePattern should use CLDR 'short' format on Unix.

The DateTimeFormat.ShortDatePattern is currently defaulting to using CLDR's 'yMd' skeleton. However, this value doesn't produce the best format for all cultures, ex. "de-DE". LongDatePattern uses CLDR's 'full' format. To be symmetrical, the ShortDatePattern should be using CLDR's 'short' format.

Fix https://github.com/dotnet/coreclr/issues/1736.

Remove an unsafe memory write in HeapFree

The PAL implementation of HeapFree assumes that the memory region always
have at least 4 bytes. Depending on the heap implementation, this is not
necessarily true, and can potentially cause memory corruption.

Merge pull request #2045 from JohnChen0/master

Fix buffer overrun in SetMscorlibPath

Fix buffer overrun in SetMscorlibPath

Pass target string lengths to ICU on Unix

Our current ICU shims for StartsWith, EndsWith, IndexOf, and LastIndexOf
take the length of the source string but not the length of the target
string.  This forces ICU to compute the length of the string by searching
for a null terminator.  We can save those costs and be more accurate
around nulls in the target string by passing the known length in.

Merge pull request #2034 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #2033 from brianrob/crossgen_perfmap2

Enable Offline Generation of Text-Based Symbol Tables for NGEN Images

Merge pull request #2030 from jkotas/vs2015-update1-buildbreak

Fix build break on VS2015 Update 1

Merge pull request #2013 from mikem8361/createthread

Fix Thread.Start while debugging bug on OSX.

Merge pull request #2031 from janvorli/fix-exceptions-in-filter

Fix processing of unhandled exception in exception filter

Fix Thread.Start while debugging bug on OSX.

The OSX exception logic is running on a separate thread from the one that the exception happened. The CatchHardwareExceptionHolder::IsEnabled used to check for h/w exception holders assumed it was running on the thread the exception/holders happened not the exception notification thread. Moved the h/w exception holder count to the CPalThread object instead of a TLS thread variable so the OSX exception code can check it given a CPalThread instance.

The main problem was that the stubmgr when creating a thread (for the start notification) put a breakpoint in ThePreStubPatch which is in the coreclr text section and because the h/w exception holder check was broken, it thought the breakpoint wasn't the debugger's and aborted the coreclr process.  The other part of this fix is to put a h/w exception holder around the called to ThePreStubPatch in prestub.cpp.

The stubmgr's delegate invoke subclass used the wrong registers for Linux/OSX to read the "this" and parameter registers. Added the proper ifdefs and registers (ecx -> rdi, rdx -> rsi) for the Unix platforms.

On both Linux and OSX, the h/w exception holder check in the exception routing logic needed to check if the int3/trap is in DBG_DebugBreak so asserts always abort/core dump. Move DBG_DebugBreak to an assembly worker so the start/end address can be used for this check.

Fix inconsistent security annotations

[tfs-changeset: 1547876]

Merge pull request #2032 from mmitche/add-cross-packages

Add missing packages for arm/arm64 cross build

Add missing packages for arm64 cross build

Enable offline generation of text-based symbol tables for native images.  This is needed in order to profile applications on Linux using perf_event.

This change also modifies the runtime to emit a perfmap entry when a native image is loaded so that offline trace processing tools can identify when a perfmap file for a native image is needed and generate it.

Merge pull request #2024 from jkotas/crossgen-ifdefs

Improve FEATURE_NATIVE_IMAGE_GENERATION ifdefs

Fix build break on VS2015 Update 1

Fix processing of unhandled exception in exception filter

This change fixes processing of unhandled exceptions in exception filter on Unix.
Before this fix, such exception leads to assert in the exception handling code
due to the fact that the exception tracker of the unhandled exception is not
popped from the exception tracker stack of the thread.
Although the PopTrackers method was being called, it bailed out due to the fact
that the exception tracker belonging to the unhandled exception has empty scanned
stack range.
The fix is to explicitly pop the tracker in the EX_CATCH that catches the
exception from the filter.
I have also re-enabled the JIT test b68872 that has uncovered the issue.

Merge pull request #2020 from pgavlin/StructABITests

Add some additional cases to the struct ABI test.

Merge pull request #2009 from LLITCHEV/Issue1995-1

Fix for issue 1995.

Merge pull request #2026 from AlfredoMS/async_fix

Fix Task so that RunContinuationsAsynchronously flag works with all continuations

Merge pull request #2028 from dotnet/revert-2023-disable-x86-release

Revert "Disable x86 windows release build until it passes"

Fix for issue 1995.

This changes containg a fix for Issue 1995.
When remorphing an argument that has been already completed (in case of
CSE rewriting for example, as in this case) the classification code was
not run properly and it is triggering an assertion. As the Issue 1995
states the assert failure is benign since the generated code is correct -
the change of registers used during completed argument classification is
not allowed and the code is not changing them.
This changes add the necessary code to properly classify and assign
registes for completed arguments remorphing, which complies with the expectations of the failing assert.

Merge pull request #2027 from erozenfeld/RotationImprovements

Implement improvements for rotation matching.

Revert "Disable x86 windows release build until it passes"

Merge pull request #2025 from jkotas/fatal-error

Use volatile store for g_hrFatalError

Implement improvements for rotation matching.

1. Recognize patterns with XOR instead of OR, e.g., (x << 5) ^ (x >> 27).
2. Recognize patterns with instance or static fields and ref params.
Only GTF_PERSISTENT_SIDE_EFFECTS (i.e., calls and assignments) and
GTF_ORDER_SIDEEFF (i.e., volatile accesses) prevent tree matching.
Before this change we used GTF_ALL_EFFECT.

Fix Task so that RunContinuationsAsynchronously flag works with all types of continuation

Use volatile store for g_hrFatalError

Merge pull request #1985 from schellap/master

Emit custom test launcher hook for custom test runners

Improve FEATURE_NATIVE_IMAGE_GENERATION ifdefs

Merge pull request #2023 from mmitche/disable-x86-release

Disable x86 windows release build until it passes

Disable x86 windows release build until it passes

To trigger in the meantime, say: 'test x86 windows release'

Merge pull request #2015 from kouvel/TpaBinder

Fix a couple of issues involving assembly loading

Merge pull request #2017 from dotnet-bot/from-tfs

Merge changes from TFS