Merge pull request #1581 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #1574 from kouvel/FixPalTests

Fix some frequently failing PAL tests

Fix some frequently failing PAL tests

Some PAL tests are frequently failing in the CI. The specified output folder is currently used as the working folder for all PAL tests. The CI machine happened to have the output folder on a mount mounted as fuseblk instead of ext4. We don't know why this is happening. For the moment, I'm fixing the test runner to work around this issue.

Changes:
- Use /tmp/PalTestOutput/default as the output folder by default
- If a specific folder is specified for the output, use a unique folder inside /tmp/PalTestOutput for output files, and copy them to the specified folder at the end. A unique folder is used to support parallel runs on the same machine in this mode.
- Run each test in its own folder. Many PAL tests don't clean up after themselves, and create/use the same file/folder names in the current folder.
- Add a few more checks to some tests to hopefully provide more information upon the next failure
- Fix GetFileAttributes tests, which were crashing upon some failures due to mismatched number of placeholders and arguments to vprintf

Fixes #1561

Port the DateTime parser fix with Serbia cultures

Serbia has '.' at the end of the date and time parts. (like 'd.M.yyyy.'). while '.' is marked as date and time separator in same time. this confuse the parser and make it fail
to parse date/time string formatted with the Serbia culture.

[tfs-changeset: 1526268]

Merge pull request #1460 from bbowyersmyth/StringJoin

String.Join optimization for single item lists

Merge pull request #1578 from dotnet-bot/from-tfs

Merge changes from TFS

Fix build break on arm

[tfs-changeset: 1526208]

Merge pull request #1575 from benpye/arm-unwind-regression

Fix ARM unwind regression

Merge pull request #1568 from dotnet-bot/from-tfs

Merge changes from TFS

Fix ARM build regression

Merge pull request #1559 from eerhardt/Fix2788

Time Zone transitions are 1 tick off on Linux

Merge pull request #1560 from Priya91/longpath-test

Replace MAX_PATH with new defines in rest of coreclr.

Fix for GH issue 410 - https://github.com/dotnet/coreclr/issues/410

Whenever a managed exception is thrown, the details about the thrown exception are also saved off the managed thread object (as LastThrownObject). The VM also has an exception tracker that tracks its dispatch across the managed frames and incase of nested exceptions, the trackers are collapsed correctly, when the nested exception is handled, and last thrown object is updated correctly. The VM works on the premise that the LastThrownObject is updated correctly.

Incase of this bug, a method (M1)is invoked via Reflection and has an exception E1. During exception dispatch for E1, an IL filter is invoked that, in turn, has an exception (E2) that remains unhandled. While this is swallowed by the VM (as expected), the LastThrownObject is not updated to reflect the active exception to be E1. Thus, when the dispatch for original exception E1 completes and no managed handler is found, the exception is caught by Reflection subsystem that extracts the thrown exception using the GET_THROWABLE macro that uses the LastThrownObject to determine the thrown exception. Since the LTO was not updated, it still reflects E2.

The fix is to update the managed exception state, if the filter has an unhandled exception, similar to how we do when a managed catch block successfully handles the exception. I have refactored the code to make the semantic cleaner.

[tfs-changeset: 1525835]

Time Zone transitions are 1 tick off on Linux

When we build the AdjustmentRules up, we set the StartDate to be the Transition Time that comes from the tzfile, and we set the EndDate to the be (the next Transition Time - 1 tick). That way the next AdjustmentRule goes into effect at the exact transition time. The issue is that the code in CheckIsDst uses a less than operator when comparing the endTime, but for these rules it should be less than or equal to.

Fix https://github.com/dotnet/corefx/issues/2788.

Merge pull request #1564 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #1562 from cshung/EventCounterWork

Port bug fixes and add hooks for EventCounter work

Merge pull request #1553 from paulnice/patch-1

Fix runtime versions in the Console example

Merge pull request #1557 from ravimeda/master

Update Build CoreCLR Instructions on Mac OS X.

Port bug fixes and add hooks for EventCounter work

Merge pull request #1554 from kouvel/WaitAllCheckForDuplicates

Check for duplicate handles in PAL's implementation of a wait-all ope…

Merge pull request #1538 from Djuffin/get_context2

Make DBI/SOS stackwalk work when thread is running native code

Merge pull request #1555 from richlander/roadmap

Add link to .NET Core Roadmap

Update Build CoreCLR Instructions on Mac OS X.

Rebuild option is not handled in build.sh.  Hence removing the sentence
that suggests using a rebuild option that will delete previously built
assemblies.

Use out-of-proc libunwind to unwind native stack from DAC

Implementation of PAL_VirtualUnwindOutOfProc that uses ptrace libunwind
to be able to unwind native stack in debugee. This allows to get valid managed
stack for threads that passed HelperMethodFrames.

Use Frame list context when GetThreadContext is unavailable

When DAC tries to obtain thread context for debugee thread on the system without working GetThreadContext, it uses filter context
and if it is NULL, it goes through thread Frame list looking for a Frame that can provide meaningful CONTEXT to start the stackwalk.
Filter context can be NULL if the thread is currently running native code, or manage exception just has been thrown (first chance).
Before this change DBI stackwalker would fail to provide stack trace in such cases.

Merge pull request #1540 from BruceForstall/FixPow1TestForLinux

Fix pow1 test to run on Linux

Merge pull request #1144 from mmitche/real-debug-build

Do not pass /O1 except in release/release with debug info modes

Check for duplicate handles in PAL's implementation of a wait-all operation

Do not pass /O1 except in release/release with debug info modes

Add link to .NET Core Roadmap

Minor change to SystemV structs declarations in JIT-EE interface

Pull over a couple changes from the work-in-progress git branch.

[tfs-changeset: 1525036]

Fix build break on ARM.

[tfs-changeset: 1525030]

Fix runtime versions

1. Fix the sample output of 'dnvm list' command with the latest one.
2. Fix the 'dnvm use' commands with the current runtime versions.

This fixes the case of 64bit (to be in sync with Arm/Arm64) failures when, due to Jit optimizations, the return address of two successive frames are the same, resulting in incorrect current context initialization. As a result, CrawlFrame specific lookup of data (e.g. GenericArgType) are incorrect and fails tests.

I have refactored the code to be common for X64/Arm/Arm64 as much as possible.

X64 EH Selfhost is clean (and so is DDR).

[tfs-changeset: 1524814]

Merge pull request #1547 from jkotas/standalone-gc

Initial port of GC sample to Linux

Merge pull request #1546 from dotnet-bot/from-tfs

Merge changes from TFS

Initial port of GC sample to Linux

- Add CMake build for the GC sample
- Add Unix clone of the GC environment. The Unix GC environment is partially
implemented, enough to make GC sample to compile and run on Linux.

Fix mscorlib asmmeta and add SecurityCritical attribute to the two new functions in AssemblyExtensions

[tfs-changeset: 1524637]

Merge pull request #1543 from mikedn/unboxmsg

Improve the invalid cast message generated by unbox

Improve the invalid cast message generated by unbox

Change JIT_Unbox to use COMPlusThrowInvalidCastException instead of
COMPlusThrow(kInvalidCastException). This mirrors the behavior of
the normal cast by including the source and destination types in
the exception message.

Fix #1453

Merge pull request #1544 from jkotas/standalone-gc

GC sample improvements

Move sample GC environment to separate directory

Use NULL for consistency

Replace unsigned __int64/__int64 with UINT64/INT64

Merge pull request #1539 from BruceForstall/DeleteBadTests

Delete two bad tests

Merge pull request #1542 from jkotas/gcsample

Upgrade GCSample project to VS2015

Upgrade GCSample project to VS2015

Fix pow1 test to run on Linux

This tests queries PROCESSOR_ARCHITECTURE to see if it is running on ARM. This returns a null string on Linux. So, check for null on continue. If necessary, this could be adjusted later if we need to do something special for non-Windows .NET Core on ARM.

Delete two bad tests

These tests were deleted from internal runs long ago and should not have been ported.

Merge pull request #1536 from BruceForstall/FixLinuxNullRefCheck

Fix JIT null reference checking for large field accesses on PAL

Merge pull request #1537 from BruceForstall/FixLinuxIntLongDifference

Replace 'long' by 'int' to avoid bug on Linux

Replace 'long' by 'int' to avoid bug on Linux

In GetSignedMagicNumberDivide(), a cast to (unsigned long) was doing a sign extend instead of a zero extend, leading
to an apparent infinite loop with test case b147814_il.exe. This change replaces the cast with (unsigned int), which
matches Windows behavior.

Fix JIT null reference checking for large field accesses on PAL platforms

The JIT needs to do explicit null checks for large field accesses if such an
access might exceed the unmapped zero page in the OS. On Windows, that means
fields over 32KB. On PAL platforms, we use 1/2 the OS page size. As far as I
can tell, the reason we use 1/2 the known unmapped page size is for "defense
in depth", in case we get it wrong somehow.

Merge pull request #1523 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #1495 from Sridhar-MS/code-coverage

Build Code Coverage instrumented binaries for native binaries in Linux and OSX

String.Join optimization

Merge pull request #1533 from janvorli/fix-native-unwind-issue

Fix null reference exception handling in JIT_WriteBarrier

Fix null reference exception handling in JIT_WriteBarrier

This change fixes an issue when a null reference exception happens in the first
instruction of the JIT_WriteBarrier. There were two problems.

First problem was that the native unwinder didn't know that it is unwinding a
frame where the PC is an address of a failing instruction instead of the next
address after a call instruction. So it decremented the PC before looking up the
unwind info. Unfortunately, that means that if the hardware exception happens
in the first instruction, the unwind info is not found and the unwinder resorts
to RBP chain unwinding, which effectively skips one managed frame.

The second problem was that the FaultingExceptionFrame we create when handling
the hardware exception had context pointing to the JIT_WriteBarrier. But that
breaks the stack walker. When it arrives at the FaultingExceptionFrame, it
calls its ReturnAddress method and expects to get a managed code address.
However, in this case, it was getting the address of the JIT_WriteBarrier instead
and that made the stack walker to skip to the next explicit frame, effectively
skipping multiple managed frames that it should have reported.

Merge pull request #1499 from kouvel/TryGetRawMetadata

Add AssemblyExtensions.TryGetRawMetadata to the System.Reflection.Met…

Merge pull request #1522 from kouvel/AssemblyLoadNullVersion

Allow loading assemblies on the TPA list without specifying a version

Respond to PR feedback.

Fix to correctly spill a special putarg_reg when the fixed register assigned to it is getting killed before its GT_CALL.

Essentially in execution order we have the following nodes

     RCX <-- GT_PUTARG_REG(lcl var V07)  here V07 is 'this' object
     R8 <-- GT_PUTARG_REG(GT_AND(GT_LSH,...))
     ControlExpr of call (i.e. call target) is a vtable call and uses 'this' object to get to the right virtual method. Essentially a GT_IND(GT_LEA(V07))
     GT_CALL

While building ref positions for first putarg_reg, it is flagged as "special" and preferenced to its source lcl var V07 if it is the non-last use.   The hope is that if there are further uses of V07 before the kill of fixed reg assigned to V07, they can continue to be in that register.
While allocating a register to a special putarg_reg, lsra checks that a) source lcl var's interval is active and b) register assigned to source lcl var is the same as putarg_reg

Second putarg_reg (to R8) has an operand which needs CL (shift operation) and hence will kill RCX before GT_CALL. As a result, V07 is marked for spilling after its use in special putarg_reg but not first putarg_reg.  Further since next kill of RCX (GT_LSH) is well before the next use of source lcl var (in controlExpr), putarg_reg cannot be marked as isBusyUntilNextKill.  As a result, LSRA would think that RCX is available for allocation after the last use of V07 in controlExpr and hence GT_IND is allocated RCX thereby thrashing 'this' object passed in RCX.  This leads to an AV for the repro case while executing jitted code.

Fix is that while allocating LSRA also needs to check that the next use of special putarg_reg is same as the next kill of the fixed register assigned to it. Since first putarg_reg is not marked as special, kill of RCX by GT_SH would lead to spilling of putarg_reg into a tree temp.

Fix #1475

[tfs-changeset: 1523584]

Address code coverage builds feedback

- Move the build type check to unix only.
- Remove the global fPIC compiler option and add it as compile flags for libcorguids @ src/inc/CMakeLists.txt
- Use add_compiler_options instead of add_definitions.

Add AssemblyExtensions.TryGetRawMetadata to the System.Reflection.Metadata namespace.

This patch contains has the necessary changes in coreclr and mscorlib. Tests will be added separately, once the new API is
published and can be consumed.

Part of dotnet/corefx#2768

Allow loading assemblies on the TPA list without specifying a version

When comparing the bound assembly's version against the requested assembly name, removed the distinction between platform
assemblies and app assemblies when the bound assembly is on the TPA list. A requested version of null behaves equivalently to
a requested version of 0.0.0.0.

Merge pull request #1520 from sergey-raevskiy/clarify-comment

Clarify comment

Clarify comment

Merge pull request #1518 from janvorli/fix-some-printf-formats

Fix printf formatting for ll, I and I32 length modifiers

Reflect PR feedback

Merge pull request #1497 from adityamandaleeka/fix_warnings

Fix the remaining unused variable/label warnings

Fix printf formatting for ll, I and I32 length modifiers

These modifiers were not handled at all.

Merge pull request #1516 from janvorli/fix-managed-exception-dispatch-2

Fix missing uses of the INSTALL_MANAGED_EXCEPTION_DISPATCHER

Replace MAX_PATH with new defines, rest of coreclr.

Fix missing uses of the INSTALL_MANAGED_EXCEPTION_DISPATCHER

This fixes issues stemming from my recent changes in managed exception dispatching
where I have missed few places where we need to perform managed exception dispatching
or unhandled exception reporting.

Fix the remaining unused variable/label warnings

Change warning to error for platforms not supporting code coverage at this time. This is make sure that the warning does not get accidently swallowed at some point in the future.

Merge pull request #1515 from janvorli/fix-funceval-personality-routine

Remove FuncEvalHijackPersonalityRoutine for PAL

Remove FuncEvalHijackPersonalityRoutine for PAL

The personality routine on Windows is responsible for redirecting exception unwinding
to a different context when function evaluation is injected into a managed thread and
there is an exception that escapes the evaluation. However, the FuncEvalHijackRealWorker
catches all exceptions that happen during the function evaluation, so nothing should
escape.
Moreover, if anything escaped, it would go to the original hijacked code which is not
expected.
So I am replacing the personality routine for PAL with UnhandledExceptionHandlerUnix
to guard against unexpected exception escaping.

I am also setting the same personality routine to the ExceptionHijack function. Some
time ago, it was removed completely there as a temporary fix for a problem with limited
max number of personality routines in single executable. I have looked at it
again and I can see that no exception should escape the ExceptionHijackWorker either and
so the same thing as for FuncEvalHijack applies for ExceptionHijack too.

Merge pull request #1496 from janvorli/fix-exception-memleak

Fix memory leak from managed exceptions

Merge pull request #1514 from janvorli/fix-managed-exception-dispatch-way-2

Fix managed exception dispatching

Fix managed exception dispatching

The managed exception dispatching is initiated from the UNINSTALL_MANAGED_EXCEPTION_DISPATCHER
macro and it should be used only at the border between managed and native code, when managed
code calls native one. This macro is part of the UNINSTALL_UNWIND_AND_CONTINUE_HANDLER_NO_PROBE
macro. However, it turns out that the UNINSTALL_UNWIND_AND_CONTINUE_HANDLER_NO_PROBE
(or the UNINSTALL_UNWIND_AND_CONTINUE_HANDLER that uses it) is also used at places where
there is no managed / native border. In that case, the managed dispatching results incorrectly
in skipping native frames that would otherwise handle the exception.

The fix removes the INSTALL_MANAGED_EXCEPTION_DISPATCHER / UNINSTALL_MANAGED_EXCEPTION_DISPATCHER
from the INSTALL_UNWIND_AND_CONTINUE_HANDLER_NO_PROBE / UNINSTALL_UNWIND_AND_CONTINUE_HANDLER_NO_PROBE
and puts them to specific places where INSTALL_UNWIND_AND_CONTINUE_HANDLER_NO_PROBE /
UNINSTALL_UNWIND_AND_CONTINUE_HANDLER_NO_PROBE and INSTALL_UNWIND_AND_CONTINUE_HANDLER /
UNINSTALL_UNWIND_AND_CONTINUE_HANDLER are used at the border between managed and native code.

Merge pull request #1507 from mikem8361/fixosx

 Fix debugger/debuggee connection on OS X

Fix debugger/debuggee connection on OSx.

The reason there were problems connecting on OS X was that the read
on the debugger/debuggee pipe didn't return the full number of bytes
requested on the first read. There are times (depending on the size
of the read request) that multiple reads to be made to get all the
bytes requested. This change adds code to retry the read or write
until all the bytes requested are read or written.

Merge pull request #1503 from benpye/arm-strike-build-fix

Fix ARM Strike build

Merge pull request #1501 from erozenfeld/ReadyToRunThrowHelpers

Add mappings for ReadyToRun helpers used by llilc.

Fixes ARM Strike build

Add mappings for ReadyToRun helpers used by llilc:
READYTORUN_HELPER_ThrowNullRef and READYTORUN_HELPER_ThrowDivZero.

Allow ReadyToRun tests to be run with llilc.

Fix memory leak from managed exceptions

Handling thrown PAL_SEHException was causing leaks for all exceptions thrown due to
two aspects:
1) PAL_GetStackBase() and PAL_GetStackLimit() were missing calls to pthread_attr_destroy()
2) We were calling the DispatchManagedException from C++ catch handlers and this function
   never returns. So the C++ exception handling never called __cxa_end_catch that is
   responsible for freeing the exception storage allocated by the C++ runtime.
The fix to the 2nd aspect was to store a copy of the exception in the catch handler, let it
complete and then call the DispatchManagedException with the copy. It was also necessary to
slightly modify the unwinding of sequences of native frames since there is now no rethrowable
exception and the StartUnwindingManagedFrames has to throw a new one.
This change has a secondary benefit - the StartUnwindingManagedFrames no longer calls
__cxa_rethrow, but rather a helper C++ function that uses regular "throw" keyword.
That makes the code more portable.

Merge pull request #1491 from janvorli/unix-remove-thread-affinity-and-critical-region

Remove thread affinity and critical region stuff for Unix

Remove thread affinity and critical region stuff for Unix

The WaitHandleNative::CorWaitMultipleNative was calling Thread::BeginThreadAffinityAndCriticalRegion
that results in incrementing the Thread::m_dwCriticalRegionCount. However, there is nothing
that would decrement it on CoreCLR, so if the WaitHandleNative::CorWaitMultipleNative is called,
in debug build we get an assert in Thread::InternalReset.

It turns out that the critical region and thread affinity stuff is not to be used in CoreCLR,
so I have disabled handling of that in CoreCLR for Unix.
The only remainder are the static methods Thread::BeginThreadAffinity and Thread::EndThreadAffinity
which are used in the ThreadAffinityHolder. Conditionally removing the holder usage would be messy,
so I have rather kept those methods and made their bodies empty.

Build Code Coverage instrumented binaries for native bianries in Linux and OSX.

Add an option in build.sh called 'coverage' to produce gcov-style instrumented builds.
Example usage - ./build.sh debug coverage clean

This will generate the '.gcno' notes files for each object file in the same directory along with the instrumented native binaries. These .gcno files contain some of the coverage data like source line mappings, basic block graphs info etc.

Each time these instrumented binaries are run, a separate .gcda file is created for each object file in the same directory. These .gcda files contain arc transition counts, and some summary information.

Code Coverage reports can be generated from the .gcno and .gcda files using a tool like gcovr or lcov. *But this commit is only for generated the .gcno files while compiling with the 'coverage' option.*

The next steps
 - Add option in run-test.sh to generate code-coverage reports using the instrumented native binaries.
 - Integrate with Jenkins CI to do code-coverage runs.

Merge pull request #1484 from gitchomik/master

Documentation - building mscorlib.dll using Mono on Linux

Building mscorlib.dll using Mono on Linux

Some information about building mscorlib.dll without Windows

Update linux-instructions.md

some @ellismg suggestions

Merge pull request #1493 from christos-P/patch-1

minor correction

Merge pull request #1490 from BruceForstall/FixILTests

Fix IL JIT tests

minor correction

Merge pull request #1492 from benjamin-hodgson/patch-1

Fix link to API review process documentation

Merge pull request #1489 from kangaroo/arm-clang-fixes

[arm] Fix RtlRestoreContext on ARM with newer clang

Fix link to API review process documentation

[arm] Fix RtlRestoreContext on ARM with newer clang