Merge pull request #1577 from LLITCHEV/master

Fix for Issue #3164.
Thanks all!

Merge pull request #1565 from kouvel/TryGetRawMetadataFix

Fix TryGetRawMetadata to return false when the assembly is not a Runt…

Merge pull request #1588 from mikem8361/target4

Add ICorDebugDataTarget4 to SOS.

Disable the clang/llvm optimizer for a method that triggers wrong codegen.

There is a bug in the clang-3.5 optimizer. The issue is that in release
build the optimizer is mistyping (or just wrongly decides to use 32 bit
operation for a corner case of MIN_LONG) the args of the (ltemp / lval2)
to int (it does a 32 bit div operation instead of 64 bit.)
For the case of lval1 and lval2 equal to MIN_LONG (0x8000000000000000)
this results in raising a SIGFPE.

Merge pull request #1580 from ravimeda/fixTestBuildProj

Remove Clean Target in Test Build Proj.

Merge pull request #1582 from janvorli/osx-thread-suspension-activation

Change PAL_InjectActivation to use pthread_kill

Merge pull request #1583 from adityamandaleeka/coreclr_tests_linux

CoreCLR tests on Linux

Change PAL_InjectActivation to use pthread_kill

This change modifies the PAL_InjectActivation to use much more portable pthread_kill
instead of pthread_sigqueue.
Remove the activation function passing from the PAL_InjectActivation
and add a PAL API to set the activation function globally, since we need just one.

Merge pull request #1585 from DasAllFolks/patch-2

Fix link to "Public Contract" subsection

Merge pull request #1586 from DasAllFolks/patch-1

Fix link to "Coding Style" page

Merge pull request #1587 from DasAllFolks/patch-3

Fix link to CoreFX Performance Guidelines

Add ICorDebugDataTarget4 to SOS.

Now that Eugene fixed out of context unwinding in the DAC for Linux after
this change, the SOS "clrstack" command should always work and not hang anymore.

Fix link to CoreFX Performance Guidelines

This link currently returns a 404 error.

It appears to be one of several links broken by some of the CoreFX
documentation having been moved into the new `coding-guidelines`
subdirectory.

Fix link to "Coding Style" page

This link is currently returning a 404 error; it appears that several of these links may have been broken when a new `coding-guidelines` subdirectory was created.

Fix link to "Public Contract" subsection

The link to the "Public Contract" subsection of the "Breaking Changes" page is currently stale and returns a 404 error.

Merge pull request #1584 from DasAllFolks/patch-1

Unbreak "breaking changes" link

Unbreak "breaking changes" link

Previous link produced a 404 error.

Minor improvements to runtest.sh

Add runtest.sh script to run CoreCLR tests on Linux

Merge pull request #1581 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #1574 from kouvel/FixPalTests

Fix some frequently failing PAL tests

Fix some frequently failing PAL tests

Some PAL tests are frequently failing in the CI. The specified output folder is currently used as the working folder for all PAL tests. The CI machine happened to have the output folder on a mount mounted as fuseblk instead of ext4. We don't know why this is happening. For the moment, I'm fixing the test runner to work around this issue.

Changes:
- Use /tmp/PalTestOutput/default as the output folder by default
- If a specific folder is specified for the output, use a unique folder inside /tmp/PalTestOutput for output files, and copy them to the specified folder at the end. A unique folder is used to support parallel runs on the same machine in this mode.
- Run each test in its own folder. Many PAL tests don't clean up after themselves, and create/use the same file/folder names in the current folder.
- Add a few more checks to some tests to hopefully provide more information upon the next failure
- Fix GetFileAttributes tests, which were crashing upon some failures due to mismatched number of placeholders and arguments to vprintf

Fixes #1561

Port the DateTime parser fix with Serbia cultures

Serbia has '.' at the end of the date and time parts. (like 'd.M.yyyy.'). while '.' is marked as date and time separator in same time. this confuse the parser and make it fail
to parse date/time string formatted with the Serbia culture.

[tfs-changeset: 1526268]

Merge pull request #1460 from bbowyersmyth/StringJoin

String.Join optimization for single item lists

Remove Clean Target in Test Build Proj.

Merge pull request #1578 from dotnet-bot/from-tfs

Merge changes from TFS

Fix build break on arm

[tfs-changeset: 1526208]

Fix for Issue #3164.

Added extra code to work around an optimizer bug in clang 3.5. In a
particular case 0/MIN_LONG results into MIN_LONG that causes a const
folding to produce a result of 0 instead of overflow exception for
MIN_LONG * MIN_LONG.

Merge pull request #1575 from benpye/arm-unwind-regression

Fix ARM unwind regression

Merge pull request #1568 from dotnet-bot/from-tfs

Merge changes from TFS

Fix ARM build regression

Merge pull request #1559 from eerhardt/Fix2788

Time Zone transitions are 1 tick off on Linux

Merge pull request #1560 from Priya91/longpath-test

Replace MAX_PATH with new defines in rest of coreclr.

Fix for GH issue 410 - https://github.com/dotnet/coreclr/issues/410

Whenever a managed exception is thrown, the details about the thrown exception are also saved off the managed thread object (as LastThrownObject). The VM also has an exception tracker that tracks its dispatch across the managed frames and incase of nested exceptions, the trackers are collapsed correctly, when the nested exception is handled, and last thrown object is updated correctly. The VM works on the premise that the LastThrownObject is updated correctly.

Incase of this bug, a method (M1)is invoked via Reflection and has an exception E1. During exception dispatch for E1, an IL filter is invoked that, in turn, has an exception (E2) that remains unhandled. While this is swallowed by the VM (as expected), the LastThrownObject is not updated to reflect the active exception to be E1. Thus, when the dispatch for original exception E1 completes and no managed handler is found, the exception is caught by Reflection subsystem that extracts the thrown exception using the GET_THROWABLE macro that uses the LastThrownObject to determine the thrown exception. Since the LTO was not updated, it still reflects E2.

The fix is to update the managed exception state, if the filter has an unhandled exception, similar to how we do when a managed catch block successfully handles the exception. I have refactored the code to make the semantic cleaner.

[tfs-changeset: 1525835]

Time Zone transitions are 1 tick off on Linux

When we build the AdjustmentRules up, we set the StartDate to be the Transition Time that comes from the tzfile, and we set the EndDate to the be (the next Transition Time - 1 tick). That way the next AdjustmentRule goes into effect at the exact transition time. The issue is that the code in CheckIsDst uses a less than operator when comparing the endTime, but for these rules it should be less than or equal to.

Fix https://github.com/dotnet/corefx/issues/2788.

Merge pull request #1564 from dotnet-bot/from-tfs

Merge changes from TFS

Fix TryGetRawMetadata to return false when the assembly is not a RuntimeAssembly

Related to dotnet/corefx#2768

Merge pull request #1562 from cshung/EventCounterWork

Port bug fixes and add hooks for EventCounter work

Merge pull request #1553 from paulnice/patch-1

Fix runtime versions in the Console example

Merge pull request #1557 from ravimeda/master

Update Build CoreCLR Instructions on Mac OS X.

Port bug fixes and add hooks for EventCounter work

Merge pull request #1554 from kouvel/WaitAllCheckForDuplicates

Check for duplicate handles in PAL's implementation of a wait-all ope…

Handle pre- and post-commands gracefully in bash execution scripts.

Existing tests can specify pre- or post-commands that are injected into
the execution scripts. However, today these are all using Windows syntax
so they break the bash scripts. We will handle that by skipping any tests
that are using pre- or post-commands unless they specify the bash-specific
equivalent. The scripts will continue to run and just exit with an exit
code that indicates a skip, so that the skipped tests are tracked and not
just hidden.

Also, this change moves the global pre-command that was being added for
running __TestEnv into the bash/batch targets rather than in the dir.props
file that is used for all platforms.

Enable bash run scripts to handle tests with multiple arguments.

Enable coreclr tests to run on Unix with corerun.

Enable building coreclr tests on Linux

Clean up some test scripts

Merge pull request #1538 from Djuffin/get_context2

Make DBI/SOS stackwalk work when thread is running native code

Merge pull request #1555 from richlander/roadmap

Add link to .NET Core Roadmap

Update Build CoreCLR Instructions on Mac OS X.

Rebuild option is not handled in build.sh.  Hence removing the sentence
that suggests using a rebuild option that will delete previously built
assemblies.

Use out-of-proc libunwind to unwind native stack from DAC

Implementation of PAL_VirtualUnwindOutOfProc that uses ptrace libunwind
to be able to unwind native stack in debugee. This allows to get valid managed
stack for threads that passed HelperMethodFrames.

Use Frame list context when GetThreadContext is unavailable

When DAC tries to obtain thread context for debugee thread on the system without working GetThreadContext, it uses filter context
and if it is NULL, it goes through thread Frame list looking for a Frame that can provide meaningful CONTEXT to start the stackwalk.
Filter context can be NULL if the thread is currently running native code, or manage exception just has been thrown (first chance).
Before this change DBI stackwalker would fail to provide stack trace in such cases.

Merge pull request #1540 from BruceForstall/FixPow1TestForLinux

Fix pow1 test to run on Linux

Merge pull request #1144 from mmitche/real-debug-build

Do not pass /O1 except in release/release with debug info modes

Check for duplicate handles in PAL's implementation of a wait-all operation

Do not pass /O1 except in release/release with debug info modes

Add link to .NET Core Roadmap

Minor change to SystemV structs declarations in JIT-EE interface

Pull over a couple changes from the work-in-progress git branch.

[tfs-changeset: 1525036]

Fix build break on ARM.

[tfs-changeset: 1525030]

Fix runtime versions

1. Fix the sample output of 'dnvm list' command with the latest one.
2. Fix the 'dnvm use' commands with the current runtime versions.

This fixes the case of 64bit (to be in sync with Arm/Arm64) failures when, due to Jit optimizations, the return address of two successive frames are the same, resulting in incorrect current context initialization. As a result, CrawlFrame specific lookup of data (e.g. GenericArgType) are incorrect and fails tests.

I have refactored the code to be common for X64/Arm/Arm64 as much as possible.

X64 EH Selfhost is clean (and so is DDR).

[tfs-changeset: 1524814]

Merge pull request #1547 from jkotas/standalone-gc

Initial port of GC sample to Linux

Merge pull request #1546 from dotnet-bot/from-tfs

Merge changes from TFS

Initial port of GC sample to Linux

- Add CMake build for the GC sample
- Add Unix clone of the GC environment. The Unix GC environment is partially
implemented, enough to make GC sample to compile and run on Linux.

Fix mscorlib asmmeta and add SecurityCritical attribute to the two new functions in AssemblyExtensions

[tfs-changeset: 1524637]

Merge pull request #1543 from mikedn/unboxmsg

Improve the invalid cast message generated by unbox

Improve the invalid cast message generated by unbox

Change JIT_Unbox to use COMPlusThrowInvalidCastException instead of
COMPlusThrow(kInvalidCastException). This mirrors the behavior of
the normal cast by including the source and destination types in
the exception message.

Fix #1453

Merge pull request #1544 from jkotas/standalone-gc

GC sample improvements

Move sample GC environment to separate directory

Use NULL for consistency

Replace unsigned __int64/__int64 with UINT64/INT64

Merge pull request #1539 from BruceForstall/DeleteBadTests

Delete two bad tests

Merge pull request #1542 from jkotas/gcsample

Upgrade GCSample project to VS2015

Upgrade GCSample project to VS2015

Fix pow1 test to run on Linux

This tests queries PROCESSOR_ARCHITECTURE to see if it is running on ARM. This returns a null string on Linux. So, check for null on continue. If necessary, this could be adjusted later if we need to do something special for non-Windows .NET Core on ARM.

Delete two bad tests

These tests were deleted from internal runs long ago and should not have been ported.

Merge pull request #1536 from BruceForstall/FixLinuxNullRefCheck

Fix JIT null reference checking for large field accesses on PAL

Merge pull request #1537 from BruceForstall/FixLinuxIntLongDifference

Replace 'long' by 'int' to avoid bug on Linux

Replace 'long' by 'int' to avoid bug on Linux

In GetSignedMagicNumberDivide(), a cast to (unsigned long) was doing a sign extend instead of a zero extend, leading
to an apparent infinite loop with test case b147814_il.exe. This change replaces the cast with (unsigned int), which
matches Windows behavior.

Fix JIT null reference checking for large field accesses on PAL platforms

The JIT needs to do explicit null checks for large field accesses if such an
access might exceed the unmapped zero page in the OS. On Windows, that means
fields over 32KB. On PAL platforms, we use 1/2 the OS page size. As far as I
can tell, the reason we use 1/2 the known unmapped page size is for "defense
in depth", in case we get it wrong somehow.

Merge pull request #1523 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #1495 from Sridhar-MS/code-coverage

Build Code Coverage instrumented binaries for native binaries in Linux and OSX

String.Join optimization

Merge pull request #1533 from janvorli/fix-native-unwind-issue

Fix null reference exception handling in JIT_WriteBarrier

Fix null reference exception handling in JIT_WriteBarrier

This change fixes an issue when a null reference exception happens in the first
instruction of the JIT_WriteBarrier. There were two problems.

First problem was that the native unwinder didn't know that it is unwinding a
frame where the PC is an address of a failing instruction instead of the next
address after a call instruction. So it decremented the PC before looking up the
unwind info. Unfortunately, that means that if the hardware exception happens
in the first instruction, the unwind info is not found and the unwinder resorts
to RBP chain unwinding, which effectively skips one managed frame.

The second problem was that the FaultingExceptionFrame we create when handling
the hardware exception had context pointing to the JIT_WriteBarrier. But that
breaks the stack walker. When it arrives at the FaultingExceptionFrame, it
calls its ReturnAddress method and expects to get a managed code address.
However, in this case, it was getting the address of the JIT_WriteBarrier instead
and that made the stack walker to skip to the next explicit frame, effectively
skipping multiple managed frames that it should have reported.

Merge pull request #1499 from kouvel/TryGetRawMetadata

Add AssemblyExtensions.TryGetRawMetadata to the System.Reflection.Met…

Merge pull request #1522 from kouvel/AssemblyLoadNullVersion

Allow loading assemblies on the TPA list without specifying a version

Respond to PR feedback.

Fix to correctly spill a special putarg_reg when the fixed register assigned to it is getting killed before its GT_CALL.

Essentially in execution order we have the following nodes

     RCX <-- GT_PUTARG_REG(lcl var V07)  here V07 is 'this' object
     R8 <-- GT_PUTARG_REG(GT_AND(GT_LSH,...))
     ControlExpr of call (i.e. call target) is a vtable call and uses 'this' object to get to the right virtual method. Essentially a GT_IND(GT_LEA(V07))
     GT_CALL

While building ref positions for first putarg_reg, it is flagged as "special" and preferenced to its source lcl var V07 if it is the non-last use.   The hope is that if there are further uses of V07 before the kill of fixed reg assigned to V07, they can continue to be in that register.
While allocating a register to a special putarg_reg, lsra checks that a) source lcl var's interval is active and b) register assigned to source lcl var is the same as putarg_reg

Second putarg_reg (to R8) has an operand which needs CL (shift operation) and hence will kill RCX before GT_CALL. As a result, V07 is marked for spilling after its use in special putarg_reg but not first putarg_reg.  Further since next kill of RCX (GT_LSH) is well before the next use of source lcl var (in controlExpr), putarg_reg cannot be marked as isBusyUntilNextKill.  As a result, LSRA would think that RCX is available for allocation after the last use of V07 in controlExpr and hence GT_IND is allocated RCX thereby thrashing 'this' object passed in RCX.  This leads to an AV for the repro case while executing jitted code.

Fix is that while allocating LSRA also needs to check that the next use of special putarg_reg is same as the next kill of the fixed register assigned to it. Since first putarg_reg is not marked as special, kill of RCX by GT_SH would lead to spilling of putarg_reg into a tree temp.

Fix #1475

[tfs-changeset: 1523584]

Address code coverage builds feedback

- Move the build type check to unix only.
- Remove the global fPIC compiler option and add it as compile flags for libcorguids @ src/inc/CMakeLists.txt
- Use add_compiler_options instead of add_definitions.

Add AssemblyExtensions.TryGetRawMetadata to the System.Reflection.Metadata namespace.

This patch contains has the necessary changes in coreclr and mscorlib. Tests will be added separately, once the new API is
published and can be consumed.

Part of dotnet/corefx#2768

Allow loading assemblies on the TPA list without specifying a version

When comparing the bound assembly's version against the requested assembly name, removed the distinction between platform
assemblies and app assemblies when the bound assembly is on the TPA list. A requested version of null behaves equivalently to
a requested version of 0.0.0.0.

Merge pull request #1520 from sergey-raevskiy/clarify-comment

Clarify comment

Clarify comment

Merge pull request #1518 from janvorli/fix-some-printf-formats

Fix printf formatting for ll, I and I32 length modifiers

Reflect PR feedback

Merge pull request #1497 from adityamandaleeka/fix_warnings

Fix the remaining unused variable/label warnings

Fix printf formatting for ll, I and I32 length modifiers

These modifiers were not handled at all.

Merge pull request #1516 from janvorli/fix-managed-exception-dispatch-2

Fix missing uses of the INSTALL_MANAGED_EXCEPTION_DISPATCHER

Replace MAX_PATH with new defines, rest of coreclr.