Do not pass /O1 except in release/release with debug info modes

Merge pull request #1547 from jkotas/standalone-gc

Initial port of GC sample to Linux

Merge pull request #1546 from dotnet-bot/from-tfs

Merge changes from TFS

Initial port of GC sample to Linux

- Add CMake build for the GC sample
- Add Unix clone of the GC environment. The Unix GC environment is partially
implemented, enough to make GC sample to compile and run on Linux.

Fix mscorlib asmmeta and add SecurityCritical attribute to the two new functions in AssemblyExtensions

[tfs-changeset: 1524637]

Merge pull request #1543 from mikedn/unboxmsg

Improve the invalid cast message generated by unbox

Improve the invalid cast message generated by unbox

Change JIT_Unbox to use COMPlusThrowInvalidCastException instead of
COMPlusThrow(kInvalidCastException). This mirrors the behavior of
the normal cast by including the source and destination types in
the exception message.

Fix #1453

Merge pull request #1544 from jkotas/standalone-gc

GC sample improvements

Move sample GC environment to separate directory

Use NULL for consistency

Replace unsigned __int64/__int64 with UINT64/INT64

Merge pull request #1539 from BruceForstall/DeleteBadTests

Delete two bad tests

Merge pull request #1542 from jkotas/gcsample

Upgrade GCSample project to VS2015

Upgrade GCSample project to VS2015

Delete two bad tests

These tests were deleted from internal runs long ago and should not have been ported.

Merge pull request #1536 from BruceForstall/FixLinuxNullRefCheck

Fix JIT null reference checking for large field accesses on PAL

Merge pull request #1537 from BruceForstall/FixLinuxIntLongDifference

Replace 'long' by 'int' to avoid bug on Linux

Replace 'long' by 'int' to avoid bug on Linux

In GetSignedMagicNumberDivide(), a cast to (unsigned long) was doing a sign extend instead of a zero extend, leading
to an apparent infinite loop with test case b147814_il.exe. This change replaces the cast with (unsigned int), which
matches Windows behavior.

Fix JIT null reference checking for large field accesses on PAL platforms

The JIT needs to do explicit null checks for large field accesses if such an
access might exceed the unmapped zero page in the OS. On Windows, that means
fields over 32KB. On PAL platforms, we use 1/2 the OS page size. As far as I
can tell, the reason we use 1/2 the known unmapped page size is for "defense
in depth", in case we get it wrong somehow.

Merge pull request #1523 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #1495 from Sridhar-MS/code-coverage

Build Code Coverage instrumented binaries for native binaries in Linux and OSX

Merge pull request #1533 from janvorli/fix-native-unwind-issue

Fix null reference exception handling in JIT_WriteBarrier

Fix null reference exception handling in JIT_WriteBarrier

This change fixes an issue when a null reference exception happens in the first
instruction of the JIT_WriteBarrier. There were two problems.

First problem was that the native unwinder didn't know that it is unwinding a
frame where the PC is an address of a failing instruction instead of the next
address after a call instruction. So it decremented the PC before looking up the
unwind info. Unfortunately, that means that if the hardware exception happens
in the first instruction, the unwind info is not found and the unwinder resorts
to RBP chain unwinding, which effectively skips one managed frame.

The second problem was that the FaultingExceptionFrame we create when handling
the hardware exception had context pointing to the JIT_WriteBarrier. But that
breaks the stack walker. When it arrives at the FaultingExceptionFrame, it
calls its ReturnAddress method and expects to get a managed code address.
However, in this case, it was getting the address of the JIT_WriteBarrier instead
and that made the stack walker to skip to the next explicit frame, effectively
skipping multiple managed frames that it should have reported.

Merge pull request #1499 from kouvel/TryGetRawMetadata

Add AssemblyExtensions.TryGetRawMetadata to the System.Reflection.Met…

Merge pull request #1522 from kouvel/AssemblyLoadNullVersion

Allow loading assemblies on the TPA list without specifying a version

Fix to correctly spill a special putarg_reg when the fixed register assigned to it is getting killed before its GT_CALL.

Essentially in execution order we have the following nodes

     RCX <-- GT_PUTARG_REG(lcl var V07)  here V07 is 'this' object
     R8 <-- GT_PUTARG_REG(GT_AND(GT_LSH,...))
     ControlExpr of call (i.e. call target) is a vtable call and uses 'this' object to get to the right virtual method. Essentially a GT_IND(GT_LEA(V07))
     GT_CALL

While building ref positions for first putarg_reg, it is flagged as "special" and preferenced to its source lcl var V07 if it is the non-last use.   The hope is that if there are further uses of V07 before the kill of fixed reg assigned to V07, they can continue to be in that register.
While allocating a register to a special putarg_reg, lsra checks that a) source lcl var's interval is active and b) register assigned to source lcl var is the same as putarg_reg

Second putarg_reg (to R8) has an operand which needs CL (shift operation) and hence will kill RCX before GT_CALL. As a result, V07 is marked for spilling after its use in special putarg_reg but not first putarg_reg.  Further since next kill of RCX (GT_LSH) is well before the next use of source lcl var (in controlExpr), putarg_reg cannot be marked as isBusyUntilNextKill.  As a result, LSRA would think that RCX is available for allocation after the last use of V07 in controlExpr and hence GT_IND is allocated RCX thereby thrashing 'this' object passed in RCX.  This leads to an AV for the repro case while executing jitted code.

Fix is that while allocating LSRA also needs to check that the next use of special putarg_reg is same as the next kill of the fixed register assigned to it. Since first putarg_reg is not marked as special, kill of RCX by GT_SH would lead to spilling of putarg_reg into a tree temp.

Fix #1475

[tfs-changeset: 1523584]

Address code coverage builds feedback

- Move the build type check to unix only.
- Remove the global fPIC compiler option and add it as compile flags for libcorguids @ src/inc/CMakeLists.txt
- Use add_compiler_options instead of add_definitions.

Add AssemblyExtensions.TryGetRawMetadata to the System.Reflection.Metadata namespace.

This patch contains has the necessary changes in coreclr and mscorlib. Tests will be added separately, once the new API is
published and can be consumed.

Part of dotnet/corefx#2768

Allow loading assemblies on the TPA list without specifying a version

When comparing the bound assembly's version against the requested assembly name, removed the distinction between platform
assemblies and app assemblies when the bound assembly is on the TPA list. A requested version of null behaves equivalently to
a requested version of 0.0.0.0.

Merge pull request #1520 from sergey-raevskiy/clarify-comment

Clarify comment

Clarify comment

Merge pull request #1518 from janvorli/fix-some-printf-formats

Fix printf formatting for ll, I and I32 length modifiers

Reflect PR feedback

Merge pull request #1497 from adityamandaleeka/fix_warnings

Fix the remaining unused variable/label warnings

Fix printf formatting for ll, I and I32 length modifiers

These modifiers were not handled at all.

Merge pull request #1516 from janvorli/fix-managed-exception-dispatch-2

Fix missing uses of the INSTALL_MANAGED_EXCEPTION_DISPATCHER

Fix missing uses of the INSTALL_MANAGED_EXCEPTION_DISPATCHER

This fixes issues stemming from my recent changes in managed exception dispatching
where I have missed few places where we need to perform managed exception dispatching
or unhandled exception reporting.

Fix the remaining unused variable/label warnings

Change warning to error for platforms not supporting code coverage at this time. This is make sure that the warning does not get accidently swallowed at some point in the future.

Merge pull request #1515 from janvorli/fix-funceval-personality-routine

Remove FuncEvalHijackPersonalityRoutine for PAL

Remove FuncEvalHijackPersonalityRoutine for PAL

The personality routine on Windows is responsible for redirecting exception unwinding
to a different context when function evaluation is injected into a managed thread and
there is an exception that escapes the evaluation. However, the FuncEvalHijackRealWorker
catches all exceptions that happen during the function evaluation, so nothing should
escape.
Moreover, if anything escaped, it would go to the original hijacked code which is not
expected.
So I am replacing the personality routine for PAL with UnhandledExceptionHandlerUnix
to guard against unexpected exception escaping.

I am also setting the same personality routine to the ExceptionHijack function. Some
time ago, it was removed completely there as a temporary fix for a problem with limited
max number of personality routines in single executable. I have looked at it
again and I can see that no exception should escape the ExceptionHijackWorker either and
so the same thing as for FuncEvalHijack applies for ExceptionHijack too.

Merge pull request #1496 from janvorli/fix-exception-memleak

Fix memory leak from managed exceptions

Merge pull request #1514 from janvorli/fix-managed-exception-dispatch-way-2

Fix managed exception dispatching

Fix managed exception dispatching

The managed exception dispatching is initiated from the UNINSTALL_MANAGED_EXCEPTION_DISPATCHER
macro and it should be used only at the border between managed and native code, when managed
code calls native one. This macro is part of the UNINSTALL_UNWIND_AND_CONTINUE_HANDLER_NO_PROBE
macro. However, it turns out that the UNINSTALL_UNWIND_AND_CONTINUE_HANDLER_NO_PROBE
(or the UNINSTALL_UNWIND_AND_CONTINUE_HANDLER that uses it) is also used at places where
there is no managed / native border. In that case, the managed dispatching results incorrectly
in skipping native frames that would otherwise handle the exception.

The fix removes the INSTALL_MANAGED_EXCEPTION_DISPATCHER / UNINSTALL_MANAGED_EXCEPTION_DISPATCHER
from the INSTALL_UNWIND_AND_CONTINUE_HANDLER_NO_PROBE / UNINSTALL_UNWIND_AND_CONTINUE_HANDLER_NO_PROBE
and puts them to specific places where INSTALL_UNWIND_AND_CONTINUE_HANDLER_NO_PROBE /
UNINSTALL_UNWIND_AND_CONTINUE_HANDLER_NO_PROBE and INSTALL_UNWIND_AND_CONTINUE_HANDLER /
UNINSTALL_UNWIND_AND_CONTINUE_HANDLER are used at the border between managed and native code.

Merge pull request #1507 from mikem8361/fixosx

 Fix debugger/debuggee connection on OS X

Fix debugger/debuggee connection on OSx.

The reason there were problems connecting on OS X was that the read
on the debugger/debuggee pipe didn't return the full number of bytes
requested on the first read. There are times (depending on the size
of the read request) that multiple reads to be made to get all the
bytes requested. This change adds code to retry the read or write
until all the bytes requested are read or written.

Merge pull request #1503 from benpye/arm-strike-build-fix

Fix ARM Strike build

Merge pull request #1501 from erozenfeld/ReadyToRunThrowHelpers

Add mappings for ReadyToRun helpers used by llilc.

Fixes ARM Strike build

Add mappings for ReadyToRun helpers used by llilc:
READYTORUN_HELPER_ThrowNullRef and READYTORUN_HELPER_ThrowDivZero.

Allow ReadyToRun tests to be run with llilc.

Fix memory leak from managed exceptions

Handling thrown PAL_SEHException was causing leaks for all exceptions thrown due to
two aspects:
1) PAL_GetStackBase() and PAL_GetStackLimit() were missing calls to pthread_attr_destroy()
2) We were calling the DispatchManagedException from C++ catch handlers and this function
   never returns. So the C++ exception handling never called __cxa_end_catch that is
   responsible for freeing the exception storage allocated by the C++ runtime.
The fix to the 2nd aspect was to store a copy of the exception in the catch handler, let it
complete and then call the DispatchManagedException with the copy. It was also necessary to
slightly modify the unwinding of sequences of native frames since there is now no rethrowable
exception and the StartUnwindingManagedFrames has to throw a new one.
This change has a secondary benefit - the StartUnwindingManagedFrames no longer calls
__cxa_rethrow, but rather a helper C++ function that uses regular "throw" keyword.
That makes the code more portable.

Merge pull request #1491 from janvorli/unix-remove-thread-affinity-and-critical-region

Remove thread affinity and critical region stuff for Unix

Remove thread affinity and critical region stuff for Unix

The WaitHandleNative::CorWaitMultipleNative was calling Thread::BeginThreadAffinityAndCriticalRegion
that results in incrementing the Thread::m_dwCriticalRegionCount. However, there is nothing
that would decrement it on CoreCLR, so if the WaitHandleNative::CorWaitMultipleNative is called,
in debug build we get an assert in Thread::InternalReset.

It turns out that the critical region and thread affinity stuff is not to be used in CoreCLR,
so I have disabled handling of that in CoreCLR for Unix.
The only remainder are the static methods Thread::BeginThreadAffinity and Thread::EndThreadAffinity
which are used in the ThreadAffinityHolder. Conditionally removing the holder usage would be messy,
so I have rather kept those methods and made their bodies empty.

Build Code Coverage instrumented binaries for native bianries in Linux and OSX.

Add an option in build.sh called 'coverage' to produce gcov-style instrumented builds.
Example usage - ./build.sh debug coverage clean

This will generate the '.gcno' notes files for each object file in the same directory along with the instrumented native binaries. These .gcno files contain some of the coverage data like source line mappings, basic block graphs info etc.

Each time these instrumented binaries are run, a separate .gcda file is created for each object file in the same directory. These .gcda files contain arc transition counts, and some summary information.

Code Coverage reports can be generated from the .gcno and .gcda files using a tool like gcovr or lcov. *But this commit is only for generated the .gcno files while compiling with the 'coverage' option.*

The next steps
 - Add option in run-test.sh to generate code-coverage reports using the instrumented native binaries.
 - Integrate with Jenkins CI to do code-coverage runs.

Merge pull request #1484 from gitchomik/master

Documentation - building mscorlib.dll using Mono on Linux

Building mscorlib.dll using Mono on Linux

Some information about building mscorlib.dll without Windows

Update linux-instructions.md

some @ellismg suggestions

Merge pull request #1493 from christos-P/patch-1

minor correction

Merge pull request #1490 from BruceForstall/FixILTests

Fix IL JIT tests

minor correction

Merge pull request #1492 from benjamin-hodgson/patch-1

Fix link to API review process documentation

Merge pull request #1489 from kangaroo/arm-clang-fixes

[arm] Fix RtlRestoreContext on ARM with newer clang

Fix link to API review process documentation

[arm] Fix RtlRestoreContext on ARM with newer clang

More System.Console IL test cleanup

Fix more System.Console references

Add System.Console references and replace usages with [System.Console]

Canonicalize appearance of empty mscorlib assembly references in .il tests

Merge pull request #1486 from AndyAyersMS/FixWarnings

Fix compilation warnings in gcinfoencoder.

Fix compilation warnings in gcinfoencoder.

Add fake uses for two variables referenced only in asserts.

Merge pull request #1483 from adityamandaleeka/unused_pc_functions

Fix warnings about Get/SetPc functions

Merge pull request #1481 from mmitche/fix-strike-build-arm-cross

Fix the SOS strike build on arm/arm64 cross

Merge pull request #1451 from Priya91/longpath

Replace MAX_PATH defines with new defines in pal.

Fix warnings about Get/SetPc functions

Fix the SOS strike build on arm/arm64 cross

Fix wrong casing for filename and remove bailing for non-x64

Merge pull request #1479 from mmitche/fix-package-issues

Package updates and fixes

Fix directory longname test failures on Linux.

Package updates and fixes
1) Float package versions
2) Change readytorun packages to use project.json.  The versions that were referenced in the packages.config didn't actually exist anyway, and on machines with cleaner caches, might cause a build breka
3) Lock SIMD packages

Merge pull request #1450 from ww898/build_with_spaces

Update build.cmd to support spaces in coreclr checkout directory

Merge pull request #1472 from ellismg/cleanup-msbuild-build-args

Fix release build of mscorlib from build.sh

Merge pull request #1471 from mikem8361/modenumosx

Added process module enumeration for OSx.

Changed popen to execute "/usr/bin/vmmap".

Merge pull request #1470 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #1464 from gitchomik/patch-1

Update linux-instructions.md

Added process module enumeration for OSx.

Enable building dbi and dbgshim on OSx. Cache the process module list in the local process data because EnumProcessModules/GetModuleFileNameExW are called by dbgshim a lot and building the list every time really affected performance especially on OSx.

Fix release build of mscorlib from build.sh

The mscorlib build in build.sh was not correctly flowing __BuildType
into MSBuild, which caused us to always build a Debug mscorlib.

While I was in the area, I removed the defines for OSGroup (which are
unused, as we use __BuildOS instead) and cleaned up some of the property
switches so we always pass prefixed properties (the bare names are the
computed ones from our targets in msbuild).

Merge pull request #1469 from mikem8361/freebsdfix

Fix FreeBSD build after merge of my changes from the ProjectK branch.

Merge pull request #1458 from ANDREENKOS/SIMDTests

delete fixed tests from issue list

Fix FreeBSD build after merge of my changes from the ProjectK branch.

Merge pull request #1467 from janvorli/fix-curl-pinvoke

Fix PInvokes into libraries using pthread locks

Fix pthread locks initialization issue

This change fixes a problem on Linux when pinvoke loads a shared library and
that library transitively uses pthread locks. In that case, the locks may
not be initialized yet and behave as nops, causing the thread synchronization
to not to work.
Linking corerun / coreconsole with pthreads ensures that the locks are always
properly initialized.

 The UPDATE_CONTEXT_POINTERS actually breaks lots of debuggers tests.  The root problem is that when arm unwind the stack, we will call this function
     hr = RtlpUnwindFunctionFull(pContext->Pc - (ULONG)ImageBase,
                                         (ULONG)ImageBase,
                                         &Rfe,
                                         pContext,
                                         &DummyEstablisherFrame,
                                         &DummyHandlerRoutine,
                                         &DummyHandlerData,
                                         NULL);  <-- UnwindParams

     This will set UnwindParams as NULL, and eventually passed to UPDATE_CONTEXT_POINTERS and UPDATE_FP_CONTEXT_POINTERS in RtlpPopRegisterMask. This will generate the AV.
     The fix is just simply checking the whether the Params is NULL or not.

[tfs-changeset: 1520758]

Fix the build break caused by my recent xplat SOS changes.

[tfs-changeset: 1520601]

Update linux-instructions.md

Added information about Native Components in runtime directory

delete fixed tests from issue list

According to https://github.com/dotnet/corefx/pull/2971 remove tests
that were affected by https://github.com/dotnet/coreclr/issues/1441 from
issues.

Respond to PR feedback.

Merge pull request #1455 from janvorli/ready-to-run-tests-2

Ensure ReadyToRun test verifies version resiliency

Ensure ReadyToRun test verifies version resiliency

This change modifies the ReadyToRun test so that it verifies assembly version resiliency.

Merge pull request #1446 from benpye/arm-regression-fix

Fix build regression for ARM.

Merge pull request #1442 from mikem8361/cmdaliases

Enabled GCInfo, EEHeap, DumpRuntimeTypes and EHInfo SOS commands

Replace MAX_PATH defines with new defines in pal.