Make managed debugging on Linux possible (attach, load, bp, exceptions, stacktrace)

Fixes that were required to achieve that
1. Funnel SIGTRAP into EE debugger.
2. Making that memory allocated by EE debugger is executable.
3. Disable metadata reading optimizations which are not working on Linux.
4. Workaround RtlRestoreContext not properly working with EFlags.
5. Avoid calls to ShimRemoteDataTarget.GetContext on Linux, it is not
implemented and not needed for pure managed debugging.
6. Adjust IP value after breakpoint SIGTRAP to meet debuggers expectations.

Merge pull request #616 from dotnet-bot/from-tfs

Merge changes from TFS

Fix x86 build break

[tfs-changeset: 1444911]

Merge pull request #614 from jkotas/lasterror

Clear last error for SetLastError=true P/Invoke

Merge pull request #612 from mmitche/usage-exit-code

Usage message exit code

Clear last error for SetLastError=true P/Invoke

There isn't always a way to know the system function has failed without checking last error, in particular on Unix. Moreover, CLR does not guarantee that the last error is preserved while the managed code is running so this issue cannot be worked around calling SetLastError.

This change adds clearing of last error for P/Invokes with SetLastError=true. The cost of doing so is negligible, it makes error handling for P/Invokes of the above system functions possible, and all the other P/Invokes more robust.

Merge pull request #613 from janvorli/fix-sstring-formatmessage

Fix FormatMessageW in PAL

Fix FormatMessageW in PAL

The function was not properly accessing the Arguments list when the
FORMAT_MESSAGE_ARGUMENT_ARRAY flag was set. The va_list on Linux is
a struct with four members, so indexing Arguments array without
casting it first to a WCHAR** gets completely wrong results.

Merge branch 'master' into usage-exit-code

Conflicts:
build.cmd

Displaying usage message should cause build/test scripts to exit with non-zero code

Merge pull request #599 from janvorli/warnings-cleanup-2a

Fix next round of warning types

Fix next round of warning types

This change fixes the following warnings:
1) Assignment in a condition should be wrapped in ()
2) Priority of && / || should be indicated by parentheses.
3) Unknown #pragma optimize ifdefed out for non MSVC
4) Unused functions deleted or put under #ifdef
5) Extra tokens warning disabling moved to the CMakeLists.txt in the src/inc
6) Self assignment of a member or local variable
7) Assigning ~0 to a bitfield member that was just 8 bit wide

It also fixes a bug in the STRESS_LOGxx macro invocation in exceptionhandling.cpp and
stackwalk.cpp related to recent adding the DBG_ADDR macro usage. This macro expanded
a single parameter into two expressions to extract high / low 32 bits separately.
But the STRESS_LOGxx parameters are passed to the StressLog::LogMsg method as follows:
(void*)(size_t)(data1)
That means that the expanded pair x, y would be inserted as data 1 and that leads
to ignoring the x due to the comma operator.

Merge pull request #608 from stephentoub/globalization_def

Ensure FEATURE_COREFX_GLOBALIZATION is defined for the runtime

Ensure FEATURE_COREFX_GLOBALIZATION is defined for runtime

A bunch of our System.Runtime.Tests.dll, System.Xml.XDocument.Properties.dll,
and other tests were failing with formatting errors.  The runtime tests were
also triggering a runtime assert at shutdown.  It appears that all of these
stem from a mismatch between some data structure layouts in mscorlib and
the runtime, in particular with NumberFormatInfo.

Several fields throughout NumberFormatInfo are included conditionally based
on the  FEATURE_COREFX_GLOBALIZATION flag not being defined.  This flag is
being set for the compilation of mscorlib, but it appears not to be set when
compiling all relevant parts of the runtime, such that the native structure has
extra fields not present in the managed structure.  This is resulting in fields
being misinterpreted by the runtime when using the structure for formatting
(and presumably it's also leading to some potential corruption).

This fix simply adds a define for FEATURE_COREFX_GLOBALIZATION to
the makefile.  The tests that were failing now pass, and the runtime assertion
is no longer firing.

Merge pull request #604 from stephentoub/fix_lastindexofordinal_zerovalue

Special-case value.Length == 0 in LastIndexOfOrdinal

Merge pull request #607 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #606 from dotnet-bot/from-tfs

Merge changes from TFS

[tfs-changeset: 1443700]

Merge pull request #600 from dotnet-bot/from-tfs

Merge changes from TFS

Special-case value.Length == 0 in LastIndexOfOrdinal

With https://github.com/dotnet/coreclr/pull/579, I added to IndexOfOrdinal a check for value.Length == 0, to avoid returning bad data in that case.  But in doing so, and in neglecting to add a similar check to LastIndexOfOrdinal (which is currently implemented in terms of IndexOfOrdinal), I introduced an infinite loop into LastIndexOfOrdinal when value.Length == 0.  Fixing by adding a similar special-case.

Merge pull request #597 from mmitche/coreclr-paths

Change paths and os names to match corefx

Merge pull request #493 from AndreyAkinshin/master

Make _gtCostEx and _gtCostSz in gentree.h public

Change paths and os names to match corefx

* binaries is now bin, intermediates is now obj
* modifying unixmscorlib build to instead be linuxmscorlib + osxmscorlib.
* Change OS=Unix to OS=Linux/OS=OSX and modified properties to mimic corefx's TargetsUnix.

Disable gtCostEx and gtCostSz reporting in compiler.cpp

If you change line

in jit.h and set MEASURE_NODE_SIZE=1, you will get a build error like this:

coreclr\src\jit\compiler.cpp(888): error C2248: 'GenTree::_gtCostEx' : cannot access private member declared in class 'GenTree' [coreclr\binaries\intermediates\Windows_NT.x64.debug\src\jit\ClrJit.vcxproj]
coreclr\src\jit\compiler.cpp(889): error C2248: 'GenTree::_gtCostSz' : cannot access private member declared in class 'GenTree' [coreclr\binaries\intermediates\Windows_NT.x64.debug\src\jit\ClrJit.vcxproj]

Solution: disabling gtCostEx and gtCostSz reporting in compiler.cpp

See also: https://github.com/dotnet/coreclr/pull/493#issuecomment-83070694

Port GC fixes from NetfxDev1:

1121801 X64: Assert mark_stack_array[entry].len == 0 || mark_stack_array[entry].len >= Align(min_obj_size), vm\gc.cpp, Line: 13747 (OriginCS: 1420599)

[tfs-changeset: 1442449]

Port the following fixes to GC from netfxDev1:

1118110 [GC] Assert "chosen_power2 == 0", ndp\clr\src\vm\gc.cpp, Line: 8566 (Origin CS 1410546 - required for the next change)
1119047 ARM heap corruptions found in assert in gc_heap::plan_phase (Origin CS 1414858)

[tfs-changeset: 1442444]

Merge pull request #586 from stephentoub/corerun_cwd

Fix corerun to support argv[0] that's not a full path

Merge pull request #596 from stephentoub/init_culture_with_invariant

Copy all of invariant culture's data in stubbed out globalization

Merge pull request #595 from janvorli/fix-issue-566

Fix GC exception related issue

Merge pull request #591 from cmckinsey/coreclr474

Fix some of the issues found by Viva64 static analyser

Copy all of invariant culture's data in stubbed out globalization

We've been piecemeal copying parts of the invariant culture over to our temporary culture implementation.  But as I've hit additional pieces needed, I decided to just copy over everything so that hopefully we don't bump up against this again.

Fix GC exception related issue

This change fixes a problem that has occured when GC was called from
an exception handler during split exception handling. The problem
manifestated itself as a crash in the HasFrameBeenUnwoundByAnyActiveException
function due to the pInitialExplicitFrame being NULL.
The cause of this issue was caused by a combination of two issues.
First, the m_ScannedStackRange was not reset in the partial 2nd pass to
the state at the beginning of the corresponding partial 1st pass.
And second, the 'unwind has started' flag was not reset after
restoring exception flags in the new exception tracker after switching
from the 2nd back to the 1st pass during the split exception handling.

There was one additional issue, several additional members of the exception
tracker needed to be propagated to the new tracker. These members are
needed by the HasFrameBeenUnwoundByAnyActiveException function.

Since the number of state members that are propagated from the old to the
new exception tracker has grown, I've refactored the code to keep those
in a separate class.

Merge pull request #593 from cmckinsey/replay450

Replay the fix for #450

Change null constant type to be TYP_REF for isinst nullcheck expansion

In the importer when inlining the fast expansion sequence for
isinst/castclass, the code was typing the constant 0 source of the
compare with TYP_I_IMPL instead of TYP_REF. Not only does this create
an inconsistently typed compare but it causes value-numbering of
the same constants with different types to not be equal. This blocks
later assertion propagation that propagates null-checks and prevents
many cases from being eliminated.

This change changes the type of the constant gtNode to be TYP_REF.
With this change there are many good diffs in the frameworks and
other assemblies.

Ran testing in desktop branch including SuperPMI asm diffs. Asm
diffs show hundreds of methods with improvements in framework
, Roslyn, and other internal assemblies. 1% code size reduction in
the methods that have changes. All diffs are elimination of redundant
null-checks.

Fix some of the issues found by Viva64 static analyser

Eliminate some unnecessary null check.
Remove null-checks on this and guard instance calls with null-checks.
Collapse a redundant then/else case.

Fix corerun to support argv[0] that's not a full path

Unix's corerun tries to parse a path out of argv[0], and blows up
in std::string if no '/' is found.  This commit adds a check to make
sure that there was a '/' found, after first expanding argv[0] to an
absolute path.

Merge pull request #589 from josteink/bsd_configure

Correctly set HAVE_BSD_REGS_T flag during configure.

Merge pull request #590 from josteink/bsd_regs

PAL: Add register-mapping for FreeBSD x86_64.

Merge pull request #587 from mikem8361/dbi1

Enabling the ClrStack command ICorDebug option (-i) to use to test DBI.

PAL: Add register-mapping fore FreeBSD x86_64.

Correctly set HAVE_BSD_REGS_T flag during configure.

Fix BSD-regs detection. Struct name is 'reg' not 'regs'.

This fixes a bunch of issues when trying to build on FreeBSD.

Merge pull request #569 from brianrob/perfdoc

Add Cross-Platform Performance and Eventing Design Document

Enabling the ClrStack command ICorDebug option (-i) to use to test DBI.

Fix sos on windows. Changed the name of the debug info resource to just "CLRDEBUGINFO".  This is what debugshim is looking for when searching for the coreclr module.

Merge pull request #585 from dotnet/revert-584-bsd_configure

Revert "Correctly set HAVE_BSD_REGS_T flag during configure."

Revert "Correctly set HAVE_BSD_REGS_T flag during configure."

Updates from PR comments.

Merge pull request #584 from josteink/bsd_configure

Correctly set HAVE_BSD_REGS_T flag during configure.

Correctly set HAVE_BSD_REGS_T flag during configure.

Currently the test sets a flag which is found nowhere else in the code.

    $ grep -R " BSD_REGS" * | wc -l
    0

This fixes a bunch of issues when trying to build on FreeBSD.

Merge pull request #582 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #578 from briansull/use-lea-for-mul359

Use lea for multiply by 3, 5 or 9

ExecutionContext.IsDefaultFTContext incorrectly checks the "current" context

Fixed: ExecutionContext.IsDefaultFTContext incorrectly checks the thread's current context instead of the context that is it called on. This prevents Overlapped from running it's callback on the captured execution context, and hence, async locals don't flow for overlapped callbacks. There are no tests with this change, because the only thing that is broken currently is Overlapped. I've written new tests for the new overlapped APIs that were broken *before* this change, and pass after this change, these will be checked in with the overlapped feature.
Changed: Marked ExecutionContext.Default private, as it was accidently made public.

[tfs-changeset: 1440483]

Merge pull request #581 from sergiy-k/gccrash-ipinmodule

Fix an issue in ExceptionTracker::FindParentStackFrameHelper that resulted in an AV during GC stack root scanning.

When choosing an instruction for a GT_MUL we will now use an LEA instruction for a MUL by an immediate 3, 5 or 9

The multiply has to be a non overflow checking multiply as an LEA does not set condition codes.
In Lowering we also must make sure that we don't 'contain' an indirection as the source operand.

Fix an issue in ExceptionTracker::FindParentStackFrameHelper that resulted in an access violation during GC stack root scanning.

This change fixes the second issue reported in https://github.com/dotnet/coreclr/issues/566. The problem is that ExceptionTracker::FindParentStackFrameHelper uses IsIPInModule to determine whether an IP address belongs to VM or managed code but this function is not implemented when FEATURE_PAL is defined.
We should not really need the actual implementation of IsIPInModule on Unix. It is sufficient to just differentiate between managed and other code using ExecutionManager::IsManagedCode on Unix.

Merge pull request #580 from Djuffin/dbi-linux

Removing static PAL from SOS and DBI

Merge pull request #579 from stephentoub/indexof_empty

Fix IndexOfOrdinal on Unix for empty strings

Make DBI and SOS use PAL from DAC

Make it possible to write stress log from a module that doesn't have statically liked PAL

Fix IndexOfOrdinal on Unix for empty strings

IndexOfOrdinal searching for an empty string should return 0.  It's currently returning -1.

Merge pull request #575 from josteink/ptrace

PAL: Fix ptrace-invocation on FreeBSD.

Fix ptrace-invocation on FreeBSD.

Unlike in Linux[1] FreeBSD's ptrace does not use an enum[2].

[1] http://linux.die.net/include/sys/ptrace.h
[2] http://www.freebsd.org/cgi/man.cgi?query=ptrace

This fixes compiler errors like this one:

    /home/josteink/build/coreclr/src/pal/src/arch/i386/context.cpp:305:21: error: use of undeclared identifier '__ptrace_request'
            if (ptrace((__ptrace_request)PT_GETREGS, processId, (caddr_t) &ptrace_registers, 0) == -1)

Merge pull request #577 from josteink/runelocale

Fix missing RuneLocale on FreeBSD.

Merge pull request #576 from janvorli/warnings-cleanup

Fix about 12 kinds of warnings over the codebase

Merge pull request #573 from josteink/master

Define PAL_CS_NATIVE_DATA_SIZE for FreeBSD x86_64

PAL: Improve portability of FreeBSD RuneType-fix.

Fix missing RuneLocale on FreeBSD.

Without this patch the build breaks with errors like this:

    /usr/include/xlocale/_ctype.h:52:1: error: unknown type name '_RuneLocale'
    _RuneLocale     *__runes_for_locale(locale_t, int*);
    ^

Fix about 12 kinds of warnings over the codebase

This change fixes:
1) Member initiazalization order in class constructor didn't correspond to the member order in some classes
2) Objects with vtables were copied via memcpy. While this is intentional, cast of the pointers to void*
is required to silence clang warning
3) Switch case statements containing values of different enums
4) Casting int to pointer
5) Missing return value in methods with _ASSERTE
6) Class name classifier on methods in the .h
7) Invalid position of the DECLSPEC_ALIGN at few places - it had no effect
8) Invalid position of the 'used' attribute
9) Issue with comparing holders to NULL
10) Operator 'new' returning NULL without being marked with throw() or noexcept
11) Variables marked as 'extern' at the declaration / initialization place
12) Data structure declared as struct at one place and forward declared as class at another

Some disabled warnings were no longer happening, so options to disable them were removed too

Merge pull request #574 from janvorli/jit-warnings-cleanup

Fix accidentally removed initialization of m_VNFunc4Map

Fix accidentally removed initialization of m_VNFunc4Map

During my last change, I've accidentally left out the m_VNFunc4Map
while reordering the initialization list.

Merge pull request #572 from stephentoub/add_encodings

Update EncodingTable.Unix to support additional encodings

Define PAL_CS_NATIVE_DATA_SIZE for FreeBSD x86_64

Based on patch from @Aesthetikx which uses the program
[defined here](https://github.com/dotnet/coreclr/issues/60#issuecomment-73670124)
to determine the correct native size.

Update EncodingTable.Unix to support additional encodings

A variety of tests, in particular XML tests, are using some of the built-in encodings beyond UTF8, e.g. UnicodeEncoding, and are validating information about them, e.g. that an XML document encoded using UnicodeEncoding includes "utf-16" rather than "utf-8" in the output.  This commit augments the temporary globalization implementation with basic knowledge of UTF7, UTF16, UTF16BE, and UTF32.

Merge pull request #570 from Djuffin/cordb_platform_fix

Fix CORDB_PLATFORM mismatch between DAC and SOS

Fix CORDB_PLATFORM mismatch between DAC and SOS

Merge pull request #558 from josteink/master

Fix compilation errors on FreeBSD.

Merge pull request #561 from janvorli/jit-warnings-cleanup

Fix warnings in the jitter code

Fix warnings in the jitter code

This change fixes some of the warnings in the jitter code on Linux. With this change
combined with an upcoming change in the rest of the codebase, 16 warning disabling
options can be removed.

The issues in the jitter were:
1) Incorrect typedefs for const_reference and const_pointer (the const was ignored)
2) Member initiazalization order in class constructor didn't correspond to the member order in some classes
3) Objects with vtables were copied via memcpy. While this is intentional, cast of the pointers to void*
   is required to silence clang warning
4) Comparing values of different enums - there are cases of two enums containing the same values.
5) Casting int to pointer - the cast was legal (forming a handle), adding cast to size_t in between used to fix the warning
6) "static struct" - removed the static keyword
7) Missing return value in methods with _ASSERTE
8) Class name classifier on methods in the .h
9) Specialized template member functions need to be defined out of the class

Merge branch 'perfdoc' of https://github.com/brianrob/coreclr into perfdoc

Added blank lines before and after headers.

Merge pull request #554 from russellhadley/AdditionalInterfaceHeaders

Add additional headers to the CoreCLR package to describe its interface.

Merge pull request #564 from stephentoub/fix_lastindexof_unix

Fix LastIndexOfOrdinal on Unix

Updated scenario priorities.

Fix LastIndexOfOrdinal on Unix

The temporary implementation of LastIndexOfOrdinal has some bugs causing ArgumentOutOfRangeExceptions and other fun things. This should fix them.

Merge pull request #567 from stephentoub/fix_etw_ifdefs

Fix EventSource listeners on Unix

Fix debug-pal on FreeBSD.

This define is required to enable getline() on FreeBSD.

Add additional headers to the CoreCLR package to describe its interface.

Adds headers:
- opcode.def and openum.h to describe the MSIL opcodes.

Merge pull request #563 from CarolEidt/cleanupClsVar

Fix #497: Identical expressions to the left and right of the ||...

Fix #497: Identical expressions to the left and right of the || operator

This was very old code that was needed before the rationalization
of assignments (should have been GT_CLS_VAR and GT_IND).
GT_CLS_VAR should now never be seen post-rationalizer.

Adding Cross Platform Performance and Eventing Design Doc.

Fix EventSource listeners on Unix

Some recent changes to EventSource misplaced an #endif, causing EventListeners to not receive any messages when FEATURE_MANAGED_ETW is not set (it's not set on Unix).

Merge pull request #562 from jkotas/cppmunge

Delete cppmunge

Delete cppmunge

We have used this tool to boostrap the Unix build, but it is not used anymore.

Merge pull request #543 from janvorli/native-resources

Add native resources compilation on Linux

Propagate bindtextdomain status to the caller

The bindtextdomain can fail due to OOM. Propagate the status out of the
PAL_BindResources.

Merge pull request #557 from josteink/master

build.sh: Fix CPU-count detection on FreeBSD.

Merge pull request #556 from janhenke/freebsd-0325

Detect AMD64 Architecture on FreeBSD

Detect AMD64 Architecture on FreeBSD

In contrast to Linux and Darwin, FreeBSD identifies the AMD64 architecture with
the "amd64" string. Extend the checks in CMakeLists to accept either "x86_64"
or "amd64" as AMD/Intel 64bit architecture.

build.sh: Fix CPU-count detection on FreeBSD.

Merge pull request #553 from Djuffin/dbi-linux

Various DBI related fixes that make it possible to load DBI on Linux

Make code comments more accurate