Merge pull request #1737 from dotnet-bot/from-tfs

Merge changes from TFS

Fix contracts so scanRuntime@x86chk task succeeds

[tfs-changeset: 1535699]

Merge pull request #1719 from stephentoub/sb_direction

Add [Out] to a couple of StringBuilders in DllImports

Merge pull request #1722 from stephentoub/casing_branches

Improve String.ToLower/ToUpper throughput on Unix

Merge pull request #1721 from richardlford/fixruntimecontract

Fix incorrect runtime contract for FailedAssembly::Initialize

Code changes for firing etw events when a pdb is dynamically loaded. This corresponds to the following user story: 1200238. As a profiler developer, I want to access PDB content for dynamic assemblies in the ETW event stream, so that I can show my users source for their callstack frames.

The main function in eventtrace.cpp, EmitCodeSymbols, divides the pdb stream into appropriate chunks and transmits them as events in order. There are helper functions which have been taken from the corresponding code in Desktop (Netfxdev1) to provide a dynamically loaded pdb through the profiler authored by Noah.

The test uses EventToSymbols, which is based on TraceEventParser to turn on the CodeSymbols and ModuleLoad keywords and listens for events that send out pdb chunks. It then concatenates the chunks to create the pdb on disk. The BigPdb.cs program loads a dll and pdb dynamically, which triggers the events by the runtime. Once the pdb is recreated, it is compared with the original to make sure there are no differences and if not, the test is declared as passed. The test also uses an EventSource event to transmit a unique cookie to make sure the pdb created corresponds to the process under test, in case there are mulitple instances of the test running.

[tfs-changeset: 1535373]

Merge pull request #1726 from janvorli/fix-win-coreconsole

Fix Windows CoreConsole property list

Fix Windows CoreConsole property list

The property list was broken - the keys list was missing a comma between two entries,
so they got merged into one string. And the values list was missing one value too.

Improve string.ToLower/ToUpper perf

Our Unix implementation of changing case is currently slower than our implementation on Windows.  In our ChangeCase implementation in System.Globalization.Native that uses ICU, we have a loop that reads each code point, processes it, and writes out the result.  That processing involves branching into four cases based on whether we're going to upper or to lower, and whether we're using Turkish or not.  By manually hoisting the invariants and loop cloning in order to remove the branches from the inner loop, we can improve the performance of this routine by ~15-20%.

Merge pull request #1706 from mmitche/update-badges

Update badges to new job locations

Merge pull request #1724 from mmitche/reenable-suse

Reenable OpenSuSE PRs

Reenable OpenSuSE PRs

Merge pull request #1720 from janvorli/fix-osx-activation-and-exception-collision

Fix OSX hardware exception and activation collision

Merge pull request #1689 from Priya91/palstring

Apply StackString for pal MAX_LONGPATH references.

Fix incorrect runtime contract for FailedAssembly::Initialize

FailedAssembly::Initialize may call CLRException::GetHR.
CLRException::GetHR is marked GC_TRIGGERS.
FailedAssembly::Initialize has to be marked GC_TRIGGERS
as well.

Merge pull request #1718 from stephentoub/stringcasing_allocations

Reduce allocations in string.ToLower/ToUpper on Unix

Fix OSX hardware exception and activation collision

This change fixes a collision between hardware exception handling and activation
injection. Both require creating helper frame on stack and patching the target thread
context to inject invocation of a handler. When these two happened together,
they both tried to update the context and create helper frame on stack at the same
time, which lead to various issues including PAL_SEHException escaping from
the host application unhandled.

Merge pull request #1683 from krixalis/master

Typos in qcall.h

Fix additional StringBuilder directions in corefx Unix code

Merge pull request #1711 from mikem8361/unhand

Fix unhandled exception debugger notification

Add Null check to lib_name before getting string length.

Add [Out] to a couple of StringBuilders in DllImports

I audited all of the StringBuilders being used in P/Invokes in mscorlib.  Almost all of them were correctly annotated as to their direction of needed marshaling.  Two weren't.

Reduce allocations in string.ToLower/ToUpper on Unix

On Windows, ToLower/ToUpper calls into InternalChangeCaseString in the runtime which does two optiizations:
- a 0-length check to just return an empty string if the source is empty
- allocates the string and writes the results into it directly

In our current Unix implementation, the ChangeCase implementation doesn't do either of these, no special-casing empty strings and first allocating a char[] into which the results are written and then constructing a string from that.

This commit brings the Unix implementation more in line with the Windows one, adding the 0-length check, and writing the results directly into the result string so as to avoid the unnecessary char[] allocation and copy.

Merge pull request #1715 from janvorli/add-unhandled-exception-trap

Add high level unhandled exception trap

Add high level unhandled exception trap

After the recent exception handling changes, we were missing a high level
exception trap in the ExecuteAssembly. While it was fine for exceptions
comming from or through managed code, it was a problem for exceptions
happening in the ExecuteAssembly call chain before the managed code was
called.
So for example when ExecuteAssembly was called for assembly that didn't
have proper file access rights for the current user, the PAL_SEHException
leaked out of the host app (corerun) and the C++ runtime displayed
message like this:
libc++abi.dylib: terminating with uncaught exception of type PAL_SEHException
Abort trap: 6
The fix is to put back the unhandled managed exception trap that I've removed
with the recent exception handling changes, but to implement it in a slightly
different way - to contain exception holder.
This way, the call to InternalUnhandledExceptionFilter_Worker can be removed
from the UnwindManagedExceptionPass1, since this new trap would ensure it
is called for both the case when the one in UnwindManagedExceptionPass1 would
kick in and the case that this issue is fixing.

Merge pull request #1688 from kouvel/LoadFromNativeSearchPathsTest

Add unit test for loading native library from host-provided native se…

Merge pull request #1702 from stephentoub/marshaling_allocs

Reduce garbage generated in StringBuilder marshaling

Merge pull request #1696 from brianrob/framepointers

Enable Frame Pointers for UNIX Builds

Merge pull request #1693 from Kagamine/correct-word-spelling

Correct word spelling

Merge pull request #1705 from kyulee1/protojit

Producing standalone Jit for testing

Fix UnhandledException notifications.  The IsDebuggerPresent check was left over from windows coreclr and prevented notifications from being sent.

Merge pull request #1697 from mikem8361/osxbp

Fix managed breakpoints on OSX

Address PR feedback

Remove addition of null terminator, which should already be added by ConvertToAnsi.

Merge pull request #1710 from mmitche/disable-centos-suse

Disable PRs on SuSE and CentOS until we get more nodes spun up

Disable PRs on SuSE and CentOS until we get more nodes spun up

Producing standalone Jit for testing

protojit.dll (Windows) / libprotojit.so (*nix) is produced in addition, which is a standalone Jit that are not attached to CoreCLR.
Note CoreCLR still embeds such Jit by default same as before to not disrupt the existing clients.
This (same) standalone Jit can be used for other testing purpose and also this can be specified as an altjit as well in CoreCLR.
Added to nuget dev package.

Merge pull request #1645 from eerhardt/Encoding

Implement Encodings on Linux

Merge remote-tracking branch 'upstream/master' into osxbp

Update badges to new job locations

Merge pull request #1701 from janvorli/fix-osx-hardware-exceptions-2

Add missing file to the previous hardware exceptions fix

Reduce garbage generated in StringBuilder marshaling

When marshaling a StringBuilder In as Ansi (both done by default on Unix), we currently allocate enough native memory to hold the result.  But then we use AnsiCharMarshaler.DoAnsiConversion to allocate a managed byte array and fill it with the converted results, and then we copy those results into the native memory.  We can instead just call String's ConvertToAnsi directly, avoiding the extra managed array allocation and the extra memory copy.

Add missing file to the previous hardware exceptions fix

Merge pull request #1692 from mmitche/add-netci

Initial commit of CI definition for inner loop

Initial commit of CI definition for inner loop

Implement Encodings on Linux

Our current Encodings implementation on Linux is stubbed out and
needs to be fully implemented for CoreClr.

Fix https://github.com/dotnet/corefx/issues/2774.

Merge pull request #1699 from janvorli/fix-osx-hardware-exceptions

Fix OSX hardware exception handling

Fix OSX hardware exception handling

In my recent change that has added the runtime suspension for OSX,
I have also added a fix for the unwind info of the PAL_DispatchExceptionWrapper
function. It turns out that I've made a mistake in the offset in the set_cfa_register
and it has broken hardware exception handling on OSX since the unwinder was not
able to unwind correctly through the wrapper.
It also turns out that the same wrong offset in set_cfa_register is in the
ActivationHelperWrapper.S, but in that function, the unwinding still works correctly.
I've actually verified that with both the wrong and the correct offset, the unwinder
gets the same correct RSP / RBP at the time of the exception. So I believe linked ignored
the DWARF unwind info and used compact unwind info instead that it was able to
derive correctly on its own.
Also, the allocate_stack was incorrectly placed before the set_cfa_register, which again
didn't cause a problem due to the DWARF info being ignored. The issue with this one was
that it updates the CFA, but the CFA offset is relative to RBP at that point and
RBP didn't change.
As an additional fix, there was a problem in PAL_VirtualUnwind that @sergiy-k has
spotted. The return value of the recently added unw_is_signal_frame call was
overwriting the status code returned by the unw_step that we use on OSX to
detect walking out of stack.

Add unit test for loading native library from host-provided native search paths

Also used and added to existing macros for separator chars and removed the new members I had added to the Path class.

Related to #1680

Merge pull request #1694 from janvorli/fix-exception-handling-issue

Fix issue in the new exception handling

Suppress debug exceptions when running under native (lldb/gdb) debugger.

Fix managed breakpoints on OSx.

Changed the OSx exception initialization to enable breakpoints/stepping.

Fix problem with faults and breakpoints in coreclr code not being forwarded to
native debugger (if being debugged).

Fix debugger shutdown where we release the transport too many times and assert in debug.

When building the register context for an exception don't save/restore the debug
registers because they cause an priviledged instruction fault.

Fixed the PAL's TRACE formatting by merging the printfcpp.cpp formatting into
silent_printf.cpp. "%p" wasn't being formatted correctly in a PAL TRACE statement.

The executable heap zone wasn't being set because the process heap
is used instead of creating a new heap.

Compile with frame pointers on UNIX builds.

correct word spelling

Merge pull request #1666 from jasonwilliams200OK/master

cmake: cleanup FreeBSD system include path

Merge pull request #1687 from jasonwilliams200OK/__fastcall-Wmacro-redefined

code: Fix redefined macro warning

Apply StackString for pal MAX_LONGPATH references.

Fix issue in the new exception handling

There was a problem with scanned stack range stored in an exception tracker.
After unwinding a sequence of native frames during the 2nd pass of unwinding,
the scanned stack range was not cleared and referenced stack frames that
were unwound. In some rare cases related to throwing an exception from
a catch handler, this was causing the exception handling to consider stack
frames that accidentally had the same range of addresses as already visited,
which resulted in a wrong exception handler being executed.

code: Fix redefined macro warning.
For example, in this log:
https://dotnet-ci.cloudapp.net/job/dotnet_coreclr_freebsd_debug_prtest/1082/consoleFull
search for '-Wmacro-redefined'. All 26 occurences are pointing to this line.

Merge pull request #1675 from wtgodbe/clrBugFixes

Fixed small bugs in decodemd.cpp, gcrecord.h, gc.cpp, Strike/util.cpp…

Fixed small bugs in decodemd.cpp, gcrecord.h, gc.cpp, Strike/util.cpp, and strike.cpp, as outlined in this article: viva64.com/en/b/0310/#ID0E5BJM

Typos in qcall.h

Apparently both "marshaling" and "marshalling" are valid, but for consistency's sake I opted for what the MSDN uses.

Merge pull request #1662 from steveharter/master

fix ICU compile error on CentOS

Merge pull request #1677 from janvorli/refactor-exception-handling

Implement refactored Unix managed exception handling

Merge pull request #1681 from kouvel/FixPathSeparators

Fix loading native libraries from native search paths provided by the…

Fix loading native libraries from native search paths provided by the host

Fixed a couple of issues outside Windows regarding the directory separator char, path separator char, and absolute path determination.

Fixes #1680

Fix ICU compile error on CentOS by using DateFormatSymbols::NARROW insead of SHORT as SHORT is not defined in the version 50 of ICU being used by Centos. SHORT was added in ICU 51.

Few fixes

This change fixes few issues that I've found:
- The frame popping in the Frame destructor is still needed, so I've put it back.
- There was a problem (I've found that it was there before this change) with the "ex"
  variable passed to the StartUnwindingNativeFrames. The local was in frames that were
  obsoleted by the StartUnwindingNativeFrames before the ThrowExceptionHelper was called.
  And when runtime called malloc to allocate its internal exception data, the stack
  of the malloc has overwritten part of the PAL_SEHException. It was not visible before
  since that part was in the end of the ContextRecord. But now that I've put the
  TargetFrameSp to the end of the PAL_SEHException, it was sometimes getting overwritten.
  The fix is to create a copy of the "ex" out of stack.

Implement refactored Unix managed exception handling

This change refactors managed exception handling so that we perform full first
pass over both managed and native frames and only after we find target frame,
we perform the second pass.
This helps in debugging of unhandled managed exceptions since the debugger can
kick in at the end of the first pass when the stack frames are still intact and
it can show the context where the exception was fired.

Merge pull request #1672 from kouvel/IncludeTestsInBuildSh

On builds outside Windows, build native test components by default

On builds outside Windows, build native test components by default

Merge pull request #1663 from mikem8361/excepthan

Add native exception filter holder.

cmake: cleanup FreeBSD system include path.
Include once and DRY.
Similar change made at dotnet/corefx#3487.

Merge pull request #1665 from ursine/patch-1

Fix comment variable name

Fix comment variable name

Add native exception filter holder.

The problem is that the debugger unhandled managed exception notification is sent
because the proper filter function (InternalUnhandledExcpetionFilter) isn't called
and the filter can't be called currently during the first pass of managed exception
dispatch that it requires.

The NativeExceptionHolder is used to hold the filter handler for the
PAL_TRY/PAL_EXCEPT/PAL_EXCEPT_FILTER macros so managed exception dispatcher
can call them during the first pass like real SEH on Windows.

Merge pull request #1661 from janvorli/fix-crossgen

Fix wrong register with module address in crossgen on Unix

Fix wrong register with module address in crossgen on Unix

This change fixes a crossgen bug when the module pointer as a parameter to
JIT_StrCns was incorrectly placed into RDX both on Windows and on Unix.
Since it is the second parameter to the function, the calling convention
on Unix requires it to be in RSI.

Merge pull request #1620 from justinvp/dictionary

Avoid the enumerator allocation in Dictionary's constructor

Merge pull request #1650 from Dmitry-Me/fixLeftShiftIssue1526

Fix left shift of signed integer - issue 1526

Merge pull request #1658 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #1654 from janvorli/fix-isipinepilog-assert

Fix assert in IsIPInEpilog

Merge pull request #1638 from kouvel/CoreClrTests

Improve CoreCLR test runner outside Windows

Fix SigPointer::PeekValueTypeTokenClosed to handle generic instantiation represented by ELEMENT_TYPE_INTERNAL

Integrate change #1529861 from NetFXDev1

[tfs-changeset: 1532127]

Merge pull request #1657 from Djuffin/disable_lu_ptrace

Remove references to libunwind-ptrace to fix build on RPM distros

Merge pull request #1656 from janvorli/exception-handling-perf

Improve Unix exception handling performance

Remove references to libunwind-ptrace to fix build on RPM distros

Improve Unix exception handling performance

This change adds caching of thread base / limit in PAL. Profiling has shown
extraction of the base / limit using pthread APIs to be the main contributors
to the bad performance.
With this fix, a simple loop with throw / catch is about 40 times faster than
before.

Fix assert in IsIPInEpilog

The assert was incorrect for managed functions without body. Since there
is no easy way to find out that function has no body at that place,
the fix is to remove the assert.

Merge pull request #1524 from Priya91/stackstring

Add StackString class for stack/heap allocation for MAX_LONGPATH.

Merge pull request #1651 from kouvel/TpaPktFix

Remove the need for the PKT to match when binding to an assembly on t…

Merge pull request #1646 from kouvel/HeapAllocationFix

Heap allocation fix

Remove the need for the PKT to match when binding to an assembly on the TPA list

There is some inconsistency in how binding works with and without a custom AssemblyLoadContext being active. By default, the binder allows binding to assemblies on the TPA list despite a PKT mismatch while searching app paths. This part is skipped when a custom AssemblyLoadContext is active.

It has been determined that generally, the binder shouldn't require the PKT to match, so disabling that check.

Fixes #1640

Add StackString class for stack/heap allocation for MAX_LONGPATH.
Add stackstring.cpp to build.

Fix left shift of signed integer - issue 1526

Dictionary constructor perf optimization

Regarding the constructor overloads that take an
IDictionary<TKey, TValue>: It is likely that the passed-in dictionary
is Dictionary<TKey, TValue>. When this is the case, avoid the
enumerator allocation and overhead by looping through the entries
array directly. This is only done when the dictionary is
Dictionary<TKey, TValue> and not a subclass, to maintain back-compat
with subclasses that may have overridden the enumerator behavior.

Improve CoreCLR test runner outside Windows

CoreCLR tests will need to be built on Windows and copied over to a non-Windows machine. Then, coreclr/tests/runtest.sh along
with some switches can be used to run the tests.

Changes:
- Run tests in parallel by default (use --sequential to force sequential mode)
- Update Windows test build to produce the Windows core overlay that includes test dependencies that are not built
- Add a number of switches (see coreclr/tests/runtest.sh for details) to provide locations of:
  - The Windows test build
  - The CoreCLR native test build
  - Either:
    - This:
      - The core layout (including all of the below)
    - Or:
      - The CoreCLR build
      - mscorlib.dll
      - The CoreFX build
      - The CoreFX native build
- Using information from above, build or use the core layout, and copy native test binaries to the respective test directories
- Add --testDir to specify an inclusive list of test directories to run
- Add text files to exclude tests:
  - coreclr/tests/testsUnsupportedOutsideWindows.txt - Tests that are not supported outside Windows
  - coreclr/tests/testsFailingOutsideWindows.txt - Tests that are known to fail outside Windows and are temporarily disabled while they are investigated
- Add --runFailingTestsOnly to run only the tests listed in coreclr/tests/testsFailingOutsideWindows.txt to verify known failures
- Produce xUnit-style output for the CI, output goes into <Windows test build folder>/coreclrtests.xml

Fix HeapReAlloc to return a non-null pointer for a requested size of zero bytes

Merge pull request #1632 from bbowyersmyth/StringStartsWith

String.StartsWith ordinal optimization

Merge pull request #1589 from Priya91/pathstring

Use SString type - PathString for path allocations in binder.

Merge pull request #1628 from kouvel/CppCheckFixes

Fix a few issues reported by cppcheck