Merge pull request #1675 from wtgodbe/clrBugFixes

Fixed small bugs in decodemd.cpp, gcrecord.h, gc.cpp, Strike/util.cpp…

Fixed small bugs in decodemd.cpp, gcrecord.h, gc.cpp, Strike/util.cpp, and strike.cpp, as outlined in this article: viva64.com/en/b/0310/#ID0E5BJM

Merge pull request #1662 from steveharter/master

fix ICU compile error on CentOS

Merge pull request #1677 from janvorli/refactor-exception-handling

Implement refactored Unix managed exception handling

Merge pull request #1681 from kouvel/FixPathSeparators

Fix loading native libraries from native search paths provided by the…

Fix loading native libraries from native search paths provided by the host

Fixed a couple of issues outside Windows regarding the directory separator char, path separator char, and absolute path determination.

Fixes #1680

Fix ICU compile error on CentOS by using DateFormatSymbols::NARROW insead of SHORT as SHORT is not defined in the version 50 of ICU being used by Centos. SHORT was added in ICU 51.

Few fixes

This change fixes few issues that I've found:
- The frame popping in the Frame destructor is still needed, so I've put it back.
- There was a problem (I've found that it was there before this change) with the "ex"
  variable passed to the StartUnwindingNativeFrames. The local was in frames that were
  obsoleted by the StartUnwindingNativeFrames before the ThrowExceptionHelper was called.
  And when runtime called malloc to allocate its internal exception data, the stack
  of the malloc has overwritten part of the PAL_SEHException. It was not visible before
  since that part was in the end of the ContextRecord. But now that I've put the
  TargetFrameSp to the end of the PAL_SEHException, it was sometimes getting overwritten.
  The fix is to create a copy of the "ex" out of stack.

Implement refactored Unix managed exception handling

This change refactors managed exception handling so that we perform full first
pass over both managed and native frames and only after we find target frame,
we perform the second pass.
This helps in debugging of unhandled managed exceptions since the debugger can
kick in at the end of the first pass when the stack frames are still intact and
it can show the context where the exception was fired.

Merge pull request #1672 from kouvel/IncludeTestsInBuildSh

On builds outside Windows, build native test components by default

On builds outside Windows, build native test components by default

Merge pull request #1663 from mikem8361/excepthan

Add native exception filter holder.

Merge pull request #1665 from ursine/patch-1

Fix comment variable name

Fix comment variable name

Add native exception filter holder.

The problem is that the debugger unhandled managed exception notification is sent
because the proper filter function (InternalUnhandledExcpetionFilter) isn't called
and the filter can't be called currently during the first pass of managed exception
dispatch that it requires.

The NativeExceptionHolder is used to hold the filter handler for the
PAL_TRY/PAL_EXCEPT/PAL_EXCEPT_FILTER macros so managed exception dispatcher
can call them during the first pass like real SEH on Windows.

Merge pull request #1661 from janvorli/fix-crossgen

Fix wrong register with module address in crossgen on Unix

Fix wrong register with module address in crossgen on Unix

This change fixes a crossgen bug when the module pointer as a parameter to
JIT_StrCns was incorrectly placed into RDX both on Windows and on Unix.
Since it is the second parameter to the function, the calling convention
on Unix requires it to be in RSI.

Merge pull request #1620 from justinvp/dictionary

Avoid the enumerator allocation in Dictionary's constructor

Merge pull request #1650 from Dmitry-Me/fixLeftShiftIssue1526

Fix left shift of signed integer - issue 1526

Merge pull request #1658 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #1654 from janvorli/fix-isipinepilog-assert

Fix assert in IsIPInEpilog

Merge pull request #1638 from kouvel/CoreClrTests

Improve CoreCLR test runner outside Windows

Fix SigPointer::PeekValueTypeTokenClosed to handle generic instantiation represented by ELEMENT_TYPE_INTERNAL

Integrate change #1529861 from NetFXDev1

[tfs-changeset: 1532127]

Merge pull request #1657 from Djuffin/disable_lu_ptrace

Remove references to libunwind-ptrace to fix build on RPM distros

Merge pull request #1656 from janvorli/exception-handling-perf

Improve Unix exception handling performance

Remove references to libunwind-ptrace to fix build on RPM distros

Improve Unix exception handling performance

This change adds caching of thread base / limit in PAL. Profiling has shown
extraction of the base / limit using pthread APIs to be the main contributors
to the bad performance.
With this fix, a simple loop with throw / catch is about 40 times faster than
before.

Fix assert in IsIPInEpilog

The assert was incorrect for managed functions without body. Since there
is no easy way to find out that function has no body at that place,
the fix is to remove the assert.

Merge pull request #1524 from Priya91/stackstring

Add StackString class for stack/heap allocation for MAX_LONGPATH.

Merge pull request #1651 from kouvel/TpaPktFix

Remove the need for the PKT to match when binding to an assembly on t…

Merge pull request #1646 from kouvel/HeapAllocationFix

Heap allocation fix

Remove the need for the PKT to match when binding to an assembly on the TPA list

There is some inconsistency in how binding works with and without a custom AssemblyLoadContext being active. By default, the binder allows binding to assemblies on the TPA list despite a PKT mismatch while searching app paths. This part is skipped when a custom AssemblyLoadContext is active.

It has been determined that generally, the binder shouldn't require the PKT to match, so disabling that check.

Fixes #1640

Add StackString class for stack/heap allocation for MAX_LONGPATH.
Add stackstring.cpp to build.

Fix left shift of signed integer - issue 1526

Dictionary constructor perf optimization

Regarding the constructor overloads that take an
IDictionary<TKey, TValue>: It is likely that the passed-in dictionary
is Dictionary<TKey, TValue>. When this is the case, avoid the
enumerator allocation and overhead by looping through the entries
array directly. This is only done when the dictionary is
Dictionary<TKey, TValue> and not a subclass, to maintain back-compat
with subclasses that may have overridden the enumerator behavior.

Improve CoreCLR test runner outside Windows

CoreCLR tests will need to be built on Windows and copied over to a non-Windows machine. Then, coreclr/tests/runtest.sh along
with some switches can be used to run the tests.

Changes:
- Run tests in parallel by default (use --sequential to force sequential mode)
- Update Windows test build to produce the Windows core overlay that includes test dependencies that are not built
- Add a number of switches (see coreclr/tests/runtest.sh for details) to provide locations of:
  - The Windows test build
  - The CoreCLR native test build
  - Either:
    - This:
      - The core layout (including all of the below)
    - Or:
      - The CoreCLR build
      - mscorlib.dll
      - The CoreFX build
      - The CoreFX native build
- Using information from above, build or use the core layout, and copy native test binaries to the respective test directories
- Add --testDir to specify an inclusive list of test directories to run
- Add text files to exclude tests:
  - coreclr/tests/testsUnsupportedOutsideWindows.txt - Tests that are not supported outside Windows
  - coreclr/tests/testsFailingOutsideWindows.txt - Tests that are known to fail outside Windows and are temporarily disabled while they are investigated
- Add --runFailingTestsOnly to run only the tests listed in coreclr/tests/testsFailingOutsideWindows.txt to verify known failures
- Produce xUnit-style output for the CI, output goes into <Windows test build folder>/coreclrtests.xml

Fix HeapReAlloc to return a non-null pointer for a requested size of zero bytes

Merge pull request #1632 from bbowyersmyth/StringStartsWith

String.StartsWith ordinal optimization

Merge pull request #1589 from Priya91/pathstring

Use SString type - PathString for path allocations in binder.

Merge pull request #1628 from kouvel/CppCheckFixes

Fix a few issues reported by cppcheck

String.StartsWith ordinal optimization

Merge pull request #1629 from ericeil/AsyncLocalPerf

Reduce allocations in AsyncLocal/ExecutionContext

1: Allocate a new AsyncLocal change notification list only if we need to add an item to the list.
2: Pre-size any collections we allocate, and manually copy into them to avoid IEnumerator allocations, etc.
3: Store the change notification list in an array, rather than a List, to avoid the extra List allocation.

Merge branch 'AsyncLocalPerf' of https://github.com/ericeil/coreclr into AsyncLocalPerf

Reduce allocations when setting AsyncLocal values

1: Allocate a new AsyncLocal change notification list only if we need to add an item to the list.
2: Pre-size any collections we allocate, and manually copy into them to avoid IEnumerator allocations, etc.
3: Store the change notification list in an array, rather than a List, to avoid the extra List allocation.

Merge pull request #1617 from jamesqo/patch-1

Assign directly to this in Decimal constructor

Merge pull request #1630 from dotnet-bot/from-tfs

Merge changes from TFS

Store AsyncLocal notification list in an array, rather than a List.

This should further reduce allocations, as we don't need the intermediate List<IAsyncLocal> object.

Fix clang only build breaks

Some new code from TFS was triggering this error in clang:

`error: suggest braces around initialization of subobject`

I just made the obvious fix.

Fix for 134453: fix prefast warnings

[tfs-changeset: 1529946]

VS has mentioned that when they have an AV come through their reflection invoked code, they endup getting TargetInvocationException that is not actionable and also does not help in the Watson bucketing for the issue.  To address this, they would like an opt-in flag to force a failfast when a CSE remains unhandled within reflection invocation.

This change adds support for an opt-in flag that will trigger failfast in Reflection codepath inface of an unhandled CSE.

[tfs-changeset: 1529878]

Add AssemblyLoadContext.LoadUnmanagedDllFromPathfor use by overriders of AssemblyLoadContext.LoadUnmanagedDll

LoadUnmanagedDllFromPath needs to call LoadLibrary or dlopen, and return the system handle to the library through LoadUnmanagedDll. Outside Windows, when LoadUnmanagedDll returns a system handle to a library, the handle needs to be registered with PAL's module list for lifetime management. From that point on, the system handle is tracked as part of the PAL handle.

To handle both of the above, I have refactored module.cpp!LOADLoadLibrary into a LoadLibraryDirect portion and a RegisterLibrary component.

    LoadLibraryDirect loads the specified library directly using the system call, without appending or prepending anything to the library name
    RegisterLibrary registers a system library handle with PAL to get a PAL handle

This patch contains the necessary changes to coreclr and mscorlib. Tests will be added separately, after the new APIs are published and can be consumed.

Fixes dotnet/coreclr#935
Part of dotnet/coreclr#937 and dotnet/corefx#3054

See https://github.com/dotnet/coreclr/pull/1500

[tfs-changeset: 1529692]

Fix typo in my previous typo fix.

Fix typo

Reduce AsyncLocal setter allocations further

Now we pre-size any collections we allocate, and manually copy into them to avoid IEnumerator allocations, etc.

Merge pull request #1627 from ellismg/icu-collation

Implement basic collation on top of ICU

Merge pull request #1621 from dotnet-bot/from-tfs

Merge changes from TFS

Implement basic collation on top of ICU

This change adds support for basic Unicode collation support, built on
top of ICU. Windows and ICU have different collation models, and the
windows model does not correspond 1:1 with the ICU model, so in addition
to differences in sort weights between the two platforms, the
CompareOptions enum does not map nicely to ICU options.

For now, we only map CompareOptions.None, CompareOptions.IgnoreCase as
well as CompareOptions.Ordinal and CompareOptions.OrdinalIngoreCase,
other CompareOptions are ignored during collation.

In addition to collation support, I have enabed the randomized string
hashing code (using Marvin32 + a per app domain seed) so that string
hashcodes are not predictable across runs.

Allocate a new AsyncLocal change notification list only if we need to add an item to the list.

Merge pull request #1626 from caslan/exportsforee

Add new exports to get expression evaluator working in clrdbg

Use PathString type to allocate large path strings on linux scenario.
Respond to PR feedback. Fix test failures in mscoree.

Fix a few issues reported by cppcheck

Add new exports to get expression evaluator working in clrdbg

Fixing SAL anotation for VM

[tfs-changeset: 1529342]

Merge pull request #1612 from jkotas/readytorun-directcall

Handle direct call ReadyToRun helpers

Merge pull request #1616 from dotnet-bot/from-tfs

Merge changes from TFS

Assign directly to this in Decimal.cs

Porting EventCounter from Roxel Branch to ProjectK

[tfs-changeset: 1529077]

Merge pull request #1613 from jkotas/crossgen-commandline

Fix crossgen command line handling on Unix

Delete incorrect AMD64 ifdef

ReadyToRun case of getCallInstruction was incorrectly ifdefed out
for AMD64. Delete the incorrect ifdef and make other adjustment
to make the code compile for X86 as well.

Fix crossgen command line handling on Unix

Replace hardcoded Windows directory and path separators with symbolic
constants.

Handle direct call ReadyToRun helpers

Add missing check in the JIT to generate correct code for direct call ReadyToRun helpers. I have run into this bug while experimenting with ReadyToRun optimizations. It is not observable bug today because of crossgen happens to always emit ReadyToRun helpers as indirect calls.

Merge pull request #1609 from Dmitry-Me/duplicatedCheck

Fix erroneous check

Merge pull request #1610 from janvorli/osx-thread-suspension-activation-2

Implement runtime suspension for OSX

Implement runtime suspension for OSX

This change implements runtime suspension for OSX using activation
injection, the same mechanism as Linux uses.
I have modified the activation injection mechanism by adding a new
function that CoreCLR registers with PAL and PAL calls it to check
if an instruction address is safe for injection. The injection is
performed only if this new function returns true.
The activation on OSX is performed by suspending the target thread,
checking the instruction address in the suspended thread's context
using the above mentioned function and modifying the context to
perform the injection only at injection safe place.

Fix erroneous check

Merge pull request #1608 from ellismg/fix-infinite-recursion-in-culture-init

Use Ordinal when searching for collation keyword

Use Ordinal when searching for collation keyword

IndexOf by default is culture specific, which could lead to us doing
the wrong thing depending on the current culture and also can cause
problems where we need to access CultureData while we are still building
up culture information, causing infinite recursion.

Some collection tests were triggering the latter case and failing after
we merged in the ICU changes.

Merge pull request #1604 from ellismg/icu-merge-staging

Merge in initial round of ICU Changes

Merge pull request #1603 from dotnet-bot/from-tfs

Merge changes from TFS

Respond to PR feedback

Update documentation to list ICU dependency

Provide some hints on how to obtain the required ICU components for
Linux, OSX and FreeBSD

complete core implementation of CultureData for Unix

Use 'readlink' of the /etc/localtime file to determine the TimeZoneInfo.Local.Id on Linux.

Fix https://github.com/dotnet/corefx/issues/2489.

Fixing date patterns on Linux.

1. Getting more LongDatePatterns by getting both full and long ICU patterns.
2. Getting more ShortDatePatterns by getting both medium and short ICU patterns.  Still keeping the "yMd" pattern, since this closely matches what is used on Windows.
3. Removing any duplicates in the date patterns.
4. "Normalizing" the date patterns from ICU format to .NET format.
  a. "EEEE", "eeee" and "cccc" is replaced with "dddd"
  b. "LLLL" is replaced with "MMMM"
  c. "G" is replaced with "g"
  d. A single 'y' is replaced with 'yyyy'

Build System.Native.Globalization on OSX

This requires the 'icu4c' package from homebrew, which can be installed
with `brew install icu4c`.

Adding an empty string to the end of month names if ICU only returns 12.

This bug was caught by a test case in System.Globalization.Tests.

Don't use StringBuilderCache for casing

During code review, Steve proposed we moved to using StringBuilderCache
to the allocation of the temporary char[] array during casing
operations. I made the change but later realized that this caused a few
issues.

- The native layer operates on UChar/length pairs, not null terminated
  strings.  Because of this, we don't actually write a terminating null
  into the destination buffer (since we just do a 1:1 casing operation
  on the input and never see the null terminator). However, the
  marshalling code for StringBuilder assumes the buffer will be null
  terminated and uses that to compute the new length value after a
  marshalling call. Because there can be left over data from previous
  calls in the buffer the string length calculation will be incorrect
  and we will end up leaking in extra data into the cased string.

- The StringBuilder marshalling as a whole won't work if we have
  embdedded nulls in a string (we'll end up dropping characters on the
  transition from native back to managed) but that's something that we
  need to be able to handle.

Ideally there would be a way to construct a mutable string, case into
its buffer and the freeze the string, but we don't have a way to do that
today, so we need to stick with this allocation.

Responding to PR feedback.

Implement Japanese Era information.

Implement CalendarData.GetCalendars.

Implement CalendarData on Linux.

This is the first round of CalendarData implementation on Linux using ICU
for the information.  It contains Month Names, Day Names, DateTime format
patterns, etc.

address code review feedback

address code review feedback

add number formatting

address code review comments in CultureData.Unix.cs and and refactor files

address code review comments

address code review comments

base locale and formatting for linux

Respond to PR Feedback

Use System.Globalization.Native for casing

This is a fairly straight forward change to start using
System.Globalization.Native (and hence ICU) for casing support.  There
are a few caveats due to how the work is being staged.

 - There are some fast paths in mscorlib that do simple ASCII casing if
   the input string is ASCII and we know the locale does not do special
   casing for ascii characters.  This is detected by doing a case
   insensitive string comparision between "ABC..XYZ" and "abc...xyz".
   However, since we don't have real collation support yet, this check
   would always return true and hence we would never actually go to
   TextInfo to do casing.  For now, this code is just disabled so we
   always go to TextInfo

 - Some of the dummy collation implementations used the ASCII casing
   routines on TextInfo.  Since they are no longer needed for TextInfo
   we move them to CompareInfo.  The alternative would be to do proper
   casing via TextInfo, but since all the collation code is throw away
   it doesn't seem prudent to spend time moving them to TextInfo.

 - Detection on if we should do turkish casing is based on the locale
   name, when we have collation support we should likely detect this by
   doing a case insenstive string comparision between i and LATIN
   CAPTIAL I WITH DOT ABOVE.