VS has mentioned that when they have an AV come through their reflection invoked code, they endup getting TargetInvocationException that is not actionable and also does not help in the Watson bucketing for the issue.  To address this, they would like an opt-in flag to force a failfast when a CSE remains unhandled within reflection invocation.

This change adds support for an opt-in flag that will trigger failfast in Reflection codepath inface of an unhandled CSE.

[tfs-changeset: 1529878]

Add AssemblyLoadContext.LoadUnmanagedDllFromPathfor use by overriders of AssemblyLoadContext.LoadUnmanagedDll

LoadUnmanagedDllFromPath needs to call LoadLibrary or dlopen, and return the system handle to the library through LoadUnmanagedDll. Outside Windows, when LoadUnmanagedDll returns a system handle to a library, the handle needs to be registered with PAL's module list for lifetime management. From that point on, the system handle is tracked as part of the PAL handle.

To handle both of the above, I have refactored module.cpp!LOADLoadLibrary into a LoadLibraryDirect portion and a RegisterLibrary component.

    LoadLibraryDirect loads the specified library directly using the system call, without appending or prepending anything to the library name
    RegisterLibrary registers a system library handle with PAL to get a PAL handle

This patch contains the necessary changes to coreclr and mscorlib. Tests will be added separately, after the new APIs are published and can be consumed.

Fixes dotnet/coreclr#935
Part of dotnet/coreclr#937 and dotnet/corefx#3054

See https://github.com/dotnet/coreclr/pull/1500

[tfs-changeset: 1529692]

Fixing SAL anotation for VM

[tfs-changeset: 1529342]

Merge pull request #1612 from jkotas/readytorun-directcall

Handle direct call ReadyToRun helpers

Merge pull request #1616 from dotnet-bot/from-tfs

Merge changes from TFS

Porting EventCounter from Roxel Branch to ProjectK

[tfs-changeset: 1529077]

Merge pull request #1613 from jkotas/crossgen-commandline

Fix crossgen command line handling on Unix

Delete incorrect AMD64 ifdef

ReadyToRun case of getCallInstruction was incorrectly ifdefed out
for AMD64. Delete the incorrect ifdef and make other adjustment
to make the code compile for X86 as well.

Fix crossgen command line handling on Unix

Replace hardcoded Windows directory and path separators with symbolic
constants.

Handle direct call ReadyToRun helpers

Add missing check in the JIT to generate correct code for direct call ReadyToRun helpers. I have run into this bug while experimenting with ReadyToRun optimizations. It is not observable bug today because of crossgen happens to always emit ReadyToRun helpers as indirect calls.

Merge pull request #1609 from Dmitry-Me/duplicatedCheck

Fix erroneous check

Merge pull request #1610 from janvorli/osx-thread-suspension-activation-2

Implement runtime suspension for OSX

Implement runtime suspension for OSX

This change implements runtime suspension for OSX using activation
injection, the same mechanism as Linux uses.
I have modified the activation injection mechanism by adding a new
function that CoreCLR registers with PAL and PAL calls it to check
if an instruction address is safe for injection. The injection is
performed only if this new function returns true.
The activation on OSX is performed by suspending the target thread,
checking the instruction address in the suspended thread's context
using the above mentioned function and modifying the context to
perform the injection only at injection safe place.

Fix erroneous check

Merge pull request #1608 from ellismg/fix-infinite-recursion-in-culture-init

Use Ordinal when searching for collation keyword

Use Ordinal when searching for collation keyword

IndexOf by default is culture specific, which could lead to us doing
the wrong thing depending on the current culture and also can cause
problems where we need to access CultureData while we are still building
up culture information, causing infinite recursion.

Some collection tests were triggering the latter case and failing after
we merged in the ICU changes.

Merge pull request #1604 from ellismg/icu-merge-staging

Merge in initial round of ICU Changes

Merge pull request #1603 from dotnet-bot/from-tfs

Merge changes from TFS

Respond to PR feedback

Update documentation to list ICU dependency

Provide some hints on how to obtain the required ICU components for
Linux, OSX and FreeBSD

complete core implementation of CultureData for Unix

Use 'readlink' of the /etc/localtime file to determine the TimeZoneInfo.Local.Id on Linux.

Fix https://github.com/dotnet/corefx/issues/2489.

Fixing date patterns on Linux.

1. Getting more LongDatePatterns by getting both full and long ICU patterns.
2. Getting more ShortDatePatterns by getting both medium and short ICU patterns.  Still keeping the "yMd" pattern, since this closely matches what is used on Windows.
3. Removing any duplicates in the date patterns.
4. "Normalizing" the date patterns from ICU format to .NET format.
  a. "EEEE", "eeee" and "cccc" is replaced with "dddd"
  b. "LLLL" is replaced with "MMMM"
  c. "G" is replaced with "g"
  d. A single 'y' is replaced with 'yyyy'

Build System.Native.Globalization on OSX

This requires the 'icu4c' package from homebrew, which can be installed
with `brew install icu4c`.

Adding an empty string to the end of month names if ICU only returns 12.

This bug was caught by a test case in System.Globalization.Tests.

Don't use StringBuilderCache for casing

During code review, Steve proposed we moved to using StringBuilderCache
to the allocation of the temporary char[] array during casing
operations. I made the change but later realized that this caused a few
issues.

- The native layer operates on UChar/length pairs, not null terminated
  strings.  Because of this, we don't actually write a terminating null
  into the destination buffer (since we just do a 1:1 casing operation
  on the input and never see the null terminator). However, the
  marshalling code for StringBuilder assumes the buffer will be null
  terminated and uses that to compute the new length value after a
  marshalling call. Because there can be left over data from previous
  calls in the buffer the string length calculation will be incorrect
  and we will end up leaking in extra data into the cased string.

- The StringBuilder marshalling as a whole won't work if we have
  embdedded nulls in a string (we'll end up dropping characters on the
  transition from native back to managed) but that's something that we
  need to be able to handle.

Ideally there would be a way to construct a mutable string, case into
its buffer and the freeze the string, but we don't have a way to do that
today, so we need to stick with this allocation.

Responding to PR feedback.

Implement Japanese Era information.

Implement CalendarData.GetCalendars.

Implement CalendarData on Linux.

This is the first round of CalendarData implementation on Linux using ICU
for the information.  It contains Month Names, Day Names, DateTime format
patterns, etc.

address code review feedback

address code review feedback

add number formatting

address code review comments in CultureData.Unix.cs and and refactor files

address code review comments

address code review comments

base locale and formatting for linux

Respond to PR Feedback

Use System.Globalization.Native for casing

This is a fairly straight forward change to start using
System.Globalization.Native (and hence ICU) for casing support.  There
are a few caveats due to how the work is being staged.

 - There are some fast paths in mscorlib that do simple ASCII casing if
   the input string is ASCII and we know the locale does not do special
   casing for ascii characters.  This is detected by doing a case
   insensitive string comparision between "ABC..XYZ" and "abc...xyz".
   However, since we don't have real collation support yet, this check
   would always return true and hence we would never actually go to
   TextInfo to do casing.  For now, this code is just disabled so we
   always go to TextInfo

 - Some of the dummy collation implementations used the ASCII casing
   routines on TextInfo.  Since they are no longer needed for TextInfo
   we move them to CompareInfo.  The alternative would be to do proper
   casing via TextInfo, but since all the collation code is throw away
   it doesn't seem prudent to spend time moving them to TextInfo.

 - Detection on if we should do turkish casing is based on the locale
   name, when we have collation support we should likely detect this by
   doing a case insenstive string comparision between i and LATIN
   CAPTIAL I WITH DOT ABOVE.

Add wrappers for ICU Casing

Unlike ICU, the CLR only wants to preform simple casing, so we can't
use the ICU APIs that work over strings.  Instead we have to do
codepoint by codepoint casing ourselves.

Add wrappers for IDNA support

Introduce wrappers around ICU for ToAscii and ToUnicode in support of
international domain name support.

Add Normalization wrappers on top of ICU

This change introduces System.Globalization.Native.so which will be
the libary that we use to wrap all ICU functionality needed by the
System.Globalization.* namespaces.

The initial commit also adds wrappers around the string normalization
functions which are exposed by the System.Globalization.Extensions
contract.

Fix to VectorCopyTo test that are failing with NullReferencException on an AVX2 machine.

Scenario: Vector2/3/4.CopyTo(array, idx) or Vector<T>.CopyTo(array, idx)

Expected: Here the second arg is out of range and an argument out of range exception is expected.

Observed: AV while generating helper call to throw range-check exception which gets propagated as NullReferenceException

Root cause:    If repro program being run is debug version (i.e. JIT is asked to execute minopts/debuggable code)

     genRangeCheck() ->genJumpToThrowHlpBlk(bndsChk->gtThrowKind) ->Compiler::acdHelper(codeKind)

     Since Compiler::acdHelper() doesn't have mapping for SCK_ARG_EXCPN and SCK_ARG_RNG_EXCPN it return zero as helper number.  On chk builds this further leads to asserts in VM when genEmitHelperCall()->compGetHelperFtn(helpernum) call is made.  On retail builds, it will lead to AV, which gets propagated as NullReferenceException.

     Why this doesn't repro on SSE2: SIMD intrinsics are disabled while generating minopts/debuggable code.
     Why does this repro on AVX2: Since VM used size for Vector<T> doesn't match IL definition of Vector<T>, JIT has no way but to support SIMD intrinsics even while generating minopts/debuggable code.

     On manual source examination found a couple of places where (in compiler.hpp) that are supposed to check for SCK_ARG_EXCPN and SCK_ARG_RNG_EXCPN and fixed those as well.

Fix #3262

[tfs-changeset: 1527996]

Merge pull request #1600 from dotnet-bot/from-tfs

Merge changes from TFS

Undo MAX_LONGPATH use in SDK header file

[tfs-changeset: 1527242]

Merge pull request #1566 from tijoytom/master

Implement NativeCallableMethods for CoreCLR

Merge pull request #1593 from Djuffin/funceval

Fix debugger's funceval on Linux

Fix debugger's funceval on Linux

Address issues which prevented funceval from working on Linux:
1. Invalid stack alignment in funceval hijacks
2. Using System V calling convention for funceval hijacks
3. Disable executability check that is not implemented on Linux

Merge pull request #1577 from LLITCHEV/master

Fix for Issue #3164.
Thanks all!

Merge pull request #1565 from kouvel/TryGetRawMetadataFix

Fix TryGetRawMetadata to return false when the assembly is not a Runt…

Merge pull request #1588 from mikem8361/target4

Add ICorDebugDataTarget4 to SOS.

Disable the clang/llvm optimizer for a method that triggers wrong codegen.

There is a bug in the clang-3.5 optimizer. The issue is that in release
build the optimizer is mistyping (or just wrongly decides to use 32 bit
operation for a corner case of MIN_LONG) the args of the (ltemp / lval2)
to int (it does a 32 bit div operation instead of 64 bit.)
For the case of lval1 and lval2 equal to MIN_LONG (0x8000000000000000)
this results in raising a SIGFPE.

Add support for NativeCallableAttribute

Apply [NativeCallable] attribute to a managed method and then it can be
called from native code.Typical use would be passing a managed method as
callback to native, now it can be done by wrapping the method in a
delegate or directly using Marshal.GetFunctionPointerForDelegate.This's
fine as long as we make sure that delegate is not garbage
collected.[NativeCallable] introduce another way, where you can directly
load the function pointer of a native callable method and use it as
callback.This feature cannot be directly used from C#,but can be very
useful in dynamic code generation scenarios where you want a callback to
be passed to native.

Here's an example of how it can be used.

public static class NativeMethods {
 [DllImport("user32.dll")]
 public static extern int EnumWindows(IntPtr enumProc, IntPtr lParam);
}

//Method attributed with NativeCallable
[NativeCallable]
public static int CallbackMethod(IntPtr hWnd, IntPtr lParam){ return 1; }

Now you can generate the below IL to load native callable function pointer
( LDFTN) and then pass it a native method.
.locals init ([0] native int ptr)
nop
ldftn      int32 CallbackMethod(native int,native int)
stloc.0
ldloc.0
ldsfld     native int System.IntPtr::Zero
call       bool NativeMethods::EnumWindows(native int,native int)
pop
ret

Encoding native callable methods as  ENCODE_METHOD_NATIVECALLABLE_HANDLE
so that we don't have to check for the custom attribute at runtime to
decode the method.Also fixing the remaining code review comments.

Adding runtime check to prevent Native Callable methods from being used as
calli target with an ldftn. Also adding some negative test cases , they
are disabled for now since the tests failfast and msbuild report it as
failure.

Merge pull request #1580 from ravimeda/fixTestBuildProj

Remove Clean Target in Test Build Proj.

Merge pull request #1582 from janvorli/osx-thread-suspension-activation

Change PAL_InjectActivation to use pthread_kill

Merge pull request #1583 from adityamandaleeka/coreclr_tests_linux

CoreCLR tests on Linux

Change PAL_InjectActivation to use pthread_kill

This change modifies the PAL_InjectActivation to use much more portable pthread_kill
instead of pthread_sigqueue.
Remove the activation function passing from the PAL_InjectActivation
and add a PAL API to set the activation function globally, since we need just one.

Merge pull request #1585 from DasAllFolks/patch-2

Fix link to "Public Contract" subsection

Merge pull request #1586 from DasAllFolks/patch-1

Fix link to "Coding Style" page

Merge pull request #1587 from DasAllFolks/patch-3

Fix link to CoreFX Performance Guidelines

Add ICorDebugDataTarget4 to SOS.

Now that Eugene fixed out of context unwinding in the DAC for Linux after
this change, the SOS "clrstack" command should always work and not hang anymore.

Fix link to CoreFX Performance Guidelines

This link currently returns a 404 error.

It appears to be one of several links broken by some of the CoreFX
documentation having been moved into the new `coding-guidelines`
subdirectory.

Fix link to "Coding Style" page

This link is currently returning a 404 error; it appears that several of these links may have been broken when a new `coding-guidelines` subdirectory was created.

Fix link to "Public Contract" subsection

The link to the "Public Contract" subsection of the "Breaking Changes" page is currently stale and returns a 404 error.

Merge pull request #1584 from DasAllFolks/patch-1

Unbreak "breaking changes" link

Unbreak "breaking changes" link

Previous link produced a 404 error.

Minor improvements to runtest.sh

Add runtest.sh script to run CoreCLR tests on Linux

Merge pull request #1581 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #1574 from kouvel/FixPalTests

Fix some frequently failing PAL tests

Fix some frequently failing PAL tests

Some PAL tests are frequently failing in the CI. The specified output folder is currently used as the working folder for all PAL tests. The CI machine happened to have the output folder on a mount mounted as fuseblk instead of ext4. We don't know why this is happening. For the moment, I'm fixing the test runner to work around this issue.

Changes:
- Use /tmp/PalTestOutput/default as the output folder by default
- If a specific folder is specified for the output, use a unique folder inside /tmp/PalTestOutput for output files, and copy them to the specified folder at the end. A unique folder is used to support parallel runs on the same machine in this mode.
- Run each test in its own folder. Many PAL tests don't clean up after themselves, and create/use the same file/folder names in the current folder.
- Add a few more checks to some tests to hopefully provide more information upon the next failure
- Fix GetFileAttributes tests, which were crashing upon some failures due to mismatched number of placeholders and arguments to vprintf

Fixes #1561

Port the DateTime parser fix with Serbia cultures

Serbia has '.' at the end of the date and time parts. (like 'd.M.yyyy.'). while '.' is marked as date and time separator in same time. this confuse the parser and make it fail
to parse date/time string formatted with the Serbia culture.

[tfs-changeset: 1526268]

Merge pull request #1460 from bbowyersmyth/StringJoin

String.Join optimization for single item lists

Remove Clean Target in Test Build Proj.

Merge pull request #1578 from dotnet-bot/from-tfs

Merge changes from TFS

Fix build break on arm

[tfs-changeset: 1526208]

Fix for Issue #3164.

Added extra code to work around an optimizer bug in clang 3.5. In a
particular case 0/MIN_LONG results into MIN_LONG that causes a const
folding to produce a result of 0 instead of overflow exception for
MIN_LONG * MIN_LONG.

Merge pull request #1575 from benpye/arm-unwind-regression

Fix ARM unwind regression

Merge pull request #1568 from dotnet-bot/from-tfs

Merge changes from TFS

Fix ARM build regression

Merge pull request #1559 from eerhardt/Fix2788

Time Zone transitions are 1 tick off on Linux

Merge pull request #1560 from Priya91/longpath-test

Replace MAX_PATH with new defines in rest of coreclr.

Fix for GH issue 410 - https://github.com/dotnet/coreclr/issues/410

Whenever a managed exception is thrown, the details about the thrown exception are also saved off the managed thread object (as LastThrownObject). The VM also has an exception tracker that tracks its dispatch across the managed frames and incase of nested exceptions, the trackers are collapsed correctly, when the nested exception is handled, and last thrown object is updated correctly. The VM works on the premise that the LastThrownObject is updated correctly.

Incase of this bug, a method (M1)is invoked via Reflection and has an exception E1. During exception dispatch for E1, an IL filter is invoked that, in turn, has an exception (E2) that remains unhandled. While this is swallowed by the VM (as expected), the LastThrownObject is not updated to reflect the active exception to be E1. Thus, when the dispatch for original exception E1 completes and no managed handler is found, the exception is caught by Reflection subsystem that extracts the thrown exception using the GET_THROWABLE macro that uses the LastThrownObject to determine the thrown exception. Since the LTO was not updated, it still reflects E2.

The fix is to update the managed exception state, if the filter has an unhandled exception, similar to how we do when a managed catch block successfully handles the exception. I have refactored the code to make the semantic cleaner.

[tfs-changeset: 1525835]

Time Zone transitions are 1 tick off on Linux

When we build the AdjustmentRules up, we set the StartDate to be the Transition Time that comes from the tzfile, and we set the EndDate to the be (the next Transition Time - 1 tick). That way the next AdjustmentRule goes into effect at the exact transition time. The issue is that the code in CheckIsDst uses a less than operator when comparing the endTime, but for these rules it should be less than or equal to.

Fix https://github.com/dotnet/corefx/issues/2788.

Merge pull request #1564 from dotnet-bot/from-tfs

Merge changes from TFS

Fix TryGetRawMetadata to return false when the assembly is not a RuntimeAssembly

Related to dotnet/corefx#2768

Merge pull request #1562 from cshung/EventCounterWork

Port bug fixes and add hooks for EventCounter work

Merge pull request #1553 from paulnice/patch-1

Fix runtime versions in the Console example

Merge pull request #1557 from ravimeda/master

Update Build CoreCLR Instructions on Mac OS X.

Port bug fixes and add hooks for EventCounter work

Merge pull request #1554 from kouvel/WaitAllCheckForDuplicates

Check for duplicate handles in PAL's implementation of a wait-all ope…

Handle pre- and post-commands gracefully in bash execution scripts.

Existing tests can specify pre- or post-commands that are injected into
the execution scripts. However, today these are all using Windows syntax
so they break the bash scripts. We will handle that by skipping any tests
that are using pre- or post-commands unless they specify the bash-specific
equivalent. The scripts will continue to run and just exit with an exit
code that indicates a skip, so that the skipped tests are tracked and not
just hidden.

Also, this change moves the global pre-command that was being added for
running __TestEnv into the bash/batch targets rather than in the dir.props
file that is used for all platforms.

Enable bash run scripts to handle tests with multiple arguments.

Enable coreclr tests to run on Unix with corerun.

Enable building coreclr tests on Linux

Clean up some test scripts

Merge pull request #1538 from Djuffin/get_context2

Make DBI/SOS stackwalk work when thread is running native code

Merge pull request #1555 from richlander/roadmap

Add link to .NET Core Roadmap

Update Build CoreCLR Instructions on Mac OS X.

Rebuild option is not handled in build.sh.  Hence removing the sentence
that suggests using a rebuild option that will delete previously built
assemblies.

Use out-of-proc libunwind to unwind native stack from DAC

Implementation of PAL_VirtualUnwindOutOfProc that uses ptrace libunwind
to be able to unwind native stack in debugee. This allows to get valid managed
stack for threads that passed HelperMethodFrames.