Fix left shift of signed integer - issue 1526

Merge pull request #1632 from bbowyersmyth/StringStartsWith

String.StartsWith ordinal optimization

Merge pull request #1589 from Priya91/pathstring

Use SString type - PathString for path allocations in binder.

Merge pull request #1628 from kouvel/CppCheckFixes

Fix a few issues reported by cppcheck

String.StartsWith ordinal optimization

Merge pull request #1629 from ericeil/AsyncLocalPerf

Reduce allocations in AsyncLocal/ExecutionContext

1: Allocate a new AsyncLocal change notification list only if we need to add an item to the list.
2: Pre-size any collections we allocate, and manually copy into them to avoid IEnumerator allocations, etc.
3: Store the change notification list in an array, rather than a List, to avoid the extra List allocation.

Merge branch 'AsyncLocalPerf' of https://github.com/ericeil/coreclr into AsyncLocalPerf

Reduce allocations when setting AsyncLocal values

1: Allocate a new AsyncLocal change notification list only if we need to add an item to the list.
2: Pre-size any collections we allocate, and manually copy into them to avoid IEnumerator allocations, etc.
3: Store the change notification list in an array, rather than a List, to avoid the extra List allocation.

Merge pull request #1617 from jamesqo/patch-1

Assign directly to this in Decimal constructor

Merge pull request #1630 from dotnet-bot/from-tfs

Merge changes from TFS

Store AsyncLocal notification list in an array, rather than a List.

This should further reduce allocations, as we don't need the intermediate List<IAsyncLocal> object.

Fix clang only build breaks

Some new code from TFS was triggering this error in clang:

`error: suggest braces around initialization of subobject`

I just made the obvious fix.

Fix for 134453: fix prefast warnings

[tfs-changeset: 1529946]

VS has mentioned that when they have an AV come through their reflection invoked code, they endup getting TargetInvocationException that is not actionable and also does not help in the Watson bucketing for the issue.  To address this, they would like an opt-in flag to force a failfast when a CSE remains unhandled within reflection invocation.

This change adds support for an opt-in flag that will trigger failfast in Reflection codepath inface of an unhandled CSE.

[tfs-changeset: 1529878]

Add AssemblyLoadContext.LoadUnmanagedDllFromPathfor use by overriders of AssemblyLoadContext.LoadUnmanagedDll

LoadUnmanagedDllFromPath needs to call LoadLibrary or dlopen, and return the system handle to the library through LoadUnmanagedDll. Outside Windows, when LoadUnmanagedDll returns a system handle to a library, the handle needs to be registered with PAL's module list for lifetime management. From that point on, the system handle is tracked as part of the PAL handle.

To handle both of the above, I have refactored module.cpp!LOADLoadLibrary into a LoadLibraryDirect portion and a RegisterLibrary component.

    LoadLibraryDirect loads the specified library directly using the system call, without appending or prepending anything to the library name
    RegisterLibrary registers a system library handle with PAL to get a PAL handle

This patch contains the necessary changes to coreclr and mscorlib. Tests will be added separately, after the new APIs are published and can be consumed.

Fixes dotnet/coreclr#935
Part of dotnet/coreclr#937 and dotnet/corefx#3054

See https://github.com/dotnet/coreclr/pull/1500

[tfs-changeset: 1529692]

Fix typo in my previous typo fix.

Fix typo

Reduce AsyncLocal setter allocations further

Now we pre-size any collections we allocate, and manually copy into them to avoid IEnumerator allocations, etc.

Merge pull request #1627 from ellismg/icu-collation

Implement basic collation on top of ICU

Merge pull request #1621 from dotnet-bot/from-tfs

Merge changes from TFS

Implement basic collation on top of ICU

This change adds support for basic Unicode collation support, built on
top of ICU. Windows and ICU have different collation models, and the
windows model does not correspond 1:1 with the ICU model, so in addition
to differences in sort weights between the two platforms, the
CompareOptions enum does not map nicely to ICU options.

For now, we only map CompareOptions.None, CompareOptions.IgnoreCase as
well as CompareOptions.Ordinal and CompareOptions.OrdinalIngoreCase,
other CompareOptions are ignored during collation.

In addition to collation support, I have enabed the randomized string
hashing code (using Marvin32 + a per app domain seed) so that string
hashcodes are not predictable across runs.

Allocate a new AsyncLocal change notification list only if we need to add an item to the list.

Merge pull request #1626 from caslan/exportsforee

Add new exports to get expression evaluator working in clrdbg

Use PathString type to allocate large path strings on linux scenario.
Respond to PR feedback. Fix test failures in mscoree.

Fix a few issues reported by cppcheck

Add new exports to get expression evaluator working in clrdbg

Fixing SAL anotation for VM

[tfs-changeset: 1529342]

Merge pull request #1612 from jkotas/readytorun-directcall

Handle direct call ReadyToRun helpers

Merge pull request #1616 from dotnet-bot/from-tfs

Merge changes from TFS

Assign directly to this in Decimal.cs

Porting EventCounter from Roxel Branch to ProjectK

[tfs-changeset: 1529077]

Merge pull request #1613 from jkotas/crossgen-commandline

Fix crossgen command line handling on Unix

Delete incorrect AMD64 ifdef

ReadyToRun case of getCallInstruction was incorrectly ifdefed out
for AMD64. Delete the incorrect ifdef and make other adjustment
to make the code compile for X86 as well.

Fix crossgen command line handling on Unix

Replace hardcoded Windows directory and path separators with symbolic
constants.

Handle direct call ReadyToRun helpers

Add missing check in the JIT to generate correct code for direct call ReadyToRun helpers. I have run into this bug while experimenting with ReadyToRun optimizations. It is not observable bug today because of crossgen happens to always emit ReadyToRun helpers as indirect calls.

Merge pull request #1609 from Dmitry-Me/duplicatedCheck

Fix erroneous check

Merge pull request #1610 from janvorli/osx-thread-suspension-activation-2

Implement runtime suspension for OSX

Implement runtime suspension for OSX

This change implements runtime suspension for OSX using activation
injection, the same mechanism as Linux uses.
I have modified the activation injection mechanism by adding a new
function that CoreCLR registers with PAL and PAL calls it to check
if an instruction address is safe for injection. The injection is
performed only if this new function returns true.
The activation on OSX is performed by suspending the target thread,
checking the instruction address in the suspended thread's context
using the above mentioned function and modifying the context to
perform the injection only at injection safe place.

Fix erroneous check

Merge pull request #1608 from ellismg/fix-infinite-recursion-in-culture-init

Use Ordinal when searching for collation keyword

Use Ordinal when searching for collation keyword

IndexOf by default is culture specific, which could lead to us doing
the wrong thing depending on the current culture and also can cause
problems where we need to access CultureData while we are still building
up culture information, causing infinite recursion.

Some collection tests were triggering the latter case and failing after
we merged in the ICU changes.

Merge pull request #1604 from ellismg/icu-merge-staging

Merge in initial round of ICU Changes

Merge pull request #1603 from dotnet-bot/from-tfs

Merge changes from TFS

Respond to PR feedback

Update documentation to list ICU dependency

Provide some hints on how to obtain the required ICU components for
Linux, OSX and FreeBSD

complete core implementation of CultureData for Unix

Use 'readlink' of the /etc/localtime file to determine the TimeZoneInfo.Local.Id on Linux.

Fix https://github.com/dotnet/corefx/issues/2489.

Fixing date patterns on Linux.

1. Getting more LongDatePatterns by getting both full and long ICU patterns.
2. Getting more ShortDatePatterns by getting both medium and short ICU patterns.  Still keeping the "yMd" pattern, since this closely matches what is used on Windows.
3. Removing any duplicates in the date patterns.
4. "Normalizing" the date patterns from ICU format to .NET format.
  a. "EEEE", "eeee" and "cccc" is replaced with "dddd"
  b. "LLLL" is replaced with "MMMM"
  c. "G" is replaced with "g"
  d. A single 'y' is replaced with 'yyyy'

Build System.Native.Globalization on OSX

This requires the 'icu4c' package from homebrew, which can be installed
with `brew install icu4c`.

Adding an empty string to the end of month names if ICU only returns 12.

This bug was caught by a test case in System.Globalization.Tests.

Don't use StringBuilderCache for casing

During code review, Steve proposed we moved to using StringBuilderCache
to the allocation of the temporary char[] array during casing
operations. I made the change but later realized that this caused a few
issues.

- The native layer operates on UChar/length pairs, not null terminated
  strings.  Because of this, we don't actually write a terminating null
  into the destination buffer (since we just do a 1:1 casing operation
  on the input and never see the null terminator). However, the
  marshalling code for StringBuilder assumes the buffer will be null
  terminated and uses that to compute the new length value after a
  marshalling call. Because there can be left over data from previous
  calls in the buffer the string length calculation will be incorrect
  and we will end up leaking in extra data into the cased string.

- The StringBuilder marshalling as a whole won't work if we have
  embdedded nulls in a string (we'll end up dropping characters on the
  transition from native back to managed) but that's something that we
  need to be able to handle.

Ideally there would be a way to construct a mutable string, case into
its buffer and the freeze the string, but we don't have a way to do that
today, so we need to stick with this allocation.

Responding to PR feedback.

Implement Japanese Era information.

Implement CalendarData.GetCalendars.

Implement CalendarData on Linux.

This is the first round of CalendarData implementation on Linux using ICU
for the information.  It contains Month Names, Day Names, DateTime format
patterns, etc.

address code review feedback

address code review feedback

add number formatting

address code review comments in CultureData.Unix.cs and and refactor files

address code review comments

address code review comments

base locale and formatting for linux

Respond to PR Feedback

Use System.Globalization.Native for casing

This is a fairly straight forward change to start using
System.Globalization.Native (and hence ICU) for casing support.  There
are a few caveats due to how the work is being staged.

 - There are some fast paths in mscorlib that do simple ASCII casing if
   the input string is ASCII and we know the locale does not do special
   casing for ascii characters.  This is detected by doing a case
   insensitive string comparision between "ABC..XYZ" and "abc...xyz".
   However, since we don't have real collation support yet, this check
   would always return true and hence we would never actually go to
   TextInfo to do casing.  For now, this code is just disabled so we
   always go to TextInfo

 - Some of the dummy collation implementations used the ASCII casing
   routines on TextInfo.  Since they are no longer needed for TextInfo
   we move them to CompareInfo.  The alternative would be to do proper
   casing via TextInfo, but since all the collation code is throw away
   it doesn't seem prudent to spend time moving them to TextInfo.

 - Detection on if we should do turkish casing is based on the locale
   name, when we have collation support we should likely detect this by
   doing a case insenstive string comparision between i and LATIN
   CAPTIAL I WITH DOT ABOVE.

Add wrappers for ICU Casing

Unlike ICU, the CLR only wants to preform simple casing, so we can't
use the ICU APIs that work over strings.  Instead we have to do
codepoint by codepoint casing ourselves.

Add wrappers for IDNA support

Introduce wrappers around ICU for ToAscii and ToUnicode in support of
international domain name support.

Add Normalization wrappers on top of ICU

This change introduces System.Globalization.Native.so which will be
the libary that we use to wrap all ICU functionality needed by the
System.Globalization.* namespaces.

The initial commit also adds wrappers around the string normalization
functions which are exposed by the System.Globalization.Extensions
contract.

Fix to VectorCopyTo test that are failing with NullReferencException on an AVX2 machine.

Scenario: Vector2/3/4.CopyTo(array, idx) or Vector<T>.CopyTo(array, idx)

Expected: Here the second arg is out of range and an argument out of range exception is expected.

Observed: AV while generating helper call to throw range-check exception which gets propagated as NullReferenceException

Root cause:    If repro program being run is debug version (i.e. JIT is asked to execute minopts/debuggable code)

     genRangeCheck() ->genJumpToThrowHlpBlk(bndsChk->gtThrowKind) ->Compiler::acdHelper(codeKind)

     Since Compiler::acdHelper() doesn't have mapping for SCK_ARG_EXCPN and SCK_ARG_RNG_EXCPN it return zero as helper number.  On chk builds this further leads to asserts in VM when genEmitHelperCall()->compGetHelperFtn(helpernum) call is made.  On retail builds, it will lead to AV, which gets propagated as NullReferenceException.

     Why this doesn't repro on SSE2: SIMD intrinsics are disabled while generating minopts/debuggable code.
     Why does this repro on AVX2: Since VM used size for Vector<T> doesn't match IL definition of Vector<T>, JIT has no way but to support SIMD intrinsics even while generating minopts/debuggable code.

     On manual source examination found a couple of places where (in compiler.hpp) that are supposed to check for SCK_ARG_EXCPN and SCK_ARG_RNG_EXCPN and fixed those as well.

Fix #3262

[tfs-changeset: 1527996]

Use SString type for path allocations in binder.

Merge pull request #1600 from dotnet-bot/from-tfs

Merge changes from TFS

Undo MAX_LONGPATH use in SDK header file

[tfs-changeset: 1527242]

Merge pull request #1566 from tijoytom/master

Implement NativeCallableMethods for CoreCLR

Merge pull request #1593 from Djuffin/funceval

Fix debugger's funceval on Linux

Fix debugger's funceval on Linux

Address issues which prevented funceval from working on Linux:
1. Invalid stack alignment in funceval hijacks
2. Using System V calling convention for funceval hijacks
3. Disable executability check that is not implemented on Linux

Merge pull request #1577 from LLITCHEV/master

Fix for Issue #3164.
Thanks all!

Merge pull request #1565 from kouvel/TryGetRawMetadataFix

Fix TryGetRawMetadata to return false when the assembly is not a Runt…

Merge pull request #1588 from mikem8361/target4

Add ICorDebugDataTarget4 to SOS.

Disable the clang/llvm optimizer for a method that triggers wrong codegen.

There is a bug in the clang-3.5 optimizer. The issue is that in release
build the optimizer is mistyping (or just wrongly decides to use 32 bit
operation for a corner case of MIN_LONG) the args of the (ltemp / lval2)
to int (it does a 32 bit div operation instead of 64 bit.)
For the case of lval1 and lval2 equal to MIN_LONG (0x8000000000000000)
this results in raising a SIGFPE.

Add support for NativeCallableAttribute

Apply [NativeCallable] attribute to a managed method and then it can be
called from native code.Typical use would be passing a managed method as
callback to native, now it can be done by wrapping the method in a
delegate or directly using Marshal.GetFunctionPointerForDelegate.This's
fine as long as we make sure that delegate is not garbage
collected.[NativeCallable] introduce another way, where you can directly
load the function pointer of a native callable method and use it as
callback.This feature cannot be directly used from C#,but can be very
useful in dynamic code generation scenarios where you want a callback to
be passed to native.

Here's an example of how it can be used.

public static class NativeMethods {
 [DllImport("user32.dll")]
 public static extern int EnumWindows(IntPtr enumProc, IntPtr lParam);
}

//Method attributed with NativeCallable
[NativeCallable]
public static int CallbackMethod(IntPtr hWnd, IntPtr lParam){ return 1; }

Now you can generate the below IL to load native callable function pointer
( LDFTN) and then pass it a native method.
.locals init ([0] native int ptr)
nop
ldftn      int32 CallbackMethod(native int,native int)
stloc.0
ldloc.0
ldsfld     native int System.IntPtr::Zero
call       bool NativeMethods::EnumWindows(native int,native int)
pop
ret

Encoding native callable methods as  ENCODE_METHOD_NATIVECALLABLE_HANDLE
so that we don't have to check for the custom attribute at runtime to
decode the method.Also fixing the remaining code review comments.

Adding runtime check to prevent Native Callable methods from being used as
calli target with an ldftn. Also adding some negative test cases , they
are disabled for now since the tests failfast and msbuild report it as
failure.

Merge pull request #1580 from ravimeda/fixTestBuildProj

Remove Clean Target in Test Build Proj.

Merge pull request #1582 from janvorli/osx-thread-suspension-activation

Change PAL_InjectActivation to use pthread_kill

Merge pull request #1583 from adityamandaleeka/coreclr_tests_linux

CoreCLR tests on Linux

Change PAL_InjectActivation to use pthread_kill

This change modifies the PAL_InjectActivation to use much more portable pthread_kill
instead of pthread_sigqueue.
Remove the activation function passing from the PAL_InjectActivation
and add a PAL API to set the activation function globally, since we need just one.

Merge pull request #1585 from DasAllFolks/patch-2

Fix link to "Public Contract" subsection

Merge pull request #1586 from DasAllFolks/patch-1

Fix link to "Coding Style" page

Merge pull request #1587 from DasAllFolks/patch-3

Fix link to CoreFX Performance Guidelines

Add ICorDebugDataTarget4 to SOS.

Now that Eugene fixed out of context unwinding in the DAC for Linux after
this change, the SOS "clrstack" command should always work and not hang anymore.

Fix link to CoreFX Performance Guidelines

This link currently returns a 404 error.

It appears to be one of several links broken by some of the CoreFX
documentation having been moved into the new `coding-guidelines`
subdirectory.

Fix link to "Coding Style" page

This link is currently returning a 404 error; it appears that several of these links may have been broken when a new `coding-guidelines` subdirectory was created.

Fix link to "Public Contract" subsection

The link to the "Public Contract" subsection of the "Breaking Changes" page is currently stale and returns a 404 error.

Merge pull request #1584 from DasAllFolks/patch-1

Unbreak "breaking changes" link

Unbreak "breaking changes" link

Previous link produced a 404 error.

Minor improvements to runtest.sh

Add runtest.sh script to run CoreCLR tests on Linux

Merge pull request #1581 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #1574 from kouvel/FixPalTests

Fix some frequently failing PAL tests

Fix some frequently failing PAL tests

Some PAL tests are frequently failing in the CI. The specified output folder is currently used as the working folder for all PAL tests. The CI machine happened to have the output folder on a mount mounted as fuseblk instead of ext4. We don't know why this is happening. For the moment, I'm fixing the test runner to work around this issue.

Changes:
- Use /tmp/PalTestOutput/default as the output folder by default
- If a specific folder is specified for the output, use a unique folder inside /tmp/PalTestOutput for output files, and copy them to the specified folder at the end. A unique folder is used to support parallel runs on the same machine in this mode.
- Run each test in its own folder. Many PAL tests don't clean up after themselves, and create/use the same file/folder names in the current folder.
- Add a few more checks to some tests to hopefully provide more information upon the next failure
- Fix GetFileAttributes tests, which were crashing upon some failures due to mismatched number of placeholders and arguments to vprintf

Fixes #1561

Port the DateTime parser fix with Serbia cultures

Serbia has '.' at the end of the date and time parts. (like 'd.M.yyyy.'). while '.' is marked as date and time separator in same time. this confuse the parser and make it fail
to parse date/time string formatted with the Serbia culture.

[tfs-changeset: 1526268]

Merge pull request #1460 from bbowyersmyth/StringJoin

String.Join optimization for single item lists

Remove Clean Target in Test Build Proj.