Resolve two issues that cause pri1r2r test timeout on Ubuntu

* Fix Ready-to-Run image for System.Numerics.Vectors.dll.
* Disable tests\src\Loader\classloader\generics\regressions\DD117522\Test.cs,
  which contains an infinite generic type recursion. It causes CrossGen to
  crash with stack overflow on Windows, and timeout on Ubuntu. Temporarily
  disabling this test until we can properly fix it.

Merge pull request #5105 from ellismg/fix-corefx-3467

Ignore empty collation elements in EndsWith

Add gchist SOS commands for Unix (#5127)

This change adds HistClear, HistInit, HistObj, HistObjFind and HistRoot
commands to SOS on Unix

Updating the version of buildtools we use to add commit hashes to native binaries (#5103)

Merge pull request #5052 from JohnChen0/r2r

Initial Ready-to-Run tests for generics

Merge pull request #5109 from jashook/b103058_exclude

Mark b103058 as stress sensitive

Merge pull request #5108 from jashook/locals_exclude_min_opts

Mark opt/perf/doublealign/Locals stress sensitive

Fix typo in runtest.sh (#5125)

Signed-off-by: Hanjoung Lee hanjoung.lee@samsung.com

Prevent core dumps at shutdown when the ETW subsystem races with debugger cleanup. (#5066)

Documentation: Add CoreCLR binary folder to test results (#5084)

When we get the test result with ./coreclr/tests/runtest.sh,
it is difficult to classify the build mode that we used after some days.

Let's add information of the CoreCLR binary folder in order to
know easily the build mode between debug-build and release-build mode.

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>

Implementation of the following generic dictionary entries for R2R: (#5079)

MethodDescSlot
        MethodEntrySlot
        DispatchStubAddrSlot

Merge pull request #5111 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #5121 from dotnet/revert-5075-Fix4940

Revert "Change to reject varag methods"

Merge pull request #5030 from kouvel/NamedMutex

Add named mutex for cross-process synchronization

Merge pull request #5115 from brianrob/corelib_perfmap

Generate perfmap symbol file for System.Private.CoreLib

Revert "Change to reject varag methods"

Merge pull request #5075 from gkhanna79/Fix4940

Change to reject varag methods

Merge pull request #5118 from ramarag/fixexchangeTStest

Removing ' from bash command line

Merge pull request #5092 from yizhang82/icastable-fix2

Fix x86 only ICastable feature bug when we pass RuntimeTypeHandles

Merge pull request #5085 from sivarv/tcfix

Tail call test failure fixes.

Removing ' from bash command line

Generate perfmap symbol file for System.Private.CoreLib.

Merge pull request #5067 from AndyAyersMS/CalleeHashInXml

Inliner: small changes to inline xml

Baseline more tests

Fix case-sensitive issue on Linux (#5086)

Fix #5035

The file paths should be case-sensitive on Linux.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Add named mutex for cross-process synchronization

Fixes #3422

- On systems that support pthread process-shared robust recursive mutexes, they will be used
- On other systems, file locks are used. File locks unfortunately don't have a timeout in the blocking wait call, and I didn't find any other sync object with a timed wait with the necessary properties, so polling is done for timed waits.

Shared memory files:
- Session-scoped mutexes (name not prefixed, or prefixed with Local\) go in /tmp/coreclr/shm/session<sessionId>/<mutexName>
- Globally-scoped mutexes (name prefixed with Global\) go in /tmp/coreclr/shm/global/<mutexName>
- Contains shared state, and is mmap'ped into the process, see SharedMemorySharedDataHeader and NamedMutexSharedData for data stored
- Creation and deletion is synchronized using an exclusive file lock on the shm directory
- Any process using the shared memory file holds a shared file lock on the shared memory file
- Upon creation, if the shared memory file already exists, an exclusive file lock is attempted on it, to see if the file data is valid. If no other processes have the mutex open, the file is reinitialized.
- Upon releasing the last reference to a mutex in a process, it will try to get an exclusive lock on the shared memory file to see if any other processes have the mutex opened. If not, the file is deleted, along with the session directory if it's empty. The coreclr and shm directories are not deleted.
- This allows managing the lifetime of mutex state based on active processes that have the mutex open. Depending on how the process terminated, the file may still be left over in the tmp directory, I haven't found anything that can be done about that.

Lock files when using file locks:
- In addition to the shared memory file, we need another file for the actual synchronization file lock, since a file lock on the shared memory file is used for lifetime purposes.
- These files go in /tmp/coreclr/lockfiles/session<sessionId>|global/<mutexName>
- The file is empty, and is only used for file locks

Process data
- See SharedMemoryProcessDataHeader and NamedMutexProcessData for data stored
- Per mutex name, there is only one instance of process data that is ref-counted. They are currently stored in a linked list in SharedMemoryManager. It should use a hash table, but of the many hash table implementations that are already there, none seem to be easily usable in the PAL. I'll look into that and will fix later.
- Refers to the associated shared memory, and knows how to clean up both the process data and shared data
- When using file locks for synchronization, a process-local mutex is also created for synchronizing threads, since file locks are owned at the file descriptor level and there is only one open file descriptor in the process per mutex name. The process-local mutex is locked around the file lock, so that only one thread per process is ever trying to flock on a given file descriptor.

Abandon detection
- When a lock is acquired, the process data is added to a linked list on the owning thread
- When a thread exits, the list is walked, each mutex is flagged as abandoned and released
- For detecting process abruptly terminating, pthread robust mutexes give us that. When using file locks, the file lock is automatically released by the system. Upon acquiring a lock, the lock owner info in the shared memory is checked to see if the mutex was abandoned.

Miscellaneous
- CreateMutex and OpenMutex both create new handles for each mutex opened. Each handle just refers to the process data header for the mutex name.
- Some of the above features are already available in the PAL, but not quite in a way that I can use for this purpose. The existing shared memory, naming, and waiting infrastructure is not suitable for this purpose, and is not used.

Merge pull request #4963 from sejongoh/vector3_clear_upperbits

Vector3 clear upperbits

Ignore empty collation elements in EndsWith

We should ignore empty collaction elements at the end of the string
when doing our EndsWith checks.  This means the match ICU finds might
not span to the end of string, but the only elements after the match
before the end are completely ignorable.

U+00AD (SOFT HYPHEN) is one such case where the codepoint is completely
ignorable.

Fixes dotnet/corefx#3467

Remove the wrong optimization from the string initialization (#5107)

The string initilaization misteknly setting some flag for characters under 0x80
the fix here is just remove this part (per Jan Kotas recommendation)

Merge pull request #5106 from dotnet-bot/from-tfs

Merge changes from TFS

Fix x86 only ICastable feature bug.
When we call ICastable.IsInstanceOfInterface, we treat RuntimeTypeHandle as a OBJECTREF, which is incorrect as-per x86 calling convention since RuntimeTypehandle is a struct that contains a RuntimeType ref field and needs to be passed in stack. Our VM simple call helpers CALL_MANAGED_METHOD doesn't handle this correctly (it does the simple thing that always assume all the arguments are passed in register first). I'm fixing this by using a static method that takes RuntimeType instead of RuntimeTypeHandle, then convert it to RuntimeTypehandle.
Also switch to use PREPARE_NONVIRTUAL_CALLSITE(METHODID) as per Jan's suggestion.
ICastable test is now enabled in x86 for both JITs.

Merge pull request #5074 from jhendrixMSFT/master

Add sign.builds projects to facilitate real signing in official builds.

Missing a check in the Unix part of the code.

[tfs-changeset: 1606433]

Tail call test failure fixes.

Throw InvalidProgramException when a method with varargs is encountered.

Mark b103058 as stress sensitive

This test will not work under min opts, disable it under stress scenarios to address this.

Merge pull request #5099 from kyulee1/fixr2r

ARM64: Fix R2R EntryPoint for Intrinsic

Mark opt/perf/doublealign/Locals stress sensitive

The test is known to not work correctly under JitMinOpts. Disable it from running in that configuration.

Merge pull request #5098 from RussKeldorph/objects

Mark doublealign test as incompatible with GCStress

Merge pull request #5100 from RussKeldorph/gcstress

Fix GCStress=0xC when build(tests).cmd called from outside root

Merge pull request #5091 from gkhanna79/Fix4531

Make Microsoft.NetCore.JIT package dependency of CoreCLR package

Initialize unused upper bits of Vector3 arguments and return registers for
Linux

JIT requires the unused upper bits to be cleared but native compiler
doesn't clear the upper bits. This changes clear those bits for Reverse
PInvoke arguments and PInvoke return.

Initial Ready-to-Run tests for generics

* Added some generics tests intended for testing Ready-to-Run feature.
* Added capability to set ZapRequire=1, to  ensure methods are
  pre-compiled.
* Fix spelling of environment variables for case-sensitive platforms.

Checking in on behalf of JKuhne

Fixing build break in K caused by the long file path work.

[tfs-changeset: 1606374]

Add sign.builds projects to facilitate real signing in official builds.

New build project, sign.builds, is to be built post building of binaries
so that they can be real-signed in the official build.
Updated some project files with the correct strong name certificate.

Fix GCStress=0xC when build(tests).cmd called from outside root

Use absolute path intead of relative path when invoking
setup-runtime-dependencies.cmd, which is required for GCStress=0xC to
work.

Merge pull request #4991 from swgillespie/gcsimulator-buildandrun

Switch GCSimulator to BuildAndRun so that a shell wrapper gets generated

Implement source/line number support for Exception.StackTrace. (#5078)

* Implement source/line number support for Exception.StackTrace.

Uses a new helper class (StackTraceSymbols) in System.Diagnostics.StackTrace assembly
to get source/line info for portable PDBs. On Windows both types of pdbs are support;
on xplat only portable PDBs.

The first part of the work is in the GetStackFramesInternal pinvoke to return the neccessary
info needed by the portable pdb reader: MethodToken, assembly path, loaded PE image address
and if in-memory symbol file, the address.

The second part is in the StackFrameHelper in mscorlib. It attempts to load the System.Diagnostics.StackTrace,
gets the new type and creates a delegate to the helper function which is called for each stack
frame.

* Code review feedback.

Merge pull request #5031 from wtgodbe/pipelineFix

Update build scripts to fix small errors

ARM64: Fix R2R EntryPoint for Intrinsic

This is fix for missing case that we should handle call that needs to pass
indirect cell address. The call appears in rationalizer, which is
originally an intrinsic when we import it.
I also refactor the code so that when we set entryPoint we ensure
tagging such information on the tree.

Mark doublealign test as incompatible with GCStress

The test makes assumptions about allocation alignment that cannot be
expected to hold under GCStress, particularly on 32-bit platforms.

ARM, SOS: correct IP and SP value in ClrStack command (#5077)

This fixes casting 64bit pointer value in 32bit machines
that show wrong IP and SP values in ClrStack command.

Related Issue: #5037

Merge pull request #5057 from RussKeldorph/smallframe

Exclude smallFrame for JIT32

Merge pull request #5001 from AlexGhiondea/ReadAppContextOverrides

Introduce a way to override AppContext switches from the project.json

Merge pull request #5076 from dotnet-bot/from-tfs

Merge changes from TFS

Skip configuration with skipnative option. (#5059)

Fixes #4022.

Make Microsoft.NetCore.JIT package dependency of CoreCLR package

Merge pull request #5073 from kyulee1/newtest

ARM64: New Test Binary Update

Merge pull request #5020 from kyulee1/imp

ARM64: Enable End-To-End ReadyToRun (R2R) Crossgen

ARM64: New Test Binary Update

Currently 135 of 9661 are failing.
Those are marked as EXPECTED_FAIL.
~55: mcc failed due to differnet struct calling convetion
~13: regression from the prior tests: marked as EXPECTED_FAIL;REGRESS
~22: failures from new tests: marked as NEW;EXPECTED_FAIL
~45: HFA

Tests.lst head now contains git hash number which tells us what version
we use to build such binaries. This is also used to dispatch different test folder in the lab.

Port from tfs: onload exception debugger crash fix (#4868)

The ExceptionHijackPersonalityRoutine was retrieving a context from a
particular stack frame, but the calling conventions for the function
executing in that frame allow it to overwrite the context. This was
causing the debugger to crash for exceptions thrown from the onload
method in winforms on x64.

The fix is to instead retrieve the context from the previous stack
frame, whose layout is set up explicitly in ExceptionHijack.

Merge pull request #5070 from dotnet-bot/from-tfs

Merge changes from TFS

Switch GCSimulator to BuildAndRun so that a shell wrapper gets generated

Update build scripts to fix small errors

Explicitly reference the file containing the mscorlib reference assembly.

[tfs-changeset: 1606007]

Merge pull request #5039 from adityamandaleeka/sigterm_chaining

Put SIGTERM registration behind a PAL initialization flag

Cache GetLowerBound in Array.Reverse and Array.Sort (#5019)

- Avoids calling internal native method 4 times per sort: 2 times is
enough
- Avoids calling internal native method 2 times per reverse: 1 time is
enough

ARM64: Enable End-To-End ReadyToRun (R2R) Crossgen

Fixes https://github.com/dotnet/coreclr/issues/4649
The immediate issues was NYI on genEmitHelperCalls. The initial
implementation for the missing part was enough to just crossgen System.dll.
But running tests revealed various issues in crossgened binaries (R2R).
Most common user/helper calls in R2R are represented as indirect calls
similar to interface call using virtual stub dispatch cell --
thunk/helper needs a indirect cell address to update the final target
address on the data location. `IsDelayLoadHelper` and `IsLazyHelper` belong to
this case.
Instead of passing such parameter, x64/x86 uses an encoding trick -- it
assumes the call is dispatched like `call [addr]`. So from the return
address, runtime could extract indirect cell address. Unfortunately this is not
an option for arm64 (actually arm as well but I haven't fixed it in this
change) where indirect call on memory is not encodable.
So, I made the following changes:

1. For the call requiring that needs to pass indirect cell address, I
tagged the call tree via `setR2RRelativeIndir`. Tried to be comprehensive,
but I may miss something. Currently, it includes a regular call and
various helpers for (virtual) load function pointer/static data access, etc.
Hopely we change JIT/EE interface somehow that gives us such explicit information.

2. Use the X11 to record indirect cell address for such call tree in
lower similar to VSD.

3. Fixed encodings `ZapIndirectHelperThunk`. In particular the immediate
value/offset for `ldr` should be scaled down 4 times since HW will scale
it 4 times.

4. Implement `genEmitHelperCalls` for indirect case. This is not the case requiring indirect
cell address. This is the case we inlined the indirect helper thunk for
the speed. I'm seeing the case for size opt helper call, we invoke a
direct call to such thunk which actually uses x12 to dispatch the final
target. Likewise, I used x12 for this expansion which seems a trash register that is not
overlapped with arugments with jit helpers like writer barriers.

With this change, I've tested various cases/scenraios locally.
Also I've verified all tests are passed against mscorlib.ni.dll and System.ni.dll.

Merge pull request #5069 from ramarag/R2RCleanup

Removing hard coded path Fixes #5065

Merge pull request #5048 from yizhang82/hostpath-fix

Move NATIVE_DLL_SEARCH_DIRECTORIES probing earlier right before we pr…

Merge pull request #5044 from RussKeldorph/lifetime2

Fix and reenable lifetime2

Remove Encoding FEATURE_* defines from mscorlib (#5026)

* Remove Encoding FEATURE_* defines from mscorlib

* Remove strange character from Encoding.cs

Removing hard coded path

Merge pull request #5062 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #5036 from rahku/fixes

Fix for issue# 3651

Inliner: small changes to inline xml

Emit the hash for callees, and check it during replay.

Capture the root method name, and do a simple Xml-safe conversion.

Add a missing newline to the banner message announcing that the replay
policy is in effect.

Fix to Jit32 test b46659.exe  failure.

Here is the git hub issue: https://github.com/dotnet/coreclr/issues/4547

The repro case is

     i = -111
     while ( i > 0)
     {
         // another nested loop goes here
     }
     return 100

     After assertionProp, due to while loop condition lot of blocks/stmts get deleted as unreachable but optLoopCount is never decremented.  Later when optLoopCodeMotion() gets called, it iterates through optLoopTable[] and tries to access head

     if  ((loopRmv & loopBit)     ||
            tail == 0               ||
            head->bbTreeList == 0    )

     Since entire method reduces to a single basic block, head will be nullptr and accessing head->bbTreeList is leading to an AV.

     Fix: As a safe fix for RTM, also check whether head is nullptr.

[tfs-changeset: 1605919]

Merge pull request #4902 from JeremyKuhne/WindowsLongPath

Allow long paths in CoreCLR managed code

Rollback CS#1603899 that led to a JIT assert ngen'ing System.Windows.Forms.dll

====================
007551: Merge pull request #1241 from mikedn/modopt

Extend the DIV/MOD dividend into RDX:RAX only if needed
====================

Assert failure(PID 33656 [0x00008378], Thread: 17792 [0x4580]): Assertion failed 'addr->OperIsAddrMode() || (addr->IsCnsIntOrI() && addr->isContained()) || !addr->isContained()' in 'System.Windows.Forms.CheckedListBox:OnDrawItem(ref):this' (IL size 1216)

    File: e:\dd\projectk\src\ndp\clr\src\jit\emitxarch.cpp Line: 2698
    Image: C:\Windows\Microsoft.NET\Framework64\v4.0.rb1605209\mscorsvw.exe

The tree:

***** BB41, stmt 82 (embedded)
     (  6,  8) [003723] ------------             *  stmtExpr  void  (embedded) (IL 0x109...  ???)
N1045 (  3,  2) [000115] ------------             |        /--*  lclVar    ref    V00 this         u:2 REG rcx $80
N1047 (  1,  4) [002642] ------------             |        +--*  const     long   344 field offset Fseq[idealCheckSize] REG NA $10b
N1049 (  4,  6) [002643] -------N----             |     /--*  +         byref  REG NA $356
N1051 (  6,  8) [000116] ----GO------             |  /--*  indir     int    REG rcx <l:$685, c:$2ef>
N1053 (  6,  8) [003669] DA--GO------             \--*  st.lclVar int    V172 cse1         rcx REG rcx RV

During codegen:

Generating BB41, stmt 71        Holding variables: [rbx rsi rdi r12-r15]

Generating: N1043 (  3,  2) [000114] ------------             *  lclVar    int    V05 loc3         u:3 r12 (last use) REG r12 RV $31a
Generating: N1045 (  3,  2) [000115] ------------             *  lclVar    ref    V00 this         u:2 REG rcx $80
IN00db:        mov      rcx, gword ptr [V00 rbp+10H]
                            GC regs: 00000040 {rsi} => 00000042 {rcx rsi}
Generating: N1047 (  1,  4) [002642] ------------             *  const     long   344 field offset Fseq[idealCheckSize] REG NA $10b
Generating: N1049 (  4,  6) [002643] -------N----             *  +         byref  REG NA $356
Generating: N1051 (  6,  8) [000116] ----GO------             *  indir     int    REG rcx <l:$685, c:$2ef>
... assert ...

(This is rollback #2: the TFS/GitHub mirror unfortunately undid rollback CS#1605814 with CS#1605840. This change should avoid that problem.)

[tfs-changeset: 1605917]

Exclude smallframe for JIT32

This test was flagged as incompatible with COMPlus_JITMinOpts in the
previous test harness.  It doesn't fail for RyuJIT, though, even under
MinOpts, so, rather than disabling it everywhere under MinOpts, I'm only
disabling it for JIT32.

Fixes #4548

Porting the changes to support generic dictionaries lookups in R2R images to the JIT32 implementation, to support the x86 architecture.

All of the changes in importer.cpp were ported from JIT\importer.cpp, which was merged to the coreclr master branch last Friday evening (reviewed and signed-off in a PR on GitHub).

The remaining changes include:
         1) Adjusting #ifdefs to enable the x86 scenario
         2) Implementation of the R2R stub for generic dictionary lookups
         3) Small change in prestub.cpp required for x86 to work correctly

[tfs-changeset: 1605906]

Explicitly specify the location from where to pick up the model.corelib.xml

[tfs-changeset: 1605881]

Fix Interop TCs to use long long instead of long (#5054)

Some TCs were using long for 64bit variable.
While it is correct on x86, long is 32bit on ARM.
Fix TCs to use long long instead so that they can pass on ARM as well.

Fix #5053

Signed-off-by: Dongyun Jin <dongyun.jin@samsung.com>

Merge pull request #5055 from dotnet-bot/from-tfs

Merge changes from TFS

Fix crossgen /createpdb when input filename is given without path (#5045)

Fix a bug in "crossgen /createpdb" command that can cause it to fail
if the input filename is given without a path.

ARM64: Fix LR update in a few stubs (#5013)

Fix LR capture/restore in a few stubs helpers.
This change fixed failures in 6 GC tests under GCStress.

Add private properties for debugger access to Task fields (#5024)

Add missing method contract

[tfs-changeset: 1605842]

String.Equals: Don't typecast if object refs are the same (#5021)

Merge pull request #5050 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #5028 from ramarag/R2Rtests

Guard Crossgen Test Runtime logic with RunCrossGen Env
this fixes https://github.com/dotnet/coreclr/issues/3759

Add missing .gitmirrorall file

[tfs-changeset: 1605815]

Move NATIVE_DLL_SEARCH_DIRECTORIES probing earlier right before we probe for absolute path and assembly path. This is needed to make sure servicing directories (set in NATIVE_DLL_SEARCH_DIRECTORIES by host) are honored correctly before everything else, along with rest of the NATIVE_DLL_SEARCH_DIRECTORIES probing path. In order to preserve compat with UWP host, I kept the rest of the interop probing logic even when NATIVE_DLL_SEARCH_DIRECTORIES probing path is specified.
To my horror I discovered the fact that we actually never set hmod when loading DLL from NATIVE_DLL_SEARCH_DIRECTORIES probing, and the probably the only saving grace is that our ultimate fallback LoadLibrary call after that would "just work" and return the HMODULE we just loaded... This is now fixed.

Merge pull request #5034 from dotnet/revert-4969-RelaxALC

Revert "Enable overriding assemblies from TPA"

Merge pull request #5016 from tijoytom/master

[Do not Merge]Renaming ZeroFreeAllocMemUTF8 to ZeroFreeCoTaskMemUTF8

Merge branch 'master' of https://github.com/dotnet/coreclr

Merge pull request #5032 from kspawa/r2rngen

Treat R2R images as NI for profiling

Fix and reenable lifetime2

lifetime2 is another questionable test case that relies on lifetime
guarantees that don't exist.  Per our convention, force optimization on
and mark it as "optimization sensitive" to make a best effort to get it to
pass.

Fixes #1037

Linux/ARM: Change default clang version from 3.5 to 3.6 (#4928)

In case of the cross compilation on the ubuntu 14.04 x64
for Linux/ARM, the default version of clang/llvm that is
generated by "#> sudo ./cross/build-rootfs.sh arm" command
is 3.6 without 3.5 as following:

u14.04@x64> ls ./coreclr/cross/rootfs/arm/usr/lib/clang/3.6
include  lib
u14.04@x64> ls ./coreclr/cross/rootfs/arm/usr/lib/llvm-3.6/
bin  build  include  lib  share

Let's keep the clang/llvm version consistently by moving
the default version from 'clang3.5' to 'clang3.6' at build-time
for Linux/ARM.

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>

Fix for issue# 3651