Merge pull request #4990 from pgavlin/gh4912

Remove some preprocessor usage from the JIT interface.

Merge pull request #5122 from JohnChen0/timeout

Resolve two issues that cause pri1r2r test timeout on Ubuntu

Fix broken RHEL debug build link

Merge pull request #5142 from RussKeldorph/delexcl

Remove ryujit_x86_no_fallback_issues.targets

Remove ryujit_x86_no_fallback_issues.targets

We have decided this file isn't useful, so its continued presence
is just confusing.

Merge pull request #5114 from sejongoh/mark_jit_opt_sensitive

Add JitOptimizationSensitive property to GC/API/WeakReference/IsAlive…

Merge pull request #5133 from adiaaida/disableStringarr_cs_ro

Disable stringarr_cs_ro for x86 RyuJIT

Merge pull request #5139 from leculver/shutdown

Prevent core dumps at shutdown due to ETW subsystem

Disable debugger termination to prevent shutdown race

Fixed another instance where debugger shutdown would race with ETW subsystem, causing segfaults.

Shrink AsyncMethodBuilder.MoveNextRunner by a field in common case (#5131)

When an async method yields for the first time, there are several allocations, including a "MoveNextRunner" object that used to store the state machine and an ExecutionContext.  However, for the common case where a default ExecutionContext is being used, we can avoid needing that field.  For the simplest async method, this can reduce the total size of the allocations by ~4%.

(It would be nice in this case to be able to get rid of the MoveNextRunner entirely.  However, the Action delegate that gets created needs to be stored into the builder before the builder is boxed to the heap, so that the cached delegate gets boxed with it; otherwise, the second yield in the async method will end up needing to reallocate the delegate.  Since delegates are immutable, if the delegate was to point directly to a method on the boxed object, we would need to first have the object, a catch-22.  So the MoveNextRunner serves as an intermediary that lets us create the delegate, store it into the struct builder, then box the builder, and then store the boxed object into the runner.)

Merge pull request #5124 from gkhanna79/Fix4940

Throw InvalidProgramException when VarArgs are encountered

Fix multiple LTTng issues (#5068)

- Only emit LTTng events when LTTng is enabled.  We now use the tracepoint_enabled macro to check if an event is enabled...when the version of lttng is installed that supports it.
- Unsplit LTTng events.  Previously we split LTTng events when they exceeded the field limit of LTTng.  Now we emit those events as a raw byte array so that it matches their windows ETW counterparts byte-for-byte.
- Emit any event with a struct or embedded array as a raw byte array too.  The structure of memory that LTTng emits is incompatible with our ETW parsing.  Changing events with struct/array fields greatly simplifies the parsing of events.

Expose GetUninitializedObject on RuntimeHelpers  (#5104)

* In coreclr, expose GetUninitializedObject on RuntimeHelpers

* Include RuntimeHelpers.GetUninitializedObject in model.xml

Remove some preprocessor usage from the JIT interface.

This fixes most of #4912.

- The usage of `USE_ASM_GC_WRITE_BARRIERS` has been removed. The type it guarded is
  now always defined.
- The JIT helpers that were guarded by `_TARGET_X86_` are now always defined.
- The intrinsic that was guarded by `_WIN64` is now always defined.

Merge pull request #5123 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #5132 from kouvel/NamedMutexFix

Fix a few bugs in named mutexes

Resolve two issues that cause pri1r2r test timeout on Ubuntu

* Fix Ready-to-Run image for System.Numerics.Vectors.dll.
* Disable tests\src\Loader\classloader\generics\regressions\DD117522\Test.cs,
  which contains an infinite generic type recursion. It causes CrossGen to
  crash with stack overflow on Windows, and timeout on Ubuntu. Temporarily
  disabling this test until we can properly fix it.

Merge pull request #5105 from ellismg/fix-corefx-3467

Ignore empty collation elements in EndsWith

Merge remote-tracking branch 'upstream/master' into from-tfs

Fix line endings in src/vm/jitinterface.h

Disable stringarr_cs_ro for x86 RyuJIT

This tests fails intermittently in the CI.

Fix a few bugs in named mutexes

- When using pthread mutexes, if the mutex tells us that it was abandoned (due to owning process abruptly shutting down), it was calling ReleaseMutex (which takes a handle) on the pthread mutex object. It shouldn't be releasing the lock anyway.
- When a locked mutex is closed, it wasn't being removed from the owner thread's list of owned named mutexes. This case should be treated as abandoned.
  - Since this could potentially happen from a different thread too, added the lock owner thread to the process data, added a critical section around list operations, and I now remove the process data from the owner thread's list on Close.
- Parent/child named mutex pal tests:
  - Cleaned up tests by refactoring the setup/cleanup code
  - Fixed a race where the parent may start a new child test before the previous child test closes its events
  - Added new tests for verifying that a mutex is locked after it reports that it was abandoned, and abandoning by closing a locked mutex

Add gchist SOS commands for Unix (#5127)

This change adds HistClear, HistInit, HistObj, HistObjFind and HistRoot
commands to SOS on Unix

Updating the version of buildtools we use to add commit hashes to native binaries (#5103)

Merge pull request #5052 from JohnChen0/r2r

Initial Ready-to-Run tests for generics

Merge pull request #5109 from jashook/b103058_exclude

Mark b103058 as stress sensitive

Merge pull request #5108 from jashook/locals_exclude_min_opts

Mark opt/perf/doublealign/Locals stress sensitive

Fix typo in runtest.sh (#5125)

Signed-off-by: Hanjoung Lee hanjoung.lee@samsung.com

Throw InvalidProgramException when a method with varargs is encountered.

Prevent core dumps at shutdown when the ETW subsystem races with debugger cleanup. (#5066)

Documentation: Add CoreCLR binary folder to test results (#5084)

When we get the test result with ./coreclr/tests/runtest.sh,
it is difficult to classify the build mode that we used after some days.

Let's add information of the CoreCLR binary folder in order to
know easily the build mode between debug-build and release-build mode.

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>

Implementation of the following generic dictionary entries for R2R: (#5079)

MethodDescSlot
        MethodEntrySlot
        DispatchStubAddrSlot

Merge pull request #5111 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #5121 from dotnet/revert-5075-Fix4940

Revert "Change to reject varag methods"

Merge pull request #5030 from kouvel/NamedMutex

Add named mutex for cross-process synchronization

Merge pull request #5115 from brianrob/corelib_perfmap

Generate perfmap symbol file for System.Private.CoreLib

Revert "Change to reject varag methods"

Merge pull request #5075 from gkhanna79/Fix4940

Change to reject varag methods

Merge pull request #5118 from ramarag/fixexchangeTStest

Removing ' from bash command line

Merge pull request #5092 from yizhang82/icastable-fix2

Fix x86 only ICastable feature bug when we pass RuntimeTypeHandles

Merge pull request #5085 from sivarv/tcfix

Tail call test failure fixes.

Add some quirk and versioning flags and change some preprocessor symbols into fields of CORINFO_EE_INFO.

The quirk flags--CORJIT_FLG2_JIT32_QUIRKS and CORJIT_FLG2_JIT64_QUIRKS--are passed by the EE to request that the JIT
generate appropriately compatible executable code. These flags are only passed on x86/Windows and x64/Desktop/Windows,
respectively.

Version numbers for GC and EH info have been added to CORINFO_EE_INFO. The EE sets these versions to indicate the
formats of the aforementioned data that it supports.

CORINFO_PAGE_SIZE and MAX_UNCHECKED_OFFSET_FOR_NULL_OBJECT have been converted to fields on CORINFO_EE_INFO.

[tfs-changeset: 1606533]

Removing ' from bash command line

Generate perfmap symbol file for System.Private.CoreLib.

Merge pull request #5067 from AndyAyersMS/CalleeHashInXml

Inliner: small changes to inline xml

Baseline more tests

Fix case-sensitive issue on Linux (#5086)

Fix #5035

The file paths should be case-sensitive on Linux.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Add JitOptimizationSensitive property to GC/API/WeakReference/IsAlive.csproj and GC/API/GCHandle/Weak.csproj

The testcases could fail if a reference is assigned to a stack temp.

Add named mutex for cross-process synchronization

Fixes #3422

- On systems that support pthread process-shared robust recursive mutexes, they will be used
- On other systems, file locks are used. File locks unfortunately don't have a timeout in the blocking wait call, and I didn't find any other sync object with a timed wait with the necessary properties, so polling is done for timed waits.

Shared memory files:
- Session-scoped mutexes (name not prefixed, or prefixed with Local\) go in /tmp/coreclr/shm/session<sessionId>/<mutexName>
- Globally-scoped mutexes (name prefixed with Global\) go in /tmp/coreclr/shm/global/<mutexName>
- Contains shared state, and is mmap'ped into the process, see SharedMemorySharedDataHeader and NamedMutexSharedData for data stored
- Creation and deletion is synchronized using an exclusive file lock on the shm directory
- Any process using the shared memory file holds a shared file lock on the shared memory file
- Upon creation, if the shared memory file already exists, an exclusive file lock is attempted on it, to see if the file data is valid. If no other processes have the mutex open, the file is reinitialized.
- Upon releasing the last reference to a mutex in a process, it will try to get an exclusive lock on the shared memory file to see if any other processes have the mutex opened. If not, the file is deleted, along with the session directory if it's empty. The coreclr and shm directories are not deleted.
- This allows managing the lifetime of mutex state based on active processes that have the mutex open. Depending on how the process terminated, the file may still be left over in the tmp directory, I haven't found anything that can be done about that.

Lock files when using file locks:
- In addition to the shared memory file, we need another file for the actual synchronization file lock, since a file lock on the shared memory file is used for lifetime purposes.
- These files go in /tmp/coreclr/lockfiles/session<sessionId>|global/<mutexName>
- The file is empty, and is only used for file locks

Process data
- See SharedMemoryProcessDataHeader and NamedMutexProcessData for data stored
- Per mutex name, there is only one instance of process data that is ref-counted. They are currently stored in a linked list in SharedMemoryManager. It should use a hash table, but of the many hash table implementations that are already there, none seem to be easily usable in the PAL. I'll look into that and will fix later.
- Refers to the associated shared memory, and knows how to clean up both the process data and shared data
- When using file locks for synchronization, a process-local mutex is also created for synchronizing threads, since file locks are owned at the file descriptor level and there is only one open file descriptor in the process per mutex name. The process-local mutex is locked around the file lock, so that only one thread per process is ever trying to flock on a given file descriptor.

Abandon detection
- When a lock is acquired, the process data is added to a linked list on the owning thread
- When a thread exits, the list is walked, each mutex is flagged as abandoned and released
- For detecting process abruptly terminating, pthread robust mutexes give us that. When using file locks, the file lock is automatically released by the system. Upon acquiring a lock, the lock owner info in the shared memory is checked to see if the mutex was abandoned.

Miscellaneous
- CreateMutex and OpenMutex both create new handles for each mutex opened. Each handle just refers to the process data header for the mutex name.
- Some of the above features are already available in the PAL, but not quite in a way that I can use for this purpose. The existing shared memory, naming, and waiting infrastructure is not suitable for this purpose, and is not used.

Merge pull request #4963 from sejongoh/vector3_clear_upperbits

Vector3 clear upperbits

Ignore empty collation elements in EndsWith

We should ignore empty collaction elements at the end of the string
when doing our EndsWith checks.  This means the match ICU finds might
not span to the end of string, but the only elements after the match
before the end are completely ignorable.

U+00AD (SOFT HYPHEN) is one such case where the codepoint is completely
ignorable.

Fixes dotnet/corefx#3467

Remove the wrong optimization from the string initialization (#5107)

The string initilaization misteknly setting some flag for characters under 0x80
the fix here is just remove this part (per Jan Kotas recommendation)

Merge pull request #5106 from dotnet-bot/from-tfs

Merge changes from TFS

Fix x86 only ICastable feature bug.
When we call ICastable.IsInstanceOfInterface, we treat RuntimeTypeHandle as a OBJECTREF, which is incorrect as-per x86 calling convention since RuntimeTypehandle is a struct that contains a RuntimeType ref field and needs to be passed in stack. Our VM simple call helpers CALL_MANAGED_METHOD doesn't handle this correctly (it does the simple thing that always assume all the arguments are passed in register first). I'm fixing this by using a static method that takes RuntimeType instead of RuntimeTypeHandle, then convert it to RuntimeTypehandle.
Also switch to use PREPARE_NONVIRTUAL_CALLSITE(METHODID) as per Jan's suggestion.
ICastable test is now enabled in x86 for both JITs.

Merge pull request #5074 from jhendrixMSFT/master

Add sign.builds projects to facilitate real signing in official builds.

Missing a check in the Unix part of the code.

[tfs-changeset: 1606433]

Tail call test failure fixes.

Throw InvalidProgramException when a method with varargs is encountered.

Mark b103058 as stress sensitive

This test will not work under min opts, disable it under stress scenarios to address this.

Merge pull request #5099 from kyulee1/fixr2r

ARM64: Fix R2R EntryPoint for Intrinsic

Mark opt/perf/doublealign/Locals stress sensitive

The test is known to not work correctly under JitMinOpts. Disable it from running in that configuration.

Merge pull request #5098 from RussKeldorph/objects

Mark doublealign test as incompatible with GCStress

Merge pull request #5100 from RussKeldorph/gcstress

Fix GCStress=0xC when build(tests).cmd called from outside root

Merge pull request #5091 from gkhanna79/Fix4531

Make Microsoft.NetCore.JIT package dependency of CoreCLR package

Initialize unused upper bits of Vector3 arguments and return registers for
Linux

JIT requires the unused upper bits to be cleared but native compiler
doesn't clear the upper bits. This changes clear those bits for Reverse
PInvoke arguments and PInvoke return.

Initial Ready-to-Run tests for generics

* Added some generics tests intended for testing Ready-to-Run feature.
* Added capability to set ZapRequire=1, to  ensure methods are
  pre-compiled.
* Fix spelling of environment variables for case-sensitive platforms.

Checking in on behalf of JKuhne

Fixing build break in K caused by the long file path work.

[tfs-changeset: 1606374]

Add sign.builds projects to facilitate real signing in official builds.

New build project, sign.builds, is to be built post building of binaries
so that they can be real-signed in the official build.
Updated some project files with the correct strong name certificate.

Fix GCStress=0xC when build(tests).cmd called from outside root

Use absolute path intead of relative path when invoking
setup-runtime-dependencies.cmd, which is required for GCStress=0xC to
work.

Merge pull request #4991 from swgillespie/gcsimulator-buildandrun

Switch GCSimulator to BuildAndRun so that a shell wrapper gets generated

Implement source/line number support for Exception.StackTrace. (#5078)

* Implement source/line number support for Exception.StackTrace.

Uses a new helper class (StackTraceSymbols) in System.Diagnostics.StackTrace assembly
to get source/line info for portable PDBs. On Windows both types of pdbs are support;
on xplat only portable PDBs.

The first part of the work is in the GetStackFramesInternal pinvoke to return the neccessary
info needed by the portable pdb reader: MethodToken, assembly path, loaded PE image address
and if in-memory symbol file, the address.

The second part is in the StackFrameHelper in mscorlib. It attempts to load the System.Diagnostics.StackTrace,
gets the new type and creates a delegate to the helper function which is called for each stack
frame.

* Code review feedback.

Merge pull request #5031 from wtgodbe/pipelineFix

Update build scripts to fix small errors

ARM64: Fix R2R EntryPoint for Intrinsic

This is fix for missing case that we should handle call that needs to pass
indirect cell address. The call appears in rationalizer, which is
originally an intrinsic when we import it.
I also refactor the code so that when we set entryPoint we ensure
tagging such information on the tree.

Mark doublealign test as incompatible with GCStress

The test makes assumptions about allocation alignment that cannot be
expected to hold under GCStress, particularly on 32-bit platforms.

ARM, SOS: correct IP and SP value in ClrStack command (#5077)

This fixes casting 64bit pointer value in 32bit machines
that show wrong IP and SP values in ClrStack command.

Related Issue: #5037

Merge pull request #5057 from RussKeldorph/smallframe

Exclude smallFrame for JIT32

Merge pull request #5001 from AlexGhiondea/ReadAppContextOverrides

Introduce a way to override AppContext switches from the project.json

Merge pull request #5076 from dotnet-bot/from-tfs

Merge changes from TFS

Skip configuration with skipnative option. (#5059)

Fixes #4022.

Make Microsoft.NetCore.JIT package dependency of CoreCLR package

Merge pull request #5073 from kyulee1/newtest

ARM64: New Test Binary Update

Merge pull request #5020 from kyulee1/imp

ARM64: Enable End-To-End ReadyToRun (R2R) Crossgen

ARM64: New Test Binary Update

Currently 135 of 9661 are failing.
Those are marked as EXPECTED_FAIL.
~55: mcc failed due to differnet struct calling convetion
~13: regression from the prior tests: marked as EXPECTED_FAIL;REGRESS
~22: failures from new tests: marked as NEW;EXPECTED_FAIL
~45: HFA

Tests.lst head now contains git hash number which tells us what version
we use to build such binaries. This is also used to dispatch different test folder in the lab.

Port from tfs: onload exception debugger crash fix (#4868)

The ExceptionHijackPersonalityRoutine was retrieving a context from a
particular stack frame, but the calling conventions for the function
executing in that frame allow it to overwrite the context. This was
causing the debugger to crash for exceptions thrown from the onload
method in winforms on x64.

The fix is to instead retrieve the context from the previous stack
frame, whose layout is set up explicitly in ExceptionHijack.

Merge pull request #5070 from dotnet-bot/from-tfs

Merge changes from TFS

Switch GCSimulator to BuildAndRun so that a shell wrapper gets generated

Update build scripts to fix small errors

Explicitly reference the file containing the mscorlib reference assembly.

[tfs-changeset: 1606007]

Merge pull request #5039 from adityamandaleeka/sigterm_chaining

Put SIGTERM registration behind a PAL initialization flag

Cache GetLowerBound in Array.Reverse and Array.Sort (#5019)

- Avoids calling internal native method 4 times per sort: 2 times is
enough
- Avoids calling internal native method 2 times per reverse: 1 time is
enough

ARM64: Enable End-To-End ReadyToRun (R2R) Crossgen

Fixes https://github.com/dotnet/coreclr/issues/4649
The immediate issues was NYI on genEmitHelperCalls. The initial
implementation for the missing part was enough to just crossgen System.dll.
But running tests revealed various issues in crossgened binaries (R2R).
Most common user/helper calls in R2R are represented as indirect calls
similar to interface call using virtual stub dispatch cell --
thunk/helper needs a indirect cell address to update the final target
address on the data location. `IsDelayLoadHelper` and `IsLazyHelper` belong to
this case.
Instead of passing such parameter, x64/x86 uses an encoding trick -- it
assumes the call is dispatched like `call [addr]`. So from the return
address, runtime could extract indirect cell address. Unfortunately this is not
an option for arm64 (actually arm as well but I haven't fixed it in this
change) where indirect call on memory is not encodable.
So, I made the following changes:

1. For the call requiring that needs to pass indirect cell address, I
tagged the call tree via `setR2RRelativeIndir`. Tried to be comprehensive,
but I may miss something. Currently, it includes a regular call and
various helpers for (virtual) load function pointer/static data access, etc.
Hopely we change JIT/EE interface somehow that gives us such explicit information.

2. Use the X11 to record indirect cell address for such call tree in
lower similar to VSD.

3. Fixed encodings `ZapIndirectHelperThunk`. In particular the immediate
value/offset for `ldr` should be scaled down 4 times since HW will scale
it 4 times.

4. Implement `genEmitHelperCalls` for indirect case. This is not the case requiring indirect
cell address. This is the case we inlined the indirect helper thunk for
the speed. I'm seeing the case for size opt helper call, we invoke a
direct call to such thunk which actually uses x12 to dispatch the final
target. Likewise, I used x12 for this expansion which seems a trash register that is not
overlapped with arugments with jit helpers like writer barriers.

With this change, I've tested various cases/scenraios locally.
Also I've verified all tests are passed against mscorlib.ni.dll and System.ni.dll.

Merge pull request #5069 from ramarag/R2RCleanup

Removing hard coded path Fixes #5065

Merge pull request #5048 from yizhang82/hostpath-fix

Move NATIVE_DLL_SEARCH_DIRECTORIES probing earlier right before we pr…

Merge pull request #5044 from RussKeldorph/lifetime2

Fix and reenable lifetime2

Remove Encoding FEATURE_* defines from mscorlib (#5026)

* Remove Encoding FEATURE_* defines from mscorlib

* Remove strange character from Encoding.cs

Removing hard coded path

Merge pull request #5062 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #5036 from rahku/fixes

Fix for issue# 3651

Prevent core dumps at shutdown when the ETW subsystem races with debugger cleanup.

Inliner: small changes to inline xml

Emit the hash for callees, and check it during replay.

Capture the root method name, and do a simple Xml-safe conversion.

Add a missing newline to the banner message announcing that the replay
policy is in effect.