Improve vtbl matching loop in DacGetVtNameW. (#5179)

Fix filter funclet handling during stack walk on Unix (#5183)

The filter funclets are not handled correctly during stack walk on Unix. When
the funclet's parent frame is reached, the filter funclet was mistakenly handled
as a non-filter funclet by the Unix specific code that is used to figure out
parent frames of funclets from exception trackers.
The fix is to skip this Unix specific code when we are looking for a parent of
a filter funclet. Filter funclet frame is always on the stack when the stack
walk reaches its parent frame.

Merge pull request #5153 from LLITCHEV/r2r_jitstress_jobs

Add R2R JitStress, JitStressRegs, JITMinOpts and ForceRelocs jobs to CI.

Added jit related R2R jobs.

Added jobs for R2R jitstress, jitstressregs, JITMinOpts and ForceRelocs testing.

Merge pull request #5192 from wtgodbe/updatePublishedVersions

Add PowerShell script to update latest package version info in Versions repo

Add PowerShell script to update latest package version info in Versions repo

Merge pull request #5129 from leemgs/upstream-diff-time-of-unittest

Linux/ARM: Display execution time of ./tests/runtest.sh

Merge pull request #5171 from wtgodbe/syncFix

Update sync.cmd to download Azure Blobs. Also change publish.proj to …

Merge pull request #5180 from RussKeldorph/jit32va

Exclude varags tests for JIT32

Exclude varags tests for JIT32

Add same exclusions as added for other platforms in #5124.  These were
missed because we don't have JIT32 testing on dotnet-ci.

Merge pull request #5170 from kouvel/NamedMutexPalTestFix

Fix intermittent test failure in paltest_namedmutex_test1

Merge pull request #5173 from kyulee1/ilasmpack

ILAsm/ILDAsm Package

ILAsm/ILDAsm Package

Fixes #5172
This has dependency on CoreCLR.
Use the same version 1.0.3 as CoreCLR.

Tested both packages are produced in Windows/Linux locally.

Add R2R JitStress, JitStressRegs, JITMinOpts and ForceRelocs jobs to CI.

Merge pull request #4884 from JeremyKuhne/JeremyKuhne-linuxhandles

Update file handle steps

Linux/ARM: Add execution time of ./tests/runtest.sh

We have to wait for a long time to complete all unit tests on the ARM-based
embedded boards (e.g, Raspberry Pi, Odroid, Chromebook) compared to the
X86-based server environment. So, let's display execution time after finishing
the unit test.

* After PR:
128 minutes and 36 seconds taken to run CoreCLR tests.

ver1:
The existing measured time still includes overlay creation and some
package restoration. So, let's put time_start in front of
if($testDirectories).

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>
Reviewed-by: Aditya Mandaleeka <adityamandaleeka@microsoft.com>
Reviewed-by: Sergiy Kuryata <sergiy-k@microsoft.com>

Update sync.cmd to download Azure Blobs. Also change publish.proj to publish packages into symbol/pkg directories

Merge pull request #5167 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #5042 from leemgs/upstream-display-clang-ver

Linux/ARM: display default clang version info at build-time

Fix intermittent test failure in paltest_namedmutex_test1

Fixes #5169:
- Child thread/process was not closing their test mutex before indicating completion to the parent thread/process
- Fixed by enclosing the actual child test code in braces to force closing before the cleanup code runs. This is a minimal fix for the issue, I have a separate change that generally improves and refactors the tests further.

Change Unix HW exception unwinding to not to go through signal trampoline (#5140)

This change modifies the HW exception handling on Unix so that it doesn't unwind
from the context of the DispatchManagedException through the signal trampoline
to the actual location of the exception and uses the exception's context instead.
This fixes problem that some target systems like ARM Linux have with unwinding
through that trampoline.

Add missing #ifdef FEATURE_ICASTABLE

[tfs-changeset: 1607333]

Merge pull request #5145 from kyulee1/newtest2

ARM64: Test Binary Update (afa7fe5486fc90fec7df52bd134b789c568c8b45)

Merge pull request #5159 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #5146 from dotnet-bot/from-tfs

Merge changes from TFS

Update tests to build against rc3-24117-00 (#5154)

Merge pull request #5143 from AndyAyersMS/InlineXmlLock

Inliner: locks for xml read/write access

Expose ResolveEventHandler and ResolveEventArgs in the mscorlib facade so that our test host still function.

[tfs-changeset: 1607062]

ARM64: Test Binary Update (afa7fe5486fc90fec7df52bd134b789c568c8b45)

- vararg tests are deleted.
- dll not found issues are addressed.

Total: 9740
EXPECTED_PASS: 9658(99.2%)
EXPECTED_FAIL: 82(0.8%)

Update pre-release tags to RC4

The long term plan is to move our packages versions up and the
prerelease tag back down to something like -beta, but for now we just
need to pick something that isn't RC3 as that's what
the release/1.0.0 branches are using.

Doing this gives us time to do the right thing without having version
clashes on myget.

[tfs-changeset: 1606983]

Merge pull request #5136 from adityamandaleeka/xrtinit_fix

Change how InitAppXRT loads the XRT DLL

Merge pull request #4990 from pgavlin/gh4912

Remove some preprocessor usage from the JIT interface.

Merge pull request #5122 from JohnChen0/timeout

Resolve two issues that cause pri1r2r test timeout on Ubuntu

Inliner: locks for xml read/write access

Move CritSecObject into util.h, and use it to lock around reading
and writing inline Xml. Introduce CritSecHolder for RAII management
of the locks.

Add a simple file position cache for methods to speed up replay
when the inline xml file is large.

Fix broken RHEL debug build link

Merge pull request #5142 from RussKeldorph/delexcl

Remove ryujit_x86_no_fallback_issues.targets

Remove ryujit_x86_no_fallback_issues.targets

We have decided this file isn't useful, so its continued presence
is just confusing.

Merge pull request #5114 from sejongoh/mark_jit_opt_sensitive

Add JitOptimizationSensitive property to GC/API/WeakReference/IsAlive…

Merge pull request #5133 from adiaaida/disableStringarr_cs_ro

Disable stringarr_cs_ro for x86 RyuJIT

Merge pull request #5139 from leculver/shutdown

Prevent core dumps at shutdown due to ETW subsystem

Disable debugger termination to prevent shutdown race

Fixed another instance where debugger shutdown would race with ETW subsystem, causing segfaults.

Shrink AsyncMethodBuilder.MoveNextRunner by a field in common case (#5131)

When an async method yields for the first time, there are several allocations, including a "MoveNextRunner" object that used to store the state machine and an ExecutionContext.  However, for the common case where a default ExecutionContext is being used, we can avoid needing that field.  For the simplest async method, this can reduce the total size of the allocations by ~4%.

(It would be nice in this case to be able to get rid of the MoveNextRunner entirely.  However, the Action delegate that gets created needs to be stored into the builder before the builder is boxed to the heap, so that the cached delegate gets boxed with it; otherwise, the second yield in the async method will end up needing to reallocate the delegate.  Since delegates are immutable, if the delegate was to point directly to a method on the boxed object, we would need to first have the object, a catch-22.  So the MoveNextRunner serves as an intermediary that lets us create the delegate, store it into the struct builder, then box the builder, and then store the boxed object into the runner.)

Merge pull request #5124 from gkhanna79/Fix4940

Throw InvalidProgramException when VarArgs are encountered

Fix multiple LTTng issues (#5068)

- Only emit LTTng events when LTTng is enabled.  We now use the tracepoint_enabled macro to check if an event is enabled...when the version of lttng is installed that supports it.
- Unsplit LTTng events.  Previously we split LTTng events when they exceeded the field limit of LTTng.  Now we emit those events as a raw byte array so that it matches their windows ETW counterparts byte-for-byte.
- Emit any event with a struct or embedded array as a raw byte array too.  The structure of memory that LTTng emits is incompatible with our ETW parsing.  Changing events with struct/array fields greatly simplifies the parsing of events.

Expose GetUninitializedObject on RuntimeHelpers  (#5104)

* In coreclr, expose GetUninitializedObject on RuntimeHelpers

* Include RuntimeHelpers.GetUninitializedObject in model.xml

Remove some preprocessor usage from the JIT interface.

This fixes most of #4912.

- The usage of `USE_ASM_GC_WRITE_BARRIERS` has been removed. The type it guarded is
  now always defined.
- The JIT helpers that were guarded by `_TARGET_X86_` are now always defined.
- The intrinsic that was guarded by `_WIN64` is now always defined.

Merge pull request #5123 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #5132 from kouvel/NamedMutexFix

Fix a few bugs in named mutexes

Resolve two issues that cause pri1r2r test timeout on Ubuntu

* Fix Ready-to-Run image for System.Numerics.Vectors.dll.
* Disable tests\src\Loader\classloader\generics\regressions\DD117522\Test.cs,
  which contains an infinite generic type recursion. It causes CrossGen to
  crash with stack overflow on Windows, and timeout on Ubuntu. Temporarily
  disabling this test until we can properly fix it.

Load XRT DLL from System32, and only on Win8+.

Merge pull request #5105 from ellismg/fix-corefx-3467

Ignore empty collation elements in EndsWith

Merge remote-tracking branch 'upstream/master' into from-tfs

Fix line endings in src/vm/jitinterface.h

Disable stringarr_cs_ro for x86 RyuJIT

This tests fails intermittently in the CI.

Fix a few bugs in named mutexes

- When using pthread mutexes, if the mutex tells us that it was abandoned (due to owning process abruptly shutting down), it was calling ReleaseMutex (which takes a handle) on the pthread mutex object. It shouldn't be releasing the lock anyway.
- When a locked mutex is closed, it wasn't being removed from the owner thread's list of owned named mutexes. This case should be treated as abandoned.
  - Since this could potentially happen from a different thread too, added the lock owner thread to the process data, added a critical section around list operations, and I now remove the process data from the owner thread's list on Close.
- Parent/child named mutex pal tests:
  - Cleaned up tests by refactoring the setup/cleanup code
  - Fixed a race where the parent may start a new child test before the previous child test closes its events
  - Added new tests for verifying that a mutex is locked after it reports that it was abandoned, and abandoning by closing a locked mutex

Add gchist SOS commands for Unix (#5127)

This change adds HistClear, HistInit, HistObj, HistObjFind and HistRoot
commands to SOS on Unix

Updating the version of buildtools we use to add commit hashes to native binaries (#5103)

Merge pull request #5052 from JohnChen0/r2r

Initial Ready-to-Run tests for generics

Merge pull request #5109 from jashook/b103058_exclude

Mark b103058 as stress sensitive

Merge pull request #5108 from jashook/locals_exclude_min_opts

Mark opt/perf/doublealign/Locals stress sensitive

Fix typo in runtest.sh (#5125)

Signed-off-by: Hanjoung Lee hanjoung.lee@samsung.com

Throw InvalidProgramException when a method with varargs is encountered.

Prevent core dumps at shutdown when the ETW subsystem races with debugger cleanup. (#5066)

Documentation: Add CoreCLR binary folder to test results (#5084)

When we get the test result with ./coreclr/tests/runtest.sh,
it is difficult to classify the build mode that we used after some days.

Let's add information of the CoreCLR binary folder in order to
know easily the build mode between debug-build and release-build mode.

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>

Implementation of the following generic dictionary entries for R2R: (#5079)

MethodDescSlot
        MethodEntrySlot
        DispatchStubAddrSlot

Merge pull request #5111 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #5121 from dotnet/revert-5075-Fix4940

Revert "Change to reject varag methods"

Merge pull request #5030 from kouvel/NamedMutex

Add named mutex for cross-process synchronization

Merge pull request #5115 from brianrob/corelib_perfmap

Generate perfmap symbol file for System.Private.CoreLib

Revert "Change to reject varag methods"

Merge pull request #5075 from gkhanna79/Fix4940

Change to reject varag methods

Merge pull request #5118 from ramarag/fixexchangeTStest

Removing ' from bash command line

Merge pull request #5092 from yizhang82/icastable-fix2

Fix x86 only ICastable feature bug when we pass RuntimeTypeHandles

Merge pull request #5085 from sivarv/tcfix

Tail call test failure fixes.

Add some quirk and versioning flags and change some preprocessor symbols into fields of CORINFO_EE_INFO.

The quirk flags--CORJIT_FLG2_JIT32_QUIRKS and CORJIT_FLG2_JIT64_QUIRKS--are passed by the EE to request that the JIT
generate appropriately compatible executable code. These flags are only passed on x86/Windows and x64/Desktop/Windows,
respectively.

Version numbers for GC and EH info have been added to CORINFO_EE_INFO. The EE sets these versions to indicate the
formats of the aforementioned data that it supports.

CORINFO_PAGE_SIZE and MAX_UNCHECKED_OFFSET_FOR_NULL_OBJECT have been converted to fields on CORINFO_EE_INFO.

[tfs-changeset: 1606533]

Removing ' from bash command line

Generate perfmap symbol file for System.Private.CoreLib.

Merge pull request #5067 from AndyAyersMS/CalleeHashInXml

Inliner: small changes to inline xml

Baseline more tests

Fix case-sensitive issue on Linux (#5086)

Fix #5035

The file paths should be case-sensitive on Linux.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Add JitOptimizationSensitive property to GC/API/WeakReference/IsAlive.csproj and GC/API/GCHandle/Weak.csproj

The testcases could fail if a reference is assigned to a stack temp.

Add named mutex for cross-process synchronization

Fixes #3422

- On systems that support pthread process-shared robust recursive mutexes, they will be used
- On other systems, file locks are used. File locks unfortunately don't have a timeout in the blocking wait call, and I didn't find any other sync object with a timed wait with the necessary properties, so polling is done for timed waits.

Shared memory files:
- Session-scoped mutexes (name not prefixed, or prefixed with Local\) go in /tmp/coreclr/shm/session<sessionId>/<mutexName>
- Globally-scoped mutexes (name prefixed with Global\) go in /tmp/coreclr/shm/global/<mutexName>
- Contains shared state, and is mmap'ped into the process, see SharedMemorySharedDataHeader and NamedMutexSharedData for data stored
- Creation and deletion is synchronized using an exclusive file lock on the shm directory
- Any process using the shared memory file holds a shared file lock on the shared memory file
- Upon creation, if the shared memory file already exists, an exclusive file lock is attempted on it, to see if the file data is valid. If no other processes have the mutex open, the file is reinitialized.
- Upon releasing the last reference to a mutex in a process, it will try to get an exclusive lock on the shared memory file to see if any other processes have the mutex opened. If not, the file is deleted, along with the session directory if it's empty. The coreclr and shm directories are not deleted.
- This allows managing the lifetime of mutex state based on active processes that have the mutex open. Depending on how the process terminated, the file may still be left over in the tmp directory, I haven't found anything that can be done about that.

Lock files when using file locks:
- In addition to the shared memory file, we need another file for the actual synchronization file lock, since a file lock on the shared memory file is used for lifetime purposes.
- These files go in /tmp/coreclr/lockfiles/session<sessionId>|global/<mutexName>
- The file is empty, and is only used for file locks

Process data
- See SharedMemoryProcessDataHeader and NamedMutexProcessData for data stored
- Per mutex name, there is only one instance of process data that is ref-counted. They are currently stored in a linked list in SharedMemoryManager. It should use a hash table, but of the many hash table implementations that are already there, none seem to be easily usable in the PAL. I'll look into that and will fix later.
- Refers to the associated shared memory, and knows how to clean up both the process data and shared data
- When using file locks for synchronization, a process-local mutex is also created for synchronizing threads, since file locks are owned at the file descriptor level and there is only one open file descriptor in the process per mutex name. The process-local mutex is locked around the file lock, so that only one thread per process is ever trying to flock on a given file descriptor.

Abandon detection
- When a lock is acquired, the process data is added to a linked list on the owning thread
- When a thread exits, the list is walked, each mutex is flagged as abandoned and released
- For detecting process abruptly terminating, pthread robust mutexes give us that. When using file locks, the file lock is automatically released by the system. Upon acquiring a lock, the lock owner info in the shared memory is checked to see if the mutex was abandoned.

Miscellaneous
- CreateMutex and OpenMutex both create new handles for each mutex opened. Each handle just refers to the process data header for the mutex name.
- Some of the above features are already available in the PAL, but not quite in a way that I can use for this purpose. The existing shared memory, naming, and waiting infrastructure is not suitable for this purpose, and is not used.

Merge pull request #4963 from sejongoh/vector3_clear_upperbits

Vector3 clear upperbits

Ignore empty collation elements in EndsWith

We should ignore empty collaction elements at the end of the string
when doing our EndsWith checks.  This means the match ICU finds might
not span to the end of string, but the only elements after the match
before the end are completely ignorable.

U+00AD (SOFT HYPHEN) is one such case where the codepoint is completely
ignorable.

Fixes dotnet/corefx#3467

Remove the wrong optimization from the string initialization (#5107)

The string initilaization misteknly setting some flag for characters under 0x80
the fix here is just remove this part (per Jan Kotas recommendation)

Merge pull request #5106 from dotnet-bot/from-tfs

Merge changes from TFS

Fix x86 only ICastable feature bug.
When we call ICastable.IsInstanceOfInterface, we treat RuntimeTypeHandle as a OBJECTREF, which is incorrect as-per x86 calling convention since RuntimeTypehandle is a struct that contains a RuntimeType ref field and needs to be passed in stack. Our VM simple call helpers CALL_MANAGED_METHOD doesn't handle this correctly (it does the simple thing that always assume all the arguments are passed in register first). I'm fixing this by using a static method that takes RuntimeType instead of RuntimeTypeHandle, then convert it to RuntimeTypehandle.
Also switch to use PREPARE_NONVIRTUAL_CALLSITE(METHODID) as per Jan's suggestion.
ICastable test is now enabled in x86 for both JITs.

Merge pull request #5074 from jhendrixMSFT/master

Add sign.builds projects to facilitate real signing in official builds.

Missing a check in the Unix part of the code.

[tfs-changeset: 1606433]

Tail call test failure fixes.

Throw InvalidProgramException when a method with varargs is encountered.

Mark b103058 as stress sensitive

This test will not work under min opts, disable it under stress scenarios to address this.

Merge pull request #5099 from kyulee1/fixr2r

ARM64: Fix R2R EntryPoint for Intrinsic

Mark opt/perf/doublealign/Locals stress sensitive

The test is known to not work correctly under JitMinOpts. Disable it from running in that configuration.

Merge pull request #5098 from RussKeldorph/objects

Mark doublealign test as incompatible with GCStress

Merge pull request #5100 from RussKeldorph/gcstress

Fix GCStress=0xC when build(tests).cmd called from outside root

Merge pull request #5091 from gkhanna79/Fix4531

Make Microsoft.NetCore.JIT package dependency of CoreCLR package

Initialize unused upper bits of Vector3 arguments and return registers for
Linux

JIT requires the unused upper bits to be cleared but native compiler
doesn't clear the upper bits. This changes clear those bits for Reverse
PInvoke arguments and PInvoke return.

Initial Ready-to-Run tests for generics

* Added some generics tests intended for testing Ready-to-Run feature.
* Added capability to set ZapRequire=1, to  ensure methods are
  pre-compiled.
* Fix spelling of environment variables for case-sensitive platforms.

Checking in on behalf of JKuhne

Fixing build break in K caused by the long file path work.

[tfs-changeset: 1606374]