Merge pull request #5266 from vancem/EventSoruceComplexTypeFix

EventSource Events that use complex types do not get logged (silently…

Merge pull request #5279 from RussKeldorph/unix_stress

Fix environment settings for Unix JIT stress scenarios

Fix environment settings for Unix JIT stress scenarios

The environment settings necessary to run tests in these modes were being
dropped.  They need to be tunneled through properly in a couple of places.

Fixes #5278

Fix GCStress 0xC on Unix (#5276)

This change fixes GCStress 0xC on Unix that was not working due to the way that
we check that a specific IP is in managed code. To make that check safe,
a precondition checking that the thread is in cooperative GC mode was added
some time ago. But that causes a problem with the GCStress 0xC and PInvoke
stubs. The PInvoke stub switches to preemptive mode at some point and when
the code beyond that point is instrumented and the corresponding hardware
exception occurs, the exception address is not evaluated as being in managed
code and so the exception terminates the application.
This fix excludes the safety check of GC mode when we are running with GC stress
mode 8 or 4 (or both -> 0xc).

Merge pull request #5225 from ellismg/add-additional-packages

Add Fedora, OpenSuse and Ubuntu 16.04 packages

Merge pull request #5260 from CarolEidt/Fix5116

Recognize Vector<T> constructors for small ints

Fix System.Diagnostics.StackTrace symbol issue (#5265)

* Fix System.Diagnostics.StackTrace symbol issue

* Code review feedback.

* Code review feedback.

Merge pull request #5249 from kyulee1/divzero

ARM64: Fix Liveness update for Division By Zero

Fix sos ClrStack print of GC frames for ARM/Linux (#5178)

Fix issue #5037

Merge pull request #5270 from briansull/issue-5264

Proposed fix for #5264

Fix debuggertests failures OSX. (#5267)

The change that triggered the failures was going to a separate JIT module with its own PAL. The reason is a problem in the OSX exception forwarding a single-step exception: to forward/chain an exception to the next PAL the exception we restore the registers at the point of the exception and retry the it. For all the hardware exceptions this is fine, but for single-step the register state is after the instruction has been stepped so when it is retried and chained to the next PAL another instruction is stepped so the debugger gets notified an instruction after where it wanted. Chaining the single-step exception on Linux doesn’t have this problem because we just basically “jump” to the next PAL/signal handler.

The fix is too only “hook” single-step/breakpoint exceptions in the coreclr module/PAL (yet another PAL_INITIALIZE flag) and not in the JIT module (or any other non-coreclr PALs).

Fix for clrstack after bpmd (#5051)

related issue : #4672 #5037

Merge pull request #5262 from JohnChen0/issue5201

Fix generic non-virtual method call in Ready-to-Run images

Fix generic non-virtual method call in Ready-to-Run images

Issue #5201 revealed a bug in the Ready-to-Run implementation.
This bug can cause the runtime to dispatch a method call to the
wrong target when all the following conditions are met:
* A shared generic method in a Ready-to-Run module calls a method
  in a shared generic class.
* The target is a non-virtual instance method, but is called through
  callvirt instruction (as C# compiler normally does).
* The target is in a different module.
* The target method is defined in a base class, while the actual
  object instance is of a derived class.

This commit fixes this bug by changing a virtual call to a regular
call when the target is non-virtual.

ARM64: Fix Liveness update for Division By Zero

We've missed updating liveness when converting division by zero to a
throw. This fixes an assertion failure in `assert(!varDsc->lvIsRegCandidate());` in
codegenarm64.cpp/L1903.
genConsumeOperands() is factored out of genCodeForBinary(). The call sites
appropriately invoke genConsumeOperands() to update liveness.

Merge pull request #5238 from prajwal-aithal/devel/arm-ci-fix

ARM-CI: fixing umount bug

Merge pull request #5217 from AlexGhiondea/updateTargetingPack

Include System.Private.CoreLib in the targeting pack next to the mscorlib facade

Proposed fix for #5264

Add Fedora, OpenSuse and Ubuntu 16.04 packages

 - Add packages for Fedora 23 and OpenSuse 13.2
 - Move the package authoring for Ubuntu into versioned folders
 - Update our selection logic for what to produce to be based on an
   actual RID instead of just a distro name, since that's now not enough
   with us building for two Ubuntu versions

EventSource Events that use complex types do not get logged (silently ignored)

When complex types were added to EventSource (in V4.6) there was a latent bug where if the event had specified keywords
the event would not be emitted to TraceEvent-style ETW controlers (e.g. PerfVIew).    Basically there was confusion
between a session bitmask (where the bits were 0, 1, 2,  and 3), and the ETW keywords bitmask (which the 'ToEventKeywords()
morphs them to a Keywords Bitmask.)

This bug has existed foa a while, but we are now using both of those features (keywords and complex types), in the
DiagnosticEventSource and when we started to really use it we found the problem.

You will see in lines 1221 and 1242 is another code path that was already fixed, but we missed the cose path at 1977 and 1998.

This needs to be back-ported to the Desktop framework as well.

Merge pull request #5256 from kyulee1/testupdate

ARM64: A few Test List Update

Merge pull request #5144 from gkhanna79/RelaxALC2

Enable overriding TPA assemblies

Recognize Vector<T> constructors for small ints

Fix #5116

Merge pull request #5239 from AndyAyersMS/TrackCallOffsets

Track call offsets

ARM64: A few Test List Update

CircleInConvex seems to pass after HFA work is merged.
test147911 is about getting hardwared EH (division by zero) which is not
triggered by our arm64 box. So, I exclude it.

Merge pull request #5230 from gkhanna79/FixWinMD

WinMD Adapter should only lookup mscorlib in WinMD references

Merge pull request #5252 from mmitche/skip-archiving-tests-for-stressmodes

Skip archiving windows test data

Skip archiving windows test data

We don't need it for downstream stress builds on non-Windows platforms (they use the plain build)

Merge pull request #5203 from jhendrixMSFT/master

Add retry logic when downloading the CLI from Azure blob storage.

Merge pull request #5235 from LLITCHEV/r2r-jitstress-only-checked

Don't do r2r-jitstress jobs for non Checked configurations.

Merge pull request #5196 from briansull/arm64-hfa-args

ARM64: ABI - Passing HFA struct arguments in floating point registers

Merge pull request #5206 from kouvel/ShmCreateDirectoryFix

Fix shm directory creation for named mutexes

Add retry logic when downloading the CLI from Azure blob storage.

Downloading from Azure can transiently fail for a number of reasons. Add
some retry logic when downloading to avoid transient failures. For *nix
variants add a retry value when using curl (wget retries by default).

Don't do r2r-jitstress jobs for non Checked configurations.

Merge pull request #5231 from jashook/build_fix

arm32 build fix.

Typo Fix: from preemtive GC to preemptive GC (#5237)

This is just to fix typo.

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>

Linux/ARM: Regression fix in release build since "UNW_ARM_UNWIND_METHOD=6" (#5126)

> https://github.com/dotnet/coreclr/pull/3502/
>   Fix Stack Unwind Behavior of Libunwind-ARM

We have been getting the 300+ failures(in ./JIT/ directory) in release-build
mode whenever we have always run CoreCLR unit-test since
https://github.com/myungjoo/coreclr/commit/35b5df6888f1574e6ef9313c6bc8522d1817573d.
(Reference - https://wiki.linaro.org/KenWerner/Sandbox/libunwind#overhead_of_the_ARM_specific_unwind-tables)

With recent fixes on stack unwindings, it appears that we no more send ambiguous
requests to libunwind-arm.(Checked by @myungjoo, with cases of #3462)

From now on, let's remove the unwind environment variable (e.g., UNW_ARM_UNWIND_METHOD=6)

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>
Acked-by: MyungJoo Ham <myungjoo.ham@samsung.com>
CC: Ben Pye <@benpye>
CC: Jan Kotas <@jkotas>
CC: Matt Mitchell <@mmitche>

Merge pull request #5227 from swgillespie/timeout-increase

Increase the timeout of long GC tests

ARM-CI: fixing umount bug

* Previous PR #5209 did not check if rootfs is mounted before unmounting
* Build fails due to failed command
* Fixing this by unmounting only if rootfs is already mounted

Signed-off-by: Prajwal A N <an.prajwal@samsung.com>

Enable HFA support for passing arguments on ARM64
   Fixes #4946 ARM64: ABI - Passing HFA struct arguments in floating point registers
   We are now passing 24 additional HFA tests and have one test regression

   Previously HFA support was enabled on ARM32 using #ifdef _TARGET_ARM_
   Now HFA support is enabled for both platform using #ifdef FEATURE_HFA
   Note that FEATURE_HFA is a VM defined and enable only for platforms that have HFA support
   The VM is responsible for determining if a stuct is a HFA or not
   The JIT Calls this method CorInfoType CEEInfo::getHFAType(CORINFO_CLASS_HANDLE hClass) to identify HFA types
   Note that when using an AltJit targeting Arm32 or Arm64 we will never see an HFA type

In CodegenArm64.cpp
Method genPutArgStk
   Implement passing of HFA structs on the stack
   Refactored to handle both 16-byte structs and HFA struct
   Track GC types for the 16-byte structs or he floating point types for HFA's
   Use ldp when we have a 16-byte struct with no GC pointers
   Added asserts to check that we never write past the end of the outgoing arg area

In CodegenCommon.cpp
Method genFnPrologCalleRegArgs
   Implement the homing of incoming HDF variables
   These are currently homed into a stack based struct as we did for ARM32
   Use floating point types and registers when handling HFAs
   Added asserts to check that we never write past the end of the stack based struct

Added Dump method for fgArgTabEntry to display how arguments will be passed
Added GetNextSlotNum for fgArgInfo which returns what stack offset we would use for the next stack base argument
Fixed tree dump so that it can print multireg struct arguments

In Morph.cpp
Method ArgsComplete
   We currently chose to spill odd sized structs (11,13,14,15 bytes in size) into a GT_LCL_VAR temp so that we don't
   need to use more than two instructions to pass a GT_OBJ struct.  (Since we cannot read beyond the end of a GT_OBJ struct)
Method fgMorpgArgs
   Handle HFAs for multireg and stack arguments
   In this method 'size' is the number of registers used when passing an argument in registers
   or the number of TARGET_POINTER_SIZE stack slots when passing them on the stack
   For HFA this means that 'size' can change if we can't pass them using registers.
   Use new Dump method to print out how each argument is passed (what register or what stack slot)
Method fgMorphMultiregStuctArg
   Implement the expansion of multireg HFA arguments into GT_LISTs
   Refactored to handle both 16-byte structs and HFA struct
   Track GC types for the 16-byte structs or he floating point types for HFA's

Changes from code review feedback

Merge pull request #5207 from pgavlin/gh5202

Limit the exports of libclrjit.{so,dylib}.

Merge pull request #5220 from adityamandaleeka/force_gc_concurrent

Check CLRConfig value explicitly to determine whether concurrent GC was forced

Inliner: enable minimal xml mode

Allow production of minimal inline xml, which only contains entries
for methods with inlines. Enabled if `JitInlineDumpXml = 2`.

Since the default for inline replay is noinline, replaying minimal
versus full xml should give the same result.

Inliner: use offset in xml replay

Replay needs the ability to distinguish among multiple calls to the same
callee. The IL offset of the call site can be used for this, so start
checking for it during replay.

Note there is subsequent follow-up work to ensure that we actually track
offsets for calls.

Refactor the way the ReplayPolicy gets notified of the current inline
context (and the IL offset of the call). Instead of trying to pass
this information as arguments to the factory method that creates
policies, add special notifications for this information that only the
ReplayPolicy will act upon.

JIT: Track IL offset of all calls

The jit normally only does sparse IL offset tracking. This makes it
difficult for the jit to consistently describe call sites, especially in
cases where there are multiple calls in a statement or calls from inlined
methods.

Because the current IL tracking is intimately tied up with debug
emission, we can't simply start tracking offsets more broadly. This
change introduces a separate `gtRawILOffset` field for calls. The
new field currently only exists in debug and inline data builds.

Since `impImportCall` was the only caller of `impCurILOffset`, I
refactored the code to have callers pass the raw offset so it could
be recorded on the call. `impImportCall` converts this raw offset to
the reportable IL offset as befre. I've also updated the banner comment
to the new style and fixed a few small CC violations.

Merge pull request #5187 from AndyAyersMS/InlineXmlData

Inliner: integrate data into inline Xml

Merge pull request #5216 from AlexGhiondea/restorePackageVersion

Restore the package version to 1.0.2 for the CoreCLR package

Merge pull request #5209 from prajwal-aithal/devel/arm-ci-fix

ARM-CI: Mount Linux ARM emulator rootfs during each build

arm32 build fix.

Add an #else statement so that an unreachable return statement is not inserted.

WinMD Adapter should only lookup mscorlib in WinMD references

Merge pull request #5219 from ellismg/improve-corefx-copy-logic

Fix runtest.sh issues

Increase the timeout of long GC tests

Merge pull request #5221 from tarekgh/UpgradeUnixBuildToUnicode8

Upgrade Linux build to use Unicode 8.0

Remove CORECLR_CONCURRENT_GC from Unix coreruncommon.

Be more explict when picking up libs from CoreFx

There's no contract in the CoreFx build layout that enforces an assembly
is only in one location in the resulting binaries folder. Different
projects may have different versions of dependent assemblies SxS with them
in their output folder.

To work around this, update the copy logic to use the folder name to
determine what assembly to copy from it.

Merge pull request #5224 from wtgodbe/runtestFix

Add missing quote in new runtest.cmd arg

Add missing quote in new runtest.cmd arg

Limit the exports of libclrjit.{so,dylib}.

Properly set the necessary linker options to limit libclrjit's exports
on *nix platforms. This change also includes some minor cleanup to the
JIT's various CMake list files.

Upgrade Linux build to use Unicode 8.0

We have done this upgrade for Windows awhile ago. the change here is to do the same for Linux
The fix should take care with the issue https://github.com/dotnet/corefx/issues/7351

Explicitly check CLRConfig value to determine whether concurrent GC was forced.

Include System.Private.CoreLib in the targeting pack next to the mscorlib facade.

Restore the package version to 1.0.2 for the ILAsm/ILDAsm packages.

This change also updates the reference to the CoreCLR package to 1.0.2. (the updated version).

Merge pull request #5184 from adiaaida/x86LongCallImp

Enable FEATURE_MULTIREG_RET for x86 RyuJIT

Restore the package version to 1.0.2 for the CoreCLR package

This will ensure the package version is consistent with our other packages.

Enable FEATURE_MULTIREG_RET for x86 RyuJIT

This change enables the following:

1) Enable FEATURE_MULTIREG_RET for x86 RyuJIT, which is used for calls
with long return types.

2) Enable ReturnTypeDesc for x86 RyuJIT to describe the return types for
longs. Included in this is setting up the correct number of return
registers for longs on x86, and setting up the correct registers for long
returns. This is required for enabling impFixupCallLongReturn. Add Reset
function for ReturnTypeDesc for future work to reset ReturnTypeDesc to the
defaults.

3) Enabling HasMultiRegRetVal for longs on x86.

4) Enabling impFixupCallLongReturn and impAssignStructClassToVar for x86
longs. Sets up the call's ReturnTypeDesc and sets lvIsMultiRegArgOrRet for
long's tmp. Rename impAssignStructClassToVar to
impAssignMultiRegTypeToVar.

Fix shm directory creation for named mutexes

- Creating a directory involves mkdir and chmod. Due to this, there could be a race where one process running as one user creates the directory but does not update permissions for all uses to have access, and at that point another process tries to use the directory.
- Fixed by creating a temp directory using mkdtemp(), chmod to set appropriate permissions for all users, and rename the directory. This is only done when a global lock is not held during the directory creation operation (applies only to /tmp/.dotnet and /tmp/.dotnet/shm).
- Tested manually by adding sleeps at the race points with a second process running as a different user, to make sure it works in any order.

arm-softfp: make toolchain.cmake consistent among different arm archs (#5210)

Fixes #5177

Signed-off-by: Prajwal A N <an.prajwal@samsung.com>

Merge pull request #5208 from sergiy-k/runtestoverlay

Update runtest.sh to accommodate a change in CoreFX

ARM-CI: added a fix to mount Linux ARM emulator rootfs during each build

* Previous PR #4141 assumed that the rootfs is mounted
  throughout the lifespan of the CI machine
* Changing this to mount and unmount everytime a build is triggered

Signed-off-by: Prajwal A N <an.prajwal@samsung.com>

Update runtests.sh to accommodate a change in CoreFX that broke creation of CoreOverlay on Unix platforms

[ARM/Linux] Fix incorrect return marshaling in PInvoke stub (#5010)

* Revises compMethodReturnsMultiRegRetType for ARM

For ARM, the current implementation of 'compMethodReturnsMultiRegRetType'
always returns false.

Unfortunately, this behavior is inconsistent with JIT importer. JIT impoter
attempts to merge various return statements as one statement via inserting
an assignment statement just before each return statement if there are more
than 4 returns.

If the method of interest has a return value, then JIT importer
introduces a local temporary variable, and use it to return value.

Due to the above implementation, JIT importer never generates a return
variable, which results in assertion violation insider JIT morph, which
is discussed in #5009.

This commit attempts to fix #5009 via implementing 'compMethodReturnsMultiRegRetType'
for ARM.

* Uses compRetNativeType instead of compRetType

* Fix typo '_TARGET_ARM' as '_TARGET_ARM_'

Support the CORE_LIBRARIES environment variable on Unix (#5112)

Mimic the Windows behavior by adding to the search path of native dlls
the content of the CORE_LIBRARIES environment variable.

Fix Guid's GetHashCode to work better (not ignore parts of it) (#5191)

A common pattern is that the last bits of the GUID are the most unique, however our current hash code ignores most of them.
Fix this to simply XOR all bits in the GUID 32 bits at a time.   This is more efficient and a better hash than what we have currently.

Improve vtbl matching loop in DacGetVtNameW. (#5179)

Fix filter funclet handling during stack walk on Unix (#5183)

The filter funclets are not handled correctly during stack walk on Unix. When
the funclet's parent frame is reached, the filter funclet was mistakenly handled
as a non-filter funclet by the Unix specific code that is used to figure out
parent frames of funclets from exception trackers.
The fix is to skip this Unix specific code when we are looking for a parent of
a filter funclet. Filter funclet frame is always on the stack when the stack
walk reaches its parent frame.

Merge pull request #5153 from LLITCHEV/r2r_jitstress_jobs

Add R2R JitStress, JitStressRegs, JITMinOpts and ForceRelocs jobs to CI.

Added jit related R2R jobs.

Added jobs for R2R jitstress, jitstressregs, JITMinOpts and ForceRelocs testing.

Merge pull request #5192 from wtgodbe/updatePublishedVersions

Add PowerShell script to update latest package version info in Versions repo

Add PowerShell script to update latest package version info in Versions repo

Merge pull request #5129 from leemgs/upstream-diff-time-of-unittest

Linux/ARM: Display execution time of ./tests/runtest.sh

Inliner: integrate data into inline Xml

Refactor the inline data dumps (the dumps that capture the observations
made by the inliner when evaluating an inline) so that the data can be
added to the inline Xml or dumped as standalone data.

I haven't tried to Xml-ify the actual data. Just dumping it as a large
comma delimited string is ok for now.

Merge pull request #5171 from wtgodbe/syncFix

Update sync.cmd to download Azure Blobs. Also change publish.proj to …

Merge pull request #5180 from RussKeldorph/jit32va

Exclude varags tests for JIT32

Exclude varags tests for JIT32

Add same exclusions as added for other platforms in #5124.  These were
missed because we don't have JIT32 testing on dotnet-ci.

Merge pull request #5170 from kouvel/NamedMutexPalTestFix

Fix intermittent test failure in paltest_namedmutex_test1

Merge pull request #5173 from kyulee1/ilasmpack

ILAsm/ILDAsm Package

ILAsm/ILDAsm Package

Fixes #5172
This has dependency on CoreCLR.
Use the same version 1.0.3 as CoreCLR.

Tested both packages are produced in Windows/Linux locally.

Add R2R JitStress, JitStressRegs, JITMinOpts and ForceRelocs jobs to CI.

Merge pull request #4884 from JeremyKuhne/JeremyKuhne-linuxhandles

Update file handle steps

Linux/ARM: Add execution time of ./tests/runtest.sh

We have to wait for a long time to complete all unit tests on the ARM-based
embedded boards (e.g, Raspberry Pi, Odroid, Chromebook) compared to the
X86-based server environment. So, let's display execution time after finishing
the unit test.

* After PR:
128 minutes and 36 seconds taken to run CoreCLR tests.

ver1:
The existing measured time still includes overlay creation and some
package restoration. So, let's put time_start in front of
if($testDirectories).

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>
Reviewed-by: Aditya Mandaleeka <adityamandaleeka@microsoft.com>
Reviewed-by: Sergiy Kuryata <sergiy-k@microsoft.com>

Update sync.cmd to download Azure Blobs. Also change publish.proj to publish packages into symbol/pkg directories

Merge pull request #5167 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #5042 from leemgs/upstream-display-clang-ver

Linux/ARM: display default clang version info at build-time

Fix intermittent test failure in paltest_namedmutex_test1

Fixes #5169:
- Child thread/process was not closing their test mutex before indicating completion to the parent thread/process
- Fixed by enclosing the actual child test code in braces to force closing before the cleanup code runs. This is a minimal fix for the issue, I have a separate change that generally improves and refactors the tests further.

Change Unix HW exception unwinding to not to go through signal trampoline (#5140)

This change modifies the HW exception handling on Unix so that it doesn't unwind
from the context of the DispatchManagedException through the signal trampoline
to the actual location of the exception and uses the exception's context instead.
This fixes problem that some target systems like ARM Linux have with unwinding
through that trampoline.

Add missing #ifdef FEATURE_ICASTABLE

[tfs-changeset: 1607333]

Merge pull request #5145 from kyulee1/newtest2

ARM64: Test Binary Update (afa7fe5486fc90fec7df52bd134b789c568c8b45)

Merge pull request #5159 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #5146 from dotnet-bot/from-tfs

Merge changes from TFS

Update tests to build against rc3-24117-00 (#5154)