Fix Details for ILAsm/ILDasm/ClrJit Binaries

Fixes https://github.com/dotnet/coreclr/issues/5408

Speed up CreateComparer in Comparer/EqualityComparer (#5315)

Fix for issue 5343: Assert Failure: !"Cannot take the address of an uninstantiated generic method." (#5347)

The problem was that the delegates code base was not correctly instantiating interface GVMs on target types
(after finding the target method on the target type using slot numbers), and ended up calling uninstantiated
generic method definitions on delegate invokes.

Merge pull request #5372 from kyulee1/eh11

ARM64: eh11_large exclusion

Merge pull request #5376 from wtgodbe/publishFix

Publish packages into folders named for their configuration

Publish packages into folders named for their configuration

Merge pull request #5306 from jamesqo/jitdump-docs

Add new document on how to setup/view JIT dumps

ARM64: eh11_large exclusion

This test often fails in release run.

Merge pull request #4918 from stephentoub/task_parent_size

Shrink Task size by 10%

Add new document on how to setup/view JIT dumps

Remove duplicate avoid in comments from a few files (#5363)

Remove double avoid in comments

Merge pull request #4909 from lemmaa/unit-test-enhancement

Add extra options to 'runtest.sh' for effective test monitoring.

Add more Ready-to-Run generics tests (#5190)

ARM/Linux: Fix Exception Handler PAL Test Fail (#5360)

The return address should be kept intact, not recovered
just yet. It is going to be recovered by libgcc's
rescore_core_regs much later, few instructions before
heading back to "catch".

Fixes #5358

Comment typo fix: removed double word (#5359)

The overflow check comment for AllocateStringFastMP_InlineGetThread contained an extra "avoid".

Fix JIT PInvoke Check Failure on Linux/ARM (#5322)

Disable SP check on ARM

Merge pull request #5350 from pgavlin/gh5292and5286

Mark two tests as always optimized and exclude two others from x86/JI…

Add options to 'runtest.sh'

- '--show-time'
   display execution sequence and approximate running time for each
   test cases.
- '--no-lf-conversion'
   skip LF conversion for each test case script.

Note: `date` on Mac OS X doesn't support `%N` format specifiler.
In this case, we don't need precise time, so just ignore the time
less then a second.

Merge pull request #5353 from ramarag/windowsr2r

Refactoring Arguments passed to runtest.cmd

Refactoring Arguments passed to runtest.cmd

Merge pull request #5340 from pgavlin/ComputeFPlvls

Refactor fgComputeFPlvls

Mark two tests as always optimized and exclude two others from x86/JIT32.

The former tests require optimization in order to pass and the latter require further
deliberation re: the appropriate fix (see #5286 for more info).

Fixes #5292.

Merge pull request #5339 from kyulee1/fixmemset

ARM64: Fix JIT_MemSet

Merge pull request #5335 from swgillespie/gcstress-disable

Disable a large number of GC tests from running under GCStress

Merge pull request #5294 from ellismg/enable-other-distros-for-building

Enable other distros for building

Merge pull request #5334 from pgavlin/LongMathRegparam

Remove LONG_MATH_REGPARAM from the JIT.

Fix for issue 5241: [RTM] Interop\ICastable\Castable\Castable.cmd CONTRACT VIOLATION by ReadyToRunInfo::TryLookupTypeTokenFromName (#5296)

Merge pull request #5301 from RussKeldorph/try2

Second attempt to properly modify environment for stress test modes

Support building on all supported distros

With the updated buildtools, we should now be able to build on all the supported distros:

 - Centos 7
 - Fedora 23
 - openSUSE 13.2
 - RHEL 7.2
 - Ubuntu 14.04
 - Ubuntu 16.06

I also cleaned up how we compute the RID for the tools to restore.

Move gtComputeFPlvls next to gtSetEvalOrder.

Rename fg{FPstLvlRedo,ComputeFPlvls} to gt*.

This variable and function are more appropriately grouped with the GenTree-related
funcaionality, as they are peers of gtSetEvalOrder.

ARM64: Fix JIT_MemSet

Init value should be treated as an unsigned char.

Disable a large number of GC tests from running under GCStress

Remove LONG_MATH_REGPARAM from the JIT.

This symbol was never defined as true, and as such the various bits of code predicated
on it were dead. This change removes the symbol and its associated code.

Merge pull request #5189 from AlexGhiondea/buildPackage

Include the targeting pack in the build process.

Port String.IndexOf(char) and LastIndexOf(char) from CoreRT (#5327)

Update Windows instructions (#5312)

* Small improvements to Windows instructions

* copy missing System.Private.CoreLib.dll

* syntax highlighting

* Use ref assemblies from CoreFX instead of NuGet

* Used AnyOS directories for CoreFX assemblies

Also use built facade assemblies.

AnyOS directories are safer, since they don't rely on tests to be built.

(Building main project usually creates just AnyOS, building test project creates the Windows_NT version.)

Update tryrun.cmake for arm-softfp (#5323)

Updates tryrun.cmake for ARM cross build (#5317)

Enable 'System.Private.CoreLib.dll' build on cross build mode (#5320)

Currently, build.sh uses 'BuildOS' and 'BuildArch' to determine whether
it is possible to build 'System.Private.CorLib.dll'.

This commit revises build.sh to use 'HostOS' and 'HostArch' instead of
'BuildOS' and 'BuildArch' when it checkes whether it is possible to
build 'System.Private.CoreLib.dll', which allows to build
'System.Private.CoreLib.dll' in cross build mode.

Fix: if errorlevel 0 is almost always true (#5308)

Explanation: if errorlevel n actually tests if the errorlevel is
greater than or equal to n. See: http://ss64.com/nt/if.html

Merge pull request #5240 from wateret/mscorlib-arm-softfp

Support CoreLib build for arm-softfp

Merge pull request #5087 from myungjoo/fix/4859/janvorli_suggestion

Fix/4859 Unit Test 143837 Fail

Avoid unnecessary ContingentProperties allocations

We don't need to allocate it for child tasks if there isn't actually a parent.

Make m_contingentProperties non-volatile

Most accesses, including those to get the recently moved m_parent field, do not need to be volatile.  This commit makes the field non-volatile and then adds usage of Volatile.Read only where needed.

Move Task's m_parent to ContingentProperties

Shrinks the size of Task by 10% in the common case (when ContingentProperties doesn't need to be expanded).

Fix ucol_setMaxVariable detection for Gentoo Linux (#5309)

The issue was the symbol is exported by the ICU lib. Including headers
was not enough. The linker requires the libraries to succeed.

With this fix, CoreCLR successfully builds on Gentoo Linux 100%.
Tested with LXC gentoo container on Ubuntu machine.

Steps to configure and build:
https://gist.github.com/jasonwilliams200OK/1a2e2c0e904ffa95faf6333fcd88d9b8

Fix #5160

Don't use libstdc++ wrappers for stdlib.h (#5304)

This prevents #undef of min/max macros. Refs #5006.

ARM: Remove workaround no more required

With recent concrete unwinding/exception handling routines
of coreclr-arm-linux, we no longer need this workaround.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

ARM/THUMB PC Least Bit Set for Range Check

Fix #4859

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Merge pull request #5093 from wateret/fix-returnstruct-arm-softfp

Fix Assert Error "Unexpected size when returning struct by value" on …

Merge pull request #5307 from ellismg/fix-rhel-build

Fix RHEL 7 Build

Fix RHEL 7 Build

There were two issues:

 - $__BuildArch is not defined in init-tools.sh, so we would always
   download the ubuntu version of the CLI, since our check for
   `rhel.7.2-x64` would never fire.

 - There was a small RHEL specific bug in BuildTools itself that
   manifested when we actually were able to download the CLI and try to
   restore the runtime.

Merge pull request #5290 from joperezr/AddingCommitHashToManagedLibraries

Adding commit hash to all built binaries.

Ensure Ready-to-Run module is activated in generics dictionary lookup (#5288)

Under certain conditions, a Ready-to-Run module is not yet fully
activated when its contents are used. This can cause asserts in
debug build. It can also cause module constructor to be run too late.

Merge pull request #5299 from CarolEidt/FixArm64

Fix a build break due to PR #5101

Merge pull request #5295 from adityamandaleeka/noexcept_nothrow_new

Add noexcept specifier to some non-throwing new operators

Remove the dnvm-based installation instructions from the docs (#5271)

* Replace DNX docs with a link to the official .NET website

* Group Get/Learn About .NET Core into one section

Merge pull request #5236 from leemgs/upstream-buildtest.cmd-help-update

Documentation: Adding flag descriptions of unit test scripts

Second attempt to properly modify environment for stress test modes

My amateurish bash skills are showing.  I forgot that you have to
source a script to modify the environment, though, to be fair, this
line was already here when I got here. :)

Fix the named semaphore leak on OSX (and Linux) (#5269)

* Change the dbgshim launch handshake back.

The debugger side now creates the name semaphores like before and the transport pipe
existence determines that coreclr is ready.

Changed when the transport pipes are created: synchronously on the main thread.

Correctly set and check the HAVE_PROCFS_* defines.

* Code review feedback.

Fix Assert Error "Unexpected size when returning struct by value" on arm-softfp

For only arm-softfp there is an assert error when returning struct as value.

Fixes #4924

Signed-off-by: Hanjoung Lee hanjoung.lee@samsung.com

Documentation: Adding flag descriptions of unit test scripts

Let's append the meaning of the 'priority' and 'gcstresslevel' flag.
The additional description of the 'priority' flag  is derived from
./coreclr/tests/dir.props. And, that of the 'gcstresslevel' flag is
derived from ./coreclr/src/gc/sample/gcenv.h.

ver2:
Moved 'gcstresslevel' flag from ./tests/buildtest.cmd to ./tests/runtest.*.

ver1:
Added 'priority' and 'gcstresslevel' flag in ./tests/buildtest.cmd

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>

Fix a build break due to PR #5101

The declaration, definition and uses of eeGetMethodFullName
didn't match.

Merge pull request #5263 from briansull/avoid-x8

Avoid using register x8 as it will be used as the RetBuf argument in the future

Merge pull request #5277 from pgavlin/gentree

Remove a redundant recursive call to `gtSetEvalOrder`.

Merge pull request #5257 from Priya91/failingtest

Disable failing test to enable corefx runs.

Merge pull request #5261 from ramarag/gcstress

Refactoring the way GC Stress logic is used while running tests

Avoid using register x8 as it will be used as the RetBuf argument in the future

Placed usage of REG_SPILL_CHOICE under LEGACY_BACKEND and removed them for RyuJit only targets
Moved REG_R8 for ARM64 to later in the REG_VAR_ORDER
Change the definition of REG_PINVOKE_ registers to avoid using REG_R8
Change the definition of REG_TMP_0 and REG_TMP_1 to avoid using REG_R8
 the REG_TMP defines are only used in one place: CodeGen::genEmitGSCookieCheck

Merge pull request #5101 from CarolEidt/FixIssue2554

Use JitFuncInfoLogFile to check if SIMD intrinsics are recognized.

Excluding Weak-GCReferences tests from GC stress runs (#5289)

Adding commit hash to all built binaries.

Introduce a central packages.builds file that controls building the nuget packages.

This removes the need to have individual packages added to the build scripts to generate them.

Merge pull request #5266 from vancem/EventSoruceComplexTypeFix

EventSource Events that use complex types do not get logged (silently…

Merge pull request #5279 from RussKeldorph/unix_stress

Fix environment settings for Unix JIT stress scenarios

Fix environment settings for Unix JIT stress scenarios

The environment settings necessary to run tests in these modes were being
dropped.  They need to be tunneled through properly in a couple of places.

Fixes #5278

Fix GCStress 0xC on Unix (#5276)

This change fixes GCStress 0xC on Unix that was not working due to the way that
we check that a specific IP is in managed code. To make that check safe,
a precondition checking that the thread is in cooperative GC mode was added
some time ago. But that causes a problem with the GCStress 0xC and PInvoke
stubs. The PInvoke stub switches to preemptive mode at some point and when
the code beyond that point is instrumented and the corresponding hardware
exception occurs, the exception address is not evaluated as being in managed
code and so the exception terminates the application.
This fix excludes the safety check of GC mode when we are running with GC stress
mode 8 or 4 (or both -> 0xc).

Merge pull request #5225 from ellismg/add-additional-packages

Add Fedora, OpenSuse and Ubuntu 16.04 packages

Merge pull request #5260 from CarolEidt/Fix5116

Recognize Vector<T> constructors for small ints

Use JitFuncInfoLogFile to check if SIMD intrinsics are recognized.

Although COMPlus_JitFuncInfoLogFile was enabled as a "RETAIL" variable, it
was only opening the file (and not writing to it) in non-DEBUG.
In order to use it, we need to also enable eeGetMethodFullName in release,
which in turn requires type names.
Also, _wfsopen() is not supported in the PAL layer.
However, it appears to work fine without the sharing option, on both Windows
and Linux.
Add a utility class to use the log file to check whether a method has been compiled.
Use it to test that the SIMD intrinsics are not compiled when they are enabled.
Add dir.props to the SIMD test directory to set the COMPlus_JitFuncInfoLogFile
environment variable, and to delete the log file before each test.

Fix #2554

Remove another redundant call to gtSetEvalOrder.

The handling for GT_BOX exhibited the same pattern as that of GT_OBJ.

Fix System.Diagnostics.StackTrace symbol issue (#5265)

* Fix System.Diagnostics.StackTrace symbol issue

* Code review feedback.

* Code review feedback.

Merge pull request #5249 from kyulee1/divzero

ARM64: Fix Liveness update for Division By Zero

Fix sos ClrStack print of GC frames for ARM/Linux (#5178)

Fix issue #5037

Merge pull request #5270 from briansull/issue-5264

Proposed fix for #5264

Fix debuggertests failures OSX. (#5267)

The change that triggered the failures was going to a separate JIT module with its own PAL. The reason is a problem in the OSX exception forwarding a single-step exception: to forward/chain an exception to the next PAL the exception we restore the registers at the point of the exception and retry the it. For all the hardware exceptions this is fine, but for single-step the register state is after the instruction has been stepped so when it is retried and chained to the next PAL another instruction is stepped so the debugger gets notified an instruction after where it wanted. Chaining the single-step exception on Linux doesn’t have this problem because we just basically “jump” to the next PAL/signal handler.

The fix is too only “hook” single-step/breakpoint exceptions in the coreclr module/PAL (yet another PAL_INITIALIZE flag) and not in the JIT module (or any other non-coreclr PALs).

Fix for clrstack after bpmd (#5051)

related issue : #4672 #5037

Merge pull request #5262 from JohnChen0/issue5201

Fix generic non-virtual method call in Ready-to-Run images

Fix generic non-virtual method call in Ready-to-Run images

Issue #5201 revealed a bug in the Ready-to-Run implementation.
This bug can cause the runtime to dispatch a method call to the
wrong target when all the following conditions are met:
* A shared generic method in a Ready-to-Run module calls a method
  in a shared generic class.
* The target is a non-virtual instance method, but is called through
  callvirt instruction (as C# compiler normally does).
* The target is in a different module.
* The target method is defined in a base class, while the actual
  object instance is of a derived class.

This commit fixes this bug by changing a virtual call to a regular
call when the target is non-virtual.

ARM64: Fix Liveness update for Division By Zero

We've missed updating liveness when converting division by zero to a
throw. This fixes an assertion failure in `assert(!varDsc->lvIsRegCandidate());` in
codegenarm64.cpp/L1903.
genConsumeOperands() is factored out of genCodeForBinary(). The call sites
appropriately invoke genConsumeOperands() to update liveness.

Merge pull request #5238 from prajwal-aithal/devel/arm-ci-fix

ARM-CI: fixing umount bug

Merge pull request #5217 from AlexGhiondea/updateTargetingPack

Include System.Private.CoreLib in the targeting pack next to the mscorlib facade

Proposed fix for #5264

Add Fedora, OpenSuse and Ubuntu 16.04 packages

 - Add packages for Fedora 23 and OpenSuse 13.2
 - Move the package authoring for Ubuntu into versioned folders
 - Update our selection logic for what to produce to be based on an
   actual RID instead of just a distro name, since that's now not enough
   with us building for two Ubuntu versions

EventSource Events that use complex types do not get logged (silently ignored)

When complex types were added to EventSource (in V4.6) there was a latent bug where if the event had specified keywords
the event would not be emitted to TraceEvent-style ETW controlers (e.g. PerfVIew).    Basically there was confusion
between a session bitmask (where the bits were 0, 1, 2,  and 3), and the ETW keywords bitmask (which the 'ToEventKeywords()
morphs them to a Keywords Bitmask.)

This bug has existed foa a while, but we are now using both of those features (keywords and complex types), in the
DiagnosticEventSource and when we started to really use it we found the problem.

You will see in lines 1221 and 1242 is another code path that was already fixed, but we missed the cose path at 1977 and 1998.

This needs to be back-ported to the Desktop framework as well.

Merge pull request #5256 from kyulee1/testupdate

ARM64: A few Test List Update

Add noexcept to some non-throwing new overloads.

Fxing the case of COMPlus_GCStress
Removing Build dependency for GC Stress

Merge pull request #5144 from gkhanna79/RelaxALC2

Enable overriding TPA assemblies

Remove a redundant recursive call to `gtSetEvalOrder`.