Merge pull request #3279 from krytarowski/netbsd-support-53

Disable not relevant tests for NetBSD: SCHED_OTHER may not be reassignable

Remove trailing whitespace

Disable not relevant tests for NetBSD: SCHED_OTHER may not be reassignable

This addresses the following issues:

threading/GetCurrentThread/test1/paltest_getcurrentthread_test1. Exit code: 1
threading/GetCurrentThread/test2/paltest_getcurrentthread_test2. Exit code: 1
threading/GetProcessTimes/test2/paltest_getprocesstimes_test2. Exit code: 1

Merge pull request #3265 from wtgodbe/coverage

Add option to runtest.sh to generate code coverage reports for coreclr

Merge pull request #3262 from wtgodbe/disable

Delete poorly-written tests failing on OSX

Merge pull request #3274 from jamesqo/patch-5

Remove unnecessary ref parameters from String.cs

Remove unnecessary ref parameters from String.cs

For some reason, there seems to be some code in String.Split that takes ref parameters, even though they aren't actually assigned to.

This commit removes the `ref` annotations from the methods and their callers.

Merge pull request #3221 from jamesqo/patch-5

Optimize String.Replace when the chars are the same

Merge pull request #3269 from JoshVarty/master

Fix ecma-spec link

Merge pull request #3273 from krytarowski/netbsd-support-52

Disallow setting of priority for SCHED_OTHER threads on NetBSD

Disallow setting of priority for SCHED_OTHER threads on NetBSD

There are 7 PAL tests that are falling down due to calling
pthread_setschedparam(3) on NetBSD.

Diving into the kernel code I have found that SCHED_OTHER does not support
setting priorities other than PRI_NONE.

        /* Disallow setting of priority for SCHED_OTHER threads */
        if (lpolicy == SCHED_OTHER && pri != PRI_NONE) {
            lwp_unlock(t);
            error = EINVAL;
            break;
        }

-- NetBSD sources sys/kern/sys_sched.c Line 167

/usr/include/sys/param.h:#define    PRI_NONE        (-1)

It looks like the same rule applies for Linux:

       SCHED_OTHER is the default universal time-sharing scheduler policy used
       by most processes, SCHED_FIFO and SCHED_RR  are  intended  for  special
       time-critical  applications  that  need precise control over the way in
       which runnable processes are selected for execution.  Processes  sched-
       uled with SCHED_OTHER must be assigned the static priority 0, processes
       scheduled under SCHED_FIFO or SCHED_RR can have a  static  priority  in
       the  range  1 to 99. Only processes with superuser privileges can get a
       ordering within the list of runnable processes with equal static prior-
       ity.

-- http://ccrma.stanford.edu/planetccrma/man/man2/sched_setscheduler.2.html

Standard says:

    The pthread_getschedparam() and pthread_setschedparam() functions shall,
    respectively, get and set the scheduling policy and parameters of individual
    threads within a multi-threaded process to be retrieved and set. For
    SCHED_FIFO and SCHED_RR, the only required member of the sched_param
    structure is the priority sched_priority. For SCHED_OTHER, the affected
    scheduling parameters are implementation-defined.

    The policy parameter may have the value SCHED_OTHER, SCHED_FIFO, or
    SCHED_RR. The scheduling parameters for the SCHED_OTHER policy are
    implementation-defined. The SCHED_FIFO and SCHED_RR policies shall have a
    single scheduling parameter, priority.

http://pubs.opengroup.org/onlinepubs/9699919799/functions/pthread_getschedparam.html

The culprit code is here: src/pal/src/thread/thread.cpp Line 1276

Fix #3272

Fix ecma-spec link

Merge pull request #2998 from ramarag/LongFileSupport

Initial Support  for LongFile in the VM

This Change Adds initial Support for LongFiles in the VM,
They are:
1. Wrappers for OS APIs which  take or return PATHS

2. Fixing the usage of following Api's:

GetEnvironmentVariableW
SearchPathW
GetShortPathNameW
GetLongPathNameW
GetModuleFileName

Work remaining:
Remove fixed size buffers in the VM

Merge pull request #3257 from kyulee1/cleanbuild

Fix clean test build

Merge pull request #3236 from mikedn/noinline-new

Do not define global inline new/delete operators

Add option to runtest.sh to generate code coverage reports for coreclr

Merge pull request #3256 from ellismg/add-rhel72-badge

Add RHEL Badges

Merge pull request #3264 from dotnet/revert-3253-add_pr_trigger_for_stress_test_on_ubuntu

Revert "Fix PR trigger for ubuntu/osx corefx testing"

Revert "Fix PR trigger for ubuntu/osx corefx testing"

Merge pull request #3254 from hoyMS/bug2388

Bug 2388 Do not transform user-implemented math intrinsics that are tail calls.

Fix clean test build

I often fall into a build failure like the following when passing /clean
E:\Github\coreclr\tests\runtest.proj : error MSB4057: The target "rebuild"
does not exist in the project.
runtest.proj is actually invoked in two places one from a part of
build.cmd targeting CreateTestOverlay only, and the other from
runtest.cmd, which creates wrapper and actually running the tests.
So, definining "rebuild" target that does "clean" and "build" doesn't
solve this problem.
The fix is to not target "rebuild" in the former case since we are
explicitly targeting "CreateTestOverlay" only. Instead of putting "/t:rebuild"
in the common msbuild argument, I added it to each instance except this case.

Do not transform user-implemented math intrinsics that are tail calls

Intrinsics that are not implemented directly by target instructions will be rematerialized as users calls in rationalizer. For prefixed tail calls, don't do this optimization, because
       1. Languages like F# requires a mandatory tail call optimization. A tail call converted to an intrinsic and then converted back to a call will miss out the tail call optimization.
       2. Tail call optimization may be more beneficial.

Disable tests failing on OSX

Add RHEL Badges

The table was starting to get a little wide (so wide in fact that we had
moved away from markdown to HTML in order to be able to specify
widths).

I've pivoted the table so it grows "down" instead of "across" as we add
more platforms.  I've also unified on shields.io badges instead of the
mix of that plus the raw Jenkins badges.

Merge pull request #3253 from sejongoh/add_pr_trigger_for_stress_test_on_ubuntu

Fix PR trigger for ubuntu/osx corefx testing

Merge pull request #3247 from AndyAyersMS/InlineRefactor4c

InlineRefactoring: rename inlExpLst to InlineContext

Merge pull request #3241 from wtgodbe/cscbench

Stop copying of bad System.Runtime version

Merge pull request #3250 from janvorli/fix-explicit-frames-popping-2

Fix the explicit frames unwinding on Unix

Merge pull request #3242 from briansull/arm64conds

Refactor of conditional branches for the ARM architecture

Merge pull request #3238 from tarekgh/DateTimeRefactor

Small refactoring in DateTime comparing methods

Fix PR trigger for ubuntu/osx corefx testing

Fix the explicit frames unwinding on Unix

This change fixes a problem when exception unwinds native frames of code that contains
explicit frames. There were two issues. First, the destructor of the explicit frame
base class Frame that was responsible for popping the frames was missing switch to
GC cooperative mode and so it could pop frames that GC was currently walking.
And second, after adding the switch to cooperative mode, it turned out that if a
thread gets blocked in the Frame destructor due to GC and the stack walker tries to
get stack cookie from FrameWithCookie wrapper of a class derived from the Frame,
it fails since the vtable pointer was already reset to the vtable of the base Frame
class and it detects that as an invalid case.

The fix was to add destructors to all final classes derived from Frame and perform
the frame popping from there.

Merge pull request #3243 from LLITCHEV/structDesc-clone

Added code to clone the structDesc member of GT_CALL.

Merge pull request #3135 from CarolEidt/x86VirtualStubDirect

Enable Virtual Stub calls that are direct for x86

Added code to clone the structDesc member of GT_CALL.

Adds code to clone the structDesc member of GT_CALL. It modifies the
importer to get the structDesc directly in this field, instead of using a
separate local and eliminates the obsolete SetRegisterReturningStructState
method of GenTreeCall.

Fixes 3239.

InlineRefactor: rename inlExpLst to InlineContext

Rename inlExpLst to InlineContext, and move the code for it into
the inlining files. Expand the context to capture the observation
leading to success. Defer generating the method names until the
context is dumped to avoid unnecessary debug/check allocations.

Make sure observation field on GenTreeCall is properly initialized
and copied, and give it the right type via an opaque forward
declaration.

Merge pull request #3237 from AndyAyersMS/InlineRefactor4b

Inline refactoring: capture failing observation for non-candidates

Made the changes suggested fromn code reviewers

stop copying of bad System.Runtime version

Added enum CompareKind as input to genJumpKindForOper()

Record the result of genJumpKindForOper() in a local before generating the jump instruction
Added support for using Logical instructions with genJumpKindForOper()

Inline refactoring: capture failing observation for non-candidates

Refactor the InlineResult to take a `GenTreeCall` instead of artifacts
derived from the call. Use this to decorate the call (in DEBUG) if
an inline fails with the observation that lead to the failure. Move
this constructor out of the header since we now need it to invoke
methods on types that are header-opaque.

Try and pick this reason up later on when non-candidate call sites are
encountered during inlining.

Introduce a second constructor for the pre-jit use case, where we are
evaulating a method to see if we can mark it as never inline to save
work in any subsequent compilation. Put this into the cpp file too for
symmetry.

Type the backing field in GenTreeCall as unsigned to avoid creating
more deeply entangled include circularities. Happy to reconsider if
this seems ill-advised.

Reword a few more uses of inlinee to callee (similarly inliner to
caller). Make `inlIsValidObservation` globally visible and enable
a prior commented-out assert.

Enable Virtual Stub calls that are direct for x86

On x86, direct virtual stub calls must be done with a relative address, NOT through a register.

Small refactoring in DateTime comparing methods

Do not define global inline new/delete operators

VS2015 Update 2 generates C4595 for such code and the build fails due to /WX

Merge pull request #3229 from AndyAyersMS/InlineRefactor4a

Inline refactoring: add candidate observations

Merge pull request #3219 from adityamandaleeka/twowaypipe_cleanup

Clean up Unix twowaypipe code

Merge pull request #3222 from richardlford/testswithrefs0216

Port desktop tests that had references

Merge pull request #3231 from ellismg/add-back-push-triggers

Add back push triggers

Merge pull request #3230 from jkotas/jitee-cleanup

Delete NetCF quirk and MDIL generation support from RyuJIT and JIT-EE interface

Delete 'do not port' test, add non-windows exclusions

Add back push triggers

Do {debug|checked|release} builds for all platforms on push. Upstack
projects (e.g CoreFX) take some of these as inputs and we use the
results in building out the badge links.

For the jobs which have flow's, just build the folow (which will trigger
the non flow builds).

Delete unused files

Delete MDIL generation support from JIT-EE interface

Merge pull request #3224 from gkhanna79/UpdateNugetPkg

Update CoreCLR Nuget package

Delete NetCF quirks from RyuJIT

Inline refactoring: add candidate observations

Add candidate observations and update the InlineResult to hold
onto the observation rather than the reason string.

Merge pull request #3196 from AndyAyersMS/InlineRefactor4

Inline refactoring: header cleanup and some renaming

Update CoreCLR Nuget package version to be 1.0.2.

Merge pull request #3191 from manu-silicon/absolute_path

Fix absolute path on Linux

Fix typo in genXplatEventing.py.

Use pal.h directly in Unix twowaypipe code and remove windefs.h.

Port desktop tests that had references

This change ports desktop tests that had references to dlls.
It also fixes some of the dll project files.
In addition there are some additional tests that were not
previously ported (but that do not reference dlls).

There are 4 tests that are excluded because of issue #3216.

Merge pull request #3218 from sergiy-k/niimageloading

Change MAPMapPEFile to use ExecutableAllcator instead of mmap to reserve VA

Merge pull request #3220 from dotnet-bot/from-tfs

Merge changes from TFS

Optimize String.Replace when the chars are the same

port fix for pad ratio

[tfs-changeset: 1576135]

Refactor the Conditional branches on Arm to match the Arm condition codes

Updated the enum emitJumpKInd to use Arm condition codes rather than x86 conditional branches
This change  impacts the Arm32 JIT and verified to have no asm diffs using the for Arm32

Implemented and tested for Arm64 the full set of ordered and unordered floating point branches
Implemented and tested for Arm64 genSetRegToCond for ordered and unordered floating point compares
On Arm64 we now use the genJumpKIndsForTree to return up to two conditional branches for floating point compares

Cleanup we now use genJumpKindForOper to select conditional branches and prefer
 using isUnsigned=false for creating branches for GT_EQ and GT_NE

 Removed the unused fourth 'condcode' portion of the JMP_SMALL macro and
 the fourth column from the Arm/ARm64 part of "emitjmps.cpp"

 Unified Arm32 and Arm64 conditionals in "emitjmps.cpp"
 Reordered the Arm32 and Arm64 conditionals in "emitjmps.cpp" to matchthe ARMV8 docs

Fix ildasm to be run without specifying the full path

Using the fixed version of GetEntrypointExecutableAbsolutePath when the
program name on the command line does not reflect an actual file on disk
(case when a program is launched by finding it in the PATH). This should fix
issue#3190.

Change MAPMapPEFile to use ExecutableAllcator instead of mmap to reserve VA

This change modifies the MAPMapPEFile in PAL to use ExecutableAllcator
instead of mmap in order to reserve VA for managed executable images. This
allows all NI images to be located near each other and close to the
coreclr library, which also allows the runtime to generate code that is
more efficient (by avoiding usage of jump stubs).

It also fixes an issue (https://github.com/dotnet/cli/issues/652) where
CLI fails with OutOfMemoryException which turned out to be related to
loading NI files. Due to a certain allocation pattern, mmap can place an
NI file at a region of virtual address space that does not have any free
memory around the NI images. As a result, when the runtime needs to
allocate memory for jump stubs for the image it cannot find any available
memory near the image and fails with OutOfMemoryException.

Fix GetEntrypointExecutableAbsolutePath on Linux

Although PR#1818 was supposed to implement this for Linux, only the MacOS X
implementation was correct. We are now using `readlink' on Linux to get
the path of the current running executable.

Merge pull request #3215 from jkotas/arm-floatargs

Save/restore floating point arguments in asm macros on Linux arm and arm64

Remove PAL_unlink.

Save/restore floating point arguments in transition block on arm and arm64

The transition block prolog/epilog macros were not correctly saving and restoring the floating point arguments on arm and arm64 on Unix.

Merge pull request #3213 from rahku/fixarm64

Fix arm64 build break

Merge pull request #3189 from krytarowski/netbsd-support-49

Enforce compiler version of alloca(3) on NetBSD

Merge pull request #3212 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #3166 from sejongoh/add_linux_corefx_testing

Enable linux corefx testing

Fix arm64 build break

Fix NetBSD build issue: Use compiler version of alloca(3) when possible

The documentation of alloca(3) says:

     o   The alloca() function should be supplied by the compiler because the
         compiler is allowed to make assumptions about the stack and frame
         pointers.  The libc alloca() implementation cannot account for those
         assumptions.  While there is a machine dependent implementation of
         alloca() in libc, its use is discouraged and in most cases it will
         not work.  Using this implementation will produce linker warnings.

This is true for CoreCLR - alloca(3) was breaking 30 PAL tests.

Enforce on this operating system a compiler version.

Thanks Jan Kotas (Microsoft) for inspiration what may go wrong.
Thanks Jan Vorli (Microsoft) for useful suggestions in order to fix it.

Merge pull request #3211 from gregg-miskelly/OSXAttachFix

Fix debugger attach to process on OSX

Option for Enforcing Intrinsic Expansion

Currently intrinsic is disabled under MIN_OPT while being enabled under OPT.
There is no way to enforce intrinsic expansion where non-intrinsic (call) path is not yet implemented.
This adds an optional output boolean argument to getIntrinsicID that tells JIT whether to enforce intrinsic expansion.
If JIT cannot expand intrinsic for such case, fatal error occurs.
There is no functional change the argument is default to false.

[tfs-changeset: 1575973]

Merge pull request #3177 from krytarowski/netbsd-support-47

Fix build issue on NetBSD: Make RPATH optional and user-settable

Merge pull request #3205 from AndyAyersMS/FixBenchFProjFiles

Remove IlasmRoundTrip from these project files

Fix debugger attach to process on OSX

Attaching to processes on OSX was broken with the way the .NET CLI is installing CoreCLR. The issue is that the vmmap executable that dbgshim is using will, by default, truncate paths. This caused it to be unable to find the real path to DBI.

Fix: pass the '-wide' argument to vmmap

Inline refactoring: header cleanup and some renaming

Move inlining classes and related bits of code into inline.h.
Rename `JitInlineResult` to `InlineResult` and `InlInlineHints` to
`InlineHints`.

Merge pull request #3203 from AndyAyersMS/FixJitMemoryUsage

Fix issue with excessive memory use by debug and checked jits

Merge pull request #3173 from mikedn/ssadef-dup

Remove duplicate calls to GetPerSsaData

Merge pull request #3176 from mikedn/topref

Avoid unnecessary copies of AllSuccessorIter and LocationInfo

Remove IlasmRoundTrip from these project files

We test ilasm/ildasm separately, so no reason to round trip when
building these benchmarks.

Closes #3202.

Merge pull request #3187 from manu-silicon/ildasm

Fix ildasm when ran against CoreFX assemblies like System.Runtime

Fix issue with excessive memory use by debug and checked jits

In #3051 the jit started calling `eeGetClassFullName` for both
caller and callee handles even when dumping was disabled, passed
this information to the logging messages where previously the caller
and callee were identified via other context, and prepared the full
name dump artifacts for all inline decisions rather than the selective
cases handled previously.

This change caused excessive memory use in some tests.

This change makes the calls to `eeGetClassFullName` conditional on
whether dumping is enabled, and does not require these calls for logging
messages.

Fix invalid usage of pointer and SZSTRING_REMAINING_SIZE macro

When manipulating strings, the string destination buffer and the argument
of SZSTRING_REMAINING_SIZE should be the same otherwise buffer
overflows will occur.
Changed DumpHexbytes to start from the provided pointer and not finding
out how much was printed so far in the szString buffer.

Merge pull request #3200 from dotnet-bot/from-tfs

Merge changes from TFS

Fix build issue on NetBSD: Make RPATH optional and user-settable

The `$ORIGIN` linker feature isn't supported on NetBSD.

All RPATH is done via `pkgsrc` on all supported platforms, allow to override it.
pkgsrc will set CORECLR_SET_RPATH:BOOL=OFF and specify manually needed options.

Fix Init to return False when not being able to load executable

Merge pull request #3195 from janvorli/fix-invalid-gcvalue

Fix INVALIDGCVALUE on Unix

Merge pull request #3167 from mikem8361/tracing

Fix tracing lib problems in multiple PALs. Issue #3164.

Finish fixing VSO #190301. DACRaiseException need some STATIC_ contracts.

[tfs-changeset: 1575640]

Merge pull request #3193 from richardlford/addtestlibs0216

Add libraries for tests that reference them.