Merge pull request #3255 from juergenhoetzel/build_script_fixes

Handle CMakeArgs correctly

Merge pull request #3260 from gkhanna79/CentOS

Fixes to build CentOS CoreCLR Nuget Package

Merge pull request #3290 from krytarowski/netbsd-support-55

PAL tests on NetBSD: Clean-up

Temporarily disable paltest_pal_sxs_test1 on NetBSD

This test has been also disabled on FreeBSD as hardware exceptions
always seem to abort on NetBSD as well.

Related issues: dotnet/coreclr#2090 dotnet/coreclr#3287

Fix typo in the name of the paltest_getcurrentthread_test2 test

It was recently disabled on NetBSD and due to pasto it reports a wrong name.

Merge pull request #3275 from AndyAyersMS/InlineRefactor4d

InlineRefactoring: start to capture failures in the inline tree

Merge pull request #3278 from jamesqo/patch-7

Short-circuit for empty strings in string.Insert and Remove

Merge pull request #3285 from krytarowski/netbsd-support-54

Fix test issue on NetBSD: Walk-around getrusage(2) implementation nits

Fix test issue on NetBSD: Walk-around getrusage(2) implementation nits

The following code:

int main(int argc, char **argv)
{
    int i, j, k, total;
    struct rusage resUsage1, resUsage2;

    if (getrusage (RUSAGE_SELF, &resUsage1) == -1)
        errx(1, "getrusage");

    /* simulate some activity */
    for( i=0; i<1000; i++ )
    {
        for( j=0; j<1000; j++ )
        {
            total = j * i;
            for( k=0; k<1000; k++ )
            {
                total += k + i;
            }
        }
    }

    if (getrusage (RUSAGE_SELF, &resUsage2) == -1)
        errx(1, "getrusage");

    printf("kernel1 %ld.%06ld\n", resUsage1.ru_stime.tv_sec, resUsage1.ru_stime.tv_usec);
    printf("kernel2 %ld.%06ld\n", resUsage2.ru_stime.tv_sec, resUsage2.ru_stime.tv_usec);

    printf("user1 %ld.%06ld\n", resUsage1.ru_utime.tv_sec, resUsage1.ru_utime.tv_usec);
    printf("user2 %ld.%06ld\n", resUsage2.ru_utime.tv_sec, resUsage2.ru_utime.tv_usec);

    return 0;
}

Returns the following values:

$ ./test
kernel1 0.000262
kernel2 0.000000
user1 0.000262
user2 2.279965

The reason for it is as follows:

    The reason is that the scheduler keeps a precise total cpu time of
    a process but the systime/usertime is only sampled by a much slower
    clock. The ratio systime/usertime is then used to return an approximation
    so that systime and usertime sum up to the total time(*).

    As a result it is possible that usertime or systime go backwards.

    FreeBSD has implemented a workaround by remembering reported
    usertime/systime values for a process and clamping getrusage()
    against these values. As a result the usertime/systime value
    is usually too high but it is monotonic.

    Another approach would be to round down the usertime/systime values,
    by not approximating 'measurments' that do not exist. The result
    would be that usertime/systime values that are too low and don't
    sum up to the total CPU time but are again monotonic.

    The approximation is done in kern_resource/calc().
    (*) The sampled interrupt time is also included.

-- by Michael van Elst
-- http://gnats.netbsd.org/cgi-bin/query-pr-single.pl?number=30115

Walkaround it by doing kernel-work with subsequent malloc(3) and free(3) calls.
Note that doing these calls for smaller chunks (it looks like a compiler/libc
can optimize it without going to the host kernel) or just 1000 times is not
sufficient.

Short-circuit for empty strings in Insert/Remove

Merge pull request #3280 from jamesqo/patch-8

Avoid string allocations in some Concat overloads

Merge pull request #3279 from krytarowski/netbsd-support-53

Disable not relevant tests for NetBSD: SCHED_OTHER may not be reassignable

Remove trailing whitespace

Avoid string allocations in some Concat overloads

Disable not relevant tests for NetBSD: SCHED_OTHER may not be reassignable

This addresses the following issues:

threading/GetCurrentThread/test1/paltest_getcurrentthread_test1. Exit code: 1
threading/GetCurrentThread/test2/paltest_getcurrentthread_test2. Exit code: 1
threading/GetProcessTimes/test2/paltest_getprocesstimes_test2. Exit code: 1

Merge pull request #3265 from wtgodbe/coverage

Add option to runtest.sh to generate code coverage reports for coreclr

Merge pull request #3262 from wtgodbe/disable

Delete poorly-written tests failing on OSX

Merge pull request #3274 from jamesqo/patch-5

Remove unnecessary ref parameters from String.cs

Remove unnecessary ref parameters from String.cs

For some reason, there seems to be some code in String.Split that takes ref parameters, even though they aren't actually assigned to.

This commit removes the `ref` annotations from the methods and their callers.

Merge pull request #3221 from jamesqo/patch-5

Optimize String.Replace when the chars are the same

Merge pull request #3269 from JoshVarty/master

Fix ecma-spec link

Merge pull request #3273 from krytarowski/netbsd-support-52

Disallow setting of priority for SCHED_OTHER threads on NetBSD

Disallow setting of priority for SCHED_OTHER threads on NetBSD

There are 7 PAL tests that are falling down due to calling
pthread_setschedparam(3) on NetBSD.

Diving into the kernel code I have found that SCHED_OTHER does not support
setting priorities other than PRI_NONE.

        /* Disallow setting of priority for SCHED_OTHER threads */
        if (lpolicy == SCHED_OTHER && pri != PRI_NONE) {
            lwp_unlock(t);
            error = EINVAL;
            break;
        }

-- NetBSD sources sys/kern/sys_sched.c Line 167

/usr/include/sys/param.h:#define    PRI_NONE        (-1)

It looks like the same rule applies for Linux:

       SCHED_OTHER is the default universal time-sharing scheduler policy used
       by most processes, SCHED_FIFO and SCHED_RR  are  intended  for  special
       time-critical  applications  that  need precise control over the way in
       which runnable processes are selected for execution.  Processes  sched-
       uled with SCHED_OTHER must be assigned the static priority 0, processes
       scheduled under SCHED_FIFO or SCHED_RR can have a  static  priority  in
       the  range  1 to 99. Only processes with superuser privileges can get a
       ordering within the list of runnable processes with equal static prior-
       ity.

-- http://ccrma.stanford.edu/planetccrma/man/man2/sched_setscheduler.2.html

Standard says:

    The pthread_getschedparam() and pthread_setschedparam() functions shall,
    respectively, get and set the scheduling policy and parameters of individual
    threads within a multi-threaded process to be retrieved and set. For
    SCHED_FIFO and SCHED_RR, the only required member of the sched_param
    structure is the priority sched_priority. For SCHED_OTHER, the affected
    scheduling parameters are implementation-defined.

    The policy parameter may have the value SCHED_OTHER, SCHED_FIFO, or
    SCHED_RR. The scheduling parameters for the SCHED_OTHER policy are
    implementation-defined. The SCHED_FIFO and SCHED_RR policies shall have a
    single scheduling parameter, priority.

http://pubs.opengroup.org/onlinepubs/9699919799/functions/pthread_getschedparam.html

The culprit code is here: src/pal/src/thread/thread.cpp Line 1276

Fix #3272

Fix misleading typo

Handle CMakeArgs correctly

CMakeArgs were not passed correctly to (included initial whitespace).
Also unquote CMakeArgs to allow us to pass multiple cmake arguments.

Fix ecma-spec link

Merge pull request #2998 from ramarag/LongFileSupport

Initial Support  for LongFile in the VM

InlineRefactoring: start to capture failures in the inline tree

This change starts capturing information about failed inlines in the
inline tree. Not all failures are captured yet; see below for notes.

Sample trees showing a failure:
```
Inlines into Secant:Inner(byref,byref,double,double,int,byref)
  [IL=0004 TR=000008] [FAILED: exceeds profit threshold] Secant:FF(double):double
  [IL=0023 TR=000036] [native size estimate ok] Secant:FF(double):double
```

InlineContext is revised to have 3 static constructors: one for the
root context, one for successful inlines, and one for failed inlines.
Successful inlines are always captured in the tree, since they are used
to track inline depth and recursion. Failures are only captured in
DEBUG and are just there for diagnostic purposes. The success and
failure constructors also link the new contexts into the tree at the
proper spot.

With this the jit can now capture failures for calls that were
initially identified as candidates. Top-level non-candidates are still
screened out in fgInline, and lower-level non-candidates simply aren't
seen at all by the current code. This will be addressed in a subsequent
change.

New calls can appear in the gap between caller and callee, as the code
for the two is stitched together. These are never candidates and never
given candidate screening. For now, if a new failing context is unable
to find a parent context from the IR, the code assumes the IR was
created in this gap. Down the road we may want to insist that all IR be
covered by some InlineContext (eg for improved debugging of optimized
code).

The InlineContext now also captures and prints the tree ID of the call
to make it easier to relate back to IR dumps.

This Change Adds initial Support for LongFiles in the VM,
They are:
1. Wrappers for OS APIs which  take or return PATHS

2. Fixing the usage of following Api's:

GetEnvironmentVariableW
SearchPathW
GetShortPathNameW
GetLongPathNameW
GetModuleFileName

Work remaining:
Remove fixed size buffers in the VM

Merge pull request #3257 from kyulee1/cleanbuild

Fix clean test build

Fixes to build CentOS CoreCLR Nuget Package

Merge pull request #3236 from mikedn/noinline-new

Do not define global inline new/delete operators

Add option to runtest.sh to generate code coverage reports for coreclr

Merge pull request #3256 from ellismg/add-rhel72-badge

Add RHEL Badges

Merge pull request #3264 from dotnet/revert-3253-add_pr_trigger_for_stress_test_on_ubuntu

Revert "Fix PR trigger for ubuntu/osx corefx testing"

Revert "Fix PR trigger for ubuntu/osx corefx testing"

Merge pull request #3254 from hoyMS/bug2388

Bug 2388 Do not transform user-implemented math intrinsics that are tail calls.

Fix clean test build

I often fall into a build failure like the following when passing /clean
E:\Github\coreclr\tests\runtest.proj : error MSB4057: The target "rebuild"
does not exist in the project.
runtest.proj is actually invoked in two places one from a part of
build.cmd targeting CreateTestOverlay only, and the other from
runtest.cmd, which creates wrapper and actually running the tests.
So, definining "rebuild" target that does "clean" and "build" doesn't
solve this problem.
The fix is to not target "rebuild" in the former case since we are
explicitly targeting "CreateTestOverlay" only. Instead of putting "/t:rebuild"
in the common msbuild argument, I added it to each instance except this case.

Do not transform user-implemented math intrinsics that are tail calls

Intrinsics that are not implemented directly by target instructions will be rematerialized as users calls in rationalizer. For prefixed tail calls, don't do this optimization, because
       1. Languages like F# requires a mandatory tail call optimization. A tail call converted to an intrinsic and then converted back to a call will miss out the tail call optimization.
       2. Tail call optimization may be more beneficial.

Disable tests failing on OSX

Add RHEL Badges

The table was starting to get a little wide (so wide in fact that we had
moved away from markdown to HTML in order to be able to specify
widths).

I've pivoted the table so it grows "down" instead of "across" as we add
more platforms.  I've also unified on shields.io badges instead of the
mix of that plus the raw Jenkins badges.

Merge pull request #3253 from sejongoh/add_pr_trigger_for_stress_test_on_ubuntu

Fix PR trigger for ubuntu/osx corefx testing

Merge pull request #3247 from AndyAyersMS/InlineRefactor4c

InlineRefactoring: rename inlExpLst to InlineContext

Merge pull request #3241 from wtgodbe/cscbench

Stop copying of bad System.Runtime version

Merge pull request #3250 from janvorli/fix-explicit-frames-popping-2

Fix the explicit frames unwinding on Unix

Merge pull request #3242 from briansull/arm64conds

Refactor of conditional branches for the ARM architecture

Merge pull request #3238 from tarekgh/DateTimeRefactor

Small refactoring in DateTime comparing methods

Fix PR trigger for ubuntu/osx corefx testing

Fix the explicit frames unwinding on Unix

This change fixes a problem when exception unwinds native frames of code that contains
explicit frames. There were two issues. First, the destructor of the explicit frame
base class Frame that was responsible for popping the frames was missing switch to
GC cooperative mode and so it could pop frames that GC was currently walking.
And second, after adding the switch to cooperative mode, it turned out that if a
thread gets blocked in the Frame destructor due to GC and the stack walker tries to
get stack cookie from FrameWithCookie wrapper of a class derived from the Frame,
it fails since the vtable pointer was already reset to the vtable of the base Frame
class and it detects that as an invalid case.

The fix was to add destructors to all final classes derived from Frame and perform
the frame popping from there.

Merge pull request #3243 from LLITCHEV/structDesc-clone

Added code to clone the structDesc member of GT_CALL.

Merge pull request #3135 from CarolEidt/x86VirtualStubDirect

Enable Virtual Stub calls that are direct for x86

Added code to clone the structDesc member of GT_CALL.

Adds code to clone the structDesc member of GT_CALL. It modifies the
importer to get the structDesc directly in this field, instead of using a
separate local and eliminates the obsolete SetRegisterReturningStructState
method of GenTreeCall.

Fixes 3239.

InlineRefactor: rename inlExpLst to InlineContext

Rename inlExpLst to InlineContext, and move the code for it into
the inlining files. Expand the context to capture the observation
leading to success. Defer generating the method names until the
context is dumped to avoid unnecessary debug/check allocations.

Make sure observation field on GenTreeCall is properly initialized
and copied, and give it the right type via an opaque forward
declaration.

Merge pull request #3237 from AndyAyersMS/InlineRefactor4b

Inline refactoring: capture failing observation for non-candidates

Made the changes suggested fromn code reviewers

stop copying of bad System.Runtime version

Added enum CompareKind as input to genJumpKindForOper()

Record the result of genJumpKindForOper() in a local before generating the jump instruction
Added support for using Logical instructions with genJumpKindForOper()

Inline refactoring: capture failing observation for non-candidates

Refactor the InlineResult to take a `GenTreeCall` instead of artifacts
derived from the call. Use this to decorate the call (in DEBUG) if
an inline fails with the observation that lead to the failure. Move
this constructor out of the header since we now need it to invoke
methods on types that are header-opaque.

Try and pick this reason up later on when non-candidate call sites are
encountered during inlining.

Introduce a second constructor for the pre-jit use case, where we are
evaulating a method to see if we can mark it as never inline to save
work in any subsequent compilation. Put this into the cpp file too for
symmetry.

Type the backing field in GenTreeCall as unsigned to avoid creating
more deeply entangled include circularities. Happy to reconsider if
this seems ill-advised.

Reword a few more uses of inlinee to callee (similarly inliner to
caller). Make `inlIsValidObservation` globally visible and enable
a prior commented-out assert.

Enable Virtual Stub calls that are direct for x86

On x86, direct virtual stub calls must be done with a relative address, NOT through a register.

Small refactoring in DateTime comparing methods

Do not define global inline new/delete operators

VS2015 Update 2 generates C4595 for such code and the build fails due to /WX

Merge pull request #3229 from AndyAyersMS/InlineRefactor4a

Inline refactoring: add candidate observations

Merge pull request #3219 from adityamandaleeka/twowaypipe_cleanup

Clean up Unix twowaypipe code

Merge pull request #3222 from richardlford/testswithrefs0216

Port desktop tests that had references

Merge pull request #3231 from ellismg/add-back-push-triggers

Add back push triggers

Merge pull request #3230 from jkotas/jitee-cleanup

Delete NetCF quirk and MDIL generation support from RyuJIT and JIT-EE interface

Delete 'do not port' test, add non-windows exclusions

Add back push triggers

Do {debug|checked|release} builds for all platforms on push. Upstack
projects (e.g CoreFX) take some of these as inputs and we use the
results in building out the badge links.

For the jobs which have flow's, just build the folow (which will trigger
the non flow builds).

Delete unused files

Delete MDIL generation support from JIT-EE interface

Merge pull request #3224 from gkhanna79/UpdateNugetPkg

Update CoreCLR Nuget package

Delete NetCF quirks from RyuJIT

Inline refactoring: add candidate observations

Add candidate observations and update the InlineResult to hold
onto the observation rather than the reason string.

Merge pull request #3196 from AndyAyersMS/InlineRefactor4

Inline refactoring: header cleanup and some renaming

Update CoreCLR Nuget package version to be 1.0.2.

Merge pull request #3191 from manu-silicon/absolute_path

Fix absolute path on Linux

Fix typo in genXplatEventing.py.

Use pal.h directly in Unix twowaypipe code and remove windefs.h.

Port desktop tests that had references

This change ports desktop tests that had references to dlls.
It also fixes some of the dll project files.
In addition there are some additional tests that were not
previously ported (but that do not reference dlls).

There are 4 tests that are excluded because of issue #3216.

Merge pull request #3218 from sergiy-k/niimageloading

Change MAPMapPEFile to use ExecutableAllcator instead of mmap to reserve VA

Merge pull request #3220 from dotnet-bot/from-tfs

Merge changes from TFS

Optimize String.Replace when the chars are the same

port fix for pad ratio

[tfs-changeset: 1576135]

Refactor the Conditional branches on Arm to match the Arm condition codes

Updated the enum emitJumpKInd to use Arm condition codes rather than x86 conditional branches
This change  impacts the Arm32 JIT and verified to have no asm diffs using the for Arm32

Implemented and tested for Arm64 the full set of ordered and unordered floating point branches
Implemented and tested for Arm64 genSetRegToCond for ordered and unordered floating point compares
On Arm64 we now use the genJumpKIndsForTree to return up to two conditional branches for floating point compares

Cleanup we now use genJumpKindForOper to select conditional branches and prefer
 using isUnsigned=false for creating branches for GT_EQ and GT_NE

 Removed the unused fourth 'condcode' portion of the JMP_SMALL macro and
 the fourth column from the Arm/ARm64 part of "emitjmps.cpp"

 Unified Arm32 and Arm64 conditionals in "emitjmps.cpp"
 Reordered the Arm32 and Arm64 conditionals in "emitjmps.cpp" to matchthe ARMV8 docs

Fix ildasm to be run without specifying the full path

Using the fixed version of GetEntrypointExecutableAbsolutePath when the
program name on the command line does not reflect an actual file on disk
(case when a program is launched by finding it in the PATH). This should fix
issue#3190.

Change MAPMapPEFile to use ExecutableAllcator instead of mmap to reserve VA

This change modifies the MAPMapPEFile in PAL to use ExecutableAllcator
instead of mmap in order to reserve VA for managed executable images. This
allows all NI images to be located near each other and close to the
coreclr library, which also allows the runtime to generate code that is
more efficient (by avoiding usage of jump stubs).

It also fixes an issue (https://github.com/dotnet/cli/issues/652) where
CLI fails with OutOfMemoryException which turned out to be related to
loading NI files. Due to a certain allocation pattern, mmap can place an
NI file at a region of virtual address space that does not have any free
memory around the NI images. As a result, when the runtime needs to
allocate memory for jump stubs for the image it cannot find any available
memory near the image and fails with OutOfMemoryException.

Fix GetEntrypointExecutableAbsolutePath on Linux

Although PR#1818 was supposed to implement this for Linux, only the MacOS X
implementation was correct. We are now using `readlink' on Linux to get
the path of the current running executable.

Merge pull request #3215 from jkotas/arm-floatargs

Save/restore floating point arguments in asm macros on Linux arm and arm64

Remove PAL_unlink.

Save/restore floating point arguments in transition block on arm and arm64

The transition block prolog/epilog macros were not correctly saving and restoring the floating point arguments on arm and arm64 on Unix.

Merge pull request #3213 from rahku/fixarm64

Fix arm64 build break

Merge pull request #3189 from krytarowski/netbsd-support-49

Enforce compiler version of alloca(3) on NetBSD

Merge pull request #3212 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #3166 from sejongoh/add_linux_corefx_testing

Enable linux corefx testing

Fix arm64 build break

Fix NetBSD build issue: Use compiler version of alloca(3) when possible

The documentation of alloca(3) says:

     o   The alloca() function should be supplied by the compiler because the
         compiler is allowed to make assumptions about the stack and frame
         pointers.  The libc alloca() implementation cannot account for those
         assumptions.  While there is a machine dependent implementation of
         alloca() in libc, its use is discouraged and in most cases it will
         not work.  Using this implementation will produce linker warnings.

This is true for CoreCLR - alloca(3) was breaking 30 PAL tests.

Enforce on this operating system a compiler version.

Thanks Jan Kotas (Microsoft) for inspiration what may go wrong.
Thanks Jan Vorli (Microsoft) for useful suggestions in order to fix it.

Merge pull request #3211 from gregg-miskelly/OSXAttachFix

Fix debugger attach to process on OSX

Option for Enforcing Intrinsic Expansion

Currently intrinsic is disabled under MIN_OPT while being enabled under OPT.
There is no way to enforce intrinsic expansion where non-intrinsic (call) path is not yet implemented.
This adds an optional output boolean argument to getIntrinsicID that tells JIT whether to enforce intrinsic expansion.
If JIT cannot expand intrinsic for such case, fatal error occurs.
There is no functional change the argument is default to false.

[tfs-changeset: 1575973]

Merge pull request #3177 from krytarowski/netbsd-support-47

Fix build issue on NetBSD: Make RPATH optional and user-settable

Merge pull request #3205 from AndyAyersMS/FixBenchFProjFiles

Remove IlasmRoundTrip from these project files