Merge pull request #3300 from dotnet/InlineRefactor4f

InlineRefactoring: capture remaining failing cases in inline tree

Merge pull request #3301 from stephentoub/fix_guid_tryparse

Fix Guid.TryParse to not throw FormatException

Merge pull request #3307 from krytarowski/netbsd-support-56

Fix build issue on NetBSD: Include <stdarg.h> for va_list

InlineRefactoring: capture remaining failing cases in inline tree

The main ininling loop in `fgInline` currently only looks at calls
that are inline candidates and at top-level in their statements.
This is sensible since any call that is an inline candidate has been
hoisted to top-level during importing.

However, to find all the failed inline cases, the jit also needs to
look through the full tree to find calls that were not identified as
candidates.

For instance, in the Secant test, the jit decides to inline `TestBase`
into `Main`. While importing the code for `TestBase` for inlining, the
jit sees that the call to `Bench` is marked with
`[MethodImpl(MethodImplOptions.NoInlining)]` and so the call is not
considered to be an inline candidate. And because `Bench` returns a
value, the call expression is in a subtree under an assign expression.
Thus the failure to inline `Bench` is overlooked by the current code.

```
;; current code
Inlines into Secant:Main():int
  [IL=0000 TR=000001] [below ALWAYS_INLINE size] Secant:TestBase():bool
```

With this change, under DEBUG, the main inline control loop in `fgInline`
now also scans the tree for non-candidates, and adds their failures
to the InlineContext tree in appropriate locations.

`fgMorphInline` and `fgMorphInlineHelper` are now simpified since they
can assume any call they see must be a candidate.

The jit now also only notes failures for `CT_USER_FUNC` calls, since
otherwise the trees would be full of failed calls to helpers and the
like.

With this change, the jit can now report that `Bench` is a failed inline
into `Main`.

```
;; new code
Inlines into Secant:Main():int
  [IL=0000 TR=000001] [below ALWAYS_INLINE size] Secant:TestBase():bool
    [IL=0000 TR=000021] [FAILED: noinline per IL/cached result] Secant:Bench():bool
```

Merge pull request #3303 from LLITCHEV/PutArgStk-GC-hole

Fix a hole in the GC generated for PutArgStructStk.
Thanks all!

Merge pull request #3304 from andschwa/sigchld

Remove mask of SIGCHLD

Merge pull request #3248 from adityamandaleeka/twowaypipe_cleanup

Disambiguate debug pipe names with more than just PID

Fix a hole in the GC generated for PutArgStructStk.

On System V there is a hole (tanks @CarolEidt for pointing it out) where
while copying struct to the stack in the OutgoingParamArea the GC-ness
for the register used to copy the struct is not  properly set.
This change fixes the issue.

This change also makes sure when copying to/from stack, an emitAttr of
EA_PTRSIZE is used - stack variables are never moved by GC, so using this
type in such case should is fine.

Fix build issue on NetBSD: Include <stdarg.h> for va_list

This has been triggered during llilc build.

Remove mask of SIGCHLD

When a .NET Core program invoked a process that invoked its own child,
the masking of SIGCHLD prevented the process from recognizing its child
had exited, which some processes require. This caused the .NET Core app
to hang in certain internal scenarios.

Merge pull request #3293 from jkotas/r2r-default-callconv

Use default calling convention small type widening rules for R2R

Merge pull request #3298 from jkotas/ryujit-version

Update RyuJIT package version

Merge pull request #3302 from wtgodbe/datetime

Integrate ToF version of DateTimeKind test to prevent failures on non-Windows platforms

Fix Guid.TryParse to not throw FormatException

In certain situations, e.g.
```
Guid g;
Guid.TryParse("{0xdddddddd, 0xdddd, 0xdddd,{0xdd0xdd,0xdd,0xdd,0xdd,0xdd,0xdd,0xdd}}", out g);
```
Guid.TryParse is throwing a FormatException rather than returning false.  This is due to a call to Convert.ToInt32 on one code path that's throwing.

Merge pull request #3244 from erozenfeld/SIMDInit

Fix for SIMD Initialize intrinsic expansion.

Merge pull request #3259 from sejongoh/add_corefx_minopts

Add minopts and fix few bugs

Add minopts and fix few bugs

Integrate ToF version of DateTimeKind test to prevent failures on non-Windows platforms

Merge pull request #3294 from jkotas/delete-zero-offset-allowed

Delete FEATURE_REF_ZERO_OFFSET_ALLOWED

Merge pull request #3266 from rahku/Helix

add helix run support to coreclr repo

add helix run support to coreclr repo

Update RyuJIT package version

Merge pull request #3270 from CarolEidt/x86TypeCtxtOnFrame

Mark compTypeCtxtArg as lvOnFrame

Merge pull request #3282 from gkhanna79/WinX86Nuget

Generate WinX86 Nuget package

Delete FEATURE_REF_ZERO_OFFSET_ALLOWED

Merge pull request #3289 from AndyAyersMS/InlineRefactor4e

Inline refactoring: split up depth and recursion checks

Use default calling convention small type widening rules for R2R

Sticking to default calling convention is key for interoperability that is the primary goal of R2R.

Generate WinX86 Nuget package

Merge pull request #3286 from sejongoh/add_export

Add export to define environment variables

Merge pull request #3255 from juergenhoetzel/build_script_fixes

Handle CMakeArgs correctly

Merge pull request #3260 from gkhanna79/CentOS

Fixes to build CentOS CoreCLR Nuget Package

Merge pull request #3290 from krytarowski/netbsd-support-55

PAL tests on NetBSD: Clean-up

Temporarily disable paltest_pal_sxs_test1 on NetBSD

This test has been also disabled on FreeBSD as hardware exceptions
always seem to abort on NetBSD as well.

Related issues: dotnet/coreclr#2090 dotnet/coreclr#3287

Fix typo in the name of the paltest_getcurrentthread_test2 test

It was recently disabled on NetBSD and due to pasto it reports a wrong name.

Inline refactoring: split up depth and recursion checks

Separate out the recursive inline and inline too deep obervations.
Have the checker update the inline result directly rather than
deferring to the caller.

Add a bit more commentary on how the various inline classes
are used during compilation.

Merge pull request #3275 from AndyAyersMS/InlineRefactor4d

InlineRefactoring: start to capture failures in the inline tree

Merge pull request #3278 from jamesqo/patch-7

Short-circuit for empty strings in string.Insert and Remove

Merge pull request #3285 from krytarowski/netbsd-support-54

Fix test issue on NetBSD: Walk-around getrusage(2) implementation nits

Add export to define environment variables

Fix test issue on NetBSD: Walk-around getrusage(2) implementation nits

The following code:

int main(int argc, char **argv)
{
    int i, j, k, total;
    struct rusage resUsage1, resUsage2;

    if (getrusage (RUSAGE_SELF, &resUsage1) == -1)
        errx(1, "getrusage");

    /* simulate some activity */
    for( i=0; i<1000; i++ )
    {
        for( j=0; j<1000; j++ )
        {
            total = j * i;
            for( k=0; k<1000; k++ )
            {
                total += k + i;
            }
        }
    }

    if (getrusage (RUSAGE_SELF, &resUsage2) == -1)
        errx(1, "getrusage");

    printf("kernel1 %ld.%06ld\n", resUsage1.ru_stime.tv_sec, resUsage1.ru_stime.tv_usec);
    printf("kernel2 %ld.%06ld\n", resUsage2.ru_stime.tv_sec, resUsage2.ru_stime.tv_usec);

    printf("user1 %ld.%06ld\n", resUsage1.ru_utime.tv_sec, resUsage1.ru_utime.tv_usec);
    printf("user2 %ld.%06ld\n", resUsage2.ru_utime.tv_sec, resUsage2.ru_utime.tv_usec);

    return 0;
}

Returns the following values:

$ ./test
kernel1 0.000262
kernel2 0.000000
user1 0.000262
user2 2.279965

The reason for it is as follows:

    The reason is that the scheduler keeps a precise total cpu time of
    a process but the systime/usertime is only sampled by a much slower
    clock. The ratio systime/usertime is then used to return an approximation
    so that systime and usertime sum up to the total time(*).

    As a result it is possible that usertime or systime go backwards.

    FreeBSD has implemented a workaround by remembering reported
    usertime/systime values for a process and clamping getrusage()
    against these values. As a result the usertime/systime value
    is usually too high but it is monotonic.

    Another approach would be to round down the usertime/systime values,
    by not approximating 'measurments' that do not exist. The result
    would be that usertime/systime values that are too low and don't
    sum up to the total CPU time but are again monotonic.

    The approximation is done in kern_resource/calc().
    (*) The sampled interrupt time is also included.

-- by Michael van Elst
-- http://gnats.netbsd.org/cgi-bin/query-pr-single.pl?number=30115

Walkaround it by doing kernel-work with subsequent malloc(3) and free(3) calls.
Note that doing these calls for smaller chunks (it looks like a compiler/libc
can optimize it without going to the host kernel) or just 1000 times is not
sufficient.

Short-circuit for empty strings in Insert/Remove

Merge pull request #3280 from jamesqo/patch-8

Avoid string allocations in some Concat overloads

Merge pull request #3279 from krytarowski/netbsd-support-53

Disable not relevant tests for NetBSD: SCHED_OTHER may not be reassignable

Remove trailing whitespace

Avoid string allocations in some Concat overloads

Disable not relevant tests for NetBSD: SCHED_OTHER may not be reassignable

This addresses the following issues:

threading/GetCurrentThread/test1/paltest_getcurrentthread_test1. Exit code: 1
threading/GetCurrentThread/test2/paltest_getcurrentthread_test2. Exit code: 1
threading/GetProcessTimes/test2/paltest_getprocesstimes_test2. Exit code: 1

Merge pull request #3265 from wtgodbe/coverage

Add option to runtest.sh to generate code coverage reports for coreclr

Merge pull request #3262 from wtgodbe/disable

Delete poorly-written tests failing on OSX

Merge pull request #3274 from jamesqo/patch-5

Remove unnecessary ref parameters from String.cs

Remove unnecessary ref parameters from String.cs

For some reason, there seems to be some code in String.Split that takes ref parameters, even though they aren't actually assigned to.

This commit removes the `ref` annotations from the methods and their callers.

Merge pull request #3221 from jamesqo/patch-5

Optimize String.Replace when the chars are the same

Merge pull request #3269 from JoshVarty/master

Fix ecma-spec link

Merge pull request #3273 from krytarowski/netbsd-support-52

Disallow setting of priority for SCHED_OTHER threads on NetBSD

Disallow setting of priority for SCHED_OTHER threads on NetBSD

There are 7 PAL tests that are falling down due to calling
pthread_setschedparam(3) on NetBSD.

Diving into the kernel code I have found that SCHED_OTHER does not support
setting priorities other than PRI_NONE.

        /* Disallow setting of priority for SCHED_OTHER threads */
        if (lpolicy == SCHED_OTHER && pri != PRI_NONE) {
            lwp_unlock(t);
            error = EINVAL;
            break;
        }

-- NetBSD sources sys/kern/sys_sched.c Line 167

/usr/include/sys/param.h:#define    PRI_NONE        (-1)

It looks like the same rule applies for Linux:

       SCHED_OTHER is the default universal time-sharing scheduler policy used
       by most processes, SCHED_FIFO and SCHED_RR  are  intended  for  special
       time-critical  applications  that  need precise control over the way in
       which runnable processes are selected for execution.  Processes  sched-
       uled with SCHED_OTHER must be assigned the static priority 0, processes
       scheduled under SCHED_FIFO or SCHED_RR can have a  static  priority  in
       the  range  1 to 99. Only processes with superuser privileges can get a
       ordering within the list of runnable processes with equal static prior-
       ity.

-- http://ccrma.stanford.edu/planetccrma/man/man2/sched_setscheduler.2.html

Standard says:

    The pthread_getschedparam() and pthread_setschedparam() functions shall,
    respectively, get and set the scheduling policy and parameters of individual
    threads within a multi-threaded process to be retrieved and set. For
    SCHED_FIFO and SCHED_RR, the only required member of the sched_param
    structure is the priority sched_priority. For SCHED_OTHER, the affected
    scheduling parameters are implementation-defined.

    The policy parameter may have the value SCHED_OTHER, SCHED_FIFO, or
    SCHED_RR. The scheduling parameters for the SCHED_OTHER policy are
    implementation-defined. The SCHED_FIFO and SCHED_RR policies shall have a
    single scheduling parameter, priority.

http://pubs.opengroup.org/onlinepubs/9699919799/functions/pthread_getschedparam.html

The culprit code is here: src/pal/src/thread/thread.cpp Line 1276

Fix #3272

Fix misleading typo

Handle CMakeArgs correctly

CMakeArgs were not passed correctly to (included initial whitespace).
Also unquote CMakeArgs to allow us to pass multiple cmake arguments.

Mark compTypeCtxtArg as lvOnFrame

The type context argument must be initialized to lvOnFrame if it is
not a register argument (as on x86, since it is passed after user
arguments).

Fix ecma-spec link

Merge pull request #2998 from ramarag/LongFileSupport

Initial Support  for LongFile in the VM

InlineRefactoring: start to capture failures in the inline tree

This change starts capturing information about failed inlines in the
inline tree. Not all failures are captured yet; see below for notes.

Sample trees showing a failure:
```
Inlines into Secant:Inner(byref,byref,double,double,int,byref)
  [IL=0004 TR=000008] [FAILED: exceeds profit threshold] Secant:FF(double):double
  [IL=0023 TR=000036] [native size estimate ok] Secant:FF(double):double
```

InlineContext is revised to have 3 static constructors: one for the
root context, one for successful inlines, and one for failed inlines.
Successful inlines are always captured in the tree, since they are used
to track inline depth and recursion. Failures are only captured in
DEBUG and are just there for diagnostic purposes. The success and
failure constructors also link the new contexts into the tree at the
proper spot.

With this the jit can now capture failures for calls that were
initially identified as candidates. Top-level non-candidates are still
screened out in fgInline, and lower-level non-candidates simply aren't
seen at all by the current code. This will be addressed in a subsequent
change.

New calls can appear in the gap between caller and callee, as the code
for the two is stitched together. These are never candidates and never
given candidate screening. For now, if a new failing context is unable
to find a parent context from the IR, the code assumes the IR was
created in this gap. Down the road we may want to insist that all IR be
covered by some InlineContext (eg for improved debugging of optimized
code).

The InlineContext now also captures and prints the tree ID of the call
to make it easier to relate back to IR dumps.

This Change Adds initial Support for LongFiles in the VM,
They are:
1. Wrappers for OS APIs which  take or return PATHS

2. Fixing the usage of following Api's:

GetEnvironmentVariableW
SearchPathW
GetShortPathNameW
GetLongPathNameW
GetModuleFileName

Work remaining:
Remove fixed size buffers in the VM

Fix for SIMD intrinsic Initialize expansion.

Initialize expansion was missing register zero initialization
in some cases. This caused silent bad codegen in #3208.

Closes #3208.

Add PID disambiguation to debugger named semaphores.

Merge pull request #3257 from kyulee1/cleanbuild

Fix clean test build

Fixes to build CentOS CoreCLR Nuget Package

Merge pull request #3236 from mikedn/noinline-new

Do not define global inline new/delete operators

Add option to runtest.sh to generate code coverage reports for coreclr

Merge pull request #3256 from ellismg/add-rhel72-badge

Add RHEL Badges

Merge pull request #3264 from dotnet/revert-3253-add_pr_trigger_for_stress_test_on_ubuntu

Revert "Fix PR trigger for ubuntu/osx corefx testing"

Revert "Fix PR trigger for ubuntu/osx corefx testing"

Merge pull request #3254 from hoyMS/bug2388

Bug 2388 Do not transform user-implemented math intrinsics that are tail calls.

Fix clean test build

I often fall into a build failure like the following when passing /clean
E:\Github\coreclr\tests\runtest.proj : error MSB4057: The target "rebuild"
does not exist in the project.
runtest.proj is actually invoked in two places one from a part of
build.cmd targeting CreateTestOverlay only, and the other from
runtest.cmd, which creates wrapper and actually running the tests.
So, definining "rebuild" target that does "clean" and "build" doesn't
solve this problem.
The fix is to not target "rebuild" in the former case since we are
explicitly targeting "CreateTestOverlay" only. Instead of putting "/t:rebuild"
in the common msbuild argument, I added it to each instance except this case.

Do not transform user-implemented math intrinsics that are tail calls

Intrinsics that are not implemented directly by target instructions will be rematerialized as users calls in rationalizer. For prefixed tail calls, don't do this optimization, because
       1. Languages like F# requires a mandatory tail call optimization. A tail call converted to an intrinsic and then converted back to a call will miss out the tail call optimization.
       2. Tail call optimization may be more beneficial.

Disable tests failing on OSX

Add RHEL Badges

The table was starting to get a little wide (so wide in fact that we had
moved away from markdown to HTML in order to be able to specify
widths).

I've pivoted the table so it grows "down" instead of "across" as we add
more platforms.  I've also unified on shields.io badges instead of the
mix of that plus the raw Jenkins badges.

Merge pull request #3253 from sejongoh/add_pr_trigger_for_stress_test_on_ubuntu

Fix PR trigger for ubuntu/osx corefx testing

Merge pull request #3247 from AndyAyersMS/InlineRefactor4c

InlineRefactoring: rename inlExpLst to InlineContext

Merge pull request #3241 from wtgodbe/cscbench

Stop copying of bad System.Runtime version

Merge pull request #3250 from janvorli/fix-explicit-frames-popping-2

Fix the explicit frames unwinding on Unix

Merge pull request #3242 from briansull/arm64conds

Refactor of conditional branches for the ARM architecture

Merge pull request #3238 from tarekgh/DateTimeRefactor

Small refactoring in DateTime comparing methods

Fix PR trigger for ubuntu/osx corefx testing

Fix the explicit frames unwinding on Unix

This change fixes a problem when exception unwinds native frames of code that contains
explicit frames. There were two issues. First, the destructor of the explicit frame
base class Frame that was responsible for popping the frames was missing switch to
GC cooperative mode and so it could pop frames that GC was currently walking.
And second, after adding the switch to cooperative mode, it turned out that if a
thread gets blocked in the Frame destructor due to GC and the stack walker tries to
get stack cookie from FrameWithCookie wrapper of a class derived from the Frame,
it fails since the vtable pointer was already reset to the vtable of the base Frame
class and it detects that as an invalid case.

The fix was to add destructors to all final classes derived from Frame and perform
the frame popping from there.

Merge pull request #3243 from LLITCHEV/structDesc-clone

Added code to clone the structDesc member of GT_CALL.

Merge pull request #3135 from CarolEidt/x86VirtualStubDirect

Enable Virtual Stub calls that are direct for x86

Added code to clone the structDesc member of GT_CALL.

Adds code to clone the structDesc member of GT_CALL. It modifies the
importer to get the structDesc directly in this field, instead of using a
separate local and eliminates the obsolete SetRegisterReturningStructState
method of GenTreeCall.

Fixes 3239.

InlineRefactor: rename inlExpLst to InlineContext

Rename inlExpLst to InlineContext, and move the code for it into
the inlining files. Expand the context to capture the observation
leading to success. Defer generating the method names until the
context is dumped to avoid unnecessary debug/check allocations.

Make sure observation field on GenTreeCall is properly initialized
and copied, and give it the right type via an opaque forward
declaration.

Merge pull request #3237 from AndyAyersMS/InlineRefactor4b

Inline refactoring: capture failing observation for non-candidates

Disambiguate debug pipe names with more than just PID.

Made the changes suggested fromn code reviewers

stop copying of bad System.Runtime version

Added enum CompareKind as input to genJumpKindForOper()

Record the result of genJumpKindForOper() in a local before generating the jump instruction
Added support for using Logical instructions with genJumpKindForOper()

Inline refactoring: capture failing observation for non-candidates

Refactor the InlineResult to take a `GenTreeCall` instead of artifacts
derived from the call. Use this to decorate the call (in DEBUG) if
an inline fails with the observation that lead to the failure. Move
this constructor out of the header since we now need it to invoke
methods on types that are header-opaque.

Try and pick this reason up later on when non-candidate call sites are
encountered during inlining.

Introduce a second constructor for the pre-jit use case, where we are
evaulating a method to see if we can mark it as never inline to save
work in any subsequent compilation. Put this into the cpp file too for
symmetry.

Type the backing field in GenTreeCall as unsigned to avoid creating
more deeply entangled include circularities. Happy to reconsider if
this seems ill-advised.

Reword a few more uses of inlinee to callee (similarly inliner to
caller). Make `inlIsValidObservation` globally visible and enable
a prior commented-out assert.

Enable Virtual Stub calls that are direct for x86

On x86, direct virtual stub calls must be done with a relative address, NOT through a register.

Small refactoring in DateTime comparing methods

Do not define global inline new/delete operators

VS2015 Update 2 generates C4595 for such code and the build fails due to /WX

Merge pull request #3229 from AndyAyersMS/InlineRefactor4a

Inline refactoring: add candidate observations

Merge pull request #3219 from adityamandaleeka/twowaypipe_cleanup

Clean up Unix twowaypipe code

Merge pull request #3222 from richardlford/testswithrefs0216

Port desktop tests that had references

Merge pull request #3231 from ellismg/add-back-push-triggers

Add back push triggers