Update norls_allocator to conform to the JIT CC.

There are no functional changes aside from the removal of a couple
of fields from norls_allocator and norls_pagdesc. As part of this
change, norls_allocator has been renamed to ArenaAllocator to better
reflect its behavior.

Merge pull request #3356 from bendono/PowerShell

Validate PowerShell prerequisite. Update documentation. -- Issue #3355

Merge pull request #3358 from dotnet-bot/from-tfs

Merge changes from TFS

Validate PowerShell prerequisite. Update documentation.

Add a new set of APIs for JIT configuration.

These APIs accommodate the retrieval of config values using the JIT
interface rather than the utilcode library. All configuration options
are now initialized upon the first call to compileMethod. The values
of configuration options are available off of an ambient JitConfig
object.

This also changed `JitHost::get*ConfigValue` to use the
`EEConfig_default` policy instead of `REGUTIL_default` in order to
avoid breaking a small set of JIT config options available in release
builds that were using the former. This change is exceedingly
unlikely to adversely affect the behavior of other JIT config options
that were originally fetched using `REGUTIL_default`, since values
for these options should not be present any locations searched
by `EEConfig_default` that are not searched by
`REGUTIL_default` (namely config files).

[tfs-changeset: 1578859]

Merge pull request #3354 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #3353 from jkotas/gc-update

Update GC from CoreRT

Merge pull request #3335 from dotnet-bot/from-tfs

Merge changes from TFS

Fixes for GC update

Workaround missing UrlEscape

Update GC from CoreRT

https://github.com/dotnet/corert/tree/master/src/Native/gc d18f7e5d9fea784b4531aa8988fdad9f3a9cffc3

Fix build break - add precompiled header

Merge pull request #3339 from RussKeldorph/msvcrt

Replace reference to msvcr110.dll with msvcrt.dll in test b286991

Merge pull request #3334 from brianrob/perfmap_crossgen_r2r

Fix PerfMap::GetNativeImageSignature to work for ready to run images

Merge pull request #3296 from CarolEidt/NonLeafLongOpnd3292

Handle long operators with non-leaf operands

Merge pull request #3340 from stephentoub/debuggernotify_model

Ensure Debugger.NotifyOfCrossthreadDependency is exposed from mscorlib

Merge pull request #3341 from jkotas/tokenkind-newobj

Add CORINFO_TOKENKIND_NewObj

Merge pull request #3331 from brianrob/crossgen_perfmap

Update Crossgen /CreatePerfMap to clear NGENWORKER_FLAGS_READYTORUN

Merge pull request #3348 from JohnChen0/master

Fix .gitignore so src/tools is not ignored

Merge pull request #3333 from pgavlin/JitAllocatorCleanup

Remove dead definitions in alloc.h.

Merge pull request #3345 from sivarv/vector3fix

Fix to second CoreFX SIMD test failure mentioned in issue #2886.

Fix .gitignore so src/tools is not ignored

Commit 3079b40 modified .gitignore to ignore top-level Tools directory.
However the change was too broad and caused src/tools to be ignored as well.
This commit fixes it.

Merge pull request #3343 from rahku/Helix

Helix testing : Add xunit.performance.core to core_root. required for few jit tests

Fix to second CoreFX SIMD test failure mentioned in issue #2886.

Root Cause:
The following managed method is executed by the test

  Vector3 Vecor3.Normalize(Vector3)

Vector3 on Unix gets passed in two registers by caller of Normalize()
method.  Within prolog of Normalie(), RyuJIt homes Vector3 arg by
writing only 12 bytes of arg regs xmm0/xmm1. As a result the upper
4-bytes could end up garbage.  Further down test performs dot product
and the codegen of which makes the assumption that Vector3 types
when loaded in regs will have upper 4-bytes zero'ed out.  Since
that assumption is violated, incorrect results gets computed and
hence CoreFx test failure not fiding expected result.

Fix:  While homing Vector3 arg treat it as TYP_SIMD16 and home
16-bytes of arg regs xmm0/xmm1.

Also added a TODO comment on the assumptions RyuJIT is making on
Vector3 type.  Will be opening a Git issue for the same.

Merge pull request #3315 from AndyAyersMS/InlineRefactor5

InlineRefactoring: introducing InlinePolicy

Merge pull request #3233 from vancem/RemoveSecurityCheck

Revert "Revert "Remove useless security checks""

Merge pull request #3316 from kyulee1/fixmustexpand

Fix for pMustExpand early fail.

Fix for Bug 192726:[amd64][ilGen] gtVNPair_GetLiberal assert

The previously added asserts in fgMorph about valid value numbers are not always true. In the failing case, it turned out a GT_COMMA came out of fgMorph after value numbering did have a NoVN value number. The fix here is to simply remove the asserts since the code there does not really care about what value numbers the child expressions have.

[tfs-changeset: 1578470]

Add CORINFO_TOKENKIND_NewObj

CoreRT implementation of the JIT-EE interface needs to know whether the token is coming from newobj instruction

Ensure Debugger.NotifyOfCrossthreadDependency is exposed from mscorlib

Replace reference to msvcr110.dll with msvcrt.dll in test b286991

Removes unnecessary (and unsupported) dependency and makes the test
consistent with its peers.

[Fix build break] In the previous change I exposed some APIs in mscorlib.dll to unblock System.Reflection change. However, crossgen.exe trips on this mscorlib.dll since some of the methods it uses is not part of the FEATURE_CORECLR. This change simply exposes these APIs for now.

[tfs-changeset: 1578199]

Remove dead definitions in alloc.h.

Just what it says on the tin.

Fix PerfMap::GetNativeImageSignature to work for ready to run images.

Update crossgen /CreatePerfMap to clear NGENWORKER_FLAGS_READYTORUN.

Expose a hosting interface for the JIT.

This is the first significant step towards removing the JIT's dependence on utilcode.
This change introduces a new interface, `ICorJitHost`, that allows functionality that
would usually be provided by the OS to be overridden by the program that is hosting
the JIT. At the moment, this is limited to memory allocation and configuration value
(e.g. environment variable) access. If the JIT exports a function named `jitStartup`,
an instance of the `ICorJitHost` must be provided via that function before the first
call to `getJit`.

The VM and other implementors of the JIT interface have been updated accordingly.
Most implementors should use the common implementation of `ICorJitHost` (cleverly
named `JitHost`) in utilcode which respects the CLR's hosting policy.

Note that this change does not update RyuJIT (or any other JITs) to use any of the
functionality exposed by `ICorJitHost`; that work is left for future changes.

[tfs-changeset: 1578176]

Fix for pMustExpand early fail.

When EE tells Jit to enforce intrinsic expansion, we also checked whether
the intrinsic will be turned into a user call by IsIntrinsicImplementedByUserCall.
In fact, this API is primarily for math intrinsic and thus somewhat ambiguous since
even for any arbitrary non-math intrinsic ID, it returns true.
There are some side-effects, so I didn't refactor this API in this change.
Instead, the fix for pMustExpand is to check whether gtFlags has GTF_CALL.

Handle long operators with non-leaf operands on RyuJIT/x86

For non-leaf operands, we need to reorder more than just single nodes.
More complex handling is required if the two nodes being reordered
have side effects (that is NYI for now). Otherwise, we need to link
the first node in each sub-tree with the previous sub-tree.

Fixes #3292

Expose necessary surface area required for API Convergence effort for System.Reflection

[tfs-changeset: 1578145]

InlineRefactoring: introducing InlinePolicy

Split the policy aspect of the InlineResult into a separate
policy object, acessed from the InlineResult via a base class.

Implement a LegacyPolicy to capture today's behavior.

Create a factory method for determining what policy to use. Right
now it always creates a LegacyPolicy. This is newed up for each
Inline decision, but since the InlineResult has relatively short
lifetime, we should probably recycle policy objects (might be
more desirable once they start having a bit more state).

Split out a bunch of the InlineDecision helper methods that lived
on InlineResult into global methods since policies will want to refer
to them too. Shame that enum classes don't allow member functions.

Merge pull request #3300 from dotnet/InlineRefactor4f

InlineRefactoring: capture remaining failing cases in inline tree

Merge pull request #3301 from stephentoub/fix_guid_tryparse

Fix Guid.TryParse to not throw FormatException

Merge pull request #3307 from krytarowski/netbsd-support-56

Fix build issue on NetBSD: Include <stdarg.h> for va_list

InlineRefactoring: capture remaining failing cases in inline tree

The main ininling loop in `fgInline` currently only looks at calls
that are inline candidates and at top-level in their statements.
This is sensible since any call that is an inline candidate has been
hoisted to top-level during importing.

However, to find all the failed inline cases, the jit also needs to
look through the full tree to find calls that were not identified as
candidates.

For instance, in the Secant test, the jit decides to inline `TestBase`
into `Main`. While importing the code for `TestBase` for inlining, the
jit sees that the call to `Bench` is marked with
`[MethodImpl(MethodImplOptions.NoInlining)]` and so the call is not
considered to be an inline candidate. And because `Bench` returns a
value, the call expression is in a subtree under an assign expression.
Thus the failure to inline `Bench` is overlooked by the current code.

```
;; current code
Inlines into Secant:Main():int
  [IL=0000 TR=000001] [below ALWAYS_INLINE size] Secant:TestBase():bool
```

With this change, under DEBUG, the main inline control loop in `fgInline`
now also scans the tree for non-candidates, and adds their failures
to the InlineContext tree in appropriate locations.

`fgMorphInline` and `fgMorphInlineHelper` are now simpified since they
can assume any call they see must be a candidate.

The jit now also only notes failures for `CT_USER_FUNC` calls, since
otherwise the trees would be full of failed calls to helpers and the
like.

With this change, the jit can now report that `Bench` is a failed inline
into `Main`.

```
;; new code
Inlines into Secant:Main():int
  [IL=0000 TR=000001] [below ALWAYS_INLINE size] Secant:TestBase():bool
    [IL=0000 TR=000021] [FAILED: noinline per IL/cached result] Secant:Bench():bool
```

Merge pull request #3303 from LLITCHEV/PutArgStk-GC-hole

Fix a hole in the GC generated for PutArgStructStk.
Thanks all!

Merge pull request #3304 from andschwa/sigchld

Remove mask of SIGCHLD

Add xunit.performance.core to core_root. required for few jit tests

Merge pull request #3248 from adityamandaleeka/twowaypipe_cleanup

Disambiguate debug pipe names with more than just PID

Fix a hole in the GC generated for PutArgStructStk.

On System V there is a hole (tanks @CarolEidt for pointing it out) where
while copying struct to the stack in the OutgoingParamArea the GC-ness
for the register used to copy the struct is not  properly set.
This change fixes the issue.

This change also makes sure when copying to/from stack, an emitAttr of
EA_PTRSIZE is used - stack variables are never moved by GC, so using this
type in such case should is fine.

Fix build issue on NetBSD: Include <stdarg.h> for va_list

This has been triggered during llilc build.

Remove mask of SIGCHLD

When a .NET Core program invoked a process that invoked its own child,
the masking of SIGCHLD prevented the process from recognizing its child
had exited, which some processes require. This caused the .NET Core app
to hang in certain internal scenarios.

Merge pull request #3293 from jkotas/r2r-default-callconv

Use default calling convention small type widening rules for R2R

Merge pull request #3298 from jkotas/ryujit-version

Update RyuJIT package version

Merge pull request #3302 from wtgodbe/datetime

Integrate ToF version of DateTimeKind test to prevent failures on non-Windows platforms

Fix Guid.TryParse to not throw FormatException

In certain situations, e.g.
```
Guid g;
Guid.TryParse("{0xdddddddd, 0xdddd, 0xdddd,{0xdd0xdd,0xdd,0xdd,0xdd,0xdd,0xdd,0xdd}}", out g);
```
Guid.TryParse is throwing a FormatException rather than returning false.  This is due to a call to Convert.ToInt32 on one code path that's throwing.

Merge pull request #3244 from erozenfeld/SIMDInit

Fix for SIMD Initialize intrinsic expansion.

Merge pull request #3259 from sejongoh/add_corefx_minopts

Add minopts and fix few bugs

Add minopts and fix few bugs

Integrate ToF version of DateTimeKind test to prevent failures on non-Windows platforms

Merge pull request #3294 from jkotas/delete-zero-offset-allowed

Delete FEATURE_REF_ZERO_OFFSET_ALLOWED

Merge pull request #3266 from rahku/Helix

add helix run support to coreclr repo

add helix run support to coreclr repo

Update RyuJIT package version

Merge pull request #3270 from CarolEidt/x86TypeCtxtOnFrame

Mark compTypeCtxtArg as lvOnFrame

Add in code to do NullArgumentChecks for compatibiity

Merge pull request #3282 from gkhanna79/WinX86Nuget

Generate WinX86 Nuget package

Delete FEATURE_REF_ZERO_OFFSET_ALLOWED

Merge pull request #3289 from AndyAyersMS/InlineRefactor4e

Inline refactoring: split up depth and recursion checks

Use default calling convention small type widening rules for R2R

Sticking to default calling convention is key for interoperability that is the primary goal of R2R.

Generate WinX86 Nuget package

Merge pull request #3286 from sejongoh/add_export

Add export to define environment variables

Merge pull request #3255 from juergenhoetzel/build_script_fixes

Handle CMakeArgs correctly

Merge pull request #3260 from gkhanna79/CentOS

Fixes to build CentOS CoreCLR Nuget Package

Merge pull request #3290 from krytarowski/netbsd-support-55

PAL tests on NetBSD: Clean-up

Temporarily disable paltest_pal_sxs_test1 on NetBSD

This test has been also disabled on FreeBSD as hardware exceptions
always seem to abort on NetBSD as well.

Related issues: dotnet/coreclr#2090 dotnet/coreclr#3287

Fix typo in the name of the paltest_getcurrentthread_test2 test

It was recently disabled on NetBSD and due to pasto it reports a wrong name.

Inline refactoring: split up depth and recursion checks

Separate out the recursive inline and inline too deep obervations.
Have the checker update the inline result directly rather than
deferring to the caller.

Add a bit more commentary on how the various inline classes
are used during compilation.

Merge pull request #3275 from AndyAyersMS/InlineRefactor4d

InlineRefactoring: start to capture failures in the inline tree

Merge pull request #3278 from jamesqo/patch-7

Short-circuit for empty strings in string.Insert and Remove

Merge pull request #3285 from krytarowski/netbsd-support-54

Fix test issue on NetBSD: Walk-around getrusage(2) implementation nits

Add export to define environment variables

Fix test issue on NetBSD: Walk-around getrusage(2) implementation nits

The following code:

int main(int argc, char **argv)
{
    int i, j, k, total;
    struct rusage resUsage1, resUsage2;

    if (getrusage (RUSAGE_SELF, &resUsage1) == -1)
        errx(1, "getrusage");

    /* simulate some activity */
    for( i=0; i<1000; i++ )
    {
        for( j=0; j<1000; j++ )
        {
            total = j * i;
            for( k=0; k<1000; k++ )
            {
                total += k + i;
            }
        }
    }

    if (getrusage (RUSAGE_SELF, &resUsage2) == -1)
        errx(1, "getrusage");

    printf("kernel1 %ld.%06ld\n", resUsage1.ru_stime.tv_sec, resUsage1.ru_stime.tv_usec);
    printf("kernel2 %ld.%06ld\n", resUsage2.ru_stime.tv_sec, resUsage2.ru_stime.tv_usec);

    printf("user1 %ld.%06ld\n", resUsage1.ru_utime.tv_sec, resUsage1.ru_utime.tv_usec);
    printf("user2 %ld.%06ld\n", resUsage2.ru_utime.tv_sec, resUsage2.ru_utime.tv_usec);

    return 0;
}

Returns the following values:

$ ./test
kernel1 0.000262
kernel2 0.000000
user1 0.000262
user2 2.279965

The reason for it is as follows:

    The reason is that the scheduler keeps a precise total cpu time of
    a process but the systime/usertime is only sampled by a much slower
    clock. The ratio systime/usertime is then used to return an approximation
    so that systime and usertime sum up to the total time(*).

    As a result it is possible that usertime or systime go backwards.

    FreeBSD has implemented a workaround by remembering reported
    usertime/systime values for a process and clamping getrusage()
    against these values. As a result the usertime/systime value
    is usually too high but it is monotonic.

    Another approach would be to round down the usertime/systime values,
    by not approximating 'measurments' that do not exist. The result
    would be that usertime/systime values that are too low and don't
    sum up to the total CPU time but are again monotonic.

    The approximation is done in kern_resource/calc().
    (*) The sampled interrupt time is also included.

-- by Michael van Elst
-- http://gnats.netbsd.org/cgi-bin/query-pr-single.pl?number=30115

Walkaround it by doing kernel-work with subsequent malloc(3) and free(3) calls.
Note that doing these calls for smaller chunks (it looks like a compiler/libc
can optimize it without going to the host kernel) or just 1000 times is not
sufficient.

Short-circuit for empty strings in Insert/Remove

Merge pull request #3280 from jamesqo/patch-8

Avoid string allocations in some Concat overloads

Merge pull request #3279 from krytarowski/netbsd-support-53

Disable not relevant tests for NetBSD: SCHED_OTHER may not be reassignable

Remove trailing whitespace

Avoid string allocations in some Concat overloads

Disable not relevant tests for NetBSD: SCHED_OTHER may not be reassignable

This addresses the following issues:

threading/GetCurrentThread/test1/paltest_getcurrentthread_test1. Exit code: 1
threading/GetCurrentThread/test2/paltest_getcurrentthread_test2. Exit code: 1
threading/GetProcessTimes/test2/paltest_getprocesstimes_test2. Exit code: 1

Merge pull request #3265 from wtgodbe/coverage

Add option to runtest.sh to generate code coverage reports for coreclr

Merge pull request #3262 from wtgodbe/disable

Delete poorly-written tests failing on OSX

Merge pull request #3274 from jamesqo/patch-5

Remove unnecessary ref parameters from String.cs

Remove unnecessary ref parameters from String.cs

For some reason, there seems to be some code in String.Split that takes ref parameters, even though they aren't actually assigned to.

This commit removes the `ref` annotations from the methods and their callers.

Merge pull request #3221 from jamesqo/patch-5

Optimize String.Replace when the chars are the same

Merge pull request #3269 from JoshVarty/master

Fix ecma-spec link

Merge pull request #3273 from krytarowski/netbsd-support-52

Disallow setting of priority for SCHED_OTHER threads on NetBSD

Disallow setting of priority for SCHED_OTHER threads on NetBSD

There are 7 PAL tests that are falling down due to calling
pthread_setschedparam(3) on NetBSD.

Diving into the kernel code I have found that SCHED_OTHER does not support
setting priorities other than PRI_NONE.

        /* Disallow setting of priority for SCHED_OTHER threads */
        if (lpolicy == SCHED_OTHER && pri != PRI_NONE) {
            lwp_unlock(t);
            error = EINVAL;
            break;
        }

-- NetBSD sources sys/kern/sys_sched.c Line 167

/usr/include/sys/param.h:#define    PRI_NONE        (-1)

It looks like the same rule applies for Linux:

       SCHED_OTHER is the default universal time-sharing scheduler policy used
       by most processes, SCHED_FIFO and SCHED_RR  are  intended  for  special
       time-critical  applications  that  need precise control over the way in
       which runnable processes are selected for execution.  Processes  sched-
       uled with SCHED_OTHER must be assigned the static priority 0, processes
       scheduled under SCHED_FIFO or SCHED_RR can have a  static  priority  in
       the  range  1 to 99. Only processes with superuser privileges can get a
       ordering within the list of runnable processes with equal static prior-
       ity.

-- http://ccrma.stanford.edu/planetccrma/man/man2/sched_setscheduler.2.html

Standard says:

    The pthread_getschedparam() and pthread_setschedparam() functions shall,
    respectively, get and set the scheduling policy and parameters of individual
    threads within a multi-threaded process to be retrieved and set. For
    SCHED_FIFO and SCHED_RR, the only required member of the sched_param
    structure is the priority sched_priority. For SCHED_OTHER, the affected
    scheduling parameters are implementation-defined.

    The policy parameter may have the value SCHED_OTHER, SCHED_FIFO, or
    SCHED_RR. The scheduling parameters for the SCHED_OTHER policy are
    implementation-defined. The SCHED_FIFO and SCHED_RR policies shall have a
    single scheduling parameter, priority.

http://pubs.opengroup.org/onlinepubs/9699919799/functions/pthread_getschedparam.html

The culprit code is here: src/pal/src/thread/thread.cpp Line 1276

Fix #3272

Fix misleading typo

Handle CMakeArgs correctly

CMakeArgs were not passed correctly to (included initial whitespace).
Also unquote CMakeArgs to allow us to pass multiple cmake arguments.

Mark compTypeCtxtArg as lvOnFrame

The type context argument must be initialized to lvOnFrame if it is
not a register argument (as on x86, since it is passed after user
arguments).

Fix ecma-spec link