Merge pull request #3359 from pgavlin/AllocatorCleanup2

Clean up norls_allocator.

Merge pull request #3319 from LLITCHEV/implicit-RetBuf-return-type

Explicitly change the type of a method with implicit RetBuf to BYREF for System V OSs.

Update norls_allocator to conform to the JIT CC.

There are no functional changes aside from the removal of a couple
of fields from norls_allocator and norls_pagdesc. As part of this
change, norls_allocator has been renamed to ArenaAllocator to better
reflect its behavior.

Merge pull request #3364 from adityamandaleeka/semaphore_name_length

Reduce length of debugger semaphore names.

Merge pull request #3336 from mikem8361/sosstack

Enabled more SOS commands and fixed various issues.

Create a version resilient interface between sos (libsos.so) and the lldb plugin
(libsosplugin.so). There is a ILLDBServices interface between the two with a proper
QI/Addref/Release interface so we can add new interfaces later and still be backwards
and forward compatible. Internally in sos there is a DebugClient wrapper around this
interface that makes it look like all the individual dbgeng interfaces (IDebugControl4,
IDebugSymbols, IDebugDataSpaces, etc) even with QI, etc.

Enable the sos the u (clru), DumpStack (dumpstack), EEStack (eestack), DumpIL (dumpil), DumpSig and
DumpSigElem commands (aliases in parans).

Add the clrstack -f option that displays the intermixed native and managed frames
when managed assembly and offsets.

Implement GetContextFromFrame. Enable the _EFN_* exported functions.

Add source file/line number support (native only) via GetLineByOffset.

Fix bug when executed just "sos". Displays help now.

Disable the U -gcinfo option since it isn't implemented on xplat because it uses Windows fibers.

Fixed a problem where some HelperMethodFrames were not unwinding; clrstack would stop without displaying
managed functions on the stack. The HelperMethodFrames were not sometimes unwinding because the lldb
VirtualUnwind used by the DAC was using (via the data target) to do the out of context unwind has some
limitations.  lldb doesn't have a way to unwind an arbitrary register context so the VirtualUnwind
implementation searches through the thread's frames until it finds a match and returns the next one. The
match was an exact match and in some cases it didn't find a frame. Changed it to check if the incoming
context's SP is in between frames and return the next one if so.

Only add the special internal "corerun" lldb plugin command in debug builds.

Explicitly change the type of a method with implicit RetBuf to BYREF for
System V.

The System V ABI requires the address implicit RetBuf to be returned in
RAX.
Instead of moving the address of the buffer to RAX in codegenxarch.cpp,
change such methods return type to TYP_BYREF and generate the necessary
code to put the address in RAX.

Added/cleaned some comments.

Fixes issue #3299.

Reduce debugger semaphore name length.

Merge pull request #3346 from AndyAyersMS/InlineRefactor5a1

Inline Refactoring: set up policy for bad inlinees

Merge pull request #3314 from tijoytom/master

Adding more interop tests.

Inline Refactoring: set up policy for bad inlinees

Move inline policies to their own header and cpp file.

Add a method to the policy class to indicate if the policy wants newly
discovered `Never` inline cases to change the callee method attributes
to Noinline. This is an existing optimization that saves time when the
jit sees calls to this callee elsewhere as a possible inline candidates.

For example, in the trace below, at for the call at offset 31, the jit
determines that `ToInt32` is too large to be inlined and so marks it as
noinline. Then when it sees another call to `ToInt31` at offset 44 it
immediately fails the inline attempt.

```
Inlines into RegistryTimeZoneInformation:.ctor(ref):this
  ...
  [IL=0031 TR=000040] [FAILED: too many il bytes] System.BitConverter:ToInt32(ref,int):int
  [IL=0044 TR=000049] [FAILED: noinline per IL/cached result] System.BitConverter:ToInt32(ref,int):int
  [IL=0057 TR=000058] [FAILED: noinline per IL/cached result] System.BitConverter:ToInt32(ref,int):int
```

Diagnostic and experimental policies may choose to disable this
optimization to make it easier to locally reason about failed inlines.

There were 5 calls to `setMethodAttribs` passing `CORINFO_FLG_BAD_INLINEE`.
This change consolidates 4 of them into the inlining code. The remaining
call is for a method with verification errors. I've left it as is.

Merge pull request #3356 from bendono/PowerShell

Validate PowerShell prerequisite. Update documentation. -- Issue #3355

Merge pull request #3358 from dotnet-bot/from-tfs

Merge changes from TFS

Validate PowerShell prerequisite. Update documentation.

Add a new set of APIs for JIT configuration.

These APIs accommodate the retrieval of config values using the JIT
interface rather than the utilcode library. All configuration options
are now initialized upon the first call to compileMethod. The values
of configuration options are available off of an ambient JitConfig
object.

This also changed `JitHost::get*ConfigValue` to use the
`EEConfig_default` policy instead of `REGUTIL_default` in order to
avoid breaking a small set of JIT config options available in release
builds that were using the former. This change is exceedingly
unlikely to adversely affect the behavior of other JIT config options
that were originally fetched using `REGUTIL_default`, since values
for these options should not be present any locations searched
by `EEConfig_default` that are not searched by
`REGUTIL_default` (namely config files).

[tfs-changeset: 1578859]

Merge pull request #3354 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #3353 from jkotas/gc-update

Update GC from CoreRT

Merge pull request #3335 from dotnet-bot/from-tfs

Merge changes from TFS

Fixes for GC update

Workaround missing UrlEscape

Update GC from CoreRT

https://github.com/dotnet/corert/tree/master/src/Native/gc d18f7e5d9fea784b4531aa8988fdad9f3a9cffc3

Fix build break - add precompiled header

Merge pull request #3339 from RussKeldorph/msvcrt

Replace reference to msvcr110.dll with msvcrt.dll in test b286991

Merge pull request #3334 from brianrob/perfmap_crossgen_r2r

Fix PerfMap::GetNativeImageSignature to work for ready to run images

Merge pull request #3296 from CarolEidt/NonLeafLongOpnd3292

Handle long operators with non-leaf operands

Merge pull request #3340 from stephentoub/debuggernotify_model

Ensure Debugger.NotifyOfCrossthreadDependency is exposed from mscorlib

Merge pull request #3341 from jkotas/tokenkind-newobj

Add CORINFO_TOKENKIND_NewObj

Merge pull request #3331 from brianrob/crossgen_perfmap

Update Crossgen /CreatePerfMap to clear NGENWORKER_FLAGS_READYTORUN

Merge pull request #3348 from JohnChen0/master

Fix .gitignore so src/tools is not ignored

Merge pull request #3333 from pgavlin/JitAllocatorCleanup

Remove dead definitions in alloc.h.

Merge pull request #3345 from sivarv/vector3fix

Fix to second CoreFX SIMD test failure mentioned in issue #2886.

Fix .gitignore so src/tools is not ignored

Commit 3079b40 modified .gitignore to ignore top-level Tools directory.
However the change was too broad and caused src/tools to be ignored as well.
This commit fixes it.

Merge pull request #3343 from rahku/Helix

Helix testing : Add xunit.performance.core to core_root. required for few jit tests

Fix to second CoreFX SIMD test failure mentioned in issue #2886.

Root Cause:
The following managed method is executed by the test

  Vector3 Vecor3.Normalize(Vector3)

Vector3 on Unix gets passed in two registers by caller of Normalize()
method.  Within prolog of Normalie(), RyuJIt homes Vector3 arg by
writing only 12 bytes of arg regs xmm0/xmm1. As a result the upper
4-bytes could end up garbage.  Further down test performs dot product
and the codegen of which makes the assumption that Vector3 types
when loaded in regs will have upper 4-bytes zero'ed out.  Since
that assumption is violated, incorrect results gets computed and
hence CoreFx test failure not fiding expected result.

Fix:  While homing Vector3 arg treat it as TYP_SIMD16 and home
16-bytes of arg regs xmm0/xmm1.

Also added a TODO comment on the assumptions RyuJIT is making on
Vector3 type.  Will be opening a Git issue for the same.

Merge pull request #3315 from AndyAyersMS/InlineRefactor5

InlineRefactoring: introducing InlinePolicy

Merge pull request #3233 from vancem/RemoveSecurityCheck

Revert "Revert "Remove useless security checks""

Merge pull request #3316 from kyulee1/fixmustexpand

Fix for pMustExpand early fail.

Fix for Bug 192726:[amd64][ilGen] gtVNPair_GetLiberal assert

The previously added asserts in fgMorph about valid value numbers are not always true. In the failing case, it turned out a GT_COMMA came out of fgMorph after value numbering did have a NoVN value number. The fix here is to simply remove the asserts since the code there does not really care about what value numbers the child expressions have.

[tfs-changeset: 1578470]

Add CORINFO_TOKENKIND_NewObj

CoreRT implementation of the JIT-EE interface needs to know whether the token is coming from newobj instruction

Ensure Debugger.NotifyOfCrossthreadDependency is exposed from mscorlib

Replace reference to msvcr110.dll with msvcrt.dll in test b286991

Removes unnecessary (and unsupported) dependency and makes the test
consistent with its peers.

[Fix build break] In the previous change I exposed some APIs in mscorlib.dll to unblock System.Reflection change. However, crossgen.exe trips on this mscorlib.dll since some of the methods it uses is not part of the FEATURE_CORECLR. This change simply exposes these APIs for now.

[tfs-changeset: 1578199]

Remove dead definitions in alloc.h.

Just what it says on the tin.

Fix PerfMap::GetNativeImageSignature to work for ready to run images.

Update crossgen /CreatePerfMap to clear NGENWORKER_FLAGS_READYTORUN.

Expose a hosting interface for the JIT.

This is the first significant step towards removing the JIT's dependence on utilcode.
This change introduces a new interface, `ICorJitHost`, that allows functionality that
would usually be provided by the OS to be overridden by the program that is hosting
the JIT. At the moment, this is limited to memory allocation and configuration value
(e.g. environment variable) access. If the JIT exports a function named `jitStartup`,
an instance of the `ICorJitHost` must be provided via that function before the first
call to `getJit`.

The VM and other implementors of the JIT interface have been updated accordingly.
Most implementors should use the common implementation of `ICorJitHost` (cleverly
named `JitHost`) in utilcode which respects the CLR's hosting policy.

Note that this change does not update RyuJIT (or any other JITs) to use any of the
functionality exposed by `ICorJitHost`; that work is left for future changes.

[tfs-changeset: 1578176]

Fix for pMustExpand early fail.

When EE tells Jit to enforce intrinsic expansion, we also checked whether
the intrinsic will be turned into a user call by IsIntrinsicImplementedByUserCall.
In fact, this API is primarily for math intrinsic and thus somewhat ambiguous since
even for any arbitrary non-math intrinsic ID, it returns true.
There are some side-effects, so I didn't refactor this API in this change.
Instead, the fix for pMustExpand is to check whether gtFlags has GTF_CALL.

Adding more interop tests.

Fix Guid.TryParse to not throw FormatException

In certain situations, e.g.
```
Guid g;
Guid.TryParse("{0xdddddddd, 0xdddd, 0xdddd,{0xdd0xdd,0xdd,0xdd,0xdd,0xdd,0xdd,0xdd}}", out g);
```
Guid.TryParse is throwing a FormatException rather than returning false.  This is due to a call to Convert.ToInt32 on one code path that's throwing.

Handle long operators with non-leaf operands on RyuJIT/x86

For non-leaf operands, we need to reorder more than just single nodes.
More complex handling is required if the two nodes being reordered
have side effects (that is NYI for now). Otherwise, we need to link
the first node in each sub-tree with the previous sub-tree.

Fixes #3292

Expose necessary surface area required for API Convergence effort for System.Reflection

[tfs-changeset: 1578145]

InlineRefactoring: introducing InlinePolicy

Split the policy aspect of the InlineResult into a separate
policy object, acessed from the InlineResult via a base class.

Implement a LegacyPolicy to capture today's behavior.

Create a factory method for determining what policy to use. Right
now it always creates a LegacyPolicy. This is newed up for each
Inline decision, but since the InlineResult has relatively short
lifetime, we should probably recycle policy objects (might be
more desirable once they start having a bit more state).

Split out a bunch of the InlineDecision helper methods that lived
on InlineResult into global methods since policies will want to refer
to them too. Shame that enum classes don't allow member functions.

Merge pull request #3300 from dotnet/InlineRefactor4f

InlineRefactoring: capture remaining failing cases in inline tree

Merge pull request #3301 from stephentoub/fix_guid_tryparse

Fix Guid.TryParse to not throw FormatException

Merge pull request #3307 from krytarowski/netbsd-support-56

Fix build issue on NetBSD: Include <stdarg.h> for va_list

InlineRefactoring: capture remaining failing cases in inline tree

The main ininling loop in `fgInline` currently only looks at calls
that are inline candidates and at top-level in their statements.
This is sensible since any call that is an inline candidate has been
hoisted to top-level during importing.

However, to find all the failed inline cases, the jit also needs to
look through the full tree to find calls that were not identified as
candidates.

For instance, in the Secant test, the jit decides to inline `TestBase`
into `Main`. While importing the code for `TestBase` for inlining, the
jit sees that the call to `Bench` is marked with
`[MethodImpl(MethodImplOptions.NoInlining)]` and so the call is not
considered to be an inline candidate. And because `Bench` returns a
value, the call expression is in a subtree under an assign expression.
Thus the failure to inline `Bench` is overlooked by the current code.

```
;; current code
Inlines into Secant:Main():int
  [IL=0000 TR=000001] [below ALWAYS_INLINE size] Secant:TestBase():bool
```

With this change, under DEBUG, the main inline control loop in `fgInline`
now also scans the tree for non-candidates, and adds their failures
to the InlineContext tree in appropriate locations.

`fgMorphInline` and `fgMorphInlineHelper` are now simpified since they
can assume any call they see must be a candidate.

The jit now also only notes failures for `CT_USER_FUNC` calls, since
otherwise the trees would be full of failed calls to helpers and the
like.

With this change, the jit can now report that `Bench` is a failed inline
into `Main`.

```
;; new code
Inlines into Secant:Main():int
  [IL=0000 TR=000001] [below ALWAYS_INLINE size] Secant:TestBase():bool
    [IL=0000 TR=000021] [FAILED: noinline per IL/cached result] Secant:Bench():bool
```

Merge pull request #3303 from LLITCHEV/PutArgStk-GC-hole

Fix a hole in the GC generated for PutArgStructStk.
Thanks all!

Merge pull request #3304 from andschwa/sigchld

Remove mask of SIGCHLD

Add xunit.performance.core to core_root. required for few jit tests

Merge pull request #3248 from adityamandaleeka/twowaypipe_cleanup

Disambiguate debug pipe names with more than just PID

Fix a hole in the GC generated for PutArgStructStk.

On System V there is a hole (tanks @CarolEidt for pointing it out) where
while copying struct to the stack in the OutgoingParamArea the GC-ness
for the register used to copy the struct is not  properly set.
This change fixes the issue.

This change also makes sure when copying to/from stack, an emitAttr of
EA_PTRSIZE is used - stack variables are never moved by GC, so using this
type in such case should is fine.

Fix build issue on NetBSD: Include <stdarg.h> for va_list

This has been triggered during llilc build.

Remove mask of SIGCHLD

When a .NET Core program invoked a process that invoked its own child,
the masking of SIGCHLD prevented the process from recognizing its child
had exited, which some processes require. This caused the .NET Core app
to hang in certain internal scenarios.

Merge pull request #3293 from jkotas/r2r-default-callconv

Use default calling convention small type widening rules for R2R

Merge pull request #3298 from jkotas/ryujit-version

Update RyuJIT package version

Merge pull request #3302 from wtgodbe/datetime

Integrate ToF version of DateTimeKind test to prevent failures on non-Windows platforms

Fix Guid.TryParse to not throw FormatException

In certain situations, e.g.
```
Guid g;
Guid.TryParse("{0xdddddddd, 0xdddd, 0xdddd,{0xdd0xdd,0xdd,0xdd,0xdd,0xdd,0xdd,0xdd}}", out g);
```
Guid.TryParse is throwing a FormatException rather than returning false.  This is due to a call to Convert.ToInt32 on one code path that's throwing.

Merge pull request #3244 from erozenfeld/SIMDInit

Fix for SIMD Initialize intrinsic expansion.

Merge pull request #3259 from sejongoh/add_corefx_minopts

Add minopts and fix few bugs

Add minopts and fix few bugs

Integrate ToF version of DateTimeKind test to prevent failures on non-Windows platforms

Merge pull request #3294 from jkotas/delete-zero-offset-allowed

Delete FEATURE_REF_ZERO_OFFSET_ALLOWED

Merge pull request #3266 from rahku/Helix

add helix run support to coreclr repo

add helix run support to coreclr repo

Update RyuJIT package version

Merge pull request #3270 from CarolEidt/x86TypeCtxtOnFrame

Mark compTypeCtxtArg as lvOnFrame

Add in code to do NullArgumentChecks for compatibiity

Merge pull request #3282 from gkhanna79/WinX86Nuget

Generate WinX86 Nuget package

Delete FEATURE_REF_ZERO_OFFSET_ALLOWED

Merge pull request #3289 from AndyAyersMS/InlineRefactor4e

Inline refactoring: split up depth and recursion checks

Use default calling convention small type widening rules for R2R

Sticking to default calling convention is key for interoperability that is the primary goal of R2R.

Generate WinX86 Nuget package

Merge pull request #3286 from sejongoh/add_export

Add export to define environment variables

Merge pull request #3255 from juergenhoetzel/build_script_fixes

Handle CMakeArgs correctly

Merge pull request #3260 from gkhanna79/CentOS

Fixes to build CentOS CoreCLR Nuget Package

Merge pull request #3290 from krytarowski/netbsd-support-55

PAL tests on NetBSD: Clean-up

Temporarily disable paltest_pal_sxs_test1 on NetBSD

This test has been also disabled on FreeBSD as hardware exceptions
always seem to abort on NetBSD as well.

Related issues: dotnet/coreclr#2090 dotnet/coreclr#3287

Fix typo in the name of the paltest_getcurrentthread_test2 test

It was recently disabled on NetBSD and due to pasto it reports a wrong name.

Inline refactoring: split up depth and recursion checks

Separate out the recursive inline and inline too deep obervations.
Have the checker update the inline result directly rather than
deferring to the caller.

Add a bit more commentary on how the various inline classes
are used during compilation.

Merge pull request #3275 from AndyAyersMS/InlineRefactor4d

InlineRefactoring: start to capture failures in the inline tree

Merge pull request #3278 from jamesqo/patch-7

Short-circuit for empty strings in string.Insert and Remove

Merge pull request #3285 from krytarowski/netbsd-support-54

Fix test issue on NetBSD: Walk-around getrusage(2) implementation nits

Add export to define environment variables

Fix test issue on NetBSD: Walk-around getrusage(2) implementation nits

The following code:

int main(int argc, char **argv)
{
    int i, j, k, total;
    struct rusage resUsage1, resUsage2;

    if (getrusage (RUSAGE_SELF, &resUsage1) == -1)
        errx(1, "getrusage");

    /* simulate some activity */
    for( i=0; i<1000; i++ )
    {
        for( j=0; j<1000; j++ )
        {
            total = j * i;
            for( k=0; k<1000; k++ )
            {
                total += k + i;
            }
        }
    }

    if (getrusage (RUSAGE_SELF, &resUsage2) == -1)
        errx(1, "getrusage");

    printf("kernel1 %ld.%06ld\n", resUsage1.ru_stime.tv_sec, resUsage1.ru_stime.tv_usec);
    printf("kernel2 %ld.%06ld\n", resUsage2.ru_stime.tv_sec, resUsage2.ru_stime.tv_usec);

    printf("user1 %ld.%06ld\n", resUsage1.ru_utime.tv_sec, resUsage1.ru_utime.tv_usec);
    printf("user2 %ld.%06ld\n", resUsage2.ru_utime.tv_sec, resUsage2.ru_utime.tv_usec);

    return 0;
}

Returns the following values:

$ ./test
kernel1 0.000262
kernel2 0.000000
user1 0.000262
user2 2.279965

The reason for it is as follows:

    The reason is that the scheduler keeps a precise total cpu time of
    a process but the systime/usertime is only sampled by a much slower
    clock. The ratio systime/usertime is then used to return an approximation
    so that systime and usertime sum up to the total time(*).

    As a result it is possible that usertime or systime go backwards.

    FreeBSD has implemented a workaround by remembering reported
    usertime/systime values for a process and clamping getrusage()
    against these values. As a result the usertime/systime value
    is usually too high but it is monotonic.

    Another approach would be to round down the usertime/systime values,
    by not approximating 'measurments' that do not exist. The result
    would be that usertime/systime values that are too low and don't
    sum up to the total CPU time but are again monotonic.

    The approximation is done in kern_resource/calc().
    (*) The sampled interrupt time is also included.

-- by Michael van Elst
-- http://gnats.netbsd.org/cgi-bin/query-pr-single.pl?number=30115

Walkaround it by doing kernel-work with subsequent malloc(3) and free(3) calls.
Note that doing these calls for smaller chunks (it looks like a compiler/libc
can optimize it without going to the host kernel) or just 1000 times is not
sufficient.

Short-circuit for empty strings in Insert/Remove

Merge pull request #3280 from jamesqo/patch-8

Avoid string allocations in some Concat overloads

Merge pull request #3279 from krytarowski/netbsd-support-53

Disable not relevant tests for NetBSD: SCHED_OTHER may not be reassignable

Remove trailing whitespace

Avoid string allocations in some Concat overloads

Disable not relevant tests for NetBSD: SCHED_OTHER may not be reassignable

This addresses the following issues:

threading/GetCurrentThread/test1/paltest_getcurrentthread_test1. Exit code: 1
threading/GetCurrentThread/test2/paltest_getcurrentthread_test2. Exit code: 1
threading/GetProcessTimes/test2/paltest_getprocesstimes_test2. Exit code: 1