Merge pull request #3060 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #3048 from sejongoh/add_unit_test_for_issue_2580

Add unit test for issue 2580

Add unit test for issue 2580

- The test checks if code generation for ushort is correct.

Delete mdil support from coreclr

[tfs-changeset: 1573006]

Merge pull request #3056 from krytarowski/netbsd-support-34

Fix NetBSD build: Define virtual destructors when needed

Fix NetBSD build: Define virtual destructors when needed

This fixes the following error with recent Clang (3.9.0nb20160205):

In file included from /tmp/pkgsrc-tmp/wip/coreclr-git/work/coreclr/src/pal/src/synchmgr/synchcontrollers.cpp:20:
In file included from /tmp/pkgsrc-tmp/wip/coreclr-git/work/coreclr/src/pal/src/synchmgr/synchmanager.hpp:24:
/tmp/pkgsrc-tmp/wip/coreclr-git/work/coreclr/src/pal/src/include/pal/synchcache.hpp:146:13: error: destructor called on non-final 'CorUnix::CSynchWaitController' that has virtual functions but non-virtual destructor [-Werror,-Wdelete-non-virtual-dtor]
            pobj->~T();
            ^
/tmp/pkgsrc-tmp/wip/coreclr-git/work/coreclr/src/pal/src/synchmgr/synchmanager.hpp:724:31: note: in instantiation of member function 'CorUnix::CSynchCache<CorUnix::CSynchWaitController>::Add' requested here
            m_cacheWaitCtrlrs.Add(pthrCurrent, pCtrlr);
                              ^
/tmp/pkgsrc-tmp/wip/coreclr-git/work/coreclr/src/pal/src/include/pal/synchcache.hpp:146:20: note: qualify call to silence this warning
            pobj->~T();
                   ^
                   CorUnix::CSynchWaitController::
/tmp/pkgsrc-tmp/wip/coreclr-git/work/coreclr/src/pal/src/include/pal/synchcache.hpp:146:13: error: destructor called on non-final 'CorUnix::CSynchStateController' that has virtual functions but non-virtual destructor [-Werror,-Wdelete-non-virtual-dtor]
            pobj->~T();
            ^
/tmp/pkgsrc-tmp/wip/coreclr-git/work/coreclr/src/pal/src/synchmgr/synchmanager.hpp:741:32: note: in instantiation of member function 'CorUnix::CSynchCache<CorUnix::CSynchStateController>::Add' requested here
            m_cacheStateCtrlrs.Add(pthrCurrent, pCtrlr);
                               ^
/tmp/pkgsrc-tmp/wip/coreclr-git/work/coreclr/src/pal/src/include/pal/synchcache.hpp:146:20: note: qualify call to silence this warning
            pobj->~T();
                   ^
                   CorUnix::CSynchStateController::
2 errors generated.

Merge pull request #3044 from pgavlin/CoreRTPInvoke

Generate P/Invoke transitions for CoreRT.

Merge pull request #3051 from AndyAyersMS/InlineRefactor2

Inliner refactoring: consolidate logging, reporting and dumping

Merge pull request #3026 from Dmitry-Me/clarifyKeepAliveUsage1

No need to stick to end of method

Merge pull request #3052 from sivarv/master

Fix to assert failure 'ret->OperGet() == GT_RETURN' morph.cpp

Merge pull request #3053 from wtgodbe/serverGC

Disable usage of Server GC for ubuntu PR test builds in CI

Merge pull request #3046 from adityamandaleeka/env_pal

Remove InternalStrdup from PAL

Inliner refactoring: consolidate logging, reporting and dumping

With this change the responsibility for dumping, logging, and reporting
inline decisions is moved into the JitInlineResult class instead of being
distributed throughout the code base. This insures all the relevant inline
information is handled in a consistent manner.

The JitInlineResult is updated to hold a compiler instance and now
requires a context string describing the what the jit is doing as it evaluates
an inline candidate. There are 4 distinct contexts in use currently.

Fix a few more binary exprs for the CC.

Corrected typo in second comment line.

Address CR feedback.

Disable usage of Server GC for ubuntu PR test builds in CI

Merge pull request #3030 from krytarowski/netbsd-support-32

Fix build on NetBSD: Walkaround compiler strictness regarding const c…

Merge pull request #3045 from benpye/allow-llvm-unwind

Detect libunwind features allowing LLVMs libunwind to be used

Merge pull request #2995 from krytarowski/netbsd-support-29

Fix build on NetBSD: Mark destructors of few classes as virtual

Remove InternalStrdup

Merge pull request #3033 from janvorli/test-checked-optimization

Fix checked build compiler options

Merge pull request #3042 from ellismg/add-pal-tests-to-skiptests-directive

Have `skiptests` control PAL tests as well

Merge pull request #3000 from sejongoh/add_windows_corefx_test_with_jit_stress_modes

Add corefx testing with JitStress=1 on Windows

Detect libunwind features allowing LLVMs libunwind to be used

Generate P/Invoke transitions for CoreRT.

This change adds support for CoreRT-style P/Invoke transitions
to RyuJIT. Instead of the usual inlined transition code, these
transitions are made up of calls to two new JIT helpers:

    PInvokeTransitionFrame frame; // opaque local
    CORINFO_HELP_INIT_PINVOKE_FRAME(&frame);
    ...
    CORINFO_HELP_JIT_PINVOKE_BEGIN(&frame);
    target(...);
    CORINFO_HELP_JIT_PINVOKE_END(&frame);
    ...

The preemptive mode constraints apply between calls to
JIT_PINVOKE_BEGIN and JIT_PINVOKE_END: no managed references
may be live only in registers and managed references may not
be manipulated.

Merge pull request #3010 from AndyAyersMS/FixVersionIssue

Fix version issue with System.IO for serialization tests

Merge pull request #3027 from stephentoub/remove_security_checks

Remove useless security checks

Merge pull request #3039 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #3041 from krytarowski/netbsd-support-33

Fix NetBSD build: Retire unneeded PAL_fpos_t and fgetpos() fsetpos()

Have `skiptests` control PAL tests as well

Don't build the PAL test projects when `skiptests` is passed to
build.sh.

Merge pull request #3031 from gkhanna79/FixBatch

Cleanup VS2013 reference

Merge pull request #3038 from AndyAyersMS/FixInlineAssert

Remove assert from the JitInlineResult dtor

Fix NetBSD build: Retire unneeded PAL_fpos_t and fgetpos() fsetpos()

These functions are unused. Linux version was unimplemented.

Removal suggested by Jan Kotas (Microsoft) to get rid of these functions.

The current code resulted with the following errors with the recent Clang/LLVM
(3.9.0nb20160131 snapshot) on NetBSD-7.99.25:

/tmp/pkgsrc-tmp/wip/coreclr-git/work/coreclr/src/pal/src/cruntime/file.cpp:858:20: error: no viable overloaded '='
        native_pos = *pos;
        ~~~~~~~~~~ ^ ~~~~

/usr/include/stdio.h:67:16: note: candidate function (the implicit copy assignment operator) not viable: no known conversion from 'PAL_fpos_t' (aka 'unsigned long') to 'const __sfpos' for 1st argument
typedef struct __sfpos {
               ^
/usr/include/stdio.h:67:16: note: candidate function (the implicit move assignment operator) not viable: no known conversion from 'PAL_fpos_t' (aka 'unsigned long') to '__sfpos' for 1st argument
/tmp/pkgsrc-tmp/wip/coreclr-git/work/coreclr/src/pal/src/cruntime/file.cpp:860:14: error: assigning to 'PAL_fpos_t' (aka 'unsigned long') from incompatible type 'fpos_t' (aka '__sfpos')
        *pos = native_pos;
             ^ ~~~~~~~~~~
/tmp/pkgsrc-tmp/wip/coreclr-git/work/coreclr/src/pal/src/cruntime/file.cpp:904:20: error: no viable overloaded '='
        native_pos = *pos;
        ~~~~~~~~~~ ^ ~~~~
/usr/include/stdio.h:67:16: note: candidate function (the implicit copy assignment operator) not viable: no known conversion from 'const PAL_fpos_t' (aka 'const unsigned long') to 'const __sfpos' for 1st argument
typedef struct __sfpos {
               ^
/usr/include/stdio.h:67:16: note: candidate function (the implicit move assignment operator) not viable: no known conversion from 'const PAL_fpos_t' (aka 'const unsigned long') to '__sfpos' for 1st argument
3 errors generated.

Possible implementation for NetBSD (attached here for historical references):
+--- src/pal/src/cruntime/file.cpp.orig 2016-01-28 19:04:13.000000000 +0000
++++ src/pal/src/cruntime/file.cpp
+@@ -844,6 +844,15 @@ PAL_fgetpos (
+     // TODO: implement for Linux if required
+     ASSERT(FALSE);
+     return -1;
++#elif defined(__NetBSD__)
++    off_t native_pos;
++
++    if ((native_pos = ftello(f->bsdFilePtr)) == -1)
++        return -1;
++
++    *pos = native_pos;
++
++    return 0;
+ #else
+     int    nRetVal = -1;
+     fpos_t native_pos;
+@@ -890,6 +899,14 @@ PAL_fsetpos (
+     // TODO: implement for Linux if required
+     ASSERT(FALSE);
+     return  -1;
++#elif defined(__NetBSD__)
++    off_t native_pos;
++
++    native_pos = *pos;
++    if (fseeko(f->bsdFilePtr, native_pos, SEEK_SET) == -1)
++        return -1;
++
++    return 0;
+ #else
+     int    nRetVal = -1;
+     fpos_t native_pos;

We cannot go better on NetBSD. This implementation might still have issues
with e.g. Unicode.

This closes #3029 "PAL fpos_t clash with NetBSD libraries"

Thanks Peter Jas (@jasonwilliams200OK) for hacking session on it.

Make a few JIT interface changes to accommodate CoreRT:
- Add support for providing extended flags for a compile invocation. In order to preserve binary compatibility with older definitions of ICorJitCompiler, this involved adding a new method to ICJI to fetch the flags. This method is only called if no flags are provided to the compiler via compileMethod.
- Add helper definitions for CORINFO_HELP_PINVOKE_{BEGIN,END} for CoreRT
- Add a flag to CorJitFlag2 to indicate that the aforementioned heleprs should be used instead of generating inline transitions
- Add a new method, getAddressOfPInvokeTarget, to the JIT/EE interface. This method can return a direct target for a PInvoke call in addition to an indirect or double-indirect target.

[tfs-changeset: 1572442]

Fix checked build optimization

The initialization of the checked build compiler flags in the compiler
override files had no effect, since cmake handles the _INIT variables
only for the four standard configurations.

Merge pull request #3036 from weshaggard/RemoveTestDependencyFeed

Remove dotnet-coreclr-testDependencies feed

Add corefx testing with JIT stress modes on Windows

Remove assert from the JitInlineResult dtor

Don't assert here, instead rely on existing checks in the
frames that create JitInlineResults to verify an appropriate
decision was made.

Closes #3037.

Remove dotnet-coreclr-testDependencies feed

As part of our feed migration this feed was deleted and so restore
started failing. It only contained one package so I that package on
our dotnet-core feed and eliminated the need for this one extra feed.

Cleanup VS2013 reference

Fix build on NetBSD: Walkaround compiler strictness regarding const conversion

This commit walks-around over-cautious Clang/LLVM alerts like:

/tmp/pkgsrc-tmp/wip/coreclr-git/work/coreclr/src/pal/tests/palsuite/c_runtime/sscanf/test4/test4.c:32:33: error: implicit conversion from
                'int' to 'short' changes value from 65535 to -1 [-Werror,-Wconstant-conversion]
 DoShortNumTest("-1", "%hd", 65535);
                ^~~~~~~~~~~~~~~~~~~

This closes #2968 "implicit conversion from 'int' to 'short' changes value from 65535 to -1"

Thanks Jan Kotas (Microsoft) for pointers.

Remove security checks.

These are holdovers from Silverlight days.   We don't support code access security in coreclr.

No need to stick to end of method

Merge pull request #3016 from gkhanna79/CFG

Support for Control Flow Guard

Merge pull request #3021 from krytarowski/netbsd-support-31

Fix build on NetBSD: Stop mixing PAL and system headers in tests

Merge pull request #3018 from rahku/master

Fix for test build errors

OSGroup value does not get passed along to reference projects. This causes msbuild to build the same project twice because the target bin dir would differ. But the intermediate dir would remain the same. If they happen to build at the same ...this is will cause build errors due to write to same file.

Fix build on NetBSD: Stop mixing PAL and system headers in tests

Including both system and PAL headers results in clasesh like:

In file included from /tmp/pkgsrc-tmp/wip/coreclr-git/work/coreclr/src/pal/tests/palsuite/threading/GetThreadTimes/test1/test1.c:18:
In file included from /usr/include/sched.h:37:
In file included from /usr/include/sys/sched.h:73:
/usr/include/sys/types.h:54:18: error: typedef redefinition with different types ('__int8_t' (aka 'signed char') vs 'char')
typedef __int8_t        int8_t;
                        ^
/tmp/pkgsrc-tmp/wip/coreclr-git/work/coreclr/src/pal/inc/pal_mstypes.h:224:16: note: previous definition is here
typedef __int8 int8_t;
               ^

This fixes #2993 "Conflicts with system headers on NetBSD"

Thanks to Jan Kotas (Microsoft) for showing the right direction.

Merge pull request #3004 from sivarv/master

Fix to assert 'ret->gtGetOp1() == nullptr' failure in morph.cpp

Fix to assert 'ret->gtGetOp1() == nullptr' failure in morph.cpp

Investigation reveals that the assumption of GT_RETURN stmnt for methods returning struct through hidden RetBuf argument will be of the form GT_RETURN(TYP_VOID, op1=nullptr, op2=nullptr) is incorrect when running under profiler.

Profiler Leave callback requires that methods with struct return, return RetBuf in RAX. For this reason when required to generate Profiler callbacks, importer generates GT_RETURN(BY_REF, addr of retBuf) - see impReturnInstruction()

There is also another issue that fgAddInternal() which adds oneReturn block doesn't take into account of running under profiler and hence doesn't create genReturnLocal var and as a result oneReturn block doesn't return address of retBufArg. When running under profiler what should happen for a method returning struct via hidden RetBuf is as follows:

Say BB01 is any block ending in GT_RETURN(TYP_BYREF, addr of RetBuf). fgAddInternal() will decide to use oneReturn block since running under profiler. Since the method returns addr of RetBuf it should create a genReturnLocal of type TYP_BYREF. fgMorphBlocks() on finding genReturnLocal is valid, will replace GT_RETURN with as assignment of "genReturnLocal = add of RetBuf" and make BB01 to branch to oneReturn block.

Since fgAddInternal() doesn't take into account of running under profiler, it doesn't create genReturnLocal for methods having hidden RetBuf arg. Hence fgMorphBlocks() will find genReturnLocal is not valid and asserts that GT_RETURN must be of TYP_VOID with its op1=op2=nullptr, which is not the case and hence the assert.

Note that this assert will repro only when running under profiler because importer generates GT_RETURN(TYP_BYREF, addr of RetBuf) for methods with hidden RetBuf arg only when required to generate profiler callbacks.

Fix: Take into account of whether asked to generate Profiler callbacks create genReturnLocal.
Also took this opportunity cleaned up unnecessary code that was executing for unix and added new abstractions to check whether the method being compiled has ret val.

Note in case of unix there is no need to call struct classification logic to normalize struct return type returned in a single register because it is already done in lvaInitTypeRef() and assigned to compRetNativeType.

Update linux-instructions.md

Merge pull request #3008 from briansull/fix_arm64

Fix Arm64 test regressions from PR #2954

Initial support for CFG. This makes VS 2015 as the minimum required build toolset, on Windows, for the repo.

Merge pull request #3011 from wtgodbe/serverGC

Enable server GC on Ubuntu PR test builds in the CI

Enable server GC on Ubuntu PR test builds in the CI

Fix version issue with System.IO for serialization tests

Fix Arm64 test regressions from PR #2954

Some additional ifdef renaming for the Arm64 target
Updated Test.lst with ISSUE tags for recently opened issues

Merge pull request #3006 from kyulee1/splitheader

cordebuginfo.h out of corinfo.h

Merge pull request #3003 from dotnet-bot/from-tfs

Merge changes from TFS

cordebuginfo.h out of corinfo.h

ICorDebugInfo is almost standalone data structure.
This puts ICorDebugInfo into a new cordebuginfo.h.
This new header file is just included in corinfo.h
This way we could share this debug data structure
with ObjectWriter/LLILC by simply including this header.

Merge pull request #2994 from janvorli/enable-unix-readytorun-tests

Fix warning in Windows build of readytorun tests

Integrate changes from full .NET Framework
- Custom attribute to suppress NGen with method granularity
- Static contract fixes
- GC fix

[tfs-changeset: 1571860]

Merge pull request #2997 from kouvel/Finalize

Expose COMPlus_FinalizeOnShutdown in release builds

Merge pull request #2891 from eerhardt/Fix2748

TimeZoneInfo.DisplayName values are not localized on Linux

Expose COMPlus_FinalizeOnShutdown in retail builds

To enable a workaround to restore the previous behavior before finalizers stopped running on shutdown by default

Fix build on NetBSD: Mark destructors of few classes as virtual

In the DeleteInteropSafe function there is accepted a class type (template):

    template<class T> void DeleteInteropSafe(T *p)

Inside this function there is a call of a destructor:

    p->~T();

Recent Clang/LLVM is upset when the passed T class doesn't contain a virtual
destructor.

Example error message:

In file included from /tmp/pkgsrc-tmp/wip/coreclr-git/work/coreclr/src/debug/ee/debugger.cpp:13:
In file included from /tmp/pkgsrc-tmp/wip/coreclr-git/work/coreclr/src/debug/ee/stdafx.h:33:
/tmp/pkgsrc-tmp/wip/coreclr-git/work/coreclr/src/debug/ee/debugger.h:3652:9: error: destructor called on non-final 'DebuggerPendingFuncEvalTable' that has virtual functions but non-virtual destructor [-Werror,-Wdelete-non-virtual-dtor]
        p->~T();
        ^
/tmp/pkgsrc-tmp/wip/coreclr-git/work/coreclr/src/debug/ee/debugger.cpp:1310:13: note: in instantiation of function template specialization 'DeleteInteropSafe<DebuggerPendingFuncEvalTable>' requested here
            DeleteInteropSafe(pPendingEvals);
            ^
/tmp/pkgsrc-tmp/wip/coreclr-git/work/coreclr/src/debug/ee/debugger.h:3652:13: note: qualify call to silence this warning
        p->~T();
            ^
            DebuggerPendingFuncEvalTable::

Reported and fixed on:
$ uname -a
NetBSD chieftec 7.99.25 NetBSD 7.99.25 (GENERIC) #0: Fri Dec 25 20:51:06 UTC 2015  root@chieftec:/tmp/netbsd-tmp/sys/arch/amd64/compile/GENERIC amd64

$ clang --version
clang version 3.9.0
Target: x86_64-unknown-netbsd7.99.25
Thread model: posix
InstalledDir: /usr/pkg/bin
$ llvm-config --version
3.9.0svn

Fix warning in Windows build of readytorun tests

There was an extra reference to the test.dll besides the reference to the test
csproj. This was causing warnings during the test build.

Merge pull request #2974 from krytarowski/netbsd-support-26

Fix build on NetBSD: cast ptr to function to ptr to data

Merge pull request #2954 from CarolEidt/CallArgCleanup

Outgoing call arg preliminary refactoring

Fix build on NetBSD: cast ptr to function to ptr to data

Merge pull request #2956 from cmckinsey/BenchF2

Add 15 more Benchstone floating-point (BenchF) benchmarks in Xunit fo…

Merge branch 'master' into CallArgCleanup

Merge pull request #2986 from jkotas/arm-fixes

Fix build break in Linux arm release build

Merge pull request #2860 from LLITCHEV/gc-stress

Fix for bugs related to clasifying System.TypedReference - issue #2854.

Fix build break in Linux arm release build

Merge pull request #2941 from krytarowski/netbsd-support-19

Add support for NetBSD-style gregs on x86

Merge pull request #2983 from kyulee1/ilasmpdb

Delete spurious ilasm warning message under DEBUG flag

Merge pull request #2984 from mmitche/up-timeouts

Increase timeouts for non-windows configs

Increase timeouts for non-windows configs

Merge pull request #2961 from rahku/updatebuildtools

Update buildtools version for test builds

Merge pull request #2979 from Dmitry-Me/writeNullPointerOnNoInterface

Write null pointer for unsupported interfaces

Merge pull request #2719 from janvorli/enable-unix-readytorun-tests

Enable unix readytorun tests

Outgoing call arg preliminary refactoring

Preliminary renaming and cleanup in preparation for further refactoring of outgoing call arguments, particularly multi-reg arguments.

TimeZoneInfo.DisplayName values are not localized on Linux

Fixed by calling ICU's ucal_getTimeZoneDisplayName to read the display names for the current locale.

Fix https://github.com/dotnet/corefx/issues/2748

Delete spurious ilasm warning message under DEBUG flag

When test population, most il tests turn on DEBUG flag, which
caused spurious warnings on ilasm/CoreCLR since PDB is not yet supported.
This changes the warning display to a comment that is linked to a GH issue.

Enable ready to run tests on Unix

This change enables running ready to run tests on Unix.

Merge pull request #2978 from jkotas/prof-breaks

Fix fallout from enabling profiling

Write null pointer for unsupported interfaces

Merge pull request #2976 from krytarowski/netbsd-support-27

Fix build on NetBSD: Introduce check for pthread_getcpuclockid(3)

Merge pull request #2977 from krytarowski/netbsd-support-28

Prefer PAL_PTRACE() over hardcoded FreeBSD-style ptrace(2) calls

Merge pull request #2972 from krytarowski/netbsd-support-24

Fix build on NetBSD: Don't increment iterator twice in for(;;)

Merge pull request #2971 from krytarowski/netbsd-support-23

Add NetBSD target in src/pal/src/CMakeLists.txt

Fix build on NetBSD: Introduce check for pthread_getcpuclockid(3)

This function is part of the optional part of POSIX.

It's available in:
- FreeBSD,
- AIX,
- QNX,
- Linux.

It's missing in NetBSD.

According to Jan Kotas (Microsoft) this function is used for undocumented
resource monitoring feature (FEATURE_APPDOMAIN_RESOURCE_MONITORING) and
unlikely anybody is using this today.

Solution suggested in #2947 "NetBSD doesn't implement pthread_getcpuclockid(3)"

Fix fallout from enabling profiling

- Compiler optimization assumption invalid: EE expects method to exist: System.StubHelpers.StubHelpers:ProfilerBeginTransitionCallback
- Add stubs for ARM

Add support for NetBSD-style gregs on x86

Floating point regs will be added later.

typedef struct {
        __gregset_t     __gregs;
        __greg_t        _mc_tlsbase;
        __fpregset_t    __fpregs;
} mcontext_t;

 --- /usr/include/amd64/mcontext.h
     (linked to machine/mcontext.h on NetBSD/amd64)

typedef struct {
        __gregset_t     __gregs;
        __fpregset_t    __fpregs;
        __greg_t        _mc_tlsbase;
} mcontext_t;

 --- /usr/include/i386/mcontext.h
     (linked to machine/mcontext.h on NetBSD/i386)

Prefer PAL_PTRACE() over hardcoded FreeBSD-style ptrace(2) calls

Merge pull request #2953 from janvorli/fix-unix-readytorun

Fix ReadyToRun on Unix

Fix build on NetBSD: Don't increment iterator twice in for(;;)

If I'm reading it correctly, we will never catch the ".cormeta" value.

Add NetBSD target in src/pal/src/CMakeLists.txt