Arm64 CI support and general refactoring of the CI scripting

Merge pull request #2369 from speshuric/bug/2366

Fix System.Collections.BitArray.Clone() fails when Length near Int32.MaxValue

Merge pull request #2372 from jkotas/gc-update

Update GC from CoreRT

Update GC from CoreRT

https://github.com/dotnet/corert/tree/master/src/Native/gc e223e35867c4660fe8423fedb2e547152dd7fd2d

Merge pull request #2351 from hoyMS/interopTestLinux

Enable jit64\hfa tests for Linux

Merge pull request #2368 from jkotas/rename-gcscan

Rename CNameSpace to GCScan

Merge pull request #2371 from dotnet-bot/from-tfs

Merge changes from TFS

Fix build break in internal build

[tfs-changeset: 1558334]

Rename CNameSpace to GCScan

Fix System.Collections.BitArray.Clone() fails when Length near Int32.MaxValue

Merge pull request #2358 from jkotas/corert-jitdump

Make JitDump work in ilc.exe

Enable jit64\hfa tests for Linux

This includes the work to copy native interop test libraries over to the mscorlib path in order for interop tests to run on linux.

Merge pull request #2364 from jashook/linux_arm64

Linux arm64 build fix.

Merge pull request #2367 from naamunds/AddDebianCi

Add Debian build CI jobs

Add Debian build CI jobs

This is part of the work for https://github.com/dotnet/corefx/issues/4656

Make JitDump work in ilc.exe

The JIT is not expected to make assumption about format of raw signatures to parse them.
Instead, it should depend on JIT-EE interface for parsing. This invariant was violates in
couple of places related to debug COMPlus_ method filters that caused them to crash under CoreRT.

Fixed the filters to use the proper abstraction instead.

Linux arm64 build fix.

The fi introduced an arm64 define that was not picked up as a compiled error by x64. Verified with clang-3.6.

Merge pull request #2363 from BruceForstall/FixConfigUsage

Fix incorrect usage of configuration variables

Merge pull request #2361 from BruceForstall/JitMinOptsName

Add a new COMPLUS_JITMinOptsName to force MinOpts for a named function

Merge pull request #2360 from dotnet-bot/from-tfs

Merge changes from TFS

Fix incorrect usage of configuration variables

This bug caused COMPLUS_JitDoEarlyProp to also affect Value Numbering, and COMPLUS_JitDoValueNumber not to work independently.

Add a new COMPLUS_JITMinOptsName to force MinOpts for a named function

This uses the same name syntax as other variables taking names, like JitDump.
It is useful When tracking down silent bad codegen bugs, where you have a name
but no repeatable function number, such as due to a multithreaded app.

Fix build break - superfluous argument passed to printf

Merge pull request #2354 from pgavlin/ImportSimpleTests

Import additional JIT tests.

Bug fixes from desktop

- Low memory perf fixes in GC
- Update EnC-capable logic to depend on assembly manifest

[tfs-changeset: 1558202]

Merge pull request #2347 from hoyMS/testPorting

Porting tests

Import additional JIT tests.

These tests were not imported earlier due to missing APIs. In the
case of all APIs besides TypedReference, the sources were adjusted
to accommodate the differences on .Net Core. In the case of
TypedReference, the tests now reference the local mscorlib.

Merge pull request #2214 from jashook/legacy_jit_build

Build the legacy jit for x86.

Porting tests

jit\directed\nullabletypes\value_d.csproj
jit\directed\nullabletypes\value_do.csproj
jit\directed\nullabletypes\value_r.csproj
jit\directed\nullabletypes\value_ro.csproj
jit\methodical\fp\apps\bouncingball_cs_d.csproj
jit\methodical\fp\apps\bouncingball_cs_do.csproj
jit\methodical\fp\apps\bouncingball_cs_r.csproj
jit\methodical\fp\apps\bouncingball_cs_ro.csproj
jit\regression\vs-ia64-jit\m00\b77951\b77951.csproj
jit\methodical\stringintern\_XModuletest1-xmod.csproj
jit\methodical\stringintern\_XModuletest2-xmod.csproj
jit\methodical\stringintern\_XModuletest4-xmod.csproj

Remove

Build the legacy jit for x86 and arm.

Small changes to cmake to allow us to build the legacy jit as the fallback
jit for both x86 and arm.

Merge pull request #2346 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #2341 from mikem8361/pipefile2

Debugger transport pipe file cleanup - Part 2

Merge pull request #2344 from rahku/winArm64

Win arm64 -- Final PR

Debugger transport pipe file cleanup - Part 2

Clean up the pipe files in /tmp for unhandled managed exception termination.

Added a simple PAL shutdown API to set (one) shutdown callback handler which is used
by the debugger code to cleanup the transport thus removing the pipe files from /tmp.

This callback is executed PAL_Shutdown, ExitProcess and TerminateProcess, the later used
to terminate the process for an unhandled managed exception.

Add the __attribute__((destructor)) to the ShutdownTransport function to cover the case if
the if a third party host, the managed runtime or third party pinvoked code calls exit().

Add the implementation of the TargetFrameworkName method on AppContext.

This change does not contain the packaging work required to expose this API yet.

[tfs-changeset: 1557809]

Build arm64 using private toolset

Successfully builds all binaries except sos.dll & x64 binaries

Merge pull request #2343 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #2342 from jkotas/legacy_abort

Move Thread.Abort under FEATURE_LEGACYSURFACE

Move Thread.Abort under FEATURE_LEGACYSURFACE

Add src/jit/protojit

[tfs-changeset: 1557767]

Merge pull request #2340 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #2339 from Marqin/master

[BUILD] Fix for #2338

Merge pull request #2335 from hoyMS/testPorting

Porting more tests

Merge pull request #2337 from ellismg/fix-2314

Fix transparency annotations

Expose TypeInfo.IsEquiventTo and Assembly.GetEntryAssembly() APIs in mscorlib

[tfs-changeset: 1557485]

Don't propagate type handles that are used as null checks

In order not to change program behavior, don't propagate type handles that are used as null checks, which are usually in form of
                       *  stmtExpr  void  (top level)
                       \--*  indir     int
                           \--*  lclVar    ref    V02 loc0

[tfs-changeset: 1557281]

Add if to check if Linux for -ldl, because it only works on Linux.

Merge pull request #2327 from mikem8361/cleanup

PAL Module/shutdown cleanup.

Porting tests:

jit\regression\clr-x86-jit\v1-m09.5-pdc\b12795\b12795.csproj
jit\methodical\eh\deadcode\deadcodeincatch_d.ilproj

Porting interop tests
jit\jit64\mcc\interop\mcc_i10.exe
jit\jit64\mcc\interop\mcc_i11.exe
jit\jit64\mcc\interop\mcc_i12.exe
jit\jit64\mcc\interop\mcc_i13.exe

Disabled for linux since the tests are using native varargs.

Link unixcoreruncommon with dl, which is needed on Unix-like systems
to use dynamic linking.

Merge pull request #2280 from LLITCHEV/SysVTests

Fix a tight assert for System V struct returning.

Merge pull request #2312 from richardlford/portilasm1210

Update IL.targets to handle more properties

Fix transparency annotations

The cross platform globalization code had some incorrect transparency
annotations. This was causing problems for crossgen and would also
trigger issues if CoreCLR was run in a mode to enable transparency
checks (which were disabled by default in 725d6a9).

I ran SecAnnotate over the Unix build of mscorlib.dll and fixed up the
problems. There were a few cases where we had some functions that were
marked a SecuritySafeCritical but they were better marked as
SecurityCritical (since they didn't do bounds checks, instead relying on
upstack code to do so) and I updated them when I was in the area.

Fixes #2314

PAL Module/shutdown cleanup.

Added a PAL_Shutdown function that cleans/shutdowns the PAL without exiting/terminating
the process doing exactly what ExitProcess/TerminateProcess before exiting the process.

Removed the PAL_InitializeCoreCLR export. The new coreclr_* hosting apis should be used.

Moved the "is module manager initialized" check (exe_module.prev != NULL) inside the module
lock to prevent races during shutdown in LOADCallDllMain.

Removed LOADFreeModules so we never try to call the DLL_PROCESS_DETACH handlers. Most of this
cleanup happened because I was trying to getting the DLL_PROCESS_DETACH notifications working,
but there were too many opportunities for deadlock. Emulating Windows behavior isn't that
important and in this case will cause more problems that it fixes.

Removed PAL_RegisterLibrary*/PAL_UnregisterLibrary. They were only used in one place to load modules
that don't exist anymore (rotor_palrt and sscoree).

Renamed LOAD_SEH_CallDllMain to LoadCallDllMainSafe (we don't usually use _ in names) and use this
function in all the places we call the DllMain handler. This combines some code in a common place
and protects all DllMain calls from exceptions.

Source code formatting cleanup and moved internal functions around to be next to the rest of the
internal functions.

Initialize pDllMain to NULL in LOADAllocModule.

Get the DllMain function address into LOADAddModule so that it is initialized in the PAL_RegisterModule path.

Changed PAL_UnregisterModule not to call the DllMain function.

Update IL.targets to handle more properties

Also added exclusions for tests failing
because we are now paying attention to
properties.

Merge remote-tracking branch 'origin/master' into SysVTests

Merge pull request #2308 from hoyMS/hfaTest

Porting hfa tests

Porting managed part of HFA tests

Merge pull request #2278 from manu-silicon/fix_llilc

Enable Linux compilation of LLILC

Merge pull request #2324 from jkotas/fix-pal-test

Delete bad PAL test case

Merge pull request #2320 from mikedn/lnk4221

Do not include unnecessary files in build

Delete bad PAL test case

Remove unnecessary files from build and disable LNK4221

Some files have their contents ifdefed out because some CLR features
(remoting, CAS, fusion etc.) are not present (and they'll probably never
be) in CoreCLR. A few others are DAC, CrossGen or arch specific so they
have been moved to the appropiate file lists.

Merge pull request #2323 from jkotas/disable-failing-tests

Disable failing tests

Disable failing tests

Merge pull request #2321 from dotnet-bot/from-tfs

Merge changes from TFS

Fix build break

[tfs-changeset: 1557154]

Merge pull request #2318 from mikem8361/pipefile

Fix pipe file cleanup in /tmp directory.

Merge pull request #2316 from dotnet-bot/from-tfs

Merge changes from TFS

Port of all JIT changes for .NET Framework 4.6.1 changes
    http://blogs.msdn.com/b/dotnet/archive/2015/11/30/net-framework-4-6-1-is-now-available.aspx

.NET Framework list of changes in 4.6.1
    https://github.com/Microsoft/dotnet/blob/master/releases/net461/dotnet461-changes.md

Additional changes including
-    Working ARM64 JIT compiler
-    Additional JIT Optimizations
     o    Tail call recursion optimization
     o    Array length tracking optimization
     o    CSE for widening casts
     o    Smaller encoding for RIP relative and absolute addresses in addressing modes
     o    Tracked Local Variable increased to 512
     o    Improved handling of Intrinsics System.GetType()
     o    Improved handling of Math intrinsics
-    Work for the X86 Ryu-JIT compiler

[tfs-changeset: 1557101]

Fix pipe file cleanup in /tmp directory.

The debugger/transport shutdown was not being called because we don't emulate
coreclr's DllMain DLL_PROCESS_DETACH callbacks. Adding the DLL_PROCESS_DETACH
DllMain callbacks will potentially crash deadlocks and other problems.  Added the
debugger terminate/shutdown call to EEShutDown's first phase.

Merge pull request #2288 from hoyMS/testHasReference

  Porting tests that have references

Merge pull request #2310 from mikedn/lnk4044

Do not use /OPT:REF /OPT:ICF for static libraries

Fix desktop build of ilasm

[tfs-changeset: 1557090]

Do not use /OPT:REF /OPT:ICF for static libraries

These options are only valid on dlls and exes and generate linker warnings when used on static libraries

Disable JIT.Methodical.Boxing.misc._dbgconcurgc_il._dbgconcurgc_il for non-windows

Merge pull request #2303 from kyulee1/ilasm

Enable ILASM for *nix

Porting tests that have references

jit\directed\perffix\primitivevt\callconv2_cs_d.csproj
jit\directed\perffix\primitivevt\callconv2_cs_do.csproj
jit\directed\perffix\primitivevt\callconv2_cs_r.csproj
jit\directed\perffix\primitivevt\callconv2_cs_ro.csproj
jit\methodical\cctor\xassem\xprecise1_cs_d.csproj
jit\methodical\cctor\xassem\xprecise1_cs_do.csproj
jit\methodical\cctor\xassem\xprecise1_cs_r.csproj
jit\methodical\cctor\xassem\xprecise1_cs_ro.csproj
jit\methodical\cctor\xassem\xprecise1b_cs_d.csproj
jit\methodical\cctor\xassem\xprecise1b_cs_do.csproj
jit\methodical\cctor\xassem\xprecise1b_cs_r.csproj
jit\methodical\cctor\xassem\xprecise1b_cs_ro.csproj
jit\methodical\cctor\xassem\xprecise2_cs_d.csproj
jit\methodical\cctor\xassem\xprecise2_cs_do.csproj
jit\methodical\cctor\xassem\xprecise2_cs_r.csproj
jit\methodical\cctor\xassem\xprecise2_cs_ro.csproj
jit\methodical\cctor\xassem\xprecise4_cs_d.csproj
jit\methodical\cctor\xassem\xprecise4_cs_do.csproj
jit\methodical\cctor\xassem\xprecise4_cs_r.csproj
jit\methodical\cctor\xassem\xprecise4_cs_ro.csproj
jit\regression\clr-x86-jit\v2.0-beta2\b423721\b423721.csproj

Remove testing against Type.GetMethod(string) which is not in coreCLR.

jit\jit64\eh\finallyexec\nestedTryRegionsWithSameOffset1.csproj
jit\jit64\eh\finallyexec\nestedTryRegionsWithSameOffset1_o.csproj
jit\jit64\eh\finallyexec\nestedTryRegionsWithSameOffset2.csproj
jit\jit64\eh\finallyexec\nestedTryRegionsWithSameOffset2_o.csproj
jit\jit64\eh\finallyexec\nestedTryRegionsWithSameOffset3.csproj
jit\jit64\eh\finallyexec\nestedTryRegionsWithSameOffset3_o.csproj
jit\jit64\eh\finallyexec\nonlocalgotoinatryblockinahandler.csproj
jit\jit64\eh\leaves\nonlocalexitfromnestedcatch.csproj
jit\methodical\boxing\xlang\_dbgsin_cs_cs.csproj
jit\methodical\boxing\xlang\_odbgsin_cs_cs.csproj
jit\methodical\boxing\xlang\_orelsin_cs_cs.csproj
jit\methodical\boxing\xlang\_relsin_cs_cs.csproj
jit\methodical\eh\basics\multihandler_d.csproj
jit\methodical\eh\basics\multihandler_do.csproj
jit\methodical\eh\basics\multihandler_r.csproj
jit\methodical\eh\basics\multihandler_ro.csproj
jit\methodical\eh\basics\throwincatch_d.csproj
jit\methodical\eh\basics\throwincatch_do.csproj
jit\methodical\eh\basics\throwincatch_r.csproj
jit\methodical\eh\basics\throwincatch_ro.csproj
jit\methodical\eh\basics\throwinclassconstructor_d.csproj
jit\methodical\eh\basics\throwinclassconstructor_do.csproj
jit\methodical\eh\basics\throwinclassconstructor_r.csproj
jit\methodical\eh\basics\throwinclassconstructor_ro.csproj
Porting jit\methodical\eh\basics
Porting jit\methodical\eh\finallyexec
Porting jit\methodical\eh\generics
Porting jit\methodical\eh\interactions
Porting jit\methodical\eh\leaves

Porting jit\methodical\eh\rethrow
Porting jit\methodical\eh\nested\general
Porting jit\methodical\eh\nested\nonlocalexit
Porting jit\methodical\eh\regress
Porting more tests

Merge pull request #2302 from ccurrens/dtfi_race_condition

Fix race condition in DateTimeOffsetPattern

Enable ILASM for *nix

This enables ILASM for x-platforms.
1. Added a bunch of warning disable options mostly due to this prebuilt asmparse.cpp
2. Create a separte entry point "main" to pass WCHAR arguments.
3. PDB (CorSymWriter) part is disabled.
4. Converting/embedding resource file to binary is disabled.
5. jkotas kindly provided a code for IsTextUnicode which is unavailable on CoreCLR.

Merge pull request #2275 from pgavlin/ImportMissingTests

Import missing JIT tests.

Fix race condition in DateTimeOffsetPattern

Import missing JIT tests.

These tests were thought to have been ported earlier.

Merge pull request #2284 from hoyMS/tailCallTest

Porting jit\opt\tailcall\TailcallVerifyWithPrefix.il

Merge pull request #2293 from stephentoub/tickcount_perf

Use CLOCK_MONOTONIC_COARSE in GetTickCount64

Merge pull request #2276 from hoyMS/interopTest

Port interopt tests. Disable tests using stdcall pinvoke calls for

Merge pull request #2270 from swgillespie/gc_performance_tests

Initial bringup of GC performance tests

Use CLOCK_MONOTONIC_COARSE in GetTickCount64

Today, GetTickCount64 is implemented to use clock_gettime with CLOCK_MONOTONIC if it's available.  This provides for high-resolution, however it trades off that accuracy for some efficiency.

This commit changes it to prefer CLOCK_MONOTONIC_COARSE if it's available (QueryPerformanceCounter still uses CLOCK_MONOTONIC).  GetTickCount is typically used for coarse timings, e.g. used in a loop to determine whether more than 10 seconds have passed, and can have lower resolution in exchange for higher efficiency.  For Windows, the MSDN docs explicitly state that it's likely to have no better than 10-15 millisecond resolution. Using CLOCK_MONOTONIC_COARSE instead of CLOCK_MONOTIC maps better to this notion, and improves Environment.TickCount throughput on my machine by ~20x.  At the same time, on my machine it still provides well better than 10-15ms resolution, closer to ~4ms.

Merge pull request #2292 from janvorli/fix-exception-handling-by-cpp

Fix C++ exception handling when coreclr is loaded before C++ runtime

Merge pull request #2281 from kyulee1/ilasm

Enable ILASM for Windows

Merge pull request #2196 from eerhardt/CompareOptions2

Add support for String CompareOptions on Unix

Fix C++ exception handling when coreclr is loaded before C++ runtime

This change fixes a problem that happens when libcoreclr.so is loaded before
C++ runtime libraries. In that case, linker resolves the C++ exception handling
functions against the libunwind8 and exception handling doesn't work.

The fix is the same as someone has already made in the past for ARM - to
add gcc_s to the library list of coreclrpal before the libunwind8. Then
the linker does the right thing.

Merge pull request #2283 from AndyAyersMS/SimdPerf

ConsoleMandel jit benchmark

Merge pull request #2282 from mikem8361/sosdbifix

Disable h/w exceptions for coreclr (non-DAC) builds.

ConsoleMandel jit benchmark

Initial port of this benchmark.

When run from the command line, with no args, it prints usage and exits with success. With args, one can select one or more of the renderers to benchmark or run.

Under xunit-performance this runs all 24 permutations available.

Enable ILASM for Windows

This enables ILASM/mscorpe on CoreCLR for Windows.
1.  Fusion/StrongName(Full Sign) dependencies are removed since these are not CoreCLR features.
2.  mscorpe is statically built/linked to ilasm.
3.  asmparse.c is auto-generated by an internal version of yacc so I added it under prebuilt directory for now. Will create an issue so that we can build it using a standard tool like bison.

Disable h/w exceptions for coreclr (non-DAC) builds.

Fixes the recursive GC crash. Added FEATURE_ENABLE_HARDWARE_EXCEPTIONS to the PAL sxs exception tests
so the h/w exceptions generated by the test dlls are caught. Also added to SOS/strike project.

Also fixed sos "clrstack -i". The sos data target needed to implement ICorDebugDataTarget4::VirtualUnwind too.

initial commit of GC performance test framework

Some style changes to conform to CoreFX's csharp style guide. Fix the readme to not refer to paths local to my machine

switch timeout to not accept 0 as a valid timeout

Porting jit\opt\tailcall\TailcallVerifyWithPrefix.il

The test orginally requires passing a command line arguemnt to run. This change modifies the Main method by renaming it to Run and adds a wrapper method called Main which explicitly passes original commandline strings to Run.

Condition21 tests fail for windows. Not including them in this change.

All tests fail on linux. Disabling them for linux.

Port interopt tests

Disable tests using stdcall pinvoke calls for non-windows platform.

jit\jit64\mcc\interop\mcc_i00.il
jit\jit64\mcc\interop\mcc_i01.il
jit\jit64\mcc\interop\mcc_i02.il
jit\jit64\mcc\interop\mcc_i03.il
jit\jit64\mcc\interop\mcc_i04.il
jit\jit64\mcc\interop\mcc_i05.il
jit\jit64\mcc\interop\mcc_i06.il
jit\jit64\mcc\interop\mcc_i07.il
jit\jit64\mcc\interop\mcc_i14.il
jit\jit64\mcc\interop\mcc_i15.il
jit\jit64\mcc\interop\mcc_i16.il
jit\jit64\mcc\interop\mcc_i17.il
jit\jit64\mcc\interop\mcc_i30.il
jit\jit64\mcc\interop\mcc_i31.il
jit\jit64\mcc\interop\mcc_i32.il
jit\jit64\mcc\interop\mcc_i32.il
jit\jit64\mcc\interop\mcc_i33.il
jit\jit64\mcc\interop\mcc_i34.il
jit\jit64\mcc\interop\mcc_i35.il
jit\jit64\mcc\interop\mcc_i36.il
jit\jit64\mcc\interop\mcc_i37.il
jit\jit64\mcc\interop\mcc_i50.il
jit\jit64\mcc\interop\mcc_i51.il
jit\jit64\mcc\interop\mcc_i52.il
jit\jit64\mcc\interop\mcc_i53.il
jit\jit64\mcc\interop\mcc_i54.il
jit\jit64\mcc\interop\mcc_i55.il
jit\jit64\mcc\interop\mcc_i56.il
jit\jit64\mcc\interop\mcc_i57.il
jit\jit64\mcc\interop\mcc_i60.il
jit\jit64\mcc\interop\mcc_i61.il
jit\jit64\mcc\interop\mcc_i62.il
jit\jit64\mcc\interop\mcc_i63.il
jit\jit64\mcc\interop\mcc_i64.il
jit\jit64\mcc\interop\mcc_i65.il
jit\jit64\mcc\interop\mcc_i66.il
jit\jit64\mcc\interop\mcc_i67.il
jit\jit64\mcc\interop\mcc_i70.il
jit\jit64\mcc\interop\mcc_i71.il
jit\jit64\mcc\interop\mcc_i72.il
jit\jit64\mcc\interop\mcc_i73.il
jit\jit64\mcc\interop\mcc_i74.il
jit\jit64\mcc\interop\mcc_i75.il
jit\jit64\mcc\interop\mcc_i76.il
jit\jit64\mcc\interop\mcc_i77.il
jit\jit64\mcc\interop\mcc_i80.il
jit\jit64\mcc\interop\mcc_i81.il
jit\jit64\mcc\interop\mcc_i82.il
jit\jit64\mcc\interop\mcc_i83.il
jit\jit64\mcc\interop\mcc_i84.il
jit\jit64\mcc\interop\mcc_i85.il
jit\jit64\mcc\interop\mcc_i86.il
jit\jit64\mcc\interop\mcc_i87.il

Disable all tests for non-windows due to dll name resolution