Fix build break in nativeformatreader.h

[tfs-changeset: 1589424]

Merge pull request #3890 from kyulee1/removeryujitpack

Remove Old NuGet RyuJit Package from Build

Merge pull request #3888 from jkotas/platform-assemblies

Remove special casing of platform assemblies

Merge pull request #3880 from gkhanna79/R2RTestFX

Precompile FX assemblies for test run

Merge pull request #3892 from fadimounir/FixBB

Fix build break

Merge pull request #3893 from wtgodbe/r2r_GCStress

Add per-commit runs & PR trigger phrases for Pri1 R2R GCStress 15 test runs for Windows, OSX, CentOS, and Ubuntu

Merge pull request #3889 from briansull/update-tests-lst

Changed 22 UNSTABLE tests to EXPECTED_PASS

Add per-commit runs & PR trigger phrases for Pri1 R2R GCStress 15 test runs for Windows, OSX, CentOS, and Ubuntu

Delete security transparency tests that are not valid on .NET Core

The security transparency rules are not enforced on .NET Core.

Fix build break

Merge pull request #3887 from rahku/master

Fix XunitWrapper log file generation

Remove Old NuGet RyuJit Package from Build

This eliminates the old way of nuget package creation as a part of prep:
https://github.com/dotnet/coreclr/issues/3442.

Changed 22 UNSTABLE tests to EXPECTED_PASS

This reduces the number in the UNSTABLE catagory to 24 tests

Fix XunitWrapper log file generation

Merge pull request #3881 from rahku/issue3730

offset in epilog to match as prolog

Merge pull request #3868 from wtgodbe/xunit

Print raw output for failed tests in CI/Jenkins failure report

Enable support to precompile the FX assemblies at test invocation time.

Merge pull request #3735 from fadimounir/HashtableOfTypes

Hashtable of types for R2R modules

Remove special casing of platform assemblies

Title: Hashtable of types for R2R modules
Description: This change replaces the hashtable of types that we dynamically build at module load time with a statically built hashtable at crossgen time, for R2R modules. Typedef tokens and exported type tokens are stored in that hashtable, hashed by their full type name.

Changes include:
- Adding support for NativeFormat hashtables (NativeFormat hashtable reader and writer + supporting functionalities)
- Changes to prevent the allocation and building of m_pAvailableClasses and m_pAvailableClassesCaseIns for a R2R module
- Logic in crossgen to build the hashtable of types, using the NativeFormat (table saved to a new section)
- Refactoring the type lookup functions to return results in a HashedTypeEntry data structure, which supports token based results, as well as EEClassHashEntry_t* based results
- Changes/Cleanup to the ClassLoader::GetClassValue to support the new lookup type
- Fixed small bugs in the std implementation
- Fallback to old hashtable lookup algorithm supported for:
1) Case insensitive type loading
2) R2R image built with older version of crossgen (not having static hashtable)

Tested following scenarios:
- Token based lookups
- Type name based lookups (Type.GetType API), including case insensitive scenarios
- Nested types
- Forwarded types (and forwarded nested types), up to 2 levels of forwarding
- Old R2R image created with previous version of crossgen

offset in epilog to match as prolog

Print raw output for failed tests in CI/Jenkins failure report

Merge pull request #3866 from wtgodbe/CentOS

Switch per-commit CentOS jobs from Checked to Release

Merge pull request #3876 from mjsabby/enable_rejit_on_windows

Enable compiling ReJIT functionality in CoreCLR

Merge pull request #3853 from rahku/issue3730

ARM64: Implementation of Thread hijacking and thread redirection requires for GCSuspension

Merge pull request #3877 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #3875 from janvorli/fix-ehpatterntests

Fix some tests in the EHPatternTests on Unix

Merge pull request #3869 from manu-silicon/calli

Implement GenericPInvokeCalliHelper on ARM

Files missed in last checkin

[tfs-changeset: 1588869]

Merge pull request #3873 from janvorli/x86-release-exception-unwind

Fix x86 exception stack unwinding issue

Fix some tests in the EHPatternTests on Unix

Two of the tests in this suite were failing on Unix due to the incorrect
line endings generated to the trace output.
The fix was to replace `"\r\n"` with Environment.NewLine.

I've also removed the test from the list of disabled tests for Unix

Enable compiling ReJIT functionality in CoreCLR

Merge pull request #3870 from briansull/issue-3756

Remove the define of FEATURE_INTERPRETER for ARM64

ARM64: Implementation of Thread hijacking and thread redirection required for GCSuspension

Fix x86 exception stack unwinding issue

This change fixes x86 exception stack unwinding issue in release build
when the function epilog contains a call to _EH_epilog3_catch_GS. This
function has repne prefix on a call and jmp instructions and that
prevented the instruction interpreter code from entering the call, which
is vital for correct stack unwinding.

Merge pull request #3830 from leemgs/upstream-sh-to-bash

Don't use symbolic link 'sh'(/bin/sh) in ./coreclr/init-tools.sh

Implement GenericPInvokeCalliHelper on ARM

Add assemlby implementation for pinvoke stubs on ARM by porting the
Windows ARM code to Linux ARM assembly.

Remove unused files from CoreCLR

[tfs-changeset: 1588782]

Remove the define of FEATURE_INTERPRETER for ARM64

This will remove some extra conditional code that is only use to
support the IL bytecode interpreter and will disable the fallback
to the interpreter on ARM64

Merge pull request #3863 from jkotas/legacynetcf-2

Delete legacy netcf compat support (part 2)

Switch per-commit CentOS jobs from Checked to Release

Merge pull request #3794 from mikem8361/stripsym

Strip symbols on release builds into separate binaries

Strip symbols on release builds into separate binaries

Issue #3669

Created a common cmake strip_symbols function that all the modules and programs
use to strip the symbols out of the main into a separate .dbg (Linux) or .dSYM (OSX)
file.

Added an install_clr cmake function to encapsulate the install logic.

Changed all the library module cmake install lines from a TARGETS to a FILES one. The
TARGETS based install directives caused cmake to relink the binary and copy the unstripped
version to the install path. Left the all programs like corerun or ildasm as TARGETS
installs because on OSX FILES type installs don't get marked as executable.

Need to use "get_property(strip_source_file TARGET ${targetName} PROPERTY LOCATION)" for
the older versions of cmake and "set(strip_source_file $<TARGET_FILE:${targetName}>)" on
newer versions (v3 or greater).

Merge pull request #3851 from briansull/update-tests-lst

ARM64: Remove the Pri2 tests from Tests.lst

Merge pull request #3862 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #3858 from janvorli/fix-exception-callstack

Fix exception to string in case of exception in callstack extraction

Delete legacy netcf compat support (part 2)

Fix exception to string in case of exception in callstack extraction

This change fixes a problem when exception happens while converting an exception
call stack to string. Without this change, Exception.ToString would fail and
if the exception was unhandled, it would just print "Cannot print exception string
because Exception.ToString() failed." without any details on what exception happened.
The problem happens e.g. in case when a method on the call stack has a parameter
that contains members of types from an assembly that cannot be resolved.

The fix was to catch exception from parameter info extraction and if it happens,
just exclude the parameter list from the reported frame.

Update Runtime packages to use netstandard1.0 instead of dotnet as the TFM.

CR: ericstj

[tfs-changeset: 1588560]

Merge pull request #3803 from manu-silicon/arm_struct

Fix for issue #3754 when passing struct as argument on ARM

Don't use symbolic link 'sh'(/bin/sh) in ./coreclr/init-tools.sh

There are a lot of different shells among the Linux distributions.
The up-to-date Ubuntu distribution uses /bin/dash without /bin/bash by default.
Also, the /bin/sh command has been using as a symbolic link without the original
/bin/sh in the some popular Linux distributions such as Ubuntu 14.04.

Ver 3:
- Don't use 'sh' command thanks to the  "#!/usr/bin/env bash" (first line)
- /bin/sh of Ubuntu 14.04 is symbolic link. It calls /bin/dash by default.

Ver 1:
- Let's replace a symbolic 'sh' with 'bash' such as
"#!/usr/bin/env bash" declaration (shebang) of ./coreclr/init-tools.sh

lgs@u14.04:~$ ls -l `which sh`
lrwxrwxrwx 1 root root 4 12 21 17:01 /bin/sh -> dash
lgs@u14.04:~$

Signed-off-by: Geunsik Lim geunsik.lim@samsung.com
Signed-off-by: MyungJoo Ham myungjoo.ham@samsung.com
Signed-off-by: Prajwal A N an.prajwal@samsung.com

Merge pull request #3845 from erozenfeld/RegressionTests

Add regression tests for two previously fixed bugs.

Merge pull request #3855 from jkotas/mscorlib-build

Fix intermediate directory for mscorlib build

Merge pull request #3852 from jkotas/legacynetcf-1

Delete legacy netcf compat support (part 1)

Merge pull request #3650 from sivarv/blockSeqFix

Fix to Huffman benchmark decompression loop has unnecessary spills and reloads

Fix intermediate directory for mscorlib build

Merge pull request #3843 from AndyAyersMS/DataGathering

Inliner: initial data gathering for code size estimates

Merge pull request #3854 from mikem8361/docs

Update SOS documentation

Delete legacy netcf compat support (part 1)

Merge pull request #3847 from dotnet-bot/from-tfs

Merge changes from TFS

Add regression tests for two previously fixed bugs.

One of the repros is in il rather than C# because the
repro was sensitive to what different versions of C#
compiler generated.

Fix for issue #3754 when passing struct as argument on ARM

When enabling Unix AMD64 struct passing, we broke ARM we were need to
check if the register is an HFA one or not, and if so uses the HFA type
instead.

Update SOS documentation.

Remove the Pri2 tests from Tests.lst

These tests are not run by the CI automation for the other architectures
Removing them will eliminate 26 failing tests

Merge pull request #3815 from briansull/struct16-fp-args

Fixes issue 3750 - passing fp arguments

Inliner: initial data gathering for code size estimates

Some initial work to gather data to drive the modelling of inline
code size impact. See #3775 for context.

Update the `DiscretionaryPolicy` to capture more observations.

Add a limit feature `JitInlineLimit` so the jit will stop inlining after
a given number of successful inlines.

Add a `DumpData` method to `InlinePolicy` which will display all the
observations that were made to evaluate an inline. Implement this for the
`DiscretionaryPolicy`. Add a matching `DumpSchema` that writes out
column headers for each of the observations.

Modify `InlineResult` to cache the last successful policy on the root
compiler instance. Use that along with the `JitInlineLimit` and
`DumpData` to display detailed information about the last sucessful
inline along with the code size for the method. All this is displayed
if `JitInlineDumpData ` is enabled.

This allows for isolating code size measurements as follows. Compile or
jit something with `JitInlineLimit = 0` and `JitInlineDumpData =1` (and
for now, `JitInlinePolicyDiscretionary = 1`, since other policies do not
implement any interesting data dumping).

Record the this root set of method sizes and IDs. Repeat with
`JitInlineLimit=1`. For each method where there was an inline, the size
impact of that inline can be computed by comparing this version versus
the version from the root set. Repeat with `JitInlineLimit=2`, comparing
versus the `=1` versions.

Currently the method token is used to identify the root method. This is
not sufficiently unique but unfortunately there currently aren't
substantially better alternatives. See #1957 for some discussion.

Merge pull request #3840 from wtgodbe/HardwareEh

Disable OutOfMemoryException test in HardwareEh test

Merge pull request #3841 from kyulee1/exclusion

ARM64: Apply exclusion list to Tests.lst file

Trim Windows-specific System.Security.Principal types from CoreCLR mscorlib

[tfs-changeset: 1588225]

Disable OutOfMemoryException test in HardwareEh test

Tests and fixes for struct16 arguments and floating point arguments

Updated Tests.lst with 50 new passing tests
Updated this fix to be under #ifdef ARM64 only

ARM64: Apply exclusion list to Tests.lst file

Currently ARM64 tests run all tests even if those are excluded in
issues.targets, which is not only waste of resource but also confusing
ourselves to track such issues.
This adds a script to apply excluded tests specified in issues.targets to
Tests.lst file. Also new Tests.lst file is accordingly updated with 101
tests removed.

Merge pull request #3833 from JohnChen0/master

Add documentation for CrossGen

Add documentation for CrossGen

Merge pull request #3563 from adityamandaleeka/threading_test_port_2

Open source even more threading tests

Move all new tests to Pri 1.

Add waitallex8 and waitallex8a to x86 legacy issues.

Delete tests that rely on Thread Abort functionality

Update project.json files.

Add some new threading tests to testsUnsupportedOutsideWindows

Open source more threading tests.

Merge pull request #3831 from dotnet-bot/from-tfs

Merge changes from TFS

Fix a CrossGen CreatePDB issue that caused a Windows build break

CrossGen /CreatePDB command gives preference to the TPA list while loading assemblies. So if the TPA contains the IL version of the input assembly but not the NI version, we would end up loading the IL instead of NI. This causes the CreatePDB command to fail, since it can't operate on IL images. This is fixed by putting the input file as the first entry in the TPA list.

Another issue is when the above error does occur, the error message is very unclear (it only shows "Unspecified error"). This is fixed with a better error message.

[tfs-changeset: 1587876]

Merge pull request #3810 from kyulee1/FixPath

ARM64: Prepend toolset path

Merge pull request #3655 from sejongoh/fix_u64_to_f64_cast

Fix inconsistent uint64-to-double cast

Merge pull request #3813 from briansull/update-tests-lst

ARM64: Native test build -  Update Tests.lst with passing/failing Interop tests

Fix inconsistent uint64-to-double cast

Merge pull request #3812 from janvorli/fix-stub

Fix instantiating stub for methods of value types

Removing Tests.sav

Updated one UNSTABLE test

Merge branch 'master' into update-tests-lst

Merge pull request #3809 from wtgodbe/utf8

Ported managed Utf8/Unicode encoder/decoder to C++ for usage in PAL

Update with passing Interop tests

ARM64: Prepend toolset path

Currently ARM64 build requires a plain CMD environment which often causes
a trouble when we use a different CMD or other native tools are in the path.
The fix is to simply prepend the tool path instead of appending it.

Fix instantiating stub for methods of value types

This change fixes a problem with instantiating stubs for methods of value types.
The problem was that the CreateInstantiatingILStub didn't take into account the
fact that methods of value types need to have "this" passed "byref".
The issue manifested itself as a rare corruption of references in array of structs
that were thin wrappers for string reference during GC stack scan. GC thought that
the reference to an array entry is an object reference that starts with method table.
GC marks method table pointers by setting their bit zero to 1. But in this case,
it has accidentally modified an object reference instead and a test was crashing
with wrong object address.

The root cause of the problem is that the instantiating stubs were placed on a global
singleton reference class no matter whether the target method was on a reference class
or a value type.

I have fixed it by putting the stubs on the instantiated target generic type instead.

Ported managed Utf8/Unicode encoder/decoder to C++ for usage in PAL

Merge pull request #3808 from mmitche/arm64-cross-label

Update label for arm and arm64 cross builds on Ubuntu

Update label for arm and arm64 cross builds on Ubuntu

Update the label to the newer image which contains the required rootfs.

Merge pull request #3757 from leemgs/upstream-crossgen-skip-for-arm

The architecture of host pc must be same architecture with target.

Merge pull request #3799 from AndyAyersMS/AdjustInlineObservations

Inliner: make more observations unconditional