Merge pull request #4900 from BruceForstall/PartialFix4817c

Fix kill set of rep stos to include ECX

Merge pull request #4895 from tijoytom/master

Cleaning up a bunch of warnings.

Merge pull request #4898 from dotnet-bot/from-tfs

Merge changes from TFS

Linux/ARM: Use -O1 level to avoid segfault in release-build for Linux/ARM (#4904)

We cannot still run 'hello world' console application even though
the cross compilation of CoreCLR is successfully completed.
In release-build, the segmentation fault of 'hello world'
is made by the misalignment of thread local storage (TLS) section
because of the aggressive optimization level of clang compiler for
code optimization(e.g., file size and execution speed).
It means that Clang/LLVM has a bug in case of the usage of O2/O3 flag.

Below is the major difference among the optimization levels of Clang.
* -O2 is based on -O1:
  .adding: -gvn -constmerge -globaldce -slp-vectorizer -mldst-motion -inline
  .removing: -always-inline
* -O3 is based on -O2:
  .adding: -argpromotion

ver2:
- Corerun is loading 'libcoreclr.so' using dlopen() library call. So, we can not
  use initial-exec TLS model (ver1) because of the thread-safe issue of
  the multi-threaded. (Reported by @janvorli)
- In the release-build, Let's replace -O3 with -O1 to avoid the segmentation
  fault due to the aggressive optimization level of the Clang until fixing
  the bug of the Clang/LLVM.

ver1:
- The default value of clang is "global-dynamic". However, the thread-local
storage (TLS) model of Clang/LLVM does not guarantee the normal execution
of TLS's symbol relocation due to the misaligned __tls_get_addr symbol in
case of the aggressive optimizations of Clang on Linux/ARM.
- Let's enable initial-exec TLS model instead of the dynamic TLS model.

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>
CC: Jan Kotas <jkotas@microsoft.com>
CC: Jan Vorlicek <janvorli@microsoft.com>

Change hosting API string encoding to UTF-8 on Windows (#4894)

This change fixes a problem with the string encoding in the hosting API
using CP_ACP, which causes problem when the input is a string in other
language than the current Windows one. In such case, it loses some
characters.
The fix is to use UTF-8 encoding (which is what CP_ACP means on Unix
PAL too).

Fix kill set of rep stos to include ECX

There was a very strange condition in the existing code to only
conditionally include ECX in the kill set. I convinced myself that
for AMD64, this condition always holds in this code path (which
makes a lot more sense anyway), so I removed the condition, and
also made all this code execute for x86 as well.

Fixes #4817

Fix razzle build breaks

[tfs-changeset: 1603547]

Cleaning up a bunch of warnings.

Merge pull request #4891 from BruceForstall/PartialFix4817

Block ops using rep on x86 need to kill edi/esi/ecx, same as x64

Merge pull request #4878 from AndyAyersMS/AddMissingBenchmarkAttrs

Add missing xunit performance attributes

Block ops using rep on x86 need to kill edi/esi/ecx, same as x64

Merge pull request #4833 from AlexGhiondea/StringBuilderFixes

Improve detection of error condition when using StringBuilder

Merge pull request #4793 from tijoytom/master

UTF8 Marshaling support(UnmanagedType.LPUTF8Str)

Fix ArgumentNullException messages passed as parameter names (#2889)

Fixed several ArgumentNullExceptions that throw with the message as the parameter name, leading to potential confusion for developers.

Adjust relative offsets in UMThunkStub (#4888)

* Adjust relative offsets in UMThunkStub

This commit updates the relative offsets inside UMThunkStub according to the recent changes in
UMThunkStub (for stack unwinding).

* Uses 'UMThunkStub_StackArgsSize' instead of 'UMThunkStub_StackArgsOffset'

This commit revises 'UM2MThunk_WrapperHelper' to use 'UMThunkStub_StackArgsSize'
instead of 'UMThunkStub_StackArgsOffset'.

Merge pull request #4713 from myungjoo/fix/4712

Match Inconsistent CMake/MSBuild Compiler Definitions 2

Merge pull request #4870 from RussKeldorph/illicense

Update license header in most .il files.

Merge pull request #4886 from dotnet-bot/from-tfs

Merge changes from TFS

Fixed typo in jitinterface.cpp (#4889)

Merge pull request #4883 from JohnChen0/r2r

Fix CrossGen to skip some methods that require generic dictionary

Merge pull request #4829 from JohnChen0/master

Increase a test timeout

JIT-EE interface changes to support CoreRT

- Add flags and constants for reverse PInvoke transitions (https://github.com/dotnet/corert/issues/611)
- Add new multi-dim array constructor that does not use varargs

[tfs-changeset: 1603336]

Fix call to GetSortHandle (#4882)

GlobalizationNatvie_GetSortHandle takes a UTF8 encoded string for the
locale name we want to construct a handle to, which is passed to ICU to
open some locale data.

We converted the UTF-16 encoded locale name to UTF8 in managed code, but
neglected to actually ensure the resulting value was null terminated.

Fixes #4784

Merge pull request #4865 from BruceForstall/JitDumpAssertPtrs

Don't print pointers to the JitDump

Add missing xunit performance attributes

We were not getting instructions retired data for these benchmarks
because the attribute to trigger measurement was missing.

Merge pull request #4866 from AlexGhiondea/mscorlibUpdates

Create facade and reference assembly for mscorlib.

Merge pull request #4867 from AndyAyersMS/FixBenchmarkNames

Fix class names for benchmarks

Merge pull request #4864 from dotnet-bot/from-tfs

Merge changes from TFS

Fix CrossGen to skip some methods that require generic dictionary

Resolves issue #4801.

Taking care of review comments.
Let out some of the review comments
since they are optimizations.

Update license header in most .il files.

Fix class names for benchmarks

Fix a couple of class names for benchmarks so they more accurately
describe the benchmark.

Merge pull request #4862 from RussKeldorph/pending3

Fix conv_ovf_i8_i test

Create the project that will generate the facade project

Create a reference assembly for mscorlib

Don't print pointers to the JitDump; output the assertion bitvector as a string.

Merge pull request #4852 from mikedn/lsra-reftype

Define LSRA's RefType enum via macros

Let all signals be unblocked on Unix (#4863)

This change removes blocking of all of the 17 signals that we were
blocking. I have looked at the default behavior of their handlers
and we should be fine with it.

Fix desktop build break.

[tfs-changeset: 1603043]

Increase a test timeout

Test case tests/src/GC/Regressions/v2.0-beta2/462651 occasionally fails
due to time out (see issue #3691). Mark it with IsLongRunningGCTest.

Merge pull request #4828 from AlexGhiondea/systemprivatecorelib

Create System.Private.CoreLib assembly

Merge pull request #4837 from rahku/crossgen

Helpers for ReadyToRun

[Arm64] Helpers for ReadyToRun

Define LSRA's RefType enum via macros

Fix conv_ovf_i8_i test

Test has at least four problems:
- It assumes native int = int32, so disable it for 64-bit
- It is just wrong in a couple of its assumptions about when overflow
  happens during unsigned conversions.
- On success, it returns 0xAAAA instead of the commonly accepted 100
- It has no copyright header

Also piggybacking a copyright fix for rem_r4.il that I missed earlier

Merge pull request #4834 from gkhanna79/RemoveSxSJIT

Cleanup sxsJitStartup from codemanager

Fix incremental build restore: move generated test_runtime project.json to bin (#4764)

* Move generated test_runtime project.json to bin.

* Update helix tasks to point to moved test_runtime files.

* Remove unnecessary TestRuntimeDependenciesJson property.

Do NOT overwrite the stack frame pointer (#4857)

CallEHFunclet currently overwrite the stack frame pointer (R7) while
recovering the registers.

This commit revises CallEHFunclet not to overwrite R7 when recoverint
the registers.

Linux/ARM: fix stack alignment breaks (#4858)

ehhelper.S: the function no more requires dummy stack add.
memcpy.S: C_FUNC(memcpy) has misaligned stack.
  (memcpy.S is not directly related with the issue #4779.
  However, this requires the same fix with ehhelper.S)

Fix #4779

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Merge pull request #4845 from RussKeldorph/pending

Fix some tests where the only problem was incorrect retval

Update unix-test-instructions.md

Updated run coreclr tests instructions for Linux. Included the new semicolon separated paths for the coreFxBinDir.

Fix some tests where the only problem was incorrect retval

The following tests return values other than 100 on success.  Modify the
harness to expect the values that they return:
```
JIT\jit64\regress\vsw\102754\test1\test1.cmd
JIT\Regression\CLR-x86-JIT\V1-M09\b16102\b16102\b16102.cmd
```
The following test is identical to `test1` in the same directory.  Delete
it.
```
JIT\jit64\regress\vsw\102754\test2\test2.cmd
```
`rem_r4` returns a non-Unix-compatible 0xAAAA (>255).  Change it to the
standard 100.
```
JIT\IL_Conformance\Old\Conformance_Base\rem_r4\rem_r4.cmd
```
The following were using the non-functional Environment.ExitCode.
Switched to Environment.Exit(Environment.ExitCode):
```
JIT\Methodical\switch\switch1\switch1.cmd
JIT\Methodical\switch\switch10\switch10.cmd
JIT\Methodical\switch\switch11\switch11.cmd
JIT\Methodical\switch\switch2\switch2.cmd
JIT\Methodical\switch\switch3\switch3.cmd
JIT\Methodical\switch\switch4\switch4.cmd
JIT\Methodical\switch\switch5\switch5.cmd
JIT\Methodical\switch\switch6\switch6.cmd
JIT\Methodical\switch\switch7\switch7.cmd
JIT\Methodical\switch\switch8\switch8.cmd
JIT\Methodical\switch\switch9\switch9.cmd
JIT\Methodical\tailcall\_il_dbgrecurse_ep_void\_il_dbgrecurse_ep_void.cmd
JIT\Methodical\tailcall\_il_dbgtest_void\_il_dbgtest_void.cmd
JIT\Methodical\tailcall\_il_relrecurse_ep_void\_il_relrecurse_ep_void.cmd
JIT\Methodical\tailcall\_il_reltest_void\_il_reltest_void.cmd
JIT\Regression\CLR-x86-JIT\V1-M12-Beta2\b65423\b65423\b65423.cmd
JIT\Regression\CLR-x86-JIT\V1.2-M01\b08046\b08046\b08046.cmd
```
Note that `b08046.cmd` is left disabled because it is still failing.

Merge pull request #4773 from kouvel/CardTableGrowFix3

Fix recently introduced timing issue when growing the card table

ARM: Fix SOS stack dump command failure (#4774)

Dumping address pointer for 32bit system needs adjusting for current implementation
while it assumes %p argument is 64bit. This patch changes (ULONG64) casting to SOS_PTR()
so that it will be safe for both 64 and 32bit.
This will fix DumpStack and EEStack segmentation fault problem.

Related issue: #4672

Disable flaky test (#4846)

RyuJIT - throughput improvements, PInvoke transitions tweaks: (#4842)

* RyuJIT - throughput improvements, PInvoke transitions tweaks:

- Minor compilation throughput improvements:
     - Avoid redundant calls to getMethodAttribs in impMarkInlineCandidate by reusing the value from CALL_INFO
     - Avoid redundant calls to getFunctionEntryPoint in codegen by reusing the value computed during lower
     - Stop checking CORINFO_FLG_NATIVE flag for inliner observations. It is dead flag, not set anywhere
- Tweaks for helper-based PInvoke transitions (used CoreRT only today):
     - Stop emitting CORINFO_HELP_INIT_PINVOKE_FRAME. Just having the two simple begin/end helpers is better.
     - Stop passing size of arguments in secret register.
     - Enable direct calls for PInvoke targets

* Codereview feedback

Merge pull request #4747 from krytarowski/netbsd-support-75

NetBSD: Fix build with LLVM-3.9

Merge pull request #4843 from dotnet-bot/from-tfs

Merge changes from TFS

Delete left-over uses of FeatureHostedBinder

[tfs-changeset: 1602735]

Merge pull request #4742 from lemmaa/fix-unit-test-script

Fix 'runtest.sh' script

Merge pull request #4836 from sivarv/simdPromotion

Mark simd type vars as lvRegStruct accurately.

Fixes multidim array Get Accessor for enum datatype (#4808)

Use Buffer.BlockCopy in System.Reflection.Emit (#4812)

Fix a typo in NetBSD documentation. (#4841)

Buffer.BlockCopy: Avoid double-typechecks for arrays of same type (#4807)

Remove FEATURE_HOSTED_BINDER definition (#4838)

The FEATURE_HOSTED_BINDER is always on so remove it from all the sources.

UTF8 Marshaling support(UnmanagedType.LPUTF8Str)

Usage: [MarshalAs(UnmanagedType.LPUTF8Str)] applied to string
and stringbuilder.

Implementation mostly use Encoding.UTF8 API to do the byte buffer
to string roundtripping. Introducing two new marshalers,
UTF8StringMarshaler and UTF8BufferMarshaler which handle string
and StringBuilder respectively. [Out] StringBuilder marshaling use
builder capacity as the buffer size ie (builder. Capacity + 1) *3
which is enough for any UTF8 char in BMP plane, infact Encoding.UTF8
mscorlib APIs use the same length.All marshaling flags(ThrowOnUnmapable,
defaultchar) are ignored since they do not make sense in UTF16 to UTD8
context.

The public contracts are not yet updated, the public contracts and
public marshaling API (Marshal.PtrToStringUtf8 and StringToHGlobalUtf8)
will be added once the implementation is in. The marshal api are anyway
going to be a wrapper around Encoding.GetBytes and GetChars.

Mark simd type vars as lvRegStruct accurately.

Merge pull request #4803 from pgavlin/RootBinDir

Add a `bindir` parameter to build.sh.

Merge pull request #4831 from pgavlin/gh2300

Move b12011 into testsUnsupportedOutsideWindows.

Merge pull request #4826 from RussKeldorph/vararg

Move Windows-only vararg/arglist tests to the appropriate exclusion file

Merge pull request #4815 from AndyAyersMS/LegacyPolicyInlineLimit

Inliner: add JitInlineLimit check to LegacyPolicy under debug

Merge pull request #4770 from Maoni0/affi

enable affinity for GC threads and some bug fixes

Fix Windows x86 exception handling issue (#4830)

This change fixes an exception handling issue that happens on x86 on Windows
when exception is raised in System.RuntimeType.MakeGenericType.
The problem was caused by GCPROTECT_HOLDER macro in RuntimeTypeHandle::GetTypeByName
that causes popping of GCFrame (and zeroing its m_next field) that's in the middle of the thread's frames list during
the stack unwinding.
That breaks the list and when UnwindFrames happen later and tries to walk the stack, the StackFrameIterator::NextRaw
asserts when checking the validity of the list.
The fix is to move the keepAlive to the managed caller of the RuntimeTypeHandle::GetTypeByName QCall, which removes
the need for the GCPROTECT_HOLDER.
Since it was the only usage of that holder and of the underlying FrameWithCookieHolder class, I've removed those.
In addition to that, I've modified COMModule::GetType and AssemblyNative::GetType to use the same pattern, since
they could also suffer from the problem the GCPROTECT_HOLDER was attempting to fix.

Cleanup sxsJitStartup from codemanager

Merge pull request #4690 from sejongoh/use_rax_for_ret_buf

Return RetBuf address via RAX for Windows 64

Merge pull request #4795 from sivarv/simdret

[x64 Unix] Avoid SIMD types returned in two return registers from requiring to go through memory.

Merge pull request #4791 from kyulee1/fasttailcall

ARM64: Enable Fast Tail Call

ARM64: Enable Fast Tail Call

Fixes https://github.com/dotnet/coreclr/issues/4420
Like x64, enable fast tail call but tail call opt is still off.
This means explicit tail call is converted to epilog + jmp IP0.
Tail call recursive/tail call via helper is still not enabled yet.

Improve detection of error condition when using StringBuilder

Move b12011 into testsUnsupportedOutsideWindows.

This test requires COM interop.

Add a `bindir` parameter to build.sh.

This parameter can be used to redirect the usual output path from
`./bin` to a different directory.

Merge pull request #4814 from BruceForstall/FixGcRefAssert

Fix GC ref frame offset range assert

Merge pull request #4811 from BruceForstall/FixFunctionTrace

Fix COMPlus_JitFunctionTrace=1 to work better with NYI

Package System.Private.CoreLib in the Microsoft.NETCore.Runtime.CoreCLR package.

Create project that builds System.Private.CoreLib assembly.

This will contain the same sources as mscorlib but will have a different name.

Merge pull request #4822 from dotnet-bot/from-tfs

Merge changes from TFS

enable affinity and numa for GC and some bug fixes

double the threshold for balancing onto a remote NUMA node - this was proven to be best with the asp.net benchmark.

enable cpu group

Merge pull request #4806 from AndyAyersMS/FixInlineDump

Fix inline dump format issue

Move Windows-only vararg/arglist tests to the appropriate exclusion file

Our position on vararg/arglist is that it is supported on Windows only, so
I'm repurposing #1440 to simply express that position in the exclusion
files rather than removing the tests.

Fixes #1440

Merge pull request #4797 from JohnChen0/master

Remove an assert in AssemblySpec::EmitToken

Merge pull request #4810 from BruceForstall/Fix4666

Mark EDX as trashed by the no-gc helper calls

Merge pull request #4819 from BruceForstall/FixRyujitX86CheckedTestRun

Disable tests which fail in a RyuJIT/x86 Checked build test run

Merge pull request #4821 from ellismg/fix-unix-builds

Fix conditional in Unix build definition

Fix conditional in Unix build definition

Disable tests which fail in a RyuJIT/x86 Checked build test run

Fix COMPlus_JitFunctionTrace=1 to work better with NYI

Fix GC ref frame offset range assert

In emitSetFrameRangeGCRs(), on x86, there is the following assert:
  assert(offsHi <  0);
This is saying that the highest offset of a stack frame gc reference
is negative w.r.t. the frame pointer. This is not quite true: the
highest offset is exclusive of the range (the lowest offset is inclusive).
I found a test case where the 'this' pointer, a gc ref, was located
immediately below the frame pointer, in range [ebp-4,ebp), so offsHi==0.

The reason we don't hit this more is because this assert is only in
the JitDump code (under #ifdef DEBUG and 'if (verbose)'). (This
also seems wrong.)

I changed the assert to (offsHi <= 0).

This change ports the support files from NetFxDev1. It doesn't change behavior yet. Adding a feature for the app context switch for path compat as we don't intend to use it in core.

[tfs-changeset: 1602284]

Inliner: add JitInlineLimit check to LegacyPolicy under debug

Adds the ability to limit the number of inlines done by the LegacyPolicy.
Useful in trying to binary search for inlines that cause correctness
issues.

This limit impacts inlining in all methods, so effective isolation may
also require use of JitNoInlineRange to hone in on the root method that
is the source of problems.