Merge pull request #4932 from JohnChen0/r2r

Fix contract violations in Ready to Run code

Merge pull request #4933 from dotnet-bot/from-tfs

Merge changes from TFS

Update first-class-structs.md

Update some progress and fix some formatting

Small formatting fix

Merge pull request #4899 from swgillespie/gcsimulator-fixup

Enable the GCSimulator CI run to run on a regular basis

Merge pull request #4915 from tarekgh/FixLowerAsciiCharChecks

Fix the optimization check to call ordinal

Fix contract violations in Ready to Run code

Update unix-test-instructions.md

Add quotes around coreFxBinDir in unix-test-instructions document.

Fix trival build break, with warning treated as error for jmpDist usage

[tfs-changeset: 1604285]

Merge pull request #4931 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #4419 from ellismg/change-default-locale

Change how we detect the default locale

Merge pull request #4919 from kyulee1/switch

ARM64: Switch Expansion Using Jump Table

ARM64: Switch Expansion Using Jump Table

Fixes #3332
To validate various addressing in #4896, I just enable this.
Previously, we only allow a load operation to JIT data (`ldr` or
`IF_LARGELDC`).
For switch expansion, jump table is also recorded into JIT data.
In this case, we only get the address of jump table head, and
load the right entry after computing offset. So, basically `adr` or
`IF_LARGEADR` is used to not only load label within code but also refer to
the location of JIT data.
The typical code sequence for switch expansion is like this:

```
  adr     x8, [@RWD00]          // load address of jump table head
  ldr     w8, [x8, x0, LSL #2]  // load jump entry from table addr + x0 * 4
  adr     x9, [G_M56320_IG02]   // load address of current baisc block
  add     x8, x8, x9            // Add them to compute the final target
  br      x8                    // Indirectly jump to the target
```

Fix desktop build

[tfs-changeset: 1604234]

Merge pull request #4926 from mylibero/issue4925

Fixed a build error on ARM

Fixed a build error on ARM

The recent commit (61fe464) breaks ARM build.
It defines emitInsToJumpKind twice in src/jit/emit.h on ARM.

Signed-off-by: Dongyun Jin <dongyun.jin@samsung.com>
Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Merge pull request #4872 from vancem/FixETWArgs

Fix problem getting arguments from ETW to an EventSource.

Merge pull request #4896 from kyulee1/longjmp

ARM64: Enable Long Address

Merge pull request #4920 from pgavlin/JitStandaloneDefs

Remove the use of `CROSSGEN_COMPILE` in jitconfigvalues.h.

ARM64: Enable Long Address

Fixes https://github.com/dotnet/coreclr/issues/3668
Currently ARM64 codegen can have reference within +/-1 MB due to encoding
restriction in `b<cond>/adr/ldr` instructions. This is normally okay
assuming each function is reasonably small, but certainly not working for large method which also
can be formed with an aggressive inlining probably like crossgen/corert scenarios.
In addition, for hot/cold code separation long address is a prerequisite
since reference can be across different regions which are arbitrary.
In fact, we need additional relocations which are not in this change yet.

In details, this supports long address for conditional jump/address loading/constant
loading operations by default while they can be shortened later by
`emitJumpDistBind()` if they can fit into the smaller encoding. Logically
those operations now can reach within +/-4GB address range.
Note I haven't extended unconditional jump in this change for simplicity
so it can reach within +/-128MB same as before.
`emitOutputLJ` is extended to finally encode these operations.

There are 3 pseudo instructions introduced. These can be expanded either
short/long form.

1. Conditional jump. See `emitIns_J()`
   a. Short form(`IF_BI_0B`): `b<cond> rel_addr`
   b. Long form(`IF_LARGEJMP`):
   ```
     b<rev cond> $LABEL
     b rel_addr (unconditional jump)
   $LABEL:
   ```

2. Load label(address computation). See `emitIns_R_L()`
   a. Short form(`IF_DI_1E`): `adr x, [rel_addr]`
   b. Long form(`IF_LARGEADR`):
   ```
      adrp x, [rel_page_addr]
      add x, x, page_offs
   ```

3. Load constant (from JIT data). See `emitIns_R_C()`
   a. Short form(`IF_LS_1A`): `ldr x, [rel_addr]`
   b. Long form(`IF_LARGLDC`):
   ```
      adrp x, [rel_page_addr]
      ldr x, [x, page_offs]
     (fmov v, x in case loading vector constant)
   ```

In addition, JIT data is aligned on 8 byte to be accessible from large
load. Replaced JitLargeBranches by JitLongAddress to test stress on these
operations.

Fix the optimization check to call ordinal

we have some optimization to check if we can perform the string search as ordinal
operation instead of lingustic operation. we used to check if the string is Ascii
which check if all chars in the string are in range 0~7F.
This check was not enough because in Linux, ICU do some special handling for some
characters in the Ascii range. so we need to avoid calling the ordinal operation
when encountering such chracters.
The fix is to take the advantage of String.IsFastSort which do exactly what we need

Merge pull request #4917 from LLITCHEV/Issue2329

Increase timeout for GCStress jobs. Set the gcstress15_pri1r2r to be a

Remove the use of `CROSSGEN_COMPILE` in jitconfigvalues.h.

This symbol was previously used to ensure that noway failures did not trigger
debugger breaks when running non-release builds of the JIT in crossgen on the
desktop CLR. We believe that this behavior is no longer necessary nor desirable.

Merge pull request #4916 from BruceForstall/TweakLongs

Small tweaks to RyuJIT/x86 LONG handling

Increase timeout for GCStress jobs. Set the gcstress15_pri1r2r to be a
GCStress job.

Merge pull request #4809 from ramarag/ZapUnwindInfo

[Arm64]: Implement GetUnwindDataBlob

Merge pull request #1241 from mikedn/modopt

Extend the DIV/MOD dividend into RDX:RAX only if needed

Merge pull request #4762 from geoffkizer/ecsopt

Optimize async invocation

Merge pull request #4848 from mikedn/lsra-counts

Remove unnecessary LSRA members

Small tweaks to RyuJIT/x86 LONG handling

1. Display GT_LONG trees in JitDump as gt_long, not just "long". This
helps distinguish them from the pervasive "long" type, making them easier
to see and search for.
2. Change the "hi" operator GT_* node definition to not include GTK_EXOP.
3. Dump the lva table after lvaPromoteLongVars().

Merge pull request #4890 from AlexGhiondea/BuildRefAssemblyPerTargetOS

Fix the reference assembly for mscorlib to match the surface area of the OS

Merge pull request #4903 from BruceForstall/MoveToLegacy

Move some LEGACY_BACKEND code to codegenlegacy.cpp

Merge pull request #4900 from BruceForstall/PartialFix4817c

Fix kill set of rep stos to include ECX

Merge pull request #4895 from tijoytom/master

Cleaning up a bunch of warnings.

Merge pull request #4898 from dotnet-bot/from-tfs

Merge changes from TFS

Linux/ARM: Use -O1 level to avoid segfault in release-build for Linux/ARM (#4904)

We cannot still run 'hello world' console application even though
the cross compilation of CoreCLR is successfully completed.
In release-build, the segmentation fault of 'hello world'
is made by the misalignment of thread local storage (TLS) section
because of the aggressive optimization level of clang compiler for
code optimization(e.g., file size and execution speed).
It means that Clang/LLVM has a bug in case of the usage of O2/O3 flag.

Below is the major difference among the optimization levels of Clang.
* -O2 is based on -O1:
  .adding: -gvn -constmerge -globaldce -slp-vectorizer -mldst-motion -inline
  .removing: -always-inline
* -O3 is based on -O2:
  .adding: -argpromotion

ver2:
- Corerun is loading 'libcoreclr.so' using dlopen() library call. So, we can not
  use initial-exec TLS model (ver1) because of the thread-safe issue of
  the multi-threaded. (Reported by @janvorli)
- In the release-build, Let's replace -O3 with -O1 to avoid the segmentation
  fault due to the aggressive optimization level of the Clang until fixing
  the bug of the Clang/LLVM.

ver1:
- The default value of clang is "global-dynamic". However, the thread-local
storage (TLS) model of Clang/LLVM does not guarantee the normal execution
of TLS's symbol relocation due to the misaligned __tls_get_addr symbol in
case of the aggressive optimizations of Clang on Linux/ARM.
- Let's enable initial-exec TLS model instead of the dynamic TLS model.

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>
CC: Jan Kotas <jkotas@microsoft.com>
CC: Jan Vorlicek <janvorli@microsoft.com>

Improve performance of ExecutionContextSwitcher to help async invocation perf

[Arm64]: Implement GetUnwindDataBlob

Move some LEGACY_BACKEND code from codegencommon.cpp to codegenlegacy.cpp

And, move some header file changes from codegen.h to codegenclassic.h.

The code moved were whole functions with no apparent tight coupling with
other code already in codegencommon.cpp.

The code moved had some #ifndef LEGACY_BACKEND portions, no longer
needed, removed.

Change hosting API string encoding to UTF-8 on Windows (#4894)

This change fixes a problem with the string encoding in the hosting API
using CP_ACP, which causes problem when the input is a string in other
language than the current Windows one. In such case, it loses some
characters.
The fix is to use UTF-8 encoding (which is what CP_ACP means on Unix
PAL too).

Fix kill set of rep stos to include ECX

There was a very strange condition in the existing code to only
conditionally include ECX in the kill set. I convinced myself that
for AMD64, this condition always holds in this code path (which
makes a lot more sense anyway), so I removed the condition, and
also made all this code execute for x86 as well.

Fixes #4817

Enable the GCSimulator CI run to run on a regular basis

Fix razzle build breaks

[tfs-changeset: 1603547]

Build the reference assembly and the facade for mscorlib.

Make sure that the facade projects generates pdbs when possible.

Create a Nuget package that will contain the reference assembly for mscorlib.

Cleaning up a bunch of warnings.

Fix the reference assembly for mscorlib to match the surface area of the OS on which it builds.

Merge pull request #4891 from BruceForstall/PartialFix4817

Block ops using rep on x86 need to kill edi/esi/ecx, same as x64

Merge pull request #4878 from AndyAyersMS/AddMissingBenchmarkAttrs

Add missing xunit performance attributes

One for fix for non-windows platforms

Block ops using rep on x86 need to kill edi/esi/ecx, same as x64

Merge pull request #4833 from AlexGhiondea/StringBuilderFixes

Improve detection of error condition when using StringBuilder

Optimize integer div/mod by const power of 2 in lowering

Optimizing GT_DIV/GT_UDIV/GT_MOD/GT_UMOD by power of 2 in codegen is problematic because the xarch DIV instruction has special register requirements. By the time codegen decides to perform the optimization the rax and rdx registers have been already allocated by LSRA even though they're not always needed (as it happens in the case of unsigned division where CDQ isn't used).

Since the JIT can't represent a CDQ instruction in its IR an arithmetic shift (GT_RSH) has been instead to extract the dividend sign. xarch's SAR is larger than CDQ but it has the advantage that it doesn't require specific registers. Also, arithmetic shifts are available on architectures other than xarch.

Example: method "static int foo(int x) => x / 8;" is now compiled to
mov      eax, ecx
mov      edx, eax
sar      edx, 31
and      edx, 7
add      edx, eax
mov      eax, edx
sar      eax, 3

instead of
mov      eax, ecx
cdq
and      edx, 7
add      eax, edx
sar      eax, 3

As a side-effect of this change the optimization now also works when the divisor is too large to be contained. Previously this wasn't possible because the divisor constant needed to be modified during codegen but the constant was already loaded into a register.

Example: method "static ulong foo(ulong x) => x / 4294967296;" is now compiled to
mov      rax, rcx
shr      rax, 32

whereas before a DIV instruction was used.

This change also fixes an issue in fgShouldUseMagicNumberDivide. The optimization that is done in lower can handle negative power of 2 divisors but fgShouldUseMagicNumberDivide handled those cases because it didn't check the absolute value of the divisor.

Example: method "static int foo(int x) => return x / -2;" is now compiled to

mov      eax, ecx
mov      edx, eax
shr      edx, 31
add      edx, eax
sar      edx, 1
mov      eax, edx
neg      eax

instead of
mov      eax, 0x7FFFFFFF
imul     edx:eax, ecx
mov      eax, edx
sub      eax, ecx
mov      edx, eax
shr      edx, 31
add      eax, edx

Merge pull request #4793 from tijoytom/master

UTF8 Marshaling support(UnmanagedType.LPUTF8Str)

Fix non-widows builds.

Fix ArgumentNullException messages passed as parameter names (#2889)

Fixed several ArgumentNullExceptions that throw with the message as the parameter name, leading to potential confusion for developers.

Adjust relative offsets in UMThunkStub (#4888)

* Adjust relative offsets in UMThunkStub

This commit updates the relative offsets inside UMThunkStub according to the recent changes in
UMThunkStub (for stack unwinding).

* Uses 'UMThunkStub_StackArgsSize' instead of 'UMThunkStub_StackArgsOffset'

This commit revises 'UM2MThunk_WrapperHelper' to use 'UMThunkStub_StackArgsSize'
instead of 'UMThunkStub_StackArgsOffset'.

Merge pull request #4713 from myungjoo/fix/4712

Match Inconsistent CMake/MSBuild Compiler Definitions 2

Merge pull request #4870 from RussKeldorph/illicense

Update license header in most .il files.

Merge pull request #4886 from dotnet-bot/from-tfs

Merge changes from TFS

Fixed typo in jitinterface.cpp (#4889)

Merge pull request #4883 from JohnChen0/r2r

Fix CrossGen to skip some methods that require generic dictionary

Merge pull request #4829 from JohnChen0/master

Increase a test timeout

JIT-EE interface changes to support CoreRT

- Add flags and constants for reverse PInvoke transitions (https://github.com/dotnet/corert/issues/611)
- Add new multi-dim array constructor that does not use varargs

[tfs-changeset: 1603336]

Fix call to GetSortHandle (#4882)

GlobalizationNatvie_GetSortHandle takes a UTF8 encoded string for the
locale name we want to construct a handle to, which is passed to ICU to
open some locale data.

We converted the UTF-16 encoded locale name to UTF8 in managed code, but
neglected to actually ensure the resulting value was null terminated.

Fixes #4784

Merge pull request #4865 from BruceForstall/JitDumpAssertPtrs

Don't print pointers to the JitDump

Add missing xunit performance attributes

We were not getting instructions retired data for these benchmarks
because the attribute to trigger measurement was missing.

Merge pull request #4866 from AlexGhiondea/mscorlibUpdates

Create facade and reference assembly for mscorlib.

Merge pull request #4867 from AndyAyersMS/FixBenchmarkNames

Fix class names for benchmarks

Merge pull request #4864 from dotnet-bot/from-tfs

Merge changes from TFS

Fix CrossGen to skip some methods that require generic dictionary

Resolves issue #4801.

Taking care of review comments.
Let out some of the review comments
since they are optimizations.

Fix problem gettign arguments from ETW to an EventSource.

There was a problem where some #ifdefs were incorrect making us simply not have some code in CoreCLR.
This change syncronizes this with the Nuget package version which has the correct #ifdefs.

Add tests for integer div/mod by const

Update license header in most .il files.

Fix class names for benchmarks

Fix a couple of class names for benchmarks so they more accurately
describe the benchmark.

Merge pull request #4862 from RussKeldorph/pending3

Fix conv_ovf_i8_i test

Create the project that will generate the facade project

Create a reference assembly for mscorlib

Don't print pointers to the JitDump; output the assertion bitvector as a string.

Merge pull request #4852 from mikedn/lsra-reftype

Define LSRA's RefType enum via macros

Let all signals be unblocked on Unix (#4863)

This change removes blocking of all of the 17 signals that we were
blocking. I have looked at the default behavior of their handlers
and we should be fine with it.

Fix desktop build break.

[tfs-changeset: 1603043]

Increase a test timeout

Test case tests/src/GC/Regressions/v2.0-beta2/462651 occasionally fails
due to time out (see issue #3691). Mark it with IsLongRunningGCTest.

Merge pull request #4828 from AlexGhiondea/systemprivatecorelib

Create System.Private.CoreLib assembly

Merge pull request #4837 from rahku/crossgen

Helpers for ReadyToRun

[Arm64] Helpers for ReadyToRun

Define LSRA's RefType enum via macros

Fix conv_ovf_i8_i test

Test has at least four problems:
- It assumes native int = int32, so disable it for 64-bit
- It is just wrong in a couple of its assumptions about when overflow
  happens during unsigned conversions.
- On success, it returns 0xAAAA instead of the commonly accepted 100
- It has no copyright header

Also piggybacking a copyright fix for rem_r4.il that I missed earlier

Merge pull request #4834 from gkhanna79/RemoveSxSJIT

Cleanup sxsJitStartup from codemanager

Fix incremental build restore: move generated test_runtime project.json to bin (#4764)

* Move generated test_runtime project.json to bin.

* Update helix tasks to point to moved test_runtime files.

* Remove unnecessary TestRuntimeDependenciesJson property.

Do NOT overwrite the stack frame pointer (#4857)

CallEHFunclet currently overwrite the stack frame pointer (R7) while
recovering the registers.

This commit revises CallEHFunclet not to overwrite R7 when recoverint
the registers.

Linux/ARM: fix stack alignment breaks (#4858)

ehhelper.S: the function no more requires dummy stack add.
memcpy.S: C_FUNC(memcpy) has misaligned stack.
  (memcpy.S is not directly related with the issue #4779.
  However, this requires the same fix with ehhelper.S)

Fix #4779

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Merge pull request #4845 from RussKeldorph/pending

Fix some tests where the only problem was incorrect retval

Update unix-test-instructions.md

Updated run coreclr tests instructions for Linux. Included the new semicolon separated paths for the coreFxBinDir.

Fix some tests where the only problem was incorrect retval

The following tests return values other than 100 on success.  Modify the
harness to expect the values that they return:
```
JIT\jit64\regress\vsw\102754\test1\test1.cmd
JIT\Regression\CLR-x86-JIT\V1-M09\b16102\b16102\b16102.cmd
```
The following test is identical to `test1` in the same directory.  Delete
it.
```
JIT\jit64\regress\vsw\102754\test2\test2.cmd
```
`rem_r4` returns a non-Unix-compatible 0xAAAA (>255).  Change it to the
standard 100.
```
JIT\IL_Conformance\Old\Conformance_Base\rem_r4\rem_r4.cmd
```
The following were using the non-functional Environment.ExitCode.
Switched to Environment.Exit(Environment.ExitCode):
```
JIT\Methodical\switch\switch1\switch1.cmd
JIT\Methodical\switch\switch10\switch10.cmd
JIT\Methodical\switch\switch11\switch11.cmd
JIT\Methodical\switch\switch2\switch2.cmd
JIT\Methodical\switch\switch3\switch3.cmd
JIT\Methodical\switch\switch4\switch4.cmd
JIT\Methodical\switch\switch5\switch5.cmd
JIT\Methodical\switch\switch6\switch6.cmd
JIT\Methodical\switch\switch7\switch7.cmd
JIT\Methodical\switch\switch8\switch8.cmd
JIT\Methodical\switch\switch9\switch9.cmd
JIT\Methodical\tailcall\_il_dbgrecurse_ep_void\_il_dbgrecurse_ep_void.cmd
JIT\Methodical\tailcall\_il_dbgtest_void\_il_dbgtest_void.cmd
JIT\Methodical\tailcall\_il_relrecurse_ep_void\_il_relrecurse_ep_void.cmd
JIT\Methodical\tailcall\_il_reltest_void\_il_reltest_void.cmd
JIT\Regression\CLR-x86-JIT\V1-M12-Beta2\b65423\b65423\b65423.cmd
JIT\Regression\CLR-x86-JIT\V1.2-M01\b08046\b08046\b08046.cmd
```
Note that `b08046.cmd` is left disabled because it is still failing.

Merge pull request #4773 from kouvel/CardTableGrowFix3

Fix recently introduced timing issue when growing the card table

ARM: Fix SOS stack dump command failure (#4774)

Dumping address pointer for 32bit system needs adjusting for current implementation
while it assumes %p argument is 64bit. This patch changes (ULONG64) casting to SOS_PTR()
so that it will be safe for both 64 and 32bit.
This will fix DumpStack and EEStack segmentation fault problem.

Related issue: #4672

Remove unnecessary LSRA members

RefPositions and Intervals are never removed. We can use list::size() instead of tracking the count manually.

Disable flaky test (#4846)