Merge pull request #4970 from dotnet-bot/from-tfs

Merge changes from TFS

Fix a PCH-related issue in the jitstdout change.

[tfs-changeset: 1604771]

Merge pull request #4901 from LLITCHEV/Issue4801

Add a issues target file with tests to be excluded on jit32 x86.

Add a issues target file with thests to be excluded on jit32 x86.

Merge pull request #4922 from adityamandaleeka/remove_getfilenamefromsymlink

Change how PAL file I/O functions treat symbolic links

Merge pull request #4958 from swgillespie/disable-gcstress

Exclude from GCStress a few tests that take an unreasonably long time to complete

Merge pull request #4942 from pgavlin/gh4832

Use a JIT-specific stdout `FILE*`.

Merge pull request #4957 from RussKeldorph/fix2235

Reenable passing tests

Merge pull request #4961 from AndyAyersMS/RandomInlineBudgetLimit

Add budget check to RandomPolicy

Merge pull request #4955 from briansull/fix-asmdiff

Fix issue with Arm64 AsmDiffs

Merge pull request #4956 from mmitche/gcstress-no-push

Run gcstress pri1r2r only a few times a week

Merge pull request #4959 from tijoytom/master

Renaming to StringToCoTaskMemUTF8

Add budget check to RandomPolicy

Prevents RandomPolicy from being overly aggressive with small methods
that can lead to excessive inlining.

Closes #4711. Undoes #4704.

Renaming the API StringToCoTaskMemUTF8 since we
need to be consistent with existing one.Also
fixing a merge conflict.

Exclude from GCStress a few tests that take an unreasonably long time to complete

Run gcstress pri1r2r only a few times a week

Currently this is set on push, but since it can take days to run this is a bad idea

Reenable passing tests

Many of the tests listed in #2235 are now passing since their dependencies
have been fixed.  b57367 is a notable exception; it's static dependency is
now satisfied, but at runtime it loads a type that is not present in .NET
Core.  I'm deleting it because I verified there are other tests that test
the same load/invoke pattern (on different types).

The rest of the tests listed in #2235 have already been deleted for other
reasons.

Fixes #2235

Fix issue with Arm64 AsmDiffs

Merge pull request #4911 from tijoytom/master

Marshaling helpers for MarshalAs LPUTF8Str.

Merge pull request #4813 from pgavlin/gh3058

Disable FEATURE_MERGE_JIT_AND_ENGINE on *nix.

Merge pull request #4921 from AndyAyersMS/InlineReplay

Inliner: introduce ReplayPolicy

Address code review feedback.

Flip the order of the PID and activation function checks in the activation
signal handler.

Chain activation signal handlers in the PAL.

The handler for the PAL's activation signal (`SIGRTMIN` on Linux) was
not properly chaining to the previous handler. This caused problems
with thread suspension on Linux in the case that multiple PALs were
loaded in a process: whichever PAL was loaded last would handle the
signal, and if that PAL was not configured to perform the appropriate
thread suspension, the runtime would hang.

Merge pull request #4941 from gkhanna79/Fix4938

Enable SHA256 to be used as hashing algorithm for compiler/assembler

Merge pull request #4945 from dotnet-bot/from-tfs

Merge changes from TFS

Stop using SYS_delete syscall for deleting files.

Add tests for file IO functions operating on symlinks.

Merge pull request #4932 from JohnChen0/r2r

Fix contract violations in Ready to Run code

Merge pull request #4933 from dotnet-bot/from-tfs

Merge changes from TFS

Inliner: introduce ReplayPolicy

The ReplayPolicy reads an external script to determine which inlines
to perform. The script is the same Xml syntax that's produced by
the inliner when JitInlineDumpXml is enabled. This format can be edited
by hand or tool to force particular inlining patterns to occur. Methods
or calls sites not mentioned in the script are considered as noinline.

There's a bunch of work still left to make this fully robust, but in
testing it works well enough for my immediate use case that I'll hold
off on further polish until it's needed. But, for future reference,
here's a laundry list:

* Need better ways to identify methods. Token and hash are not enough.
* Need better ways to identify call sites. Callee token is not enough.
* Consider preparsing or mapping the script into memory.
* Consider caching node positions in the InlineContexts.
* Make it robust for multithreading.
* Handle the prejit root case somehow.
* Possibly allow overriding of inline attributes.

Update first-class-structs.md

Update some progress and fix some formatting

Use a JIT-specific stdout `FILE*`.

Historically, the JIT has had issues with logging inside of processes
that change the output mode of stdout (e.g. crossgen). This change
replaces the previous solution (which relied on #ifdefs) by dup'ing
the stdout file and wrapping it in a new `FILE*` set to a known
output mode.

Enable SHA256 to be used as hashing algorithm for compiler/assembler

Small formatting fix

Merge pull request #4899 from swgillespie/gcsimulator-fixup

Enable the GCSimulator CI run to run on a regular basis

Marshaling helpers for MarshalAs LPUTF8Str.

Merge pull request #4915 from tarekgh/FixLowerAsciiCharChecks

Fix the optimization check to call ordinal

Fix contract violations in Ready to Run code

Apply the JIT interface changes needed for Fadi's upcoming shared generics change.

[tfs-changeset: 1604316]

Update unix-test-instructions.md

Add quotes around coreFxBinDir in unix-test-instructions document.

Fix trival build break, with warning treated as error for jmpDist usage

[tfs-changeset: 1604285]

Merge pull request #4931 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #4419 from ellismg/change-default-locale

Change how we detect the default locale

Merge pull request #4919 from kyulee1/switch

ARM64: Switch Expansion Using Jump Table

ARM64: Switch Expansion Using Jump Table

Fixes #3332
To validate various addressing in #4896, I just enable this.
Previously, we only allow a load operation to JIT data (`ldr` or
`IF_LARGELDC`).
For switch expansion, jump table is also recorded into JIT data.
In this case, we only get the address of jump table head, and
load the right entry after computing offset. So, basically `adr` or
`IF_LARGEADR` is used to not only load label within code but also refer to
the location of JIT data.
The typical code sequence for switch expansion is like this:

```
  adr     x8, [@RWD00]          // load address of jump table head
  ldr     w8, [x8, x0, LSL #2]  // load jump entry from table addr + x0 * 4
  adr     x9, [G_M56320_IG02]   // load address of current baisc block
  add     x8, x8, x9            // Add them to compute the final target
  br      x8                    // Indirectly jump to the target
```

Fix desktop build

[tfs-changeset: 1604234]

Merge pull request #4926 from mylibero/issue4925

Fixed a build error on ARM

Fixed a build error on ARM

The recent commit (61fe464) breaks ARM build.
It defines emitInsToJumpKind twice in src/jit/emit.h on ARM.

Signed-off-by: Dongyun Jin <dongyun.jin@samsung.com>
Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Merge pull request #4872 from vancem/FixETWArgs

Fix problem getting arguments from ETW to an EventSource.

Merge pull request #4896 from kyulee1/longjmp

ARM64: Enable Long Address

Merge pull request #4920 from pgavlin/JitStandaloneDefs

Remove the use of `CROSSGEN_COMPILE` in jitconfigvalues.h.

ARM64: Enable Long Address

Fixes https://github.com/dotnet/coreclr/issues/3668
Currently ARM64 codegen can have reference within +/-1 MB due to encoding
restriction in `b<cond>/adr/ldr` instructions. This is normally okay
assuming each function is reasonably small, but certainly not working for large method which also
can be formed with an aggressive inlining probably like crossgen/corert scenarios.
In addition, for hot/cold code separation long address is a prerequisite
since reference can be across different regions which are arbitrary.
In fact, we need additional relocations which are not in this change yet.

In details, this supports long address for conditional jump/address loading/constant
loading operations by default while they can be shortened later by
`emitJumpDistBind()` if they can fit into the smaller encoding. Logically
those operations now can reach within +/-4GB address range.
Note I haven't extended unconditional jump in this change for simplicity
so it can reach within +/-128MB same as before.
`emitOutputLJ` is extended to finally encode these operations.

There are 3 pseudo instructions introduced. These can be expanded either
short/long form.

1. Conditional jump. See `emitIns_J()`
   a. Short form(`IF_BI_0B`): `b<cond> rel_addr`
   b. Long form(`IF_LARGEJMP`):
   ```
     b<rev cond> $LABEL
     b rel_addr (unconditional jump)
   $LABEL:
   ```

2. Load label(address computation). See `emitIns_R_L()`
   a. Short form(`IF_DI_1E`): `adr x, [rel_addr]`
   b. Long form(`IF_LARGEADR`):
   ```
      adrp x, [rel_page_addr]
      add x, x, page_offs
   ```

3. Load constant (from JIT data). See `emitIns_R_C()`
   a. Short form(`IF_LS_1A`): `ldr x, [rel_addr]`
   b. Long form(`IF_LARGLDC`):
   ```
      adrp x, [rel_page_addr]
      ldr x, [x, page_offs]
     (fmov v, x in case loading vector constant)
   ```

In addition, JIT data is aligned on 8 byte to be accessible from large
load. Replaced JitLargeBranches by JitLongAddress to test stress on these
operations.

Fix the optimization check to call ordinal

we have some optimization to check if we can perform the string search as ordinal
operation instead of lingustic operation. we used to check if the string is Ascii
which check if all chars in the string are in range 0~7F.
This check was not enough because in Linux, ICU do some special handling for some
characters in the Ascii range. so we need to avoid calling the ordinal operation
when encountering such chracters.
The fix is to take the advantage of String.IsFastSort which do exactly what we need

Merge pull request #4917 from LLITCHEV/Issue2329

Increase timeout for GCStress jobs. Set the gcstress15_pri1r2r to be a

Remove the use of `CROSSGEN_COMPILE` in jitconfigvalues.h.

This symbol was previously used to ensure that noway failures did not trigger
debugger breaks when running non-release builds of the JIT in crossgen on the
desktop CLR. We believe that this behavior is no longer necessary nor desirable.

Merge pull request #4916 from BruceForstall/TweakLongs

Small tweaks to RyuJIT/x86 LONG handling

Increase timeout for GCStress jobs. Set the gcstress15_pri1r2r to be a
GCStress job.

Avoid following symlinks in PAL move/delete functions.

Merge pull request #4809 from ramarag/ZapUnwindInfo

[Arm64]: Implement GetUnwindDataBlob

Merge pull request #1241 from mikedn/modopt

Extend the DIV/MOD dividend into RDX:RAX only if needed

Merge pull request #4762 from geoffkizer/ecsopt

Optimize async invocation

Merge pull request #4848 from mikedn/lsra-counts

Remove unnecessary LSRA members

Small tweaks to RyuJIT/x86 LONG handling

1. Display GT_LONG trees in JitDump as gt_long, not just "long". This
helps distinguish them from the pervasive "long" type, making them easier
to see and search for.
2. Change the "hi" operator GT_* node definition to not include GTK_EXOP.
3. Dump the lva table after lvaPromoteLongVars().

Merge pull request #4890 from AlexGhiondea/BuildRefAssemblyPerTargetOS

Fix the reference assembly for mscorlib to match the surface area of the OS

Merge pull request #4903 from BruceForstall/MoveToLegacy

Move some LEGACY_BACKEND code to codegenlegacy.cpp

Merge pull request #4900 from BruceForstall/PartialFix4817c

Fix kill set of rep stos to include ECX

Merge pull request #4895 from tijoytom/master

Cleaning up a bunch of warnings.

Merge pull request #4898 from dotnet-bot/from-tfs

Merge changes from TFS

Linux/ARM: Use -O1 level to avoid segfault in release-build for Linux/ARM (#4904)

We cannot still run 'hello world' console application even though
the cross compilation of CoreCLR is successfully completed.
In release-build, the segmentation fault of 'hello world'
is made by the misalignment of thread local storage (TLS) section
because of the aggressive optimization level of clang compiler for
code optimization(e.g., file size and execution speed).
It means that Clang/LLVM has a bug in case of the usage of O2/O3 flag.

Below is the major difference among the optimization levels of Clang.
* -O2 is based on -O1:
  .adding: -gvn -constmerge -globaldce -slp-vectorizer -mldst-motion -inline
  .removing: -always-inline
* -O3 is based on -O2:
  .adding: -argpromotion

ver2:
- Corerun is loading 'libcoreclr.so' using dlopen() library call. So, we can not
  use initial-exec TLS model (ver1) because of the thread-safe issue of
  the multi-threaded. (Reported by @janvorli)
- In the release-build, Let's replace -O3 with -O1 to avoid the segmentation
  fault due to the aggressive optimization level of the Clang until fixing
  the bug of the Clang/LLVM.

ver1:
- The default value of clang is "global-dynamic". However, the thread-local
storage (TLS) model of Clang/LLVM does not guarantee the normal execution
of TLS's symbol relocation due to the misaligned __tls_get_addr symbol in
case of the aggressive optimizations of Clang on Linux/ARM.
- Let's enable initial-exec TLS model instead of the dynamic TLS model.

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>
CC: Jan Kotas <jkotas@microsoft.com>
CC: Jan Vorlicek <janvorli@microsoft.com>

Improve performance of ExecutionContextSwitcher to help async invocation perf

[Arm64]: Implement GetUnwindDataBlob

Move some LEGACY_BACKEND code from codegencommon.cpp to codegenlegacy.cpp

And, move some header file changes from codegen.h to codegenclassic.h.

The code moved were whole functions with no apparent tight coupling with
other code already in codegencommon.cpp.

The code moved had some #ifndef LEGACY_BACKEND portions, no longer
needed, removed.

Change hosting API string encoding to UTF-8 on Windows (#4894)

This change fixes a problem with the string encoding in the hosting API
using CP_ACP, which causes problem when the input is a string in other
language than the current Windows one. In such case, it loses some
characters.
The fix is to use UTF-8 encoding (which is what CP_ACP means on Unix
PAL too).

Fix kill set of rep stos to include ECX

There was a very strange condition in the existing code to only
conditionally include ECX in the kill set. I convinced myself that
for AMD64, this condition always holds in this code path (which
makes a lot more sense anyway), so I removed the condition, and
also made all this code execute for x86 as well.

Fixes #4817

Enable the GCSimulator CI run to run on a regular basis

Fix razzle build breaks

[tfs-changeset: 1603547]

Build the reference assembly and the facade for mscorlib.

Make sure that the facade projects generates pdbs when possible.

Create a Nuget package that will contain the reference assembly for mscorlib.

Cleaning up a bunch of warnings.

Fix the reference assembly for mscorlib to match the surface area of the OS on which it builds.

Merge pull request #4891 from BruceForstall/PartialFix4817

Block ops using rep on x86 need to kill edi/esi/ecx, same as x64

Merge pull request #4878 from AndyAyersMS/AddMissingBenchmarkAttrs

Add missing xunit performance attributes

Disable FEATURE_MERGE_JIT_AND_ENGINE on *nix.

Now that #3058 has been fixed, the JIT can be consumed as a dynamic
library on all platforms.

One for fix for non-windows platforms

Block ops using rep on x86 need to kill edi/esi/ecx, same as x64

Merge pull request #4833 from AlexGhiondea/StringBuilderFixes

Improve detection of error condition when using StringBuilder

Optimize integer div/mod by const power of 2 in lowering

Optimizing GT_DIV/GT_UDIV/GT_MOD/GT_UMOD by power of 2 in codegen is problematic because the xarch DIV instruction has special register requirements. By the time codegen decides to perform the optimization the rax and rdx registers have been already allocated by LSRA even though they're not always needed (as it happens in the case of unsigned division where CDQ isn't used).

Since the JIT can't represent a CDQ instruction in its IR an arithmetic shift (GT_RSH) has been instead to extract the dividend sign. xarch's SAR is larger than CDQ but it has the advantage that it doesn't require specific registers. Also, arithmetic shifts are available on architectures other than xarch.

Example: method "static int foo(int x) => x / 8;" is now compiled to
mov      eax, ecx
mov      edx, eax
sar      edx, 31
and      edx, 7
add      edx, eax
mov      eax, edx
sar      eax, 3

instead of
mov      eax, ecx
cdq
and      edx, 7
add      eax, edx
sar      eax, 3

As a side-effect of this change the optimization now also works when the divisor is too large to be contained. Previously this wasn't possible because the divisor constant needed to be modified during codegen but the constant was already loaded into a register.

Example: method "static ulong foo(ulong x) => x / 4294967296;" is now compiled to
mov      rax, rcx
shr      rax, 32

whereas before a DIV instruction was used.

This change also fixes an issue in fgShouldUseMagicNumberDivide. The optimization that is done in lower can handle negative power of 2 divisors but fgShouldUseMagicNumberDivide handled those cases because it didn't check the absolute value of the divisor.

Example: method "static int foo(int x) => return x / -2;" is now compiled to

mov      eax, ecx
mov      edx, eax
shr      edx, 31
add      edx, eax
sar      edx, 1
mov      eax, edx
neg      eax

instead of
mov      eax, 0x7FFFFFFF
imul     edx:eax, ecx
mov      eax, edx
sub      eax, ecx
mov      edx, eax
shr      edx, 31
add      eax, edx

Merge pull request #4793 from tijoytom/master

UTF8 Marshaling support(UnmanagedType.LPUTF8Str)

Fix non-widows builds.

Fix ArgumentNullException messages passed as parameter names (#2889)

Fixed several ArgumentNullExceptions that throw with the message as the parameter name, leading to potential confusion for developers.

Adjust relative offsets in UMThunkStub (#4888)

* Adjust relative offsets in UMThunkStub

This commit updates the relative offsets inside UMThunkStub according to the recent changes in
UMThunkStub (for stack unwinding).

* Uses 'UMThunkStub_StackArgsSize' instead of 'UMThunkStub_StackArgsOffset'

This commit revises 'UM2MThunk_WrapperHelper' to use 'UMThunkStub_StackArgsSize'
instead of 'UMThunkStub_StackArgsOffset'.

Merge pull request #4713 from myungjoo/fix/4712

Match Inconsistent CMake/MSBuild Compiler Definitions 2

Merge pull request #4870 from RussKeldorph/illicense

Update license header in most .il files.

Merge pull request #4886 from dotnet-bot/from-tfs

Merge changes from TFS

Fixed typo in jitinterface.cpp (#4889)

Merge pull request #4883 from JohnChen0/r2r

Fix CrossGen to skip some methods that require generic dictionary

Merge pull request #4829 from JohnChen0/master

Increase a test timeout

JIT-EE interface changes to support CoreRT

- Add flags and constants for reverse PInvoke transitions (https://github.com/dotnet/corert/issues/611)
- Add new multi-dim array constructor that does not use varargs

[tfs-changeset: 1603336]

Fix call to GetSortHandle (#4882)

GlobalizationNatvie_GetSortHandle takes a UTF8 encoded string for the
locale name we want to construct a handle to, which is passed to ICU to
open some locale data.

We converted the UTF-16 encoded locale name to UTF8 in managed code, but
neglected to actually ensure the resulting value was null terminated.

Fixes #4784

Merge pull request #4865 from BruceForstall/JitDumpAssertPtrs

Don't print pointers to the JitDump