Merge pull request #8291 from sivarv/sse34

Enable use of SSE3_4 instruction set for SIMD codegen.

Merge pull request #8330 from BruceForstall/FixSSE2Assert

Force enable SSE2 on RyuJIT/x86 on desktop

Merge pull request #8351 from dotnet-bot/from-tfs

Merge changes from TFS

Fix shared library dependencies verification on some platforms (#8349)

The existing way of verifying shared library dependencies, used for
System.Globalization.Native.so, doesn't work on platforms that don't
have ldd or where ldd doesn't support the `-r` option.
This change makes the check happen on non-Alpine Linux only for now.
It also refactors the way the check is performed. Instead of doing it
post build in the build.sh, it is now performed as a postbuild phase
of the System.Globalization.Native target and it is also generalized
so that we can easily add such verification to other build targets.
The new verify-so.sh script is also used in corefx.

Disable CER feature as it is not used (#8218)

Use FEATURE_CER to scope CER code,
and disable CER feature in CoreCLR.

Use invariant culture in test (#8327)

This makes sure the test passes on machines
where the decimal separator of the default culture is comma.

Fix AMD64 CTP build break

[tfs-changeset: 1639770]

Fix phantom TEXTREL in libcoreclr.so (#8347)

This change fixes the problem where scanelf tool reported that libcoreclr.s
contains TEXTRELs, however it was unable to find any.
It turns out there actually were TEXTRELs, but not in the program code or
program data, but rather in the DWARF tables. The NESTED_ENTRY macro for
ARM64 and AMD64 uses .cfi_personality with encoding 0, which means
absolute address. This is the source of the TEXTREL.
Changing the encoding to 0x1b - DW_EH_PE_pcrel | DW_EH_PE_sdata4 fixes the
problem - the scanelf tool no longer reports any TEXTRELs in libcoreclr.so.

Uses 'W' to fix build error (#8345)

Fix the mistmatch between gc_thread_stub and GCThreadFunction (#8336)

Fix ignored attribute warning for x86/Linux build (#8334)

Force enable SSE2 on RyuJIT/x86 on desktop

SSE2 is required for RyuJIT/x86; there is no x87 code path.
The .NET Core VM sets the JIT flag enabling this, and we assert
it does. On desktop, however, especially under NGEN, it does not.
We ignore that, and generate SSE2 code anyway.

Disable PSPSym and LocAllocSPvar for CoreRT (#8319)

The establisher frame definition differs between CoreRT ABI and CoreCLR ABI. In CoreRT ABI created by @russellhadley and @smosier while back, the establisher frame is always the SP value at the point that control left the frame in which execution would resume after a catch handler completes. This mismatch leads to crashes when PSPSym is recomputed in funclets of methods with localloc.

Fixed by disabling PSPSym for CoreRT since it does not need it. Also disabled LocAllocSPvar while I was on it since it is not needed for CoreRT either.

Fixes https://github.com/dotnet/corert/issues/2255

Merge pull request #8325 from pgavlin/gh8285

Do not rewrite `(t + cns_a) << cns_s)` during CSE.

Enable using SSE3_4 instruction set for SIMD codegen.

[x86/Linux] Fix constructor missing in UnmanagedToManagedFrame (#8275)

Fix compile error for x86/Linux
- full error string: constructor for 'UMThkCallFrame' must explicitly
  initialize the base class 'UnmanagedToManagedFrame' which does not
  have a default constructor
- wrap UMThkCallFrame with also !FEATURE_PAL

[x86/Linux] Fix error variable 'td' is uninitialized (#8299)

Fix compile error for x86/Linux
- make compiler happy with initialize variable 'td' with 0.0

Do not rewrite `(t + cns_a) << cns_s)` during CSE.

Morph normally rewrites trees of the form `(t + cns_a) << cns_s` to
`(t << cns_s + cns_a << cns_s)`. This transformation is not safe to run
during CSE, as it may invalidate CSE candidates.

Fixes #8285.

Merge pull request #8314 from BruceForstall/RefactorEmit

Factor out common stack adjustment code

Factor out common stack adjustment code

[x86/Linux] Fix compile error in zapcode (#8294)

Fix compile error for x86/Linux
- Remove ZapUnwindInfo WIN64EXCEPTIONS codes for x86/Linux
- fix "use of undeclared identifier 'NEED_TO_PORT_THIS_ONE'"
- fix "unknown type name 'UNWIND_INFO'"
- fix "use of undeclared identifier 'READYTORUN_HELPER_PersonalityRoutineFilterFunclet'"

[x86/Linux] Fix 'stdcall' here was previously declared without (#8320)

Fix compile error for x86/Linux
- add __stdcall in header
- fix "function declared 'stdcall' here was previously declared without"

[x86/Linux] Fix unknown type name 'PTR_RUNTIME_FUNCTION' (#8272)

Fix compile error for x86/Linux
- wrap only RUNTIME_FUNCTION in corcompile.h with !FEATURE_PAL

Merge pull request #8199 from Maoni0/local_gc

move profiling and profiling/ETW shared diagnostics code out of gc.cpp, gcee.cpp and objecthandle.cpp

Merge pull request #8312 from BruceForstall/FixLegacyBuild

Set FEATURE_READYTORUN_COMPILER for legacyjit and compatjit

Fix building CoreCLR with Clang 3.9 (#8311)

There were few constructs that Clang 3.9 didn't like due to its strict
C++ standard conformance rules.

Exclude superpmi test from legacyjit and compatjit runs

The superpmi test depends on setting COMPlus_AltJit to do the
collection, which is incompatible with setting the variables
required to do these test runs.

Set FEATURE_READYTORUN_COMPILER for legacyjit and compatjit

Fix subtle bug in new string.Join implementation. (#8310)

Configures tests even when configureonly is provided (#8308)

The current script does not configure tests when configureonly is
provided.

This commit revises 'build.sh' to configure tests even when configureonly
is provided.

This commit makes it possible to build tests (including related components)
via configuring the whole projects and running make inside that directory.

[x86/Linux] Renames i386 as amd64 in arch (PAL) (#8307)

The files in src/pal/src/arch/i386 are actually for amd64 (not x86).
This commit renames the directory name as the first step towards
enabling PAL in x86/Linux.

Enable field EndAddress only for AMD64 in PAL of RUNTIME_FUNCTION (#8305)

Supports to build PAL tests under x86/Linux (#8292)

[x86/Linux] Fix unsupported architecture in seh-unwind.cpp (#8262)

Fix compile error for x86/Linux
- add ASSIGN_UNWIND_REGS in seh-unwind.cpp for x86
- add CONTEXT_EXCEPTION_ACTIVE in pal.h for x86
- add CONTEXT_XSTATE in pal.h for x86

Merge pull request #8295 from RussKeldorph/nopr

Remove non-RyuJIT default x86 PR triggers

Remove non-RyuJIT default PR triggers

These jobs are failing and shouldn't be triggered on PRs

Merge pull request #8260 from BruceForstall/SwitchX86ToRyuJit

Make RyuJIT/x86 the default x86 JIT

Removes non-existent target files from override.targets (#8264)

This commit revises override.targets not to import ``mono.targets`` and
``roslyn.xplat.targets`` which do not exist in Tools/

Add String.Join overloads accepting a char separator (#7942)

* Add String.Join overloads that accept char separators

Make RyuJIT/x86 the default x86 JIT

JIT32 becomes compatjit.dll and RyuJIT LEGACY_BACKEND becomes legacyjit.dll
(and is an altjit).

If JIT32 is not being built, then RyuJIT LEGACY_BACKEND becomes compatjit.dll
and is a normal jit (not an altjit).

Both clrjit.dll and compatjit.dll are added to the JIT NuGet package.

Merge pull request #8284 from pgavlin/gh8258

Increment lclVar refCounts in fgMorphBlockStmt.

Merge pull request #8281 from sbomer/dasm_automation

Fix archiving for jitdiff windows build only jobs

Merge pull request #7847 from CarolEidt/Fix278375

x86: not all fields of promoted struct need regs

Format code.

Merge pull request #8259 from pgavlin/ByrefGcrefKillSet

Fix the byref/gcref kill set for ASSIGN_BYREF.

Fix the no-GC kill set for ASSIGN_BYREF on x86.

This helper only kills ECX.

Increment lclVar refCounts in fgMorphBlockStmt.

`fgMorphTree` may introduce additional lclVar references. Call
`lvaRecursiveIncRefCounts` in `fgMorphBlockStmt` to ensure that ref
counts are conservatively correct.

Fixes #8258.

Merge pull request #8137 from jamesqo/array.fill

Add Array.Fill apis

Merge pull request #8229 from mikedn/sse-eq

Change vector equality to use pmovmskb

Merge pull request #8282 from ianhays/api_lockfix

Fix Typo in Unix Lock/Unlock PAL

Fix Typo in Unix Lock/Unlock PAL

Account for a reload of umod op2

Fix archiving for jitdiff windows build only jobs

The dasm archiving was enabled for all jitdiff scenarios, including the
build set up for the ubuntu/osx flow jobs. The dasm artifacts don't
exist in build-only scenarios, and this was preventing archiving of
the build.

[x86/linux] Fix redefined DISPATCHER_CONTEXT compile error (#8246)

WIP, fix compile error for x86/Linux
- add directive WIN32 to current DISPATCHER_CONTEXT in clrnt.h
- add DISPATCHER_CONTEXT for x86 in palrt.h

[GDBJIT] Fix thunk symbol generation for ARM (#8205)

* Fix thunk symbol generation for ARM

* Add PINSTRToPCODE macro to raise the THUMB bit on ARM

[x86/Linux] Fix compile error with exception handling (#8269)

Fix compile error for x86/Linux
- fix unknown type name 'EHWatsonBucketTracker'
- fix field has incomplete type 'EXCEPTION_REGISTRATION_RECORD'
- fix for FaultingExceptionFrame class

[x86/Linux] Fix unknown type name 'ExInfo' (#8274)

Fix compile error for x86/Linux
- need to undefine ELIMINATE_FEF by adding !defined(FEATURE_PAL)

[x86/Linux] Fix comparison of two values with different enumeration types (#8273)

Fix compile error for x86/Linux
- convert to int type for 'ReturnKind' and 'infoHdrAdjustConstants'

[x86/Linux] Fix SEH '__try' is not supported on this target (#8271)

Fix compile error for x86/Linux
- add check !FEATURE_PAL

[x86/Linux] Fix no matching function for call to 'InternalCreateThread' (#8265)

Fix compile error for x86/Linux
- fix calling convention by adding PALAPI to TerminationRequestHandlingRoutine

Change vector equality to use pmovmskb

This change replaces the rather long shuffle based compare sequence with
pmovmskb which is available in SSE2 and AVX2. The following code is now
generated:

C4E16D76D1           vpcmpeqd ymm2, ymm1
C4E17DD7C2           vpmovmskbeax, ymm2
83F8FF               cmp      eax, -1
0F94C0               sete     al
0FB6C0               movzx    rax, al

This is to separate the diagnostics code out from gc.cpp (except
GC's own logging), gcee.cpp and objecthandle.cpp.

The rule is GC will call the diagnostics functions at various points to communicate
info and these diagnostics functions might call back into the GC if they require
initimate knowledge of the GC in order to get certain info. This way gc.cpp does
not need to know about details of the diagnostics components, eg, the profiling context;
and the diagnostics components do not need to know details about the GC. So got rid of
ProfilingScanContext in gcinterface.h and passed scanning functions to GC and handle table.

Got rid of where it goes through things per heap as this is not something that diagnostics
should care about, including going through stack roots per heap (which is only done in
GC for scalability purposes but profiling is doing this on a single thread). This also makes it faster.

Got rid of the checks for gc_low/high in ProfScanRootsHelper as this is knowledge
profiling shouldn't have. And it was also incorrectly not including all interior
pointer stack roots.

Fix ThreadPool.SetMaxThreads to not allow having zero available threads (#8256)

There is an assertion checking for this, so allowing zero is probably not intentional.

Related to #8236

[x86/Linux] Fix compile error redifinition RUNTIME_FUNCTION (#8249)

Add !FEATURE_PAL directive for x86 as RUNTIME_FUNCTION is defined in pal

Change argument order.

x86: not all fields of promoted struct need regs

This fixes DevDiv bug 278375, and includes a test case. It also improves the code generation for the general case of promoted structs, though tuning is still needed.
The bug was a case where, after decomposing the long fields, we had 7 entries in the GT_FIELD_LIST, each of which was requesting a register.
Since Lowering won't know which fields may be in registers, it must be prepared to handle fields in memory. Also, if the fields are not register candidates, we should make them contained and push them directly, for which we may need a temporary register.
LSRA is changed to allow RegOptional spills that are used at the same location of the register being allocated. This exposed an issue with a spilled constant being treated as a contained constant (causing an assert because it is not encodable).
Change codegen to use push for promoted structs (they are generally small-ish, and pushes of lclVars and constants are cheaper than loading into a register).
This could be optimized for consecutive float or double fields.
In the process of running jitStressRegs, I found that a test was throwing an exception but reporting success. I fixed the issue causing the exception and also changed the test to report failure if an exception is thrown.
Also, on x86, GT_UMOD requires op2 to be in a register, so Lowering must not mark it as RegOptional.

[x86/Linux] Fix stdcall calling convention ignored on variadic function (#8252)

WIP, fix compile error for x86/Linux
- fix to use STDMETHODVCALLTYPE

Add missing Path methods to model.xml (#8257)

Merge pull request #8244 from seanshpark/x86pal01

[x86/Linux] Fix compilation in pal and context header

Respond to feedback

Merge pull request #8254 from pgavlin/FixTestBuild

Fix the test build.

Fix the test build.

PR #8032 disabled the test build for all but one test. This change fixes
this oversight.

Merge pull request #8253 from JosephTremoulet/SwitchCopy

Remove bogus "fast path" in unroller branch update

Merge pull request #8210 from mikedn/warn-test

Fix warnings in native test code

Merge pull request #8242 from pgavlin/gh8232

Always nullcheck VSD tail calls on x86.

Remove bogus "fast path" in unroller branch update

BasicBlocks whose `bbJumpKind` doesn't make use of `bbJumpDest` may have
arbitrary garbage in their `bbJumpDest` field, so remove the code from
loop unrolling that was expecting such blocks to have null `bbJumpDest`s,
and instead always defer to the `optCopyBlkDest`/`optRedirectBlock`
helpers that check the jump kind before checking the jump dest.

Fixes #8231.

Merge pull request #8233 from ianhays/api_lockunlock

Add Unix FileStream Lock/Unlock code.

Merge pull request #8247 from CarolEidt/Fix288222

Set the size of SIMD this pointer

PR feedback.

Merge pull request #8032 from sbomer/dasm_automation

Jit-diff automation

[x86/Linux] fix and add for x86 cmake configuration (#8219)

This patch will add x86 part for cross build
- add x86 in build-rootfs and related cross files
- add x86 parts in CMakeLists.txt to pass configuration
- add required source files to pass configuration

[x86/Linux] Fix compilation in pal

WIP, fix compile error for x86/Linux
- add KNONVOLATILE_CONTEXT_POINTERS
- add _X86_ codes in pal/context.h

Set the size of SIMD this pointer

When setting the SIMD type of a "this" pointer,
we need to capture the size of the SIMD type.
This was previously being set in a method in simd.cpp,
but when the SIMD type recognition was moved
earlier in the JIT, it was omitted.
This caused an assert in the case where a fixed-size
SIMD type is handled by `fgMorphCombineSIMDFieldAssignments()`.

Fixes bug 288222

Merge pull request #8213 from mikedn/assert-dup-produce

Detect duplicate calls to genProduceReg

Merge pull request #8206 from pgavlin/DivModLowerAndNewTempAssignIssues

Fix two bugs revealed during internal testing.

Always nullcheck VSD tail calls on x86.

This is a requirement of the runtime ABI: failing to perform this check
causes the runtime to AV in the virtual dispatch stub and crash.

Merge pull request #8235 from pgavlin/VSO280127

Do not treat certain calls as intrinsics for RyuJIT/x86.

Merge pull request #8185 from JosephTremoulet/ReturnAsplode

Curtail loop unroller epliog generation

Merge pull request #8122 from alsemenn/add_debuggertests_build

Add debuggertests build

Enable jit disasm in test scripts

This change adds a section to the generated bash/cmd scripts for each
test that will run jit-dasm on the test dll when runtests is invoked
with the jitdasm flag.

Also begin updating netci.groovy to support jit-diff scenario.

Other minor fixes:
- Add corefxlab feed for System.CommandLine test dependency

  Without this, restoring the test dependencies retrieved an obsolete
  package of the same name from nuget.org.

- Skip jit-diff job generation for arm

  This fixes an assert that was checking that we are in the default
  scenario on arm.

- Fix an assert in netci.groovy

- Add branch that skips non-checked configurations for jitdiff scenario.

- Fix some dasm failures and a typo in dasm job name

- Some jit-dasm runs were failing because the dependencies in the
  current directory wasn't included in the arguments.

- Escape argument to jit-dasm

- increase timeout for jit-diff job

- Put PR job under a trigger, and some temporary changes for testing

- Make PR trigger look for comment

- Update Newtonsoft.Json version for compatibility with cijobs

- Update cijobs version for retrieving job by commit

- Temporarily run only one test

- Archive raw dasm output instead of zip

- Remove pr-specific logic, enable framework dasm

- Remove windows System.Private.CoreLib.ni.dll from test overlay

  The new test runtime dependencies were placing
  System.Private.CoreLib.ni.dll in the core_root directory, which resulted
  in the native image for windows being placed in the coreoverlay
  directory. We already had similar logic handling this case for
  mscorlib.ni.dll.

  This change also fixes the framework dasm output directory to match the
  test dasm output directory, and fixes some typos in the generated .sh
  files for running dasm on linux.

- Add dasm archiving on non-windows jobs

- Use core_root in bash scripts

Do not treat certain calls as intrinsics for RyuJIT/x86.

On x86 RyuJIT, importing intrinsics that are implemented as user calls
can cause incorrect calculation of the depth of the stack if these
intrinsics are used as arguments to another call. This causes bad code
generation for certain EH constructs. Instead of implementing these
intrinsics as intrinsics, simply import them as calls.

Merge pull request #8106 from mikedn/magic-div

Move magic division optimization from morph to lowering

Merge pull request #8208 from adiaaida/fixShiftDecomp

Fix ordering of operands on GT_RSZ

Address PR feedback.

Curtail loop unroller epliog generation

The Jit32 GC encoder puts a hard limit on the number of epilogs (at 4); in
this configuration, avoid unrolling any loops containing enough BBJ_RETURN
blocks to push us over that limit, the same way loop cloning is limited.

Also remove an unnecessary loop flag update to set DONT_UNROLL on some
unprofitable loops -- the loop unroller logic has been rearranged to avoid
reprocessing loops in the first place.

Fixes #8179.

Use SET_EPILOGCNT_MAX named constant

Instead of a hard-coded "4".

Fix overflow check in unroll cost calculation

Perform the subtraction on signed rather than unsigned ints; if the unroll
size is actually smaller than the fixed size estimate, unrolling is
profitable.

Merge pull request #8216 from stephentoub/asynclocal_allocs

Improve AsyncLocal throughput and memory usage

Remove unsafe banned functions (#8162)

This change removes _snwprintf, _snprintf and _vsnwprintf usage from CoreCLR and
their implementations from PAL.
PAL exposes their secure variants instead and CoreCLR now uses those instead.
I have also removed the StringCchPrintfA/W, StringCchVPrintfA/W, StringCbVPrintfA/W,
StringCbPrintfA/W, StringCbPrintfExA/W, StringCchVPrintfExA/W, StringCbVPrintfExA/W
and StringCchPrintfExA/W replaced their usage by the secure variants of the sprintf
functions, since they were used at only few places and implementing all of the variants
using the secure sprintf variants would be a hassle.
I also needed to fix a missing support for size modifiers for %p formatting character
and for wide characters / strings in the secure sprintf functions that was revealed
by the PAL tests.
I have also removed a bunch of PAL tests that were using %n formatting character which
was not implemented since it is considered unsafe and translated PAL tests that were using
the removed functions to use the safe variants of those.

Address PR feedback

- Delete !FEATURE_CORECLR code from ExecutionContext
- Add support for downgrading between map types when values are set to null
- Change ManyElementAsyncLocalValueMap.Set to size the dictionary based on whether the key is in the existing map