Merge pull request #8199 from Maoni0/local_gc

move profiling and profiling/ETW shared diagnostics code out of gc.cpp, gcee.cpp and objecthandle.cpp

Merge pull request #8312 from BruceForstall/FixLegacyBuild

Set FEATURE_READYTORUN_COMPILER for legacyjit and compatjit

Fix building CoreCLR with Clang 3.9 (#8311)

There were few constructs that Clang 3.9 didn't like due to its strict
C++ standard conformance rules.

Exclude superpmi test from legacyjit and compatjit runs

The superpmi test depends on setting COMPlus_AltJit to do the
collection, which is incompatible with setting the variables
required to do these test runs.

Set FEATURE_READYTORUN_COMPILER for legacyjit and compatjit

Fix subtle bug in new string.Join implementation. (#8310)

Configures tests even when configureonly is provided (#8308)

The current script does not configure tests when configureonly is
provided.

This commit revises 'build.sh' to configure tests even when configureonly
is provided.

This commit makes it possible to build tests (including related components)
via configuring the whole projects and running make inside that directory.

[x86/Linux] Renames i386 as amd64 in arch (PAL) (#8307)

The files in src/pal/src/arch/i386 are actually for amd64 (not x86).
This commit renames the directory name as the first step towards
enabling PAL in x86/Linux.

Enable field EndAddress only for AMD64 in PAL of RUNTIME_FUNCTION (#8305)

Supports to build PAL tests under x86/Linux (#8292)

[x86/Linux] Fix unsupported architecture in seh-unwind.cpp (#8262)

Fix compile error for x86/Linux
- add ASSIGN_UNWIND_REGS in seh-unwind.cpp for x86
- add CONTEXT_EXCEPTION_ACTIVE in pal.h for x86
- add CONTEXT_XSTATE in pal.h for x86

Merge pull request #8295 from RussKeldorph/nopr

Remove non-RyuJIT default x86 PR triggers

Remove non-RyuJIT default PR triggers

These jobs are failing and shouldn't be triggered on PRs

Merge pull request #8260 from BruceForstall/SwitchX86ToRyuJit

Make RyuJIT/x86 the default x86 JIT

Removes non-existent target files from override.targets (#8264)

This commit revises override.targets not to import ``mono.targets`` and
``roslyn.xplat.targets`` which do not exist in Tools/

Add String.Join overloads accepting a char separator (#7942)

* Add String.Join overloads that accept char separators

Make RyuJIT/x86 the default x86 JIT

JIT32 becomes compatjit.dll and RyuJIT LEGACY_BACKEND becomes legacyjit.dll
(and is an altjit).

If JIT32 is not being built, then RyuJIT LEGACY_BACKEND becomes compatjit.dll
and is a normal jit (not an altjit).

Both clrjit.dll and compatjit.dll are added to the JIT NuGet package.

Merge pull request #8284 from pgavlin/gh8258

Increment lclVar refCounts in fgMorphBlockStmt.

Merge pull request #8281 from sbomer/dasm_automation

Fix archiving for jitdiff windows build only jobs

Merge pull request #7847 from CarolEidt/Fix278375

x86: not all fields of promoted struct need regs

Format code.

Merge pull request #8259 from pgavlin/ByrefGcrefKillSet

Fix the byref/gcref kill set for ASSIGN_BYREF.

Fix the no-GC kill set for ASSIGN_BYREF on x86.

This helper only kills ECX.

Increment lclVar refCounts in fgMorphBlockStmt.

`fgMorphTree` may introduce additional lclVar references. Call
`lvaRecursiveIncRefCounts` in `fgMorphBlockStmt` to ensure that ref
counts are conservatively correct.

Fixes #8258.

Merge pull request #8137 from jamesqo/array.fill

Add Array.Fill apis

Merge pull request #8229 from mikedn/sse-eq

Change vector equality to use pmovmskb

Merge pull request #8282 from ianhays/api_lockfix

Fix Typo in Unix Lock/Unlock PAL

Fix Typo in Unix Lock/Unlock PAL

Account for a reload of umod op2

Fix archiving for jitdiff windows build only jobs

The dasm archiving was enabled for all jitdiff scenarios, including the
build set up for the ubuntu/osx flow jobs. The dasm artifacts don't
exist in build-only scenarios, and this was preventing archiving of
the build.

[x86/linux] Fix redefined DISPATCHER_CONTEXT compile error (#8246)

WIP, fix compile error for x86/Linux
- add directive WIN32 to current DISPATCHER_CONTEXT in clrnt.h
- add DISPATCHER_CONTEXT for x86 in palrt.h

[GDBJIT] Fix thunk symbol generation for ARM (#8205)

* Fix thunk symbol generation for ARM

* Add PINSTRToPCODE macro to raise the THUMB bit on ARM

[x86/Linux] Fix compile error with exception handling (#8269)

Fix compile error for x86/Linux
- fix unknown type name 'EHWatsonBucketTracker'
- fix field has incomplete type 'EXCEPTION_REGISTRATION_RECORD'
- fix for FaultingExceptionFrame class

[x86/Linux] Fix unknown type name 'ExInfo' (#8274)

Fix compile error for x86/Linux
- need to undefine ELIMINATE_FEF by adding !defined(FEATURE_PAL)

[x86/Linux] Fix comparison of two values with different enumeration types (#8273)

Fix compile error for x86/Linux
- convert to int type for 'ReturnKind' and 'infoHdrAdjustConstants'

[x86/Linux] Fix SEH '__try' is not supported on this target (#8271)

Fix compile error for x86/Linux
- add check !FEATURE_PAL

[x86/Linux] Fix no matching function for call to 'InternalCreateThread' (#8265)

Fix compile error for x86/Linux
- fix calling convention by adding PALAPI to TerminationRequestHandlingRoutine

Change vector equality to use pmovmskb

This change replaces the rather long shuffle based compare sequence with
pmovmskb which is available in SSE2 and AVX2. The following code is now
generated:

C4E16D76D1           vpcmpeqd ymm2, ymm1
C4E17DD7C2           vpmovmskbeax, ymm2
83F8FF               cmp      eax, -1
0F94C0               sete     al
0FB6C0               movzx    rax, al

This is to separate the diagnostics code out from gc.cpp (except
GC's own logging), gcee.cpp and objecthandle.cpp.

The rule is GC will call the diagnostics functions at various points to communicate
info and these diagnostics functions might call back into the GC if they require
initimate knowledge of the GC in order to get certain info. This way gc.cpp does
not need to know about details of the diagnostics components, eg, the profiling context;
and the diagnostics components do not need to know details about the GC. So got rid of
ProfilingScanContext in gcinterface.h and passed scanning functions to GC and handle table.

Got rid of where it goes through things per heap as this is not something that diagnostics
should care about, including going through stack roots per heap (which is only done in
GC for scalability purposes but profiling is doing this on a single thread). This also makes it faster.

Got rid of the checks for gc_low/high in ProfScanRootsHelper as this is knowledge
profiling shouldn't have. And it was also incorrectly not including all interior
pointer stack roots.

Fix ThreadPool.SetMaxThreads to not allow having zero available threads (#8256)

There is an assertion checking for this, so allowing zero is probably not intentional.

Related to #8236

[x86/Linux] Fix compile error redifinition RUNTIME_FUNCTION (#8249)

Add !FEATURE_PAL directive for x86 as RUNTIME_FUNCTION is defined in pal

Change argument order.

x86: not all fields of promoted struct need regs

This fixes DevDiv bug 278375, and includes a test case. It also improves the code generation for the general case of promoted structs, though tuning is still needed.
The bug was a case where, after decomposing the long fields, we had 7 entries in the GT_FIELD_LIST, each of which was requesting a register.
Since Lowering won't know which fields may be in registers, it must be prepared to handle fields in memory. Also, if the fields are not register candidates, we should make them contained and push them directly, for which we may need a temporary register.
LSRA is changed to allow RegOptional spills that are used at the same location of the register being allocated. This exposed an issue with a spilled constant being treated as a contained constant (causing an assert because it is not encodable).
Change codegen to use push for promoted structs (they are generally small-ish, and pushes of lclVars and constants are cheaper than loading into a register).
This could be optimized for consecutive float or double fields.
In the process of running jitStressRegs, I found that a test was throwing an exception but reporting success. I fixed the issue causing the exception and also changed the test to report failure if an exception is thrown.
Also, on x86, GT_UMOD requires op2 to be in a register, so Lowering must not mark it as RegOptional.

[x86/Linux] Fix stdcall calling convention ignored on variadic function (#8252)

WIP, fix compile error for x86/Linux
- fix to use STDMETHODVCALLTYPE

Add missing Path methods to model.xml (#8257)

Merge pull request #8244 from seanshpark/x86pal01

[x86/Linux] Fix compilation in pal and context header

Respond to feedback

Merge pull request #8254 from pgavlin/FixTestBuild

Fix the test build.

Fix the test build.

PR #8032 disabled the test build for all but one test. This change fixes
this oversight.

Merge pull request #8253 from JosephTremoulet/SwitchCopy

Remove bogus "fast path" in unroller branch update

Merge pull request #8210 from mikedn/warn-test

Fix warnings in native test code

Merge pull request #8242 from pgavlin/gh8232

Always nullcheck VSD tail calls on x86.

Remove bogus "fast path" in unroller branch update

BasicBlocks whose `bbJumpKind` doesn't make use of `bbJumpDest` may have
arbitrary garbage in their `bbJumpDest` field, so remove the code from
loop unrolling that was expecting such blocks to have null `bbJumpDest`s,
and instead always defer to the `optCopyBlkDest`/`optRedirectBlock`
helpers that check the jump kind before checking the jump dest.

Fixes #8231.

Merge pull request #8233 from ianhays/api_lockunlock

Add Unix FileStream Lock/Unlock code.

Merge pull request #8247 from CarolEidt/Fix288222

Set the size of SIMD this pointer

PR feedback.

Merge pull request #8032 from sbomer/dasm_automation

Jit-diff automation

[x86/Linux] fix and add for x86 cmake configuration (#8219)

This patch will add x86 part for cross build
- add x86 in build-rootfs and related cross files
- add x86 parts in CMakeLists.txt to pass configuration
- add required source files to pass configuration

[x86/Linux] Fix compilation in pal

WIP, fix compile error for x86/Linux
- add KNONVOLATILE_CONTEXT_POINTERS
- add _X86_ codes in pal/context.h

Set the size of SIMD this pointer

When setting the SIMD type of a "this" pointer,
we need to capture the size of the SIMD type.
This was previously being set in a method in simd.cpp,
but when the SIMD type recognition was moved
earlier in the JIT, it was omitted.
This caused an assert in the case where a fixed-size
SIMD type is handled by `fgMorphCombineSIMDFieldAssignments()`.

Fixes bug 288222

Merge pull request #8213 from mikedn/assert-dup-produce

Detect duplicate calls to genProduceReg

Merge pull request #8206 from pgavlin/DivModLowerAndNewTempAssignIssues

Fix two bugs revealed during internal testing.

Always nullcheck VSD tail calls on x86.

This is a requirement of the runtime ABI: failing to perform this check
causes the runtime to AV in the virtual dispatch stub and crash.

Merge pull request #8235 from pgavlin/VSO280127

Do not treat certain calls as intrinsics for RyuJIT/x86.

Merge pull request #8185 from JosephTremoulet/ReturnAsplode

Curtail loop unroller epliog generation

Merge pull request #8122 from alsemenn/add_debuggertests_build

Add debuggertests build

Enable jit disasm in test scripts

This change adds a section to the generated bash/cmd scripts for each
test that will run jit-dasm on the test dll when runtests is invoked
with the jitdasm flag.

Also begin updating netci.groovy to support jit-diff scenario.

Other minor fixes:
- Add corefxlab feed for System.CommandLine test dependency

  Without this, restoring the test dependencies retrieved an obsolete
  package of the same name from nuget.org.

- Skip jit-diff job generation for arm

  This fixes an assert that was checking that we are in the default
  scenario on arm.

- Fix an assert in netci.groovy

- Add branch that skips non-checked configurations for jitdiff scenario.

- Fix some dasm failures and a typo in dasm job name

- Some jit-dasm runs were failing because the dependencies in the
  current directory wasn't included in the arguments.

- Escape argument to jit-dasm

- increase timeout for jit-diff job

- Put PR job under a trigger, and some temporary changes for testing

- Make PR trigger look for comment

- Update Newtonsoft.Json version for compatibility with cijobs

- Update cijobs version for retrieving job by commit

- Temporarily run only one test

- Archive raw dasm output instead of zip

- Remove pr-specific logic, enable framework dasm

- Remove windows System.Private.CoreLib.ni.dll from test overlay

  The new test runtime dependencies were placing
  System.Private.CoreLib.ni.dll in the core_root directory, which resulted
  in the native image for windows being placed in the coreoverlay
  directory. We already had similar logic handling this case for
  mscorlib.ni.dll.

  This change also fixes the framework dasm output directory to match the
  test dasm output directory, and fixes some typos in the generated .sh
  files for running dasm on linux.

- Add dasm archiving on non-windows jobs

- Use core_root in bash scripts

Do not treat certain calls as intrinsics for RyuJIT/x86.

On x86 RyuJIT, importing intrinsics that are implemented as user calls
can cause incorrect calculation of the depth of the stack if these
intrinsics are used as arguments to another call. This causes bad code
generation for certain EH constructs. Instead of implementing these
intrinsics as intrinsics, simply import them as calls.

Merge pull request #8106 from mikedn/magic-div

Move magic division optimization from morph to lowering

Merge pull request #8208 from adiaaida/fixShiftDecomp

Fix ordering of operands on GT_RSZ

Address PR feedback.

Curtail loop unroller epliog generation

The Jit32 GC encoder puts a hard limit on the number of epilogs (at 4); in
this configuration, avoid unrolling any loops containing enough BBJ_RETURN
blocks to push us over that limit, the same way loop cloning is limited.

Also remove an unnecessary loop flag update to set DONT_UNROLL on some
unprofitable loops -- the loop unroller logic has been rearranged to avoid
reprocessing loops in the first place.

Fixes #8179.

Use SET_EPILOGCNT_MAX named constant

Instead of a hard-coded "4".

Fix overflow check in unroll cost calculation

Perform the subtraction on signed rather than unsigned ints; if the unroll
size is actually smaller than the fixed size estimate, unrolling is
profitable.

Merge pull request #8216 from stephentoub/asynclocal_allocs

Improve AsyncLocal throughput and memory usage

Remove unsafe banned functions (#8162)

This change removes _snwprintf, _snprintf and _vsnwprintf usage from CoreCLR and
their implementations from PAL.
PAL exposes their secure variants instead and CoreCLR now uses those instead.
I have also removed the StringCchPrintfA/W, StringCchVPrintfA/W, StringCbVPrintfA/W,
StringCbPrintfA/W, StringCbPrintfExA/W, StringCchVPrintfExA/W, StringCbVPrintfExA/W
and StringCchPrintfExA/W replaced their usage by the secure variants of the sprintf
functions, since they were used at only few places and implementing all of the variants
using the secure sprintf variants would be a hassle.
I also needed to fix a missing support for size modifiers for %p formatting character
and for wide characters / strings in the secure sprintf functions that was revealed
by the PAL tests.
I have also removed a bunch of PAL tests that were using %n formatting character which
was not implemented since it is considered unsafe and translated PAL tests that were using
the removed functions to use the safe variants of those.

Address PR feedback

- Delete !FEATURE_CORECLR code from ExecutionContext
- Add support for downgrading between map types when values are set to null
- Change ManyElementAsyncLocalValueMap.Set to size the dictionary based on whether the key is in the existing map

Fix "method has no body, 'ret' emitted" warning (#8212)

Merge pull request #8057 from CarolEidt/StructOpts2

Enable optimization of structs

Improve AsyncLocal throughput and memory usage

ExecutionContext stores an immutable dictionary used to hold the values of all AsyncLocal instances associated with that context.  Reading an AsyncLocal.Value looks up a value in the dictionary, keyed by the AsyncLocal instance.  Writing an AsyncLocal.Value creates a new dictionary with the contents of the old one and then sets the new pair into it. For small numbers of AsyncLocal instances, this adds a lot of overhead.

This commit adds a new internal IAsyncLocalValueMap interface that's used instead of Dictionary.  It then provides several concrete implementations of that interface, for 1 pair, 2 pairs, 3 pairs, up to 16 pairs, and then up to any number of pairs.  The first three implementations are optimized for those sizes, while the one for up to 16 uses an array, and the one for beyond that is just a Dictionary.

Detect duplicate calls to genProduceReg

Fixing arm subsystem version (#8211)

Generic Dictionary - add constructor that accepts IEnumerable

Generic Dictionary - add constructor that accepts IEnumerable

Fix warnings in native test code

Add System.Collections.Generic.Dictionary constructor that accepts
IEnumerable<KeyValyePair<TKey, TValue>> to initialize dictionary

Reinstate the struct optimization changes:

Remove many of the restrictions on structs that were added to preserve behavior of the old IR form.
Change the init block representation to not require changing the parent when a copy block is changed to an init.
In addition, fix the bug that was causing the corefx  ValueTuple  tests to fail. This was a bug in assertion prop where it was not invaliding the assertions about the parent struct when a field is modified. Add a repro test case for that bug.
Incorporate the fix to #7954, which was encountered after the earlier version of these changes. This was a case where we reused a struct temp, and then it wound up eventually getting assigned the value it originally contained, so we had V09 = V09. This hit the assert in liveness where it wasn't expecting to find a struct assignment with the same lclVar on the lhs and rhs. This assert should have been eliminated with the IR change to struct assignments, but when this situation arises we may run into issues if we call a helper that doesn't expect the lhs and rhs to be the same. So, change morph to eliminate such assignments.

Fix ordering of operands on GT_RSZ

By removing hiOp1 and loOp1 from LIR and then putting them back in, we
inadvertantly reversed the order of operations for high and lo. This is an
issue when op1 is a long add or sub where the order of operations is
important.

Fixes 8171.

Fix two bugs revealed during internal testing.

- gtNewTempAssign was unnecessarily creating a new node to represent the
  value being assigned to a temp if the value was a normalize-on-load
  lclVar. This caused problems when using `gtNewTempAssign` as part of
  `LIR::Use::ReplaceWithLclVar`, which assumes that `gtNewTempAssign`
  only creates a single node (the new `st.lclVar` node). Instead of
  creating a new lclVar node, simply change the type of the existing
  node.
- LowerSignedDivOrMod contained an unnecessarily strong assertion. This
  assertion has been removed.

Merge pull request #8180 from jashook/arm64_lst_update

Update the lst file to exclude failing tests.

Merge pull request #8097 from pgavlin/VSO279396

Do not fold (ind (addr (lclVar))) in certain cases.

Delete dead files (#8202)

Add CI job and build.cmd command for building with FEATURE_STANDALONE_GC (#8183)

* Add CI job and build.cmd command for building with FEATURE_STANDALONE_GC

* Add missed case

* Correct a condition

* Accidental fallthrough in switch

* Only run on x64

Update the lst file to exclude failing tests.

These are new regressions that were introduced during CI downtime.

Organizing the perflab tests under a common namespace. (#8184)

- These changes adds a hierarchy to the perflab tests under BenchView.

Update with corefx PR changes

Merge pull request #8198 from pgavlin/GH8170

Fix codegen for `(umod (gt_long) (const int))`.

Fix codegen for `(umod (gt_long) (const int))`.

When targeting x86, we opt not to use a helper call to implement the
64-bit unsigned modulus operator if we have a tree of either of the
following forms:
- `(umod ulong (x ulong) (cast ulong (const int const_val)))`
- `(umod ulong (x ulong) (const ulong const_val))`
where `const_val` falls in the range `[2, 0x3fffffff]`.

We eventually decompose this into `(umod uint (gt_long lo hi) (const int const_val))`.
This was then emitted as:

      mov eax, lo
      mov edx, hi
      mov reg, const_val

      div edx:eax reg

Unfortunately, this generated code does not take into account the fact
that the result of the modulus may not fit into 32 bits. This can cause
an overflow exception at runtime despite the fact that the modulus
originally produced a 64-bit result.

This change fixes the code generation to check for overflow before
performing the modulus and perform a 64-bit division if the result would
overflow. This results in generated code like the following:

      mov eax, lo
      mov edx, hi
      mov reg, const_val

      cmp edx, reg
      jb noOverflow
      mov temp, eax
      mov edx, eax
      xor edx, edx
      div edx:eax, const_val
      mov eax, temp

    noOverflow:
      div edx:eax, const_val

Which is identical to the code produced by JIT32 and the legacy backend.

Merge pull request #8194 from AndyAyersMS/FixMismatchTests

Revise mismatch tests so they don't rely on undefined behavior

Add missing Arg_BadDecimal resource string (#8197)

Merge pull request #8178 from adiaaida/excludeHeapVerify

Exclude tests that timeout with HeapVerify