Merge pull request #8122 from alsemenn/add_debuggertests_build

Add debuggertests build

Merge pull request #8106 from mikedn/magic-div

Move magic division optimization from morph to lowering

Merge pull request #8208 from adiaaida/fixShiftDecomp

Fix ordering of operands on GT_RSZ

Merge pull request #8216 from stephentoub/asynclocal_allocs

Improve AsyncLocal throughput and memory usage

Remove unsafe banned functions (#8162)

This change removes _snwprintf, _snprintf and _vsnwprintf usage from CoreCLR and
their implementations from PAL.
PAL exposes their secure variants instead and CoreCLR now uses those instead.
I have also removed the StringCchPrintfA/W, StringCchVPrintfA/W, StringCbVPrintfA/W,
StringCbPrintfA/W, StringCbPrintfExA/W, StringCchVPrintfExA/W, StringCbVPrintfExA/W
and StringCchPrintfExA/W replaced their usage by the secure variants of the sprintf
functions, since they were used at only few places and implementing all of the variants
using the secure sprintf variants would be a hassle.
I also needed to fix a missing support for size modifiers for %p formatting character
and for wide characters / strings in the secure sprintf functions that was revealed
by the PAL tests.
I have also removed a bunch of PAL tests that were using %n formatting character which
was not implemented since it is considered unsafe and translated PAL tests that were using
the removed functions to use the safe variants of those.

Address PR feedback

- Delete !FEATURE_CORECLR code from ExecutionContext
- Add support for downgrading between map types when values are set to null
- Change ManyElementAsyncLocalValueMap.Set to size the dictionary based on whether the key is in the existing map

Fix "method has no body, 'ret' emitted" warning (#8212)

Merge pull request #8057 from CarolEidt/StructOpts2

Enable optimization of structs

Improve AsyncLocal throughput and memory usage

ExecutionContext stores an immutable dictionary used to hold the values of all AsyncLocal instances associated with that context.  Reading an AsyncLocal.Value looks up a value in the dictionary, keyed by the AsyncLocal instance.  Writing an AsyncLocal.Value creates a new dictionary with the contents of the old one and then sets the new pair into it. For small numbers of AsyncLocal instances, this adds a lot of overhead.

This commit adds a new internal IAsyncLocalValueMap interface that's used instead of Dictionary.  It then provides several concrete implementations of that interface, for 1 pair, 2 pairs, 3 pairs, up to 16 pairs, and then up to any number of pairs.  The first three implementations are optimized for those sizes, while the one for up to 16 uses an array, and the one for beyond that is just a Dictionary.

Fixing arm subsystem version (#8211)

Generic Dictionary - add constructor that accepts IEnumerable

Generic Dictionary - add constructor that accepts IEnumerable

Add System.Collections.Generic.Dictionary constructor that accepts
IEnumerable<KeyValyePair<TKey, TValue>> to initialize dictionary

Reinstate the struct optimization changes:

Remove many of the restrictions on structs that were added to preserve behavior of the old IR form.
Change the init block representation to not require changing the parent when a copy block is changed to an init.
In addition, fix the bug that was causing the corefx  ValueTuple  tests to fail. This was a bug in assertion prop where it was not invaliding the assertions about the parent struct when a field is modified. Add a repro test case for that bug.
Incorporate the fix to #7954, which was encountered after the earlier version of these changes. This was a case where we reused a struct temp, and then it wound up eventually getting assigned the value it originally contained, so we had V09 = V09. This hit the assert in liveness where it wasn't expecting to find a struct assignment with the same lclVar on the lhs and rhs. This assert should have been eliminated with the IR change to struct assignments, but when this situation arises we may run into issues if we call a helper that doesn't expect the lhs and rhs to be the same. So, change morph to eliminate such assignments.

Fix ordering of operands on GT_RSZ

By removing hiOp1 and loOp1 from LIR and then putting them back in, we
inadvertantly reversed the order of operations for high and lo. This is an
issue when op1 is a long add or sub where the order of operations is
important.

Fixes 8171.

Merge pull request #8180 from jashook/arm64_lst_update

Update the lst file to exclude failing tests.

Merge pull request #8097 from pgavlin/VSO279396

Do not fold (ind (addr (lclVar))) in certain cases.

Delete dead files (#8202)

Add CI job and build.cmd command for building with FEATURE_STANDALONE_GC (#8183)

* Add CI job and build.cmd command for building with FEATURE_STANDALONE_GC

* Add missed case

* Correct a condition

* Accidental fallthrough in switch

* Only run on x64

Update the lst file to exclude failing tests.

These are new regressions that were introduced during CI downtime.

Organizing the perflab tests under a common namespace. (#8184)

- These changes adds a hierarchy to the perflab tests under BenchView.

Merge pull request #8198 from pgavlin/GH8170

Fix codegen for `(umod (gt_long) (const int))`.

Fix codegen for `(umod (gt_long) (const int))`.

When targeting x86, we opt not to use a helper call to implement the
64-bit unsigned modulus operator if we have a tree of either of the
following forms:
- `(umod ulong (x ulong) (cast ulong (const int const_val)))`
- `(umod ulong (x ulong) (const ulong const_val))`
where `const_val` falls in the range `[2, 0x3fffffff]`.

We eventually decompose this into `(umod uint (gt_long lo hi) (const int const_val))`.
This was then emitted as:

      mov eax, lo
      mov edx, hi
      mov reg, const_val

      div edx:eax reg

Unfortunately, this generated code does not take into account the fact
that the result of the modulus may not fit into 32 bits. This can cause
an overflow exception at runtime despite the fact that the modulus
originally produced a 64-bit result.

This change fixes the code generation to check for overflow before
performing the modulus and perform a 64-bit division if the result would
overflow. This results in generated code like the following:

      mov eax, lo
      mov edx, hi
      mov reg, const_val

      cmp edx, reg
      jb noOverflow
      mov temp, eax
      mov edx, eax
      xor edx, edx
      div edx:eax, const_val
      mov eax, temp

    noOverflow:
      div edx:eax, const_val

Which is identical to the code produced by JIT32 and the legacy backend.

Merge pull request #8194 from AndyAyersMS/FixMismatchTests

Revise mismatch tests so they don't rely on undefined behavior

Add missing Arg_BadDecimal resource string (#8197)

Merge pull request #8178 from adiaaida/excludeHeapVerify

Exclude tests that timeout with HeapVerify

Merge pull request #8187 from pgavlin/gh8150

Fix the transformation of `(call ARRADDR_ST x, y, null)`.

Type sigs (#8191)

Merge pull request #8182 from mikedn/x86-cmp-long-linqmax

Fix x86 long compares that produce a result

Format code.

Revise mismatch tests so they don't rely on undefined behavior

The mismatch32 and mismatch64 tests ensure that the jit will avoid
inlining in cases where there are bad type mismatches at call sites.

This change modifies the tests so that by default the call with the
bad type mismatch is not hit at runtime, since execution of this code
exposes undefined behavior that can be arch or jit specific (eg failing
on x86 and passing on other architectures).

The problematic call can still be hit at runtime by passing at least one
command line argument.

Remove the associated test exclusions for x86.

Fixes #8152.

Fix the transformation of `(call ARRADDR_ST x, y, null)`.

`fgMorphCall` transforms `(call ARRADDR_ST x, y, null)` into
`(assign (arrindex x y) null)`. The transformation was not taking into
account the fact that the operands to the call might have been spilled
to temps, and was therefore silently dropping code in the case that they
had been.

This change collects all argument setup nodes in `gtCallArgs` in a
sequence of comma nodes if any exist and attaches the assignment
expression as the ultimate LHS of the comma tree.

Fixes #8150.

Exclude tests that timeout with HeapVerify

Use CoreFX Path code (#8132)

* Use CoreFX Path code

This is to address consistency and perf issues by moving the Path
code down to CoreCLR. It is more of an issue with Windows as
normalization requires complicated logic and costly platform calls.

* Delete unused files and avoid Unix crypto lib

* Address feedback, fix bug

Remove Unix crypto files and ifdef out usages completely.
Fix issue with static initialization of PathInternal.

* Use TriState to initialize case sensitivity

Fix x86 long compares that produce a result

Remove the duplicate genProduceReg call. Also remove an unnecessary movzx.

Inliner: updates to RandomPolicy (#8128)

Fix issues with RandomPolicy setup in release builds with -DINLINE_DATA.

Reparent RandomPolicy on top of DiscretionaryPolicy to enable inline
data dumps from random inline runs. Remove some now-unneeded overrides.

Add a full dump mode to JitInlineDumpData that reports the inliner-visible
data for all inlines, as opposed to inliner-visible and post-inline
data for just the most recent inline. Small mods to the dumper code to
adjust comma placement for this new mode.

Have the RandomPolicy make the full set of profitability observations
for each accepted inline so they can be dumped.

Merge pull request #8138 from sivarv/rmwFix

Do not generate "inc/dec [mem]" when asked to generate debuggable code.

Tweak params of Console

This isn't the implementation of Console we ship, apparently it's only here for CLR tests, or maybe shouldn't be at all. Just tweaking the param names to match what we ship so it doesn't show up in the diffs.

Address PR feedback.

Merge pull request #8151 from adiaaida/enableTests

Remove test exclusions for tests that now pass

Add RuntimeHelpers.Equals

Fix dotnet/corefx#13692

We added this to the ref in 19fa781 but it was not present in the impl. The tools didn't flag this perhaps because Equals is available on Object, although since this is a new it really ought to know it wasn't referring to the Object one.

Add RuntimeHelpers.Equals

Tweak params

Add the missing implementation of IdnMapping.GetAscii (#8149)

* Add the missing implementation of IdnMapping.GetAsccii

we should have this implementation in place but no idea why got removed in the first place

* Use nameof

Remove test exclusions for tests that now pass

This change removes tests that have been fixed for x86 RyuJIT. It also
updates the Issues for the remaining tests with additional details.

Merge pull request #8146 from jashook/test_update_arm64

Update arm64 tests used by the CI

Add simple script generator

Modify script generation to substitute config strings

Add Unix version of the script generation

Add config replacement

Fix windows deployment script issues

Add unix config generation

Address comments

Merge pull request #8147 from rahku/reflection

Expose MethodBase.IsSecuritySafeCritical

Don't generate inc/dec [mem] while generating debuggable code.

Expose MethodBase.IsSecuritySafeCritical

Format code.

Do not fold (ind (addr (lclVar))) in certain cases.

Specifically, do not fold these trees into (lclFld) or (lclVar) if the
size of the access is larger than the size of the lclVar. Furthermore,
mark the lclVar as unenregisterable, as the indirection requires the
lclVar to be in memory.

Update IssuesFeedbackEngagement.md

Expose a member of StrongNameKeyPair, fix bug in SynchronizationContext (#8142)

Related to dotnet/corefx#11636
Related to dotnet/corefx#11808

Fixed string Join method

Fixed string Join(string separator, params object[] values) method.
Calling string.Join(",", null, 1, 2, 3); return empty string but should ",1,2,3".

Update arm64 tests used by the CI.

Merge pull request #8144 from adiaaida/formatArtifacts

Fix the path to build artifacts for formatting

Fix the path to build artifacts for formatting

Enable GCToOSInterface to be defined on the GC side of the GC interface (#8121)

* Re-introduce changes lost in a merge conflict

* Enable GCToOSInterface to be defined behind the GC interface
when building the GC in standalone mode. Provide a skeleton Windows
implementation and the framework for a Unix implementation.

* Address code review feedback

Full support of idn mapping (#8134)

* Enable full implementation of IdnMapping in corelib

* Add missing resources

Merge pull request #8135 from pgavlin/fixExtendPtrVN

Fix value numbering for FieldSeqStore::NotAField.

Format code.

Changing JIT perf test names to fix how they are organized on BenchView (#8083)

* Changing JIT performance tests' names to fix how tests are organized on BenchView.

* Adding changes based on PR suggestions.
- Add double quotes on cmd script
- Keep name casing consistent for the Benchstone benchmarks.

* Updating datacontractxml value to match new class name.

* Removing an extra / on the xmlns string.

* Making sure we are getting latest BenchView tools.
- Changed where BenchView tools are installed to (from C:\tools to %WORKSPACE%)
- Check if the tools already exist, if so, delete them and download them again.

Merge pull request #8110 from BruceForstall/FixLIRCallArgDumping

Fix the arg name/number dumping for call args in LIR

Fix value numbering for FieldSeqStore::NotAField.

Before this change, value numbering produced the same value number for
each occurrence of `FieldSeqStore::NotAField`. This semantics is not
logically consistent with the semantics of `NotAField`, however:
`NotAField` indicates that we cannot reason about the address expression
that it annotates, therefore we cannot reason about the value stored at
the corresponding location. A recent change to admit the VN for
`NotAField` in `ExtendPtrVN` exposed SBCG due to this mismatch in
semantics: distinct array elements were assigned the same value number
because each had the same base coupled with the `NotAField` VN.

This change revises the representation of `NotAField` during value
numbering: instead of reusing the same value number for each
occurrence of `NotAField`, each occurrence is instead assigned a new,
unique value number. These value numbers are represented using a new
chunk attribute to retain the ability to decide whether or not a value
number represents `NotAField` without the use of a more heavyweight map
(e.g. a `VNMap`).

Fixes #8133.

Merge pull request #8125 from stephentoub/divrem_perf

Improve Math.DivRem performance

Expose members of ExecutionContext and AsyncFlowControl (#8107)

Expose members of ExecutionContext and AsyncFlowControl

- Fix ExecutionContext.Capture and AsyncFlowControl.Undo when flow is suppressed
- Expose deserialization constructor for ExecutionContext

Merge pull request #8131 from JohnChen0/xmm

Fix XMM register count in CONTEXT_SetThreadContextOnPort in PAL

Merge pull request #8124 from martijnhoekstra/doc-aggex

fix grammar for AggregateException.Flatten

Fix XMM register count in CONTEXT_SetThreadContextOnPort in PAL

Merge pull request #8127 from jashook/arm64_post_build_script

Change over from the old arm64 scripting.

Change over from the old ar64 scripting.

This change moves away from hosting all of scripts on the Z:\ drive.
The share that used to be shared between the x64 machines and the
arm64 devices. It removes all the old scripting for one python script
arm64_post_build.py, which is responsible for setup of dotnet and
launching
the x64_client.

Merge pull request #8120 from adiaaida/fixDebuggerVarargs

Add special handling of varargs for x86 debugger

Fix crash in FunctionMemberPtrArrayHolder destructor (#8113)

Some elements in FunctionMember array might not be initialized
and contain garbage. This leads to crash when elements are being deleted.

Move array allocation inside FunctionMemberPtrArrayHolder class
and initialize all array elements to nullptr.

clean build-roofs and add lldb option (#8123)

- clean unused __MachineTriple
- add indents to case
- add lld 3.6 or 3.8 as option

Use Math.DivRem in another place in mscorlib

Went through all uses of % looking for places DivRem could be used.  This looks like it's the only one of note.

Improve Math.DivRem performance

Until the JIT is able to eliminate one of the two idiv operations, using a multiplication and subtraction is measurably faster than an extra division.

fix grammar for AggregateException.Flatten

The old phrasing wasn't gramatically correct. It's somewhat
difficult to find a concise summary

Fix GT_MULHI register requirements

We only care about the upper 32 bits of the 64 bit result and those are
in EDX. It doesn't make sense to set the destination candidate to EAX,
most of the time this will result in a useless `mov eax, edx` being
generated.

Also, genCodeForMulHi needs to check if the implicit operand is in EAX
rather than targetReg.

Morph GT_MOD to GT_DIV in some cases

Doing magic division in morph did have one positive effect. For code like
`x = a / 10; y = a % 10;` some (not all due to an assignment) of the common
code was CSEd.

To preserve this optimization we transform `a % b` to `a - (a / b) * b` if we
know that lowering will do magic division. If a redundant `a / b` exists
then CSE can pick it up.

Remove magic division optimization from morph

This is no longer needed, lowering does this now.

Do magic division optimization in lowering

Currently this optimization is done during global morph. Global morph
takes place very early so cases that rely on constant propagation and
folding (e.g "int d = 3; return n / d;") aren't handled.

Also, the IR generated during morph is complex and unlikely to enable
further optimizations. Quite the contrary, the presence of GT_ASG and
GT_MULHI nodes blocks other optimizations (CSE, LICM currently).

The generated code is identical to the code generated by the morph
implementation with one exception: when 2 shifts are needed
(e.g. for x / 7) they are now computed independently:

mov eax, edx
sar eax, 2
shr edx, 31
add eax, edx

instead of:
mov eax, edx
sar eax, 2
mov edx, eax
shr edx, 31
add eax, edx

This results in shorter code and avoids creating an additional temp.

Copy GetSignedMagicNumberForDivide to lower.cpp

No actual code changes.

Adding initial scripts

Reduce variable scope (#8021)

Merge pull request #8073 from dotnet/enablebinclash

Enable binclash logger

Merge pull request #8086 from pgavlin/VSO278523

Admit more dest addresses in block assign value-numbering.

Admit more dest addresses in block assign value-numbering.

Internal testing revealed an assertion when computing the value number
for block assignments: the VN framework expected any block assignments
to a tracked lclVar to have a destination address of the form
`(addr (lclVar))` or `(addr (lclFld))`. However, the check that it
uses to determine whether or not a block assignment targets a lclVar
also admits addresses formed by some combination of adds of constants
to these patterns (e.g. `(add (const 4) (add (addr lclVar) (const 4)))`.

This fix admits these additional patterns in value numbering by allowing
`ExtendPtrVN(GenTree*, GenTree*)` to supply `NotAField` to
`ExtendPtrVN(GenTree*, FieldSeqNode*)`.

Add special handling of varargs for x86 debugger

On x86, stack arguments must be accessed via the varargs cookie for
varargs. Since the functions would be identical, this change moves the
code from codegenlinear to codegencommon to fix vararg argument
handling in the debugger.

Fixes VSO 284774.

Fix the arg name/number dumping for call args in LIR

Use the arg number in the arg info table. Before this, I saw cases
where the args were named: arg0, arg1, arg1, arg3, instead of:
arg0, arg2, arg1, arg3, for example.

Merge pull request #8111 from BruceForstall/FixTestNewlines

Don't generate explicit newlines in SIMD tests

Merge pull request #8115 from chcosta/updatebuildtools

Update buildtools to version 01008-01

Merge pull request #8031 from pgavlin/VSO283795

Do not fold `(x + null)` in certain cases.

Merge pull request #8101 from sivarv/rmwOpt

Generate "inc/dec [mem]" instead of "add/sub [mem], 1" for Read-Modify-Write (RMW) operations.

Fix test exclusions.

The new regression test should only be disabled for builds that use the
legacy backend.

Merge pull request #8100 from rahku/reflection

Expose Assembly::GetFile(s) apis

Update buildtools to version 01008-01

Fixed string Join method

Fixed string Join(string separator, params object[] values) method.
Calling string.Join(",", null, 1, 2, 3); return empty string but should ",1,2,3".

Merge pull request #8108 from gkhanna79/Arm32Test

Enable WinArm32 P1 Test Build

Don't generate explicit newlines in SIMD tests

Use Console.WriteLine() instead.

Enable WinArm32 P1 Test Build