SuperPMI replay: fix enviroment variables initialization. (#13596)

SuperPMI replay: fix enviroment variables initialization.

If we have mch with mc files with different ENV_variables, we ran them
with the set for the first mc.

Merge pull request #13643 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #13627 from pgavlin/TagPri1Lst

Tag Pri1+ tests as such in the ARM32/64 LST files.

Fix for clang-format issue with previous Changeset
(previous CS  is #1672052)

[tfs-changeset: 1672055]

Fixes VSO 469476 - Check for the MARSHAL_BYREF class attribute before performing tail recursion optimization

[tfs-changeset: 1672052]

Merge pull request #13638 from adiaaida/updatePerfUser

User the PR trigger email for benchview submit

Use the PR trigger email for benchview submit

When users trigger perf runs for PRs, the alias used to submit in
submission-metadata.json should be that user's email. We should only
use dotnet-bot for official runs.

Fix build breaks - delete parse tests that are redundant with CoreFX

Update CoreClr, CoreFx to preview2-25628-01, preview2-25628-01, respectively

Remove "Pri0" tags.

Remove FreeBSD 10.1 (#13633)

10.1 has been EOL'd, and the image is not upgradeable.  This image will become unusable in newer versions of Jenkins.  Eliminating from CI.  If needed, new versions of BSD could be prepped and re-added to CI.

Merge pull request #13616 from KooKiz/binaryreader_span

Add BinaryReader Span-based APIs

Merge pull request #13619 from stephentoub/timespan_span

Add span-based TimeSpan {Try}Parse{Exact} and TryFormat methods

Tag Pri1+ tests as such in the ARM32/64 LST files.

Just what it says on the tin.

EventPipe: fix memory leaks (#12476)

Delete dead PAL functions (#13613)

* Remove duplicate define

* Remove unused wincon.h defines

* Delete unused LockFile/UnlockFile

* Remove unused WszCryptGetDefaultProvider define

* Remove unused defines

* Remove unused defines

* Delete unused GetDiskFreeSpace

* Delete unused RegisterEventSource\DeregisterEventSource\ReportEvent

* Remove unused defines

* Delete unused AreFileApisANSI

* Delete unused MoveFileW

* Delete unused SetFileTime

* Delete unused GetFileTime

* Delete unused FileTimeToDosDateTime

* Delete unused GetFileType

* Delete unused GetConsoleCP

* Delete unused GetExitCodeThread

* Delete unused FlushViewOfFile

* Delete unused RtlZeroMemory

* Delete unused MoveFileA

Fix bad cast morphing (#13429)

fgMorphCast thinks that casting a i1 value to i2 via conv.ovf.i2.un is a widening conversion and removes the overflow check. But this is in fact a narrowing conversion because i1 is implicitly sign extended to i4 and then i4 is treated as u4. Going from i4 to u4 overflows for negative values so we can't treat the source type of the cast as i1, it has to be u4.

Of course, the existing code works fine if the source type is unsigned. Going from u1 to i4 and then to u4 never overflows so it's safe to treat the source type as u1.

Merge pull request #13617 from CarolEidt/Fix13603

An unused long needs to have dstCount of 0

Clean up code formatting as corert had done

And some more beyond that.

Implement an IntToString equivalent

corert doesn't have ParseNumbers, and both corert and coreclr were allocating a new string for the rendered Int32 (corert was also allocating a string of '0's).  Replace this with a non-allocating helper that works in both places just appends directly to the StringBuilder.

Move TimeSpanFormat.cs and TimeSpanParse.cs to shared

Compensate for perf regressions in string-to-span parsing

When changing the implementation of TimeSpan parsing from string-based to span-based, throughput of some parsing regressed upwards of 15%.  Some of this is due to more stack-based memory needing to be zero'd out, but it's not entirely clear to me at the moment where the rest went.  To compensate, I optimized various portions of the TimeSpan parsing implementation enough to fully counteract the regressions; while there's still more that can be optimized if desired, all of the inputs/formats I tested are now as fast or faster than they were before, and on top of that, the span-based implementation is allocation-free whereas the string-based implementation would allocate a non-trivial amount of memory per parsing operation.

Note that there was a fair bit of dead code, which I removed.  I think there's actually some more, but it was harder to prove, and so I left it as-is (the goal of this commit not being to clean up but to improve perf enough).

Add span-based TimeSpan {Try}Parse{Exact} and TryFormat methods

The existing string-based {Try}Parse{Exact} methods are reimplemented in terms of spans and slices rather than strings and substrings, and then new span-based {Try}Parse{Exact} methods exposed on the same implementation.  The existing ToString implementation is based on StringBuilder, and that same implementation is reused to implement TryFormat, just copying the contents of the StringBuilder to the span rather than calling ToString on it.

Merge pull request #13605 from BruceForstall/ScopeEnvSettings

Scope build script environment variable setting

Merge pull request #13624 from alpencolt/ryu-arm-fix-multireg-decl

[RyuJIT/ARM32] Fix MultiRegOp declaration

Fix WinRT build breaks (dotnet/corert#4398)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

[RyuJIT/ARM32] Fix MultiRegOp declaration

According to last changes in OperIsMultiRegOp() declaration of MultiRegOp
is needed of some changes.

Remove always defined FEATURE_RANDOMIZE_STRING_HASHING define (#13491)

* Remove always defined FEATURE_RANDOMIZE_STRING_HASHING

* Fully remove randomized hashing

* Leftovers

* Remove additionalEntropy from HashSortKey as it was always 0

* Remove additionalEntropy from HashString as it was always 0

* Change to private, as not in fact called by reflection in .NET Core

* Fix build break due to FCDECLn

* Revert removed QCALL

* Remove unused strlen parameter

Remove dead HResults.cs (#13611)

* Fix old copy paste mistake

* Remove dead HResults.cs

* Rename __HResults to HResults

* Rename other two __HResults classes

* Combine into single HResults class, to match CoreRT

* Make hex consistently uppercase

* Sort HResults

Merge pull request #13543 from hseok-oh/ryujit/fix_13451

[RyuJIT/ARM32] Simplify lowering long argument

Refactor AsSpan to AsReadOnlySpan (#13608)

* Refactor AsSpan to AsReadOnlySpan
* Updated usages.
* Renamed test methods.
* Bring back AsSpan as obsolete method.

Remove SetContained for GT_FIELD_LIST

Remove SetContained for GT_FIELD_LIST: already set when it is generated
Add comment

Merge pull request #13597 from CarolEidt/InfoLinearScan

Move TreeNodeInfoInit to LinearScan

An unused long needs to have dstCount of 0

Fix #13603

Merge pull request #13581 from noahfalk/fix_corefx_testing

Fix running corefx tests

Add BinaryReader Span-based APIs

Merge pull request #13411 from pgavlin/RepriTests

Reprioritize tests to improve inner-loop throughput.

Use CreateFile2 instead of CreateFile2FromApp (#13595) (#13607)

* Use CreateFile2 instead of CreateFile2FromApp

* Feedback fixes

Scope environment variable setting

The product and test build scripts invoke Visual Studio environment
setting scripts several times during the build process. If doing a full
cross architecture build including test build, it's as many as five times.
These environment changes are cumulative. For the PATH variable, in
particular, they can lead to a failure by exceeding the variable
length limit. This seems to have been exacerbated by VS2017, which
has very long paths, and for which many things are added to the PATH.

Fix this by adding "setlocal" / "endlocal" around various sections
of the scripts, so that the multiple calls to the environment script
are not cumulative.

(There is still some cumulative environment setting, as build.cmd
calls VsDevCmd.bat, then if tests are being built, calls build-test.cmd,
which also calls VsDevCmd.bat, and then possibly in addition calls
vcvarsall.bat.)

In addition, I simplified the code that sets up the msbuild logging
parameters, so it is more readable, regular, and doesn't have so
much repeated text.

Merge pull request #13579 from CarolEidt/RemoveDupLowerBlockStore

Arm Containment Cleanup

Delete superfluous check in funceval.cpp (#13598)

Func-eval'ing BCL methods with the DynamicSecurityMethod attribute causes an ArgumentException.

Minor performance infrastructure changes. (#13557)

- IlLink scenario will run on a VM (currently it is only measuring MSIL size)
- Updated the patterns of files to search for on scenario runs
- Updated the JitBench commit hash being used ()
- Disable min_opt from the PR correctness mode.
- String was not being interpolated.

Fix generic context passed to resolved constrained method calls (#13577)

If the EE was able to resolve a constrained call, the instantiating
parameter to use is the type by which the call was constrained with. We
embed pConstrainedResolvedToken as the extra argument because
pResolvedToken is an interface method and interface types make a poor
generic context.

The CLR doesn't hit this path because these types of constrained method
calls go through an instantiating stub. We don't do instantiating stubs
in CoreRT.

[Arm64/Unix] Add JIT_Stelem_Ref helper (#13588)

Create deep-dive-blog-posts.md (#13336)

PR Feedback and formatting

Move TreeNodeInfoInit to LinearScan

In preparation for computing the TreeNodeInfo on the fly, move all the TreeNodeInfoInit and related methods to the LinearScan class.

Don't multiply YieldProcessor count by proc count (#13556)

Related to issue mentioned in https://github.com/dotnet/coreclr/issues/13388
- Multipying the YieldProcessor count by proc count can cause excessive delays that are not fruitful on machines with a large number of procs. Even on a 12-proc machine (6-core), the heuristics as they are without the multiply seem to perform much better.
- The issue above also mentions that the delay of PAUSE on Intel Skylake+ processors have a significantly larger delay (140 cycles vs 10 cycles). Simulating that by multiplying the YieldProcessor count by 14 shows that in both tests tested, it begins crawling at low thread counts.
- I did most of the testing on ManualResetEventSlim, and since Task is using the same spin heuristics, applied the same change there as well.

PR Feedback

Remove Span(T[], int) ctor (#13575)

* Remove Span(T[], int) ctor - from issue #23471

Use Span-based TryParse in several globalization types (#13582)

Merge pull request #13586 from parjong/fix/ClrStack_full

[ARM/Linux] Enable clrstack -f

Do not devirtualize indirect calls (#13561)

I'm seeing the affected code take the `impDevirtualizeCall` code path
with `CT_INDIRECT` calls. `gtCallMethHnd` is a `GenTreePtr` in that case
(it's a union) and passing that as as `CORINFO_METHOD_HANDLE` leads
to bad things.

Merge pull request #13245 from pgavlin/NoExpandIndex

Use a smaller expansion of GT_INDEX in MinOpts.

Arm Containment Cleanup

- Fix a couple of issues with TreeNodeInfoInit for struct arguments
- Remove duplicate calls to LowerBlockStore from TreeNodeInfoInit for arm and arm64
- Eliminate duplicative isMultiReg method from GenTree and fix condition for OperIsMultiRegOp()

Merge pull request #13584 from wateret/fix-armel-treenodeinfoinit

[RyuJIT/armel] Fix ifdef block in TreeNodeInfoInit

Enable clrstack -f in ARM/Linux

[RyuJIT/armel] Fix ifdef block in TreeNodeInfoInit

Merge pull request #13506 from mikedn/switch-un

Fix switch unsigned cast

Remove uses of the {RO}Span ctor that takes an array and offset (#13578)

Fix running corefx tests

Running CoreFX tests was supposed to use a batch file (env_script) to run CoreFX tests under different environment configurations. However due to subtlties in how the command line is parsed none of the environment variables set by this script would actually persist for the execution of the tests. As best I can tell prior to this fix specifying a env_script had no effect whatsoever on windows, and our CI corefx test stress scenarios weren't actually testing the scenario they claimed to be testing.

cmd /c "Set.bat&&Check.bat" will propagate env vars set in Set.bat so that they are visible in Check.bat because both batch files execute within the context of the newly invoked cmd.exe process. However cmd /c Set.bat&&Check.bat (no quotes) will run Set.bat in its own cmd.exe process, then exit that process and run Check.bat in the parent shell process. The parent process does not have any environment variable changes that were made by Set.bat.

Remove clearing regnum in LowerArg

Remove clearing regnum in LowerArg
Revert changing in gentree.h

Remove unnecessary buffer copy from EventPipe::WriteEvent pipeline (#13347)

* [WIP] Eliminate extra buffer copy with new api path

* Copy blobs to a flat buffer is Rundown is on

* Refactor to use payload class and dedupe code

* Add contracts

* Fix many small errors

* Make names unambiguous

* Add EventPipe::WriteEventBlob to ecalllist.h

* Address code review

* Add test and fix a buffer copy bug

* Copy data instead of data pointer

* Add optional output file arg to tests

* Change failure return code

* Renamed variables for clarity

Merge pull request #13573 from noahfalk/add_ci_logging

Makes sure the CI archiving runs even on failure

Makes sure the archiving runs even on failure

Fix switch unsigned cast

Address PR feedback.

mscorlib cache padding for 128 byte lines (#13102)

* mscorlib ConcurrentQueue pad for 128B cache lines

* Add Padding.cs

Merge pull request #11589 from mikedn/gen-am

Fix improper handling of GenTreeAddrMode offset

Fix regeression with Containment

- SetContained for GT_FIELD_LIST
- OperIsMultiRegOp return true for armel only
- Simplify lowering long argument and fix type

Merge pull request #13470 from CarolEidt/Fix13451

Fix ARM issues with Containment

Fix improper handling of GenTreeAddrMode offset

For unknown reasons GenTreeAddrMode::gtOffset is unsigned rather than
int. On 32 bit hosts this doesn't really matter but on 64 bit hosts we
end up zero extending instead of sign extending it, GetTreeIndir::Offset()
does that by casting from unsigned to size_t.

It doesn't appear possible for this to cause correctness issues (because
the address mode displacement is 32 bit anyway) but it's confusing and
hurts CQ because the emitter can't recognize small negative displacements
that can be encoded in a single byte.

It's worth noting that CodeGen::genCreateAddrMode uses ssize_t internally
to represent the offset but then returns it as unsigned the emitter works
with either int or ssize_t displacements (e.g. emitIns_R_ARX & co. have
int disp arguments, emitNewInstrAmd has ssize_t dsp argument).

Change steps:

Access GenTreeAddrMode's gtOffset via Offset() - Offset() returns the correct
type - int instead of unsigned. All non-legacy uses of gtOffset were replaced
with Offset() and casts were added where necessary. gtOffset was made private
in non-legacy builds to ensure it is not used directly.

Rename GenTreeIndir's Offset() to Address() - This function is problematic,
it returns size_t which is suitable for representing addresses but not
offsets. Rename it and then figure out where offsets are needed and where
addresses are needed.

Add back Offset() with the correct return type - All usages of
GenTreeIndir::Address() (e.g. emitNewInstrAmd) expect ssize_t, not size_t.

Fix the bug - GenTreeIndir::Offset() return ssize_t and
GenTreeAddrMode::Offset() returns int. It doesn't make sense to have a
cast to unsigned.

Fix ARM's handling of GenTreeAddrMode offset - Various pieces of code
(e.g. emitIns_valid_imm_for_ldst_offset) already treat the offset as
signed, they use int, INT64, ssize_t. More importantly, emitarm64's
emitInsLoadStoreOp treats the offset as signed while TreeNodeInfoInitIndir
treates it as unsigned. The later is wrong.

Add unwind info to core dumps. (#13547)

The createdump utility now enumerates all the native stack frames (with
some help from the managed stack walker) for all the threads adding all
the ELF unwind info needed.

On a different machine and without any of the native modules loaded when
the crashdump was generated all the thread stacks can still be unwound
with lldb/gdb.

Change the PAL_VirtualUnwindOutOfProc read memory adapter in DAC
to add the memory to instances manager.

Some misc. cleanup.

Merge pull request #13553 from tijoytom/master

Revert incorrect change from commit 16fc300

Fix ARM issues with Containment

These are changes that should have been part of PR #13198:
- Correctly contain struct arguments
- Correctly get number of source registers
- Clear register assignments on `GT_FIELD_LIST` nodes (thanks @hseok-oh).
- Remove now-redundant `ContainCheck` methods for armarch targets.

Merge pull request #13550 from pgavlin/DevDiv482577

Type `lea [this + delegateObject]` as `TYP_BYREF`.

Merge pull request #13529 from wtgodbe/ParameterizeRids

Parameterize RIDs for package restore

Merge pull request #13559 from noahfalk/add_ci_logging

Add more logging to corefx test CI runs

Add more logging to corefx test CI runs

Merge pull request #13548 from rartemev/revert_12469_fix

Revert "Fixed misconception between FP register allocator and RyuJIT's CSE phase"

Merge pull request #13533 from wtgodbe/buildNumber

Disable default BuildNumberMajor

This reverts
https://github.com/dotnet/coreclr/commit/16fc3005c085212f6e700a0df8ff7f36c1ea535b
The PR was trying to fix an incorrect test , we should be passing
in !fForWinRT.See https://github.com/dotnet/coreclr/issues/13460#issuecomment-324456870
for more info.

Fixed Equals/GetHashCode bug for struct. (#13164)

Other than `ContainsPointers` and `IsNotTightlyPacked`, added two new conditions for checking whether a valuetype can go to fast path or not. Following are the details of these 2 conditions:

- Check whether a valuetype contains a Single/Double field. If it does, we cannot go to fast path. Floating point numbers have special `Equals` and `GetHashCode` implementation. We cannot simply compare floating point numbers via bits (e.g. +0.0 should equal to -0.0, but their underlying bits are different).

- Check whether an user-defined valuetype overrides `Equals` or `GetHashCode`. If it does, we cannot go to fast path. Because `Equals` or `GetHashCode` result may be different to bit comparison.

To find Single/Double fields and overridden `Equals`/`GetHashCode`, we start a DFS to go through the whole hierachy of the source valuetype, and cache the result to `MethodTable`.

Fix #11452

Add "long GC" jobs to the pri1 build set.

Type `lea [this + delegateObject]` as `TYP_BYREF`.

This node was incorrectly typed as `TYP_GCREF`, which was causing an
assertion during GC stress in internal testing.

Fixes VSO 482577.

Parameterize RIDs for package restore

Revert "Fixed misconception between FP register allocator and RyuJIT's CSE phase"

This reverts commit 3f4ee3bed52291e592d7ab67da1fc0e39ee8a3b7.

Merge pull request #13534 from dotnet-bot/from-tfs

Merge changes from TFS

Improve ReaderWriterLockSlim scalability (#13495)

* Improve ReaderWriterLockSlim scalability

Subset of #13243, fixes #12780

- Prevented waking more than one waiter when only one of them may acquire the lock
- Limited spinning in some cases where it is very unlikely that spinning would help

The _myLock spin lock runs into some bad scalability issues. For example:
1. Readers can starve writers for an unreasonable amount of time. Typically there would be more readers than writers, and it doesn't take many readers to starve a writer. On my machine with 6 cores (12 logical processors with hyperthreading), 6 to 16 reader threads attempting to acquire the spin lock to acquire or release a read lock can starve one writer thread from acquiring the spin lock for several or many seconds. The issue magnifies with more reader threads.
2. Readers and especially writers that hold the RW lock can be starved from even releasing their lock. Releasing an RW lock requires acquiring the spin lock, so releasers are easliy starved by acquirers. How badly they are starved depends on how many acquirers there are, and it doesn't take many to show a very noticeable scalability issue. Often, these acquirers are those that would not be able to acquire the RW lock until one or more releasers release their lock, so the acquirers effectively starve themselves.

This PR does not solve (1), but solves (2) to a degree that could be considered sufficient. #13243 solves (1) and (2) and for (2) it is still better by order-of-magnitude compared with this PR in several cases that I believe are not extreme, but if the complexity of deprioritization is deemed excessive for the goals then of what I tried so far this is the perhaps simplest and most reasonable way to solve (2).

I believe this PR would also be a reasonably low-risk one to port back to .NET Framework.

Enable overriding default stack size on Unix (#13517)

Alpine Linux has a very small default stack size limit, about 80kB.
This is not enough for running coreclr apps.

This change enables overriding the default stack size using the
COMPlus_DefaultStackSize env variable. For Alpine, it also sets
the default stack size to the same value we use for Windows, which
is 1.5MB.

Merge pull request #13540 from wateret/fix-13423

[RyuJIT/arm32] Fix MultiReg flag setter

JIT: refine types when creating arg temps to improve devirtualization (#13530)

The jit will refine the types of temps used to pass arguments to inlinees
when it creates the assignments to these temps.

Unfortunately this is too late to drive devirtualization in the body of
the inlinee, as thes assignments are created after the inlinee body is
imported.

So, add similar refinement logic to the place where the temps are first
created.

Closes #13520.

Add a regression test for #13160 (#13531)

Merge pull request #13450 from sjsinju/genisvaliddoublereg

[RyuJIT/ARM32] Remove unnecessary genIsValidDoubleReg() assertion

Merge pull request #13528 from JosephTremoulet/Iterate

Add InnerIterationCount to layout benchmarks

[RyuJIT/arm32] Fix MultiReg flag setter

Bitwise operation fix in `SetRegSpillFlagByIdx()`.

Fix #13423

Remove empty span check from Stream.Read/Write (#13536)

When I added the base Stream.Read/Write(span) default implementations, I added a special-case check for if the span is empty, in which case it made the operation a nop.  But various streams want to impose behavior even in the 0-byte case, e.g. throwing an ObjectDisposedException if the stream has been closed.  This commit just removes the check and allows Read/Write to delegate for all sized spans.

Merge pull request #13535 from rartemev/issue_12467

Fixed assertion failure in legacy backend

Merge pull request #13522 from stephentoub/fsspan

Override Span-based Read/Write on FileStream

Fixed assertion failure in legacy backend