Merge pull request #19004 from BruceForstall/FixX86UbuntuJobs

Disable failing Ubuntu x86 jobs

Use mcontext_t instead of sigcontext (#18983)

The type of uc_mcontext has always been `mcontext_t`, but earlier versions of Glibc just typedef'ed this to `sigcontext`.

Newer versions of Glibc (since 2.27) [introduced an explicit struct type](https://sourceware.org/git/?p=glibc.git;a=blobdiff;f=sysdeps/unix/sysv/linux/arm/sys/ucontext.h;h=192d1bdeac3e62e13110f68614f7af624047c3a9;hp=2abceef2a4ca9bbb6e42208eaee548228b041e5b;hb=4fa9b3bfe6759c82beb4b043a54a3598ca467289;hpb=5898f4548efdcd7c0fd437a74eeb80facc51a117) and now compilation fails.

Add MemoryMarshal.AsRef implementation (#19021)

Contributes to https://github.com/dotnet/corefx/issues/30613

Fix opinfo: InlineR should only read 8 bytes (#18801)

Eliminate arm64 contract asserts (#19015)

These methods don't trigger GC but were previously marked as if they did. Correcting the marking will eliminate spurious asserts.

Update CoreClr to preview1-26719-01 (#19016)

Implement GetComObjectData and SetComObjectData (#18900)

* Cleanup Marshal.cs

* Cleanup __ComObject

* Implement GetComObjectData and SetComObjectData

* Build fixes

* PR feedback and more marshal cleanup

* More feedback

* Disable corefx tests

* Address PR feedback

* Fix build breaking typo

* Test disable

Basic .NET client tests (#18843)

- Add support for a testing primitive marshalling with a native COM server
and .NET client. This uses RegFree COM for activation.
- Remove ClassicCOM tests
- Bring back tests for activation via reflection

Disable failing Ubuntu x86 jobs

Also add a minimal fix that fixes a current problem, but isn't
expected to help fix the entire issue.

Failures tracked by https://github.com/dotnet/coreclr/issues/19003.

Improve TimeSpan.ToString/TryFormat throughput for default format (#18990)

Properly type morphed NEG nodes (#18837)

* Properly type optimized NEG nodes

When the JIT was morphing trees like '-1 * expr', it would turn the
multiplication into a NEG node with the same type as its right operand.
This is a problem when the right operand was a small type like TYP_UBYTE
because the NEG node always produces a widened result. This could cause
problems when the negation was fed into something that depended on the
type, such as a cast to TYP_UBYTE: here the JIT would conclude that the
cast could be dropped, and end up producing a widened result.

The solution is to give the tree the actual type of the NEG node.

Also add a test for this case and for a similar case of '0 - expr',
which already had a fix.

Fix #18780

* Address PR feedback

* Clarify comment

JIT: force all local var ref counts to be accessed via API (#18979)

This is a preparatory change for auditing and controlling how local
variable ref counts are observed and manipulated.

See #18969 for context.

No diffs seen locally. No TP impact expected.

There is a small chance we may see some asserts in broader testing
as there were places in original code where local ref counts were
incremented without checking for possible overflows. The new APIs
will assert for overflow cases.

Update CoreClr, PgoData to preview1-26718-05, master-20180718-0214, respectively (#18978)

Merge pull request #18970 from BruceForstall/FixAltjitCorefxTests

Fix corefx altjit test jobs

R2RDump - Test infrastructure (#18745)

* Test infrastructure for R2RDump, compare xml and output diff

* Add R2RDumpTest to build-tests

* Fix errors causing tests to fail

* Create XUnitWrapper for R2RDumpTest

* Generate readytorun binaries from source code, copy expected xml output files to executable's directory

* Test R2RDump through commandline instead of calling R2RDump functions

* Fix errors

* Prevent duplicate xml tags

* Read test xml from string instead of file

* Fix test bugs

* Call dotnet r2rdump from msbuild

* Fix errors

* Use right slash for paths in bash

* Use different expected xml for different architectures

* R2RDumpTests for non-Windows

* Add more test cases

* Fix errors

* Supress warnings, avoid error when parsing x86 images

* Add license headers

Revert "Improve narrowing of GT_AND nodes. (#18916)" (#18975)

This reverts commit c0bad3c66218f61dd3e4f151b9d2eae22c6d88d2.

Use FD_CLOEXEC instead of 1. (#18976)

Merge pull request #18941 from CarolEidt/Fix18884

Kill RCX when used by shift

Use api-set instead of combase.dll (#18981)

Remove unuseful null check on Activator.CreateInstance (#18806)

Optimize {Try}FormatDecimal (#18935)

Delete Span ifdefs that are no longer needed (#18982)

Fix corefx altjit test jobs

Recently, the corefx build switched from using the VS installed msbuild
to using "dotnet msbuild" for doing builds. This changed the way
command-line parsing was handled.

If we continue to pass the WithoutCategories argument on the command-line,
it ends up requiring an extraordinary number of "escape" backslashes
to preserve exactly the right number of backslashes that will be passed
through to the actual invocation of msbuild. That seems complex and also
not robust to future change.

Instead, construct a response file with the simple required string,
that will be passed directly through to msbuild.

Enable CoreFx tests disabled in https://github.com/dotnet/coreclr/issues/17753 (#18967)

Clean-up number.cpp (#18964)

 Add pooling for JIT scratch memory  (#18924)

Fixes #3408

Update CoreClr, CoreFx, PgoData to preview1-26717-04, preview1-26717-04, master-20180717-0139, respectively (master) (#18961)

* Update CoreClr, CoreFx, PgoData to preview1-26717-04, preview1-26717-04, master-20180717-0139, respectively

* Disabled outdated tests

Update NativeCallable attribute tests (#18946)

* Update NativeCallable attribute tests

Merge pull request #18938 from vancem/EventSourceShutdown

Add back in code deleted in .NET Core port.

Kill RCX when used by shift

RCX must be explicitly killed. Otherwise, if there's a case of a def/use conflict - as in this test case where the shift amount is defined by a divide that must go in RAX, it won't be explicitly assigned to RCX,.
Also, the handling of conflicts must not use the register assignment of the def on the use  if it conflicts with the use register requirements, and vice versa.

Fix #18884

Merge pull request #18891 from CarolEidt/Fix18153

Ensure BuildUse uses the correct reg number

Move Decimal to shared (#18948)

* Move Decimal to shared

* Remove DecimalCanonicalize{Internal}

Improve throughput of {U}Int32/64.{Try}Parse for hex (#18952)

* Improve throughput of {U}Int32/64.{Try}Parse for hex

- Copies/modifies the recently added TryParse32/64IntegerStyle routines for hex in order to provide more optimized parsing.
- Since AllowHexSpecifier can't be used with any other styles (other than allowing leading/trailing whitespace), deletes existing code paths for parsing hex.
- As I was copying code around, I kept getting bitten by different names used for the same thing, so I also standardized some parameter names in various helper functions.

* Clean up

- Remove a bunch of unnecessary 'unsafe' keywords
- Rephrase some while(true) loops as do/while loops for consistency and to avoid some repetition
- Remove an unnecessary wrapper function

Update BuildTools, CoreClr, CoreFx, PgoData to preview1-03013-03, preview1-26716-04, preview1-26717-02, master-20180716-0324, respectively (master) (#18927)

* Update BuildTools, CoreClr, CoreFx, PgoData to preview1-03013-03, preview1-26716-04, preview1-26717-02, master-20180716-0324, respectively

* Update EventPipe StackWalker usage to specify ALLOW_INVALID_OBJECTS.

Delete redundant broken offsetof definitions (#18947)

Fixes build breaks with latest Visual Studio Preview.

Fixes #18338

Apply tiering's call counting delay more broadly (#18610)

Apply tiering's call counting delay more broadly

Issues
- When some time passes between process startup and first significant use of the app, startup perf with tiering can be slower because the call counting delay is no longer in effect
- This is especially true when the process is affinitized to one cpu

Fixes
- Initiate and prolong the call counting delay upon tier 0 activity (jitting or r2r code lookup for a new method)
- Stop call counting for a called method when the delay is in effect
- Stop (and don't start) tier 1 jitting when the delay is in effect
- After the delay resume call counting and tier 1 jitting
- If the process is affinitized to one cpu at process startup, multiply the delay by 10

No change in benchmarks.

Use `FEATURE_ARG_SPLIT` to qualify handling of `GT_PUTARG_SPLIT`

JIT: fix value numbering to handle GT_NULLCHECK more generally (#18942)

With the advent of #18819 we may now see GT_NULLCHECK nodes with operands
that also can cause exceptions.

Handle this in value numbering.

Closes #18937.

PR Feedback

Adding tests for the Avx2 AlignRight, Blend, and ConvertTo* hwintrinsics.

Implementing the Avx2 AlignRight, Blend, and ConvertTo* hwintrinsics.

Merge pull request #18917 from BruceForstall/dev/unix_test_workflow

Enable Windows ARM64 corefx jobs in the CI

Add no tiered compilation test jobs (#18864)

* Add no tiered compilation test jobs

With the upcoming switch to make tiered compilation on by default we want to preserve some JIT testing that will not enable tiered compilation.
1) Add 'no_tiered_compilation_pri0' jit stress job, logically the non-tiered variant of current 'Innerloop' jobs
   - This job will run on all PRs for Checked x (Windows x86, Windows x64, Ubuntu arm) - but not scheduled that way for the moment so it can be tested post-checkin
2) Add 'no_tiered_compilation' jit stress job, logically the non-tiered variant of the current 'normal' job
   - This job has the same periodic schedule as other jit stress jobs
3) Add 'r2r_no_tiered_compilation' r2r stress job, logically the non-tiered variant of the current 'r2r' job
   - This job has the same periodic schedule as other r2r stress jobs

Misc adjustments - Added isPri0TestScenario because 'innerloop' is no longer the only scenario name which has this property + eliminated various comments that implied 'innerloop' IFF pri0

Ensure BuildUse uses the correct reg number

`BuildUse` was setting the regNumber for all of the uses of a multi-reg  node to the main/first regNum. This was missed because this results in a def/use conflict on that reg (the def was set correctly), which is generally resolved in favor of the def. The exception is when there is a kill of the register in between, in which case the use tries to allocate the register its been assigned, causing the `farthestRefPhysRegRecord != nullptr` assert (aka "a register can't be found to spill").
This fixes the specific issue, and adds additional asserts to identify future/additional such issues.
The new asserts depend upon all the regNums being appropriately when/if any are set, which wasn't always the case prior to register allocation.

Fix #18153

Fixing markdown list formatting (#18936)

Fix disabled test name (#18932)

System.ComponentModel.Composition.Tests use friends visibility. The fixed drop does not work well for testing of the live bits.

Improve narrowing of GT_AND nodes. (#18916)

This is a follow-up to to #18816 which resulted in a 6 byte regression in one of the
desktop SuperPMI methods. This change removes that regression and adds a number
of improved diffs.

If we are narrowing GT_AND to an unsigned type and one of the operands can be narrowed
into that type, the result of the GT_AND will also fit into that type and can be narrowed.
The same is true if one of the operands is an int const and can be narrowed into 'dsst'.

The change also ensures that we don't call optNarrowTree(false) more than once on each of the
GT_AND operands.

Mark RuntimeEventSourceTest as GCStressIncompatible (#18911)

Add back in code deleted in .NET Core port.

This fixes shutdown race bug that CoreCLR port reintroduced.
Basically the fix needed some Appdomain APIs that were probably
not in .NET Core 1.0 so they were removed.   However they are
back in .NET Core 2.0 so it is trivial to simply 'do the right thing', and
put the shutdown logic back.

See comment in front of DisposeOnShutdown for more.

Improve throughput of UInt32/UInt64 integer parsing (#18930)

As was recently done for Int32/Int64, ports the Utf8Parser approach to parsing to UInt32/UIn64.{Try}Parse, specifically for NumberStyles.Integer (the default).

Also fixes an issue discovered in the previous Int32/Int64 changes, where if the input both has an overflow and has a formatting error (e.g. Int32.Parse("12345678910blah"), we would end up throwing whichever error was hit first, which is a change from .NET Core 2.1 and netfx.  The FormatException needs to be preferred over the OverflowException, which just means we can't bail early when overflow is detected.

CoreFX test fixes (#18929)

- Unify Windows and Unix exclusion files to avoid duplication
- Disable outdated tests against live CoreFX

Remove unused resource strings from System.Private.CoreLib (#18808)

Expose SpinWait.SpinOnce(int sleep1Threshold) overload (#18204)

Expose SpinWait.SpinOnce(int sleep1Threshold) overload

To allow customizing the spin count threshold for Sleep(1) usage, and to allow disabling the use of Sleep(1).

API review: https://github.com/dotnet/corefx/issues/29623
Part of fix for https://github.com/dotnet/corefx/issues/29595

Temporarily allow combase.dll!RoGetActivationFactory (#18922)

Revert "Fix some failures when using build-test.sh"

This reverts commit 2bffb76443919b0ad0be8bff398d9a962a3a5f6d.

Fix some failures when using build-test.sh

1) Remove a workaround for broken msbuild RelativePath API that is
   apparently no longer necessary and doesn't seem to work anymore anyway.
2) Fix a casing issue in some test projects.  I'm not sure why this hasn't
   been fixed yet.

Remove version increment from Dictionary<K,V>.Remove overloads (#18854)

* remove version increment from Remove overloads

* add temporary test exclusions

* fixup test exclusion names

* modify test exclusions

Enable 'jitnosimd' job for Linux/arm64 (#18890)

Fixes #18174

Enable Windows ARM64 corefx jobs

Disable various tests that currently fail, tagged with issues
describing the failures.

Improve Int32/Int64 {Try}Parse performance for NumberStyles.Integer (#18897)

Special-case the default NumberStyles.Integer format to improve the throughput of Int32/Int64.{Try}Parse.  Ports the implementation from Utf8Parser, modifying it to accomodate the additional cases needed for Int32/Int64, e.g. culture impact on positive and negative signs, trailing zeros, leading and trailing whitespace, prohibiting additional characters at the end, etc.

JIT: optimize some cases of unused structs (#18819)

In some cases CSC will use `ldobj; pop` to null check a pointer to
struct. This change avoids copying the struct value for such constructs.

Codegen may still redundantly null check, if there are multiple such checks
in a method.

Fixes #18710

Remove unnecessary R2R jobs (#18902)

Enable logs (#18881)

Remove System.Security.Cryptography.X509Certificates.Tests from Windows arm exclusion list (#18807)

Add prefix to DAC's PAL exports for alpine (#18873)

Added some cmake logic to create assembly include mapping files. One that maps the
prefixed name (DAC_foo) to the actual name (foo) which is included in the DAC module
and another that maps the actual name to the prefixed name that is included in the SOS,
DBI and createdump modules.

The data exports like IID_IUnknown are not prefixed and don't need to be (immutable static data).

There were some C++ exports functions exported with their decorated names in
the CatchHardwareExceptionHolder and NativeExceptionHolderBase classes. Created
PAL_* style export functions that implements the code.

Fix lldb plugin cmake file to use LLDB_H/LLDB_LIB env vars to build it.

Disable 3 long-running tests and 1 failing test (#18896)

The following tests exceed the default timeout, especially on Debug builds:
```
GC\Features\LOHCompaction\lohcompactapi\lohcompactapi.cmd
GC\API\NoGCRegion\NoGC\NoGC.cmd
GC\API\GC\GetAllocatedBytesForCurrentThread\GetAllocatedBytesForCurrentThread.cmd
```

Mark them LONG_RUNNING.

The following test asserts in the JIT currently:
```
JIT\HardwareIntrinsics\Arm64\Simd\Simd.cmd
```

Disable it with issue #18895

Remove dead/unreachable code from ARM32 and ARM64 emitters (#18878)

Merge pull request #18887 from briansull/atomic-fix

Include the processor atomic operations in the OperIsStore category

Fixes for bugs in fgMorphCast and optNarrowTree. (#18816)

The fix under NARROW_IND prevents transformation of, e.g.,
CAST      int <- ushort <- int
    CLS_VAR byte

into

CLS_VAR byte.

With the fix the CAST is not removed.

The fix under GT_CAST prevents transformation of, e.g.,

CAST      int <- ushort <- long
    CAST      long <- int
       expr short

into

expt short.

With the fix it gets transformed into

CAST      int <- ushort <- int
    expr short

Block cast optimizations in fgMorphCast if the cast expression is an
active CSE candidate.

Update cast expression value numbers when a cast is removed.

Fixes #18238, #18850.

No diffs in frameworks and tests (pmi and crossgen, x64 and x86), except for the added test cases.

Added the repro test case

Include the processor atomic operations in the OperIsStore category
THe atomic operations are GT_CMPXCHG, GT_LOCKADD, GT_XCHG, GT_XADD

Don't trim compiler-generated anonymous types. (#18835)

CoreFX CI Unix (#18753)

* Full Unix test support

* Remove Test helper build from build-test

Add msg prefix

Change if condition

* Change Linux URL

* Syntax error

* Fix Merge Conflict

* Address PR Feedback

* Remove duplicate generate_testhost call

* Address PR comments

* Clean up exclusion list

* Disable Client_ReadWriteCancelledToken_Throws_OperationCanceledException

* Disable all flavors of CancelledToken_Throws_OperationCanceledException

* Disable X509StoreTests.Constructor_DefaultStoreName - flaky on OSX

* Update documentation with Linux instructions and workflow

* Disable EventWaitHandleTests.Ctor_InvalidMode - failing on OSX

* Disable Server_ReadWriteCancelledToken_Throws_OperationCanceledException

Fix VEX.vvvv encoding for AVX.BlendVariable

Remove TODO comment from CancellationTokenRegistration.Unregister (#18880)

Merge pull request #18862 from BruceForstall/DisableLongRunningGCStress3Tests

Disable tests for Windows/arm64 with GCStress=3 that take too long

Merge pull request #18859 from hoyosjs/fix-debug-gscookie-check

GS cookie check fix for debugger stackwalks port

Optimize Double/Single.IsNegative

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Make Number.Parsing.cs BigEndian friendly (#18853)

* Make Number.Parsing.cs BigEndian friendly

* Get rid of DoubleHelper

Merge pull request #18861 from BruceForstall/FixShowLocalloc

Fix ShowLocallocAlignment test for x86

Merge pull request #18860 from BruceForstall/ReEnable13731Tests

Re-enable tests for #13731 which was closed long ago

Adjust JIT automated testing for tiered compilation (#18828)

Make it explicit that most JIT testing does not use tiered compilation regardless of the runtime default
Clone jitstress1/2 and r2r_jitstress1/2 test modes both with and without tiering.
Move the existing tieredcompilation test modes to have the same periodic scheduling as other jit test runs.

Disable tests for Windows/arm64 with GCStress=3 that take too long

Fixes #15381

Fix ShowLocallocAlignment test for x86

The required localloc alignment differs by platform. Teach the test
what the per-platform alignment requirement is.

Fixes #7163

Re-enable tests for #13731 which was closed long ago

Remove random.NextDouble() from JIT/HardwareIntrinsics tests (#18838)

* Add ProjectReference to CoreCLRTestLibrary.csproj in the corresponding C# project files
* Replace usages of random.NextDouble() from GenerateTests.csx with CoreCLRTestLibrary.Generator.GetSingle()/GetDouble()
* Regenerate test files

Initial implementation of method fixup parser (#18749)

* Initial implementation of method fixup parser

I'm working on this right now in the CoreRT R2R compiler so I'm
adding the relevant structures and algorithms to the dumper
to let me analyze various R2R files and their method fixups.

I have locally verified that this shows reasonable fixup info
for my Hello World repro compiled both using the CoreRT R2R
compiled and using crossgen.

Thanks

Tomas

* Improvements in signature dumping

Signature dumping was slightly imprecise - the signature field
was named "Section" in the dump and it was displaying a dword,
however signatures are logically arbitrary byte streams.

Sadly I'm aware of no easy way to detect the length of an
arbitrary signature without adding a multitude of dedicated
parsers for the different signature types used by different
fixup / helper types so for now I'm displaying an 8-byte sample.

I have also made the formatting of the import section entries
more compact to make the list easier to read in the presence
of a larger number of fixups and I added support for displaying
the entry offset (as this is what the method fixups indirectly
refer to via the fixup indices).

Thanks

Tomas

* Move NibbleReader into a separate source file

Based on Amy's PR feedback I'm moving NibbleReader into a separate
source file. After all, I have a counterpart NibbleWriter.cs
in the R2R compiler codebase.

Thanks

Tomas

* Remove unnecessary usings from the new NibbleReader.cs file

As an additional bit of cleanup I used the VS refactoring tool
to remove unnecessary usings from the new NibbleReader source file.

Thanks

Tomas

Fixing encodeXmmRegAsIval to ensure the result meets the "fits in imm8" check

Merge pull request #18805 from CarolEidt/Fix18746

Don't change PUTARG_REG spill type on arm64

Fix two issues in Marshal.SecureStringToBSTR (#18851)

1. It wasn't synchronized, even though other operations on SecureString are in order to avoid concurrency problems leading to memory corruption issues (and it's synchronized on netfx).

2. It wasn't throwing an ObjectDisposedException if the instance was disposed.

Merge pull request #18812 from briansull/fix_610014

Fix 610014

Merge pull request #18653 from acmyu/build

R2RDump - Build integration

GS cookie check fix for debugger stackwalks port

This bug fix is a port from the equivalent fix in framework. The
debugger tried performing a stackwalk in the epilog due to the JIT
incorrectly reporting epilogue information. This caused an invalid
GS cookie to be checked and caused the debugger to crash. A flag was
added to allow debug stackwalks to skip the cookie check.

Regenerating the x86 HWIntrinsic tests to cover struct field scenarios

Updating the x86 HWIntrinsic test templates to test struct field scenarios

Move BinaryReader to shared CoreLib partition (#18845)

Exclude failing CoreFx test (#18844)

Updated fix for VSO 610014

Fixing a call to emitIns_SIMD_R_R_AR_R to pass arguments in the correct order

Exclude failing CoreFx test