Merge pull request #23565 from briansull/pipeline-work

Move to outerloop - several  azure-pipeline jobs

Merge pull request #23601 from dotnet-maestro-bot/master-UpdateDependencies

Update CoreClr to preview4-27602-71 (master)

Output error messages to stderr. This provides a better integration with the .NET SDK (#23658)

Update dependencies from https://github.com/dotnet/corefx build 20190401.9 (#23653)

- Microsoft.NETCore.Platforms - 3.0.0-preview4.19201.9
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview4.19201.9

JIT: prolog zeroing accounting changes (#23498)

Stop double-counting some locals when computing how many slots need to be
zeroed in the prolog.

Bump threshold for rep stosb style init from 16 bytes to 32 bytes on x64.

[EventPipe] Streaming events out-of-proc using IPC (#23448)

- There was a race condition on EventPipe::Disable where we deallocated the s_pSession and set it to NULL, but there was still a thread waiting to write and dereference the null pointer. Now, we check that the session is not null.
- Added a new attach event to be handled to the Diagnostic server: Add streaming functionality (Syncronus) #23299
- On Linux, IPC was failing when delete was invoked because we were using new (std::nothrow) instead of new (nothrow) when allocating the newly connected clients/streams. I have replaced the call with new. This fixed #23580
- Move multiFileTraceLengthInSeconds out of the EventPipeSession.
- Unlink previously existing socket.
- EventPipeBlock: _ASSERTE was updated not to fail when data is not aligned if an error has already occurred.
- Update _ASSERTE in fastserializer.cpp to take into account the the write operation could have failed.

Update CoreClr to preview4-27602-71

Remove test exclusion for 23262 (#23405)

The commit that added the test was rolled back.

PermissionSet: follow netfx more in order to avoid workarounds with nullable (#23637)

Use join function in yaml for defining Helix queues and scenarios (#23367)

* Enable Ubuntu.1804.Arm32.Open (running on Ubuntu.1604.Arm32.Open) against PRs

* Restrict Ubuntu.1404.Arm32.Open to running against CI (commit validation) only

* Enable Debian.9.Arm32.Open, Ubuntu.1604.Arm32.Open and Ubuntu.1804.Arm32.Open (running on Ubuntu.1604.Arm32.Open) against scheduled runs

* Enable Debian.9.Arm32, Ubuntu.1604.Arm32 and Ubuntu.1804.Arm32 (running on Ubuntu.1604.Arm32) in internal project (FYI, we haven't had any Linux arm32 testing in internal so far)

* Enable Debian.9.Arm64.Open (running on Ubuntu.1604.Arm64.Docker.Open) against scheduled runs

* Enable Alpine.38.Arm64 (running on Ubuntu.1604.Arm64.Docker) in internal project

Change PermissionSet.SyncRoot to return this instead of null (#23631)

Match BOX idioms early in the importer (#23550)

revert comment change:
# Checked test builds

Disable load byte array (#23638)

* Disable AssemblyLoadByteArrayName test

* Fix typo

Disable AssemblyLoadByteArrayName test (#23635)

Fix bad Debug.Assert statements in UTF-8 processing (#23627)

LSRA cleanup (#23617)

* LSRA cleanup

These are zero-diff changes. Some cleanup, some in preparation for improvemetns to save/restore of upper vectors.

Add new era in Japan called "Reiwa" (#23614)

* Add new era in Japan called "Reiwa"

* Update Japanese eras English names

refs: <https://github.com/dotnet/coreclr/pull/23614#issuecomment-478680005>

[master] Update dependencies from dotnet/corefx (#23593)

- Microsoft.NETCore.Platforms - 3.0.0-preview4.19181.2
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview4.19181.2

Enable R2R compilation/inlining of PInvoke stubs where no marshalling is required (#22560)

* These changes enable the inlining of some PInvokes that do not require any marshalling. With inlined pinvokes, R2R performance should become slightly better, since we'll avoid jitting some of the pinvoke IL stubs that we jit today for S.P.CoreLib. Performance gains not yet measured.

* Added JIT_PInvokeBegin/End helpers for all architectures. Linux stubs not yet implemented
* Add INLINE_GETTHREAD for arm/arm64
* Set CORJIT_FLAG_USE_PINVOKE_HELPERS jit flag for ReadyToRun compilations
* Updating R2RDump tool to handle pinvokes

Merge branch 'master' into pipeline-work

Enable negative type-check results in CoreLib version bubble (#23549)

This negative type-check results are necessary to generate good code for AsyncTaskMethodBuilder.AwaitUnsafeOnCompleted

re-add test exclusion for #23545 (#23598)

Update dependencies from https://github.com/dotnet/core-setup build 20190329.11 (#23594)

- Microsoft.NETCore.App - 3.0.0-preview4-27529-11

Update dependencies from https://github.com/dotnet/arcade build 20190329.2 (#23592)

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19179.2
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19179.2

Fix ARM64 isFullyImplementedIsa (#23590)

Update dependencies from https://github.com/dotnet/core-setup build 20190329.11

- Microsoft.NETCore.App - 3.0.0-preview4-27529-11

Implement IEquatable to Memory and ReadOnlyMemory (#23586)

Clean up AssemblyLoadContext30Extensions test (#23581)

Build test against corefx ref facade
Enable Assembly.Load(byte[], ...) test

Merge pull request #23579 from sandreenko/removeFedoraRuns

Remove Fedora runs.

Increase GCStress test timeouts. (#23576)

New machines are slower that we had before, so increate the timeout for the longest runs.

Make tracelogging GCStressIncompatible. (#23578)

A new way of tracking variables (#23373)

* Defining VariableLiveRange class

* Adding some typedefs to avoid rewriting

* Defining VariableLiveDescriptor class

* Initializing VariableLiveRange structures before BasicBlock code is being generated

* Getting a siVarLoc for variable homes from a given LclVarDsc and stack level

* Defining VariableLiveKeeper class

* Reporting VariableLiveRanges on changes of variable livenesss or variable homes

* Adding USING_VARIABLE_LIVE_RANGE flag to enable disable VariableLiveRange

* Send VariableLiveRanges to debugger

* Reporting variable homes on prolog

* Wrong argument

* Miss to change variable homes count before sending them to debugger

* Adding dumper of VariableLiveRanges for each blocks and end of code generation

* Close all open VaribleLiveRanges on last BasicBlock

* Changing order of properties initialization on VariableLiveRange constructor

* Type error on assignation

* Rephrasing comments, moving dumps and fixing typos

* Changing const VARSET_TP* for VARSET_VALARG_TP on args

* Variable home was variable location in VariableLiveRange context

* Rephrase and rename of VariableLiveKeeper properties

* Missing some renames

* Adding const where BasicBlock should not be modified

* siBeginBlock and siInit have support for debug code for VariableLiveRange and siScope info

* Adding USING_VARIABLE_LIVE_RANGE flags on methods definition.

* Variable home -> variable location

* Renaming and rephrasing names and uses of VariableLiveRange

* Moving LiveRangeDumper ctor to class declation

* Removing destructors

Signed-off-by: Brian Bohe <brianbohe@gmail.com>
* Removing blank spaces and reordering functions inside class definition

Signed-off-by: Brian Bohe <brianbohe@gmail.com>
* Miss to increment the index after refactoring

* Logic for keeping the last BasicBlock end IL offset is shared between siScope and VariableLiverange for debug code

* Missing to print on debug the last block VariableLiveRanges

* Avoid updating VariableLiveRange when unspilling and dying at the same assembly instruction

* Rephrasing #ifs and #ifdefs

* Calling VariableLiveKeeper in one line

* Avoid copying siVarLoc on genSetScopeInfo

* Removing unused args from eeSetLVinfo

* Changing VariableLiveKeeper ctor

* Typo

Signed-off-by: Brian Bohe <brianbohe@gmail.com>
* Updating VariableLiveDescriptor ctor

Signed-off-by: Brian Bohe <brianbohe@gmail.com>
* Error on first argument

Signed-off-by: Brian Bohe <brianbohe@gmail.com>
* Changing reference for pointer

Signed-off-by: Brian Bohe <brianbohe@gmail.com>
* Renaming assembly offset -> native offset

* removing unnecesary comments and asserts

Signed-off-by: Brian Bohe <brianbohe@gmail.com>
* Update VariableLiveRange dump message

Signed-off-by: Brian Bohe <brianbohe@gmail.com>
* Moving VariableLiveRanges classes inside VariableLiveKeeper

* Wrong flag name

* Adding documentation about how we track variables for debug info

Signed-off-by: Brian Bohe <brianbohe@gmail.com>
* Adding opened issues to doc file

Signed-off-by: Brian Bohe <brianbohe@gmail.com>
* Changing dump tittle

Signed-off-by: Brian Bohe <brianbohe@gmail.com>
* Renaming VariableLiveKeeper property

Signed-off-by: Brian Bohe <brianbohe@gmail.com>
* Update documentation

Signed-off-by: Brian Bohe <brianbohe@gmail.com>
* Updating comments on flags

Signed-off-by: Brian Bohe <brianbohe@gmail.com>
* Setting Scope Info as default way of tracking variables for debug info

Signed-off-by: Brian Bohe <brianbohe@gmail.com>

Fix HW intrinsic containment bugs (#23558)

* Fix HW intrinsic containment bugs

For the Fma case (#23430), fix the handling of contained 3-operand HW intrinsic nodes.
For the Bmi case (#23534), fix a bad assert placement, and re-enable the Bmi tests.

Fix #23530
Fix #23534

* Add guard for Fma test

Assembly.Load ALC name (#23574)

Use normalized path for ALC name

Remove Fedora runs.

GCStress fails there because it can't use external disasembler when it is available in CoreRoot.

Merge pull request #23533 from briansull/Issue_23441

Fix for issue 23411

Increase GCStress test timeouts.

New machines are slower that we had before, so increate the timeout for the longest runs.

Rework Debug/Release builds
Revert Check build changes

Use GenTreeStmt* where it is implied. (#22963)

* Extract `impAppendStmt` and `impExtractLastStmt`.

* Delete `BEG_STMTS` fake stmt.

Use new functions to keep the list updated.

* Retype `impTreeList` and `impTreeLast` as statements.
Rename `impTreeList` and `impTreeLast` to show that they are statements.

* Fix fields that have to be stmt.

* Start using GenTreeStmt.

Change `optVNAssertionPropCurStmt` to use GenTreeStmt.
Replace `GenTree* stmt = block->bbTreeList` with `GenTreeStmt* stmt = block->firstStmt()`.
Save results of `FirstNonPhiDef` as `GenTreeStmt`.

* Replace do-while with for loop.

* Change type inside VNAssertionPropVisitorInfo.

* Delete unused args fron `optVNConstantPropOnTree`.

* Update fields to be stmt.

Update optVNConstantPropCurStmt to use Stmt.
Change `lvDefStmt` to stmt.
Update LoopCloning structs.
Update `optDebugLogLoopCloning`.
Make `compCurStmt` a statement.
Update declaration name in `BuildNode`.

* Clean simple cpp files.

Clean valuenum.
Clean ssabuilder.
Clean simd.
Clean optcse.
Clean loopcloning.
Clean copyprop.
Clean optimizer part1.

* Start cleaning importer, morph, flowgraph, gentree.

* Continue clean functons.

Clean assertionprop.
Clean morph.
Clean gentree.
Clean flowgraph.
Clean compiler.
Clean rangecheck.
Clean indirectcalltransofrmer.
Clean others.

* Create some temp stmt.

* Delete unnecessary noway_assert and casts.

* Init `impStmtList` and `impLastStmt` in release.

* Response review 1.

Simplify and unify Vector64/128/256 platform-agnostic intrinsic handling (#23028)

* Simplify and unify Vector64/128/256 platform-agnostic intrinsic handling

* Removed unsupported ISAs

Rework the if statements

clone the whole code block and have two separate blocks for jobs
 - one for coreclr-ci and another for coreclr-outerloop.

Use char16_t for *_W macros in corhdr.h on Linux/MacOs (#23559)

It fixes COR_CTOR_METHOD_NAME_W and many other macros on Linux
to be of type char16_t[] (not wchar_t[]) by using W("") instead of L"".

Bug: #21977

exclude failing test. (#23566)

Update dependencies from https://github.com/dotnet/corefx build 20190328.7 (#23555)

- Microsoft.NETCore.Platforms - 3.0.0-preview4.19178.7
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview4.19178.7

Remove / move to outer loop:
coreclr-ci (Test Pri0 Linux_musl arm64 checked)
coreclr-ci (Build Linux_musl arm64 debug)
coreclr-ci (Build Linux arm64 debug)
coreclr-ci (Build Linux_musl arm64 release)
coreclr-ci (Build Linux arm debug)
coreclr-ci (Build Linux_rhel6 x64 checked)
coreclr-ci (Build Linux_rhel6 x64 debug)
coreclr-ci (Build Windows_NT arm64 Debug)
coreclr-ci (Test Pri0 Linux_rhel6 x64 checked)
coreclr-ci (Build Linux_musl x64 debug)
coreclr-ci (build OSX x64 Debug)
coreclr-ci (build OSX x64 Release)
coreclr-ci (Build Windows_NT arm Debug)
coreclr-ci (build Linux x64 Debug)
coreclr-ci (build Linux x64 Release)
coreclr-ci (Build Linux arm release)
coreclr-ci (Build Windows_NT x64 Debug)
coreclr-ci (build Windows_NT x86 Release)

Correctly marshal structure return values in member functions on Win-x64 and Win-x86 (#23145)

* In Windows-x64, if we have a native member function signature with a struct return type, we need to do a by-ref return.

* Implement support for marshalling structure return values via a return buffer argument correctly in instance signatures on AMD64-Windows.

* Change field initialization ordering to satisfy warning.

* Try to narrow down the conditions that trigger these changes to just COM methods.

* Don't bash the return type on AMD64 Windows. Only treat it as a byref return buffer.

* PR feedback.

* Enable returning structs from COM methods via a return buffer on x86 for structs <= 8 bytes.

* Add test for struct returns with ThisCall. Extend the "struct return buffer" fix to functions marked as unmanaged thiscall since they all must be instance methods

* Don't include the return-type-bashing switch on AMD64 platforms.

* Don't do the signature swapping/copy on non-instance functions with struct returns.

* Cast the return type of GetStubTargetCallingConv to the right calling convention enum type.

* If we're doing a thiscall, marshal the "this" parameter before the return buffer (if the return buffer exists) on all platforms.

* Remove temporary logging code I added in for debugging.

* Clean up class naming.

* Try using a vtable instead of a pointer-to-member-function.

* Remove delete of class with non-virtual destructor

Merge pull request #23423 from franksinankaya/gcc_cleanup_16

SSE abstraction for GCC and abstract __if_exists

Change Timer implementation on Unixes to use only one scheduling thread (#7071)

* Change Timer implementation on Unixes to use only one scheduling thread

- Separated from https://github.com/dotnet/corert/pull/7066

* Address feedback from https://github.com/dotnet/corert/pull/7066

* Remove reference to s_lock

* Reduce work inside lock

* Move _id

* Fix duplicate timers in scheduled timer list, move info to TimerQueue

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Update dependencies from https://github.com/dotnet/core-setup build 20190328.14 (#23556)

- Microsoft.NETCore.App - 3.0.0-preview4-27528-14

Update dependencies from https://github.com/dotnet/arcade build 20190329.1 (#23554)

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19179.1
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19179.1

if exists

llvm

Unify clang with GNUC

Enable SSE for GCC

 Updating BuildTools, CoreCLR to preview4-03828-01, preview4-27528-71, respectively (#23536)

* Removing FeedTasksPackageVersion from dependencies.props
* The corresponding metadata was removed in https://github.com/dotnet/coreclr/pull/22884

* Updating BuildTools, CoreCLR to preview4-03828-01, preview4-27528-71, respectively

* Adding a ! in String.Searching.cs

Avoid boxing allocations for async in Tier0 (#22984)

Delete simple unused vars2 (#23491)

* Clean `valuenum.cpp`.

* Clean `emitarm64.cpp`.

* Clean `lsraarm64.cpp`.

* Clean `lsraarmarch.cpp`.

* Clean `lowerarmarch.cpp`.

* Clean `lower.cpp`.

* Clean `ssabuilder.cpp`.

* Clean `simd.cpp`.

* Clear `simdcodegenxarch.cpp`.

* Clean `lowerxarch.cpp`.

* Clean `scopeinfo.cpp`.

[master] Update dependencies from dotnet/core-setup (#23407)

* Update dependencies from https://github.com/dotnet/core-setup build 20190328.01

- Microsoft.NETCore.App - 3.0.0-preview4-27528-01

Simplify StackFrame class (#23483)

Delete RuntimeThread.cs (#23532)

No longer needed

Improve performance of Marvin32 (#22816)

Exclude failing in PRs tests 2. (#23540)

* exclude failing in PRs tests

* And another one.

* Exclude for all platforms.

Delete `setup_coredis_tools` from runtest.py. (#23495)

* Delete `setup_coredis_tools` from runtest.py.

* delete dead `setup_coredis_tools` .

Fix for issue #23441
Added test case GitHub_23411

Fix increment calculation in IncrementingPollingCounter (#23502)

* Add test for IncrementingPollingCounter

* Fix a bug in Increment calculation in IncrementingPollingCounter

* Remove setting DisplayName property since that's a private property for now

* fix comment

* Remove unused variables

Exclude failing in PRs tests. (#23535)

* exclude failing in PRs tests

Fix codegen for StoreNonTemporal (#23511)

* Fix codegen for StoreNonTemporal

Also, add some asserts and mark some intrinsics as not supporting containment.

Fix #23509

Restrict Ubuntu.1404.Arm32.Open from running against PRs (#23523)

Struct & SIMD improvements (#22255)

* [WIP] Struct & SIMD improvements

- Enable CSE of struct values when handle is available (and add code to get the handle of HW SIMD types)
- Don't require block nodes for SIMD assignments
- Don't set `GTF_GLOB_REF` on `GT_OBJ` if it is local
- Set `lvRegStruct` on promoted SIMD fields
- Add tests for #19910 (fixed with this PR) and #3539 & #19438 (fixed with #21314)
- Additional cleanup

Fix #19910

Fix Helix queue names (#23468)

* Fix Helix queue names

* Fix open Deb9 queue name.

Switch to BYOC BuildPools in internal project (#23501)

* dnceng-linux-internal-temp -> BuildPool.Ubuntu.1604.Amd64
* dotnet-internal-temp -> BuildPool.Windows.10.Amd64.VS2017

Merge pull request #23519 from BruceForstall/RestoreWindowsArmBuildJobs

Restore Windows arm32/arm64 innerloop build jobs

Nullable: System.Object (#23466)

Nullable: all calendars (#23469)

* calendar

* nullable: all calendars

* fix likely corert error

Nullable: System.Char (#23480)

Restore Windows arm32/arm64 innerloop build jobs

These are required by the innerloop flow jobs.

Merge pull request #23325 from VSadov/CmpExchA64

Resolve 22303   (interlocked failures on ARM64)

GetPinnableReference on String.cs (#23428)

* GetPinnableReference on String.cs

* Add attributes for debugger and performance

[master] Update dependencies from dotnet/arcade (#23406)

* Update dependencies from https://github.com/dotnet/arcade build 20190327.11

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19177.11
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19177.11

[master] Update dependencies from dotnet/corefx (#23455)

* Update dependencies from https://github.com/dotnet/corefx build 20190328.1

- Microsoft.NETCore.Platforms - 3.0.0-preview4.19178.1
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview4.19178.1

Move QueryPerformanceCounter PInvokes to shared (dotnet/corefx#36409)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Nullable updates for byte type (#23460)

Nullable changes for boolean type (#23451)

* Nullable changes for boolean type

Nullable: String (#23450)

nullable: number (#23454)

Nullable: Uint32, (U)Int16, (U)Int64 (#23449)

* Nullable: UInt32

* (U)Int16, (U)Int64

* Make NumberFormatInfo non-nullable

Nullable: Int32 (#23443)

* Nullable: Int32

* remove restore and move nullable up front

* remove trailing \n after #nullable to make it easier to remove later

ALC Enhancement nits (#23506)

isCollectible default should be false
String should be string

ALC enhancements (#22273)

* Initial implementatation of ALC enhancements

Add public constructor with name
Add Name property
Add Assemblies property
Add All property
Override ToString
Name Default and Assembly.Load(...) ALCs
Add AssemblyLoadContext30Extensions test

Extend WindowsEventLog test for EntryPointFilter (#23178)

* Extend WindowsEventLog test

Verify EntryPointFilter solves logging problem with native host swallowing exceptions

WindowsEventLog only look at new entries
WindowsEventLog remove time check

Add mechanism to corhost to emulate host swallowing all exceptions

* PR feedback

Update DllMap doc (#22804)

* Update DllMap doc

Update DllMap design doc:
* To note the NativeLibrary APIs that can be used to implement DllMap
* To point to a sample implementation of DllMap.

Add ALC.ContextualReflection.md (#23335)

Revert "Delete unused variables in jit. Part 2. (#23481)" (#23488)

This reverts commit 6cb120cc74ca61fc314e3cc43007778d2aafd041.

Delete unused variables in jit. Part 2. (#23481)

* Clean `valuenum.cpp`.

* Clean `emitarm64.cpp`.

* Clean `lsraarm64.cpp`.

* Clean `lsraarmarch.cpp`.

* Clean `lowerarmarch.cpp`.

* Clean `lower.cpp`.

* Clean `ssabuilder.cpp`.

* Clean `simd.cpp`.

* Clear `simdcodegenxarch.cpp`.

* Clean `lowerxarch.cpp`.

* Clean `scopeinfo.cpp`.

* Clean `hwintrinsiccodegenxarch.cpp`.

Eliminate EventPipeBuffer::Close()

Fixing the codegen for x64 intrinsics to use EA_8BYTE where needed. (#23461)

Add call to setup-stress-dependencies.sh to build-test.sh. (#23435)

Update CoreFX arm64 test exclusions. (#23463)

Replacing the /Trusted_Platform_Assemblies switch with a simpler /r switch that can be used multiple times in the command line to provide a list of reference assemblies. Reference assemblies can now be passed as individual file entries instead of a giant string of semi-column separated entries. (#23462)

Use DotNet-HelixApi-Access only in internal project (#23479)