Merge pull request #14522 from dotnet/wtgodbe-patch-1

Parameterize PublishFlatContainer in x86 build

spill GT_RET_EXPR inside fat calli candidates. (#14520)

spill ret expr

Delete dead code (#14521)

Optimize native build of coreclr repo - 3x less memory , 11% build time improvement  (#14509)

* Fix native build overparallelism

* Fix native build parallelization problems

* Allow overriding all build workaround parameters

* Fix cleanup ommisions and local environment variable naming

* Address code review feedback

* Fix nul spelling and add standard message prefix

* Simplify settings for CL compiler parallelism

* Address code review feedback - remove whitespace

Parameterize PublishFlatContainer in x86 build

This was missed in my last change to parameterize PublishFlatContainer across the board, and is what was causing the failures in today's pipe builds. We only want to publish non-flat for Release builds, but were hardcoding PublishFlatContainer=true for all builds in the x86 definition.

Update CoreFx to preview1-25816-01 (#14516)

Merge pull request #14519 from adiaaida/fixThroughputScript

Fix call to submission.py in run-throughput-perf.py

Fix call to submission.py in run-throughput-perf.py

In run-throughput-perf.py, we were calling submission.py with --arch,
but submission.py requires -arch or --architecture. This recently made
submission.py start failing in throughput jobs.

This change also fixes run-throughput-perf so that if submission.py or
upload.py fail, the script fails so we see these jobs as failing in the
lab.

Forbid to clone GT_RET_EXPR (#14495)

* Forbid to clone GT_RET_EXPR

It potentially creates non-unique trees.

Environment.SystemDirectory: Avoid StringBuilder overhead (#14513)

* Environment.SystemDirectory: Avoid StringBuilder overhead

Use a stack allocated buffer, with fallback to a char array.

Update CoreFx to preview1-25815-02 (#14511)

Delete contract annotations (dotnet/corert#4722) (#14507)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Update BuildTools, CoreFx, PgoData to prerelease-02113-01, preview1-25814-02, master-20171012-0049, respectively (#14476)

Delete EnvironmentAugments.GetEnvironmentVariables (#14500)

CoreFX has been using EnumerateEnvironmentVariables for a while now.

Remove temp unsafe stackalloc workarounds for Span (#14503)

Delete unnecessary Debug.Assert (#14504)

Fix ILLink perf benchmark

This commit implements the following two changes to fix the
failure in ILLink perf test.

1) Fix Roslyn benchmark

Use ILLink.Tasks package to build the Roslyn linked benchmark,
now that Roslyn can target netcoreapp2.0.

2) Disable Musicstore temporarily

Disabling MusicStore build temporarily, since there's a build failure.

Merge pull request #14465 from sdmaclea/PR-ARM64-DUP-DV_2D

[ARM64] Fix INS_dup DV_2D encoding

Add EventSource event for dropped async state machines (#14497)

One of the main bugs we've seen with async methods in production are cases where an async method awaits something that's never completed and is then just dropped.  This in turn allows the async state machine to be collected, such that subsequent dumps have no usable information to determine what hung and where.

To help diagnose such issues, this commit adds an EventSource event that fires when an async state machine is collected without having been completed.  When that happens, it dumps a textual representation of itself into a string and sends that to an event.

Doing this depends on the recent changes that were made to how we box async state machines to the heap.  Now that we do so with an explicit strongly-typed "box" instead of a normal runtime box, when the event source event is enabled, we can instead instantiate a derived and finalizable box, where the finalizer is responsible for firing the event, and we then suppress finalization when the async method completes.  The only async method state machines that are then finalized are those that are allowed to be collected before they're completed.

Disabling legacy banckend perf CQ and scenario runs (#14468)

- Recent changes to enforce data validation uncovered bug on the legacy backend runs. Now, we do not allow to upload tests with no performance data.
  CQ run bug tracked by: #14463
  JitBench run bug tracked by: #14477

Merge pull request dotnet/corert#4719 from dotnet/nmirror

Merge nmirror to master

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Updates to the jit bench harness (#14467)

Updates to the jit bench harness

Introduce a number of new options:
* use-existing-setup to reuse a previously set up environment
* iterations to control number of iterations
* tiering to enable tiered jit
* disable-r2r to disable loading of R2R images
* disable-ngen to disable loading of NGEN images
* minopts to force jit to generate minopts code

Also start tracking average response time. This is not yet "uploaded"
since the underlying data reported by the app needs some updates.

Optimize type casts (#14420)

JIT: optimize type casts

Implement the jit interface compareTypesForEquality method
to handle casts from known types to known types, and from
shared types to certain interface types.

Call this method in the jit for castclass and isinst, using
`gtGetClassHandle` to obtain the from type. Optimize sucessful
casts and unsuccessful isinsts when the from type is known
exactly.

Undo part of the type-equality based optimization/workaround
in the AsyncMethodBuilder code that was introduced in #14178
in favor of interface checks. There is more here that can
be done here before this issue is entirely closed and I will
look at this subsequently.

This optimization allows the jit to remove boxes that are
used solely to feed type casts, and so closes #12877.

Merge pull request #14498 from wtgodbe/CloudDropAccountName

Unify CloudDropAccountName

Unify CloudDropAccountName

Merge pull request #14496 from wtgodbe/WorkingDir

Correctly set working folder in publish

Correctly set working folder in publish

Fix compile error with crossgen CreatePDB on Unix (#14488)

- Fix wchar string literals
- Fix init order of class fields

Allow not to build SOS.NETCore.dll (#14404)

* Allow not to build SOS.NETCore.dll

* Automatically enable SkipSOS when a mscorlib option is given

Merge pull request #14466 from sdmaclea/PR-Fix-14464

Fix JIT/HardwareIntrinsics/IsSupported.cs

Merge pull request #14380 from dotnet-maestro-bot/master-UpdateDependencies

Update BuildTools, CoreFx, PgoData to prerelease-02111-02, preview1-25812-01, master-20171009-0050, respectively (master)

Merge pull request #14440 from briansull/needs-reloc

Refactor some code using opts.compReloc

Merge pull request #14457 from wtgodbe/FixTestAndPublish

Fix native binary syncing & myget publish

Fix Linux x86 break (#14461)

Fix #14418 (#14419)

Adds the appropriate handling of the default ILCodeVersion in DacDbiInterfaceImpl::GetILCodeVersionNode

Fix JIT/HardwareIntrinsics/IsSupported.cs

Add more debug logging to tiered compilation manager (#14425)

* Add more debug logging to tiered compilation manager

* Fixed format specifiers for pointer sized arguments

* A few additional tieredcompilation logging improvements

Fix #14427 (#14429)

Enumerate all of the jitted instances of a method using the tiered compilation manager

[ARM64] Fix INS_dup DV_2D encoding

Merge branch 'master' into needs-reloc

Fix native binary syncing & myget publish

Adjust whitespace for clang format

Fixed references to images. (#14443)

Fixed formatting typo (#14452)

Fixed Typo / C++ Syntax Highlighting (#14450)

Fixed incorrect (escaping?) characters '_' in code blocks.
Enabled C++ Syntax Highlighting.

Fixed typo (#14449)

Fixed formatting typo. (#14448)

Generate xorps instead of xorpd (#14385)

xorps is one byte shorter when AVX is not used. Also saves a call to genGetInsForOper.

Delete System.Runtime.Intrinsics.X86 package reference

Simplify SSE2 check for RyuJIT/x86 (#14432)

Update BuildTools, CoreFx, PgoData to prerelease-02111-02, preview1-25812-01, master-20171009-0050, respectively

Refactor code for constant handles that reference opts.compReloc to use ImmedValNeedsReloc()

Merge pull request #14439 from wtgodbe/CrossbuildFlat

Specify PublishFlat in Crossbuilds

Specify PublishFlat in Crossbuilds

Merge pull request #14438 from wtgodbe/PublishFixes

Fix final issues with publish in pipeline

Fix final issues with publish in pipeline

Merge pull request #14437 from wtgodbe/IdentityPackages

Only produce identity packages on Windows

Update CentOS 6 docker image (#14433)

This update fixes problem with git not supporting https protocol

Only produce identity packages on Windows

Add instructions on how to install lldb 3.9 for core dumps

Merge pull request #14422 from noahfalk/fix_14421

Fix 14421

Merge pull request #14430 from noahfalk/fix_14428

Fix #14428

Merge pull request #14424 from noahfalk/fix_14423

Fix #14423

Delete !FEATURE_IMPLICIT_TLS (#14398)

Linux and Windows arm64 are using the regular C/C++ thread local statics. This change unifies the remaining Windows architectures to be on the same plan.

Merge pull request #14436 from wtgodbe/fixSlashes

Remove double slashes from publish blobs

Remove double slashes from publish blobs

Fix #14428

Now using an offset calculation that is correct for all of a method's jitted code versions.

Fix #14423

The JIT now invokes the debugger's JITComplete callback on every jitting of a method

Fix 14421

Disable tiered jitting in debuggable methods.

I also removed the policy comment because I'm not aware of any more planned changes we'll need to make to the policy here.

Merge pull request #13795 from wtgodbe/PublishPlayground

Use new publish mechanism in CoreCLR

Proof-of-concept of using new Publish infra in coreclr

Add CompareInfo.Invariant.cs to shared corelib partition

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Fix AllocationTick_V3 depending on _V2 to be enabled (#14338)

Update to 2.0 RTM CLI (#14396)

* Update to 2.0 RTM CLI

* PR feedback

Fixed typo in Optimization Phases Notes Section (#14408)

hosted -> hoisted

do not spill stack after CEE_NEWARR and CEE_NEWOBJ. (#14401)

Fixes coreRT issue with "InitializeArray intrinsic must always be
expanded".

Move CompareInfo.cs to shared corelib partition (#14407)

Turn on source link support (#14399)

* Use Portable PDBs and turn on SourceLink

This makes us uniform.   Allows VSCode (which does not suport MSPdbs) use on Windows.

* Allow DebugType to be overridden (on the command line)

* Turn off portable PDB support for now

Fix case of environment vars

The case of the COMPlus_ environment variables matters on Linux.  Fix instructions to be consistent.

Fixing a Typo in README.md (#14405)

Just deleted one of the two "for"s in the Setting up your GIT Clone of the CoreCLR Repository.

JIT: improve type equality opts for generic and prejitted code (#14381)

Handle cases where a `GetType()` call on a generically typed object
feeds into a type equality comparison.

These calls have constraint prefixes. For value classes the constraint
tells us the type and so we can avoid the box and call and just construct
that type directly. For ref classes the type test can usually reduce to
a method table comparison.

Also, handle cases that arise in prejiited code better, by generalizing
how the jit looks for class handles from type construction trees.

Added test cases.

Closes #14304.

Merge pull request #14394 from stephentoub/undo_strcomp

Undo unnecessary change from DateTime.Parse commit

Fixing JitBench (#14364)

- In the lab, the path where the JitBench sources are downloaded is already too long, which eventially causes `dotnet-install.ps1` to fail. Part of the changes are to reduce the PATH where the tests are placed.
- Updated the JitBench version/commit being used. This one is already on 2.1
- Fixing typo on `perf.groovy`
- Increasing the timeout value as JitBench keeps failing on the lab.

Merge pull request #14382 from mikedn/dead-opers

Removed unused opers and code

Fix zap and ready to run disabling (#14389)

* Fix zap and ready to run disabling

While the COMPlus_ZapDisable and COMPlus_ReadyToRun config settings
can be used to disable using crossgened / ready to run images, loading
IL from such images fails.
This change foxes that.

* Reflect PR feedback

Remove ReadyToRunInfo::IsReadyToRunEnabled from Module::Initialize again
and move the same check in the ReadyToRunInfo::Initialize before we
start checking the PE file properties.

Merge pull request #14386 from adityamandaleeka/ryujit_doc_fix

Fix incorrect name of class in RyuJIT overview

Undo unnecessary change from DateTime.Parse commit

This change shouldn't have been included in my DateTime.Parse span change.  It was left-over from some local experimentation.  The change doesn't hurt anything functionally, but it does undo a small optimization; I've not measured whether it's impactful or not, so I'm putting it back the way it was.

[GDBJIT] Make gdbjit thread-safe & bug fix (#14390)

* [GDBJIT] Fix DW_AT_comp_dir setting

We should use cuPath to set dirPath in NotifyGdb::EmitDebugInfo instead of
DebugString[1].

* [GDBJIT] Make gdbjit thread-safe

NotifyGdb::MethodPrepared method can be called from multiple threads
simultaneously in this case gdbjit will work incorrectly as it uses
global variable without synchronization.

Parent class of Interval and RegRecord is Referenceable.

Removed unused opers and code

* GT_DIV_HI and GT_MOD_HI are not used anywhere
* genCodeForBinary doesn't handle GT_MUL_LONG
* OperIsHigh is not used anywhere

Update CoreFx, PgoData to preview1-25807-01, master-20171007-0052, respectively (#14378)

Fix numa build break (#14370)

This change fixes a break in build of coreclr on machines with libnuma
installed. The problem was that the numa header contains a couple of
inlined functions and we were using one of them. That made it to
have a hard reference to a function from the numa library that we
need to be soft so that coreclr can work even on machines without
the libnuma installed.

Merge pull request #14353 from BruceForstall/ArmAssertFixes

Fix RyuJIT/arm32 asserts

Delete dead code (#14365)

Delete some dead code related to Windows Phone and code access security

Merge pull request #14369 from stephentoub/fix_cont_handling

Fix handling of continuations for captured context

Fix handling of continuations for captured context

My recent delegate optimization for async methods introduced a race condition that breaks posting back to a captured context.  If the awaited task completes between the time we check IsCompleted and when we try to store the continuation into the Task, we need to queue the continuation for execution, but my change incorrectly queued it to the thread pool rather than to the captured context.

Merge pull request #14352 from stephentoub/datetime_span

Add Span-based methods to DateTime{Offset}

Fix RyuJIT/arm32 asserts

Fix #14199: propagate `GTF_EXCEPT` bits from the end of `GT_FIELD_LIST`
lists to the beginning, to avoid "Missing flags on tree" asserts.

Fix #14198: for RyuJIT/arm32, `GT_BITCAST` needs to be a MultiRegOp.
This is required when a varargs function, which includes the tailcall
helper, needs to pass a double in integer registers. We can end up
with `GT_PUTARG_REG/long(GT_BITCAST/long(double tree))`.

Fixed various GenTree node flags dumping issues.

Merge pull request #14333 from dotnet-maestro-bot/master-UpdateDependencies

Update BuildTools, CoreClr, CoreFx, PgoData to prerelease-02106-01, preview1-25806-01, preview1-25806-02, master-20171006-0051, respectively (master)

undef NULL to fix compilation problems on FreeBSD after 08d39dd. (#14341)

* undef NULL to fix compilation problems on FreeBSD after 08d39dd.

* remove unneccesary #ifndef NULL