Merge pull request #10575 from adityamandaleeka/544701_reduce_consolewrites

Reduce console writes in 544701

Add PGO support for Clang/LLVM on Unix (#10533)

Extend PGO support from VC++ on WIN32 to Clang/LLVM on UNIX as well.
* Just like on Windows: if profile data is missing, skip enabling PGO
  (allows non-PGO builds in branches where we don't publish PGO data).
* PGO with LTO requires additional dependencies (namely a discoverable
  `ld.gold` and `LLVMgold.so`). To protect against broken support and
  keep the build flexible across a wider array of distros, attempt to
  detect whether PGO compilation would work (using cmake's
  `try_compile()`), and fall back to a non-PGO/non-LTO build if the test
  fails.

Delete moved files

Merge pull request dotnet/corert#3141 from dotnet/nmirror

Merge nmirror to master

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Revert "TimeSpan.FromMilliseconds(TimeSpan.MaxValue.TotalMilliseconds) exception fix (#10352)" (#10552)

This reverts commit 7951bc9accbbf9552d9b5c8105df8f5a32d6c3ab.

Reduce console writes in 544701.

Reflect PortableRIDs in Identity packages (#10567)

[Linux/x86] Change non-PR Linux/x86 build CI job to daily job (#10551)

This commit change non-PR Linux/x86 build CI job to daily job.
This job only perform build process now,
but it will be perform Linux/x86 CoreCLR unittest later.
And build result could be used for Linux/x86 CoreFX unittest.

Switch to produce Preview1 packages (#9886)

Merge pull request #10506 from adityamandaleeka/handle_table_local_gc_init

Create an IGCHandleTable interface

JIT: improve types for single def locals and temps (#10471)

* JIT: improve types for single def locals and temps

Track whether a local has a single definition, and if so, if it has
a reference type, try and update its type from the declared type to
a better type taken from the value being assigned to the local.

Obtain types for some of the 'short-lived' ref type temps that should
have a single definition. Use both the tree and the eval stack as sources
of type information (the latter can be phased out if/when all tree nodes
can return rich type information).

Refactor the code that sets or updates lvClassHnd into utilities
to provide better auditing of type flow and make the set/update process
a bit more rigorous.

Cleanup the code that passes argument values a bit by commoning redundant
argument lookup expressions.

Merge pull request #10564 from JosephTremoulet/SelfAssign

Take fields into account checking for self-assign

Update CoreClr, CoreFx to beta-25129-03, beta-25129-02, respectively (#10539)

change JitEE interface signature for getReadyToRunDelegateCtorHelper (#10562)

[tfs-changeset: 1652444]

Fix some bugs in Linux ILLINK testing.

Fix a few problems in the <test>.sh generation for
running CoreCLR tests on Linux via ILLINK

Create a GCHandleTable interface with Init/Shutdown.

Re-enable multi-queue for coreclr (#10541)

* Add multiqueue Support for coreclr.

Add multiqueue Support for coreclr.

* Upload build results to ONE linux container

Upload build results to ONE linux container

* Fix helixpublish.proj

Fix helixpublish.proj

* Adding more logs.

Adding more logs.

* Revert logging changes.

Revert logging changes.

* Use build version containing support of "+" delimiter

Use build version containing support of "+" delimiter

* Fix indention.

Fix indention.

* Update to use latest tools.

Update to use latest tools.

* Use an older tool as latest has a wired error on "Run build.sh" step.

Error details:
2017-03-28T23:30:13.2659430Z Running:
/root/coreclr/Tools/dotnetcli/dotnet /root/coreclr/Tools/run.exe
/root/coreclr/config.json build -Project=/root/coreclr/build.proj
-MsBuildLog=/flp:Verbosity=normal;LogFile=/root/coreclr/bin/Logs/System.Private.CoreLib_Checked.log
-BuildTarget -__IntermediatesDir=/root/coreclr/bin/obj/Linux.x64.Checked
-__RootBinDir=/root/coreclr/bin -BuildNugetPackage=false
-UseSharedCompilation=false -BuildArch=x64 -BuildType=Checked
-BuildOS=Linux
-OptimizationDataDir="/root/coreclr/packages/optimization.Linux-x64.IBC.CoreCLR//data/"
-EnableProfileGuidedOptimization=true -skiprestore
-OfficialBuildId=20170329-01 -- /p:ConfigurationGroup=Release
/flp:v=diag
2017-03-28T23:30:13.6855470Z Running: /root/coreclr/Tools/msbuild.sh
/nologo /verbosity:minimal /clp:Summary /maxcpucount
/l:BinClashLogger,Tools/net46/Microsoft.DotNet.Build.Tasks.dll;LogFile=binclash.log
/p:RestoreDuringBuild=false  /root/coreclr/build.proj
/p:__BuildType=Checked /p:__BuildArch=x64 /p:__BuildOS=Linux
/p:__RootBinDir=/root/coreclr/bin
/p:__IntermediatesDir=/root/coreclr/bin/obj/Linux.x64.Checked
/p:OfficialBuildId=20170329-01 /p:EnableProfileGuidedOptimization=true
/p:OptimizationDataDir="/root/coreclr/packages/optimization.Linux-x64.IBC.CoreCLR//data/"

/flp:Verbosity=normal;LogFile=/root/coreclr/bin/Logs/System.Private.CoreLib_Checked.log
/p:BuildNugetPackage=false /t:Build /p:UseSharedCompilation=false
/p:ConfigurationGroup=Release /flp:v=diag
2017-03-28T23:30:15.5843800Z
/root/coreclr/Tools/Microsoft.CSharp.CurrentVersion.targets(321,5):
error MSB4019: The imported project
"/root/coreclr/Tools/Microsoft.Net.Compilers/2.0.0-rc/tools/Microsoft.CSharp.Core.targets"
was not found. Confirm that the path in the <Import> declaration is
correct, and that the file exists on disk.
[/root/coreclr/src/ToolBox/SOS/NETCore/SOS.NETCore.csproj]
2017-03-28T23:30:16.6459770Z
/root/coreclr/Tools/Microsoft.CSharp.CurrentVersion.targets(321,5):
error MSB4019: The imported project
"/root/coreclr/Tools/Microsoft.Net.Compilers/2.0.0-rc/tools/Microsoft.CSharp.Core.targets"
was not found. Confirm that the path in the <Import> declaration is
correct, and that the file exists on disk.
[/root/coreclr/src/mscorlib/System.Private.CoreLib.csproj]

* New builds have errors, revert to use older builds.

New builds have errors, revert to use older builds.

Merge pull request #10446 from rahku/fix9879

Allow assemblies in TPA to loaded using LoadFrom

Add shared directory README (#10535)

* Add shared directory README

* PR feedback

Take fields into account checking for self-assign

The code in `fgMorphCopyBlock` that removes self-assigns checks if the LHS
and RHS refer to the same `lclVar`; update it to also check if the LHS and
RHS refer to the same field(s) of that `lclVar`, since otherwise copies
from one field to another of a struct can get lost.

Fixes #10481.

Fix indentation of diagram in comment (#10554)

Fix indentation of diagram in comment
in Compiler::fgRecognizeAndMorphBitwiseRotation

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Fix duplicate fcall entries for GetAssemblyName (#10546)

[x86/Linux] Use Portable ArrayInitializeWorker (#10550)

Fix dependency to coreclr and mscorrc in Linux (#10138)

* Fix dependency to coreclr and mscorrc in Linux

Remove dependency with coreclr in some projects for Linux
Recover build mscorrc for cross architecture in Linux

* Fix CMakeLists.txt in src/dlls

minimize uses of CLR_CROSS_COMPONENTS_BUILD flag in CMakeLists.txt

Modify root/CMakeLists.txt to exclude corerun and coreconsole build
during cross component build

[x86/Linux] fix a typo of FillRegDisplay method. (#10547)

Signed-off-by: ragmani <ragmani0216@gmail.com>

Delete moved file

Merge pull request dotnet/corert#3134 from dotnet/nmirror

Merge nmirror to master

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

[x86/Linux] Fix signature mismatch inside InstantiatingStub (#10538)

Merge pull request #10537 from ramarag/cleanup_longfile

Removing Unnecessary CloseBuffer calls

Removing Unnecessary CloseBuffer calls

Merge pull request #10534 from sdmaclea/PR-ARM64-GC-ASSIGN-BYREF

[Arm64] Revise CORINFO_HELP_ASSIGN_BYREF code

TimeSpan.FromMilliseconds(TimeSpan.MaxValue.TotalMilliseconds) exception fix (#10352)

The problem is discussed here: https://connect.microsoft.com/VisualStudio/feedback/details/542235/timespan-structure-incorrectly-handles-values-close-to-min-and-max-value

The existing overflow checks are ignorant and superfluous.

[x86/Linux] Align frame before SetObjectAppDomain call (#10519)

Ctor Jit-EE interface change (#10512)

Change JIT-EE interface for getReadyToRunDelegateCtorHelper.
Update GUID.

[Arm64] Revise CORINFO_HELP_ASSIGN_BYREF code

Reverts #9655 which didn't work correctly

Revised code to match amd64

Fixes many failing GCStress tests

Separate finalizer thread creation from GC initialization in EE Startup.

Merge pull request #10503 from sandreenko/fgOptimizeDelegateConstructor-cleanup

small fgOptimizeDelegateConstructor code refactoring

Get VS to quit bugging me about replacing SR.cs already. (#10530)

Fix https://github.com/dotnet/coreclr/issues/10358

return TPA assembly if loadfrom is passed a path to assembly with same identity

Add support for CoreCLR testing via ILLINK on Linux

Made changes to the test infrastructure to
1) Generate <test>.sh with commands to invoke ILLINK and run the output
2) Add runtest.sh --link=<path-to-illink> to invoke the ILLINK testing

Fix comment on mark::recover_plug_info (#10516)

Merge pull request #10507 from eerhardt/TZBinarySearch

Binary Search in TimeZoneInfo.GetAdjustmentRuleForTime

[Local GC] Use standard C++ types (bool) and consistent types (void*) on the interface (#10463)

* [Local GC] BOOL -> bool on IGCHeap

* [Local GC] size_t -> void* on IGCHeap

* [Local GC] Silence warnings by being explicit about BOOl -> bool conversions

* Address code review feedback: FinalizeAppDomain BOOL -> bool

* Fix warnings

* Address code review feedback:
  1) Fix a missed default parameter (FALSE) on a parameter of type bool,
  2) Fix invocations of the diagnostic callbacks to use boolean literals
     instead of TRUE and FALSE,
  3) Fix various invocations of GC interface methods in the VM to use
     boolean literals instead of TRUE and FALSE

* Address code review feedback: fix inconsistency

Fix usage text of runtest.sh (#10518)

Update CoreClr to beta-25128-03 (#10517)

Binary Search in TimeZoneInfo.GetAdjustmentRuleForTime

Since Unix uses IANA tzdata files, there can be hundreds of adjustment rules for each time zone.  To make the search for a given rule faster, use a binary search since the rules are guaranteed to be in chronological order.  See ValidateTimeZoneInfo.

Fix #5716

Don't ignore exceptions thrown from handlers of some events (#10502)

Fixes dotnet/corefx#14747:
- Events include: AssemblyLoadContext.Unloading, AppDomain.ProcessExit
- Made the same change for AppDomain.DomainUnload for consistency, but it's not raised

Fix link for up-for-grabs issues (#10488)

* Fix link for up-for-grabs issues

Move deleted files and remove m_ prefix in shared file

Add DateTimeFormat and Parse to shared and remove moved file

Update CoreClr, CoreFx to beta-25127-03, beta-25124-07, respectively (#10468)

Some missing stragglers (#10509)

Implement TLS field handles for RyuJIT/x86 (#10510)

Implement TLS field handles for RyuJIT/x86

This isn't used by .NET Core, but helps us run desktop testing.

small changes in fgOptimizeDelegateConstructor

Delete unnecessary condition.
Use default methods to work with lists.
ArgList construction reordering.

Add heuristic to trigger GC to finalize dead threads and clean up han… (#10413)

Add heuristic to trigger GC to finalize dead threads and clean up handles and memory

A thread that is started allocates some handles in Thread::AllocHandles(). After it terminates, the managed thread object needs to be collected by a GC for the handles to be released. Some applications that are mostly idle but have a timer ticking periodically will cause a thread pool thread to be created on each tick, since the thread pool preserves threads for a maximum of 20 seconds currently. Over time the number of handles accumulates to a high value. Thread creation adds some memory pressure, but that does not force a GC until a sufficiently large handle count, and for some mostly idle apps, that can be very long. The same issue arises with directly starting threads as well.

Fixes #6602:
- Track a dead thread count separately from the current dead thread count. This is the count that will contribute to triggering a GC, once it reaches a threshold. The count is tracked separately so that it may be reset to zero when a max-generation GC occurs, preventing dead threads that survive a GC due to references from contributing to triggering a GC again in this fashion.
- If the count exceeds a threshold, enumerate dead threads to see which GC generation the corresponding managed thread objects are in. If the duration of time since the last GC of the desired generation also exceeds a threshold, trigger a preferably non-blocking GC on the finalizer thread.
- Removed a couple of handles and some code paths specific to user-requested thread suspension, which is not supported on CoreCLR

Move Pointer.cs to the shared partition. (#10499)

* Move Pointer.cs to the shared partition.

(The two internal helpers are not yet used
on CoreRT but that's only because CoreRT
doesn't yet implement Pointer support
for Reflection invoke. Exposing them
unconditionally now to save us the trouble
of removing the #ifdef's later.)

Path may contain spaces. Wrap in quotes. (#10493)

Merge pull request #10484 from mikedn/map-vn-assert

Correctly update bitvector in optAddVnAssertionMapping

Merge pull request #10489 from stephentoub/capturethrow

Add static ExceptionDispatchInfo.Throw method

Add static ExceptionDispatchInfo.Throw method

Change typedef for BOOL in gcenv.base.h to int. (#10486)

Update for Android cross build script (#10483)

Updated URLs for libandroid-support and libandroid-support-dev downloads.
Added URLs and folders for libunwind and libunwind-dev
Removed libunwind build

CoreFx 14486 Update API summary. (#10485)

Correctly update bitvector in optAddVnAssertionMapping

When short bitvectors are used only the first assertion was stored in the map stored bitvector, all subsequent assertions were stored into copies of that bitvector.

Enable global invariant on OSX (#10470)

* Enable Globalization Invariant on OSX

* Fix typo

* Fix small typo

* Remove static link to ICU lib

* Addressing the feedback

Typo correction (#10482)

Delete pointless <internalonly/> comments (#10479)

Issue #7061 Remove private _Prop from StreamReader, StreamWriter (#10480)

Some BitVecOps improvements (#10437)

* Avoid virtual calls when allocating bitvectors

* Use specialized BitVecOps when possible

* Avoid unnecessary bitvector copying

* Cleanup CSE_DataFlow

Add Interlocked.MemoryBarrierProcessWide (#10476)

Contributes to #16799

Remove return statement and throwing directly for obselete methods. (#10477)

Merge pull request #10469 from briansull/ibc-dump

Change the Jit Disasm message when we have profile data

Merge pull request #10466 from briansull/stress-fix

Fix for JitStress test failures

Move DateTime to shared partition (#10460)

* Move DateTime to shared partition

Depends on dotnet/corefx#17484

* Use CoreCLR specific impl of UtcNow on windows

* Use the internal call on unix as well

* Port good corert changes

Cleanup unnecessary import (#10472)

Rename resource strings to match resx (#10475)

Fixed m_ prefixes in a few files from shared partition (#10473)

Change the Jit Disasm message when we have profile date to include
information about the edge weights and the value of fgCalledCount.
Example:

; with IBC profile data, edge weights are valid, and fgCalledCount is 145

CoreFx 14486 Remove argument validation in DangerousCreate (#10462)

CR feedback
Removed assert about BB_NONE

Remove dead strings (#10445)

Removed 436 dead strings from .resx, kept 1034

Sort entries in shared project (#10465)

Fix for JitStress test failures

Merge pull request #10459 from dotnet/mirror-merge-9061692

Mirror changes from dotnet/corert

Delete moved file

Use Array.Copy with index and remove coreclr specific function

NS2.0 Complete DBNull's surface area. (#3085)

* Copy over CoreCLRs' DBNull.cs

* Make it presentable, then move it into the shared partition.

Update CoreClr to beta-25123-08 (#10435)

Merge pull request #10149 from JosephTremoulet/DestSingleField

Scalarize single-field-to-lclVar block copy

Merge pull request #10451 from ionuttamas/patch-1

Update ryujit-overview.md

[Linux][GDB-JIT] Add lexical scopes info for local variables (#10307)

* Fix memory leak when getting local variable names

* Pass locals from SymbolReader using new LocalVarInfo struct

* Map IL to native addresses for variable scopes

* Dump variables with scopes

* Add scope info to VarDebugInfo

* Remove unnecessary usage of lines info in BuildDebugInfo

* Use holders for scopes and local var names

* Move array of FunctionMember from global scope to local scope

* Move SymbolNames from global scope to local scope

Copy-paste errors found by PVS-Studio. (#10450)

I used PVS-Studio static analyzer to check this project. I would like to suggest a variant of the way to fix the copy-paste errors, detected with the help of V778 diagnostic. Description of the diagnostic: https://www.viva64.com/en/w/V778/

Update ryujit-overview.md

Update ci-trigger-phrases.md (#10444)

- Add Linux arm/x86 CI trigger phrases
- Add Ubuntu16.10 x64 pri0 trigger phrase
- Remove Ubuntu15.10 x64 pri0 trigger phrase

Add PNSE messages (#10440)

* PNSE messages

* threading

* marshal

* interop svc

* More

* more

* Remove env var special casing for UWP

* Pending question

* remove pinvoke

Merge pull request #10426 from BruceForstall/FixIlasmRoundtrip

Enable FEATURE_METADATA_EMIT_ALL for non-crossgen compiles

[Local GC] Redirect fatal errors to the EE (#10436)

* [Local GC] Redirect fatal errors to the EE

* Address code review feedback: don't fetch the IP when reporting a fatal error

GetContainingObject is inconsistent with the lowest address it chooses. (#10438)

For profiling purpose it only cares about condemned ranges; for byref
validation it cares about any object on the heap.

Merge pull request #10400 from briansull/ibc-counts

Change setBBProfileWeight so that we no longer multiply a profile counts by 100

Merge pull request #10434 from dotnet/mirror-merge-9060302

Mirror changes from dotnet/corert