Add architecture option dotnet-sos (#450)

Add architecture option dotnet-sos

Issue: https://github.com/dotnet/diagnostics/issues/406

Add --diag option to dotnet-dump collect to help diagnose issues like https://github.com/dotnet/diagnostics/issues/449 and others.

Update FAQ.

Fix issue #280: statics not displayed correctly in DumpObj command (#446)

Fix issue #280: statics not displayed correctly in DumpObj command

On .NET Core, dwModuleDomainID is the address of the DomainLocalModule so use the DacpDomainLocalModuleData.Request to get the module info for statics.

Restored the DisplayFields/DisplaySgaredStatic/DisplayThreadStatic code from 2.1 SOS. It was changed in 3.0 when the appdomains changed. Need to be both backward and forward compatible.

Add tests for !do static fields

Add dumparray command to dotnet-dump. Issue: https://github.com/dotnet/diagnostics/issues/445.

Improve output formatting and fix bugs in dotnet-counters (#443)

This change improves output formatting in dotnet-counters by:
- Right aligning counter values.
- Decimal numbers are aligned on the decimal separator.
- Introducing thousand separators.

It fixes the following bug:
- If monitoring multiple providers (for example System.Runtime and a user-defined one), the provider and counter names get mixed up in the output.

I simplified the logic in ConsoleWriter.cs a great deal with these changes, so it has 63 fewer lines than before now.

Merge pull request #437 from davmason/rejit_sos

Add ReJIT information to !DumpMD

Merge pull request #442 from mikem8361/dirsearch

 Add directory symbol search and document IDL/prebuilt files update

Add directory symbol search

Adds a setsymbolserver option (-directory) to add directories to the symbol search path.

Cleaned up how the symbol code added the "default" symbol cache. It is done when the server URI is added if a cache path wasn't specified.

Ignore adding duplicate server URI's and search directories. Ignore adding the same cache directory twice in a row.

Add -sympath option to setsymbolserver and lldb "sympath" command alias for devs that want to use the Window symbol path syntax.

Change to Preview9 prerelease label.

Issues:

https://github.com/dotnet/diagnostics/issues/422
https://github.com/dotnet/diagnostics/issues/420

Various document updates

Sync the IDL and prebuilt files with coreclr

Whitespace changes

bug fixes

Remove double escape in provider filter strings (#431)

* unescape filter strings since they are coming in double escaped, e.g., \\r\\n instead of \r\n

* add note to documentation about correct usage of filter string

Add Windows PE reading to dotnet-dump (#435)

Add Windows PE reading to dotnet-dump

Finds or downloads the native modules like coreclr.dll or managed
assemblies into the virtual address space of the core dump. Emulates
what the Windows debugger do for minidumps.

Added "logging" command that enables/disables internal logging

Add guid definition

Hopefully fix xplat build

Bug fixes

WIP additional commands

WIP

WIP

Merge branch 'rejit_sos' of https://github.com/davmason/diagnostics into rejit_sos

WIP

Fix IncrementingCounter payload generation (#433)

* Fix IncrementingCounter payload generation

* code review

Update tool version 3.0.0-preview8.19412.1 (#425)

Add instructions about how to collect counter data via dotnet-trace (#419)

* Add instructions about how to collect counter data via dotnet-trace

* change wording

Removing Provider GUID references from EventPipe related files. (#416)

Update TraceEvent version (#415)

Add arm/arm64 support to dotnet-dump (#411)

Add arm/arm64 support

Using new CLRMD version 1.1.37504

Add Microsoft.Diagnostics.DebugServices project containing the
new RegisterService and what's left of the AnalyzeContext.

Add ServiceProvider and refactor adding/creating the services.

Made OutputVaList global so we don't allocate 8K every line of output

Fixed that the "mask" (determines if error/normal/warning) is pasted on
to the debugger in OutputVaList.

Removed the formatting/buffer allocating in the OutputVaList in lldb services

Always use C++ runtime to format output now.

SOS_PTR keeps the architecture pointer size (size_t).

On x86, dotnet-dump had problems with %p formatting because the
C++ runtime was used and the pointer was converted to 64 bit by
the SOS_PTR macro.

Add arm64 registers to lldb service GetContextFromFrame

Enable tests on arm.

Added IConsoleService and removed the dependencies on System.CommandLine
from SOS.Hosting and MS.D.DebugServices.

IConsole is no longer exposed as a service.

Add ASP.NET Counter to known list of counters (#410)

!u -il prototype (Part 1) (#409)

Update readme.md with link to its GitHub release page (#408)

Enable disasm mixed gc info (#403)

* Enable gcinfo mixed in disassembly on non-Windows platforms

Rewrite the "u -gcinfo" code to not require Windows fibers,
and enable it for non-Windows platforms.

Also,
1. Enable "u -gcinfo" for ARM.
2. Fix minor issues with EHinfo/GCinfo to ensure end-of-function info is displayed

Update documents to preview 7 version (#401)

Rollback arcade version update (#396)

Add RundownEnabled field to EventPipe IPC protocol (#375)

* Add requestRundown field to EventPipe IPC protocol

* doc change

* removing accidental .nettrace commit

* Add a new command with an option to specify rundown

* doc changes

* Make the tool compatible with previous versions of tools

* comment typo

* dont rename the existing struct to keep backward compat

* Make dotnet-counters backward compatible

* parse HR code runtime returns and throw/catch appropriate exception

* remove debug print

 Add SOS nuget package for Windows debugger team  (#392)

Add SOS nuget package for Windows debugger team

Generate extension gallery zip in new SOS.Package project. Remove
the create-gallery-zip.ps1 script and build def step.

Some misc engineering cleanup.

Upgrade arcade (1.0.0-beta.19358.1) and sdk (3.0.100-preview6-012264) versions.

Remove SOS.NETCore explicit VersionPrefix

CR

Fix broken link to Getting lldb

Fix Debian lldb instructions

Fix issue 387 (#391)

* Fix some issue in counters

* fix accidental bug

Align counter values (#379)

* Left-align counter values

* Add comments

* Adjusted value alignment to accommodate longer counter names

* Fixed comments

* Added comment

Add known issues to dotnet-trace instructions

Update CLRMD to version 1.1.35902 (#388)

Change SOS and diagnostic tool versioning (#384)

Change the major/minor/patch to 3.0.0 to match our runtime.

Changed the extension gallery zip file and version to the file version
generated by Arcade.

Add Microsoft.DiaSymReader.Native to SOS package (#383)

Add Microsoft.DiaSymReader.Native to SOS package

We no longer search for the diasymreader in the runtime host
directory, DAC path, etc. because for WER/Watson/!analyze needs
to work without assuming there is a .NET Core runtime to host
on the machine.

Update to version 1.1.35504 of clrmd. Fixes issues https://github.com/dotnet/diagnostics/issues/360
and "System.DllNotFoundException: Unable to load shared library 'libdl.so'..." failure.

Cleanup symbinder instance and module

Fix missing metadata problems (#370)

Fix missing metadata problems

The previous fix forced the metadata to always go through
the metadata locator callback interface. This fix the problem
when the metadata in the core dump isn't complete, but broke
getting metadata for user/app assemblies that only exist in
the core dump.

Needed to "fallback" to reading the core dump memory for the
metadata when the assembly can't be found or downloaded.

Cleaned up building the module list.

Add PublishPackages variable

If file exists, then overwrite it. (#374)

Add nettrace to gitignore (#373)

For sos.u on a code address, pass in the code address to retrieve information about that code version (#369)

- In particular for the pointer to saved original code when using GCStress, which is specific to the code version
- Part of https://github.com/dotnet/coreclr/pull/25261
- Part of fix for https://github.com/dotnet/coreclr/issues/17646

Avoid unnecessary allocation & better error message on file exists error (#371)

Using CancellationToken in dotnet-trace (#367)

Rename Microsoft.Diagnostics.TestHelpers (#366)

dotnet-monitor: Use CommandHandler CancellationToken for SIGINT detection (#365)

Add _EFN_GetManagedThread for !analyze (#363)

* Add _EFN_GetManagedThread for !analyze

Instead of reading "gCurrentThreadInfo.m_pThread" in the runtime.

* CR feedback

Add Ctrl-C handler for dotnet-counters (#364)

CR feedback

Add _EFN_GetManagedThread for !analyze

Instead of reading "gCurrentThreadInfo.m_pThread" in the runtime.

Remove OutputPath from EventPipe Collect command and update docs to reflect change (#362)

Standardize license header for all C# files (#361)

Standardize on spelling (Diagnostic -> Diagnostics) - rename files (#358)

Implement SOS Hosting for Windows (dotnet-dump) (#352)

* Implement SOS Hosting for Windows (dotnet-dump)

Defined all the dbgeng delegates needed to implement the subset of the
IDebugClient and related interfaces to host SOS on Windows. Also modified
various parts of the native SOS to be able to be hosted.

Changed the Ext* and DML* output functions to formatted the output before
sending it to IDebugControl::OutputVaList. There is no way to create a
cdecl reverse pinvoke. The "args" OutputVaList is ignored when hosted.

Changed from IDebugAdvanced3 to IDebugAdvanced.

Cleanup (remove globals, etc.) exts.cpp DebugExtensionNotify code to make sure
none of the globals initialized by the original code are used because these
DebugExtensionInitialize, DebugExtensionNotify and DebugExtensionUninitialize
are only called when sos is running under cdb/windbg.

Simplified ProvideLibraryInternal (used by clrstack -i only) to work on a hosted
sos. It originally was using dbgeng functions that can't be supported.

Added 2.1 version of DumpTieredNativeCodeAddressInfo (not used yet).

Enable dotnet-dump testing on Windows.

Delete useless createdump commmand.

Remove spurious error message in GetCoreClrDirectory.

Update to latest symstore: 1.0.0-dev-64131-02.

Update dummy native projects to 2019.

Standardize on spelling (Diagnostic -> Diagnostics) (#357)

Merge pull request #353 from noahfalk/nettrace

Update tools to use the newer NetTrace EventPipe format

Fix UNKNOWN types in dumpheap -stat (#355)

Issue https://github.com/dotnet/diagnostics/issues/350

Update tools to use the newer NetTrace EventPipe format

fixed width of trace recording to be constant (#349)

Fixes #316

The trace recording is displayed in the UI as:
Recording trace 1.733 (MB)
This fix aligns the unit of the trace recording size (MB) so that it does not move left and right when the number of digits changes.

Change default transport name to align with spec (#315)

resolves dotnet/coreclr#24859

Fix processId in docs (#351)

Update documentation (#345)

Update documentation

Add active timer count to known list of counters (#342)

Fix extension gallery arm support (#338)

Update to Preview 6 version: 1.0.4-preview6.19311.1 (#335)

Replace IMDInternalImport with IMetaDataImport (#329)

* Convert all use of IMDInternal to IMetaDataImport

* Improve pretty printing of method tokens
- Print signature as well as just name
- Add minimal DumpIL testing to test suite

Fix dotnet-dump when running on preview 6 (#326)

Fix dotnet-dump when running on preview 6

When the 3.0 preview 6 runtime is the only one available, it causes
dotnet-dump to throw a missing method exception. This is because it
tries to load the wrong SOS.NETCore.dll assembly from the runtime
directory instead of the one that comes with dotnet-dump/SOS.

The workaround is to change the SOS.NETCore assembly version
to 4.8.0.x which is greater than the 4.7.x version of the
preview 6 runtime.

Fix scheduled build that only has 3.0.x installed

Clear out correct length for counter value  (#320)

Update Documents (#323)

Update documents

Remove Release notes on main README, add notes to dotnet-dump instructions, update coredump debugging instructions and add FAQ.

Convert to latest arcade version (#319)

Convert to latest arcade version

Update signing step

Fix variable list definition

Enable microbuild

Add sdk version to global.json

Update dotnet-install.sh permissions.

Do not print elevated processes' FileName (#312)

* Do not print path to the process if it is elevated

* Fix it for dotnet-trace too

* Change the display msg for elevated process

Update dotnet-trace documentation (#310)

* Adding a section on how to view the trace

* some more stuff

Add new counters to list (#309)

* Add new counters to list

* Fix typo / add unit to AllocRate

Offer visual cues for monitor status (#301)

* Offer visual cues for monitor status

* Offer visual cue when user specifies a nonexistent EventSource

* Change the initial message to something more helpful than 'Running'

Fix a case where we have a leftover pipe from a process that is not running anymore (#308)

Make sure we have the right exit code for dotnet-trace collect

Fix regression introduced by PR #299 (#302)

Do not display exception on graceful exit case (#300)

* Do not display exception on graceful exit case

* Use Debug.WriteLine instead of removing

Display unknown EventSource's provider name properly (#299)

Improve perf of `!dumpasync -tasks` (#294)

When the `-tasks` flag is set, we look at every object on the heap and walk its hierarchy to decide if it's a task or a task-derived type.  But we currently do that by comparing the name of every object against "System.Threading.Tasks.Task", which is very expensive.  This switches to comparing by module and type def.  On my machine, a `!dumpasync -tasks` command that previously took ~1 minute now takes ~30 seconds.

Improve perf of `!threadpool -wi` (#295)

The -wi feature added recently walks every item on the heap looking for thread pool queues.  It currently does this by comparing object names, but it's much faster to compare module and type def.  On my machine on an ~1GB dump, this improved execution time ~20x, from 2:15 to 0:07.

Exception in dotnet-counter does not crash the app

Merge pull request #292 from dotnet/MattGal-patch-1

Move CI build to Hosted Ubuntu 1604

Update .vsts-dotnet-ci.yml

Change queues for official builds

Remove demands on the agent OS

Move CI build to Hosted Ubuntu 1604

Ipc spec update (#290)

* create section headers
* Add profiler and dump documentation
* change pipe name in spec to dotnet

Do not swallow exception and stuck in case we have an exception thrown during tracing

Missing profile argument

The providers help mention profile, but it is not in the docs.

I took the profile description from https://github.com/dotnet/diagnostics/blob/master/documentation/design-docs/dotnet-tools.md

But I'm not sure if we should keep the information in both places

It also refers to some profiles not available in the current release 1.0.3-preview5.19251.2. The only profile in this version is runtime-basic

Two changes to !dumpasync (#286)

* Display state machine fields in DumpAsync for -stacks

Currently the DumpAsync -fields option just impacts whether the state machine fields are output for the top-level state machines.  We received feedback that it would be more expected for -fields to also cause the fields to be output for all state machines listed as part of continuation chains.  This does that.

* Improve performance of !dumpasync SOS command

A significant majority of the time spent in dumpasync was in getting the type name of each object in order to compare it to "AsyncStateMachineBox".  This switches to comparing by module and mdTypeDef.  On an ~1GB dump, the time to execute !dumpasync dropped from 43 to 11 seconds on my machine.

Add Diagnostic Ipc client (#271)

* * Add infrastructure for a new IPC client in line with the propsed spec
* update EventPipeClient to use new IpcClient
* Update DiagnosticHelpers to use IpcClient

* * fix typo
* change to use uint32 instead of INT for generate core dump command

* * remove dead code

* * bring error codes in line with the now checked0in spec

* Remove extra error code

* Rename Miscellaneous to Dump for command sets and Ids

* fix typing issue

* * update profiler attach to use IpcClient

* * Change errors to be int32 HRESULTS

* * remove unnecessary todo
* simplify size checking

* * add ASSERT that MAGIC is always the correct length

* * Fix using statement

Update dotnet-counters link to docs (#281)

Merge pull request #274 from davmason/profiler_attach

Add profiler attach message

Add comment about timeout

IPC protocol spec (#198)

* Add initial draft of ipc protocol spec

* Update IPC spec to account for feedback:
* add clarity about what needs to be wrapped in a header
* add image representing communication flow
* flesh out packet headers

* fix image rendering

* Remove TODOs

* Rewrite overview and add transport description.

* * update spec to account for feedback
* formalize terminology
* update diagrams to account for new terminology
* update header size

* * Add notes on pipe and socket naming conventions

* * expand error section and define error codes
* simplify description of optional continuation
* clarify terminology w.r.t. Commands and Command specific things
* explicitly write out current set of command_sets and command_ids

* * update EventPipe payload example to be reality
* fix comments
* Update transport name with explicit sprintf codes

* * Document current workings of EventPipe Commands

* specify IpcHeader.magic as uint8_t instead of ambiguous char

* * increase detail of eventpipe commands
* expand on and streamline the error model
* remove hypotheticals
* correct bug in example messages

* * changes in response to feedback
* add notes about MacOS App Group case