Microsoft.Diagnostics.NETCore.Client Implementation (#617)

This is the initial implementation of Microsoft.Diagnostics.NETCore.Client library.

This will be released with version 1.0.0-preview, and when I feel that enough customers have validated it that we can match it with the rest of the diagnostics OOB packages and bump up the version to 3.1.

dotnet-counters JSON Exporter improvements (#666)

* make timestamp non culture-sensitive, change 'counter type' to 'counterType'

* Remove more spaces from the JSON

SpeedScope handles only CPU samples, events are not supported (#661)

add missing README.md files for global tools (#662)

* add missing README.md files for global tools

* use relative link

Update dependencies from https://github.com/aspnet/AspNetCore build 20191203.5 (#665)

- Microsoft.AspNetCore.App.Ref - 5.0.0-alpha1.19603.5

Update dependencies from https://github.com/aspnet/AspNetCore build 20191202.2 (#660)

- Microsoft.AspNetCore.App.Ref - 5.0.0-alpha1.19602.2

Update dependencies from https://github.com/aspnet/AspNetCore build 20191201.2 (#657)

- Microsoft.AspNetCore.App.Ref - 5.0.0-alpha1.19601.2

Update dependencies from https://github.com/aspnet/AspNetCore build 20191128.4 (#656)

- Microsoft.AspNetCore.App.Ref - 5.0.0-alpha1.19578.4

Update dependencies from https://github.com/aspnet/AspNetCore build 20191127.15 (#655)

- Microsoft.AspNetCore.App.Ref - 5.0.0-alpha1.19577.15

Avoid exceptions when console is not available (#644)

* Do not manipulate cursor if Console not available

* Use console.GetTerminal() to test for console

Add documentation on EventCounters (#605)

* Adding some initial EventCounters documentation

* Add more stuff about incrementingeventcounter

* Add pictures

* Add more description about how to write your own counter

* Add out-of-proc consumption, more samples

* formatting

* more formatting

* Add section about concurrency

* cleanup, formatting

* format

* Address PR feedback

Update dependencies from https://github.com/aspnet/AspNetCore build 20191125.10 (#650)

- Microsoft.AspNetCore.App.Ref - 5.0.0-alpha1.19575.10

Fix Windows X86 SOS test failures (#647)

Add dependencies on testing packages (#640)

Test 3.1 runtime, stop testing on 1.1 and 2.2 (#639)

Update help doc with some missing aliases.

Make dotnet-counters aware of DisplayUnits (#642)

list-processes -> ps (#641)

It looks like list-processes is no longer a command and instead it's ps.

Add 3.1 to the installed host runtimes (#636)

Add 3.1 to the installed host runtimes

Don`t enable exception callback if bpmd hasn't been executed

Adding a documentation page for using a privately build sos (#626)

add eventpipe test harness (#618)

* Add eventpipe test harness to diagnostics repo

Fix flushing of string builder for multi-parameter conditions (#625)

Fix bpmd on Windows and other changes (#622)

Fix bpmd on Windows by implementing IDataTarget2 which allows the DAC to allocate a JIT notification
table which is empty on Windows. Issue https://github.com/dotnet/diagnostics/issues/584.

Add SetRuntimeLoadedCallback lldb service for bpmd

Allow bpmd to work before coreclr is loaded. Issue https://github.com/dotnet/diagnostics/issues/15

Upgrade to symstore 1.0.55801

Set/reset symbol server path anytime .sympath changes

Add lldb h files to plugin project

Add bpmd tests. Update readme and help docs

Fix config parser and logging path to support (#620)

* Fix flaw in configuration parser error detection for negative clauses
* Logging paths can't have wildcards, but runtime specifiers can and this is used in our log names. In that case I resorted to use <Major.Minor.Patch> as the version for the log while preserving old behavior. That way xUnit still displays the full arg list for test disambiguation, but the logs only contain valid file names

Try using the test reporter to report tests (#615)

Use the AzDO pipeline reporter for xUnit style tests:

- This adds a per test report per run.
- Reports are now seen in the tests tab of a pipeline run as well as a tally in GitHub

Add new function options to conditions in test runner (#611)

Adds the following options to the test helper condition attributes:

* Contains(string, string)
* StartsWith(string, string)
* EndsWith(string, string)

And adds argument validation that throws exception - to prevent any more tests to be skipped silently.

Fix default PID value and add rollforward forgcdump (#614)

* Prevent default value for pid
add roll forward runtimeconfig to dotnet-gcdump

* Change default to 0 and modify error message

* Change error message

Wait for process exit independently of waiting for stream flushing (#612)

* Wait for process exit independently of waiting for stream flushing
Before, the ProcessRunner waited for the process completion as well as stream
buffer flushing for stdout and stderr. This is problematic if the process
it ran dies, but its spawned child processes keep the defunct's standard
streams alive by redirecting to them. We have had no way of harvesting
the children, so this process hung the runner.

After this change, we wait for the spawned process to die. As soon as that happens,
we give the pipes a grace period of 15 seconds to flush, after which we assume
the process is dead. This has the shortcoming of two potentially problematic
situations:
- We've potentially left an unobserved aggregate exception unobserved that will throw
on the finalizer thread once the tasks get collected in exceptional cases.
- This might leak threadpool threads.

Draft Proposal for Diagnostics Client Library (a.k.a. "Runtime Client Library") (#574)

Add counters tests to the diagnostics solution file to get it tested on automation (#609)

fix typo in README.md (#608)

Fix formatting error in dotnet-counters doc (#604)

Revert "Update the docker images used to have a newer version of CMake. (#597)" (#598)

This reverts commit 0efe77744d981e3ecf0adaa9128b9880982f571e.

Not ready for the new CentOS 7 image with lldb 9.0 and the cross build images fail because build-native.sh needs to use clang 9.0 and the alpine image fails just building managed code with:

##[error].packages/microsoft.build.tasks.git/1.0.0-beta2-19270-01/build/Microsoft.Build.Tasks.Git.targets(16,5): error : The type initializer for 'LibGit2Sharp.Core.NativeMethods' threw an exception.
   at LibGit2Sharp.Core.NativeMethods.git_buf_free(GitBuf buf)
   at LibGit2Sharp.Core.Proxy.git_buf_free(GitBuf buf)
   at LibGit2Sharp.Core.Handles.GitBuf.Dispose()
   at LibGit2Sharp.Core.Proxy.ConvertPath(Func`2 pathRetriever)
   at LibGit2Sharp.Core.Proxy.git_repository_discover(FilePath start_path)
   at LibGit2Sharp.Repository.Discover(String startingPath)
   at Microsoft.Build.Tasks.Git.GitOperations.LocateRepository(String directory) in /_/src/Microsoft.Build.Tasks.Git.Operations/GitOperations.cs:line 26
   at Microsoft.Build.Tasks.Git.RepositoryTasks.LocateRepository(LocateRepository task) in /_/src/Microsoft.Build.Tasks.Git.Operations/RepositoryTasks.cs:line 58
/datadisks/disk1/workspace/_work/1/s/.dotnet/sdk/3.0.100/Roslyn/Microsoft.Managed.Core.targets(102,5): error : SourceRoot items must include at least one top-level (not nested) item when DeterministicSourcePaths is true [/datadisks/disk1/workspace/_work/1/s/src/SOS/lldbplugin.tests/TestDebuggee/TestDebuggee.csproj]

Update the docker images used to have a newer version of CMake. (#597)

Add dotnet-gcdump to diagnostics.sln so it builds in official builds (#594)

Use OSX 10.13 as the build agent for public CI (#593)

Thanks Juan!

Merge pull request #581 from josalem/dev/josalem/gcdump-tool

dotnet-gcdump

* Refactoring to remove polling for type cache clearing session

* Switch to a static function on Stopwatch to avoid multi-threading
concerns with Stopwatch.Elapsed

* Change tool name when writing memory graph

* Add explicit null check on gcDumpSession to catch NRE in the event
EventPipe failed to connect.

* Add comment in README about future of code shared with PerfView

* Refactor to remove wrapping task for type flush session
* make EventPipeSession disposable to ensure stream is closed in case of
exception in the reader
* add using statements around source.Process calls
* add additional logging to verbose log

* Add additional logging
* add timeout option

* Remove unnecessary using statements

* Update src/Tools/dotnet-gcdump/CommandLine/CollectCommandHandler.cs

Co-Authored-By: Noah Falk <noahfalk@users.noreply.github.com>
* Update src/Tools/dotnet-gcdump/DotNetHeapDump/README.md

Co-Authored-By: Noah Falk <noahfalk@users.noreply.github.com>
* Fix weird unintended docs change

* Refactor to reduce multi-threading
* use cancellation token to cancel tasks on ctrl-c
* swallow TaskCancellationExceptions
* use volatile members for bools that are used between threads

* Check dump status on return to amke sure we don't throw additional
errors if event collection fails

* fix last whitespace issue

Add spec for gcdump tool (#512)

Update core dump debugging work flow (#587)

Update the Linux core dump debugging work flow

replace obsoleted attribute CoreJobAttribute with SimpleJob (#585)

Fix incorrect value displayed for rate counters (#583)

* Fix incorrect value displayed for rate counters

* Add tests

Change PerfView Utilities usage to BCL

Initial commit of dotnet-gcdump
* NOTE: use this commit as baseline for file copied from Microsoft/PerfView

Export feature for dotnet-counters (#493)

* Command line stuff

* Implement CSV/JSON Exporters

* some cleanup

* Overwrite the output if needed

* remove newline

* build error

* Refactor to remove duplicacy between ConsoleWriter and Exporters

* Remove ICounterExporter

* Add license headers

* Docs change

* Remove unused using

* Add file extension to output path only when necessary, remove some remaining comments and useless code

* Add unit tests for dotnet-counters

* remove useless binaries from the commit

* change comment

* tabs -> spaces

* Remove unused tests

* Address PR feedback on tests

* More PR feedback

* Fix PR comments

Update benchmarkdotnet version to 0.12.0 (#582)

Fix incorrect description of CreateCoreDump command - diagnostics argument (#579)

Updated profiles (#566)

Fix dumpheap failures on certain dumps. (#561)

Fix dumpheap failures on certain dumps.

Issue: https://github.com/dotnet/diagnostics/issues/503

Add MemoryService to package up all the read memory "mapping" logic.

Add MemoryCache to module mapping logic.

Rewrote ReadVirtualCache because of a couple of bugs that caused
some test failures on triage dumps making !pe displaying the exception
message string  not reliable.

Add SystemMemoryVersion property to Versions.props

[test] Profile-Provider Merging Tests (#541)

[dotnet-trace] Allow user to specify text version of event level (#540)

* Allow user to specify text version of event level

* Throw on unknown event level

* add tests

* docs change

* more docs change

* make case insensitive comparison

Fix CI build failures (Microsoft.SymbolStore version missing) (#545)

Fix SOS failure in daily scheduled build.

Refactor out list-processes command handler and add it to dotnet-dump (#534)

* Refactor out ps command handler and add it to dotnet-dump

* More refactoring

* Some renaming

* update doc

* More docs update

* fix broken renamed file reference

* catch InvalidOperationException only

Add /ContinueOnError option to speedscope converter (#526)

* Add /ContinueOnError option to speedscope converter

* Display a warning message when we have to continue on error

* Only retry if the exception thrown is from a broken trace

Typos (#524)

* arbitary -> arbitrary

* buffes -> buffer

* loggging -> logging

* preceeding -> preceding

* succesful -> successful

* capablity -> capability

* commited -> committed

* diagose -> diagnose

* flamegrah -> flamegraph

* Hepers -> Helpers

Fix dotnet-counters documentation (#525)

Publish symbols part 2 (#523)

Both Windows and Portable PDBs are published.

Change to Windows PDB for SOS.NETCore.dll in sos symbol zip file

Publish Microsoft.Diagnostics.TestHelpers, DebugServices, Repl and RuntimeClient symbols

Initial batch of dotnet trace provider tests (#514)

Display internal SOS status with sosstatus command (#519)

Display internal SOS status with sosstatus command

Add dumpvc to dotnet-dump/lldb commands.

Remove reductant dotnet-dump error message when SOS command fails.

Fixes issues:

    https://github.com/dotnet/diagnostics/issues/511
    https://github.com/dotnet/diagnostics/issues/508
    https://github.com/dotnet/diagnostics/issues/509

Change SyncBlk test not to run on xplat.

Fix BitConverter calls (#516)

Add webapp debuggees and more SOS commmand tests (#507)

Add webapp debuggees and more SOS commmand tests

Add runtime version to TestConfiguration.ToString()

Added WebApp and WebApp3 as prebuilts. Use pipe to sync webapps. "dotnet-dump collect" to collect a dump from these apps.

Enable "dbgout" command logging

Speed up SOS tests by reworking ScriptLogger removing the .EndsWith on the last command output string.

Upgrade to 3.0.100 SDK

Switch to prebuilt debuggees except desktop (net462). Add debuggees.sln. Don't optimize debuggees.

Add the lldb plugin test python script as an xunit test

Publish the dump and bin artifacts on failure

Enable triage dump testing.

Switch to BYOC pools

Fix output of console writer of dotnet-counters when displayname is not set. (#505)

Fix the error message when not a valid process ID is specified (#501)

Complete the !u -il SOS command

Verbose logging for symbol publish, etc. (#495)

Change to preview version

Update docs with release instructions

Remove source link disabling

Change symbol publish verbosity to normal

Fix a timeout exception causing unhandled exception crash (#492)

* Fix a timeout exception causing unhandled exception crash

* Fix the same issue on Unix too

* Move the exception handling to StopMonitor to distinguish actually incompatible runtimes from early exits

* fix build error

Counter benchmark tests (#475)

* Basic benchmark test added

* don't include benchmarkdotnet artifacts in the git repo

* Some README changes, added gitignore

Publish SOS symbols (#482)

Publish SOS symbols

Issue: https://github.com/dotnet/diagnostics/issues/481

Show warning when providers are specified via GUID (#476)

* Show warning when providers are specified via GUID

* Lets not throw useless exceptions

* Fix typo

Various fixes and update cdb (#477)

Various fixes

Change cdb version in config

Fix symbol not found problem caused by directory symstore not setting the stream position to 0.

dotnet-trace CLI changes (#473)

* Fix dotnet-trace CLI according to the newest spec changes

* Add some configuration strings to help users understand where providers came from

* Some typos

* More UI changes suggested from PR

* Some strange Console bug causing issues... Clear the console before printing anything to make it work better

* remove provider/profile string from enabledBy column

Fix dumpmd/ip2md commands for < 3.x runtimes (#462)

Fix dumpmd/ip2md commands for < 3.x runtimes

Implement GetEEVersion for xplat using the embedded "@(#)Version" string.

Enabled/add the "eeversion" command for xplat.

Added LLDBService2::GetModuleVersion to get the version string via the "sccid" symbol. Fallback
to using search the data sections to the version string.

Added same to SOSHost so eeversion works in dotnet-dump.

Fixed initializing g_moduleInfo for Linux. It is used by dumpmt. Added new LLDBService2::GetModuleInfo api to do this.

Added "dumparray" alias to lldb command aliases.

Add testing for the eeversion command.

Fixed desktop SOS tests. The recent change adding the MAJOR_RUNTIME_VERSION_X SOS runner
define silently broke the "desktop" SOS. Made the SOS runner more robust to these silent
failures.

Merge pull request #466 from noahfalk/dotnet-trace-profile-update

Improve dotnet-trace profile CLI syntax

Make gc/gc-collect profiles available (#441)

* Make gc/gc-collect profiles available

* Add a new gc-verbose profile, rename existing gc profile to gc-with-heapsurvival, remove sampleprofiler from gc-collect

* gc-verbose only needs stack at gc events -- disabling sampleprofiler for this profile

* Remove gc-with-heapsurvival, update description for gc-verbose

Fix nullref caused in System.CommandLine by having a default value of null for duration (#468)

Improve dotnet-trace profile CLI syntax

1) Rename 'runtime-basic' -> 'cpu-sampling' to better align with what we are going to tell users to use it for. Technically you can do other things with it too, but I think we should favor names that describe what it is usually used for vs. being generic to cover less common possibilities.

2) Eliminated the 'none' option. We got feedback this option was confusing and hard to discover. The original goal was that final providers = --profile config + --providers config. Since --profile defaulted to cpu sampling you needed a way to disable that part of it, the 'none' profile. The new approach is to only provide a default profile when both --profile and --providers haven't been specified. I am also suggesting some help and command-line output spew to make it obvious why the default profile kicked in.

3) Updating the GC profile names based on work Sung is doing.

Add hidden duration option to dotnet-trace (#453)

* Add duration option to dotnet-trace

* Use TimeSpan instead of int
* change to just re-use the MRE

* Fix duration option name

Make a different option to change the default format for convert command (#455)

* Make a different option to change the default format for convert command

* Make --format a required option for convert command, Write on console instead of throwing an ArgumentException:

Update docs to Preview 9 version (#460)

Fix memory leak (#457)

Add architecture option dotnet-sos (#450)

Add architecture option dotnet-sos

Issue: https://github.com/dotnet/diagnostics/issues/406

Add --diag option to dotnet-dump collect to help diagnose issues like https://github.com/dotnet/diagnostics/issues/449 and others.

Update FAQ.

Fix issue #280: statics not displayed correctly in DumpObj command (#446)

Fix issue #280: statics not displayed correctly in DumpObj command

On .NET Core, dwModuleDomainID is the address of the DomainLocalModule so use the DacpDomainLocalModuleData.Request to get the module info for statics.

Restored the DisplayFields/DisplaySgaredStatic/DisplayThreadStatic code from 2.1 SOS. It was changed in 3.0 when the appdomains changed. Need to be both backward and forward compatible.

Add tests for !do static fields

Add dumparray command to dotnet-dump. Issue: https://github.com/dotnet/diagnostics/issues/445.

Improve output formatting and fix bugs in dotnet-counters (#443)

This change improves output formatting in dotnet-counters by:
- Right aligning counter values.
- Decimal numbers are aligned on the decimal separator.
- Introducing thousand separators.

It fixes the following bug:
- If monitoring multiple providers (for example System.Runtime and a user-defined one), the provider and counter names get mixed up in the output.

I simplified the logic in ConsoleWriter.cs a great deal with these changes, so it has 63 fewer lines than before now.

Merge pull request #437 from davmason/rejit_sos

Add ReJIT information to !DumpMD

Merge pull request #442 from mikem8361/dirsearch

 Add directory symbol search and document IDL/prebuilt files update

Add directory symbol search

Adds a setsymbolserver option (-directory) to add directories to the symbol search path.

Cleaned up how the symbol code added the "default" symbol cache. It is done when the server URI is added if a cache path wasn't specified.

Ignore adding duplicate server URI's and search directories. Ignore adding the same cache directory twice in a row.

Add -sympath option to setsymbolserver and lldb "sympath" command alias for devs that want to use the Window symbol path syntax.

Change to Preview9 prerelease label.

Issues:

https://github.com/dotnet/diagnostics/issues/422
https://github.com/dotnet/diagnostics/issues/420

Various document updates

Sync the IDL and prebuilt files with coreclr

Whitespace changes

bug fixes

Remove double escape in provider filter strings (#431)

* unescape filter strings since they are coming in double escaped, e.g., \\r\\n instead of \r\n

* add note to documentation about correct usage of filter string

Add Windows PE reading to dotnet-dump (#435)

Add Windows PE reading to dotnet-dump

Finds or downloads the native modules like coreclr.dll or managed
assemblies into the virtual address space of the core dump. Emulates
what the Windows debugger do for minidumps.

Added "logging" command that enables/disables internal logging

Add guid definition

Hopefully fix xplat build

Bug fixes

WIP additional commands

WIP

WIP

Merge branch 'rejit_sos' of https://github.com/davmason/diagnostics into rejit_sos

WIP

Fix IncrementingCounter payload generation (#433)

* Fix IncrementingCounter payload generation

* code review