Making crossgen throw when compiling with the PartialNgen flag and no IBC data (#24557)

* Making crossgen throw when compiling with the PartialNgen flag and no IBC data

* Adding missing m_fPartialNGen check

Update xplat-minidump-generation.md

Fix COMPlus_DbgMiniDumpType values

Update dependencies from https://github.com/dotnet/corefx build 20190514.9 (#24586)

- Microsoft.NETCore.Platforms - 3.0.0-preview6.19264.9
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview6.19264.9
- Microsoft.Bcl.AsyncInterfaces - 1.0.0-preview6.19264.9

Enable QuickJit by default (#24576)

- Recently, a decision was made to enable QuickJit by default. In startup perf, this mode appears to be consistently better than with QuickJit disabled, and usually equal or better than with TieredCompilation disabled.
- QuickJitForLoops remains disabled by default, so this enables QuickJit only for methods that don't contain loops

[master] Update dependencies from dotnet/corefx (#24521)

* Update dependencies from https://github.com/dotnet/corefx build 20190513.9

- Microsoft.NETCore.Platforms - 3.0.0-preview6.19263.9
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview6.19263.9

* Add dependency flow for Microsoft.Bcl.AsyncInterfaces

Switch to zero-length array in otherwise empty class (#24370)

Flexible array is a feature of ISO C99, that ISO C++ has not
([yet](https://thephd.github.io/vendor/future_cxx/papers/d1039.html))
included. Therefore clang and gcc with `-fpedantic` and msvc with
`/Wall` warn about it, and are equally unhappy when flexible array is
used in C++ code.

The exception in CoreCLR is `FastTable` class, where there is only one
member which is a flexible array. The length of array is written at a
specific offset of contents array.

gcc 6+ does not like this particular case, and gives a fatal error that
cannot be suppressed by regular means (`-Wno-XXX`):

```
error: flexible array member FastTable::contents in an otherwise empty class FastTable
    size_t contents[];
                    ^
```

Fix is to either not wrap this single field in concrete data structure
or use a zero-length array instead, which produces same assembly code
as the flexible array; tested with clang, gcc and msvc.

Read about this fix here: https://gcc.gnu.org/bugzilla/show_bug.cgi?id=69550

Fix issues reported by PREfast static analysis tool (#24577)

Stack size override (#24532)

Add ability to override stack size on all platforms

* Add DEFAULT_STACK_SIZE property
* Make environment variable affect all platforms

Decorate SuperPMI DllMain jitStartup getJit with DLLEXPORT (#24508)

* Decorate DllMain with DLLEXPORT in superpmi-shim-collector.cpp superpmi-shim-counter.cpp superpmi-shim-simple.cpp

* Decorate jitStartup, getJit, sxsJitStartup with DLLEXPORT in superpmi-shim-collector.cpp superpmi-shim-counter.cpp superpmi-shim-simple.cpp

Add explicit cmake dependency between clretwrc and eventing_headers. (#24575)

Fix a contract violation in ThreadPool.get_CompletedWorkItemCount (#24535)

Fix a contract violation in ThreadPool.get_CompletedWorkItemCount

Fixes https://github.com/dotnet/coreclr/issues/24515
- Looks like the path that acquires the thread store lock has code that is marked witH GC_TRIGGERS
- Changed ThreadPool.get_CompletedWorkItemCount and Monitor.get_LockContentionCount to use QCalls instead of FCalls

Log the real command line in case the process is started as a service

Disable IJW tests on ARM32 (#24570)

Fix Type.GetCustomAttributes for multiple instances of the same attribute (#24474)

Fixes dotnet/corefx#37261

Merge pull request #24553 from sandreenko/excludeTestsThatAreFailingUnderGCStress

Exclude tests that are failing under gc stress

Fix more save/restore code for HVAs (#24434)

Fix OnHijackTripThread.
Re-enable the mandelbrot-7 test.

Fix #24224

Further improvements for R2RDump robustness in the presence of bugs (#24429)

Based on JanV's suggestion I have added checks for token ranges
to MetadataNameFormatter to make it resilient towards invalid
tokens.

Thanks

Tomas

Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20190510.1 (#24522)

- optimization.IBC.CoreCLR - 99.99.99-master-20190510.1
- optimization.PGO.CoreCLR - 99.99.99-master-20190510.1

Disable _il_relu_fld under GCStress.

The issue is https://github.com/dotnet/coreclr/issues/24464

Disable versionbubbles under GCStress.

The issue is https://github.com/dotnet/coreclr/issues/22245

Merge pull request #24551 from sandreenko/disable_eventsourcetrace_in_jitstress

Exclude eventsourcetrace from jitstress runs.

Profiler API to request ReJIT with inliners (#24461)

This API is necessary for attaching profilers to be able to ReJIT methods and replace everything that uses the old IL.

Fix broken XML

Delete InternalCasingHelper (#24511)

The unmanaged runtime has number of different paths for case-insensitive operations, each with unique issues. This is replacing InternalCasingHelper with SString to reduce number of different paths for case-insensitive operations that need to be maintained.

Contributes to #20616

Merge pull request #24524 from janvorli/fix-encode-field

Fix field signature generation

Merge pull request #24523 from janvorli/fix-constraint-module-override

Add module override for constraint type in method

RemoveThrowMessage (#24563)

Was too aggressive with changes to PackageOutputPath property.
  - This represents this repo's generated packages rather than
    packages it consumes.

The PackagesDir property is used in places that expected a trailing slash.

Implement GC.GetTotalAllocatedBytes (#23852)

* keep what's allocated so far on each heap

* Implement GC.GetTotalAllocatedBytes

It is based on https://github.com/dotnet/corefx/issues/34631 and https://github.com/dotnet/corefx/issues/30644

* Fixing races related to dead_threads_non_alloc_bytes

* separated per-heap SOH and LOH counters. Different locks imply that we need different counters.

* allow/ignore torn 64bit reads on 32bit in imprecise mode.

* PR feedback

* simplified the test a little to avoid OOM on ARM

Disable tests that are failing with timeouts.

See examples in https://dev.azure.com/dnceng/public/_build/results?buildId=186855&view=ms.vss-test-web.build-test-results-tab

exclude eventsourcetrace from jitstress runs.

Fix build error for mscoree coreclr.exports (#24547)

This partially reverts #23853

Cleanup some build files (#24539)

* Remove OsEnvironment, PackagesDir, and CoreCLRBinDir properties
* Replace usage of __BuildArch with BuildArch
* Simplify test timing out on ARM64

Fixed link to .NET Core SDK (#24544)

Update UsingYourBuild.md (#24389)

Change MyGet to the custom feeds. I found that for dotnet new console to restore, I needed an ASP.NET feed as well.

Fixing S.P.Corelib to not double include files and ensure that S.N.V is marked #nullable enable (#24526)

* Changing EnableDefaultCompileItems=false to EnableDefaultItems=false

* Taking the VS auto-fixes for the solution and corelib csproj

* Removing the duplicated T4 file includes in the main csproj

* Regenerating the included T4 templates

* Fixing S.P.Corelib to properly list available platforms/configurations

* Add a comment on the T4 template service

Fix EventCounter disable logic (#24519)

Disable a tail call test when using minopts (#24426)

Disable a tail call test when using minopts

Fixes https://github.com/dotnet/coreclr/issues/24424

Move EventProvider native layout to be driven by CMake configure (#24478)

* Generate eventpipe implementation as part of CMake configure.

* Generate Etw provider as part of CMake configure.

* First pass porting over lttng provider to cmake.

* Fix up CMake Lttng provider generation.

* Move Lttng provider into CMake tree.

* Move dummy event provider to CMake

* Move genEventing into the CMake tree.

* Remove extraneous logging and unused python locator.

* Clean up build.sh

* Clean up genEventingTests.py

* Add dependencies to enable more incremental builds (providers not fully incremental).

* Convert to custom command and targets instead of at configure time.

* Get each eventing target to incrementally build.

* Fix incremental builds

* Add missing dependencies on eventing headers.

* PR Feedback. Mark all generated files as generated

* Clean up eventprovider test CMakeLists

Re-enable accidentally disabled tests. (#24531)

Reenable IJW tests. (#24530)

Properly set the nuget cache for the repo (#24505)

* Properly set the nuget cache for the repo

* Change coreclr NuGet package cache from "./packages" to "./.packages"

Remove obsolete comments

Fix field signature generation

The ZapSig::EncodeField was missing similar treatment that was made to
the encodeMethod in the past for enabling large version bubble. We
should encode all fields as field defs and the module override at the
beginning of the fixup signature is computed with that assumption.
The issue was that we were storing memberrefs in some cases and the
module override made them invalid.
It fixes a corefx test that was failing due to this when crossgen-ed
with large version bubble enabled.

Add module override for constraint type in method

The constraint type for method signature encoding was missing module
zapsig when it was needed.

Tweak a few nullable annotations (#24494)

- Assembly.ToString() won't return null
- Several attributes have the intent that their arguments are non-nullable, even though they don't check and throw; the annotations should match the intent in such cases.

Update dependencies from https://github.com/dotnet/corefx build 20190509.1 (#24495)

- Microsoft.NETCore.Platforms - 3.0.0-preview6.19259.1
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview6.19259.1

Fix netstandard build for nullable annotations

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Fix netfx build with nullable annotations

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Dead string (#24516)

[master] Update dependencies from dnceng/internal/dotnet-optimization (#24473)

* Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20190509.1

- optimization.IBC.CoreCLR - 99.99.99-master-20190509.1
- optimization.PGO.CoreCLR - 99.99.99-master-20190509.1

Fix an overflow issue with eventpipe buffer size (#24512)

[X86/Linux] Fix error: no member named 'GetId' in 'AppDomain' when enabled Interpreter issue (#24513)

https://github.com/dotnet/coreclr/issues/24492

Merge pull request #24482 from erozenfeld/Fix24159

Mark local struct as having overlapping fields after struct reinterpretation

Fix memory leak in PAL_GenerateCoreDump (#24503)

More cleanup of the HWIntrinsic test templates (#24455)

* Adding some templates from which other HWIntrinsic test templates can be generated

* Regenerating the HWIntrinsic tests

Mark local struct as having overlapping fields after struct reinterpretation

Methods like System.Runtime.CompilerServices.Unsafe.As<TFrom, TTo> may
have struct reinterpretation when function signature specifies Struct1&
and the method returns Struct2& where Struct1 and Struct2 are different
structs. This may confuse jit optimizations (in particular, value
numbering) because fields of a struct of type Struct1 may be accessed
using handles of Struct2. This fix marks the source local involved in
such struct reinterpretation as having overlapping fields. That prevents
SSA builder from inserting the local into SSA.

Fixes #24159.

No diffs in framework assemblies and coreclr benchmarks.

Add a new version of ContentionEnd event (#22487)

Add new contention event

- This new event contains the duration of the contention.
- Compute duration and emit contention events only when Contention keyword is activated

Merge pull request #24456 from briansull/ibc-work

IBC refactor - Zero Diff,  rename types and methods

Turn on nullability for all of Corelib (#24497)

* Enable nullable at the project level

* Remove `#nullable enable` from individual files

Removes `#nullable enable` from almost all .cs files in System.Private.CoreLib. I left it only in the ~30 files (out of ~1480 that had it) that are mirrored to corefx, that are built into projects by corefx that don't yet set NullableContextOptions at the project level, and that use nullable annotations; otherwise, they'd break the corefx build.

Delete suspicious code in delegate construction (#24493)

This reverts commit 0786da806b9727c466f3f9393cb3d55cf9df7536.

[master] Update dependencies from dotnet/corefx (#24314)

* Update dependencies from https://github.com/dotnet/corefx build 20190506.1

- Microsoft.NETCore.Platforms - 3.0.0-preview6.19256.1
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview6.19256.1

* Use last stable version of System.Numerics.Vectors package

* Add Microsoft.Bcl.AsyncInterfaces package

* Disable Microsoft.Bcl.AsyncInterfaces

Fix ComActivator typo. (#24485)

Return the required padding size instead of the current position to avoid integer overflow.

Remove premature throw (#24450)

* Remove premature throw

ResolveUsingEvent is no longer the last resort for Assembly resolution
and should not be throwing simply because the Assembly.Resolve event did
not find the Assembly

* Delay throw FileNotFound until after AppDomain.AssemblyResolve

Fix ETL event rejit IDs and sending of the IL to native map event when code versioning is in use (#24422)

Fix ETL event rejit IDs and sending of the IL to native map event when code versioning is in use

Fixes https://github.com/dotnet/coreclr/issues/22904
Fixes https://github.com/dotnet/coreclr/issues/22908
- Method events now always send the native code ID for the rejit ID, and the IL to native map event continues to send the IL code ID
- Took code versioning into account when sending rundown events for a method including the IL to native map

Merge pull request #24479 from dotnet/UpdateHelixSDK

Update Helix SDK Version - Master branch

Fix scenarios where SPCL is not crossgen'd and the output is not in the bin directory (#24477)

Add support in SPCL to call into user supplied register and unregiste… (#24452)

* Add support in SPCL to call into user supplied register and unregister functions

Merge pull request #24462 from briansull/fix-24440

Fix 24440

Merge pull request #24366 from sandreenko/fixLogPrinting

Fix some small issues with stress logging.

Send UTF16 dump file name (#24475)

Specify version.dll and add notification hook for delay load (#24449)

Mitigates an issue with hijacking of version.dll.
This is particularly an issue for self-contained and single-file-exe apps, as the hijacking in those cases does not require access to a machine-wide .NET Core install.

Fix 23317. (#24383)

The issue is that a LDVIRTFTN operation becomes a dictionary lookup to a direct call to an abstract function with no code. We AV later when executing the PreStub of that direct call. Fixed by making this a dictionary lookup to a MethodDescSlot lookup, followed by the call to the JIT_VirtualFunctionPointer helper to resolve the target code (Same logic executing in jitted IL mode)

Remove more MDA support code (#24457)

* Remove more MDA support code

* PR Feedback

Fix Issue 24440
gtGetStructHandleIfPresent can return nullptr (NO_CLASS_HANDLE)

Update Version.Details.xml

Update global.json

Two additional minor changes

Prefer UINT32 over DWORD in the IBC BlockCount API's

Add a check to prevent mixed-mode assemblies from being compiled into R2R (#24451)

Merge pull request #24447 from sandreenko/addGCStressExtraJobs

Add GCStress extra jobs.

Handle the case when the SamplingProfiler thread is terminated prematurely

Add generate crash dump command to diagnostics server (#24460)

Add the DiagnosticProtocolHelper class to deserialize and dispatch
the new GenerateCoreDump command.

Refactor the PAL createdump launch on unhandled exception code to
used by a new PAL_GenerateCoreDump method that doesn't depend on
the complus dump environment variables.

Changed the "full" createdump not to include the uncommitted pages and
removed the "add module metadata" workaround for SOS clrstack !UNKNOWN
problem now that is fixed in SOS (crashinfo.cpp).

Merge pull request #24463 from sandreenko/ExcludeMethodImpl

Exclude MethodImplOptionsTests.

Exclude MethodImplOptionsTests.

Exclude the test because the fix is postponed.

Merge pull request #24444 from BruceForstall/FixGenerateLayoutArgPassing

Fix build.cmd passing of args to runtest.cmd

Make Idn.GetAscii compatible with Windows (#24443)

GetAscii on Windows ignore if the uri has hyphens in the third and fourth places. We relaxing this on Linux too for the sake of the consistent behavior. This issue was causing some problems with the http stack.

Save OBJECTREF_TO_UNCHECKED_OBJECTREF and use auto.

On x86 OBJECTREF_TO_UNCHECKED_OBJECTREF expands to `((UINT_PTR)((*((_UNCHECKED_OBJECTREF*)&(fromAddress)))))`
where `*((_UNCHECKED_OBJECTREF*)` call contructor of `OBJECTREF` that call `Object->Validate`
that fails for `fromAddress` because it is not longer a valid address.

Fixing up time.cpp in the PAL (#24428)

* Fixing up time.cpp in the PAL

* Fixing GetTickCount64 in the PAL to continue using CLOCK_MONOTONIC_COARSE where available

* Reverting QueryPerformanceFrequency in the PAL to return tccSecondsToNanoSeconds for CLOCK_MONOTONIC

* Removing two unused variables from GetTickCount64 in the PAL

* Updating the PAL to error if neither mach_absolute_time nor clock_gettime(CLOCK_MONOTONIC) are supported.

* Fixing the PAL configure.cmake to link rt where applicable

Fix typo.

Fix build.cmd passing of args to runtest.cmd

If you use the `generatelayout` argument to build.cmd, it passes
all "unprocessed" arguments directly on to msbuild. To accomplish
the same this with runtest.cmd, you must use the "msbuildargs"
argument, or else the arg will be treated as a `CORE_ROOT` argument.
(This seems like a bad design, but that's a separate issue.)

E.g., I always pass `/consoleloggerparameters:ForceNoAlign`, and want
that passed on to runtest.cmd. (This should also be the default, but
once again, that's a separate issue.)

Add GCStress extra jobs.

Contributes to #24358.

Update Microsoft.Build.Traversal SDK to v2. (#24430)

Rename struct ICorJitInfo::ProfileBuffer        to ICorJitInfo::BlockCounts
Rename method ICorJitInfo::allocBBProfileBuffer to ICorJitInfo::allocMethodBlockCounts
Rename method ICorJitInfo::getBBProfileData     to ICorJitInfo:"getMethodBlockCounts
Rename args and use DWORD instead of ULONG for ICorJitInfo:allocMethodBlockCounts and ICorJitInfo:getMethodBlockCounts
Rename Compiler::fgProfileBuffer  to Compiler::fgBlockCounts
Use an #ifdef FEATURE_CORECLR to fix the missing CORINFO_FLG_DISABLE_TIER0_FOR_LOOPS flag on the desktop.
Make fgBlockCountsCount and fgNumProfileRuns DWORDs instead of ULONGs
Rename local var bbCurrentBlockProfileBuffer to currentBlockCounts
Rename local var bbProfileBufferStart to profileBlockCountsStart
Use DWORD when iterating over BlockCounts instead of ULONG
Rename ZapImage::hashBBProfileData to ZapImage::hashMethodBlockCounts
SuperPMI - Fixed all references to allocBBProfileBuffer => allocMethodBlockCounts
SuperPMI - fixed all reference to getBBProfileBuffer => getMethodBlockCounts

Merge pull request #23587 from BrianBohe/brbohe/moving_variableLiveRange

Moving VariableLiveRanges classes outside Compiler class

Merge pull request #24421 from sandreenko/AddZapDisableTailCallStresss

Add ZapDisable  and TailCallStress ADO testing.

Add option to only notify profiler of LOH allocations (#24291)

making DiagnosticCounter internal (#24427)