Fix missing version numbers in packaged files and getting IBC merge version in official build (#24735)

* Fix missing version numbers in packaged files in official build
* Fix build script for getting IBC merge version

Add some perf events/data for tiered compilation (#24607)

Add some perf events/data for tiered compilation

New events:
- `Settings` - Sent when TC is enabled
  - `Flags` - Currently indicates whether QuickJit and QuickJitForLoops are enabled
- `Pause` - Sent when TC is paused (due to a new method being called for the first time)
- `Resume` - Sent when TC resumes
  - `NewMethodCount` - Number of methods called for the first time while tiering was paused
- `BackgroundJitStart` - Sent when starting to JIT methods in the background
  - `PendingMethodCount` - Number of methods currently scheduled for background JIT
- `BackgroundJitStop` - Sent when background jitting stops
  - `PendingMethodCount` - Same as above. When 0, background jitting has completed.
  - `JittedMethodCount` - Number of methods jitted in the background since the previous BackgroundJitStart event on the same thread

Miscellaneous:
- Updated method JIT events to include the optimization tier
- Added a couple more cases where tiered compilation is disabled for methods that have JIT optimization disabled for some reason
- Renamed `Duration` field of the new version of the `ContentionEnd` to `DurationNs` to indicate the units of time
- Added `OptimizationTierOptimized` to `NativeCodeVersion::OptimizationTier` to distinguish it from `OptimizationTier1`. `OptimizationTierOptimized` is now used for methods that QuickJit is disabled for, and does not send the tier 1 flag.
  - For info about the code being generated by the JIT, added info to `PrepareCodeConfig` and stored a pointer to it on the thread object for the current JIT invocation. Info is updated in `PrepareCodeConfig` and used for updating the tier on the code version and for sending the ETL event.
  - If the JIT decides to use MinOpt when `MethodDesc::IsJitOptimizationDisabled()` is false, the info is not stored. The runtime method event will reflect the JIT's choice, the rundown event will not.
- Updated to show optimization tiers in SOS similarly to PerfView

Add missing pin to two tests and re-enable for GC stress (#24738)

Test was evidently assuming that because an object that referred to an array
was pinned, so was the array. Failure was intermittent, GC is not guaranteed
to move objects or to render their former contents inaccessible.

Fixes #24173.
Fixes #24464.

Use auxiliary vector to obtain the executable path name (#24696)

This vector is populated by the kernel while loading an ELF, and is
available to user land without requiring any system calls.  This is
specially interesting if programs are executed under a chroot where
/proc isn't available (and thus realpath("/proc/self/exe"), the current
method of obtaining the full path name for the executable).

Reenable all CoreFX tests (#24740)

Prevent duplicate class addition when a profiler adds a type (#24737)

Profiler attach over the diagnostics pipe (#24670)

Remove the old windows only profiler attach mechanism and replace it with a cross plat implementation over the diagnostics pipe

Stop compiling fragile NGen support into the runtime (#24625)

Use Microsoft.Build.Traversal instead of dir.traversal.targets for packaging .builds projects (#24723)

Use -c when trying to find Python (#24722)

Piping code into Python is indistinguishable from interactive execution, but since we never want interactive execution here it's better to use `-c <CODE>`.

Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20190521.3 (#24717)

- optimization.IBC.CoreCLR - 99.99.99-master-20190521.3
- optimization.PGO.CoreCLR - 99.99.99-master-20190521.3

Merge pull request #24734 from mikem8361/sosincs2

Add warning banner and sos threads -special fix

Add EnumerateRefs API and remove GetObjectReferences (#24542)

Change timeouts for outerloop job and move one test to longRunningGc. (#24731)

* Change outerloop timeout per collection.

We have different test collections timeouts on Alpine.38.Amd64, examples:
https://mc.dot.net/#/user/coreclr-ci/ci~2Fdotnet~2Fcoreclr~2Frefs~2Fheads~2Fmaster/test~2Ffunctional~2Fcli~2F/20190521.780/workItem/JIT.jit64.hfa/wilogs
https://mc.dot.net/#/user/coreclr-ci/ci~2Fdotnet~2Fcoreclr~2Frefs~2Fheads~2Fmaster/test~2Ffunctional~2Fcli~2F/20190521.779/workItem/PayloadGroup0/wilogs
https://mc.dot.net/#/user/coreclr-ci/ci~2Fdotnet~2Fcoreclr~2Frefs~2Fheads~2Fmaster/test~2Ffunctional~2Fr2r~2Fcli~2F/20190521.783/workItem/Loader.classloader.TypeGeneratorTests.TypeGeneratorTest0-299/wilogs

* Move _il_relthread-race to pri1 and mark as long running GC test.

ComponentActivator GetType must throwOnError (#24732)

Add warning banner and sos threads -special fix

Fix x86 synchronized method (#24703)

For the JIT32_GCENCODER the this pointer must be either kept in a single register or on the stack.

Fix #24166

Allow CORINFO_BOX_THIS for primitives and enums (#24644)

We abort R2R compiling methods with `thisTransform == CORINFO_BOX_THIS`. This means we don't R2R compile some methods that do virtual calls on valuetypes (e.g. calling `ToString` on a struct that doesn't itself provide a `ToString` method).

We can't allow this in general, but enums and primitives should be fine.

Remove filter for Exception type during registry inquiry. (#24725)

Update Console output with more details.

put lttng probe check under FEATURE_EVENT_TRACE (#24729)

Relax the assertion for FieldDesc::GetBase

Merge pull request #24636 from echesakovMSFT/MoreOuterloopQueues

Enable OSX.1012.Amd64.Open and Windows.10.Arm64.Open (only Windows_NT/arm) in outerloop jobs

Delete FEATURE_WINDOWSPHONE (#24718)

Test case for #24657 (#24721)

This bug is a duplicate of #18522. Adding the additional repro.

Close #24657

Fix Path.Join argument nullable annotation (#24719)

Cache current thread ID in TLS (#24699)

While looking at the strace of `corerun` built with logging and
debugging information, I was amazed at the number of gettid() calls it
was making.  While system calls are cheap, they're still not free;
cache this number in the thread local storage area.  Adds a branch, but
it's just a comparison with 0, so it's fine in comparison.

Fixed ARM single stepper: added "ADD Rn, PC" command emulation (#24271)

This change fixes bug #24164: pull request #11366 adds generation of
commands which use PC-relative addressing. But ArmSingleStepper doesn't
implements support for "ADD Rn, PC" command, so when we try to debug
managed code, generated JIT can't be single stepped correctly.

Detailed changes description:

1) added "ADD Rn, PC" command emulation to ArmSingleStepper;
2) asserts added to JIT code generator, which prevents using of CPU
instructions, which address PC (R15) register with except of only "ADD
Rn, PC" instruction (asserts generated only in Debug builds).

Normally PC register shouldn't be used in arithmetic commands almost in
all cases.

Commit 29810a78e5b93d8da9fb921d096226d249fc75a5 added unconditional dependency on GetCpuUtilization (#24715)

Update projitems file inclusion

Delete dead strongname-related code (#24709)

GC Moved Objects Profiler API fix (#24541)

Track debug info for DynamicMethods for Profiler API (#24139)

Add runtime counter for current assemblies loaded (#24698)

* Consume # of assemblies loaded

* Fix names

* Fix build

* Add ifdef in assemblynative.hpp

* fix merge error

* fix build break

* Address PR feedback

* Fix linux build

* Remove ifdef

Fix loading libcoreclrtraceptprovider.so (#24702)

Fix profiler crash on shutdown (#22712)

Fixes issue #22176. Use the profiler evacuation counters to ensure that we
don't callback into the profiler when it has already been released.
Previously we only did this as part of the attach/detach feature, but this
is required for correctness during standard shutdown given that managed
threads are still running concurrently.

Implement AppDomain.Monitoring*MemorySize (#24610)

* Implement AppDomain.MonitoringTotalAllocatedMemorySize

* Change precise:true back to precise:false in GetTotalAllocatedBytes

[master] Update dependencies from dotnet/core-setup (#24647)

* Update dependencies from https://github.com/dotnet/core-setup build 20190520.09

- Microsoft.NETCore.App - 3.0.0-preview6-27720-09

Delete Unsafe redefinitions of Windows APIs (#24688)

Leftover from SQL hosting infrastructure

Update build docker images to enable NUMA  support (#24593)

* Update build docker images to enable NUMA  support

So far, the NUMA support for Linux was disabled due to the fact that the
build docker images didn't have libnuma development package installed.
This change updates the images to ones that have the libnuma added that
were created recently.

* Update build job to use Clang5.0 for arm64 everywhere

Our new images for linux-arm64 build have only Clang 5.0 and this change
also aligns the build with linux-musl-arm64.

* Update the clang version used for test builds

Fix GCToOSInterface::SetCurrentThreadIdealAffinity on Unix (#24706)

The code was using GCToOSInterface::SetThreadAffinity, which
effectively pinned the current thread to a specific processor. On
Windows, it calls SetThreadIdealProcessor which is basically just a
scheduler hint, but the thread can stil run on other threads.

Since there is no way to set ideal affinity on Unix, the fix is to do
nothing in the GCToOSInterface::SetCurrentThreadIdealAffinity.

Add Microsoft.DotNet.Build.Tasks.Packaging to Version.Details.xml (#24700)

Modified format logic so that braces are not allowed in custom format specifiers (#23062)

* Modified format logic so that braces are not allowed in custom format specifiers.

* Disabled failing test temporarily and fixed code style issue.

PR needed to pass test: https://github.com/dotnet/corefx/pull/35820

* Slight changes to logic to better align the diff.

* Fixed counting error.

* Fix nullable

* Move exclusion near related test

* Add skip to new issue file

* Delete CoreFX.issues.json

Set ContinuousIntegrationBuild=true for product build in build-job.yml (#24693)

Update dependencies from https://dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20190521.1 (#24681)

- optimization.IBC.CoreCLR - 99.99.99-master-20190521.1
- optimization.PGO.CoreCLR - 99.99.99-master-20190521.1

Add clarifying comment why Windows.10.Arn64.Open only used in Windows_NT/arm and only for CI builds

Add null check in VoidFreeNativeLibrary (#24685)

Fix loading libcoreclrtraceptprovider.so

Fixing EnableSSE3_4=0 and EnableHWIntrinsic=0 to control the right things (#24649)

* Ensure we check JitConfig.EnableSSE3_4 when determining the max supported vector size

* Ensure that EnableHWIntrinsic=0 doesn't impact the supported ISAs

* Applying formatting patch

* Moving jitstress-isas-x86 to the 600m timeout group

Reduce overhead of SemaphoreSlim.WaitAsync (#24687)

This affects the case where SemaphoreSlim.WaitAsync is invoked, the operation completes asynchronously because there's no count available in the semaphore, and where a timeout and/or a cancellation token is passed to WaitAsync.  In that case, we need to wait for the underlying wait task to complete, for cancellation to be requested, or for the timeout to elapse.

There's currently one code path that handles this.  This change improves that slightly by avoiding a defensive array copy.  However, we can do much better when we get a cancelable token but no timeout, in which case we can avoid operations like Task.Delay, can register with the original cancellation token rather than a new one (which means we avoid forcing a new CancellationTokenSource's lazily-allocated partitions into existence), etc.

Add CreateNativeDelegate flags check (#24695)

Delete infrastructure files that are no longer used (#24684)

* Delete Jenkins scripts

* Delete support files for the old CoreFX test infrastructure

* Delete CoreFX test file setup utility

Update CreateNativeDelegate calling convention (#24690)

Pass strings as UTF16 on Windows

Switch NuGet package build to use Arcade instead of BuildTools (#24619)

Merge pull request #24675 from sandreenko/excludeSuperPmiCollect

Exclude superpmicollect with JitStress on arm.

Add CreateNativeDelegate flags argument (#24671)

Enhance the Missing Resources Exception Message (#24645)

* Enhance the Missing Resources Exception Message

* Address the feedback

* Fix Nullable declaration

Update name of CoreFX test exclusion file

Avoid PAL LoadLibrary simulator for regular PInvoke (#24669)

Fixes #21009

Merge pull request #24674 from am11/libunwind-atomic

Add header check for atomic_ops.h

Adding a jitstressregs_x86_noavx outerloop job group (#24650)

* Adding a jitstress_regs_x86_noavx outerloop job group

* Fixing the names of `jitstress-regs` to `jitstressregs`

Exclude superpmicollect with JitStress on arm.

Revert this when https://github.com/dotnet/coreclr/issues/24633 get fixed.

Add header check for atomic_ops.h

Disable Interop/WinRT/NETClients/Primitives test on Nano Server. (#24665)

* Disable Interop/WinRT/NETClients/Primitives test on Nano Server.

* Fold !IsWindowsNanoServer into IsWinRTSupported

Cuckoo metadata (#24498)

* Basic infra for cuckoo filter of attributes
- Implement cuckoo filter lookup logic
- Implement new ready to run section
 - Add dumper to R2RDump
 - Parse section on load into data structure
 - Implement function to query filter
- Add concept of enum of well known attributes
  - So that attribute name hashes themselves may be cached
* Wrap all even vaguely perf critical uses of attribute by name parsing with use of R2R data
* Update emmintrin.h in the PAL header to contain the needed SSE2 intrinsics for the feature
- Disable the presence table for non Corelib cases. Current performance data does not warrant the size increase in other generated binaries

Comment the include files that have SOS dependencies (#24655)

Add warning headers

Issue https://github.com/dotnet/diagnostics/issues/38

Merge pull request #24611 from janvorli/add-field-signature-test

Add regression test for #24524

Add ComponentActivator (#23958)

Add ComponentActivator helper for loading a component
in an isolated AssemblyLoadContext and returning a delegate.

Disable FEATURE_INTERPRETER for crossgen (#24662)

cpp config (#24540)

Avoid boxing in TextWriter.Write(StringBuilder) (#24664)

Fixes #24663 by calling `Write(ReadOnlySpan<char>)` instead of `Write(object)` with a boxed `Memory<char>`.

updates (#24656)

Adding the isa outerloop jobs (#24630)

* Adding the isa outerloop jobs

* Don't redefine scenarios for the jitstressisas group

* Splitting jitstress-isas into jitstress-isas-arm and jitstress-isas-x86

* Fixing the azure-pipelines.yml to include platforms:

* Removing Linux_arm as a platform for the jitstress-isas-arm group

* Ensure that the platforms for the jitstress-isas jobs are listed in both places required

* Removing Windows_NT_arm from the jitstress-isas-arm platforms

Merge pull request #24325 from BruceForstall/Fix23821LinuxArm64Probe

Improve stack probing for Linux/arm64

Allow the write when the buffer can fit the event exactly

Ensure we don't underestimate the code size for 4 byte SSE instruction. (#24555)

* Ensure the code size estimate for emitIns_R_S is correct for 4 byte SSE instruction.

* Centralizing the Is4ByteSSEInstruction size adjustment handling

* Removing unnecessary calls to emitGetVexPrefixAdjustedSize

* Ensure all registers are checked against IsExtendedReg

* Ensure that the ival size is correct for SSE/AVX instructions

* Applying formatting patch

* Ensure all cases for emitIns_R_R_I are covered

* Fixing a inst_RV_RV_IV call to ensure ival fits in a byte

* Centralize some more checks into emitGetAdjustedSize

* Applying formatting patch

Fix createdump on alpine (#24623)

Issue # https://github.com/dotnet/coreclr/issues/24599

Add IsVariableBoundArray to TypeDelegator (#24637)

Improve stack probing for Linux/arm64

Avoid the case where we miss touching a page with a large
outgoing argument space plus a callee large local frame
size.

Add asserts that prolog SP adjustments before a stack touch
don't exceed the threshold we allow. This ensures that a
stack touch on the caller will be sufficient for the callee.

Fixes #23821

Disable WinRT NETClientBindings test on ARM/ARM64 (#24632)

Manually update xunit.console runner package (#24635)

Fixing the Dragon4 algorithm to correctly handle when the first significant digit is after the cutoff (#24484)

Enable OSX.1012.Amd64.Open and Windows.10.Arm64.Open in outerloop jobs

Merge pull request #24620 from sandreenko/addGC_R2R_stress_jobs

add ReadyToRun ADO extra testing.

Fix localloc with large out arg space (#24388)

Add stack probing in localloc with fixed outgoing arg frames

The SP adjustment when we re-establish the outgoing argument
space after doing a localloc must be probed. This is true for
all architectures with fixed outgoing argument space, namely,
everything but x86.

Add new tests for this.

Fixes #23915

Update dependencies from https://github.com/dotnet/core-setup build 20190516.11 (#24628)

- Microsoft.NETCore.App - 3.0.0-preview6-27716-11

Ensure using single Utc object in TimeZoneInfo (#24614)

Currently if calling GetSystemTimeZones, will return a list which in include Utc object created from the enumeration.  But when calling FindSystemTimeZoneById("UTC") will return the cached Utc object which is different than the one returned from the enumeration. This in general could be not a problem but it is better to ensure returned the same object from both APIs. The reason is in our internal code, we use some reference equality for the perf reason. Ensure the usage of Utc object will make it more reliable.

Add .NET Core 3.0 perf blog post link

Merge pull request #24432 from am11/gcc_over_aligned_new

Use -falign-new flag for gcc 7+

Merge pull request #24616 from BruceForstall/RemoveJenkinsBUILD_URLVariable

Remove Jenkins BUILD_URL environment variable

Merge pull request #24520 from am11/freebsd/set-affinity

Fix CPUSET_T definition for FreeBSD

Delete unnecessary locale arguments (#24624)

Everything in the runtime should use Invariant culture. It is not necessary to pass the locale arguments around.

Add support for invariant casing in PAL (#24597)

unicodedata.cpp based on UnicodeData.txt v11.0.

Add runtime counter for TP work items produced (#24618)

Correcting documentation for span and memory slice (#24612)

compilation fixes (#24613)

Fix parameter names in ToUtf16 (#24617)

PR feedback

Remove Jenkins BUILD_URL environment variable

If AzDO provides an equivalent functionality, we could convert to
use that instead of simply removing this reference.

Add Managed->Native tests for our WinRT primitives (#23529)

* First pass generating the contracts for the WinRT tests. Managed ones are manually written, Native are generated via C++/WinRT.

* Don't overwrite the public implementation files when we run cppwinrt

* Don't output a MIDL-processed header.

* Add default constructor for BindingViewModel.

* Partial implementation of most of the native winrt component.

* Finish implementation of native winrt component.

* Get native component building correctly (cppwinrt doesn't include wrappers for the "Windows::UI::Xaml::Interop::IBindable*" collection types.

* Add WinRT primitive marshalling tests.

* Add testing for projected types used for binding.

* Add license headers to native files.

* Disable WinRT tests on non-WinRT platforms (detection copied from CoreFX).

* Use WINDOWS_SDK_VERSION variable in all locations.

* Use Windows SDK version determined by CMake in WinRT build.

* Resolve WinMDs via globs so the build can roll between different Windows SDK versions that have required APIs seamlessly.

* Add logging of cppwinrt version.

* Try to construct path to cppwinrt when finding it

* Just directly construct the cppwinrt path.

* Remove -prefix flag from cppwinrt invocation

* PR feedback.

* Fix syntax in BindableVectorWrapper.

* Disable winrt binding test on Nano Server.

* Add enum testing. Clean up WinRT tests to hopefully build on CI (or at least fail at a later point).

* Add some more logging to try to determine why an older SDK version is being picked.

* Try to define CMAKE_SYSTEM_VERSION and see if that selects the correct SDK version (it seems to work on the build.cmd script)

* Clean up WinRT CMake now that it builds on AzDO CI.

* Disable WinRT binding test on pre-Win10V1809 systems.

add build defenitions for r2r extra jobs.

Delete iswxdigit test (#24608)