Merge remote-tracking branch 'origin/master' into utf8_validation_apis

Replacing the /Trusted_Platform_Assemblies switch with a simpler /r switch that can be used multiple times in the command line to provide a list of reference assemblies. Reference assemblies can now be passed as individual file entries instead of a giant string of semi-column separated entries. (#23462)

Use DotNet-HelixApi-Access only in internal project (#23479)

Add optimized UTF-8 validation and transcoding logic
- Hook it up through the existing Utf8 public static APIs
- Move some shared methods out of ASCIIUtility
- Hook it up through the Utf8String ctor

Handle addressing modes for HW intrinsics (#22944)

* Handle addressing modes for HW intrinsics

Also, eliminate some places where the code size estimates were over-estimating.

Contribute to #19550
Fix #19521

Cleaning up the P/Invoke signatures for QPF and QPC to avoid marshalling and pinning (#36071)

* Cleaning up the P/Invoke signatures for QPF and QPC to avoid marshalling and pinning

* Responding to PR feedback.

* Dropping support for low resolution stopwatch

* Removing BestFitMapping=false

* Removing unneeded unsafe declarations

* Addressing more PR feedback

* Fixing the pal_time header file

* Fixing the Unix P/Invoke signatures for GetTimestamp and GetTimestampResolution to return ulong.

* Fixing GetTimestampResolution to scale the result for HAVE_CLOCK_MONOTONIC

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #23430 from janvorli/disable-ijw-load-in-collectible-alc

Disable loading IJW assemblies into collectible ALC

Replace Win32 resource reading logic with cross platform implementation (#23363)

* FindResource direct implementation in PEDecoder

* Fixup bugs identified in resource reading

JIT: don't treat whitespace as separator in assembly name lists (#23410)

Only recognize ";" as a separator, so that we can support exclusions or inclusions
of assemblies whose names include spaces.

Impacts the altjit exclude list, and the disasm include list.

Addresses dotnet/jitutils#200.

Mark test GitHub_18582 as optimization sensitive (#23434)

Jitstress on OSX will turn on cloning stress in `Test` and cause stack overflows
cloning the large `GT_LIST` subtree of the call.

See issue #23346.

Disabled new IJW tests

There were couple of IJW tests added since the master I've based my
changes on. Adding disabling of those for unloadability testing.

Disable loading IJW assemblies into collectible ALC

Merge pull request #23413 from luhenry/fix-gh22302-2

Improve detection of CPU limits when running inside a Container

Miscellaneous R2RDump improvements (#23215)

1) In Naked mode, hide the distinction amongst METHOD_ENTRY vs.
METHOD_ENTRY_REF_TOKEN vs. METHOD_ENTRY_DEF_TOKEN as it's not
important for correctness and causes undesirable churn in diffs.
This required propagating the DumpOptions around in a couple
of places.

2) For historical reasons, the DisassemblingTypeProvider had
its own implementations of metadata formatting that is now provided
by MetadataNameFormatter. I have removed at least a part of this
duplication in this change. [It was causing undesirable diffs as
one version used to output type owner assemblies whereas the other
did not.]

Thanks

Tomas

Re-enable Index/Range Jit test (#23415)

typo: Double word "both" (dotnet/corefx#36272)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

typo: Double word "never" (dotnet/corefx#36300)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

typo: Double word "to" (dotnet/corefx#36264)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

typo: Double word "that" (dotnet/corefx#36269)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

typo: Double word "a" (dotnet/corefx#36271)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

typo: Double word "in" (dotnet/corefx#36270)

* typo: Double word "in"

* Update src/System.Console/src/System/Console.cs

Co-Authored-By: nschonni <nschonni@gmail.com>
Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

typo: Double word "the" (dotnet/corefx#36274)

* typo: Double word "the"

* Apply suggestions from code review

Co-Authored-By: nschonni <nschonni@gmail.com>
Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

typo: Double word "this" (dotnet/corefx#36273)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

typo: Double word "are" (dotnet/corefx#36275)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

typo: Double word "types" (dotnet/corefx#36276)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

typo: Double word "is" (dotnet/corefx#36283)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

typo: Double word "we" (dotnet/corefx#36288)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

typo: Double word "as" (dotnet/corefx#36277)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Revert "Add call to setup-stress-dependencies.sh to build-test.sh. (#23354)" (#23419)

This reverts commit 22c4ff5c1d339119c12547ac2d1b35211162df49.

Add call to setup-stress-dependencies.sh to build-test.sh. (#23354)

* Add call to setup-stress-dependencies.sh to build-test.sh.

* Fix args.

* hack __DistroRid

* Do not use bash source.

* Do not use bash source 2.

* Fix init-distro-rid permissions.

* Fix tabs.

* return deleted source where it was needed

Replace slow implementations in ASCIIUtility with fast implementations (#22516)

Fix WinRT marshalling for NotifyPropertyChangedEventArgs and NotifyCollectionChangedEventArgs (CoreCLR side) (#23401)

* Enable marshalling IntPtr and UIntPtr in WinRT scenarios to support our marshalling infrastructure.

* Enable getting an RCW for a native COM object while ignoring WinRT projections.

* Rename to Marshal.GetUniqueObjectForIUnknownWithoutUnboxing

* Clean up contract.

* Move GetUniqueObjectForIUnknownWithoutUnboxing to WindowsRuntimeMarshal.

* Move WinRT-specific FCalls to WindowsRuntimeMarshal.

Delete unused variables in jit. Part1. (#23399)

* Clean `assertionprop.cpp`.

* Clean `codegencommon.cpp`.:

* Clean `codegenlinear.cpp`.

* Clean `compiler.cpp`.

* Clean `earlyprop.cpp`.

* Clean `gschecks.cpp`.

* Clean 'lclvars.cpp`.

* Clean `jiteh.cpp`.

* Clean `liveness.cpp`.

* Clean `hashbv.cpp`.

* Clean `gcinfo.cpp`.

* Clean `optimizer.cpp`.

Apply Optimization in Index.GetOffset suggested by Levi (#23349)

* Apply Optimization in Index.GetOffset suggested by Levi

* Add Comment

* address the feedback

Move Exception to shared partition (#23361)

* Move Exception to shared partition

* Remove class name caching

* Not useful comments removal

Merge pull request #23366 from andy-ms/heap_hard_limit

Don't compact LOH just because a heap_hard_limit exists

Improve detection of CPU limits when running inside a Container

This focuse on better supporting `--cpuset-cpus` which limits the number of processors we have access to on the CPU; it also specifies which specific processor we have access to, but that’s irrelevant here

The work has been done here for all runtime components except `Environment.ProcessorCount`. The work consist in fixing `PAL_GetLogicalCpuCountFromOS` to use `sched_getaffinity`.

Fixes https://github.com/dotnet/coreclr/issues/22302

Update Ubuntu 18.04 ARM64 queues (#23374)

* Update Ubuntu 18.04 queue.

* Update Debian 9 ARM queues as well.

Updated Exception Handling for Collection<T> (#23290)

* Updated Argument Helper param from list->collection since the parameter name is collection

* Updated exception message to use an out of range exception that doesn't explicitly reference a list

* Simplified if statements that verify if the index is out of range

* Updated if logic to be simplified using (uint)

* Updated exception handling to throw ThrowHelper.ThrowArgumentOutOfRange_IndexException() when the ExceptionArgument was 'Index'

Merge pull request #23391 from briansull/pipeline-work

Add azure-pipeline job: coreclr-ci (Test Pri0 Linux_musl x64 release)

Update dependencies from https://github.com/dotnet/core-setup build 20190321.01 (#23385)

- Microsoft.NETCore.App - 3.0.0-preview4-27521-01

Correct  Linux_musl_x64

Merge pull request #23321 from franksinankaya/gcc_cleanup_14

Integer Conversion issues

Avoid stack walk as specified in the exclusion list

Merge pull request #23369 from BruceForstall/UpdateStaticStats

Update emitter statistics

Moving gen stack level to code gen interface (#23328)

* Make genStackLevel accessible from CodeGenInterface

* Initializing stackLevel before fist BasicBlock's code is generated

* Typo

* Removing extra line on comments

Add coreclr-ci (Test Pri0 Linux_musl x64 release)

Merge pull request #23350 from briansull/hva-tests

Update HVA test

Remove innerloop flow jobs that were missed (#23372)

* Remove innerloop flow jobs that were missed

* Correctly exclude windows x64 jobs as well

* Address pr feedback

Merge pull request #23389 from BruceForstall/ReplaceZipWithTar

Replace Linux pmi_asm_diffs use of zip/unzip with tar

Merge pull request #23384 from dotnet/darc-master-e8de3fe3-fa66-4b56-92cd-7be4e23a5739

[master] Update dependencies from dotnet/arcade

Replace Linux pmi_asm_diffs use of zip/unzip with tar

It appears our arm64 machines don't have 'zip', so are failing
to archive the final results.

Change perf smoketest queue (#23371)

We have installed python3 on all of the Helix queues, so we no longer need to be on a special perf queue for the smoketest runs.

[EventPipe] Fix linker warning on Debug/Checked build and unlink Unix Domain Socket #23334 (#23357)

- Attempt to close-behind unix domain socket and repurpose LF_REMOTING facility.
  - On shutdown, attempt to unlink the bound socket so it can be removed from the file system when the last reference to it it closed.
- Rename unused LF_REMOTING to LF_DIAGNOSTICS_PORT. This new flag will be used by the diagnostic server stress log calls.
- libcmtd.lib(initializers.obj) : warning LNK4098: defaultlib 'libcmt.lib' conflicts with use of other libs; use /NODEFAULTLIB:library [S:\github.com\jorive\coreclr\bin\obj\Windows_NT.x64.Checked\src\dlls\mscoree\coreclr\coreclr.vcxproj]
- Move some preprocessors and includes around.

Move Buffer constants to platform specific files (#23352)

* Move Buffer constants to platform specific files

* Add explicit access modifier

Update dependencies from https://github.com/dotnet/arcade build 20190320.2

- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19170.2
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19170.2

Update CoreCLR for changes in shared partition

Unify EnumInfo and NamesAndValues

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Hoist calls to IsBitwiseEquatable (#23381)

Smaller IL is easier for JIT

Runtime changes for IJW Activation (#22636)

* Implement loading an assembly from an HMODULE on Windows.

* Use the native runtime to execute the main method so I don't have to replicate all of the startup behavior.

* If ijwhost is loaded, then call back into ijwhost to resolve tokens for vtable entries.

* Refactor our various component loaders (COM and IJW) and have IJW load components into separate ALCs when loaded from native.

* Move VTableFixups after DeliverSyncEvents in our incremental load. We need the module to be loaded to at least FILE_LOAD_DELIVER_EVENTS when resolving dependencies loaded via VTableFixups, otherwise they try to load into the default ALC.

* Only try to get ijwhost module handle on Windows.

* Use defined() instead of ifndef

* Fix off-Windows build break and fix unvalid comment.

* ComponentLoadContext->IsolatedComponentLoadContext

* Only build InMemoryAssemblyLoader when targeting windows.

* Add doc comments for IsolatedComponentLoadContext.

* Rename qcall.

* Add comment for boolean parameter.

* Add null check for managed ExecuteMainMethod entrypoint.

* Add comments in ceeload.cpp for the ijwhost method resolution.

* Add test verifying runtime callback to IJW host.

* Add test for InMemoryAssemblyLoader.LoadInMemoryAssembly.

* Fix x86 behavior rel. loading symbols by name and stdcall mangling.

* Remove exe entrypoints. The executable case for mixed-mode will go through the normal .NET Core app model (no special hosting support needed).

* Clean up whitespace

* Add test verifying M->N->M ALC switch behavior with IJW.

* Resolve the ijwhost module by probing the PE for the IJW assembly instead of hardcoding the name.

* Remove static caching in GetTokenGetterFromHostModule.

* Disable new IJW tests on Win7.

* PR Feedback.

* Cleanup extra copy of function.

* Use old-style environment checking in LoadIjwFromModuleHandle since we reference S.P.CL directly.

* Fix break in rebase

* Clean up fake mscoree code.

* Only validate that a CLR header exists. The OS verifies everything else.

* Make ijw host resolution code static to ceeload.cpp

* Use bracketed include for xplatform.h

* Update comment on _CorDllMain

* PR feedback.

* Remove .def file.

* PR feedback.

* Verify we export correctly on x86 and x64.

* Fix path to ijwhostmock for CopyConstructorMarshaler

* Disable IJW tests on arm32 nightly. Can't repro the dependency load failures. Fixes #23358

Test for PollingCounter (#23257)

* Add test for PollingCounter

* some cleanup

* Comparing mean to failureCountCalled

* fix comparison

* compare to the correct count

* fix casing in csproj file

Update dependencies from https://github.com/dotnet/core-setup build 20190319.04 (#23360)

- Microsoft.NETCore.App - 3.0.0-preview4-27519-04

Expand Vector128 testing to 5 elements

Merge branch 'master' into hva-tests

Remove kill-tasks step in eng/build-job.yml and kill_tasks.cmd file (#23351)

Update emitter statistics

1. Move BasicBlock static statistics output to block.cpp,
and update it to match the current BasicBlock declaration.
2. Add counts for each instrDesc type that is used.
3. Dump instrDesc type sizes.
4. Dump IG "static" buffer sizes.
5. Dump how many of each instrDesc can fit in the "static" IG.
6. Dump the maximum prolog instrDesc count and prolog IG size.
7. Fix and enable the "common small constants" output.

Don't compact LOH just because a heap_hard_limit exists

This is based on a perf test with 100% survival in a container, before
and after #22180. GC pause times were greater after that commit.
Debugging showed that the reason was that after, we were always doing
compacting GC, and objects were staying in generation 1 and not making it
to generation 2. The reason was that in the "after" build,
`should_compact_loh()` was always returning true if heap_hard_limit was
set; currently if we do an LOH compaction, we compact all other
generations too. As the comment indicates, we should decide that
automatically, not just set it to true all the time.

Restrict the set of platforms for GCStress testing. (#23353)

Adding a flag to able/disable scope info (#23298)

* Flag USING_SCOPE_INGO definition

* Enclosing siScope's related functions uses with USING_SCOPE_INFO flag definition check

* Encapsulating genSetScopeInfo when using siVarScope

* Moving comment inside flag defined block

* Include siScope/psiScope functions only when flag USING_SCOPE_INFO is defined

* Disable scope info

* Typo

* Adding comment flag name on #endif

* Remove redundant access levels/flags

* Repeating last accessibility level in case flag is disabled

* Setting use of siScope and psiScope as default way of reporting variable homes

Add repro case for jit stack overflow failure (#23346)

Repro case for #18582 and #23309.

Exclude GC/Collect from GCStress testing. (#23345)

Implement support for copy constructors when marshalling in IJW (#22805)

Fixes #22219.

I decided to try simplifying the code when bringing this feature over from .NET Framework. The .NETFX x86 implementation of this marshaler adds a lot of extra code-paths, and intercepts the calling stub to enable it to exactly replicate the behavior of what would be the native code by copy-constructing an object in-place where it goes on the stack for the native call.

Instead of adding all of that extra goo, I decided to keep the implementation much more similar to the non-x86 implementation from .NETFX. Instead of intercepting the call and adding bookkeeping helper stubs, the marshaler just copies to a local in the IL stub, just like non-x86. When calling the native function, it just loads the local onto the IL stack and calls the native function as a normal function. There is a difference there, but I cannot think of a way that the difference is observable to the user.

The non-x86 implementation is identical to the .NETFX implementation.

Merge branch 'master' into hva-tests

Fill out full test matrix
Give detailed error messages for test failures:

test1Argument_HVA128_03(arg1.v2): FAILED - Vector64<T> checkValues(index = 16, i = 0)
test1Argument_HVA128_03(arg1.v2): FAILED - Vector64<T> checkValues(index = 16, i = 0) (via reflection)

Remove timer in RuntimeEventSource (#23311)

* Change RuntimeEventSource's counter types

* cleanup

* cleanup

Trim/TrimStart/TrimEnd methods for Memory and Span (#22798)

* Span.Trim

* Add another helper

* Remove redundant comments

* Optimize Trim(ReadOnlySpan<char>)

* Suggested overload for byte

* CR fixes

* CR fix

* Add Span overloads

* Add Memory overloads

* CR

* Rename method

* Optimization

* Tweaks

* Refactor

* Opt

* Use 2 helpers

* CR fixes

* CR fixes

* Nits

* CR fixes

* remove in params

* Bug

* Bug

* Move Trim methods to their own dedicated file

* Add char overloads

* Use Contains

* CR fixes

* Optmize ClampNull

* Nit

* Revert optimization

* Make existing implementations consistent with new

* Revert existing methods

* Move helpers

* Span, Memory and RoM should use consistent pattern

* POC for changing RoS

* Revert POC

* Use consistent idiom

* More inlining of explaining vars

* Use expression body for existing code

* CR fixes

* Nit

* Grammar

* CR fixes

* Fix perf bug in existing code

* Perf fix

* Force CI build

* Force CI

Reintroduce PR #22617 (Update added types and methoddefs on ApplyMetadata) (#23202)

* Add ApplyMetadata changes back

This reverts commit f9c10f995fe65c0e7c30aa1734f7bb22c519983d.

* Fix race condition in loading available class hash for R2R with old R2R images or profiler modified R2R images

Update dependencies from https://github.com/dotnet/arcade build 20190317.10 (#23339)

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19167.10
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19167.10

Update dependencies from https://github.com/dotnet/core-setup build 20190318.07 (#23341)

This change updates the following dependencies
- Microsoft.NETCore.App - 3.0.0-preview4-27518-07

Update CoreFX Windows Arm64 exclusion list. (#23261)

* Reenable CoreFX tests that were fixed on arm64 windows.

* Exclude Microsoft.Win32.SystemEvents.Tests

Disable Jenkins Innerloop Jobs (#23287)

* Disable Jenkins Innerloop Jobs

This change will:

1) Remove default PR trigger jobs from being run in jenkins
2) Start submitting tests for linux arm32 in coreclr-ci

It is worth noting that this change will not remove jobs from netci.groovy.
This is to say that it is still possible to trigger innerloop and outerloop
jobs in jenkins, they will just not be run automatically on each new PR.

Past this point coreclr-ci will be the only PR triggered jobs to appear in Coreclr.
To see test results, navigate to the coreclr-ci Azure Dev Ops page at:
https://dev.azure.com/dnceng/public/_build?definitionId=228 and view the build related to your PR.
There is a test tab which will report all test results.

* Address PR feedback

* Add queue to array syntax

* Do not create push trigger jobs

Adding const to functions that don't change or shouldn't change state (#23329)

Revert "Delete suspicious code in delegate construction (#22830)" (#23291)

This reverts commit 674bdcbc2ac824d005b5179cee3c5826b582b9a6.

Add Utf8String skeleton (#23209)

Utf8String is an experimental type that is string-like (heap-allocated, immutable, variable-length, null-terminated) but whose inner representation is UTF-8, not UTF-16.

This is a skeleton implementation of the basic API shape. The ecosystem of APIs has not yet been built around it. All Utf8String-related code is currently surrounded by ifdefs to allow easy identification and removal from release branches.

Add Rune.TryEncodeToUtf8 and related APIs (#23250)

Also renames the existing Encode / Decode APIs per design review feedback

Fix Interop/SizeConst/SizeConstTest to successfully run in all locales. (#20268)

This test initially would fail when run on a multibyte character set with characters for the original value of `s.arr` such as zh-CH. We cannot change the marshaler since there is not a good way to determine how many bytes/character we need at type-load-time (when the size of the native type is determined).

This change allows us to accurately run this test on Windows machines with multi-byte character sets.

Fixes #7793.

Merge pull request #23314 from dotnet/darc-master-648053b9-42fd-4c35-979c-5fdabc09c8cb

[master] Update dependencies from dotnet/core-setup

Fix for running in a container without mem limit set on Windows; (#23297)

also fixing the LocalGC standalone case on Linux

Update assemblyloadcontext.md (#23318)

Fix explicit constructor calls and Remove multi-line comments (#23162)

* fix implicit constructor call

* extern c

format patch

* muti-line

* Remove direct constructor call

* Conversion

* Need paranthesis

* Return value on resize

* declspec(Thread)

* Ignore warnings for GCC

* Formatting issues

* Move cast to constant

Conversion issues

Merge pull request #23307 from franksinankaya/gcc_cleanup_13

Fix conversion, unknown pragmas and Visibility Issues for GCC

Merge pull request #23179 from franksinankaya/gcc_cleanup_11

Correct current script dir detection for GCC

[EventPipe] Adding an IPC server to handle out of process communication. (#23106)

This is the first commit to enable a "diagnostic port" using IPC (Named Pipe on Windows and Unix Domain Socket on other platforms). This change currently enable EventPipe to be enabled/disabled without the use of a file drop.
- Split the DiagnosticsIpc into (DiagnosticsIpc/IpcStream)
  - DiagnosticsIpc (IPC listener) is meant to be used by the Diagnostic server.
  - IpcStream (IPC channel) is meant to be use to communicate with the connected client.
- Change the FastSerializer dependency from `CFileStream` to `StreamWriter`
  This abstraction is meant decouple the writing of objects in order to extend its usability.
  The main objective is to reuse FastSerializer to stream data through the open IPC channel.
- Moved the EventPipeSessionProvider* classes to their own file.
- Added a more streamlined parsing achievable by defining a simpler binary protocol (by noahfalk).
  1. Only one allocation is needed for the EventPipeProviderConfiguration array, no allocations or copies are needed for strings because we can refer to them directly out of the incoming command buffer
  2. No change to the EventPipe API for enable is required. EventPipeProviderConfiguration retains its current behavior of not deleting the string pointers it holds.
  3. No leaks happen because the command buffer owns the string memory and ensures that it stays alive for the duration of the Enable() call.

Add gcc6 and gcc8 to supported compilers

Support gcc for build-test.sh

Update dependencies from https://github.com/dotnet/core-setup build 20190317.03

This change updates the following dependencies
- Microsoft.NETCore.App - 3.0.0-preview4-27517-03

Make more types eligible for vectorized code paths in MemoryExtensions (#20855)

Types like sbyte, ushort, and other 8-bit / 16-bit elemental types are now directed down the fast vectorized code paths that previously only byte and char were eligible for.

Correct ignored align attribute

src/vm/threadpoolrequest.h:166:48: error: attribute ignored in declaration of ‘struct ManagedPerAppDomainTPCount::<anonymous>’ [-Werror=attributes]
     DECLSPEC_ALIGN(MAX_CACHE_LINE_SIZE) struct {
                                                ^

Const has static linkage

bin/obj/Linux.x64.Debug/src/dlls/mscorrc/full/mscorrc_debug.cpp:1002:110: error: ‘visibility’ attribute ignored [-Werror=attributes]
 const NativeStringResourceTable nativeStringResourceTable_mscorrc_debug __attribute__((visibility("default"))) = {