Handle generics in methodimpls for default interface methods (#20404)

The existing logic looking at MethodImpls to find the default interface implementation was not correct in the presence of generics. The MethodImpl records we build during type load only contain inexact MethodDescs for the declMethod that are not suitable for comparisons.

The fix is to pipe through the token and resolve the declaring method from it at the time of dispatch.

Fixing Utf8Parser.Number to not modify the value of 'c' (#20967)

Exclude failing System.Memory.Tests (#20958) on Linux/ARM and Linux/ARM64 (#20962)

Passing the CONTEXT in ICorDebugManagedCallback4::DataBreakpoint (#20960)

* Passing the CONTEXT in ICorDebugManagedCallback4::DataBreakpoint
* ifdef out the message sending on configurations that does not support data breakpoint

Simplify build.sh command line arguments for Linux/arm cross build (Part 1) (#20836)

* Don't use crosscomponent|-crosscomponent command line args in build.sh
* Don't use CROSSCOMPONENT environment variable in build.sh src/pal/tools/gen-buildsys-clang.sh
* Remove mentioning -crosscomponent from usage() in build-test.sh
* Don't use -crosscomponent in buildpipeline
* Don't use -crosscomponent in Groovy files
* Remove mentioning crosscomponent in Documentation/building/linux-instructions.md
* Stop building Hostx86/armel crossgen in build.sh
* Disable CrossGen-ing of System.Private.CoreLib on Linux/armel

Lower fast tail call wasn't patching control expression (#20740)

Lower fast tail call can replace local variables (holding Caller stack arguments) with new temps in order to set up Callee stack arguments correctly. This involves patching corresponding LCL_VAR and LCL_VAR_ADDR nodes and replacing them with the location of a new temp.

This was not done for control expression which continued pointing to the old location and could contain a Callee argument.

Disable stress random inlining for object stack allocation tests.

ObjectStackAllocationTests are sensitive to inlining so we need
to disable stress random inlining.

Fixes #20944.

Moving the Utf8Formatter and Utf8Parser into S.P.Corelib (#20934)

* Moving the Utf8Formatter and Utf8Parser into S.P.Corelib

* Doing some minimal cleanup to lineup types and get the Utf8Parser/Utf8Formatter building

* Updating the Utf8 Float Parser to have different buffers for Single vs Double

* Fixing the Utf8Parser to track trailing zero digits and to properly mark the end of the buffer

* Fixing a couple of issues in Utf8Parser.Number

Update tests/arm64/corefx_linux_test_exclusions.txt (#20206)

Remove SSE4.2 STTNI APIs for .NET Core 3.0 (#20887)

enable build-id on FreeBSD (#20945)

LoadLibrary refactoring (#20841)

* Refactor LoadLibrary Methods

This change refactors the code in DllImport in preparation
for implementing the new NativeLibrary API here:
dotnet/corefx#32015

The two main changes are:

1) A change in the semantics of the internal LoadLibrary helper functions.

When a native library is loaded, there are two categories of callers
expecting different return values:

External callers like AssemblyNative::InternalLoadUnmanagedDllFromPath()
and the upcoming System.Runtime.Interop.Marshall.LoadLibrary()
need the raw system handle
Internal callers like LoadLibraryModule() need the PAL registered handle
This change modifies the internal LoadLibraryModule* methods to work
in terms of native system handles, so that external callers can obrain
them directly. Methods requiring PAL-handles can register them explicitly.

There is no change in external signature of DllImport class, or the
native Dll cache in AppDomain class.

2) Differentiate HMODULE and NATIVE_LIBRARY_HANDLE

This change defines NATIVE_LIBRARY_HANDLE type to represent
raw system handles to native libraries that are not registered
with the PAL (On Unix systems).

The types on PAL and DlImport methods are adjusted to make
this semantic distinction explicit.

*
Fix loading LibC via PAL_LoadLibraryDirect()

Fix CoreRT build breaks

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Allow jit to examine type of initonly static ref typed fields (#20886)

The jit incorporates the value of integer and float typed initonly static
fields into its codegen, if the class initializer has already run.

The jit can't incorporate the values of ref typed initonly static fields,
but the types of those values can't change, and the jit can use this knowledge
to enable type based optimizations like devirtualization.

In particular for static fields initialized by complex class factory logic the
jit can now see the end result of that logic instead of having to try and deduce
the type of object that will initialize or did initialize the field.

Examples of this factory pattern in include `EqualityComparer<T>.Default` and
`Comparer<T>.Default`. The former is already optimized in some cases by via
special-purpose modelling in the framework, jit, and runtime (see #14125) but
the latter is not. With this change calls through `Comparer<T>.Default` may now
also devirtualize (though won't yet inline as the devirtualization happens
late).

Also update the reflection code to throw an exception instead of changing the value
of a fully initialized static readonly field.

Closes #4108.

Some cleanup of the Math functions from #20788 (#20912)

* Fixing Max, MaxMagnitude, Min, and MinMagnitude for Math/MathF to be IEEE compliant

* Disabling the System.Math.Max/Min tests

* Adding the new c_runtime PAL tests to the CMakeLists to ensure they actually get run.

* Fixing the casing of IlogB to ILogB

* Fixing the new PAL tests to match the correct/expected outputs

* Fixing up PAL_ilogb to correctly handle 0 and NaN

Update CoreClr, CoreFx, IbcData, PgoData to preview-27112-01, preview.18562.1, master-20181112-0045, master-20181112-0043, respectively (#20929)

Verify the application group container directory exists in Mac Sandbox (#20916)

* Verify the application group container directory exists in Mac Sandbox

Added an additional check to verify that the shared files directory based on the application group ID exists when running in a Mac sandbox. If it doesn't then the initialization will fail.

As part of this change, also refactored the logic the sets the shared file path into a separate method.

* Changed bool to BOOL

Keep delegate fields alive across a full native call (#20896)

* Repurpose CleanupWorkList to also preserve delegate references in structs across the full native call.

* Change CleanupWorkListElement to abstract base class instead of interface.

* Make CleanupWorkList a singlely linked list.

* PR Feedback.

* Remove CleanupWorkList and make CleanupWorkListElement be able to represent the full list.

* Add back throw in SafeHandle field marshalling.

* PR feedback.

Remove VersionBlock struct for profiler attach (#20889)

* Remove VersionBlock struct for profiler attach

* Change pipe/event names to not match the Desktop version pipe/event names

Fix invalid out of range exception thrown in ArrayPool trimming (#20932)

The trim method had the wrong logic to get the relevant bucket size, resulting in InvalidOutOfRangeException exceptiosn being thrown and eaten on the finalizer thread.

Add PInvoke/BestFitMapping tests (#19269)

* Add PInvoke/BestFitMapping tests

* Fix warning

* Make native side of tests xplat.

* Clean up managed side of the test build.

* Disable BestFitMapping tests off Windows.

* Individually disable tests.

* Disable the two tests that I missed last time.

Updating version files (#20927)

Update IbcData, PgoData to master-20181110-0042, master-20181110-0040, respectively (#20925)

Update BuildTools, CoreClr, CoreFx, CoreSetup, IbcData, PgoData to preview1-03407-01, preview-27110-01, preview.18560.1, preview-27109-05, master-20181109-0043, master-20181109-0044, respectively (#20790)

Add back support for deserialization of BinaryFormatted resources (#20907)

* Add back support for deserialization of BinaryFormatted resources

This adds back support for using BinaryFormatter to deserialize resources when loaded
from assembly.

We conditionally load BinaryFormatter and will throw if asked to deserialize binary formatted
resources and cannot find it.

* Apply code-review feedback

Changes lazy initialization to use LazyInitializer

Remove special handling of missing serialization assembly.

Clean up comments,

* Use named parameter when specifying permitDeserialization

Delete dead/unreachable code related to remoting (#20880)

Expose Index and Range types (#20899)

* Expose Index and Range types

* Address Review Comments

* Address more feedback

* Addressing more comments

Fix path to python on sod and illink jobs (#20914)

Merge pull request #20895 from dotnet/dev/unix_test_workflow

Adjust corefx output directory name

Fast-path ExecutionContext for ThreadPool items (#20308)

Fast-path ExecutionContext for ThreadPool items

Maintain the ThreadPool threads on the Default contexts between work items.

Always restore the Default context on the ThreadPool Dispatch loop after a workitem has run (to clean up any ExecutionContext leakage from changes on flow suppressed workitems, or AsyncLocal change eventhandlers; as well as firing their notifications if they have them)

Store the `CurrentThread` as part of the thread static `ThreadPoolWorkQueueThreadLocals` which are already looked up at the start of the Dispatch loop to avoid an additional lookup via `Thread.CurrentThread`.

As workitems are started on the Default context and are returned to it `QueueUserWorkItemCallbackDefaultContext` items can just be run their callbacks directly rather than via `ExecutionContext.Run` (as the EC don't need to move to Default and is always moved back to Default).

As `QueueUserWorkItemCallbackDefaultContext` now runs items directly; flow suppressed callbacks can use the smaller `QueueUserWorkItemCallbackDefaultContext` rather than `QueueUserWorkItemCallback` with a null context; and handling for flow suppression can be removed from `QueueUserWorkItemCallback`.

As `AwaitTaskContinuation`'s `IThreadPoolWorkItem.Execute` doesn't preform additional work after it completes, it can run `m_action` directly for Default context in addition to the flow suppressed context, rather than going via `ExecutionContext.Run`.

Given that the items on the ThreadPool are always started on the threadpool and restored to it; we can introduce some faster paths than `ExecutionContext:RunInternal` (328 bytes asm).

Introduce `ExecutionContext:RunForThreadPoolUnsafe` (71 bytes asm), for `IThreadPoolWorkItem`s where they need to run on a provided context, but do not need to execute anything after they complete so can rely on the Dispatch loop restore. This includes `QueueUserWorkItemCallback`, `QueueUserWorkItemCallback<TState>` and `AwaitTaskContinuation`.

Introduce `ExecutionContext:RunFromThreadPoolDispatchLoop` (225 bytes asm), for items run from the ThreadPool, so don't need to capture current context (Default) to restore later, however need to do need to restore back to Default after execution as they then perform additional work. This includes
`Task`/`AsyncStateMachineBox`/`AwaitTaskContinuation`/`Timer`.

Change `Task.ExecuteFromThreadPool()` to take the thread `Task.ExecuteFromThreadPool(Thread threadPoolThread)` from the ThreadPool Dispatch loop so it can pass it into the `ExecutionContext:RunFromThreadPoolDispatchLoop` overload and avoid the `Thread.CurrentThread` lookup.

Perf test: https://github.com/dotnet/coreclr/pull/20308#issuecomment-436805786

Resolves: dotnet/corefx#32695

Fix typos in comments (#20908)

Optimize Char.GetUnicodeCategory and related checks (#20864)

Moving the Utf8Parser/Utf8Formatter to be shared (dotnet/corefx#33348)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Implement escape analysis and stack allocation of non-box objects without gc fields.

This change implements a conservative flow-insensitive escape analysis and stack allocation
of non-box objects without gc fields.

Handling of objects with gc fields, box objects, and fixed-size arrays is future work.

Escape analysis is based on the one described here: https://www.cc.gatech.edu/~harrold/6340/cs6340_fall2009/Readings/choi99escape.pdf

Main limitations of this version of the escape analysis:
1. The analysis is flow-insensitive.
2. The analysis is intra-procedural and only sees the current method and the inlined methods.
3. The analysis assumes that references passed to non-pure-helper calls escape.
4. The analysis assumes that any references assigned to fields of objects escape.

Some of these limitations will be removed in future work.

I started with prior prototypes from @echesakovMSFT and @AndyAyersMS and extended and refactored
parts of them.

I also added tests for cases that are currently handled or will be handled soon.

Make getClassGClayout work with with class types.

Also add an assert to getHeapClassSize to ensure it's not
called in R2R cross-version-bubble.

Allow creation of variables of TYP_STRUCT with non-value class handles.

Variables of TYP_STRUCT with non-value class handles represent stack-allocated objects.
Temporarily disable promotion of fields of stack-allocated objects.

Add JitObjectStackAllocation config option.

Remove cached invariant globalization mode flag

Direct check of readonly flag is better with tiered JITing (the check is optimized out)

Delete unnecessary ReferenceSystemPrivateCoreLib

Revert "Passing the CONTEXT in ICorDebugManagedCallback4::DataBreakpoint"

This reverts commit 9dd2a3688320fa197a3a2a412523416f10e7fa3b.

Remove System.Memory reference from several libraries (#33343)

Minor cleanup... they only have this System.Memory reference in order to support MemoryMarshal.GetReference, and we can just use the default GetPinnableReference instead. (We could also just stackalloc into a pointer instead of using span at all, but using span keeps it tidy and adds a tiny amount of additional safety).

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Changing Number.NumberBuffer to carry a `Span<byte>` rather than a `Span<char>` (#20879)

* Changing Number.NumberBuffer to carry a `Span<byte>` rather than a `Span<char>`

* Renaming NumberBuffer.Sign to NumberBuffer.IsNegative

* Renaming NumberBuffer.Precision to NumberBuffer.DigitsCount

* Adding a ToString and CheckConsistency method to NumberBuffer

* Adding some number.CheckConsistency() calls for debug validation

* Fixing the UTF16Formatter to meet the consistency checks

Passing the CONTEXT in ICorDebugManagedCallback4::DataBreakpoint

EventPipe support for "Parameters" (#20796)

These changes enable passing "arguments" to an EventSource.

Enlighten ValueNumStore::EvalOpSpecialized about bswap nodes (#20883)

Merge pull request #20838 from briansull/issue_18259

ValueNum add check for ZeroOffsetFldSeq on LclVar reads

Specify path to python3.5 for perf jobs (#20443)

* Specify path to python3.5 for perf jobs

* Change path to python in throughput testing

Replace reflection in an assert with ==

Reflection on private implementation of the CoreLib is disallowed in CoreRT to save disk space (we don't have to bother emitting the metadata).

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #20890 from BruceForstall/FixMoreFxPaths

Fix more CoreFx 'artifacts' paths

Fix more CoreFx 'artifacts' paths

Add work item dumping support to SOS' ThreadPool command (#20872)

Adds a -wi switch to the ThreadPool command that will enumerate all queues dumping out all found work items.

Fix "LTTng-UST: Error (-17) while registering..." error when debugging (20874)

Fixes issue #20205.

This has been happening in more and more scenarios:

1) SOS when the coreclr hosting the SOS managed code is a different version that the one being debugged
2) Lee ran into it with ClrMD for Linux
3) The dotnet-diagnostictests repo with the current arcade build changes because the coreclr version hosting mdbg is different than the version running the debuggees.

This fix is simple: only link the tracepointprovider.cpp code that loads libcoreclrtraceptprovider.so into libcoreclr.so and not in any other module that uses the PAL library (libdbgshim.so, libmscordaccore.so, etc.). Create a new "tracepointprovider" library with the tracepointprovider.cpp source file in it and remove it from the "coreclrpal".  Link this new lib into libcoreclr.so.

Merge pull request #20882 from BruceForstall/FixFxDir

Adjust for corefx output directory change

Adjust for corefx output directory change

The "bin" directory is now under the "artifacts" directory.

Fixes issue 18259
The problem here was that we have an indirection of a LclVar that was a pointer to an array element whose type is a struct.

The following discussion refers to the test case GitHub_18259/GitHub_18259.cs
We recorded that the struct field F1.F0 is assigned 1234u.
With the bug all subsequent reads of vr7.F0 return this value.
We miss the update to zero because we didn't add the Zero Field sequence value to the LclVar vr7

Added Test case GitHub_18259.cs
Added Test case GitHub_20838.cs

Update FreeBSD build timeout to 120.

Add azure-pipelines build and test definitions (#20840)

This adds an azure pipeline definition with a matrix of product and test builds, using helix to run tests. The intention is that this definition will eventually be used for both our official build and CI testing.

There is one build job for each OS/platform/arch, and one test job for each OS/platform/arch/priority/R2Rflag. The test job builds tests and then submits them to helix, passing along a number of test run modes. One helix test job will be created for each OS/platform/arch/priority/R2Rflag/helixtargetqueue/testscenario.

There is a lot of work left to be done to get this up to parity with our official builds and CI, which I've tried to call out in comments.

Add test coverage for custom modifiers (#20546)

Custom modifiers are only lightly tested within the CLR test codebase (both closed and open). This adds targeted tests for:

* Resolution and overriding
* Various places that should ignore them
* Reflection

Add string.GetHashCode(ROS<char>) and related APIs (#20422)

Fixing up the Double/Single parsing code to be correct (#20707)

* Don't normalize -0.0 to 0.0 when parsing

* Updating NumberBuffer to validate the constructor inputs

* Updating NumberToDouble to just get the precision

* Don't check for non-significant zero's in NumberToDouble

* Updating Number.BigInteger to carry additional space for the worst-case scenario

* Removing some dead code from double.TryParse

* Updating NumberToDouble to use the RealParser implementation from Roslyn

* Fixing TryNumberToDouble and TryNumberToSingle to apply the appropriate sign.

* Adding a fast path for double/single parsing when we have <= 15 digits and an absolute scale <= 22

* Update NumberBuffer to also track whether any input digits past maxDigCount were non-zero

* Renaming NumberToFloatingPointBitsRoslyn to NumberToFloatingPointBits

* Updating TryNumberToDouble and TryNumberToSingle to support Overflow to Infinity

* Fixing a Debug.Assert in TryParseNumber

* Fixing `DecimalNumberBufferLength` to 30

* Renaming NumberToFloatingPointBitsRoslyn to NumberToFloatingPointBits

* Clarifying the NumberBufferLength comments

* Fixing TryNumberToDecimal to check the last digit in the buffer, if it exists

* Disable some CoreFX tests due to the single/double/decimal parsing fixes

* Fix TryNumberToDecimal to not modify the value of p in the assert.

Co-Authored-By: tannergooding <tagoo@outlook.com>
* Updating NumberToFloatingPointBits to use single-precision arithmetic and extended-precision multiplication where possible

* Splitting the NumberToFloatingPointBits code into a fast and slow-path method

* Ensure Roslyn is properly attributed.

* Removing the 80-bit extended precision fast path for NumberToFloatingPointBits, due to a bug

* Fixing the double and single parser to ignore case for Infinity and NaN

* Add a clarifying comment to Number.NumberToFloatingPointBits that the code has been modified from the original source.

* Removing the remaining code that was used by the 80-bit extended precision fast-path in NumberToFloatingPointBits

* Adding a missing comma to the CoreFX.issues.json

* Remove licensing "glue" and re-release the Roslyn RealParser code under the MIT license.

* Some minor cleanup to the NumberToFloatingPointBits code.

Handle 64-bit only intrinisc by nested classes (#20146)

Move the various helper intrinsics to be implemented on the S.R.Intrinsics.Vector types (#20147)

* Renaming Vector64.cs, Vector128.cs, and Vector256.cs to be Vector64_1.cs, etc

* Adding some core helper methods to the Vector64, Vector128, and Vecto256 types.

* Adding some documentation comments to the System.Runtime.Intrinsics.Vector types

* Changing `Set` to `With`

Add unloadability support to ReliabilityFramework (#20418)

* Add unloadability support to ReliabilityFramework

This change adds support for unloadable AssemblyLoadContext to the GC
ReliabilityFramework. It basically mimics what was there ifdef-ed out
for AppDomains.
It allows stress testing GC when running inside of an unloadable
AssemblyLoadContext. GC has some special handling for collectible
classes and this allows testing the respective code paths.

* Make tests run on separate threads

The tests running in the assembly load context were bot using separate
threads per test and so they were not really stressing GC as much as
possible. This change fixes that.
I've also merged code for AppDomains / AssemblyLoadContext at most
places so that the differences are clearly visible.

Remove need for full GC for unloadable stuff (#20384)

This change removes enforcing of full GC after native LoaderAllocator is
destroyed. It turns out it was not needed. There is no regression in
running coreclr pri 1 tests inside an unloadable AssemblyLoadContext and
unloading the context after a test completes for each test.

Fix string error handling for failed DNS lookup (dotnet/corefx#32351)

* better handling for dns failures

* cleanup

* add test for DNS failure exception

* relaxt test a little bit to make it more robust for future

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Improve DumpAsync SOS command (#20845)

* Help DumpDelegate to dump more cases

* Improve DumpAsync command

- Add a stats summary at the beginning of the output
- Improved single-line-per-entry default behavior for increased readability
- Add option to include all tasks, not just async state machine objects
- Include state value for each async object, the state field for async state machines or the state flags for other tasks
- Support following continuation chains, rendered as "async stacks"
- Support resolving delegate names so that Task.Run and related items have the associated method name displayed
- Optional (experimental) DGML rendering of the graph
- Optionally include completed tasks, by default filtering them out
- Optionally display the fields of state machines

* Decode task state flags

* Add addr option and associated DumpAsync DML

* Fix cast warnings in checked / fprintf_s on Unix

* Remove DGML from DumpAsync

Not enough value right now, and complications in compilation on Unix given sos's current set up.  Not worth it.

Delete dead code from IdnMapping (#20857)

Merge pull request #20787 from CarolEidt/Arm64IntrinsicsWindows

Add Windows support for Arm64 HW Intrinsics

[Darc-Update] Update dependencies from build 20181106.6 of https://github.com/dotnet/arcade (#20832)

* Updating version files

* Updating version files

Force using clang5.0 for Ubuntu arm32 builds (#20825)

* Force using clang5.0 for Ubuntu arm32 builds

* Update for code review feedback

to https://github.com/dotnet/corefx/pull/33261

exclude freebsd symbols from publishing (#20854)

* try to use exclude on same line as Include instead of remove in separate step

* update freebsd exclude pattern

Pull out GetContainingObject

NITs

Comments in JIT helper

More code review feedback

GetContainingObject should be a method of ICorDebugValue

Change GetContainingObject API

FEATURE_DATABREAKPOINT

Code review feedback

Comment on jithelp.asm

Ensure BeforeGC and AfterGC events are always sent in pairs

This latches the m_isGarbageCollectionEventsEnabled in BeforeGarbageCollection
to ensure that if we send a BeforeGC event we will send the corresponding
AfterGC event. It also ensure we will not send an AfterGC event if we did not
send the corresponding BeforeGC event.

Stepping out of the write barrier

Complete the work for AMD64 unwind out of write barrier work

Bringing up the AMD64 support for unwinding away from JIT WriteBarrier

Make the write barrier unwinding fix works for coreclr release build

x86 only stackwalk fix

Allocating the DebuggerDataBreakpoint object in the right heap

Avoid unused event types

Avoiding triggering data breakpoint in Linux

Linux fix

Fix ARM compilation issue

More code review feedback

Code review feedback

More comments about Debugger::SuspendComplete

Use proper macros for GetContainingObject()

Adding comments for thread execution mode in DebuggerRCThread::SendIPCEvent

More API comments

Fix a couple bugs in GetContainingObject

Rename lite to isEESuspendedForGC

ICorDebug API documentation