Add unloadability support to ReliabilityFramework (#20418)

* Add unloadability support to ReliabilityFramework

This change adds support for unloadable AssemblyLoadContext to the GC
ReliabilityFramework. It basically mimics what was there ifdef-ed out
for AppDomains.
It allows stress testing GC when running inside of an unloadable
AssemblyLoadContext. GC has some special handling for collectible
classes and this allows testing the respective code paths.

* Make tests run on separate threads

The tests running in the assembly load context were bot using separate
threads per test and so they were not really stressing GC as much as
possible. This change fixes that.
I've also merged code for AppDomains / AssemblyLoadContext at most
places so that the differences are clearly visible.

Remove need for full GC for unloadable stuff (#20384)

This change removes enforcing of full GC after native LoaderAllocator is
destroyed. It turns out it was not needed. There is no regression in
running coreclr pri 1 tests inside an unloadable AssemblyLoadContext and
unloading the context after a test completes for each test.

Fix string error handling for failed DNS lookup (dotnet/corefx#32351)

* better handling for dns failures

* cleanup

* add test for DNS failure exception

* relaxt test a little bit to make it more robust for future

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Improve DumpAsync SOS command (#20845)

* Help DumpDelegate to dump more cases

* Improve DumpAsync command

- Add a stats summary at the beginning of the output
- Improved single-line-per-entry default behavior for increased readability
- Add option to include all tasks, not just async state machine objects
- Include state value for each async object, the state field for async state machines or the state flags for other tasks
- Support following continuation chains, rendered as "async stacks"
- Support resolving delegate names so that Task.Run and related items have the associated method name displayed
- Optional (experimental) DGML rendering of the graph
- Optionally include completed tasks, by default filtering them out
- Optionally display the fields of state machines

* Decode task state flags

* Add addr option and associated DumpAsync DML

* Fix cast warnings in checked / fprintf_s on Unix

* Remove DGML from DumpAsync

Not enough value right now, and complications in compilation on Unix given sos's current set up.  Not worth it.

Delete dead code from IdnMapping (#20857)

Merge pull request #20787 from CarolEidt/Arm64IntrinsicsWindows

Add Windows support for Arm64 HW Intrinsics

[Darc-Update] Update dependencies from build 20181106.6 of https://github.com/dotnet/arcade (#20832)

* Updating version files

* Updating version files

Force using clang5.0 for Ubuntu arm32 builds (#20825)

* Force using clang5.0 for Ubuntu arm32 builds

* Update for code review feedback

to https://github.com/dotnet/corefx/pull/33261

exclude freebsd symbols from publishing (#20854)

* try to use exclude on same line as Include instead of remove in separate step

* update freebsd exclude pattern

Pull out GetContainingObject

NITs

Comments in JIT helper

More code review feedback

GetContainingObject should be a method of ICorDebugValue

Change GetContainingObject API

FEATURE_DATABREAKPOINT

Code review feedback

Comment on jithelp.asm

Ensure BeforeGC and AfterGC events are always sent in pairs

This latches the m_isGarbageCollectionEventsEnabled in BeforeGarbageCollection
to ensure that if we send a BeforeGC event we will send the corresponding
AfterGC event. It also ensure we will not send an AfterGC event if we did not
send the corresponding BeforeGC event.

Stepping out of the write barrier

Complete the work for AMD64 unwind out of write barrier work

Bringing up the AMD64 support for unwinding away from JIT WriteBarrier

Make the write barrier unwinding fix works for coreclr release build

x86 only stackwalk fix

Allocating the DebuggerDataBreakpoint object in the right heap

Avoid unused event types

Avoiding triggering data breakpoint in Linux

Linux fix

Fix ARM compilation issue

More code review feedback

Code review feedback

More comments about Debugger::SuspendComplete

Use proper macros for GetContainingObject()

Adding comments for thread execution mode in DebuggerRCThread::SendIPCEvent

More API comments

Fix a couple bugs in GetContainingObject

Rename lite to isEESuspendedForGC

ICorDebug API documentation

Turn GarbageCollection events off by default and allow VS turning them on

Fixing the deadlocks

Fix collision with ICorDebugProcess9 to 10

Fix a bug where a data breakpoint is accidentially deleted when the context is restored on FuncEval completion

Using Debugger::SuspendComplete()

Return better HR for failing to get managed thread context

Do not handle the thread context for garbage collection events

Simple fixes

Eliminate dataBreakpointMask from ICorDebug

Fixing linux build

Get/Set the ThreadContext natively if the debuggee is block on garbage collection events

Hacking CordbProcess::GetThreadContext / SetThreadContext to retrieve/modify managed ThreadContext

Clear Canary cache unconditionally

Fix linux build

This should fix the non-deterministic failures

Properly fix the DB_IPCE_ASYNC_BREAK case

Removing unnecessary hacks

find_object

Completed the lock reversal work

Making sure issues are tracked by TODOs

Firing the GC events within the thread suspension

ContainerObject -> ContainingObject

Pass databreakpoint mask into debugger

Implement ICorDebugManagedCallback4::DataBreakpoint

Saving progress

ICorDebugValue -> ICorDebugObjectValue on GetContainerObject()

A dummy implementation of the GetContainerObject API

Boilerplate for adding new DBI method

Passing ICorDebugProcess instead of ICorDebugController

The GC events are now working, somewhat ...

Make sure we block after sending the events

Saving progress - works towards gc events

Add x86 data breakpoint support

Initial data breakpoint changes

temporary changes towards multiple data breakpoints

add multiple hardware bp support

Remove Complus.log

revert log.cpp changes

Disable running ILAsm round-trip build on COM Tests (#20822)

* Disable running ILAsm round-trip build on COM  (requires ilasm resource embedding support).

* ILAsmTestKind -> IlrtTestKind

try to use exclude on same line as Include instead of remove in separate step (#20846)

Loop-free GC rounding helpers with _BitScanReverse. (#20157)

Remove /RESOURCE flag documentation on ilasm. (#20818)

* Remove /RESOURCE flag on ilasm.

* Revert "Remove /RESOURCE flag on ilasm."

This reverts commit 7d1a9ac959a94359d2f1ef5f70ec7041804ec6f4.

* Update documentation in ilasm switches.

* Update documentation to say that the obj file has to come from a .res file.

* Remove documentation of the /RESOURCE switch. Leave the switch code-path in place for corefx.

Improve performance of Memory<T>.Span property getter (#20386)

- We can use our knowledge of object representation in the runtime to speed up type checks.
- We leave the ref T and the length deconstructed until the very end, optimizing register usage.
- The Length property getter is once again just a simple field accessor with no bitwise logic.

Merge pull request #20633 from BruceForstall/FixSPCheck

Fix SP check for x64/x86, remove for arm32/arm64

Enable SyncBlk for xplat SOS (#20830)

Add SyncBlk to xplat SOS.

fix corefx folder (#20828)

Merge pull request #20834 from BruceForstall/FixArmElJob

Fix corefx folder for Tizen job

Fix corefx folder for Tizen job

https://ci.dot.net/job/dotnet_coreclr/job/master/job/armel_cross_checked_tizen_innerloop_prtest/

Added support for running in a sandbox on Mac (#20735)

* Added support for running in a sandbox on Mac

When running in a sandbox, the Mac operating system will limit access to resources, esp. the file system. Right now both Mutex and SharedMemory in the PAL are accessing the /tmp folder for which Mac does not provide the application permissions to access.

Instead, the sandbox provides the ability to share information between applications by using a shared container folder. This is done by registering the application with an Application Group ID. Using this ID, we can access the shared folder and read/write from it.

Since the .Net runtime can be loaded in multiple ways, we decided that the easiest way to let the runtime know what the application group ID is via an environment variable. Thus, if the NETCOREAPP_SANDBOX_APPLICATION_GROUP_ID environment variable is set (on Mac), the runtime will assume we are sandboxed, and will use the value provided as the application group ID. Note that due to limitations on semaphore file lengths, we will not allow application group IDs longer than 13 characters. This gives us 10 characters for the developer ID, and 3 extra characters for the group name.

When sandbox is disabled (the environment variable is empty) then the folder for Mutex and SharedMemory will continue to be rooted in /tmp. However when the sandbox is enabled, these files will be created under /user/{loginname}/Library/Group Containers/{AppGroupId}/.

Fixes #20473

* Made  gApplicationContainerPath a pointer so it does not get automatically deleted by the c runtime

* Made s_runtimeTempDirectoryPath and s_sharedMemoryDirectoryPath pointers so they are not automatically deleted by the c runtime

* Renamed gApplicationContainerPath to gSharedFilesPath

* Renamed NETCOREAPP_SANDBOX_APPLICATION_GROUP_ID to DOTNET_SANDBOX_APPLICATION_GROUP_ID

* Fixed usage of VerifyStringOperation

* Replaced new with InternalNew

* Wrapped Apple specific code with #ifdef

* Added exception handling during close

* Moved VerifyStringOperation macro into SharedMemoryManager

* Moved PathCharString variable declarations before AutoCleanup is declared.

* Fixed initialization functions not to throw

* Renamed CopyPath to BuildSharedFilesPath

* Fixed misc nits

* Fixed implicit conversions from BOOL to bool

* Moved MAX_APPLICATION_GROUP_ID_LENGTH inside ifdef APPLE

* Removed PAL_IsApplicationSandboxed

Fix calling convention for 3 p/invoke test cases

Fix SP check for x64/x86, remove for arm32/arm64

The actual checking had gotten lost between JIT32 and RyuJIT.
I fixed the "on return from function" case for x86/x64, and
the "around every call site" case for x86.

I removed the arm64 case because it's not easy to store SP to a
stack local or directly compare SP against a stack local without
a temporary. Also, for the fixed outgoing arg space ABIs (all but x86),
these checks don't seem too useful anyway, so I also removed the
arm case.

Exclude FreeBSD symbol packages from symbol uploader (Part 3) (#20824)

Add support for BSWAP intrinsic (#18398)

With this change, the JIT will recognize a call to BinaryPrimitives.ReverseEndianness and will emit a bswap instruction.
This logic is currently only hooked up for x86 and x64; ARM still uses fallback logic.
If the JIT can't emit a bswap instruction (for example, trying to emit a 64-bit bswap in a 32-bit process), it will fall back to a software implementation, so the APIs will work across all architectures.

Adding some new functions to System.Math and System.MathF (#20788)

* Adding BitIncrement, BitDecrement, CopySign, MaxMagnitude, and MinMagnitude to Math and MathF

* Adding FusedMultiplyAdd, IlogB, Log2, and ScaleB to Math and MathF

* Adding some basic PAL tests for fma, ilogb, log2, and scalbn

* Fixing a couple typos and adding clarifying comments

* Fixing the MSVC _VVV FCALL declarations

Updating the importer to throw a NotImplementedException if it finds a mustExpand intrinsic that it can't expand (#20792)

* Updating the importer to throw a NotImplementedException if it finds a mustExpand hwintrinsic that it can't expand

* Updating the JITEEVersionIdentifier

Improve/fix SerialStream.Dispose (dotnet/corefx#33221)

* Improve/fix SerialStream.Dispose

* Review feedback

* remove unused using statement

* Use ToFileDescriptor

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #20736 from briansull/issue_18672

Fix ValueNumber constant propagation with nested structs

 Fiber-friendly Vectored Exception Handling (#20746)

* Fiber-friendly Vectored Exception Handling

Check during exception handling if the cached and the current stack-base match to detect Fibers.

Fix constant propagation with nested structs
Fixes #18672
Test case is here: JIT/Regression/JitBlue/GitHub_18672/GitHub_18672.cs

Bump FreeBSD AzDO build timeout to 90 minutes

Fix perf regression in master. (#20762)

* Fix comments.

We count implict byref argument occurrences for all lclVars not only for promoted.

* Fix the regression.

Return the old behaiour where both parent and promoted lclVar have updated ref counters.

* rename `UpdateImplicitByRefCounter` to `UpdateEarlyRefCountForImplicitByRef`

* Fix comment.

System.Decimal code style and comments clean-up (#20793)

[Darc-Update] Update dependencies from build 20181102.21 of https://github.com/dotnet/arcade (#20783)

* Updating version files

* Updating version files

Optimization: Reduce many array allocations in GetCustomAtttributes()'s inherited path (#20779)

* Optimization: avoid 2 array allocations in inherited attribute misses

This is a follow-up to many allocations recognized in #20448.

A lot of methods ultimately call through CustomAttributes.GetCustomAttributes(). In the inherited search path (default for most searches above), the inheritance path of a class is traversed, resulting in an array allocation per crawled type, a copy to the overall List<object> and then after that - in current code - an array allocation from that list and a typed array allocation it's copied to.

However, in the common miss case as simple as:
typeof(T).GetCustomAttributes(typeof(TAttr), true);
...and many other overloads, all the same path underneath...

We can avoid the last 2 arrays in the miss case. We have the List<object> to go off of. If that's a zero-entry list, we can return an Array.Empty<TAttr>(). That's effectively what this change does.

While converting the entire attribute pipeline to generics is problematic and has issue since some object[] return abstracts aren't sealed, we can at least somewhat trivially cache an array per attribute type (only one static, ultimately from Array.Empty<T> underneath) and return that for the miss case.

There are far more wins to be had here, but they require more changes.

* Move RuntimeType empty array cache generation to Attribute.CreateAttributeArrayHelper

This exposes Attribute.CreateAttributeArrayHelper to internal and uses it directly on the RuntimeType caching for empty arrays. Though this allocated 1 additional array overall, it's simpler, faster to init, and still is an infinite win over the per-call allocations before this overall changesets.

* CustomAttributes: remove needless array copy in the inherited hit case

This removes a .ToArray() for the sake of Array.Copy() where a simple for loop suffices and removes the allocation. Reversing the "empty" result checks is also just a bit cleaner here.

This also expands the same fix to the MemberInfo path.

Note: should DRY these up too (longstanding issue) - but let's do that in a separate commit for clarity.

* GetCusomAttributes: use ListBuilder<object> for inheritance crawls

This exposes RuntimeType.ListBuilder<T> for internal usage and replaces the List<T> allocation in GetCustomAttributes() paths to reduce allocations and increase performance in the inherited crawl paths (which is the default for many optional-parameter methods in layers above).

Note: there is a subtle behavior depending on previous-null (not possible with a struct now) in AttributeUsageCheck() that I believe still behaves correctly, but could use another set of eyes and a full test suite run to confirm. object[] attributes was removed there simply because it wasn't used before - only cleaning up.

* Attribute caching: use Array.CreateInstance() directly on RuntimeType

This also reverts the CreateAttributeArrayHelper => internal change, since it's no longer needed.

* Ref passing for RuntimeType.ListBuilder<object> & CustomAttribute simplification

This fixes the struct passing duplication and tweaks how we're creating arrays a bit, centralizing the zero-element checks to cover all cases as well as simplify the per-method code to rely on the fact this is happening underneath.

Improve error messages for byref-like type loading errors (#20789)

Related to dotnet/corefx#33233

Merge pull request #20780 from dotnet/dev/unix_test_workflow

PMI asm diffs changes