Merge pull request #20633 from BruceForstall/FixSPCheck

Fix SP check for x64/x86, remove for arm32/arm64

Enable SyncBlk for xplat SOS (#20830)

Add SyncBlk to xplat SOS.

fix corefx folder (#20828)

Merge pull request #20834 from BruceForstall/FixArmElJob

Fix corefx folder for Tizen job

Fix corefx folder for Tizen job

https://ci.dot.net/job/dotnet_coreclr/job/master/job/armel_cross_checked_tizen_innerloop_prtest/

Added support for running in a sandbox on Mac (#20735)

* Added support for running in a sandbox on Mac

When running in a sandbox, the Mac operating system will limit access to resources, esp. the file system. Right now both Mutex and SharedMemory in the PAL are accessing the /tmp folder for which Mac does not provide the application permissions to access.

Instead, the sandbox provides the ability to share information between applications by using a shared container folder. This is done by registering the application with an Application Group ID. Using this ID, we can access the shared folder and read/write from it.

Since the .Net runtime can be loaded in multiple ways, we decided that the easiest way to let the runtime know what the application group ID is via an environment variable. Thus, if the NETCOREAPP_SANDBOX_APPLICATION_GROUP_ID environment variable is set (on Mac), the runtime will assume we are sandboxed, and will use the value provided as the application group ID. Note that due to limitations on semaphore file lengths, we will not allow application group IDs longer than 13 characters. This gives us 10 characters for the developer ID, and 3 extra characters for the group name.

When sandbox is disabled (the environment variable is empty) then the folder for Mutex and SharedMemory will continue to be rooted in /tmp. However when the sandbox is enabled, these files will be created under /user/{loginname}/Library/Group Containers/{AppGroupId}/.

Fixes #20473

* Made  gApplicationContainerPath a pointer so it does not get automatically deleted by the c runtime

* Made s_runtimeTempDirectoryPath and s_sharedMemoryDirectoryPath pointers so they are not automatically deleted by the c runtime

* Renamed gApplicationContainerPath to gSharedFilesPath

* Renamed NETCOREAPP_SANDBOX_APPLICATION_GROUP_ID to DOTNET_SANDBOX_APPLICATION_GROUP_ID

* Fixed usage of VerifyStringOperation

* Replaced new with InternalNew

* Wrapped Apple specific code with #ifdef

* Added exception handling during close

* Moved VerifyStringOperation macro into SharedMemoryManager

* Moved PathCharString variable declarations before AutoCleanup is declared.

* Fixed initialization functions not to throw

* Renamed CopyPath to BuildSharedFilesPath

* Fixed misc nits

* Fixed implicit conversions from BOOL to bool

* Moved MAX_APPLICATION_GROUP_ID_LENGTH inside ifdef APPLE

* Removed PAL_IsApplicationSandboxed

Fix calling convention for 3 p/invoke test cases

Fix SP check for x64/x86, remove for arm32/arm64

The actual checking had gotten lost between JIT32 and RyuJIT.
I fixed the "on return from function" case for x86/x64, and
the "around every call site" case for x86.

I removed the arm64 case because it's not easy to store SP to a
stack local or directly compare SP against a stack local without
a temporary. Also, for the fixed outgoing arg space ABIs (all but x86),
these checks don't seem too useful anyway, so I also removed the
arm case.

Exclude FreeBSD symbol packages from symbol uploader (Part 3) (#20824)

Add support for BSWAP intrinsic (#18398)

With this change, the JIT will recognize a call to BinaryPrimitives.ReverseEndianness and will emit a bswap instruction.
This logic is currently only hooked up for x86 and x64; ARM still uses fallback logic.
If the JIT can't emit a bswap instruction (for example, trying to emit a 64-bit bswap in a 32-bit process), it will fall back to a software implementation, so the APIs will work across all architectures.

Adding some new functions to System.Math and System.MathF (#20788)

* Adding BitIncrement, BitDecrement, CopySign, MaxMagnitude, and MinMagnitude to Math and MathF

* Adding FusedMultiplyAdd, IlogB, Log2, and ScaleB to Math and MathF

* Adding some basic PAL tests for fma, ilogb, log2, and scalbn

* Fixing a couple typos and adding clarifying comments

* Fixing the MSVC _VVV FCALL declarations

Updating the importer to throw a NotImplementedException if it finds a mustExpand intrinsic that it can't expand (#20792)

* Updating the importer to throw a NotImplementedException if it finds a mustExpand hwintrinsic that it can't expand

* Updating the JITEEVersionIdentifier

Improve/fix SerialStream.Dispose (dotnet/corefx#33221)

* Improve/fix SerialStream.Dispose

* Review feedback

* remove unused using statement

* Use ToFileDescriptor

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #20736 from briansull/issue_18672

Fix ValueNumber constant propagation with nested structs

 Fiber-friendly Vectored Exception Handling (#20746)

* Fiber-friendly Vectored Exception Handling

Check during exception handling if the cached and the current stack-base match to detect Fibers.

Fix constant propagation with nested structs
Fixes #18672
Test case is here: JIT/Regression/JitBlue/GitHub_18672/GitHub_18672.cs

Bump FreeBSD AzDO build timeout to 90 minutes

Fix perf regression in master. (#20762)

* Fix comments.

We count implict byref argument occurrences for all lclVars not only for promoted.

* Fix the regression.

Return the old behaiour where both parent and promoted lclVar have updated ref counters.

* rename `UpdateImplicitByRefCounter` to `UpdateEarlyRefCountForImplicitByRef`

* Fix comment.

System.Decimal code style and comments clean-up (#20793)

[Darc-Update] Update dependencies from build 20181102.21 of https://github.com/dotnet/arcade (#20783)

* Updating version files

* Updating version files

Optimization: Reduce many array allocations in GetCustomAtttributes()'s inherited path (#20779)

* Optimization: avoid 2 array allocations in inherited attribute misses

This is a follow-up to many allocations recognized in #20448.

A lot of methods ultimately call through CustomAttributes.GetCustomAttributes(). In the inherited search path (default for most searches above), the inheritance path of a class is traversed, resulting in an array allocation per crawled type, a copy to the overall List<object> and then after that - in current code - an array allocation from that list and a typed array allocation it's copied to.

However, in the common miss case as simple as:
typeof(T).GetCustomAttributes(typeof(TAttr), true);
...and many other overloads, all the same path underneath...

We can avoid the last 2 arrays in the miss case. We have the List<object> to go off of. If that's a zero-entry list, we can return an Array.Empty<TAttr>(). That's effectively what this change does.

While converting the entire attribute pipeline to generics is problematic and has issue since some object[] return abstracts aren't sealed, we can at least somewhat trivially cache an array per attribute type (only one static, ultimately from Array.Empty<T> underneath) and return that for the miss case.

There are far more wins to be had here, but they require more changes.

* Move RuntimeType empty array cache generation to Attribute.CreateAttributeArrayHelper

This exposes Attribute.CreateAttributeArrayHelper to internal and uses it directly on the RuntimeType caching for empty arrays. Though this allocated 1 additional array overall, it's simpler, faster to init, and still is an infinite win over the per-call allocations before this overall changesets.

* CustomAttributes: remove needless array copy in the inherited hit case

This removes a .ToArray() for the sake of Array.Copy() where a simple for loop suffices and removes the allocation. Reversing the "empty" result checks is also just a bit cleaner here.

This also expands the same fix to the MemberInfo path.

Note: should DRY these up too (longstanding issue) - but let's do that in a separate commit for clarity.

* GetCusomAttributes: use ListBuilder<object> for inheritance crawls

This exposes RuntimeType.ListBuilder<T> for internal usage and replaces the List<T> allocation in GetCustomAttributes() paths to reduce allocations and increase performance in the inherited crawl paths (which is the default for many optional-parameter methods in layers above).

Note: there is a subtle behavior depending on previous-null (not possible with a struct now) in AttributeUsageCheck() that I believe still behaves correctly, but could use another set of eyes and a full test suite run to confirm. object[] attributes was removed there simply because it wasn't used before - only cleaning up.

* Attribute caching: use Array.CreateInstance() directly on RuntimeType

This also reverts the CreateAttributeArrayHelper => internal change, since it's no longer needed.

* Ref passing for RuntimeType.ListBuilder<object> & CustomAttribute simplification

This fixes the struct passing duplication and tweaks how we're creating arrays a bit, centralizing the zero-element checks to cover all cases as well as simplify the per-method code to rely on the fact this is happening underneath.

Improve error messages for byref-like type loading errors (#20789)

Related to dotnet/corefx#33233

Merge pull request #20780 from dotnet/dev/unix_test_workflow

PMI asm diffs changes

Add StringBuilder.Append(ROM<char>) (#20773)

* added Append(ROM<char>)

* address feedback

* revert sln

Update CoreFx, CoreSetup, IbcData, PgoData to preview.18553.3, preview-27103-01, master-20181103-0046, master-20181103-0042, respectively (#20785)

Cleanup and improve name formatting in reflection (#20781)

* Delete internal Array.UnsafeCreateInstance method

* Delete binary serialization specific type name formatting

* Use ValueStringBuilder to format method names in reflection

Update BuildTools, CoreClr, CoreFx, CoreSetup, IbcData, PgoData to preview1-03402-01, preview-27102-02, preview.18552.1, preview-27102-03, master-20181102-0044, master-20181102-0041, respectively (master) (#20745)

* Update BuildTools, CoreClr, CoreFx, CoreSetup, IbcData, PgoData to preview1-03402-01, preview-27102-02, preview.18552.1, preview-27102-03, master-20181102-0044, master-20181102-0041, respectively

* Disabled outdated test

Perf improvements to Span and Memory (#20771)

* Perf improvements to Span and Memory
- Improves perf of AsSpan, AsMemory, ctor, and Slice

* PR feedback - add comments

Use C# compiler's static data support in Encoding.Preamble (#20768)

* Use C# compiler's static data support in Encoding.Preamble

Also avoid Array.Empty and just use default span for an empty preamble.

* Address PR feedback

Add remaining IAsyncDisposable implementations to CoreLib (#20676)

* Add remaining IAsyncDisposable implementations to CoreLib

* Address PR feedback

Fix logging so that we can see the full 64 bit integer in the log file (#20741)

Improve performance of String.Equals(..., OrdinalIgnoreCase) (#20734)

- Tries to consume multiple chars in parallel when possible
- Didn't vectorize because inputs to this function are generally fairly small
- Moved static GlobalizationMode lookup out of hot path
- Removed indirection so that StringComparer now calls directly into workhorse routine

Merge pull request #20769 from BruceForstall/FixArm

Need to archive and transfer the Product directory for Linux arm/arm64

Merge pull request #20760 from hoyosjs/arcade

Add base arcade scripts and versioning files

Merge pull request #20770 from BruceForstall/EnableMoreDiffs

Do PMI diffs on frameworks and benchmarks

Do PMI diffs on frameworks and benchmarks

Allows Debug.Fail to go through Trace Listeners (#20764)

Need to archive and transfer the Product directory for Linux arm/arm64 PMI diffs

Avoid unnecessary interlocked in ManualResetValueTaskSourceCore (#20742)

When a ManualResetValueTaskSourceCore is used as the implementation for a ValueTask, it's set up for the operation, and then two things happen: a callback is hooked up at some point, and the operation completes at some point.  The former generally occurs before the latter, however there is a race condition, and so both paths currently use an Interlocked.CompareExchange to coordinate.  But that means that we always end up with two CompareExchange operations.  In the common path, there's no contention between these, and so we can avoid one of the CompareExchanges by first doing a normal read of the target field (we were already doing that read in one of the two cases, but we weren't taking advantage of it).

Fix the test. (#20701)

As https://docs.microsoft.com/en-us/dotnet/api/system.runtime.interopservices.gchandle.free?view=netframework-4.7.2 says "The caller must ensure that for a given handle, Free is called only once.".

So delete the second call to `Free()`.

I believe it changes the desired behaviour for this test but it was added before 2010 (via source depo) and there are no comments about the regression that it was able to repro, so it is not worth to investigate that.

Remove redundant zero-initializations for long-lifetime structs. (#20753)

When compInitMem is true long-lifetime structs (i.e., the ones with lvIsTemp set to false)
are zero-initialized in the prolog: https://github.com/dotnet/coreclr/blob/c8a63947382b0db428db602238199ca81badbe8e/src/jit/codegencommon.cpp#L4765

Therefore, these structs don't need an explicit zero-initialization in blocks that are not in a loop.

Add base arcade scripts and versioning files

Fix freebsd symbol upload failure. (#20759)

one more place to add case for freebsd (#20756)

Display offset in TimeZoneInfo.DisplayName (#20728)

* Display offset in TimeZoneInfo.DisplayInfo

* Display offset in TimeZoneInfo.DisplayInfo

* prefer +00.00

* Update TimeZoneInfo.Unix.cs

Merge pull request #20755 from dotnet/dev/unix_test_workflow

Enable triggers for Linux x64 PMI asm diffs

Merge pull request #20752 from BruceForstall/EnableLinuxX64PmiDiffs

Fix PMI job triggers for x64 Linux

Merge pull request #20750 from BruceForstall/ReduceExpectedTestCount

Fix expected Pri-1 test count

Disable outdated CoreFX tests (#20749)

Fix PMI job triggers for x64 Linux

Also, convert asm from ZIP to tar on non-Windows.

Merge pull request #20720 from dotnet/mmitche-patch-1

preview1 -> preview

Fix expected Pri-1 test count

https://github.com/dotnet/coreclr/pull/20693 reduced the number of
Pri-1 tests significantly, which caused this error to appear on
some Pri-1 builds, e.g., Ubuntu x64 Checked builds.

Fix JIT flags for ARM64 altjit (#20711)

The ARM64 altjit was interpreting some JIT flags from the (mismatched)
x64 runtime incorrectly: they actually specify x64 architecture
capabilities, not ARM64 capabilities. And some of these capabilities
are not fully implemented/tested, so were leading to crashes doing
altjit asm diffs.

Workaround FreeBSD symbol publishing problem. (#20733)

Issue #https://github.com/dotnet/coreclr/issues/20722

Update PMI asm diffs in the CI (#20743)

* Respond to PMI asm diffs code review feedback

Add some try/finally code to improve robustness.
Remove direct invocation of run.cmd.

Also, simplify the generated asm directory hierarchy.

* Improve PMI script error code

Only return non-zero if there is a fatal error. For non-fatal error,
such as the existence of asm diffs, return zero. This will allow
subsequent "build" steps in netci.groovy to run, namely, the
archiving of the asm directory.

Later, determine a better way figure out how to deal with the existence
of asm diffs.

* Update dotnet SDK download links

corert compile fixes, corert class Debug should be partial and s_WriteCore need to be assigned

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Make BitScanForward/BitScanForward64 PAL wrappers branchless. (#20412)

The BitScanForward/BitScanForward64 wrapper functions from the PAL and
gcenv have been modified so they're faster (and branchless), while also
adhering more closely to the behavior of the MSVC intrinsics.

Use _BitScanForward64 when targeting 64-bit Windows.

The _WIN32 macro is always defined by MSVC, even when targeting 64-bit
versions of Windows. Use the _WIN64 macro instead to check whether the
build is targeting 64-bit Windows, and if so, use the _BitScanForward64
intrinsic for the BitScanForward64 wrapper instead of the 32-bit-based
fallback.

Update BuildTools, CoreClr, CoreFx, CoreSetup, IbcData, PgoData to preview1-03330-01, preview1-27031-03, preview1.18530.5, preview1-27031-02, master-20181031-1450, master-20181031-1447, respectively (#20665)

Clean up string literal implicit const casting and some two-phase lookup nits on Windows (#20730)

* Remove implicit c-string const casting and clean up some C++ standards conformance bugs.

* Fix const string conversion in FCSigCheck.

Detect integer overflow in String.Replace

Fixes #20719

Fix corrupted StringBuilder state after out of memory exception

Fixes #20718

Make the check for a struct fitting in a register check for either managed or native depending on the situation (i.e. managed call, reflection, P/Invoke) instead of only for managed. Fixes #20702.

Clean up duplicate #ifdefs.

Move #ifdef into method impl instead of outside the implementations.

Move IsRegPassedStruct out of UNIX_AMD64_ABI #ifdef.

Move check for enregistered struct out of UNIX_AMD64_ABI #ifdef

Add dummy implementation of IsRegPassedStruct and IsNativeStructPassedInRegisters when UNIX_AMD64_ABI isn't defined.

Add PInvoke/Structures tests

Fix compile warnings

Fix compile warnings

Fix compile warnings

Remove duplicate tests. Move ReversePinvoke tests under StructMarshalling.

Clean up some compile errors.

More string cleanup.

More string fixes

Clean up consts and typedefs.

Fix typo.

Change TP_slen return type to match xplatform.h

Fix printf specifiers.

Don't define wcslen in xplatform if it's been macro redefined (to platformdefines.h's TP_slen)

Fix build breaks.

Remove extension from DllImport so it will correctly resolve xplat.

Fix printf specifiers again...

Fix Windows x86 calling convention mismatch.

Fix HRESULT size off-Windows

Add PInvoke/NativeCallManagedComVisible tests (#19328)

* Add PInvoke/NativeCallManagedComVisible tests

* Update to current infrastructure and disable off-Windows

* Fix incorrect S_OK value and made the native side actually return an HRESULT in hr.

Merge pull request #20683 from CarolEidt/FixDD710234

Arm32: Handle live-out double reg in resolution

Merge pull request #20723 from BruceForstall/ImproveNOWAYOutput

Improve the assert output for NO_WAY and BADCODE

more changes to fix packaging on FreeBSD. runtime.json now contains freebsd-x64 and portable build/packaging works (#20725)

Making Debug and Trace behavior consistent with eachother and Desktop (#20581)

* Making Debug and Trace behavior more consistent with Desktop and eachother
* Syncs IndentLevel and IndentSize for Debug and Trace
* Completing DebugProvider APIs. Fixing Indentation bugs
* Make WriteCore public
* Make s_provider and s_indentSize volatile
* Applied PR feedbacks

Remove superfluous 'const' qualifier from trivial return types (#20652)

The 'const' used in this context has no meaning

Re-Enable Windows tests with JitOptSensitive flag (#20697)

* Re-Enable windows with JitOptSensitive flag

The check in batch targets would keep us from running jitOptimiztionSensitiveTests
with COMPlus_TieredCompilation=0.

* Address pr feedback

Fix DevDiv issue with JitStressRegs=0x3 on arm32. (#20485)

* Fix the issue.

* Fix the comment.

* update the comment

Improve the assert output for NO_WAY and BADCODE

Include the file and line number information that we already have.

Fix Windows x86 EH for exception from UMThunkPrestub (#20704)

The exception handling was poping an explicit frame in
UMThunkPrestubHandler down the call chain from CallRtlUnwindSafe, but it
was not updating the tct.pBottomFrame after returning from that function
back to CPFH_RealFirstPassHandler. And the call to COMPlusAfterUnwind
then called UnwindFrames starting at the old frame that was already
removed from the chain.

Work around XUnit FileLoadException issues (#20644)

In order to mitigate System.IO.FileLoadException we built our own xunit.console.dll with ConcurrentDictionary used for DependencyContextAssemblyCache.managedAssemblyCache instead of Dictionary and use this instead of the one pulled from NuGet.

Arm32: Handle live-out double reg in resolution

When handling critical edges, live-in and live-out reg masks must contain both halves of double regs.

Merge pull request #20638 from fiigii/movetest

Move SSE/SSE2/AVX Load* intrinsic tests to the template framework

preview1 -> preview

.NET Core 3.0 previews should not have numeric suffixes.

Merge pull request #20710 from BruceForstall/DisableNonPRJobsMaster

Disable non-PR triggers in dev/unix_test_workflow branch

Disable non-PR triggers in dev/unix_test_workflow branch

Delete redundant framework API tests (#20693)

This is the last batch of deleting tests that are obviously redundant. The remaining framework API tests in CoreCLR can be dealt with as needed if it ever becomes a problem.

Fixes #12782

Add support for large number of argumets in CCW call on Arm64 (#20670)

* Fix CCW with large numbers of arguments on arm64
- Correctly align the stack in COMToCLRDispatchHelper
- Add tests for naturally 16 byte aligned stack growth, and non-aligned growth
* New many arguments COM test
* Add support for the IL stub ETW diagnostic event

Merge pull request #20703 from MattGal/bsd-pipebuild-tweaks

Remove DotNetBootstrapCliTarPath from variables

Fix printing in `CodeGen::siEndScope`. (#20698)

Fixed small typo in a comment (#20695)

fixed a simple typo, "co-" should contain a dash in this case.

fix detection for LLDB.h and make sos mandatory on FreeBSD (#20551)

* fix detection for LLDB.h and make sos mandatory on FreeBSD

* feedback from review

* feedback from review

* add llvm40 as well for completness

* fix OR condition

Remove DotNetBootstrapCliTarPath from variables as it was getting forcibly upper-cased, making it useless. Instead, use the workaround of setting it explicitly before sync.sh.

Merge pull request #20699 from MattGal/bsd-pipebuild-tweaks

Add FreeBSD to official build pipelines

add -portablebuild=false to build.sh (affects naming)

Fix `JitStressRegs=0x1` issue with `RefTypeUpperVectorSaveDef`. (#20623)

* Add a repro test.

* Fix the issue.

* Add comments

Fixing build.sh args

Add freebsd flavor to CoreCLR pipebuild

JIT: Fix call flag propagation for GenTreeArrElem (#20660)

Closes #20651.

Also fix up some "near miss" cases for GenTreeField and GenTreeBoundsCheck,
where we get lucky and the importer currently splits trees with temps so the
currently ignored child nodes have no interesting side effects.

Revise GenTreeField a bit to pull more of the initialization work into the
constructor. Add a missing R2R field propagation for field nodes in GtClone
(evidently also never hit in practice).

Merge pull request #20641 from briansull/vso_707552

Fix VSO 707552

Add the execution policy when running powershell in size on disk benchmarks (#20680)

Since moving to the helix queue, we have been failing because the execution policy on the vms is not set to unrestricted. To get around this, we need to explicitly pass -ExecutionPolicy Bypass.

Disable failing on Windows/ARM Interop/COM tests (#20675)

* Interop/COM/NETClients/Primitives/NETClientPrimitives
* Interop/COM/NativeClients/Primitives
* Interop/COM/NETClients/IDispatch/NETClientIDispatch
* Interop/COM/NETClients/Aggregation/NETClientAggregation

Corrected Typos and grammar (#20658)

* Corrected some typos and grammar as per English language guidelines.

* Reverted some of the changes

* Reverted back some changes Phase 2

Remove unnecessary Pack directive to fix build break (#20681)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #20679 from BruceForstall/DumpTempReason

Dump the "reason" for a compiler temp

Dump the "reason" for a compiler temp

Compiler temps are created with a "reason" that is dumped in JitDump.
Save the reason and display it in the local variable table dump.
This is useful when trying to find a particular temp and see what
code has been generated using it.

JIT: streamline temp usage for returns (#20640)

If the jit decides it needs a return spill temp, and the return value
has already been spilled to a single-def temp, re-use the existing
for the return temp rather than creating a new one.

In conjunction with #20553 this allows late devirtualization for calls where
the object in the virtual call is the result of an inline that provides
a better type, and the objected formerly reached the call via one or more
intermediate temps.

Closes #15873.