Merge pull request #22431 from BruceForstall/DisableCorefxFailingTests

Disable failing Linux/arm64 corefx tests

Merge pull request #22432 from BruceForstall/DisableWindowsArm64CorefxCronJobs

Disable Windows arm64 corefx cron jobs

Fix ProjectN build breaks (dotnet/corert#6954)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Avoid duplicate tree lookup in GetCollatorFromSortHandle (#22390)

Merge pull request #22425 from BruceForstall/UploadMsbuildLogs

Configure MSBuild debug path and save any logs

Disable Windows arm64 corefx cron jobs

These currently all fail with timeout. They also take way too much time
to run. We have good Linux/arm64 corefx test coverage already.

The issue of these runs being slow is tracked by
https://github.com/dotnet/coreclr/issues/21236.

Merge pull request #22415 from adityamandaleeka/pinvoke_eh

Disable PInvoke inlining within try regions on ARM64

Use Jenkins for Linux/arm32 testing (#22429)

Disable failing Linux/arm64 corefx tests

Merge pull request #22421 from BruceForstall/RestrictArm64XunitParallelism

Restrict arm64 parallelism to collections

Merge pull request #22416 from BruceForstall/FixRunTestOutput

Fix runtest.py output

Correctly error out gracefully on setup-stress-dependencies when libcoredistools isn't available. (#22357)

Notify dac when prejitted code is going to be used for a method (#22296)

This allows sos bpmd breakpoints to work on prejitted methods.

Closes #22265.

Add draft default interface methods specification (#21564)

Fix marshalling UTF8 string struct member from native to managed. (#22408)

* Fix marshalling UTF8 string struct member from native to managed.

Fixes #22394

* PR Feedback.

Extract addressing mode analysis from gtSetEvalOrder (#22387)

* Extract addressing mode analysis from gtSetEvalOrder

Merge pull request #22417 from BruceForstall/ExtractRuntestTimeout

Extract setting __TestTimeout in runtest.py

Fix string.strlen (#22397)

* Add explanation comment

Fixes #22393

Move SynchronizationContext to shared partition (#22389)

* Move SynchronizationContext to shared partition

* Move WaitHelperNative to WaitHandle

Configure MSBuild debug path and save any logs

We have had many problems in the CI with MSBuild failing, and not
capturing the failure logs.

See https://github.com/dotnet/coreclr/issues/20236.

So, for all msbuild invocations, set MSBUILDDEBUGPATH to a new,
distinguished, subdirectory of the bin\Logs directory, named
"MsbuildDebugLogs". Change the CI to upload any log files found
there.

Fix runtest.py output

1. Fix extra newline output
2. Remove extra output of failed logs
3. Catch errors with Unicode conversion

Restrict arm64 parallelism to collections

Attempt to reduce test timeout failures by restricting test parallelism.

Attempts to address https://github.com/dotnet/coreclr/issues/22419

Handle SPC in GetLoadContext

GetBindingContext() returns NULL for System.Private.CoreLib.  Add support
for this special case.

Extract setting __TestTimeout

Avoid setting or reporting setting it twice

Re-enable tests blocked by 21964.

Disable PInvoke inlining within try regions on ARM64.

Merge pull request #22411 from BruceForstall/AlwaysArchiveLogs

Always archive build logs

Always archive build logs

Even if the build fails. Add archiving in more cases where it was missing.

Disable JIT/SIMD/Vector3Interop_ro on x64 Unix platforms

Related issue: https://github.com/dotnet/coreclr/issues/22401

Disable JIT/Regression/CLR-x86-JIT/v2.1/b152292 on all Unix platforms

Related issue: https://github.com/dotnet/coreclr/issues/20358

More compact implementation of Marshal.GenerateProgIdForType (#22395)

Reenable  corefx System.Linq.Expressions.Tests. (#22362)

Delete exclusions that reference fixed issues. (#22355)

* Delete exclusions for the issue that were fixed.

* Change the issue number for ThreadStartString_1

Fix arm32 unwind for large methods (#22381)

* Fix arm32 unwind for large methods

For arm32, the unwinder bails out with an error if the method offset is not
within the fragment range. And the jit copies prolog unwind codes to all
fragments, so there's no need to walk back and find the root unwind record.

Closes #22260.

* re-enable test

Remove code that was moved to System.Native (dotnet/corert#6932)

* Remove code that was already moved from System.Private.CoreLib.Native to System.Native.

* Move Interop files for System.Native to shared Interop directory.

* Add FeaturePortableThreadPool conditions to csproj files.

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #22378 from filipnavara/native_cpp_to_C

Convert System.Globalization.Native to C

Throw the right exception when interface dispatch is ambiguous (#22295)

Throw the approved exception per dotnet/corefx#34124.

Use unsigned index extension in muldi-dimensional array stubs (#22376)

Delete unnecessary parallel logic that kept track of the total multiplier

Fixes #22348

Rename DevDiv_754566.ilprog to DevDiv_754566.ilproj (#22375)

Typo in file name

Prefix enums, remove DLLEXPORT from GetResultCode
Move SortHandle out of public API header, it is opaque structure

Fix inconsistent usage of various bool types
Convert u_charsToUChars_safe to ICU style error handling
Unify error handling code across functions to use the same patterns
Add static modifier to functions that are used only from single C file

Update static_assert usage to c_static_assert_msg

Avoid memory allocation in EnumSymbols for small buffers

Fix error handling in GetLocaleIso639LanguageTwoLetterName

Update one more place to use version.c instead of version.cpp

Simplify and fix error handling

Change NormalizationForm to address feedback.

Fix enum alignment

Address feedback

Convert version.cpp to C

Address feedback

Convert System.Globalization.Native to C

Rename files

Move Interop.GetTimestamp.cs to shared CoreLib partition. (#35031)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Spill tree temp large vectors around calls (#22311)

* Spill tree temp large vectors around calls

The code was there to handle lclVars, but there was an implicit assumption that non-lclVar large vector tree temps would never be live across a call.

Fixes the GitHub_20657 failure in #22253

Avoid delegate/work item allocations when setting async continuation (#22373)

When awaiting a task, there's a race between seeing whether the task has completed (in which case we just continue running synchronously), finding the task hasn't completed (in which case we hook up a continuation), and then by the time we try to hook up the continuation finding the task has already completed.  In that final case, we don't want to just execute the callback synchronously, as we risk a stack dive, so we queue it.  That queueing currently entails two allocations in the common case: one for the work item object, and one for the Action delegate we force into existence for the state machine box's MoveNext method (in the common case it's now never allocated because you only await Tasks and ValueTasks known to the runtime, which bypasses its creation).  We can instead just queue the box itself, and avoid both allocations.

Rename ResourceManager fields to follow conventions (#22371)

Propagate preferences (#19429)

* Propagate preferences

Instead of selecting a single relatedInterval for preferencing,
follow the chain of relatedIntervals (preferenced intervals).

Change when preferences are propagated to the relatedInterval;
do it in allocateRegisters, so that we can update it when we see a last use.

Also tune when and how intervals are preferenced, including allowing multiple
uses on an RMW node to have the target as their preference.

Fixes #11463
Contributes to #16359

Update dependencies from dotnet/arcade (#22096)

* Update dependencies from https://github.com/dotnet/arcade build 20190118.4

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19068.4
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19068.4

* Update dependencies from https://github.com/dotnet/arcade build 20190119.2

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19069.2
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19069.2

* Update dependencies from https://github.com/dotnet/arcade build 20190120.2

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19070.2
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19070.2

* Update dependencies from https://github.com/dotnet/arcade build 20190122.5

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19072.5
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19072.5

* Update dependencies from https://github.com/dotnet/arcade build 20190123.5

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19073.5
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19073.5

* Update dependencies from https://github.com/dotnet/arcade build 20190130.6

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19080.6
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19080.6

Make Import of Helix.Sdk conditional in tests/helixpublishwitharcade.proj (#22360)

Move Marshal::UnsafeAddrOfPinnedArrayElement to shared partition (#22359)

Make Exception._HResult private (#22354)

Fix the scratch register used for arm64 stack probing (#22313)

* Fix the scratch register used for arm64 stack probing

In some circumstances, genFnProlog might pick a callee-saved
register to be the initReg. This doesn't work for stack probing
since we might need a scratch register before we save the
callee-save regs. So, always use R9 (REG_SCRATCH) instead.

Fixes #22284

* Formatting

Preserve Vector Arg registers on Arm64 (#22257)

* Preserve Vector Arg registers on Arm64

Fix #14371

Remove stale warning 420 pragmas (#22352)

It used to be that the CS0420 warning ("a reference to a volatile field will not be treated as volatile") would fire when a volatile was used with an Interlocked.* operation.  That warning was unnecessary, as Interlocked.* would itself provide the relevant barriers, and these functions were special cased in Roslyn a long time ago.  But there are still lots of places where pragmas disabling the warning have stuck around.  I'm deleting them all.

Move ResourceManager to shared CoreLib. (#22249)

* Move ResourceManager to shared CoreLib.

* Split UAP code out of ResourceManager.cs into separate files.

* Remove ResourceManager.NonUap.cs.

* Do not access internal field (CoreRT build fix).

* Fix non-Windows builds (CoreRT).

* Remove obsolete Debug code.

Exclude RecursiveException and MultipleException from GCStress runs. (#22340)

Fixes #20460.

See issue #22339.

Update the double/float formatters to return the shortest roundtrippable string. (#22040)

* Updating Number.Formatting to always compute a round-trippable number by default.

* Adding a third-party notice entry for the Grisu3 reference implementation

* Fixing up the Grisu3 algorithm to better match the reference implementation (including comments, etc)

* Porting the Grisu3 implementation that generates the shortest roundtrippable sequence.

* Updating the Dragon4 algorithm to support printing the shortest roundtrippable string.

* Fixing the double/float formatters to ignore precision specifiers for 'R'

* Fixing the double/float formatters to handle +0.0 and -0.0

* Fix the casing of `point` in THIRD-PARTY-NOTICES

Co-Authored-By: tannergooding <tagoo@outlook.com>
* Fixing the double/float formatting code to consider a precision specifier of 0 to be the same as default.

* Fixing the double/float formatter so that nMaxDigits is set appropriately.

* Changing the double/float formatting logic to account for the format when determining the correct precision to request.

* Updating the double/float formatter to take the format specifier into account when determining the number of digits to request.

* Fixing the double/float formatting code to continue handling zero correctly.

* Disabling some outdated CoreFX tests.

* Responding to various feedback from the PR

Refactor helixpublishwitharcade.proj (#22346)

Ensure method is active in PrepareMethod (#22351)

Fixes an assert when first call to PrepareMethod for an assembly
is an interop method.

Annotate types moved from S.R.Extensions

Testing how much hate this is going to bring me.

These annotations let ProjectN deal with the fact that we now have two
definitions of System.Environment in the system. This is needed as long
as Project N is stuck on 2.1-level version of the framework.

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Revert "Re-point Jenkins to new Ubuntu ARM64 queue"

This reverts commit 193d5da27fecb7bf95e7342f1c4b9e2b63ce5313.

Coreclr gnuport (#22129)

* Abstract away NOINLINE statement

MSVC and GNU compilers use different attributes for noinline.
Abstract away compiler differences.

* Replace __sync_swap with __atomic_exchange_n

__sync_swap doesn't exist on GNU. Replacing with __atomic_exchange_n
which is universally available.

* Define CDECL for GNUC

__cdecl is not defined by default on GNU compilers.

* Define gcc version of __declspec(thread)

* Correct pointer casting

A pointer value is usually unsigned long on most platforms.
Casting it to integer causes signedness issues. Use size_t
to be efficient on all 32 and 64 bit architectures.

* Put quotes around the error string

Correct error statement. GNU G++ is picky about the string
following the error statement with ' character in it. It needs
to be enclosed with double quotes.

* Fix casting problem

Seeing these warnings with GNU G++ compiler

src/pal/src/sync/cs.cpp: In function ‘void CorUnix::InternalInitializeCriticalSectionAndSpinCount(PCRITICAL_SECTION, DWORD, bool)’:
src/pal/src/sync/cs.cpp:630:48: warning: converting to non-pointer type ‘SIZE_T {aka long unsigned int}’ from NULL [-Wconversion-null]
         pPalCriticalSection->OwningThread      = NULL;
                                                ^
src/pal/src/sync/cs.cpp: In function ‘void CorUnix::InternalLeaveCriticalSection(CorUnix::CPalThread*, _CRITICAL_SECTION*)’:
src/pal/src/sync/cs.cpp:880:43: warning: converting to non-pointer type ‘SIZE_T {aka long unsigned int}’ from NULL [-Wconversion-null]
         pPalCriticalSection->OwningThread = NULL;
                                           ^

* Abstract optnone compiler attribute

GNU compiler doesn't support optnone attribute.

pal/src/exception/seh-unwind.cpp:449:77: warning: ‘optnone’ attribute directive ignored [-Wattributes]

* Set the aligned attribute for GNU compiler

* Make __rotl and __rotr functions portable

GNU compiler doesn't have an intrinsic for these. Open code them
using the provided implementation.

* Define deprecated attribute for gcc

* Add throw specifier for GCC

/usr/include/string.h:43:28: error: declaration of ‘void* memcpy(void*, const void*, size_t) throw ()’ has a different exception specifier
        size_t __n) __THROW __nonnull ((1, 2));

Fixing a GC hole in Number.BigInteger (#22334)

Add -skipcrossarchnative option to build.cmd (#22091)

* Add -skipcrossarchnative option to build.cmd

This allows you to skip building the cross-architecture native components.

* Add -skipcrossarchnative to build.sh

Replace several Nullable<T>.Value with .GetValueOrDefault() (#22297)

The former does extra work that the latter doesn't do, and they're equivalent when we know it contains a value, such as immediately after a HasValue check.

AsyncSteppingFix - Eagerly initialize the AsyncStateMachineBox to avoid expression evaluation in ProjectN async stepping.

[tfs-changeset: 1732745]

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Increase arm64 timeout. (#22298)

* increase arm64 debug/checked timeout.

* Increase timeout only for corefx jobs.

[Arm64/arm32] GCStress failure in tracing/eventsourcetrace/eventsourcetrace/eventsourcetrace.sh (#22328)

Marking this test `GCStressIncompatible` = True for now.

Re-point Jenkins to new Ubuntu ARM64 queue

Move Jenkins off the Ubuntu.1604.Arm64.Open queue so it can be repurposed for Azure DevOps.  This "Iron" queue should only be used by Jenkins.

Support for dumping GC info in R2RDump (#22216)

Thanks to tons of help from Jan Vorlicek I found out that a huge
failure bucket in the CoreCLR Pri#1 tests is caused by incorrect
GC info for generic methods causing failures in catch clauses
where the exception type is a generic referring to a generic
parameter of the method.

As part of investigation of this issue I'm adding provisions for
dumping the GC info alongside methods to make the differences
between CPAOT and Crossgen easier to analyze.

For now I have only implemented the AMD64 variant of the GC info.
Thankfully it turns out that the same GC info is used by both ARM32
and ARM64 so that the only remaining debt is supplying a variant
of the new code for X86.

Thanks

Tomas

Update python lookup in CMakeLists.txt to match build.(sh|cmd) (#22145)

Use the same logic that's used in build.sh/build.cmd to lookup python:
first search for `python3`, then fall back to `python2` and finally to
`python`.

Fix ProjectN build breaks (dotnet/corert#6924)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Fix for missing GC ref map record on ARM64 for the X8 register (#22309)

GC stress testing revealed a deficiency in GC ref map on ARM64 - we weren't
emitting the entry corresponding to the X8 return buffer address because
a recent refactoring changed its location in the transition block. This change
generalizes transition block by exposing a new function

GetOffsetOfFirstGCRefMapSlot()

that returns the same value as

GetOffsetOfArgumentRegisters()

except on ARM64 where it returns the offset of the X8 register in the
transition block (above the callee-saved registers and 8-byte padding i.e.
at position 13 corresponding to offset 0x68, or
GetOffsetOfArgumentRegisters() - 8).

Thanks

Tomas

Add design document for unloadability (#22166)

* Add design document for the unloadability

Replace Environment.s_macOS with use of PLATFORM_OSX

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Adapt corert to Environment moving from corefx

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Stop collecting source line information during a stacktrace for the E… (#22305)

* Stop collecting source line information during a stacktrace for the Exception.Source property.

* Code review feedback

Add managed implementation of GetSystemMaxDBCSCharSize (#22290)

Add timeoutPerTestCollection and use this to control Helix workitem timeout (#22312)

Update CoreFx, IbcData, PgoData to preview.19080.2, master-20190130.3, master-20190130.3, respectively (#22310)

Remove run.exe and config.json (#21608)

This moves us one step away from buildtools and towards arcade.

This replaces run.sh and run.cmd (and all invocations) with "dotnet.sh msbuild" and "msbuild.cmd".
- I'm using these wrapper scripts for now instead of those in eng/common in order to retain the very helpful "Running <command>" output in the build logs.
- I'm using msbuild.cmd instead of dotnet.sh to match the current behavior that uses desktop msbuild on windows, instead of dotnet.

All of the arguments that used to be implicitly generated by run.exe and config.json are now explicit, resulting in longer (but easier to copy+paste) commands. Some of these arguments are likely unnecessary, but in this change my goal is just to match the run.exe behavior. Later, I would like to go through and clean up parameters that don't need to be passed in every invocation. I might also consider moving more of the common arguments out into variables in a later change.

Some of the wrapper scripts now have limited support for parsing "-Argument=Value" style parameters, to support our existing buildpipeline infrastructure, since I thought this was easier to test than changing our buildpipeline definitions. We can remove that parsing logic once we stop using buildpipeline (which has happened at this point).

Some subtle parts of the change:

* Add msbuild.cmd

This simulates the behavior of Tools\msbuild.cmd, which calls desktop msbuild.

* Fix BuildOS processing in package build and publish

Previously, config.json had its own processing that would set
OSName. Instead, we now pass it in explicitly where it's
needed (building packages), or not at all (publishing them).

* Handle "=" in publish-packages.cmd and other scripts

This seems necessary to properly handle the azure access token

* Set __BuildOS in PublishPackages

Required for cases where the build OS isn't detected during the build
such as freebsd.

* Use dotnet msbuild in runtest.py

This prevents us from having to deal with different quote escape
behavior on windows and linux. Previously, arguments like
fileloggerparameters and the logger were given quotes to escape
semicolons in the argument. On unix, this prevented the argument from
being split up by bash. On windows, it seems that the run.cmd/run.exe
tools would prevent the extra quotes from being passed to
msbuild.exe (desktop msbuild would choke on the quotes if they were
passed along).

Unlike desktop msbuild, dotnet msbuild is able to parse the quoted
strings, so we simply psas the quoted arguments directly to it on
windows. We may be able to do the same on unix.

* Fix build-test.sh problem with BuildOS

When copying native files during the unix test build, we rely on
__BuildOS being set. Fixing the import order and always setting
__BuildOS fixes this. We should eventually fix the inconsistent use of
BuildOS vs __BuildOS.

Reverting "Fixing up the UTF8Formatter and some tests to properly handle -0.0" (#22300)

Disable outdated test until it is updated

Update CoreFx, PgoData to preview.19080.1, master-20190130.1, respectively

Disable tests consistently failing in AzDO CI (#22304)

* JIT\jit64\opt\cse\hugeexpr1 on Linux/arm

Related issue: https://github.com/dotnet/coreclr/issues/22260

* baseservices\threading\interlocked\compareexchange\CompareExchangeTClass
* baseservices\threading\interlocked\compareexchange\CompareExchangeTClass_1

Related issue: https://github.com/dotnet/coreclr/issues/22303

Remove GTF_ADDR_ONSTACK and IsVarAddr.

IsVarAddr was checking GTF_ADDR_ONSTACK  to determine if
the GT_ADDR node is an address of a local. This change removes both
GTF_ADDR_ONSTACK and  IsVarAddr and uses IsLocalAdrExpr instead.
IsLocalAddrExpr uses opcodes to determine if GT_ADDR node is
a local address.

GTF_ADDR_ONSTACK flag is ancient, added before 2002 so I couldn't find
the checkin that introduced it.

I changed the assert to a check and an assignment since simplifications
inside fgMorphArgs between
https://github.com/dotnet/coreclr/blob/1a1e4c4d5a8030cb8d82a2e5b06c2ab357b92534/src/jit/morph.cpp#L3709
(which causes https://github.com/dotnet/coreclr/blob/1a1e4c4d5a8030cb8d82a2e5b06c2ab357b92534/src/jit/morph.cpp#L3057)
and
https://github.com/dotnet/coreclr/blob/1a1e4c4d5a8030cb8d82a2e5b06c2ab357b92534/src/jit/morph.cpp#L3790
may result in more GT_ADDR nodes recognized by IsLocalAdrExpr.

x86 and x64 pmi frameworks had no code diffs and some gcinfo reductions
(15 methods with gcinfo diffs in x86).

Fixes #22190.

Switch CoreLib over to using shared Environment from corefx (#22106)

This requires merging/adapting the implementation with EnvironmentAugments (which goes away completely), the shared files, what corert has, etc.

Fix CorError header file generation (#22294)

The checked in batch script was only usable if you have a Razzle environment and even then it didn't update the right files.

fixed pdf link in dotnet-standards.md (#22292)