Cleanup LLVM assumption (#22456)

We want to support GNU compilation for CoreCLR. Luckily both LLVM
and GNU compilers define __GNUC__ and there are a lot of things
they can share.

Fix CoreLib to include PasteArguments.Unix.cs correctly (#22453)

Move Array to shared partition (#22321)

Implement ManifestBasedResourceGroveler::GetNeutralResourcesLanguageAttribute (#22372)

* Implement ManifestBasedResourceGroveler::GetNeutralResourcesLanguageAttribute in shared managed code

* Remove native ::GetNeutralResourcesLanguage

Index and Range updates (#22331)

* Index and Range updates

* Address @mikedn  feedback

* Address Feedback

* more feedback

* Use Deconstruct in Range.GetOffsetAndLength

* Rename GetArrayRange to GetSubArray

* Temporary disable the old Corefx Range tests

* Return back the TimeSpan test disabling

* Fix Range jit test

* Exclude the jit test

* revert the changes in the jit Range test

* Address Suggested Feedback

Merge pull request #22450 from BruceForstall/DisableFlakySystemNetTests

Disable flaky Linux/arm64 corefx System.Net.Sockets.Tests

Throw an exception when passing strings by-value as out parameters. (#21513)

* Throw an exception when passing strings by-value as out parameters.

* Fix encoding

* Don't use override in this PR.

* Clean up Marshal_In

Marshal_In was copied back into existence from Marshal_InOut. Clean it up a bit.

* Remove extraneous whitespace.

* Fix failing test.

* Remove out attribute in COM string tests.

* Add back attribute and check for exception thow in COM tests.

* Add block comment to explain the implementation of Reverse_LPWStr_OutAttr in the NETServer.

* Only throw in a CLR->Native marshalling situation.

* Fix asserts from changed code-paths used in ILWSTRMarshaler.

* Add comment and explicitly load in a null value (instead of leaving it uninitialized).

* Apply suggestions from code review

Co-Authored-By: jkoritzinsky <jkoritzinsky@gmail.com>
Co-authored-by: Jan Vorlicek <janvorli@microsoft.com>

Allow lcl_var structs to be widened to primitive types on unix amd64. (#22437)

* Allow lcl_var structs to be widened to primitive types on unix amd64. The already happens on armarch

* Apply format patch

Disable flaky Linux/arm64 corefx System.Net.Sockets.Tests

Tracking: https://github.com/dotnet/coreclr/issues/21576

In general, any System.Net test that exhibits flakiness should be
disabled; we pay more in flakiness than we gain in coverage.

Add option to run tests in unloadable context (#22332)

This change adds new "runincontext" option to the tests/runtest.cmd that
allows running tests inside of an unloadable AssemblyLoadContext.
It also adds new property that allows tests to be marked as incompatible
with running this way. All known tests that have such issue are marked
in this PR too.

Merge pull request #22433 from BruceForstall/DisableFailingLinuxArm64Test

Disable failing constrainedcall test

Merge pull request #22438 from BruceForstall/DisableFailingXarchTests

Disable failing BestFitMapping tests

Merge pull request #22439 from BruceForstall/DisableWaitOne2

Disable baseservices\threading\mutex\misc\waitone2 test

Merge pull request #22444 from BruceForstall/DisableGThread23

Disable GThread23 test

Disable GThread23 test

It fails regularly though randomly in the CI.

Tracking issue: https://github.com/dotnet/coreclr/issues/19339

Disable failing constrainedcall test on Linux

Tracked by https://github.com/dotnet/coreclr/issues/22423

Disable baseservices\threading\mutex\misc\waitone2 test

This test has been failing randomly in the CI on all architectures
for a long, long time.

Tracking issue: https://github.com/dotnet/coreclr/issues/6397

Disable failing BestFitMapping tests

Tests:
```
Interop\PInvoke\BestFitMapping\Char\AFT_PFT\AFT_PFT\AFT_PFT.cmd
Interop\PInvoke\BestFitMapping\Char\Assembly_False_False\Assembly_False_False\Assembly_False_False.cmd
Interop\PInvoke\BestFitMapping\LPStr\AFT_PFT\AFT_PFT\AFT_PFT.cmd
Interop\PInvoke\BestFitMapping\LPStr\Assembly_False_False\Assembly_False_False\Assembly_False_False.cmd
```

Tracked by https://github.com/dotnet/coreclr/issues/22436

Merge pull request #22431 from BruceForstall/DisableCorefxFailingTests

Disable failing Linux/arm64 corefx tests

Merge pull request #22432 from BruceForstall/DisableWindowsArm64CorefxCronJobs

Disable Windows arm64 corefx cron jobs

Fix ProjectN build breaks (dotnet/corert#6954)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Avoid duplicate tree lookup in GetCollatorFromSortHandle (#22390)

Merge pull request #22425 from BruceForstall/UploadMsbuildLogs

Configure MSBuild debug path and save any logs

Disable Windows arm64 corefx cron jobs

These currently all fail with timeout. They also take way too much time
to run. We have good Linux/arm64 corefx test coverage already.

The issue of these runs being slow is tracked by
https://github.com/dotnet/coreclr/issues/21236.

Merge pull request #22415 from adityamandaleeka/pinvoke_eh

Disable PInvoke inlining within try regions on ARM64

Use Jenkins for Linux/arm32 testing (#22429)

Disable failing Linux/arm64 corefx tests

Merge pull request #22421 from BruceForstall/RestrictArm64XunitParallelism

Restrict arm64 parallelism to collections

Merge pull request #22416 from BruceForstall/FixRunTestOutput

Fix runtest.py output

Correctly error out gracefully on setup-stress-dependencies when libcoredistools isn't available. (#22357)

Notify dac when prejitted code is going to be used for a method (#22296)

This allows sos bpmd breakpoints to work on prejitted methods.

Closes #22265.

Add draft default interface methods specification (#21564)

Fix marshalling UTF8 string struct member from native to managed. (#22408)

* Fix marshalling UTF8 string struct member from native to managed.

Fixes #22394

* PR Feedback.

Extract addressing mode analysis from gtSetEvalOrder (#22387)

* Extract addressing mode analysis from gtSetEvalOrder

Merge pull request #22417 from BruceForstall/ExtractRuntestTimeout

Extract setting __TestTimeout in runtest.py

Fix string.strlen (#22397)

* Add explanation comment

Fixes #22393

Move SynchronizationContext to shared partition (#22389)

* Move SynchronizationContext to shared partition

* Move WaitHelperNative to WaitHandle

Configure MSBuild debug path and save any logs

We have had many problems in the CI with MSBuild failing, and not
capturing the failure logs.

See https://github.com/dotnet/coreclr/issues/20236.

So, for all msbuild invocations, set MSBUILDDEBUGPATH to a new,
distinguished, subdirectory of the bin\Logs directory, named
"MsbuildDebugLogs". Change the CI to upload any log files found
there.

Fix runtest.py output

1. Fix extra newline output
2. Remove extra output of failed logs
3. Catch errors with Unicode conversion

Restrict arm64 parallelism to collections

Attempt to reduce test timeout failures by restricting test parallelism.

Attempts to address https://github.com/dotnet/coreclr/issues/22419

Handle SPC in GetLoadContext

GetBindingContext() returns NULL for System.Private.CoreLib.  Add support
for this special case.

Extract setting __TestTimeout

Avoid setting or reporting setting it twice

Re-enable tests blocked by 21964.

Disable PInvoke inlining within try regions on ARM64.

Merge pull request #22411 from BruceForstall/AlwaysArchiveLogs

Always archive build logs

Always archive build logs

Even if the build fails. Add archiving in more cases where it was missing.

Disable JIT/SIMD/Vector3Interop_ro on x64 Unix platforms

Related issue: https://github.com/dotnet/coreclr/issues/22401

Disable JIT/Regression/CLR-x86-JIT/v2.1/b152292 on all Unix platforms

Related issue: https://github.com/dotnet/coreclr/issues/20358

More compact implementation of Marshal.GenerateProgIdForType (#22395)

Reenable  corefx System.Linq.Expressions.Tests. (#22362)

Delete exclusions that reference fixed issues. (#22355)

* Delete exclusions for the issue that were fixed.

* Change the issue number for ThreadStartString_1

Fix arm32 unwind for large methods (#22381)

* Fix arm32 unwind for large methods

For arm32, the unwinder bails out with an error if the method offset is not
within the fragment range. And the jit copies prolog unwind codes to all
fragments, so there's no need to walk back and find the root unwind record.

Closes #22260.

* re-enable test

Remove code that was moved to System.Native (dotnet/corert#6932)

* Remove code that was already moved from System.Private.CoreLib.Native to System.Native.

* Move Interop files for System.Native to shared Interop directory.

* Add FeaturePortableThreadPool conditions to csproj files.

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #22378 from filipnavara/native_cpp_to_C

Convert System.Globalization.Native to C

Throw the right exception when interface dispatch is ambiguous (#22295)

Throw the approved exception per dotnet/corefx#34124.

Use unsigned index extension in muldi-dimensional array stubs (#22376)

Delete unnecessary parallel logic that kept track of the total multiplier

Fixes #22348

Rename DevDiv_754566.ilprog to DevDiv_754566.ilproj (#22375)

Typo in file name

Prefix enums, remove DLLEXPORT from GetResultCode
Move SortHandle out of public API header, it is opaque structure

Fix inconsistent usage of various bool types
Convert u_charsToUChars_safe to ICU style error handling
Unify error handling code across functions to use the same patterns
Add static modifier to functions that are used only from single C file

Update static_assert usage to c_static_assert_msg

Avoid memory allocation in EnumSymbols for small buffers

Fix error handling in GetLocaleIso639LanguageTwoLetterName

Update one more place to use version.c instead of version.cpp

Simplify and fix error handling

Change NormalizationForm to address feedback.

Fix enum alignment

Address feedback

Convert version.cpp to C

Address feedback

Convert System.Globalization.Native to C

Rename files

Move Interop.GetTimestamp.cs to shared CoreLib partition. (#35031)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Spill tree temp large vectors around calls (#22311)

* Spill tree temp large vectors around calls

The code was there to handle lclVars, but there was an implicit assumption that non-lclVar large vector tree temps would never be live across a call.

Fixes the GitHub_20657 failure in #22253

Avoid delegate/work item allocations when setting async continuation (#22373)

When awaiting a task, there's a race between seeing whether the task has completed (in which case we just continue running synchronously), finding the task hasn't completed (in which case we hook up a continuation), and then by the time we try to hook up the continuation finding the task has already completed.  In that final case, we don't want to just execute the callback synchronously, as we risk a stack dive, so we queue it.  That queueing currently entails two allocations in the common case: one for the work item object, and one for the Action delegate we force into existence for the state machine box's MoveNext method (in the common case it's now never allocated because you only await Tasks and ValueTasks known to the runtime, which bypasses its creation).  We can instead just queue the box itself, and avoid both allocations.

Rename ResourceManager fields to follow conventions (#22371)

Propagate preferences (#19429)

* Propagate preferences

Instead of selecting a single relatedInterval for preferencing,
follow the chain of relatedIntervals (preferenced intervals).

Change when preferences are propagated to the relatedInterval;
do it in allocateRegisters, so that we can update it when we see a last use.

Also tune when and how intervals are preferenced, including allowing multiple
uses on an RMW node to have the target as their preference.

Fixes #11463
Contributes to #16359

Update dependencies from dotnet/arcade (#22096)

* Update dependencies from https://github.com/dotnet/arcade build 20190118.4

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19068.4
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19068.4

* Update dependencies from https://github.com/dotnet/arcade build 20190119.2

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19069.2
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19069.2

* Update dependencies from https://github.com/dotnet/arcade build 20190120.2

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19070.2
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19070.2

* Update dependencies from https://github.com/dotnet/arcade build 20190122.5

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19072.5
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19072.5

* Update dependencies from https://github.com/dotnet/arcade build 20190123.5

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19073.5
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19073.5

* Update dependencies from https://github.com/dotnet/arcade build 20190130.6

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19080.6
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19080.6

Make Import of Helix.Sdk conditional in tests/helixpublishwitharcade.proj (#22360)

Move Marshal::UnsafeAddrOfPinnedArrayElement to shared partition (#22359)

Make Exception._HResult private (#22354)

Fix the scratch register used for arm64 stack probing (#22313)

* Fix the scratch register used for arm64 stack probing

In some circumstances, genFnProlog might pick a callee-saved
register to be the initReg. This doesn't work for stack probing
since we might need a scratch register before we save the
callee-save regs. So, always use R9 (REG_SCRATCH) instead.

Fixes #22284

* Formatting

Preserve Vector Arg registers on Arm64 (#22257)

* Preserve Vector Arg registers on Arm64

Fix #14371

Remove stale warning 420 pragmas (#22352)

It used to be that the CS0420 warning ("a reference to a volatile field will not be treated as volatile") would fire when a volatile was used with an Interlocked.* operation.  That warning was unnecessary, as Interlocked.* would itself provide the relevant barriers, and these functions were special cased in Roslyn a long time ago.  But there are still lots of places where pragmas disabling the warning have stuck around.  I'm deleting them all.

Move ResourceManager to shared CoreLib. (#22249)

* Move ResourceManager to shared CoreLib.

* Split UAP code out of ResourceManager.cs into separate files.

* Remove ResourceManager.NonUap.cs.

* Do not access internal field (CoreRT build fix).

* Fix non-Windows builds (CoreRT).

* Remove obsolete Debug code.

Exclude RecursiveException and MultipleException from GCStress runs. (#22340)

Fixes #20460.

See issue #22339.

Update the double/float formatters to return the shortest roundtrippable string. (#22040)

* Updating Number.Formatting to always compute a round-trippable number by default.

* Adding a third-party notice entry for the Grisu3 reference implementation

* Fixing up the Grisu3 algorithm to better match the reference implementation (including comments, etc)

* Porting the Grisu3 implementation that generates the shortest roundtrippable sequence.

* Updating the Dragon4 algorithm to support printing the shortest roundtrippable string.

* Fixing the double/float formatters to ignore precision specifiers for 'R'

* Fixing the double/float formatters to handle +0.0 and -0.0

* Fix the casing of `point` in THIRD-PARTY-NOTICES

Co-Authored-By: tannergooding <tagoo@outlook.com>
* Fixing the double/float formatting code to consider a precision specifier of 0 to be the same as default.

* Fixing the double/float formatter so that nMaxDigits is set appropriately.

* Changing the double/float formatting logic to account for the format when determining the correct precision to request.

* Updating the double/float formatter to take the format specifier into account when determining the number of digits to request.

* Fixing the double/float formatting code to continue handling zero correctly.

* Disabling some outdated CoreFX tests.

* Responding to various feedback from the PR

Refactor helixpublishwitharcade.proj (#22346)

Ensure method is active in PrepareMethod (#22351)

Fixes an assert when first call to PrepareMethod for an assembly
is an interop method.

Annotate types moved from S.R.Extensions

Testing how much hate this is going to bring me.

These annotations let ProjectN deal with the fact that we now have two
definitions of System.Environment in the system. This is needed as long
as Project N is stuck on 2.1-level version of the framework.

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Revert "Re-point Jenkins to new Ubuntu ARM64 queue"

This reverts commit 193d5da27fecb7bf95e7342f1c4b9e2b63ce5313.

Coreclr gnuport (#22129)

* Abstract away NOINLINE statement

MSVC and GNU compilers use different attributes for noinline.
Abstract away compiler differences.

* Replace __sync_swap with __atomic_exchange_n

__sync_swap doesn't exist on GNU. Replacing with __atomic_exchange_n
which is universally available.

* Define CDECL for GNUC

__cdecl is not defined by default on GNU compilers.

* Define gcc version of __declspec(thread)

* Correct pointer casting

A pointer value is usually unsigned long on most platforms.
Casting it to integer causes signedness issues. Use size_t
to be efficient on all 32 and 64 bit architectures.

* Put quotes around the error string

Correct error statement. GNU G++ is picky about the string
following the error statement with ' character in it. It needs
to be enclosed with double quotes.

* Fix casting problem

Seeing these warnings with GNU G++ compiler

src/pal/src/sync/cs.cpp: In function ‘void CorUnix::InternalInitializeCriticalSectionAndSpinCount(PCRITICAL_SECTION, DWORD, bool)’:
src/pal/src/sync/cs.cpp:630:48: warning: converting to non-pointer type ‘SIZE_T {aka long unsigned int}’ from NULL [-Wconversion-null]
         pPalCriticalSection->OwningThread      = NULL;
                                                ^
src/pal/src/sync/cs.cpp: In function ‘void CorUnix::InternalLeaveCriticalSection(CorUnix::CPalThread*, _CRITICAL_SECTION*)’:
src/pal/src/sync/cs.cpp:880:43: warning: converting to non-pointer type ‘SIZE_T {aka long unsigned int}’ from NULL [-Wconversion-null]
         pPalCriticalSection->OwningThread = NULL;
                                           ^

* Abstract optnone compiler attribute

GNU compiler doesn't support optnone attribute.

pal/src/exception/seh-unwind.cpp:449:77: warning: ‘optnone’ attribute directive ignored [-Wattributes]

* Set the aligned attribute for GNU compiler

* Make __rotl and __rotr functions portable

GNU compiler doesn't have an intrinsic for these. Open code them
using the provided implementation.

* Define deprecated attribute for gcc

* Add throw specifier for GCC

/usr/include/string.h:43:28: error: declaration of ‘void* memcpy(void*, const void*, size_t) throw ()’ has a different exception specifier
        size_t __n) __THROW __nonnull ((1, 2));

Fixing a GC hole in Number.BigInteger (#22334)

Add -skipcrossarchnative option to build.cmd (#22091)

* Add -skipcrossarchnative option to build.cmd

This allows you to skip building the cross-architecture native components.

* Add -skipcrossarchnative to build.sh

Replace several Nullable<T>.Value with .GetValueOrDefault() (#22297)

The former does extra work that the latter doesn't do, and they're equivalent when we know it contains a value, such as immediately after a HasValue check.

AsyncSteppingFix - Eagerly initialize the AsyncStateMachineBox to avoid expression evaluation in ProjectN async stepping.

[tfs-changeset: 1732745]

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Increase arm64 timeout. (#22298)

* increase arm64 debug/checked timeout.

* Increase timeout only for corefx jobs.

[Arm64/arm32] GCStress failure in tracing/eventsourcetrace/eventsourcetrace/eventsourcetrace.sh (#22328)

Marking this test `GCStressIncompatible` = True for now.

Re-point Jenkins to new Ubuntu ARM64 queue

Move Jenkins off the Ubuntu.1604.Arm64.Open queue so it can be repurposed for Azure DevOps.  This "Iron" queue should only be used by Jenkins.

Support for dumping GC info in R2RDump (#22216)

Thanks to tons of help from Jan Vorlicek I found out that a huge
failure bucket in the CoreCLR Pri#1 tests is caused by incorrect
GC info for generic methods causing failures in catch clauses
where the exception type is a generic referring to a generic
parameter of the method.

As part of investigation of this issue I'm adding provisions for
dumping the GC info alongside methods to make the differences
between CPAOT and Crossgen easier to analyze.

For now I have only implemented the AMD64 variant of the GC info.
Thankfully it turns out that the same GC info is used by both ARM32
and ARM64 so that the only remaining debt is supplying a variant
of the new code for X86.

Thanks

Tomas

Update python lookup in CMakeLists.txt to match build.(sh|cmd) (#22145)

Use the same logic that's used in build.sh/build.cmd to lookup python:
first search for `python3`, then fall back to `python2` and finally to
`python`.