Merge pull request #23111 from am11/gcc-configuration

Improve gcc configuration

Merge pull request #23099 from janvorli/remove-pal-cleanup

Remove init_count zeroing from PAL cleanup at process exit

Merge pull request #23121 from janvorli/enable-clang-staticanalyzer-build

Enable build with clang static analyzer

Remove conditions around CMAKE_REQUIRED_LIBRARIES

Refactor Encoding to split fast-path and fallback logic (#23098)

This refactoring is limited to ASCIIEncoding at the moment, but it can easily be applied to UTF-8 / UTF-16 / UTF-32.

High-level changes:
- Fallback logic has been split from the fast-path, improving performance of GetBytes and similar routines.
- All of the plumbing of when to invoke the fallback logic and how to manage leftover data has been moved into the base class.
- Almost all of the logic except for the fast-path is now written in terms of verifiable code (Span and ReadOnlySpan).
- Minor bug fixes in EncoderNLS.Convert (see https://github.com/dotnet/coreclr/issues/23020).

Update dependencies from https://github.com/dotnet/arcade build 20190309.2 (#23163)

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19159.2
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19159.2

Update dependencies from https://github.com/dotnet/corefx build 20190310.1 (#23164)

This change updates the following dependencies
- Microsoft.NETCore.Platforms - 3.0.0-preview4.19160.1
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview4.19160.1

Update dependencies from https://dnceng@dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20190308.5 (#23156)

This change updates the following dependencies
- optimization.IBC.CoreCLR - 99.99.99-master-20190308.5
- optimization.PGO.CoreCLR - 99.99.99-master-20190308.5

Update dependencies from https://github.com/dotnet/corefx build 20190308.7 (#23154)

This change updates the following dependencies
- Microsoft.NETCore.Platforms - 3.0.0-preview4.19158.7
- Microsoft.Private.CoreFx.NETCoreApp - 4.6.0-preview4.19158.7

Update dependencies from https://github.com/dotnet/core-setup build 20190308.16 (#23155)

This change updates the following dependencies
- Microsoft.NETCore.App - 3.0.0-preview4-27508-16

Move Buffer to shared (#23157)

Two more instances

Eliminate SampleProfilerEventInstance

Avoid StackWalk in EventPipeEventInstance constructor

Add stack depth check to all Task continuations (#23152)

Currently Task has a stack depth check that avoids stack overflows on very deep stack continuation chains, but it only applies to Task.ContinueWith, not to other kinds of continuations.  This changes that to have it apply to all.

As part of this, this also deletes the current StackGuard type used to achieve the check.  The type was meant to avoid expensive calls to check where we are on the stack, but now that we're using TryEnsureSufficientExecutionStack, it's actually faster to just call that rather than access the current StackGuard from a ThreadLocal.  This then also cleans up the call sites nicely, as they no longer need finally blocks to undo the increment performed on the StackGuard.

Update dependencies from https://github.com/dotnet/arcade build 20190308.5 (#23146)

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.19158.5
- Microsoft.DotNet.Helix.Sdk - 2.0.0-beta.19158.5

Move part of RuntimeHelpers to shared partition (#23130)

* Move part of RuntimeHelpers to shared partition

* Remove FormatterServices.cs

Properly override IsEquivalentTo() API in RuntimeType (#23137)

* Properly override IsEquivalentTo() API in RuntimeType
* Add tests for API validation

Update eventcounter spec (#23142)

Merge pull request #23140 from BruceForstall/RemoveArm64NYI

Remove unneeded arm64 NYI

Use 4 core external build queues (#23079)

Fix missing RunTests.sh in CoreFX Linux jobs. (#23135)

Remove unneeded arm64 NYI

InitVarDscInfo::alignReg is only used by `_TARGET_ARM_`, so put
it under that ifdef.

Contributes to #18178

Merge pull request #23086 from BruceForstall/Arm64ChangeIntFloatSaveOrder

Arm64: always save int registers at higher addresses than float regs

Optimized RemoveItemsRange to call the list.RemoveRange if the items is of type List<T>

Simplified the RemoveItem logic since we have more robust validation

InsertItemsRange API now checks if the underlying items.IsReadOnly first then collection == null

Removed (Int64) cast statements from RemoveItemsRange when checking for overflow errors

Added new RemoveRange validation check to see if the resulting range (index + count) > items.Count and if it is true throw ArgumentException

Updated InsertItemsRange to simplify the expression and added performance improvements. If the underlying `items` is using List<T> we should use it's InsertRange method since it is optimized, othersie we use InsertItem

Updated RemoveAt->RemoveItem. This change removes redundent validation checks that happen using the RemoveAt API. RemoveItem gives us direct access to invoke the command

Updated RemoveRange invocation of RemoveAt to use index instead of i, because the array changes with each iteration of the for loop and will cause side-effects which may include index out of range exceptions. This needs to be index because as the array shrinks the index is always at the correct position.

Added ArgumentOutOfRangeException exception in RemoveRange if the count is less than 0

Updated RemoveItemsRange to properly remove each item and not just the index items

Updated RemoveItemsRange to prevent int.MaxValue overflow errors

Remove ternary operator from invocation as it is the same as inputing items.Count

Added ReplaceItemsRange API and updated ReplaceRange to invoke the protected method

Adding braces on for loop

Updated foreach to use T instead of var

Updated index out of range exception check to be a single comparison

Added new Range Manipulation APIs for Collection<T> which propogate up to ObservableCollection<T>. AddRange, InsertRange, RemoveRange and Replace Range

Use CLR_LINK

Allow deserialization for ResourceManager created with non-default resource set type (#23051)

Merge pull request #23119 from BruceForstall/Arm64PrePostIndexCoalescing

Allow coalescing of SP adjustment into single register prolog STR/LDR

Improve SSA renaming memory usage (#15000)

* Cleanup DumpStacks

It's not exactly useful to dump all the stacks after pushing to a stack. Nor is it useful to dump all the stack after popping only some, perhaps none, in PopBlockStacks.

Also dump stack from top to bottom, makes it easier to find the top, which is usually what you care about during SSA renaming.

* Stop passing null block to SsaRenameState::Push

It makes no difference if the definition is in the "block before any real blocks..." or at the start of the first block, it's just an unnecessary complication.

* Stop handling byrefStatesMatchGcHeapStates in SsaRenameState

SsaBuilder already handles that, doing it again in SsaRenameState just duplicates logic.

* Stop using "count" as a name for "SSA number"

Worst name ever.

Also use "block" consistently, instead of a mix of "bb" and "block".

* Delete "ConstructedArray", not needed

* Various cleanup

- Change SsaRenameState to a class
- Cleanup remaining function comments
- Move SsaRenameStateForBlock & SsaRenameStateLocDef inside SsaRenameState
- Make EnsureStacks private
- Reorder data members
- Use m_ prefix consistently

* Replace jitstd::list with a custom stack

std::list has a few drawbacks:
- It's a doubly linked list but a singly linked list suffices so every node wastes 8 bytes for an extra pointer.
- The list object itself is relatively large 2 head/tail pointers, node count and memory allocator. There can be hundreds of such objects (one for each local variable) so the smaller the better.

Replace with a simple singly linked, intrusive list based stack.

* Share push code between lclvar and memory

It's pretty much the same logic (the only difference is that in the memory case "top" can't ever be null so by sharing the code we get a redundant null check).

Remove extra quotes

Add outerloop-jitstressregs, outerloop-jitstress2-jitstressregs, outerloop-gcstress0x3-gcstress0xc TestGroups (#23047)

The following build definitions

* coreclr-ci
* coreclr-outerloop
* coreclr-outerloop-jitminopts-jitstress1-jitstress2
* coreclr-outerloop-jitstressregs
* coreclr-outerloop-jitstress2-jitstressregs
* coreclr-outerloop-gcstress0x3-gcstress0xc

can be triggered from pull requests via /azp run x command.

JIT: rework codegen for Arm64 SIMD Extract/Insert intrinsics (#23114)

Add an up-front bounds check during importation instead of waiting
until codegen. Mirrors what we do for similar cases on xarch.

Closes #20260.

Merge pull request #23052 from CarolEidt/Fix22850

Correctly type SIMD stack values

Address @janvorli's feedback

Enable build with clang static analyzer

As part of LLVM, there is a clang static analyzer tool that provides
useful analysis of potential issues in the source code base.

This change enables building coreclr with that analyzer enabled.

disabling tracing/tracevalidation/inducedgc/inducedgc test on ARM64 (#23125)

Use platform specific implementation of GetCurrentProcessId (#23084)

* Use platform specific implementation of GetCurrentProcessId

directly in shared location instead of relying on runtime export

* Move GetCurrentProcessId to Interop class

* Update ES_BUILD_STANDALONE build

Added UserFlags field, unblocks #34560 (dotnet/corefx#35851)

* Added UserFlags field

* Added UserFlags

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Fix a rare JitStress assert. (#23116)

* Fix undefined behaviour when we check `this==nullptr`.

* Fix ifdef comment.

* Fix rare jit stress assert.

flowgraph.cpp: !IsUninitialized(tree) can fail if `UninitializedWord` returns a valid pointer value.

Fix how we check whether events are enabled via LTTng (#22707)

* Fix how we check whether events are enabled via LTTng

* Add GCToEEInterface::UpdateGCEventStatus

* Fix build errors

* Finished hooking it up to post_gc

* Some comments about the event keyword/level detection logic

* Fix windows build

* Fix Prv provider keyword logic

* forgot to add one more ifdef

* Fix OSX build

* one more ifdef to fix

* Addressing PR feedback

* Update GCEventStatus at gc_heap::initialize_gc too

Allow coalescing of SP adjustment into single register prolog STR/LDR

Use DOTNET_${$1} environment variables

Merge pull request #22708 from BrianBohe/updating_comments

Updating ScopeInfo::siUpdate comments/documentation

Improve gcc configuration
* Use `find_path` instead of `check_include_files` for lttng.
* `locate_gcc_exec gcc` to `locate_gcc_exec link` for `gcc_link`
* Remove unused `DCMAKE_OBJCOPY`
* Fix all warnings in gen-buildsys-gcc.sh reported by shellchecker.

Add missing CopyToAsync override in FileStream.Unix.cs (#23101)

Disable tests based on 23103 and 23096 (#23104)

* Disable tests based on 23103 and 23096

* Remove disable for arm32 AV

Fix ARMv8.1 atomics disassembly (#23070)

Fixes #20721.

Update error message for when a parent is marked as COMVisible(false) (#23092)

* Update message to include type and parent type marked as COMVisible(false)

JIT: fix filter liveness computation (#23044)

When a filter is finished executing, control can logically pass to the
associated handler, any enclosing handler or filter, or any finally or fault
handler nested within the associated try. This is a consequence of two-pass EH.

The jit was not propagating liveness from the nested handlers, which lead to a
live object being collected inadvertently.

This change updates `fgGetHandlerLiveVars` to find the nested handlers and
merge their live-in into the filter block live sets.

Because these implicit EH flow edges can create cycles in the liveness dataflow
equations, the jit will also now always iterate liveness when it sees there is
exception flow, to ensure livness reaches the appropriate fixed point.

Added test case.

Closes #22820.

Fix control C trap hang in the debugger (#23090)

Clean up some arm64 prolog/epilog code (#23080)

* Clean up some arm64 prolog/epilog code

1. For frame types which establish a frame pointer before the final
SP adjustment, there is no need to report the SP adjustment in unwind
data, as it is unused.
2. Added some comments, esp. related to frameType 1, explaining the
totalFrameSize limit.
3. Fixed frameType 3 #outsz check to > 504 versus >= 504; 504 is a legal
offset for STP/LDP.
4. Fix frameType 3 epilogs to always restore SP from FP. Should give more
prolog/epilog unwind code matching, and simplifies the code.

Closes #22056, #22058, #22057, #22476, #22478.

* Formatting

* Update comment

Merge pull request #23085 from BruceForstall/FixAsmDiffScratchRoot

Fix PMI asm diffs

Cleanup unused hosting interfaces (#23091)

Remove init_count zeroing from PAL cleanup

Setting the init_count to 0 in the PALCommonCleanup was causing
intermittent crashes in the GC stress C tests on Linux with
SIGILL. The reason is that the signal handlers do nothing and call a
previous handler in case the PAL is not initialized, which is indicated
by the init_count being zero.

To fix that issue, I have removed the init_count zeroing at process
exit, since the PAL and runtime is still capable of handling the
signals.

Cleanup Globalization info code (#22591)

Ignore warning in another build script. (#23082)

Fix comment (#23058)

Fix missing includes in coreclr/src/debug/createdump/ (#23075)

See issue 19722.

Remove legacy behavior around non-virtual interface calls (#23032)

* Throw BadImageFormat for direct calls to abstract methods

* Remove legacy behavior around non-virtual interface calls

* Try fixing failing tests

The test we inherited from the default interface method prototype branch is doing exactly the thing it shouldn't do (rely on the bad behavior) for unexplained reasons.

Use Microsoft Container Registry for docker images (#23061)

* Use Microsoft Container Registry for docker images

https://github.com/dotnet/dotnet-buildtools-prereqs-docker has been updated to publish docker images to the Microsoft Container Registry.

* Also update netci.groovy

Fix ProjectN build breaks (dotnet/corert#7115)

Signed-off-by: dotnet-bot <anirudhagnihotry098@gmail.com>

Fix ValueStringBuilder.EnsureCapacity to call Grow correctly (#35810)

* Fix ValueStringBuilder.EnsureCapacity to call Grow correctly (#35746)

Call to EnsureCapacity may result in invalid buffer size being
allocated.

* Update ValueStringBuilder.Grow to prevent misuse (#35746)

Updated name of the argument to make it clearer on the call-site also
added summary co clearly state the behavior of Grow.

Signed-off-by: dotnet-bot <anirudhagnihotry098@gmail.com>

Update dependencies from dotnet/core-setup (dotnet/corefx#35713)

* Update dependencies from https://github.com/dotnet/core-setup build 20190301.13

This change updates the following dependencies
- Microsoft.NETCore.App - 3.0.0-preview4-27501-13
- Microsoft.NETCore.DotNetHost - 3.0.0-preview4-27501-13
- Microsoft.NETCore.DotNetHostPolicy - 3.0.0-preview4-27501-13

* Remove workaround for System.Runtime.CompilerServices.Unsafe

* Update dependencies from https://github.com/dotnet/core-setup build 20190302.8

This change updates the following dependencies
- Microsoft.NETCore.App - 3.0.0-preview4-27502-8
- Microsoft.NETCore.DotNetHost - 3.0.0-preview4-27502-8
- Microsoft.NETCore.DotNetHostPolicy - 3.0.0-preview4-27502-8

* Update dependencies from https://github.com/dotnet/core-setup build 20190303.9

This change updates the following dependencies
- Microsoft.NETCore.App - 3.0.0-preview4-27503-9
- Microsoft.NETCore.DotNetHost - 3.0.0-preview4-27503-9
- Microsoft.NETCore.DotNetHostPolicy - 3.0.0-preview4-27503-9

* Update dependencies from https://github.com/dotnet/core-setup build 20190304.10

This change updates the following dependencies
- Microsoft.NETCore.App - 3.0.0-preview4-27504-10
- Microsoft.NETCore.DotNetHost - 3.0.0-preview4-27504-10
- Microsoft.NETCore.DotNetHostPolicy - 3.0.0-preview4-27504-10

* Don't include EventRegistrationToken on Unix

This type was accidentally duplicated between CoreLib and contracts.

Suppress that for now since we're detecting the duplication in the shared framework.

Make a fix in the shared items to restore the condition on this type.

Signed-off-by: dotnet-bot <anirudhagnihotry098@gmail.com>

Project msbuild syntax cleanup (dotnet/corefx#35686)

* Remove license header from non-shipping files

* Remove obsolete Project attributes

* Remove xml header and remove DefaultTargets

Signed-off-by: dotnet-bot <anirudhagnihotry098@gmail.com>

Change IBC data path to match Arcade standard (#23063)

Arm64: always save int registers at higher addresses than float regs

This is just to be consistent across all frame types, for simplicity.

Update dependencies from https://dnceng@dev.azure.com/dnceng/internal/_git/dotnet-optimization build 20190306.3 (#23076)

This change updates the following dependencies
- optimization.IBC.CoreCLR - 99.99.99-master-20190306.3
- optimization.PGO.CoreCLR - 99.99.99-master-20190306.3

Fix PMI asm diffs

Fix scratch_root validation

Do not conflict publish name based on scenario (#23041)

* Do not conflict publish name based on scenario

* Fix syntax error

Adding *.nuget.dgspec.json to the gitignore file. (#23033)

Update dependencies from https://github.com/dotnet/core-setup build 20190304.10 (#23031)

This change updates the following dependencies
- Microsoft.NETCore.App - 3.0.0-preview4-27504-10

Temporarily disable some WaitAny tests that have been failing periodically in the CI (#22997)

Issues:
- https://github.com/dotnet/coreclr/issues/19515
- https://github.com/dotnet/coreclr/issues/19406
- https://github.com/dotnet/coreclr/issues/14249

Improve resiliency of LoadIBCMethodHelper (#23057)

The encoded slot could be bogus and we would end up asserting for this.

JIT: fix issue with assertion prop on isinst helpers (#23056)

For calls to isinst helpers, morph may rearrange the order of args on the late
arg list, so examine the operands to ensure the right ones are passed into the
assertion creation code.

Added simplified test case.

Closes #23039.

Merge pull request #22912 from fiigii/fixBroadcast

Fix BroadcastScalarToVector128/256 codegen

Fixing the float/double parsing logic to handle exponents that are too large/small (#23043)

* Fixing the float/double parsing logic to handle exponents that are too large/small

* Fixing the debug assert to use >= and <=

* Fixing the max exponents to be +1 to match what scale uses.

fix  BroadcastScalarToVector128/256 and simplify MoveMask

Cleanup old code (#23053)

Remove IsContinuableException declaration & fix comment
Clean up ThreadBaseRedirectingFilter
Clean up comment
Cleanup dead code

Reduce running time of GitHub_19361 test case (#23048)

This is a regression test and the original issue indicated that the test
would fail reliably under GC stress. So cut down the size of the lists
being processed and remove the various exclusions.

This reduces execution time on arm64 debug from ~30 mins to 2 seconds.

Closes #20232.

Move HasLayoutMetadata to methodtablebuilder.cpp (#23015)

* Move HasLayoutMetadata to methodtablebuilder.cpp

* Collapse auto case into unicode case.

* Remove ancient workaround for Managed C++ compiler bug.

Clean up some string.Format usage (#23025)

* Clean up some string.Format usage

Mainly changes some string.Format usage to be SR.Format when working with resource strings.  Also cleans up a few asserts that were using string.Format.

* Address PR feedback and clean up src

* Address more feedback

* Update src/System.Private.CoreLib/shared/System/Type.Enum.cs

Thanks.

Co-Authored-By: stephentoub <stoub@microsoft.com>

Correctly type SIMD stack values

When `impSIMDPopStack` pops a struct value, it needs to retype the `OBJ` if it exists and doesn't match.

Fix #22850

Fix issue 23040

Fix issue 23037