Merge pull request #18103 from vancem/StringBuilderEnumeratorUpdate

Add more comments and rename to StringBuilder.GetChunks()

[Arm64] debugging work (#17993)

* Fix missing implementation of FuncEvalFrame::UpdateRegDisplay for ARM64
- Implementation is missing. Build new one based ARM implementation

* Enable just my code on arm64

* Fix logging of addresses for DispatchPatchOrSingleStep

* arm64 does not leave the PC at the start of the breakpoint

* Enable interop debugging

* Tweaks for windows arm64 mixed mode debugging support

Use sysconf(_SC_NPROCESSORS_CONF) instead of sysconf(_SC_NPROCESSORS_ONLN) (#18053)

Improve SSA topological sort (#15200)

* Simplify block successor iterators

Construction of an end AllSuccessorIter requires the number of block successors. This can be avoided by keeping track of the number of remaining successors so that the end iterator is simply "0 remaining successors".

Remove StartAllSuccs & co. These functions don't do anything useful.

Since AllSuccessorIter and EHSuccessorIter now have similar constructors the "collection" classes AllSuccs and EHSuccs can be replaced by a single template class.

* Split out block successor iterator logic

The AllSuccessorIterator iterator is pretty large - 64 bytes on 64 bit hosts. When used as local variables that's not much of a problem but if they end up stored in containers then a lot of space is wasted.

AllSuccessorIter contains a pointer to the compiler object and a pointer to the block whose successors it iterates over. And then it also contains an EHSuccessorIter that contains the same 2 pointers.

In scenarios such as the one in SsaBuilder::TopologicalSort the compiler pointer need not be stored and the block needs to be stored only once and be made accessible so a separate block stack isn't needed.

This change splits out the successor iterating logic into separate "position" classes that receieve the compiler and block via function parameters.

* Improve TopologicalSort memory usage

Rename EnumerateCHunks -> GetChunks per API review feedback.

Realigning the hwintrinsiclistxarch table columns

Fix a variety of typos (#18096)

* absense -> absence

* aboring -> aborting

* absense -> absence

* absoute -> absolute

* absoute -> absolute

* abstration -> abstraction

* dwDesiredAcces -> dwDesiredAccess

* accees -> access

* accesed -> accessed

* accessability -> accessibility

* accessable -> accessible

* accidentaly -> accidentally

* accesible -> accessible

* accommondate -> accommodate

* accurancy -> accuracy

* accuratley -> accurately

* Achitecture -> Architecture

* acompannying -> accompanying

* acordingly -> accordingly

Optimize Array.Clear using SpanHelpers (#18101)

Reimplement most of Array.Clear in managed code using Span Clear helpers.

Fixes dotnet/corefx#29848

Update g_highest_address and g_lowest_address in StompWriteBarrier(WriteBarrierOp::StompResize) on ARM (#18107)

sharing SerializationInfo for corert and coreclr (#18102)

* String to string in SerializationInfo

* Object to object in SerializationInfo

* Reducing diff between coreclr and corefx by renaming some variables.

* Reducing diff for SerializationInfo by simplifying code

* More cleanup
- Removing unused fields and making internals private.
- Removing unused namespaces
- Merge some comments

* Fixing up commets and removing object from object.ReferenceEquals(..)

* Minor fixups

* Moving to shared

* Applying PR feedbacks

* using IsRuntimeImplemented helper method for type

* using the CoreRT version and keeping ctor with extra argument

Merge pull request #18011 from CarolEidt/JitOptDoc

Update struct handling section of Jit Opt Doc

Update struct handling section of Jit Opt Doc

R2RDump - Dump generic method instances (#18080)

* R2RDump - dump generic method instances

* Added comments

* Move read functions to own class, changes to NativeHashtable to make it similar to NativeFormatReader

* Get type name for struct generic instances

* Emit # of runtimeFunctions and size:unavailable, add [Flags] to enum and NONE flag

* Throw exception when method entrypoint id is out of bounds

* Type name instead of var

* Get full classname including namespace

* Get parent types of nested types

* Save DeclaringType as string, rename variables, use 1 constructor

* Check generic param indices not out of bounds

Cleaning up LinearScan::BuildHWIntrinsic

Add more comments to StringBuilder.EnumerateChunks()

This does not change execution of the code (only comments, placement)

Added a warning about modifying the stringbuilder while enumerating.

Refactor fgDebugCheckBBlist (#18082)

create BBPredsChecker

SOS Fixes for windows arm32 (#18090)

Merge pull request #18079 from dotnet-maestro-bot/master-UpdateDependencies

Update BuildTools, CoreClr, CoreFx, PgoData to preview1-02823-01, preview1-26523-04, preview1-26523-05, master-20180523-0040, respectively (master)

Fix parallel spmi return code. (#18093)

Merge pull request #18099 from CarolEidt/FixEliminNodeInfo

Fix desktop build break

Fix desktop build break

Merge pull request #18086 from sdmaclea/PR-delete_next_card_table

Mark delete_next_card_table

Create RefPositions without TreeNodeInfo (#16517)

* Create RefPositions without TreeNodeInfo

* Remove all references to TreeNodeInfo

* Fix function header comments

Merge pull request #18087 from BruceForstall/RemoveMoreLEGACY_BACKEND

Remove more JIT LEGACY_BACKEND tendrils

Update BuildTools, CoreClr, CoreFx, PgoData to preview1-02823-01, preview1-26523-04, preview1-26523-05, master-20180523-0040, respectively

Fix race in test waitone1 (#18085)

Remove more JIT LEGACY_BACKEND tendrils

1. Remove armlb testing from netci.groovy
2. Remove legacy jit exclusions from tests.lst
3. Remove some unused `LEGACY_BACKEND` build definitions
4. Remove regpair.h

fix desktop (#18092)

Remove -Rebuild option from build scripts (#18089)

add treeLifeUpdater (#18021)

[tfs-changeset: 1700288]

Merge pull request #17530 from vancem/StringBuilderEnumerator

Adding EnumerateChunks which allow efficient scanning of a StringBuilder

Remove JIT LEGACY_BACKEND code (#18064)

Remove JIT LEGACY_BACKEND code

All code related to the LEGACY_BACKEND JIT is removed. This includes all code related to x87 floating-point code generation. Almost 50,000 lines of code have been removed.

Remove legacyjit/legacynonjit directories

Remove reg pairs

Remove tiny instruction descriptors

Remove compCanUseSSE2 (it's always true)

Remove unused FEATURE_FP_REGALLOC

Mark delete_next_card_table

GCStressIncompatible=true
IsLongRunningGCTest=true

Move InsufficientMemory, OutOfMemory and ThreadInterrupted exceptions (#18049)

* Move following exceptions to shared:

    - InsufficientMemory,
    - OutOfMemory
    - ThreadInterrupted

Related to: dotnet/coreclr#17904

Reduced diff in RegistryKey visible between coreclr and corert

Fixe whitespace

Fix whitespace

Fix attribute placement

Collapse ChunkEnumerable and ChunkEnumerator.

Fix compareexchangetstring thread safety (#18075)

add stackLevelSetter to the VS header list. (#18077)

add repro for #18056  (#18057)

* add repro

* add the exclusion

* fix comments

Code cleanup and formatting for System.Memory files. (#17451)

* Fix IDE0034 C# expression can be simplified (use of default)

* Remove unnecessary using statements

* IDE0012 C# Name can be simplified. String -> string

* IDE0041  C# Null check can be simplified

* Fix code formatting (limited to Span/System.Memory files).

* Address PR feedback - IDE0012 Name can be simplified (String -> string)

* Add back the necessary using statements and fix typo

* Fix comment typo and add necessary using statements

small fixes to build CoreCLR on FreeBSD again (#18072)

* small fixes to build CoreCLR on FreeBSD again

* feedback from review

* update genLttngProvider.py as jan suggested

* remove extra comment

* add missing extra space

Update BuildTools, PgoData to preview1-02821-03, master-20180521-0051, respectively (#18066)

Only include DotNETRuntimeEventSource.cs if it exists. (#18074)

Merge pull request #18032 from sdmaclea/PR-ARM64-LSE-ATOMICS

[Arm64] Add basic ARMv8.1 Atomics

Reduce the number of days to keep artifacts for perf (#18073)

We are still seeing issues with running out of space on the archive
machines due to the size of the perf archives. This change reduces the
number of days we store the archives to 14 and the number of archives to
keep to 100.

 Implement ICorDebugILFrame3::GetReturnValueForILOffset on arm32 (#18050)

*Implements CorDebugILFrame3::GetReturnValueForILOffset for arm32 on both windows and linux
*Fixes CordbNativeCode::GetCallInstructionLength to ensure it accounts for both 32/16 bit instructions
*Adds some asm to do float conversion
*Adds some logic to the cmake files to ensure the respective asm files get assembled correctly for both platforms

Merge pull request #18058 from dotnetrt/gh18041

Fix codegen for HW intrinsic Sse2.ConvertToInt32WithTruncation

Update Tizen CI docker image (#17814)

* Update Tizen CI docker image

* Revert "Remove Tizen armel automatic PR triggered jobs"

This reverts commit 462e2b59c67b0b6d25985a7284616539f348cbfc.

* Update Tizen CI docker image in netci

* Update links required for generation of Tizen rootfs

* Remove -rebuild from arm32 CI docker build

Fix ConvertToInt32WithTruncation tests

Update PgoData to master-20180520-0038 (#18065)

Update PgoData to master-20180519-0051 (#18062)

Fix CoreRT build break

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Remove bogus NoInlining uses (#18061)

The JIT knows not to inline throw helper methods. Manually blocking inlining prevents the JIT from detecting that these methods do not return and that may negatively impact the quality of the caller method code.

Merge pull request #15348 from mikedn/ssa-indir

Remove useless IndirectAssignmentAnnotation

Avoid freezing ConcurrentQueue segments in Count (#18035)

* Avoid freezing ConcurrentQueue segments in Count

In .NET Core 2.0, we changed the implementation of ConcurrentQueue to allow segment reuse, making enqueues ammoritzed allocation-free, whereas previously every enqueue had some allocation cost (even if it was batched as part of allocating a segment).  However, some operations mark segments as being frozen, which then prevents subsequent enqueues into those segments; this is necessary for enumeration, but Count also caused this.  Ideally Count isn't used on hot paths, but if it is, this can end up in degenerate situations where, for example, if Count is called after every enqueue, we'll end up creating a new segment for every enqueued item, which is incredibly inefficient both for the enqueues and for Count, which is O(N) in the number of segments.

It turns out, though, that we were overly cautious in implementing Count, and we don't actually need it to freeze the segments.  Instead, when there are more than two segments (the case where we previously froze), we can take the cross-segment lock, which is the same lock that's held any time we update the head and tail segment pointers.  Once that lock is held, we know that the internal segments won't change, because code can only enqueue/dequeue from the head and tail segments, so any segment that's not head and tail while the lock is held is effectively immutable.  That means that we can simply walk those segments and add up their counts, safe in knowing they won't change while we're enumerating.

* Remove stale comment

Fix codegen for HW intrinsic Sse2.ConvertToInt32WithTruncation

Fixes #18041

Remove useless IndirectAssignmentAnnotation

This annotation is supposed to be used by SSA and VN but that does not actually happen because fgMorphCopyBlock also marks the destination local as address exposed.

Also, even if the local wasn't address exposed there are other parts of the JIT that should probably use this annotation but currently they do not:
* Copy propagation attempts to mirror SSA renaming but it ignores IndirectAssignmentAnnotation.
* Liveness also doesn't pay attention to IndirectAssignmentAnnotation. A comment in fgMorphCopyBlock even gives liveness as the reason why the destination local is address exposed.

Add another readonly attribute

add readonly attributes

JIT: treat SIMD types as structs in box optimizations (#18046)

Otherwise we may leave unconsumed GT_OBJs around, which is problematic for the
jit later on.

Fixes #18043.

JIT: clear up some no-op casts in the importer (#17996)

If we see a no-op cast (say converting long to ulong) where the operand
to be cast already has the right stack type, don't generate a GT_CAST,
just use the operand.

This comes up in some cases with unsafe operations where the pointer type
is cast. Interposing a cast between an GT_IND and GT_ADDR results in poor
codegen as the jit thinks the addressed local is address taken.

Merge pull request #17991 from sdmaclea/PR-ARM64-STACK-PACKING

[Arm64] Fix stack struct arg packing

Update BuildTools, PgoData to preview1-02817-01, master-20180518-0039, respectively (#18038)

Improve comments, review feedback.

Update osx-instructions.md (#18000)

When following this instruction CoreFX build won't happen until we change the folder to the CoreFX's one. In essence ./build.sh will trigger CoreCLR build once again. It may be a minor thing for an experienced user but can become a significant blocker for someone who's not that experienced with the command line and needs to compile CoreCLR. And it will diminish the awesomeness of .NET Core which we can't allow!

The proposed change is just a directory change when inside the CoreCLR folder.

Revert PR 17881 to unblock integration into CoreFx (#18036)

R2RDump - Runtime function RVAs and method signatures (#17994)

* R2RDump - Runtime function RVAs and sizes

* Change hard error to warning, GetInt64,32,16 helper functions

* Method signatures from metadata, GetUnsigned functions, arbitrary sections for GetOffset

* Use methodDefEntryPoints to match method metadata to native code, make runtime function endAddress conditional on machine type

* Get object arg and return types of method signature from TypeDef, use ReadUInt

* Iterate all rids, added NativeArray class

* Handle multiple runtime functions in a method, use ReadByte, make rid unsigned

* Use MethodDefinitionHandle(rid) instead of dictionary, make ReadByte signature similar to other Read methods

* Changes to getting runtime functions, increment the start index in ReadByte, added comments

* Use List for R2RMethods instead of array, fixed nits

[Arm64] Add basic ARMv8.1 Atomics

Add cas*, ldadd*, stadd*, and swp*
Add atomic emitters
Add atomic emitter tests

Merge pull request #17764 from sdmaclea/PR-ARM64-CI-Match-Arm32

[Arm64/Ubuntu] CI match arm32 except triggers

[Arm64/Ubuntu] match arm32 except triggers

Better comments

Fix typo

Update PgoData to master-20180517-0042 (#18029)

Update CoreClr, CoreFx, PgoData to preview1-26517-01, preview1-26517-01, master-20180516-1546, respectively (#18027)

Replace sizeof(TADDR) with TARGET_POINTER_SIZE in Zap (#18028)

Generate EventSources Representing DotNETRuntime Eventing Providers (#18007)

Add Asserts.  Fix bug found in testing.

Add some more documentation for ValueTask (dotnet/corefx#29726)

* Add some more documentation for ValueTask

* Address PR feedback

Signed-off-by: dotnet-bot-corefx-mirror <dotnet-bot@microsoft.com>

System.Reflection: Replicate custom modifiers of method parameters in MemberRef signatures (#17881)

* Include cmods in `ModuleBuilder.GetMemberRefToken`

This method reproduces a method's signature for use in a MethodRef
metadata entry, but currently ignores custom modifiers placed in the
method's parameters. Add additional parameters for those.

* Add parameter cmod params for other code paths

This lets the change from the previous commit "bubble up" towards the
public API by adding support for parameter cmods in more places.

* Reduce code duplication

In several places, `ParameterInfo[]` is converted to three matching
arrays for parameter types and their modreqs and modpts, because that
is what `SignatureHelper` requires. Extract this duplicated logic
into a single method. Also, optimize it to reduce array allocations.

Update CoreClr to preview1-26516-05 (#18018)

Moving ConcurrentQueue to shared (#18024)

Making IProducerConsumerCollectionDebugView apis public

Fixes: #17751

Update CoreClr to preview1-26516-01 (#18015)

ignore .tail opcode for arm64 (#18002)

when we can't do fast tail call.

Remove IsAscii fast paths from Equals and Compare OrdinalIgnoreCase (#17985)

Merge pull request #18010 from CarolEidt/StructTests

Add tests for struct-related issues

Tolerate spmi misses (#17997)

* catch missed values

* add a new return value for misses

Do not allocate memory in compUpdateTreeLife. (#17055)

* move compUpdateLifeVar and compUpdateTreeLife to separate files for legacy and non-legacy case

* create TreeLifeUpdater class

Remove faulty Debug.Assert (#18009)

The assertion being removed here fails when Reflection.Emit user code
defines a method signature where a custom modifiers are used in con-
junction with a generic type parameter. Yet there is no obvious reason
why that should be forbidden.

Change Span to Memory

Adding EnumerateChunks which allow efficient scanning of a StringBuilder

Add tests for struct-related issues

Update first-class-structs.md

Update BuildTools, CoreClr, CoreFx to preview1-02815-01, preview1-26515-05, preview1-26515-04, respectively (#17995)

fix jit format after better-wildcards PR (#18008)

format spmi (#18003)

[Arm64] Fix stack struct arg packing

Update first-class-structs.md

fix duplication

Update first-class-structs.md

Add some struct-related open issues to the document.