Merge pull request #18032 from sdmaclea/PR-ARM64-LSE-ATOMICS

[Arm64] Add basic ARMv8.1 Atomics

Reduce the number of days to keep artifacts for perf (#18073)

We are still seeing issues with running out of space on the archive
machines due to the size of the perf archives. This change reduces the
number of days we store the archives to 14 and the number of archives to
keep to 100.

 Implement ICorDebugILFrame3::GetReturnValueForILOffset on arm32 (#18050)

*Implements CorDebugILFrame3::GetReturnValueForILOffset for arm32 on both windows and linux
*Fixes CordbNativeCode::GetCallInstructionLength to ensure it accounts for both 32/16 bit instructions
*Adds some asm to do float conversion
*Adds some logic to the cmake files to ensure the respective asm files get assembled correctly for both platforms

Merge pull request #18058 from dotnetrt/gh18041

Fix codegen for HW intrinsic Sse2.ConvertToInt32WithTruncation

Update Tizen CI docker image (#17814)

* Update Tizen CI docker image

* Revert "Remove Tizen armel automatic PR triggered jobs"

This reverts commit 462e2b59c67b0b6d25985a7284616539f348cbfc.

* Update Tizen CI docker image in netci

* Update links required for generation of Tizen rootfs

* Remove -rebuild from arm32 CI docker build

Fix ConvertToInt32WithTruncation tests

Update PgoData to master-20180520-0038 (#18065)

Update PgoData to master-20180519-0051 (#18062)

Fix CoreRT build break

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Remove bogus NoInlining uses (#18061)

The JIT knows not to inline throw helper methods. Manually blocking inlining prevents the JIT from detecting that these methods do not return and that may negatively impact the quality of the caller method code.

Merge pull request #15348 from mikedn/ssa-indir

Remove useless IndirectAssignmentAnnotation

Avoid freezing ConcurrentQueue segments in Count (#18035)

* Avoid freezing ConcurrentQueue segments in Count

In .NET Core 2.0, we changed the implementation of ConcurrentQueue to allow segment reuse, making enqueues ammoritzed allocation-free, whereas previously every enqueue had some allocation cost (even if it was batched as part of allocating a segment).  However, some operations mark segments as being frozen, which then prevents subsequent enqueues into those segments; this is necessary for enumeration, but Count also caused this.  Ideally Count isn't used on hot paths, but if it is, this can end up in degenerate situations where, for example, if Count is called after every enqueue, we'll end up creating a new segment for every enqueued item, which is incredibly inefficient both for the enqueues and for Count, which is O(N) in the number of segments.

It turns out, though, that we were overly cautious in implementing Count, and we don't actually need it to freeze the segments.  Instead, when there are more than two segments (the case where we previously froze), we can take the cross-segment lock, which is the same lock that's held any time we update the head and tail segment pointers.  Once that lock is held, we know that the internal segments won't change, because code can only enqueue/dequeue from the head and tail segments, so any segment that's not head and tail while the lock is held is effectively immutable.  That means that we can simply walk those segments and add up their counts, safe in knowing they won't change while we're enumerating.

* Remove stale comment

Fix codegen for HW intrinsic Sse2.ConvertToInt32WithTruncation

Fixes #18041

Remove useless IndirectAssignmentAnnotation

This annotation is supposed to be used by SSA and VN but that does not actually happen because fgMorphCopyBlock also marks the destination local as address exposed.

Also, even if the local wasn't address exposed there are other parts of the JIT that should probably use this annotation but currently they do not:
* Copy propagation attempts to mirror SSA renaming but it ignores IndirectAssignmentAnnotation.
* Liveness also doesn't pay attention to IndirectAssignmentAnnotation. A comment in fgMorphCopyBlock even gives liveness as the reason why the destination local is address exposed.

JIT: treat SIMD types as structs in box optimizations (#18046)

Otherwise we may leave unconsumed GT_OBJs around, which is problematic for the
jit later on.

Fixes #18043.

JIT: clear up some no-op casts in the importer (#17996)

If we see a no-op cast (say converting long to ulong) where the operand
to be cast already has the right stack type, don't generate a GT_CAST,
just use the operand.

This comes up in some cases with unsafe operations where the pointer type
is cast. Interposing a cast between an GT_IND and GT_ADDR results in poor
codegen as the jit thinks the addressed local is address taken.

Merge pull request #17991 from sdmaclea/PR-ARM64-STACK-PACKING

[Arm64] Fix stack struct arg packing

Update BuildTools, PgoData to preview1-02817-01, master-20180518-0039, respectively (#18038)

Update osx-instructions.md (#18000)

When following this instruction CoreFX build won't happen until we change the folder to the CoreFX's one. In essence ./build.sh will trigger CoreCLR build once again. It may be a minor thing for an experienced user but can become a significant blocker for someone who's not that experienced with the command line and needs to compile CoreCLR. And it will diminish the awesomeness of .NET Core which we can't allow!

The proposed change is just a directory change when inside the CoreCLR folder.

Revert PR 17881 to unblock integration into CoreFx (#18036)

R2RDump - Runtime function RVAs and method signatures (#17994)

* R2RDump - Runtime function RVAs and sizes

* Change hard error to warning, GetInt64,32,16 helper functions

* Method signatures from metadata, GetUnsigned functions, arbitrary sections for GetOffset

* Use methodDefEntryPoints to match method metadata to native code, make runtime function endAddress conditional on machine type

* Get object arg and return types of method signature from TypeDef, use ReadUInt

* Iterate all rids, added NativeArray class

* Handle multiple runtime functions in a method, use ReadByte, make rid unsigned

* Use MethodDefinitionHandle(rid) instead of dictionary, make ReadByte signature similar to other Read methods

* Changes to getting runtime functions, increment the start index in ReadByte, added comments

* Use List for R2RMethods instead of array, fixed nits

[Arm64] Add basic ARMv8.1 Atomics

Add cas*, ldadd*, stadd*, and swp*
Add atomic emitters
Add atomic emitter tests

Merge pull request #17764 from sdmaclea/PR-ARM64-CI-Match-Arm32

[Arm64/Ubuntu] CI match arm32 except triggers

[Arm64/Ubuntu] match arm32 except triggers

Update PgoData to master-20180517-0042 (#18029)

Update CoreClr, CoreFx, PgoData to preview1-26517-01, preview1-26517-01, master-20180516-1546, respectively (#18027)

Replace sizeof(TADDR) with TARGET_POINTER_SIZE in Zap (#18028)

Generate EventSources Representing DotNETRuntime Eventing Providers (#18007)

Add some more documentation for ValueTask (dotnet/corefx#29726)

* Add some more documentation for ValueTask

* Address PR feedback

Signed-off-by: dotnet-bot-corefx-mirror <dotnet-bot@microsoft.com>

System.Reflection: Replicate custom modifiers of method parameters in MemberRef signatures (#17881)

* Include cmods in `ModuleBuilder.GetMemberRefToken`

This method reproduces a method's signature for use in a MethodRef
metadata entry, but currently ignores custom modifiers placed in the
method's parameters. Add additional parameters for those.

* Add parameter cmod params for other code paths

This lets the change from the previous commit "bubble up" towards the
public API by adding support for parameter cmods in more places.

* Reduce code duplication

In several places, `ParameterInfo[]` is converted to three matching
arrays for parameter types and their modreqs and modpts, because that
is what `SignatureHelper` requires. Extract this duplicated logic
into a single method. Also, optimize it to reduce array allocations.

Update CoreClr to preview1-26516-05 (#18018)

Moving ConcurrentQueue to shared (#18024)

Making IProducerConsumerCollectionDebugView apis public

Fixes: #17751

Update CoreClr to preview1-26516-01 (#18015)

ignore .tail opcode for arm64 (#18002)

when we can't do fast tail call.

Remove IsAscii fast paths from Equals and Compare OrdinalIgnoreCase (#17985)

Merge pull request #18010 from CarolEidt/StructTests

Add tests for struct-related issues

Tolerate spmi misses (#17997)

* catch missed values

* add a new return value for misses

Do not allocate memory in compUpdateTreeLife. (#17055)

* move compUpdateLifeVar and compUpdateTreeLife to separate files for legacy and non-legacy case

* create TreeLifeUpdater class

Remove faulty Debug.Assert (#18009)

The assertion being removed here fails when Reflection.Emit user code
defines a method signature where a custom modifiers are used in con-
junction with a generic type parameter. Yet there is no obvious reason
why that should be forbidden.

Add tests for struct-related issues

Update first-class-structs.md

Update BuildTools, CoreClr, CoreFx to preview1-02815-01, preview1-26515-05, preview1-26515-04, respectively (#17995)

fix jit format after better-wildcards PR (#18008)

format spmi (#18003)

[Arm64] Fix stack struct arg packing

Update first-class-structs.md

fix duplication

Update first-class-structs.md

Add some struct-related open issues to the document.

Merge pull request #17970 from briansull/better-wildcards

Better wildcards for COMPLUS_JIT variables

Fix multicast delegate step from delegate (#17990)

- Replace incorrect FEATURE_STUBS_AS_IL define check with FEATURE_MULTICASTSTUB_AS_IL
  - Allows step from one delegate to the next and step out from multicast delegate to function correctly.
- Add null check as the active frame's methoddesc isn't always non-null
  - In scenarios such as FuncEval, we also run through this code, and the md may be null.
- Fix unwind from StubHelpers::MulticastDebuggerTraceHelper function on amd64

Remove usages of AnsiString and replace them with UnicodeString. (#17989)

jit-format --fix --untidy

Add tests for arm64 il issues. (#17759)

* Add test for "Shouldn_t_see_an_integer_typed_GT_MOD_node_in_ARM64"

* Add test for "We_should_never_encounter_a_reference_to_a_lclVar_that_has_a_zero_refCnt"

* Add test for 'NYI__Initialize_floating_point_register_to_zero'

* add tests to the arm lists

* exclude tests on:
1. windows arm64 with tests\arm64\tests.lst
2. windows x64 altjit arm with tests\issues.target
3. ubuntu arm64 with tests/testsFailing.arm64.txt

* change issues.targets

Fix Typo

Code review feedback

Enable System.Transactions.Local.Tests on Linux/arm (#17973)

Merge branch 'master' into better-wildcards

Merge pull request #17988 from dotnet-maestro-bot/master-UpdateDependencies

Update CoreClr to preview1-26514-05 (master)

Moving ConcurrentQueue to shared folder (#17956)

* Moving ConcurrentQueue to shared folder

Fixes: #17751

R2RDump - Print ReadyToRun image headers (#17942)

* R2RDump - Outputing ReadyToRun header from PE image

* R2RDump - Comments, follow coding guidelines, use enum for section types and flags

* R2RDump - Use utf8 encoding, rva from ManagedNativeHeader, return exit code

PEImageLayout: flush instruction cache only for pages with relocs. (#17773)

We need to flush instruction cache only for pages that have relocations
instead of full sections because otherwise application's shared clean
memory is increased in some cases on Linux.

Update CoreClr to preview1-26514-05

Reflection: Allow ParameterBuilder.SetConstant(nonNullValue) for nullable enum parameters (#17977)

* ParameterBuilder.SetConstant(nonNull) for TEnum?

This change makes it possible to use `ParameterBuilder.SetConstant`
to set a non-null default value for parameters having a nullable enum
type.

* ParameterInfo.DefaultValue for TEnum?

Add a note to `MdConstant.GetValue` (which sits behind `ParameterInfo.
[Raw]DefaultValue`) explaining why changing its behavior to mirror the
change in `TypeBuilder.SetConstantValue` would be a breaking change.

Update CoreClr, CoreFx to preview1-26514-01, preview1-26514-01, respectively (#17982)

Update CoreClr, CoreFx to preview1-26513-04, preview1-26513-04, respectively (#17974)

Add explicit null check for VSD via tail call stub. (#17960)

* fix

* update test lists for arm and x64

* update failure reason on arm64

* fix comment

* Use NYI_ARM64

It makes it easier to find them.

* exclude arm64 tail call tests

that have prefix tail calls, but jit can't make it.

Merge pull request #17971 from CarolEidt/FixCpBlkBug

Don't eliminate a cpblk when offsets are different

Merge pull request #17948 from mikedn/delegate-contain-this

Call ContainCheckIndir on the newly created indir

PR feedback and fix test.

Improve the JitConfig class and method name matching for wildcards.
With this change we can use a prefix and wildcard match
This allows us to match classes and methods that start with a prefix.
Example:
1. My*:Method would match a method named "Method" inside any class that starts with "My"
2. *:get_* or simple get_* both will match any method that starts with "get_"

This allows us to match some Managed C++ methods that we could not otherwise match:

By using COMPLUS_JitDump=std._Find_if*
we can match this managed C++ method:

 <Module>:std._Find_if<class std::_Tree_unchecked_iterator<class std::_Tree_val<struct std::_Tree_simple_types<struct std::pair<struct TIP_MAP_KEY const ,struct TIP_MAP_VALUE> > > >,struct TIP_FIND_ALG>(long,struct,struct,struct)

Don't eliminate a cpblk when offsets are different

When `fgMorphCopyBlock()` encounters a cpblk between two different offsets of the same local, if both fields are not recognizable to the JIT (i.e. the FieldSeqNode returned by IsLocalAddrExpr() and/or the gtFieldSeq field of a GT_LCL_FLD is FieldSeqStore::NotAField()), they should not be considered equal (and therefore should not be morphed to a `GT_NOP`).

Fixes #17969

Update CoreClr, CoreFx to preview1-26511-05, preview1-26511-04, respectively (#17961)

Move StringBuilderCache to shared (#17964)

Switch to Word2Vec fork (#17945)

* update git repo url, remove the patch file (not needed anymore)

* refactoring: there is no need to have an abstract class if only 1 class derives from it

* use CurrentCulture.NumberFormat.NumberDecimalSeparator instead of hardcoded dot (it's , for polish UI and it fails for me)

* use .NET Standard way of accessing CurrentCulture to fix the build

* updated repor url to our fork + removed dead code

Fix Avx.ConvertToSingle flags (#17954)

Merge pull request dotnet/corefx#29636 from stephentoub/formatmessage

Improvements to FormatMessage

Signed-off-by: dotnet-bot-corefx-mirror <dotnet-bot@microsoft.com>

update profiler API status to reflect that #13153 is resolved (#17953)

Merge pull request #17941 from dotnet-maestro-bot/master-UpdateDependencies

Update BuildTools, CoreClr, CoreFx to preview1-02810-02, preview1-26510-06, preview1-26510-05, respectively (master)

JIT: fix case with slow generic delegate creation (#17802)

The jit has been using IR pattern matching to find the information needed for
optimizing delegate construction. This missed one case, causing the code to
use a very slow construction path.

to convey this information to the optimization. With this change the jit now
now relies on the token cache for all the other cases too.

This initial commit preserves the pattern match code and verifies that when
it fires it reaches the same conclusion as the token cache does.

This cross-validation revealed one case where the token information was less
specific than the pattern match so we now also update the method handle in
the token from the call info.

A subsequent commit will remove the pattern matching when we are confident the
new token cache logic handles all the cases correctly.

Closes #12264.

add test with tail call of VSD stub with AV. (#17920)

* add test with tail call of VSD stub with AV.

* exclude new failing test

* fix names/types

* forbid inlining

Update BuildTools, CoreClr, CoreFx to preview1-02810-02, preview1-26510-06, preview1-26510-05, respectively

Value number identities for compares and subs (#17919)

Improve value number support for various subtracts and unsigned compares.
For instance for non-float values, x - x == 0.

Closes #15491.

Merge pull request #17784 from adityamandaleeka/add_jit_hfa_passing_test

Add a test case for HFA passing

Specify ordering between CrstUniqueStack and CrstReadyToRunEntryPointToMethodDescMap (#17938)

Call ContainCheckIndir on the newly created indir

Fix alternate stack for Alpine docker on SELinux (#17936)

For some reason, the Alpine docker container running on a SELinux host maps
heap as RWX. When we allocate alternate stack from the heap, we also
change the protection of the first page to PROT_NONE so that it can
serve as a guard page to catch stack overflow. And when we free the
alternate stack, we restore the protection back to PROT_READ |
PROT_WRITE. The restoration fails in Alpine docker container running on
a SELinux host with EPROT failure and the SELinux log reports that an
attempt to change heap to executable was made. So it looks like the
kernel has added the PERM_EXEC to the permissions we have passed to the
mprotect call. There is a code in the mprotect implementation that can
do that, although I don't fully understand the conditions under which it
happens. This is driven by the VM_MAYEXEC flag in the internal VMA block
structure.
To fix that, I've modified the alternate stack allocation to use mmap /
munmap instead of C heap allocation.

Replace easy Substrings with AsSpan/Slices (#17916)

* Replace several Substrings with AsSpan/Slices

* Address PR feedback

Fix lst file for new test additions.

fix semicolon and priorities for new excluded tests (#17934)

Merge pull request #17911 from CarolEidt/Fix16377

Arm64: Pass promoted struct using GT_FIELD_LIST

Add regression test for passing HFA params.

Improve checking of GTF_CALL flag. (#17857)

The checker ensures that GTF_CALL is set only where
it's needed: on GT_CALL nodes, on GT_INTRINSIC nodes where
intrinsics are implemented by user calls, and on nodes that
have a child with GT_CALL flag set.

Update CoreClr, CoreFx to preview1-26509-05, preview1-26509-05, respectively (#17930)

Reduce allocation in StringBuilder marshaling (#17928)

When marshaling back results for a StringBuilder argument in a P/Invoke:
- for UTF8 it's allocating a new char[], pinning it, and then handing that off to StringBuilder.ReplaceBufferInternal, which itself then allocates a new char[], and all of that happens even if the StringBuilder's char[] is already big enough to handle the results, which is commonly the case due to the StringBuilder having been sized appropriately from the get-go.
- for both Unicode and Ansi, it's similarly allocating a new char[] invariably, even if the existing buffer is already sufficient.

This commit cleans that up.

While ideally we wouldn't use StringBuilders at all in coreclr/corefx for marshaling, we still do in some places, e.g. Dns.GetHostName.  While we should separately fix that to avoid using a StringBuilder at all, it's useful to demonstrate the impact of the change here:
```C#
[Benchmark]
public static string GetHostName() => Dns.GetHostName();
```
on my machine results in:
```
      Method |  Gen 0 | Allocated |
------------ |-------:|----------:|
 Before      | 0.2668 |   1.09 KB |
 After       | 0.1392 |     584 B |
```

Restrict what we archive for perf testing (#17918)

* Restrict what we archive for perf testing

* change all perf legs archival

* Change txt save to *_log.txt

* Reduce number of days to keep artifacts

Update arm/arm64 test lists (#17855)

* update arm64list

* exclude JIT\HardwareIntrinsics\X86 for arm64

We do not want to spend arm64 machine resourses on them.

JIT\HardwareIntrinsics\X86\Sse\LoadAlignedVector128_ro was left enabled to test the failing path.

* update arm test list

* exclude JIT\HardwareIntrinsics\X86 for arm

* exclude failing tests for arm32

* exclude failing tests for arm64

Update BuildTools, CoreClr, CoreFx to preview1-02808-01, preview1-26509-01, preview1-26509-01, respectively (#17923)

Rename mscorlib to System.Private.Corelib (#17926)

* diff from just renaming folder mscorlib to System.Private.CoreLib

* Updating build.proj to reflect name change

Fixes: #17905

Handle SIMD field of GT_FIELD_LIST in codegen.
Add header to test case.

Update DotnetCLIVersion.txt (#17925)

The current version is broken for RHEL. This change revs up the version
to 2.1.300-rtm-008820, which is fixed for RHEL.

Delete irrelevant comment (#17921)