Rename internal Utf8String to MdUtf8String (#17856)

We want to start prototyping Utf8String in CoreFxLab
and for that, we'll need a bare-bones System.Utf8String
class exposed from System.Private.CoreLib.

Unfortunately, CoreLib already has an internal
struct named System.Utf8String. Since it's only
an internal type, we'll exercise eminent domain
on its name now and get these noise changes out of
the way.

Fix arm test list creator for Windows (#17852)

* use "\n" for splitting lines

* update comment

Merge pull request #17854 from weshaggard/FixSourceBuildM

Switch source build property to DotNetBuildFromSource

remove duplicates

Enable long running CoreFx Ubuntu/arm tests (#17836)

Switch source build property to DotNetBuildFromSource

Detect source-build via DotNetBuildFromSource instead of
DotNetBuildOffline which is set for the tarball build.

Merge pull request #17737 from fiigii/vectortests

Port more Vector tests to Vector128/256<T>

Merge pull request #17845 from briansull/fix-17841

ARM64 like ARM32 also needs a much larger instruction group size

Merge pull request #17848 from CarolEidt/Repro17756

Reenable test for 17756

Update DotnetCLIVersion.txt (#17843)

Reenable test for 17756

Adding back test for windows event log (#17821)

* update test dependencies

* add test

* Allow more leeway for time

* modify test per PR comments

ARM64 like ARM32 also needs a much larger instruction group size
because the prolog can be quite large.

Add runtimeconfig.json support for tiered compilation (#17840)

GC env vars (#17837)

* update server gc export for runtest.sh

* remove CORECLR_SERVER_GC

* Change CORECLR_CONCURRENT_GC to COMPlus_gcConcurrent as well

* Remove it from coreruncommon.cpp

Update CoreClr, CoreFx to preview1-26430-05, preview3-26430-04, respectively (#17832)

Delete unnecessary caches (dotnet/corefx#29392)

Signed-off-by: dotnet-bot-corefx-mirror <dotnet-bot@microsoft.com>

Update CoreClr, CoreFx to preview1-26428-04, preview3-26428-04, respectively (#17813)

[Linux/x86] Fix 64 bit shift inconsistencies (#17826)

Apply #15443 and #15949 for Linux/x86

Merge pull request #17811 from noahfalk/fix_jitbench

Fix jitbench

Update ARM32 Cross Build Docker Image (#17819)

Update Windows arm32 corefx test failure exclusions (#17803)

* Update Windows arm32 corefx test failure exclusions

All Windows arm32 corefx test jobs should pass with these exclusions.

* Add back Microsoft.Win32.Registry.Tests exclusion

Fix Number.ParseNumber to not assume '\0' at the end of a span (#17808)

* Fix Number.ParseNumber to not assume '\0' at the end of a span

This routine was written for parsing strings, which are implicitly null-terminated, and it doesn't factor in string length but instead uses tricks to exit loops when the next character is null.  Now that the routine is also used for spans, this is very problematic, as spans need not be null terminated, and generally aren't when they represent slices, and expecting a null termination like this can result in walking off the end of valid memory.

I would like to see all of this code rewritten to use span.  In the interim, though, as a short-term fix I've changed all dereferences of the current position to compare against the length of the span (or, rather, a pointer to the end), and pretend that a null terminator was found if we've hit the end.

* Address PR feedback

Add better portable PDB caching to System.Diagnostics.StackTrace. (#17804)

Add portable PDB caching to StackTrace.

This is the mscorlib side of the change.

Merge pull request #17806 from adityamandaleeka/fix_unmanaged_target_reg

Fix register being shifted in PInvoke stub

Merge pull request #17793 from briansull/allocOutArgSpace

Allocate the lvaOutgoingArgSpaceVar early

Use HiddenArg instead of hardcoded x12.

Fix jitbench

Addressed 3 issues:
1) coreclr and CoreFx were out of sync -> update dependencies.props
2) Word2Vec fails on x86 sometimes with OutOfMemory -> disabled it there because it appears the behavior is by design
3) CommandLineParser 2.1.1 doesn't restore anymore? -> NuGet was already rolling forward to 2.2.0 but changing it in the source removes the warning when using dotnet.exe to run JitBench

Update CoreClr, CoreFx to preview1-26427-01, preview3-26427-01, respectively (#17791)

Remove some fgMorphArgs dead code (#17788)

For the arm64 case of a special return buffer argument (always x8),
we don't need the code to check for it, because a few lines above all
non-standard args cause us to "continue", and skip the code.

Also, remove a duplicative #ifdef.

Fix register being shifted in pinvoke stub.

Simplify VectorRet test

Port more Vector tests to Vector128/256

Fix GC test failures (#17766)

* Fix finalizearraysleep and handlecopy gc tests

* revert changes to nstructtun

* forgot to add this fix in

* fix handlecopy

* fix nstructtun

* fix nstructtun

clang tidy

Allocate the lvaOutgoingArgSpaceVar very early, right after the user locals.
This ensures that it gets a low LclVar number so that we don't hit
the IMPL_LIMITATION associated with offsets > 255 for LclVar numbers above 32767

Merge pull request #17694 from adityamandaleeka/fix_struct_passing_arm64

Account for copied bytes in struct copy loop when generating GT_PUTARG_STK code [ARM64]

Update BuildTools, CoreClr, CoreFx, PgoData to preview1-02725-03, preview1-26426-01, preview3-26425-01, master-20180424-0039, respectively (#17749)

Don't optimize away Task code needed for debugger (#17776)

This prevents the IL linker from optimizing away some properties/methods
related to tasks that are used by a debugger but are not referenced
anywhere else in coreclr.

This specifically fixes async callstack frames for the xplat C# debugger.

Fix AsyncLocal<class> changed event to not be raised multiple times for one change in value (#17767)

Fix AsyncLocal<class> changed event to not be raised multiple times for one change in value

Functional fix for https://github.com/dotnet/coreclr/issues/17758

Fix TailCallStress mode to do more legality checks (#17763)

Check with EE whether tail call is allowed before adding
tail. prefix in TailCallStress mode.

Merge pull request #17757 from BruceForstall/MakeArmUbuntuCorefxTestRunClean

Disable all failing Ubuntu arm corefx tests

Patch LTTng ust-tracepoint.h on ARM/Trusty when building crossrootfs. (#17762)

Merge pull request #17747 from weshaggard/RemoveAlpineBuild

Remove Alpine 3.6 builds

Delete unused tests\arm64\fails.testlist (#17745)

* Reenable fixed arm64 tests

* delete the unused file

Merge pull request #17697 from mikedn/vec-hnd

Initialize Compiler::Vector128/256ULongHandle in compInit

Merge pull request #17725 from dotnetrt/FixNixTestBuild

Fix unix test build by removing unnecessary 'managed_test_build' semafore file

Disable all failing Ubuntu arm corefx tests

Move Hashtable & friends to shared parition (#17316)

* Move Hashtable & friends to shared parition

* Move HashHelper serialization logic into its own file

* Remove unchecked keyword in Hashtable

Delete unused variables from CMakeLists.txt (#17743)

GenericPInvokeCalli shift left then or 1 (#17734)

When _WIN64 is defined vm relies on the secret arg being
shifted left and orred with #1.

Revert part of changes from #17659 to fix dotnet/corefx#29266

Fix arm64 to match amd64

Simplify dllimport.cpp

Merge pull request #17746 from BruceForstall/FixUbuntuArmCorefxCronJobs

Fix Ubuntu arm corefx triggers: no cron trigger on build job

Remove Alpine 3.6 builds

The alpine 3.6 builds have been replaced with the more generic
linux-musl builds so removing them.

Fix Ubuntu arm corefx triggers: no cron trigger on build job

Merge pull request #17742 from BruceForstall/FixUbuntuArmCorefxTestExclusions

Fix arm corefx test exclusions

Fix arm corefx test exclusions

1. Enable using the test exclusion file for Ubuntu arm32.
2. Update the Ubuntu and Windows arm32 exclusion files based on
current GitHub issues.

Merge pull request #17729 from BruceForstall/EnableArm32UbuntuCorefxTesting

Enable Ubuntu arm32 corefx testing

Set -march=armv7-a for Alpine Linux ARM32 (#17730)

* Set -march=armv7-a for Alpine Linux ARM32

* Remove armv7-linux-gnueabi[hf]

* Cast RLIM_INFINITY to size_t

Enable Invoke and GetValue for ref-returning members (#17732)

* Reapply https://github.com/dotnet/coreclr/pull/17639

* tryagain-wip 4/23/2018 7:27:37 AM - Fix Invoke of enum-returning methods

* Assert for refbufargs implying valuetype

* Catch ref to void in managed layer

Update BuildTools, CoreClr, CoreFx, PgoData to preview1-02723-01, preview1-26423-05, preview3-26423-04, master-20180423-0039, respectively (#17683)

Enable Ubuntu arm32 corefx testing

Fix FakePromote assert (#17724)

This assert was firing when there was a struct with explicit layout and
two byref fields overlapping each other. The assert was checking that
the respective location on the stack was not reported yet.
To fix that, I have changed the assert to fire only if the already
reported kind of reference was different from the current one. That
enables overlapping of two byref fields or two ref fields, but not a
byref and ref fields.

Fix unix test build by removing unnecessary 'managed_test_build' semafore file

Fixes #17503

The error is caused by both:

1. Unnecessary usage of 'managed_test_build' semaphore file which is incorrectly
   set after /t:BatchRestorePackages build target and prevents managed test build
   which is invoked after semaphore alredy exists
2. Masked by the above error is a wrong condition in dirs.proj non-windows test build
   which was introduced by PR #17161 and which prevented unix build due to missing
   #17161 group build port to unix

Use volatile load to read brick table entries (#17717)

Fixes #17716

Fix getting the Absolute path while looking up the TZ files (#17711)

Disable GC Coop mode switching during fatal error handling during GC exception (#17710)

Merge pull request #17673 from CarolEidt/Fix17634

Treat EDI as killed by MaskMove

Add better coverage for Marshal.GetDelegateForFunctionPointer (#15339)

Also fixes the test Main to correctly collect result codes from all 3 subtests.

Preserve pinned flag in {ReadOnly}Memory<T>.Slice (dotnet/corefx#29246) (#17712)

* Preserve pinned flag in {ReadOnly}Memory<T>.Slice

* Address PR feedback.

Signed-off-by: dotnet-bot-corefx-mirror <dotnet-bot@microsoft.com>

Treat EDI as killed by MaskMove

It should really only be a fixed reference, not a kill, but if the reference is changed by `LinearScan::resolveConflictingDefAndUse()` it can fail to cause the value in EDI to be killed.

Fix #17634

Update xml comment for {ReadOnly}Memory.Pin method (dotnet/corefx#29137) (#17709)

Signed-off-by: dotnet-bot-corefx-mirror <dotnet-bot@microsoft.com>

Fix GC tests that contain GC.Collect() used in wrong scope (#17680)

* Fix GC tests that contain GC.Collect() used in wrong scope

* Fix GCLarge

* fix typos/build errors

* More test failures...

* more ci failure fix

* Fix all the build errors

* Fix test failure

Merge pull request #17700 from BruceForstall/AddAditya

Add adityamandaleeka to arm64 users

Merge pull request #17688 from briansull/avx_config

Fix for Retail/Checked Asm diffs

Merge pull request #17699 from BruceForstall/NoVerboseBuild

Stop building Linux with "verbose"

Add adityamandaleeka to arm64 users

Stop building Linux with "verbose"

Using "verbose" creates an extraordinary amount of output,
obscuring interesting output. I don't know of a compelling
reason to continue using "verbose", so stop doing so.

Initialize Compiler::Vector128/256ULongHandle in compInit

Fix nested spin locks in thread pool etw firing (#17677)

`UnManagedPerAppDomainTPCount::QueueUnmanagedWorkRequest` fires an ETW event inside a spin lock and a nested spin lock is taken here:

```
SpinLock::GetLock + 0x8E (0x719da71d)
EventPipeBufferManager::AllocateBufferForThread + 0x7B (0x71afa92e)
EventPipeBufferManager::WriteEvent + 0x250 (0x71afbe0a)
EventPipe::WriteEventInternal + 0x125 (0x71951c93)
EventPipe::WriteEvent + 0x91 (0x71951714)
EventPipeWriteEventThreadPoolEnqueue + 0x9E (0x71d468a6)
FireEtwThreadPoolEnqueue + 0xF (0x71b7a04b)
UnManagedPerAppDomainTPCount::QueueUnmanagedWorkRequest + 0x21D (0x71b7a597)
```

Nesting spin locks is not allowed, moved the ETW firing outside the lock.

Account for copied bytes in struct copy loop when generating GT_PUTARG_STK code.

Check for retail config for EnableAVX
Disable AVX2 when AVX is disabled

Merge pull request #15737 from mikedn/cast-narrow-store

Skip commas when trying to remove some narrowing casts

Rollback https://github.com/dotnet/coreclr/pull/17639 (#17671)

GCStress: try to reduce races and tolerate races better (#17330)

This change addresses races that cause spurious failures in when running
GC stress on multithreaded applications.

* Instruction update race

Threads that hit a gc cover interrupt where gc is not safe can race to
overrwrite the interrupt instruction and change it back to the original
instruction.

This can cause confusion when handling stress exceptions as the exception code
raised by the kernel may be determined by disassembling the instruction that
caused the fault, and this instruction may now change between the time the
fault is raised and the instruction is disassembled. When this happens the
kernel may report an ACCESS_VIOLATION where there was actually an attempt to
execute a priveledged instruction.

x86 already had a tolerance mechanism here where when gc stress was active
and the exception status was ACCESS_VIOLATION the faulting instruction would
be retried to see if it faults the same way again. In this change we extend
this to tolerance to cover x64 and also enable it regardless of the gc mode.
We use the exception information to further screen as these spurious AVs look
like reads from address 0xFF..FF.

* Instrumentation vs execution race

The second race happens when one thread is jitting a method and another is
about to call the method. The first thread finishes jitting and publishes the
method code, then starts instrumenting the method for gc coverage. While this
instrumentation is ongoing, the second thread then calls the method and hits
a gc interrupt instruction. The code that recognizes the fault as a gc coverage
interrupt gets confused as the instrumentation is not yet complete -- in
particular the m_GcCover member of the MethodDesc is not yet set. So the second
thread triggers an assert.

The fix for this is to instrument for GcCoverage before publishing the code.
Since multiple threads can be jitting a method concurrently the instrument and
public steps are done under a lock to ensure that the instrumentation and code
are consistent (come from the same thread).

With this lock in place we have removed the secondary locking done in
SetupGcCoverage as it is no longer needed; only one thread can be instrumenting
a given jitted method for GcCoverage.

However we retain a bailout` clause that first looks to see if m_GcCover is
set and if so skips instrumentation, as there are prejit and rejit cases where we
will retry instrumentation.

* Instruction cache flushes

In some cases when replacing the interrupt instruction with the original the
instruction cache was either not flushed or not flushed with sufficient length.
This possibly leads to an increased frequency of the above races.

No impact expected for non-gc stress scenarios, though some of the code changes
are in common code paths.

Addresses the spurious GC stress failures seen in #17027 and #17610.

add field Name to exception (#17668)

Update CoreClr, CoreFx, PgoData to preview1-26419-06, preview3-26419-05, master-20180419-0038, respectively (#17667)

[Arm64/Linux] Fix GenericPInvokeCalliHelper (#17659)

Update BuildTools, CoreClr, CoreFx to preview1-02719-02, preview1-26419-02, preview3-26419-01, respectively (#17662)

Fix GC leakwheel scenario test (#17656)

* Fix GC leakwheel scenario test

* Should be passing for most cases

Tweak order of interface declarations on string (#17660)

Fixes https://github.com/dotnet/corefx/issues/29158

Fix reading Time zone rules using Julian days (#17635)

* Fix reading Time zone rules using Julian days

* Order the condition correctly

* Start searching from month 1 and not 0

* Exclude n Julian format

* fix typo

* Adding the suggested assert

Merge pull request #17658 from CarolEidt/UnixDefines2

Remove incorrect UNIX_AMD64_ABI define

Update BuildTools, CoreClr, CoreFx to preview3-02718-02, preview1-26418-02, preview3-26418-02, respectively (#17638)

Delete RuntimeMethodHandle.GetSecurityFlag (#17643)

CAS leftover

Remove incorrect UNIX_AMD64_ABI define

Fix ephemeral limits checks in write barrier for ARM64 (#17641)

The code was incorrectly using signed conditions, which doesn't work for
server GC where the high ephemeral limit is 0xffffffffffffffff and so it
was checking if the address is less than -1, which is never the case. So
the card table was never updated.

Enable Invoke and GetValue for ref-returning members (#17639)

* Enable Invoke and GetValue for ref-returning members

https://github.com/dotnet/corefx/issues/15960

Returned magic object is the object pointed to by
the ref. If the ref is null, NullReferenceException.

* Fix error message

* Found way to reuse InvokeUtil::CreateObject

* Remove comment, BYREF case.

Merge pull request #17624 from BruceForstall/DisableHangingCoreFxTest

[arm32] Disable corefx Microsoft.Win32.SystemEvents.Tests

Merge pull request #17652 from sdmaclea/PR-ARM64-ENABLE-CI-CROSSCOMPONENT-BUILD

[Arm64/Linux] Enable crosscomponent build in CI

Merge pull request #17648 from dotnet/dev/unix_test_workflow

Disallow Ubuntu arm32 non-PR jobs in non-master branches