API consistency for System.Memory APIs (argument names) (#28160)

* AsBytes and Cast: Change arg name source -> span

* CopyTo: Change arg name array/sequence -> source

* Several APIs: Change arg name arraySegment -> segment

* Several APIs: Change arg name readOnlyMemory -> memory

* BinaryPrimitives and Utf8Formatter: Change arg name buffer -> source or destination

* Base64: Change arg name consumed/written -> bytesConsumed/bytesWritten

* Utf8Parser: Change arg name text -> source

* TryGetOwnedMemory: Change arg name ownedMemory -> owner, index -> start

* BuffersExtensions.Write: Change arg name bufferWriter -> writer

* Span Compare APIs: Change arg name first -> span, second/value -> other

* ROSequence.TryGet & BuffersExtensions: Change arg name data -> memory, sequence -> source

* Fix mistake in BinaryPrimitives Writer APIs, source -> destination.

* BufferExtensions.Write: Change arg name source -> span

* SequencePosition.Equals: Change arg name position -> other

* BufferExtensions ToArray: Change arg name source -> sequence

* Rename leftover arraySegment to segment in MemoryMarshal.TryGetArray

* BufferExtensions.Write: Change arg name span -> value

* Contains, StartsWith, EndsWith: Change arg name other -> value

Signed-off-by: dotnet-bot-corefx-mirror <dotnet-bot@microsoft.com>

Updated steps in 'Viewing JIT Dumps' to see optimized code (#17077)

If one follows the current described steps, one won't see the JIT dump for optimized code in the core lib.
This PR adds the necessary step to see optimized code.

Cf. https://github.com/dotnet/coreclr/issues/17065#issuecomment-374772011

Merge pull request #16955 from fiigii/moreavx

Implement more AVX/AVX2 intrinsics

Fix type for lvaCachedGenericContextArgOffs (#14260)

lvaCachedGenericContextArgOffs should be signed since it's initially
assigned with a negative virtual offset. Finally depending on
frame pointer use with different arch, it could become positive or negative.
Luckily enough, so far such issue was by-passed since amd64 encoder didn't
care such signness when encoding move offset even though the value is
negative. For arm64, it is typically positive since FP is saved on the
bottom of stack.

Port System.Memory performance improvements to Convert.TryFromBase64Chars (#17033)

* Copy over Base64.DecodeFromUtf8 verbatim

* Don't need the InPlace api

* Change input from Utf8 to Utf16

* isFinalBlock will always be true, so constant fold it through

* I only need a true/false result, so get rid of OperationStatus

* Rename variables to reflect Utf8->Utf16 change

* Update comments and some minor cleanup

* Make Convert use Base64 as a fast-path

* Incorporate PR feedback.

* Delete FromBase64_Decode

* Use a single safe stackalloc

* Rename Base64.cs to Convert.Base64.cs

and make its contents a part of the Convert class.

We should eventually move all the Base64-related
stuff into this new file but not as part of this PR.
We want to be able to diff the implementation change
separately from the code movement.

* Thanks VS for the unasked for indent

Fix header inclusion order; avoids use of RCWCache before definition (#17067)

Fix build break

Signed-off-by: dotnet-bot-corefx-mirror <dotnet-bot@microsoft.com>

Merge pull request #17056 from BruceForstall/Arm64LclFldContainedZero

Allow arm64 to contain zero in GT_STORE_LCL_FLD

JIT: remove boxing for interface call to shared generic struct (#17006)

Improve the jit's ability to optimize a box-interface call sequence
to handle cases where the unboxed entry point requires a method table
argument.

Added two test cases, one from the inspiring issue, and another where
the jit is then able to inline the method.

Closes #16982.

Fix major System.Memory performance regression on .NET Framework x86 (#28179)

* Use Unsafe.AddByteOffset instead of Unsafe.Add where possible

* Use pointer for NUint backing field

* Delete unnecessary unchecked scopes, fixed comments

* Avoid unnecessary overflow checks when converting from IntPtr

* Switch SequenceEqual to IntPtr pointer arithmetic

This is fixing 10x regression introduced by use of NUint

* Delete NUint operators that are no longer necessary

* Fix CoreCLR build break

Signed-off-by: dotnet-bot-corefx-mirror <dotnet-bot@microsoft.com>

Move CompareInfo.* to shared CoreLib partition (#17062)

Move EncodingTable and CodePageDataItem to System.Text namespace (#17061)

This is the more logical namespace for it and it matches the namespace that these live under in CoreRT.

Implement more AVX/AVX2 intrinsics

Add tests for AVX/AVX2 intrinsics

Fix copy&paste bug (#17059)

Fix unloading of images mapped by PAL (#17053)

* Fix unloading of images mapped by PAL

The m_FileView member of MappedImageLayout is a CLRMapViewHolder,
which runs CLRUnmapViewOfFile on release. This is fine on Windows,
where the MappedImageLayout constructor calls
CLRMapViewOfFile. However, with FEATURE_PAL, the constructor calls
PAL_LOADLoadPEFile, which simulates LoadLibrary and records multiple
mapping entries. Each entry increases the refcount of the underlying
file handle PAL object. PAL_LOADUnloadPEFile should be called in this
case (instead of CLRUnmapViewOfFile), to decrease the refcount for
each mapping entry.

Fixes https://github.com/dotnet/coreclr/issues/15189.

* Fix build failure

Use flat layout for GetAssemblyName (#17052)

* Use flat layout for GetAssemblyName

This change will result in the use flat layouts for the temporary
layouts created by GetAssemblyName. This allows crossgen'd PE images
created for a different OS to be loaded in the code path that
retrieves the assembly name.

* Respond to PR feedback

Add comment, and remove dead code.

Allow arm64 to contain zero in GT_STORE_LCL_FLD

The codegen to handle this in codegenarm64.cpp, CodeGen::genCodeForStoreLclFld()
already exists.

Add new ICLRDebuggingLibraryProvider2 interface for OpenVirtualProces that works on Linux (#16978)

Add new ICLRDebuggingLibraryProvider2 interface for OpenVirtualProcess that works on Linux.

The old ICLRDebuggingLibraryProvider::ProviderLibrary returns module handles that can't
be properly supported on Linux.

ICLRDebuggerLibraryProvider2 returns the module path string instead of a handle. Works on
both Windows and Linux. If ICLRDebuggerLibraryProvider2 is QI'ed, OpenVirtualProcess will
NOT fall back to ICLRDebuggerLibraryProvider if ProviderLibrary2 fails.

HRESULT ProvideLibrary2(
    [in] const WCHAR* pwszFileName,
    [in] DWORD dwTimestamp,
    [in] DWORD dwSizeOfImage,
    [out] LPWSTR* ppResolvedModulePath);

ppResolvedModulePath - Where *ppResolvedModulePath is a null terminated path to the module dll. On Windows it should be allocated
with CoTaskMemAlloc. On Unix it should be allocated with malloc. Failure leave it untouched.

Merge pull request #17049 from briansull/fix-fgInstrumentMethod

Fix for fgInstrumentMethod

JIT: tolerate nonzero constant byrefs in impCheckForNullPointer (#17042)

With the advent of #16966 we may now see constant nonzero byrefs from
things like RVA statics. Tolerate these in `impCheckForNullPointer`.

Note previously we'd type these as ints/longs and so bail out of
`impCheckForNullPointer` after the first check.

Closes #17008.

delete unused debug arg from genChangeLife and compChangeLife. (#17041)

* delete unused debug arg from genChangeLife(VARSET_VALARG_TP

* remove unused debug arg from compChangeLife

Fix jit-format

Remove obselete buildtests (#17050)

BuildTests definition now lives under buildpipeline\tests\

Fix for fgInstrumentMethod

There was a bug creating profiling images using /Tuning
We computed the wrong value for addrOfBlockCount at the end of this method
This would result in method having proper block counts,
but still not getting marked as being executed.

This regressed in PR #14640

Fix ProjectN build break and work around MCG bug (dotnet/corert#5576)

Unblocks integration to TFS.

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Switch over to managed Marvin implementation for string hashing (#17029)

Adding running tests on Alpine for coreclr build (#17038)

Publish x86_arm/crossgen during Linux/arm build (#16953)

* Publish CrossCrossGen during Linux/arm build
* Update DockerTag to the image that includes two rootfs-s

Fixing the x86 ScalarUnOpTest template to no longer write out of bounds

Updating the x86 extract instructions to be properly listed as MR

Regenerating the x86 HWIntrinsic tests to track each vector size separately

Updating the x86 HWIntrinsic templates to track each vector size separately

Updating the x86 HWIntrinsic DataTable types to assert the alignment returned is correct

Regenerating the x86 HWIntrinsics tests to no longer have a GC hole

Fixing the x86 HWIntrinsic test templates to not leave a GC hole

Merge pull request #17034 from vancem/FixPath

Use better path (fixes #17004)

Fix eventpipe rundown test with crossgen (#16784)

Merge pull request #16968 from echesakovMSFT/LimitFeatureUnixAMD64StructPassingWhenTargetUnixAMD64

Define FEATURE_UNIX_AMD64_STRUCT_PASSING only when target Unix/AMD64

Use better path (fixes #17004)

Delete unused downlevel globalization support (#17022)

Delete ENABLE_DOWNLEVEL_FOR_NLS and everything under it

Fix BuildConfiguration casing so publishing works

Merge pull request #17004 from vancem/DacTableGenFor2017

This change make DacTableGen work for VS2017

Review feedback

Switch back to more performant and portable Marvin implementation

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Fix EventSource Test Failures in CoreFX (#16999)

Add environment variable (COMPlus_EnableDiagnostics) to disable debugging and profiling. (#16141)

This reverts commit e9985126acb0f1efd7c780faac4e66bc798b73c0.

Use Win32Marshal from CoreLib shared code (dotnet/corefx#28161)

* Use Win32Marshal from CoreLib shared code

Fix hr issue caught by Common.Tests.

* Move string condition inside exception arguments

Signed-off-by: dotnet-bot-corefx-mirror <dotnet-bot@microsoft.com>

Use vectorized SpanHelpers.SequenceEqual for string equality (#16994)

Update prerelease label to preview3

Do not compute the IDF for all blocks in advance (#15146)

InsertsPhiFunctions visits each block only once so there's no need to compute and store the IDFs for all blocks in advance. The IDF of a given block can be computed when the block is visited and discarded after that. This way a single BlkVector can be reused for all blocks.

Update BuildTools, CoreClr, CoreFx to preview3-02616-02, preview2-26316-09, preview2-26317-01, respectively (#16993)

Use vectorized T=byte implementations to optimize all MemoryExtensions APIs for T != byte (#28080)

* Adding IsTypeNumeric helper

* Add more NUint operations and use IsTypeNumeric everywhere.

* Revert addition of LangVersion 7.2

* Fix formatting

* Revert use of nuint and IsNumericType for *IndexOf* APIs

* Fix comment, undo leftover changes, and fix indentation.

* Address PR feedback - use nuint where possible.

* PR feedback - Cleanup SequenceEqual just like SequenceCompareTo

* Add new NUInt operations for netcoreapp/coreclr mirror.

* Address PR feedback

* Add T = char and T = long tests for StartsWith and EndsWith

Signed-off-by: dotnet-bot-corefx-mirror <dotnet-bot@microsoft.com>

Merge pull request #17000 from sdmaclea/PR-Enable-Arm64-Simd

[Arm64] Enable arm64 simd test

Prevent concurrent use corruption from causing infinite loops (#16991)

Updates unsafe String constructors to be consistent when handling null value (#17002)

This change make DacTableGen work for VS2017

There was a issue (see https://github.com/dotnet/coreclr/issues/11305) where
a tool used in the CoreCLR build called DacTableGen requires a old version of the
msdia120.dll.   The symptom is that this tool would fail with a class not registered errror.

This tool comes from a very old nuget package microsoft.dotnet.buildtools.coreclr, which
we no longer can build easly.    Our guidance now is to move tools that are only used in
one repository (like this one) out of nuget packages and simply build them as part of the build.

This change makes a step in that direction.  The DacTableGen code actually was already
in the CoreCLR repo, so this change

1. Fixes the source of DacTableGen so that tool no longer needs a com object to be registered
    (but it DOES need msdia140.dll to be on the path.  This is true for VS2017.
2.  Turns on the build of DacTableGen
3. Change the build use the built DacTableGen (unless running on VS2017, in that case we use the
    the version in the tool package.
4.) Remove the hack that warns people to register msdia120 (since you don't need to anymore)

There is also an unrelated addition to the docs.

This change should still work for VS2015 (because it falls back to the old DacTableGen in that case)

Finally we should move to using the Linux method of creating the DAC, and so all these tools and
their nuget package can be removed.

Merge pull request #16980 from jcagme/master

Move extension task at beginning and end of build def

Add task extension to test pipeline

Merge branch 'master' of https://github.com/dotnet/coreclr

Put the path on IOException strings when possible (#16998)

Remove internal only copy of DriveNotFoundException. Will create an issue
to move the implementation down from S.IO.DriveInfo.

Note that this Win32Marshal can be used directly from CoreFX,  will follow up
once this flows. (e.g. remove the copy in CoreFX)

[Arm64] Disable broken tests dependent on #16310

[Arm64] Enable HW Intrinsic Simd tests

Fix test for GC.GetAllocatedBytesForCurrentThread to be more lenient with the accuracy (#16976)

Avoid allocating _IOCompletionCallback when flow is suppressed (#16984)

This delegate was showing up in a sockets allocation trace, even though execution flow is suppressed while creating the associated PreAllocatedOverlapped.

Change csharp_indent_labels from flush_left to one_less_than_current (#16983)

Merge branch 'master' of https://github.com/dotnet/coreclr

Update CoreClr, CoreFx to preview2-26316-03, preview2-26316-03, respectively (#16988)

JIT: fix return type mismatch inline block for literal argument (#16966)

When we inline a method that returns one of its arguments, we need to make sure
to apply the callee's view of the argument type.

We fixed this for arguments that are caller locals in #11218. This change applies
similar logic to handle the case where the caller passes a literal constant.

Closes #16944.

Remove tests from main pipeline.json (#16975)

* Remove tests from main pipeline.json
Tests are now broken out into a separate json file, which means prodcon builds avoid waiting on tests.

Fix comment in IgnoreCase CompareInfo handling.

Use managed marvin hashing for IgnoreCase comparison (#16945)

* Use managed marvin hashing for IgnoreCase comparison

* Return rented buffer & reduce string allocation

* Move Marvin to shared partition & PR feedback

* Marvin input slicing & ToUpper optimization

* Use ToUpperInvariant instead of ToUpper

* Use ToUpperInvariant in favor of the whole manual optimization logic

* Fix typo

* Use ToUpperInvariant length for slicing

Implement AVX/AVX2 InsertVector128 and ExtractVector128 intrinsic

Implement AVX Insert/Extract helper-intrinsics in managed code

Add tests for AVX Insert/Extract helper-intrinsics

Add tests for AVX Insert/ExtractVector128

Add tests and templates for AVX2 Insert/Extract

Add AllReady scenario to JitBench (#16905)

* reuse MusicStoreBenchmark for AllReady scenario

* bug fix, should set JITBENCH_FRAMEWORK_VERSION, not JITBENCH_TARGET_FRAMEWORK_VERSION

* include informations from AllReady.dll

* temp: point to my fork before the https://github.com/aspnet/JitBench/pull/85 gets merged

* clone the repo and get the submodule, downloading .zip is not enough when working with GIT submodules

* fail benchmark when git command fails

* point to the updated aspnet/JitBench repo, not my fork

[Arm64/Ubuntu] Enable official builds (#16981)

Update CoreClr, CoreFx to preview2-26315-05, preview2-26316-01, respectively (#16970)

Convert Sse2 tests to template driven version - part 1

Move extension task at beginning and end of build def

Port SequentialEqual() optimizations to ReadOnlySpan overloads (#28073)

Signed-off-by: dotnet-bot-corefx-mirror <dotnet-bot@microsoft.com>

Merge pull request #16858 from echesakovMSFT/FixGenerateEventLogCrossArchBuildFailure

Fix etmdummy.h file not found during Linux/arm crosscomponent build

Merge pull request #16969 from jcagme/master

Replace Agent.HomeDirectory with AgentToolsPath

Remove AgentToolsPath

Replace AgentToolsPath

Fix error type check in InternalSetThreadPriority (#16959)

The pthread_setschedparam returns error code as a return value and not
in the errno as the existing code supposes. I have found it when a test
in the lab has failed to set the priority and asserted in this code, but
reported errno as 0.

Also fix the flaky DuplicateHandle test7 that was failing rarely due to the
fact that the secondary thread it has created didn't wait until the main thread
finished fiddling with the priority of that thread.

Define FEATURE_UNIX_AMD64_STRUCT_PASSING only when target Unix/AMD64

Update CoreClr, CoreFx to preview2-26315-02, preview2-26315-01, respectively (#16949)

Fix etmdummy.h file not found during cross crossarchitecture build

Fix to not reuse preallocated jump stubs for dynamic methods (#16941)

Fix to not reuse preallocated jump stubs for dynamic methods

Fixes https://github.com/dotnet/coreclr/issues/16940
- Allocate an extra jump stub per temporary entry points chunk that is shared by all precodes in the chunk. This jump stub always points to PrecodeFixupThunk.
- Use that for PrecodeFixupThunk, and use the precode-associated jump stub for pointing to the jitted code
- Considered allocating the extra jump stub only if coreclr is far away, but it involves reallocation which may be common in some environments/scenarios. Figured 12 extra bytes per dynamic type is not too significant.

Merge pull request #16813 from CarolEidt/FixDD544983

Mark operands of dead FIELD_LIST as unused

[Arm64] Fix EmitShuffleThunk reg allocation (#16947)

Merge pull request #16928 from briansull/fix-16892

Fix GH Issue 16892 - GC hole due to GT_INDEX_ADDR

Fix GetTempPath (#16921)

* Fix GetTempPath

GetTempPath and GetTempFileName weren't updated to handle long paths.
Update to use API properly and stop using StringBuilder. Also tweak
Normalize to allow utilizing an existing Span as input.

* Assert for null, fix ProjectN wrap

* Address more feedback

* One more tweak

* Tweak Normalize to be usable in CoreFX

* Change another span Equals

* Split AsSpan() to avoid risk of losing inlining

Add EventSource TraceLogging Support for EventPipe (#16861)

Merge pull request #16794 from echesakovMSFT/DisableFeatureNIBindFallbackByDefault

Disable FEATURE_NI_BIND_FALLBACK by default for all platforms

Include Linux/cross-arch components into NuGet packages (#16859)

* Add __DoCrossArchBuild settings to config.json
* HasCrossTargetComponents computes to 'true' on Linux when __DoCrossArchBuild is 1 in dir.props
* Include cross-architecture libclrjit.so crossgen into NuGet props files when HasCrossTargetComponents is 'true'
* Pass $__DoCrossArchBuild to run.sh when generating NuGet packages in build.sh

Merge pull request #16895 from echesakovMSFT/DoNotFragileNGenSystemPrivateCoreLibARM

[ARM] Disable fragile NGen when compiling S.P.C.dll for _TARGET_ARM_