Remove dependency on libunwind (#17094)

* Add original source of libunwind 1.3-stable

Taken from:
https://github.com/libunwind/libunwind/tree/v1.3-stable

* Enable building of libunwind

This change enables building libunwind and removes
dependency on the libunwind package for all Unixes
except OSX. In OSX the libunwind is part of the OS
and also has support for compact unwind info that
is OSX specific, so we keep using that one.

* Disable warnings in code we don't execute

Update debugging doc on lldb versions and disabling managed debugging (#17107)

Improve DateTime{Offset} "r" and "o" formatting performance (#17092)

Two main changes:
1. Rewrote the formatting to use span, only to then discover that we already had almost exactly the same implementation in Utf8Formatter.  As that one had some extra optimizations around JIT behaviors, I ported that over instead.
2. Avoided [ThreadStatic] lookups unless necessary.

ToString/TryFormat for "o"/"O" improve by ~2.5x.

ToString/TryFormat for "r"/"R" improve by ~3x.

Add More Process Information to EventPipe Traces (#17080)

Fix strings from being concatenated (#17040)

null terminate the converted LPStr at the right index (#17079)

Add missing license header to test py and cs files (#17102)

Issue #13471

Moving Span APIs that allow skipping visibility checks to MemoryMarshal (#17087)

Small tweaks to Dict asm size (#17096)

Fixed #16564: the test objmonhelper hangs forever with GCStress=0x3

Change directory in AgentTools script

Update BuildTools, CoreClr, CoreFx to preview3-02620-10, preview3-26321-06, preview3-26319-04, respectively (#17012)

Avoid allocating when SuppressFlow'ing in default ExecutionContext (#17081)

* Avoid allocating when SuppressFlow'ing in default ExecutionContext

* Address PR feedback

API consistency for System.Memory APIs (argument names) (#28160)

* AsBytes and Cast: Change arg name source -> span

* CopyTo: Change arg name array/sequence -> source

* Several APIs: Change arg name arraySegment -> segment

* Several APIs: Change arg name readOnlyMemory -> memory

* BinaryPrimitives and Utf8Formatter: Change arg name buffer -> source or destination

* Base64: Change arg name consumed/written -> bytesConsumed/bytesWritten

* Utf8Parser: Change arg name text -> source

* TryGetOwnedMemory: Change arg name ownedMemory -> owner, index -> start

* BuffersExtensions.Write: Change arg name bufferWriter -> writer

* Span Compare APIs: Change arg name first -> span, second/value -> other

* ROSequence.TryGet & BuffersExtensions: Change arg name data -> memory, sequence -> source

* Fix mistake in BinaryPrimitives Writer APIs, source -> destination.

* BufferExtensions.Write: Change arg name source -> span

* SequencePosition.Equals: Change arg name position -> other

* BufferExtensions ToArray: Change arg name source -> sequence

* Rename leftover arraySegment to segment in MemoryMarshal.TryGetArray

* BufferExtensions.Write: Change arg name span -> value

* Contains, StartsWith, EndsWith: Change arg name other -> value

Signed-off-by: dotnet-bot-corefx-mirror <dotnet-bot@microsoft.com>

Updated steps in 'Viewing JIT Dumps' to see optimized code (#17077)

If one follows the current described steps, one won't see the JIT dump for optimized code in the core lib.
This PR adds the necessary step to see optimized code.

Cf. https://github.com/dotnet/coreclr/issues/17065#issuecomment-374772011

Merge pull request #16955 from fiigii/moreavx

Implement more AVX/AVX2 intrinsics

Fix type for lvaCachedGenericContextArgOffs (#14260)

lvaCachedGenericContextArgOffs should be signed since it's initially
assigned with a negative virtual offset. Finally depending on
frame pointer use with different arch, it could become positive or negative.
Luckily enough, so far such issue was by-passed since amd64 encoder didn't
care such signness when encoding move offset even though the value is
negative. For arm64, it is typically positive since FP is saved on the
bottom of stack.

Port System.Memory performance improvements to Convert.TryFromBase64Chars (#17033)

* Copy over Base64.DecodeFromUtf8 verbatim

* Don't need the InPlace api

* Change input from Utf8 to Utf16

* isFinalBlock will always be true, so constant fold it through

* I only need a true/false result, so get rid of OperationStatus

* Rename variables to reflect Utf8->Utf16 change

* Update comments and some minor cleanup

* Make Convert use Base64 as a fast-path

* Incorporate PR feedback.

* Delete FromBase64_Decode

* Use a single safe stackalloc

* Rename Base64.cs to Convert.Base64.cs

and make its contents a part of the Convert class.

We should eventually move all the Base64-related
stuff into this new file but not as part of this PR.
We want to be able to diff the implementation change
separately from the code movement.

* Thanks VS for the unasked for indent

Fix header inclusion order; avoids use of RCWCache before definition (#17067)

Fix build break

Signed-off-by: dotnet-bot-corefx-mirror <dotnet-bot@microsoft.com>

Merge pull request #17056 from BruceForstall/Arm64LclFldContainedZero

Allow arm64 to contain zero in GT_STORE_LCL_FLD

JIT: remove boxing for interface call to shared generic struct (#17006)

Improve the jit's ability to optimize a box-interface call sequence
to handle cases where the unboxed entry point requires a method table
argument.

Added two test cases, one from the inspiring issue, and another where
the jit is then able to inline the method.

Closes #16982.

Fix major System.Memory performance regression on .NET Framework x86 (#28179)

* Use Unsafe.AddByteOffset instead of Unsafe.Add where possible

* Use pointer for NUint backing field

* Delete unnecessary unchecked scopes, fixed comments

* Avoid unnecessary overflow checks when converting from IntPtr

* Switch SequenceEqual to IntPtr pointer arithmetic

This is fixing 10x regression introduced by use of NUint

* Delete NUint operators that are no longer necessary

* Fix CoreCLR build break

Signed-off-by: dotnet-bot-corefx-mirror <dotnet-bot@microsoft.com>

Move CompareInfo.* to shared CoreLib partition (#17062)

Move EncodingTable and CodePageDataItem to System.Text namespace (#17061)

This is the more logical namespace for it and it matches the namespace that these live under in CoreRT.

Implement more AVX/AVX2 intrinsics

Add tests for AVX/AVX2 intrinsics

Fix copy&paste bug (#17059)

Fix unloading of images mapped by PAL (#17053)

* Fix unloading of images mapped by PAL

The m_FileView member of MappedImageLayout is a CLRMapViewHolder,
which runs CLRUnmapViewOfFile on release. This is fine on Windows,
where the MappedImageLayout constructor calls
CLRMapViewOfFile. However, with FEATURE_PAL, the constructor calls
PAL_LOADLoadPEFile, which simulates LoadLibrary and records multiple
mapping entries. Each entry increases the refcount of the underlying
file handle PAL object. PAL_LOADUnloadPEFile should be called in this
case (instead of CLRUnmapViewOfFile), to decrease the refcount for
each mapping entry.

Fixes https://github.com/dotnet/coreclr/issues/15189.

* Fix build failure

Use flat layout for GetAssemblyName (#17052)

* Use flat layout for GetAssemblyName

This change will result in the use flat layouts for the temporary
layouts created by GetAssemblyName. This allows crossgen'd PE images
created for a different OS to be loaded in the code path that
retrieves the assembly name.

* Respond to PR feedback

Add comment, and remove dead code.

Allow arm64 to contain zero in GT_STORE_LCL_FLD

The codegen to handle this in codegenarm64.cpp, CodeGen::genCodeForStoreLclFld()
already exists.

Add new ICLRDebuggingLibraryProvider2 interface for OpenVirtualProces that works on Linux (#16978)

Add new ICLRDebuggingLibraryProvider2 interface for OpenVirtualProcess that works on Linux.

The old ICLRDebuggingLibraryProvider::ProviderLibrary returns module handles that can't
be properly supported on Linux.

ICLRDebuggerLibraryProvider2 returns the module path string instead of a handle. Works on
both Windows and Linux. If ICLRDebuggerLibraryProvider2 is QI'ed, OpenVirtualProcess will
NOT fall back to ICLRDebuggerLibraryProvider if ProviderLibrary2 fails.

HRESULT ProvideLibrary2(
    [in] const WCHAR* pwszFileName,
    [in] DWORD dwTimestamp,
    [in] DWORD dwSizeOfImage,
    [out] LPWSTR* ppResolvedModulePath);

ppResolvedModulePath - Where *ppResolvedModulePath is a null terminated path to the module dll. On Windows it should be allocated
with CoTaskMemAlloc. On Unix it should be allocated with malloc. Failure leave it untouched.

Merge pull request #17049 from briansull/fix-fgInstrumentMethod

Fix for fgInstrumentMethod

JIT: tolerate nonzero constant byrefs in impCheckForNullPointer (#17042)

With the advent of #16966 we may now see constant nonzero byrefs from
things like RVA statics. Tolerate these in `impCheckForNullPointer`.

Note previously we'd type these as ints/longs and so bail out of
`impCheckForNullPointer` after the first check.

Closes #17008.

delete unused debug arg from genChangeLife and compChangeLife. (#17041)

* delete unused debug arg from genChangeLife(VARSET_VALARG_TP

* remove unused debug arg from compChangeLife

Fix jit-format

Remove obselete buildtests (#17050)

BuildTests definition now lives under buildpipeline\tests\

Fix for fgInstrumentMethod

There was a bug creating profiling images using /Tuning
We computed the wrong value for addrOfBlockCount at the end of this method
This would result in method having proper block counts,
but still not getting marked as being executed.

This regressed in PR #14640

Fix ProjectN build break and work around MCG bug (dotnet/corert#5576)

Unblocks integration to TFS.

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Switch over to managed Marvin implementation for string hashing (#17029)

Adding running tests on Alpine for coreclr build (#17038)

Publish x86_arm/crossgen during Linux/arm build (#16953)

* Publish CrossCrossGen during Linux/arm build
* Update DockerTag to the image that includes two rootfs-s

Fixing the x86 ScalarUnOpTest template to no longer write out of bounds

Updating the x86 extract instructions to be properly listed as MR

Regenerating the x86 HWIntrinsic tests to track each vector size separately

Updating the x86 HWIntrinsic templates to track each vector size separately

Updating the x86 HWIntrinsic DataTable types to assert the alignment returned is correct

Regenerating the x86 HWIntrinsics tests to no longer have a GC hole

Fixing the x86 HWIntrinsic test templates to not leave a GC hole

Merge pull request #17034 from vancem/FixPath

Use better path (fixes #17004)

Fix eventpipe rundown test with crossgen (#16784)

Merge pull request #16968 from echesakovMSFT/LimitFeatureUnixAMD64StructPassingWhenTargetUnixAMD64

Define FEATURE_UNIX_AMD64_STRUCT_PASSING only when target Unix/AMD64

Use better path (fixes #17004)

Delete unused downlevel globalization support (#17022)

Delete ENABLE_DOWNLEVEL_FOR_NLS and everything under it

Fix BuildConfiguration casing so publishing works

Merge pull request #17004 from vancem/DacTableGenFor2017

This change make DacTableGen work for VS2017

Review feedback

Switch back to more performant and portable Marvin implementation

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Fix EventSource Test Failures in CoreFX (#16999)

Add environment variable (COMPlus_EnableDiagnostics) to disable debugging and profiling. (#16141)

This reverts commit e9985126acb0f1efd7c780faac4e66bc798b73c0.

Use Win32Marshal from CoreLib shared code (dotnet/corefx#28161)

* Use Win32Marshal from CoreLib shared code

Fix hr issue caught by Common.Tests.

* Move string condition inside exception arguments

Signed-off-by: dotnet-bot-corefx-mirror <dotnet-bot@microsoft.com>

Use vectorized SpanHelpers.SequenceEqual for string equality (#16994)

Update prerelease label to preview3

Do not compute the IDF for all blocks in advance (#15146)

InsertsPhiFunctions visits each block only once so there's no need to compute and store the IDFs for all blocks in advance. The IDF of a given block can be computed when the block is visited and discarded after that. This way a single BlkVector can be reused for all blocks.

Update BuildTools, CoreClr, CoreFx to preview3-02616-02, preview2-26316-09, preview2-26317-01, respectively (#16993)

Use vectorized T=byte implementations to optimize all MemoryExtensions APIs for T != byte (#28080)

* Adding IsTypeNumeric helper

* Add more NUint operations and use IsTypeNumeric everywhere.

* Revert addition of LangVersion 7.2

* Fix formatting

* Revert use of nuint and IsNumericType for *IndexOf* APIs

* Fix comment, undo leftover changes, and fix indentation.

* Address PR feedback - use nuint where possible.

* PR feedback - Cleanup SequenceEqual just like SequenceCompareTo

* Add new NUInt operations for netcoreapp/coreclr mirror.

* Address PR feedback

* Add T = char and T = long tests for StartsWith and EndsWith

Signed-off-by: dotnet-bot-corefx-mirror <dotnet-bot@microsoft.com>

Merge pull request #17000 from sdmaclea/PR-Enable-Arm64-Simd

[Arm64] Enable arm64 simd test

Prevent concurrent use corruption from causing infinite loops (#16991)

Updates unsafe String constructors to be consistent when handling null value (#17002)

This change make DacTableGen work for VS2017

There was a issue (see https://github.com/dotnet/coreclr/issues/11305) where
a tool used in the CoreCLR build called DacTableGen requires a old version of the
msdia120.dll.   The symptom is that this tool would fail with a class not registered errror.

This tool comes from a very old nuget package microsoft.dotnet.buildtools.coreclr, which
we no longer can build easly.    Our guidance now is to move tools that are only used in
one repository (like this one) out of nuget packages and simply build them as part of the build.

This change makes a step in that direction.  The DacTableGen code actually was already
in the CoreCLR repo, so this change

1. Fixes the source of DacTableGen so that tool no longer needs a com object to be registered
    (but it DOES need msdia140.dll to be on the path.  This is true for VS2017.
2.  Turns on the build of DacTableGen
3. Change the build use the built DacTableGen (unless running on VS2017, in that case we use the
    the version in the tool package.
4.) Remove the hack that warns people to register msdia120 (since you don't need to anymore)

There is also an unrelated addition to the docs.

This change should still work for VS2015 (because it falls back to the old DacTableGen in that case)

Finally we should move to using the Linux method of creating the DAC, and so all these tools and
their nuget package can be removed.

Merge pull request #16980 from jcagme/master

Move extension task at beginning and end of build def

Add task extension to test pipeline

Merge branch 'master' of https://github.com/dotnet/coreclr

Put the path on IOException strings when possible (#16998)

Remove internal only copy of DriveNotFoundException. Will create an issue
to move the implementation down from S.IO.DriveInfo.

Note that this Win32Marshal can be used directly from CoreFX,  will follow up
once this flows. (e.g. remove the copy in CoreFX)

[Arm64] Disable broken tests dependent on #16310

[Arm64] Enable HW Intrinsic Simd tests

Fix test for GC.GetAllocatedBytesForCurrentThread to be more lenient with the accuracy (#16976)

Avoid allocating _IOCompletionCallback when flow is suppressed (#16984)

This delegate was showing up in a sockets allocation trace, even though execution flow is suppressed while creating the associated PreAllocatedOverlapped.

Change csharp_indent_labels from flush_left to one_less_than_current (#16983)

Merge branch 'master' of https://github.com/dotnet/coreclr

Update CoreClr, CoreFx to preview2-26316-03, preview2-26316-03, respectively (#16988)

JIT: fix return type mismatch inline block for literal argument (#16966)

When we inline a method that returns one of its arguments, we need to make sure
to apply the callee's view of the argument type.

We fixed this for arguments that are caller locals in #11218. This change applies
similar logic to handle the case where the caller passes a literal constant.

Closes #16944.

Remove tests from main pipeline.json (#16975)

* Remove tests from main pipeline.json
Tests are now broken out into a separate json file, which means prodcon builds avoid waiting on tests.

Fix comment in IgnoreCase CompareInfo handling.

Use managed marvin hashing for IgnoreCase comparison (#16945)

* Use managed marvin hashing for IgnoreCase comparison

* Return rented buffer & reduce string allocation

* Move Marvin to shared partition & PR feedback

* Marvin input slicing & ToUpper optimization

* Use ToUpperInvariant instead of ToUpper

* Use ToUpperInvariant in favor of the whole manual optimization logic

* Fix typo

* Use ToUpperInvariant length for slicing

Implement AVX/AVX2 InsertVector128 and ExtractVector128 intrinsic

Implement AVX Insert/Extract helper-intrinsics in managed code

Add tests for AVX Insert/Extract helper-intrinsics

Add tests for AVX Insert/ExtractVector128

Add tests and templates for AVX2 Insert/Extract

Add AllReady scenario to JitBench (#16905)

* reuse MusicStoreBenchmark for AllReady scenario

* bug fix, should set JITBENCH_FRAMEWORK_VERSION, not JITBENCH_TARGET_FRAMEWORK_VERSION

* include informations from AllReady.dll

* temp: point to my fork before the https://github.com/aspnet/JitBench/pull/85 gets merged

* clone the repo and get the submodule, downloading .zip is not enough when working with GIT submodules

* fail benchmark when git command fails

* point to the updated aspnet/JitBench repo, not my fork

[Arm64/Ubuntu] Enable official builds (#16981)

Update CoreClr, CoreFx to preview2-26315-05, preview2-26316-01, respectively (#16970)

Convert Sse2 tests to template driven version - part 1

Move extension task at beginning and end of build def

Port SequentialEqual() optimizations to ReadOnlySpan overloads (#28073)

Signed-off-by: dotnet-bot-corefx-mirror <dotnet-bot@microsoft.com>

Merge pull request #16858 from echesakovMSFT/FixGenerateEventLogCrossArchBuildFailure

Fix etmdummy.h file not found during Linux/arm crosscomponent build

Merge pull request #16969 from jcagme/master

Replace Agent.HomeDirectory with AgentToolsPath

Remove AgentToolsPath

Replace AgentToolsPath