Implementing the AndNot, ExtractLowestSetBit, GetMaskUpToLowestSetBit, and ResetLowestSetBit x86 HWIntrinsics

Adding tests for the x86 TrailingZeroCount HWintrinsic

Implementing the x86 TrailingZeroCount HWIntrinsic

Renaming ScalarUnOpTest to ScalarSimdUnOpTest

Fix serialization type in NotFiniteNumberException (#18833)

CoreFX CI Unix Staging commit (#18750)

* Modify netci.groovy

* Add script exit codes

* Ad PR Triggers for Ubuntu and OSX10.12

* Remove release PR triggers

* Rename arch

Remove IsJitStressTestScenario assert

* Add correct asserts

* Reformat conditions and add triggers for Release/Checked/Debug

* Change %WORKSPACE% to \${WORKSPACE}

Fix a comment in the string.ToLower() method (#18832)

Line 307 is lowercasing the current character, but the comment says "store the current character, upper-cased", fixed comment to say "store the current character, lower-cased".
(Equivalent and correct "upper-cased" comment is on line 252)

Undo unnecessary BinaryReader::ReadOneChar/InternalReadOneChar split (#18830)

This method had misleading comment that this split is required for performance. It was the case when
InternalReadOneChar was called from other places in CoreLib. These calls do not exist anymore.

Moved ManualResetEventSlim to shared (#18799)

* Moved ManualResetEventSlim to shared

* covert System.int to System.Int32

Correct AssemblyLoadContext comment (#18809)

LastIndexOf corner case fix when span is empty (#18826)

Fix Span LastIndexOf empty value handling

TargetFrameworkName property initialized (#18814)

Improve DateTime{Offset}.ParseExact performance for "O"/"o" roundtrip format (#18800)

Ports the code used by Utf8Parser, modified to support things Utf8Parser doesn't but DateTime{Offset{.ParseExact do, such as single-digit offset hours.

Merge pull request #18795 from BruceForstall/RemoveArmemJobs

Remove Ubuntu/Ubuntu16.04 emulator CI jobs

[ARM] Mention a clang-5.0 issue in the documentation (#18803)

Merge pull request #18775 from briansull/add-noway-assert

Add noway asserts in gtNewZeroConNode and gtNewOneConNode

Remove Ubuntu/Ubuntu16.04 emulator CI jobs

Now that we have Ubuntu arm hardware in the lab, these are unnecessary.

The jobs have also been failing for months.

Update certain Marshal APIs to match exception thrown on .NET Framework (#18791)

Update certain Marshal APIs to match exception thrown on Desktop

Added noway asserts in gtNewZeroConNode and gtNewOneConNode
Added source code change that was needed to service 4.7.2 in fgMorphRecursiveFastTailCallIntoLoop
Set zero/one to null after noway_assert

Merge pull request #18793 from BruceForstall/UpdateLibUnwindIssue

Update Linux ARM libunwind instructions

Update Linux ARM libunwind instructions

Enable genFnCalleeRegArgs for Arm64 Varargs (#18714)

* Enable genFnCalleeRegArgs for Arm64 Varargs

Before the method would early out and incorrectly expect the usage
of all incoming arguments to be their homed stack slots. It is
instead possible for incoming arguments to be homed to different
integer registers.

The change will mangle the float types for vararg cases in the same
way that is done during lvaInitUserArgs and fgMorphArgs.

* Apply format patch

* Account for softfp case

* Address feedback

* Apply format patch

* Use standard function header for mangleVarArgsType

* Remove confusing comment

Delete dead code (#18783)

- Leftover from unobserved exception desktop quirk
- Unnecessary calls to AppDomain.IsFinalizingForUnload(). They were actually never required even with AppDomain support because of Environment.HasShutdownStarted returns true during AppDomain unload.

Improve DateTime{Offset}.ParseExact{Multiple} performance for RFC1123 ("r") (#18771)

* Improve DateTime{Offset}.ParseExact{Multiple} performance for RFC1123 ("r")

Significantly improves the performance by porting and adapting the Utf8Parser code from corefx.  This optimizes for the (default) case of a DateTimeStyles.None; specifying any other style falls back to the normal parsing support, as that requires handling things such as arbitrary whitespace anywhere in the string.

* Address PR feedback

Re-enable jit regression test DevDiv_590771 (#18724)

The issue the test was hitting was worked around in #18292.

Fixes #17967.

Also add GitHub_18522_8 to the arm/arm64 lists (from #18708).

Add LastIndexOf compareoptions overload (#18652)

* Add LastIndexOf compareoptions overload

Adding tests for the byte overload of Ssse3.Shuffle

Adding support for the `byte` overload of `Ssse3.Shuffle`

Remove mention of security transparency from message and comment (#18776)

compGSReorderStackLayout is not supported when EnC is on (#18713)

Update CoreClr, CoreFx to preview1-26704-01, preview1-26704-01, respectively (#18773)

Delete InternalsVisibleTo attributes from S.P.CoreLib (#18697)

Merge pull request #18504 from mikedn/comp-small

Make Compiler and CodeGen objects smaller

add missing files to package properly on FreeBSD (#18764)

Merge pull request #18768 from CarolEidt/RemoveIsMultiReg

Remove Interval::isMultiReg

Merge pull request #18766 from CarolEidt/Fix18765

Build uses for atomic ops

Merge pull request #18716 from BruceForstall/RemoveTstJobsFromViews

Remove build-only and TST jobs from the Jenkins views

Update CoreClr, PgoData to preview1-26703-04, master-20180703-0030, respectively (#18761)

Remove Interval::isMultiReg

This is no longer used after #16517

Build uses for atomic ops

Fix #18765

Use generic win-x86/win-x64 RIDs in stress_dependencies

Add back most CreateInstance APIs to AppDomain and Activator (#18751)

* add ObjectHandle.cs

* add signature placeholder

* move CreateInstance from netfx

* move CreateInstanceFrom from netfx

* nit: visibility, text formatting

Update CoreFX CI packages to NetcoreApp3 (#18760)

* Update to FX CI packages to NetcoreApp3

* Add Extra Dependencies

* Enable all tests fixed by change

Updating SSE_StaticCast and AVX_StaticCast to set the correct type on the returned node.

Fold away Sse.StaticCast and Avx.StaticCast in the importer

Adding an Avx.StaticCast test (modified from the Sse.StaticCast test)

SuperPMI: add ability to exclude failing method contexts from replays (#18721)

* format spmi

* rename mchFile to mchFileName

* refactor ProcessChildStdOut

* add a stub to exclude methods

Set the activation context for the CoreRun application to what is defined (#18728)

in the target managed assembly. This allows RegFree COM scenarios and ensures
the intended app manifest is used for the 'exe' scenario.

Debug registers cannot be copied in user mode (#18730)

Dispatch Runtime Events to EventListener (#18649)

Update BuildTools, CoreClr, PgoData to preview1-03002-01, preview1-26702-04, master-20180702-0047, respectively (#18731)

Move RuntimeIDArg initialization (#18747)

Fixing up the Sse41.Insert float HWIntrinsics

reenable fixed arm64 altjit tests (#18722)

Add back DefinePInvokeMethod (#18742)

Adding back the tests for Avx.MaskLoad

Updating the Avx.Extract/Insert methods to throw PNSE when IsSupported is false

a

Removing unnecessary `try/catch` blocks from the ExtractScalar and InsertScalar HWIntrinsic test templates

Tabs vs. spaces (#18740)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Fix some build breaks seen with the older VS we use to build with on desktop. (#18736)

Fix recursive inlining of PInvoke stubs (#18737)

PInvoke stubs can be inlined into a regular methods in CoreRT. PInvoke transition
has to be inlined as well when that happens. Otherwise, there is a risk of recursive
inlining in corner cases.

Replace compGetMemArray uses

Fix incorrect lvaTrackedToVarNum memset size

Handle the missing cache case in gtGetStructHandleForSIMD

Allocate space for siLatestTrackedScopes on demand

By the time siLatestTrackedScopes is needed the number of tracked variables is known so we can allocate an array of suitable size. Defaulting to lclMAX_TRACKED requires 4 kbytes and for many small methods that's a waste.

Remove Compiler::impSmallStack

Memory allocation via ArenaAllocator is cheap so it's not worth having this inline array that ends up wasting 384 bytes when a larger stack is needed.

Care needs to be taken when inlining to avoid allocating a new stack every time - just steal the stack of the inliner compiler (after ensuring that it is large enough).

Cleanup hashBvGlobalData

Each compiler object contains a hashBvGlobalData that's 80 bytes in size. Only 16 bytes are actually used - the hash and node free lists.
* hbvFreeVectorList is supposed to be used by hashBv::freeVector but nothing calls that and getNewVector does not attempt to use the free list
* hbvHashSizeLog2 is always 0
* hashBvNextIterator is used only in HbvNext and that function is never used

Remove unused Compiler members

Move SIMD/Intrinsic handles out of Compiler

These handles require ~256 bytes and are only needed if the method uses SIMD/intrinsics. Also, the inlinee compiler can/should reuse them to avoid redundant name lookups.

Move temp info from Compiler to RegSet

Temporaries are only used during register allocation and code generation. They waste space (136 bytes) in the compiler object during inlining.

Allocate space for lvaTrackedToVarNum on demand

Compiler::lvaTrackedToVarNum requires 2 kbytes and it's not used when the compiler object is used for inlining.

Allocate space for the loop table on demand

Compiler::optLoopTable requires 2.5kbytes (the entire Compiler object is around 7.5kbytes) and it's not used when the method does not contain loops, when optimizations are disabled or when the compiler is used for inlining.

Pass CompAllocator by value (#15025)

Passing CompAllocator objects by value is advantageous because it no longer needs to be dynamically allocated and cached. CompAllocator instances can now be freely created, copied and stored, which makes adding new CompMemKind values easier.

Together with other cleanup this also improves memory allocation performance by removing some extra levels of indirection that were previously required - jitstd::allocator had a pointer to CompAllocator, CompAllocator had a pointer to Compiler and Compiler finally had a pointer to ArenaAllocator. Without MEASURE_MEM_ALLOC enabled, both jitstd::allocator and CompAllocator now just contain a pointer to ArenaAllocator. When MEASURE_MEM_ALLOC is enabled CompAllocator also contains a pointer but to a MemStatsAllocator object that holds the relevant memory kind. This way CompAllocator is always pointer sized so that enabling MEASURE_MEM_ALLOC does not result in increased memory usage due to objects that store a CompAllocator instance.

In order to implement this, 2 additional signficant changes have been made:
* MemStats has been moved to ArenaAllocator, it's after all the allocator's job to maintain statistics. This also fixes some issues related to memory statistics, such as not tracking the memory allocated by the inlinee compiler (since that one used its own MemStats instance).
* Extract the arena page pooling logic out of the allocator. It doesn't make sense to pool an allocator, it has very little state that can actually be reused and everyting else (including MemStats) needs to be reset on reuse. What really needs to be pooled is just a page of memory.

Since this was touching allocation code the opportunity has been used to perform additional cleanup:
* Remove unnecessary LSRA ListElementAllocator
* Remove compGetMem and compGetMemArray
* Make CompAllocator and HostAllocator more like the std allocator
* Update HashTable to use CompAllocator
* Update ArrayStack to use CompAllocator
* Move CompAllocator & friends to alloc.h

Update CoreClr, PgoData to preview1-26630-01, master-20180630-0049, respectively (#18729)

Fix build breaks with older MSVC compiler (#18725)

Fixing some Bmi1 HWIntrinsic method names (#18718)

Regex: reduce allocation slightly, add tests, code cleanup, add parser comments (#30632)

* RegexParser & optionsstack ref

* Add test coverage for Group.Synchronized

* Adjust options mode test case

* Add inline comment '#' test branch

* Add comments

* Replace manual ToLower calls by Span.ToLower

* Make applicable fields readonly in parser

* Change to Assert to reduce an if check in one branch

* Code formatting

* Avoid string allocation when IgnoreCase set

Prefix patterns which are passed to RegexBoyerMoore are already
lowercased by the parser. Remove the redundant ToLower() call and assert
the patterns lowercase state

* Add surrogate pair positive & negative tests

* Add test cases for rtl anchor

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Merge pull request #18715 from BruceForstall/FixSignedComparison

Fix issue with signed/unsigned comparison

optimize fgMorphTree for GenTreeArgList (#18582)

* add fgMorphArgList

* hide the call inside fgMorphSmpOp

* fix grammar mistakes

Remove build-only and TST jobs from the Jenkins views

We only want non-PR, "top-level" jobs in the views. Build-only
and TST jobs are always "child" jobs of other flow jobs, which
will be in the views.

Fix issue with signed/unsigned comparison

On Mac (maybe on other platforms using clang?) the following set of
comparisons in the emitter were done as unsigned:
```
(val >= 0xFFFFFFFF80000000LL)
```
even though 'val' is signed. This led to assertion failures. On Windows,
the comparisons were signed.

To fix this, cast the constant to the signed `ssize_t` type (to match `val`).

Fixes #18341

Merge pull request #18693 from BruceForstall/FixLinuxX64FlowJobs

Stop creating Linux/x64 corefx flow jobs

Change CancellationTokenRegistration.Unregister visibility from internal to public (#18698)

Corrected a few typos in the documentation and comments (#18706)

* Corrected a few typos in the documentation and comments

* Corrected a few typos in the documentation and comments

* Corrected a few typos in the documentation and comments

* Corrected a few typos in the documentation and comments

* Corrected a few typos in the documentation and comments

* Corrected a few typos in the documentation and comments

Improve bool.TryFormat perf (#18711)

* Improve bool.TryFormat perf

Improves throughput by ~50%, by avoiding AsSpan().CopyTo and just writing out the characters one-by-one.  I experimented with playing the same tricks around storing the data in a ulong and blitting it out to the destination reinterpreted as a span of ulongs, but it didn't make a measurable improvement and increased the code complexity.

* Update Boolean.cs

Merge pull request #18696 from CarolEidt/Fix18362

Fix & test for #18362

JIT: fix regression when returning struct with no fields on SysV (#18708)

The runtime classifies such structs as being returned by reference, so we
need to follow suit in the jit. If the classifier says the value can't be
returned in a register, then so be it.

Add a test case.

Add public implementation CultureDataSupport (#18691)

Update BuildTools, CoreClr, CoreFx, PgoData to preview1-02929-01, preview1-26629-04, preview1-26628-03, master-20180629-0054, respectively (#18694)

Remove relocations for vtable chunks (#17147)

* Separate sections READONLY_VCHUNKS and READONLY_DICTIONARY

* Remove relocations for second-level indirection of Vtable in case FEATURE_NGEN_RELOCS_OPTIMIZATIONS is enabled.

Introduce FEATURE_NGEN_RELOCS_OPTIMIZATIONS, under which NGEN specific relocations optimizations are enabled

* Replace push/pop of R11 in stubs with
  - str/ldr of R4 in space reserved in epilog for non-tail calls
  - usage of R4 with hybrid-tail calls (same as for EmitShuffleThunk)

* Replace push/pop of R11 for function epilog with usage of LR as helper register right before its restore from stack

LSRA: fix multi-reg ops under FIELD_LIST

Need to build a use for each reg.
Also, dump the defList if it's not empty at end of block.

Add test for #18362

Also add to the arm & arm64 tests.lst

Stop creating Linux/x64 corefx flow jobs

Merge pull request #18689 from BruceForstall/UpdateArmBuildDocumentation

Update ARM/Linux build directions

Update Tizen CI docker image (#18567)

* Update Tizen rootfs generation scripts for Tizen 5.0 M1

* Update Tizen CI docker image

* Update Tizen CI RID

Update ARM/Linux build directions

Update BuildTools, CoreClr, CoreFx, PgoData to preview1-02928-01, preview1-26627-04, preview1-26627-04, master-20180627-0051, respectively (master) (#18588)

* Update BuildTools, CoreClr, CoreFx, PgoData to preview1-02928-01, preview1-26627-04, preview1-26627-04, master-20180627-0051, respectively

* Rename netcoreapp2.2 => netcoreapp3.0

* Disable test for CoreFX update

Avoid capturing ExecutionContext into CancellationTokenSource's Timer (#18670)

* Avoid capturing ExecutionContext into CancellationTokenSource's Timer

It's not needed, and it can keep unrelated state alive unnecessarily

* Address PR feedback

Fix alternate stack cleanup on MUSL (#18685)

The MUSL implementation of sigaltstack checks that the ss.ss_size is
larger or equal than the MINSIGSTKSZ even when the ss_flags is set
to SS_DISABLE even though Linux man page for sigaltstack states that
when this flag is set, all other ss fields are ignored.

We were not setting the ss_size in this case and it was causing a memory
leak for each thread that has terminated on MUSL based Linux distros
like Alpine.

Glibc implementation doesn't check the ss_size when the SS_DISABLE is set
so the problem was really MUSL specific.