Remove random.NextDouble() from JIT/HardwareIntrinsics tests (#18838)

* Add ProjectReference to CoreCLRTestLibrary.csproj in the corresponding C# project files
* Replace usages of random.NextDouble() from GenerateTests.csx with CoreCLRTestLibrary.Generator.GetSingle()/GetDouble()
* Regenerate test files

Initial implementation of method fixup parser (#18749)

* Initial implementation of method fixup parser

I'm working on this right now in the CoreRT R2R compiler so I'm
adding the relevant structures and algorithms to the dumper
to let me analyze various R2R files and their method fixups.

I have locally verified that this shows reasonable fixup info
for my Hello World repro compiled both using the CoreRT R2R
compiled and using crossgen.

Thanks

Tomas

* Improvements in signature dumping

Signature dumping was slightly imprecise - the signature field
was named "Section" in the dump and it was displaying a dword,
however signatures are logically arbitrary byte streams.

Sadly I'm aware of no easy way to detect the length of an
arbitrary signature without adding a multitude of dedicated
parsers for the different signature types used by different
fixup / helper types so for now I'm displaying an 8-byte sample.

I have also made the formatting of the import section entries
more compact to make the list easier to read in the presence
of a larger number of fixups and I added support for displaying
the entry offset (as this is what the method fixups indirectly
refer to via the fixup indices).

Thanks

Tomas

* Move NibbleReader into a separate source file

Based on Amy's PR feedback I'm moving NibbleReader into a separate
source file. After all, I have a counterpart NibbleWriter.cs
in the R2R compiler codebase.

Thanks

Tomas

* Remove unnecessary usings from the new NibbleReader.cs file

As an additional bit of cleanup I used the VS refactoring tool
to remove unnecessary usings from the new NibbleReader source file.

Thanks

Tomas

Fixing encodeXmmRegAsIval to ensure the result meets the "fits in imm8" check

Merge pull request #18805 from CarolEidt/Fix18746

Don't change PUTARG_REG spill type on arm64

Fix two issues in Marshal.SecureStringToBSTR (#18851)

1. It wasn't synchronized, even though other operations on SecureString are in order to avoid concurrency problems leading to memory corruption issues (and it's synchronized on netfx).

2. It wasn't throwing an ObjectDisposedException if the instance was disposed.

Merge pull request #18812 from briansull/fix_610014

Fix 610014

Merge pull request #18653 from acmyu/build

R2RDump - Build integration

Regenerating the x86 HWIntrinsic tests to cover struct field scenarios

Updating the x86 HWIntrinsic test templates to test struct field scenarios

Move BinaryReader to shared CoreLib partition (#18845)

Exclude failing CoreFx test (#18844)

Updated fix for VSO 610014

Fixing a call to emitIns_SIMD_R_R_AR_R to pass arguments in the correct order

Exclude failing CoreFx test

Updating InstructionSet_BMI1/2 to be controlled by the COMPlus_EnableAVX flag and fixing formatting issues

Adding tests for the ParallelBitDeposit and ParallelBitExtract Bmi2 HWIntrinsics

Implementing the ParallelBitDeposit and ParallelBitExtract Bmi2 HWIntrinsics

Adding tests for the AndNot, ExtractLowestSetBit, GetMaskUpToLowestSetBit, and ResetLowestSetBit x86 HWIntrinsics

Implementing the AndNot, ExtractLowestSetBit, GetMaskUpToLowestSetBit, and ResetLowestSetBit x86 HWIntrinsics

Adding tests for the x86 TrailingZeroCount HWintrinsic

Implementing the x86 TrailingZeroCount HWIntrinsic

Renaming ScalarUnOpTest to ScalarSimdUnOpTest

Fix serialization type in NotFiniteNumberException (#18833)

Fix test errors

Use BuildManagedTools argument instead of environment variable, removed unneeded flags

Add R2RDump to build.proj, running dotnet restore before target build

CoreFX CI Unix Staging commit (#18750)

* Modify netci.groovy

* Add script exit codes

* Ad PR Triggers for Ubuntu and OSX10.12

* Remove release PR triggers

* Rename arch

Remove IsJitStressTestScenario assert

* Add correct asserts

* Reformat conditions and add triggers for Release/Checked/Debug

* Change %WORKSPACE% to \${WORKSPACE}

Fix a comment in the string.ToLower() method (#18832)

Line 307 is lowercasing the current character, but the comment says "store the current character, upper-cased", fixed comment to say "store the current character, lower-cased".
(Equivalent and correct "upper-cased" comment is on line 252)

Undo unnecessary BinaryReader::ReadOneChar/InternalReadOneChar split (#18830)

This method had misleading comment that this split is required for performance. It was the case when
InternalReadOneChar was called from other places in CoreLib. These calls do not exist anymore.

Moved ManualResetEventSlim to shared (#18799)

* Moved ManualResetEventSlim to shared

* covert System.int to System.Int32

Correct AssemblyLoadContext comment (#18809)

LastIndexOf corner case fix when span is empty (#18826)

Fix Span LastIndexOf empty value handling

TargetFrameworkName property initialized (#18814)

Improve DateTime{Offset}.ParseExact performance for "O"/"o" roundtrip format (#18800)

Ports the code used by Utf8Parser, modified to support things Utf8Parser doesn't but DateTime{Offset{.ParseExact do, such as single-digit offset hours.

Merge pull request #18795 from BruceForstall/RemoveArmemJobs

Remove Ubuntu/Ubuntu16.04 emulator CI jobs

Don't change PUTARG_REG type on arm64

Fix #18746

[ARM] Mention a clang-5.0 issue in the documentation (#18803)

Merge pull request #18775 from briansull/add-noway-assert

Add noway asserts in gtNewZeroConNode and gtNewOneConNode

Remove Ubuntu/Ubuntu16.04 emulator CI jobs

Now that we have Ubuntu arm hardware in the lab, these are unnecessary.

The jobs have also been failing for months.

Update certain Marshal APIs to match exception thrown on .NET Framework (#18791)

Update certain Marshal APIs to match exception thrown on Desktop

Added noway asserts in gtNewZeroConNode and gtNewOneConNode
Added source code change that was needed to service 4.7.2 in fgMorphRecursiveFastTailCallIntoLoop
Set zero/one to null after noway_assert

Merge pull request #18793 from BruceForstall/UpdateLibUnwindIssue

Update Linux ARM libunwind instructions

Update Linux ARM libunwind instructions

Enable genFnCalleeRegArgs for Arm64 Varargs (#18714)

* Enable genFnCalleeRegArgs for Arm64 Varargs

Before the method would early out and incorrectly expect the usage
of all incoming arguments to be their homed stack slots. It is
instead possible for incoming arguments to be homed to different
integer registers.

The change will mangle the float types for vararg cases in the same
way that is done during lvaInitUserArgs and fgMorphArgs.

* Apply format patch

* Account for softfp case

* Address feedback

* Apply format patch

* Use standard function header for mangleVarArgsType

* Remove confusing comment

Delete dead code (#18783)

- Leftover from unobserved exception desktop quirk
- Unnecessary calls to AppDomain.IsFinalizingForUnload(). They were actually never required even with AppDomain support because of Environment.HasShutdownStarted returns true during AppDomain unload.

Improve DateTime{Offset}.ParseExact{Multiple} performance for RFC1123 ("r") (#18771)

* Improve DateTime{Offset}.ParseExact{Multiple} performance for RFC1123 ("r")

Significantly improves the performance by porting and adapting the Utf8Parser code from corefx.  This optimizes for the (default) case of a DateTimeStyles.None; specifying any other style falls back to the normal parsing support, as that requires handling things such as arbitrary whitespace anywhere in the string.

* Address PR feedback

Re-enable jit regression test DevDiv_590771 (#18724)

The issue the test was hitting was worked around in #18292.

Fixes #17967.

Also add GitHub_18522_8 to the arm/arm64 lists (from #18708).

Add LastIndexOf compareoptions overload (#18652)

* Add LastIndexOf compareoptions overload

Adding tests for the byte overload of Ssse3.Shuffle

Adding support for the `byte` overload of `Ssse3.Shuffle`

Remove mention of security transparency from message and comment (#18776)

compGSReorderStackLayout is not supported when EnC is on (#18713)

Update CoreClr, CoreFx to preview1-26704-01, preview1-26704-01, respectively (#18773)

Delete InternalsVisibleTo attributes from S.P.CoreLib (#18697)

Merge pull request #18504 from mikedn/comp-small

Make Compiler and CodeGen objects smaller

add missing files to package properly on FreeBSD (#18764)

Merge pull request #18768 from CarolEidt/RemoveIsMultiReg

Remove Interval::isMultiReg

Merge pull request #18766 from CarolEidt/Fix18765

Build uses for atomic ops

Merge pull request #18716 from BruceForstall/RemoveTstJobsFromViews

Remove build-only and TST jobs from the Jenkins views

Update CoreClr, PgoData to preview1-26703-04, master-20180703-0030, respectively (#18761)

Remove Interval::isMultiReg

This is no longer used after #16517

Build uses for atomic ops

Fix #18765

Use generic win-x86/win-x64 RIDs in stress_dependencies

Add back most CreateInstance APIs to AppDomain and Activator (#18751)

* add ObjectHandle.cs

* add signature placeholder

* move CreateInstance from netfx

* move CreateInstanceFrom from netfx

* nit: visibility, text formatting

Update CoreFX CI packages to NetcoreApp3 (#18760)

* Update to FX CI packages to NetcoreApp3

* Add Extra Dependencies

* Enable all tests fixed by change

Updating SSE_StaticCast and AVX_StaticCast to set the correct type on the returned node.

Fold away Sse.StaticCast and Avx.StaticCast in the importer

Adding an Avx.StaticCast test (modified from the Sse.StaticCast test)

SuperPMI: add ability to exclude failing method contexts from replays (#18721)

* format spmi

* rename mchFile to mchFileName

* refactor ProcessChildStdOut

* add a stub to exclude methods

Set the activation context for the CoreRun application to what is defined (#18728)

in the target managed assembly. This allows RegFree COM scenarios and ensures
the intended app manifest is used for the 'exe' scenario.

Debug registers cannot be copied in user mode (#18730)

Dispatch Runtime Events to EventListener (#18649)

Update BuildTools, CoreClr, PgoData to preview1-03002-01, preview1-26702-04, master-20180702-0047, respectively (#18731)

Move RuntimeIDArg initialization (#18747)

Fixing up the Sse41.Insert float HWIntrinsics

reenable fixed arm64 altjit tests (#18722)

Add back DefinePInvokeMethod (#18742)

Adding back the tests for Avx.MaskLoad

Updating the Avx.Extract/Insert methods to throw PNSE when IsSupported is false

a

Removing unnecessary `try/catch` blocks from the ExtractScalar and InsertScalar HWIntrinsic test templates

Tabs vs. spaces (#18740)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Fix some build breaks seen with the older VS we use to build with on desktop. (#18736)

Fix recursive inlining of PInvoke stubs (#18737)

PInvoke stubs can be inlined into a regular methods in CoreRT. PInvoke transition
has to be inlined as well when that happens. Otherwise, there is a risk of recursive
inlining in corner cases.

Replace compGetMemArray uses

Fix incorrect lvaTrackedToVarNum memset size

Handle the missing cache case in gtGetStructHandleForSIMD

Allocate space for siLatestTrackedScopes on demand

By the time siLatestTrackedScopes is needed the number of tracked variables is known so we can allocate an array of suitable size. Defaulting to lclMAX_TRACKED requires 4 kbytes and for many small methods that's a waste.

Remove Compiler::impSmallStack

Memory allocation via ArenaAllocator is cheap so it's not worth having this inline array that ends up wasting 384 bytes when a larger stack is needed.

Care needs to be taken when inlining to avoid allocating a new stack every time - just steal the stack of the inliner compiler (after ensuring that it is large enough).

Cleanup hashBvGlobalData

Each compiler object contains a hashBvGlobalData that's 80 bytes in size. Only 16 bytes are actually used - the hash and node free lists.
* hbvFreeVectorList is supposed to be used by hashBv::freeVector but nothing calls that and getNewVector does not attempt to use the free list
* hbvHashSizeLog2 is always 0
* hashBvNextIterator is used only in HbvNext and that function is never used

Remove unused Compiler members

Move SIMD/Intrinsic handles out of Compiler

These handles require ~256 bytes and are only needed if the method uses SIMD/intrinsics. Also, the inlinee compiler can/should reuse them to avoid redundant name lookups.

Move temp info from Compiler to RegSet

Temporaries are only used during register allocation and code generation. They waste space (136 bytes) in the compiler object during inlining.

Allocate space for lvaTrackedToVarNum on demand

Compiler::lvaTrackedToVarNum requires 2 kbytes and it's not used when the compiler object is used for inlining.

Allocate space for the loop table on demand

Compiler::optLoopTable requires 2.5kbytes (the entire Compiler object is around 7.5kbytes) and it's not used when the method does not contain loops, when optimizations are disabled or when the compiler is used for inlining.

Pass CompAllocator by value (#15025)

Passing CompAllocator objects by value is advantageous because it no longer needs to be dynamically allocated and cached. CompAllocator instances can now be freely created, copied and stored, which makes adding new CompMemKind values easier.

Together with other cleanup this also improves memory allocation performance by removing some extra levels of indirection that were previously required - jitstd::allocator had a pointer to CompAllocator, CompAllocator had a pointer to Compiler and Compiler finally had a pointer to ArenaAllocator. Without MEASURE_MEM_ALLOC enabled, both jitstd::allocator and CompAllocator now just contain a pointer to ArenaAllocator. When MEASURE_MEM_ALLOC is enabled CompAllocator also contains a pointer but to a MemStatsAllocator object that holds the relevant memory kind. This way CompAllocator is always pointer sized so that enabling MEASURE_MEM_ALLOC does not result in increased memory usage due to objects that store a CompAllocator instance.

In order to implement this, 2 additional signficant changes have been made:
* MemStats has been moved to ArenaAllocator, it's after all the allocator's job to maintain statistics. This also fixes some issues related to memory statistics, such as not tracking the memory allocated by the inlinee compiler (since that one used its own MemStats instance).
* Extract the arena page pooling logic out of the allocator. It doesn't make sense to pool an allocator, it has very little state that can actually be reused and everyting else (including MemStats) needs to be reset on reuse. What really needs to be pooled is just a page of memory.

Since this was touching allocation code the opportunity has been used to perform additional cleanup:
* Remove unnecessary LSRA ListElementAllocator
* Remove compGetMem and compGetMemArray
* Make CompAllocator and HostAllocator more like the std allocator
* Update HashTable to use CompAllocator
* Update ArrayStack to use CompAllocator
* Move CompAllocator & friends to alloc.h

Update CoreClr, PgoData to preview1-26630-01, master-20180630-0049, respectively (#18729)

Fix build breaks with older MSVC compiler (#18725)

Fixing some Bmi1 HWIntrinsic method names (#18718)

Regex: reduce allocation slightly, add tests, code cleanup, add parser comments (#30632)

* RegexParser & optionsstack ref

* Add test coverage for Group.Synchronized

* Adjust options mode test case

* Add inline comment '#' test branch

* Add comments

* Replace manual ToLower calls by Span.ToLower

* Make applicable fields readonly in parser

* Change to Assert to reduce an if check in one branch

* Code formatting

* Avoid string allocation when IgnoreCase set

Prefix patterns which are passed to RegexBoyerMoore are already
lowercased by the parser. Remove the redundant ToLower() call and assert
the patterns lowercase state

* Add surrogate pair positive & negative tests

* Add test cases for rtl anchor

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>