Merge pull request #2321 from vargaz/top-runtime-invoke-opt

[jit] Add a 'top-runtime-invoke-unhandled' option to treat exceptions which reach the top invoke frame as unhandled when embedding.

Merge pull request #2392 from monojenkins/sync-pr-18634-from-mono

[mono] Prevent direct MonoClass field access

Add support for emitting inlining info in large version bubble (#1981)

The existing inlining info format wasn't ready for large version bubble. This adds a new table that uses the NativeHashtable to store the inlining info.

This implements support in crossgen2, r2rdump, and the runtime. Crossgen will keep generating the old format until crossgen is decommissioned.

Fix EventWrittenEventArgs.Keywords on EventSource error event (#2343)

When EventSource encounters an error, it emits an event with ID == 0.  The EventWrittenEventArgs.Keywords property is incorrectly trying to find keyword data for this event, resulting in a null ref when accessing the property on an error event.

Remove defunct !s after Roslyn changes for default(T) (#2377)

Update alpine arm64 image (#2370)

Merge pull request #2386 from vargaz/fix-wasm-mmap

[wasm] Fix mono_vfree ().

Add attribute to support inline namespaces in C++/CLI. (#781)

* Add attribute to support inline namespaces in C++/CLI.

A new assembly-scope custom attribute

[CppInlineNamespace(string dottedName)]

has been added to implement inline namespaces in C++/CLI. For every
inline namespace encountered in a translation unit, the C++ compiler
will emit this attribute with the fully scoped name, in CLR dotted
form, as the argument for the attribute.

* Add [CppInlineNamespace] to refs.

Fail FuncEval if slot backpatching lock is held by any thread (#2380)

- In many cases cooperative GC mode is entered after acquiring the slot backpatching lock and the thread may block for debugger suspension while holding the lock. A FuncEval may time out on entering the lock if for example it calls a virtual or interface method for the first time. Failing the FuncEval when the lock is held enables the debugger to fall back to other options for expression evaluation.
- Also added polls for debugger suspension before acquiring the slot backpatching lock on background threads that often operate in preemptive GC mode. A common case is when the debugger breaks while the tiering delay timer is active, the timer ticks shortly afterwards (after debugger suspension completes) and if a thread pool thread is already available, the background thread would block while holding the lock. The poll checks for debugger suspension and pulses the GC mode to block before acquiring the lock.
- The fix is only a heuristic and lessens the problem when it is detected that the lock is held by some thread. Since the lock is acquired in preemptive GC mode, it is still possible that after the check at the start of a FuncEval, another thread acquires the lock and the FuncEval may time out. The polling makes it less likely for the lock to be taken by background tiering work, for example if a FuncEval starts while rejitting a method.
- The expression evaluation experience may be worse when it is detected that the lock is held, and may still happen from unfortunate timing

Fix for https://github.com/dotnet/runtime/issues/1537

[master] Update dependencies from 4 repositories (#2074)

* Update dependencies from https://github.com/dotnet/arcade build 20200122.3

- Microsoft.DotNet.XUnitExtensions - 5.0.0-beta.20072.3
- Microsoft.DotNet.VersionTools.Tasks - 5.0.0-beta.20072.3
- Microsoft.DotNet.ApiCompat - 5.0.0-beta.20072.3
- Microsoft.DotNet.Arcade.Sdk - 5.0.0-beta.20072.3
- Microsoft.DotNet.Build.Tasks.Configuration - 5.0.0-beta.20072.3
- Microsoft.DotNet.Build.Tasks.Feed - 5.0.0-beta.20072.3
- Microsoft.DotNet.Build.Tasks.Packaging - 5.0.0-beta.20072.3
- Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk - 5.0.0-beta.20072.3
- Microsoft.DotNet.CodeAnalysis - 5.0.0-beta.20072.3
- Microsoft.DotNet.GenAPI - 5.0.0-beta.20072.3
- Microsoft.DotNet.XUnitConsoleRunner - 2.5.1-beta.20072.3
- Microsoft.DotNet.GenFacades - 5.0.0-beta.20072.3
- Microsoft.DotNet.Helix.Sdk - 5.0.0-beta.20072.3
- Microsoft.DotNet.RemoteExecutor - 5.0.0-beta.20072.3

* Update dependencies from https://github.com/dotnet/runtime-assets build 20200122.1

- System.Windows.Extensions.TestData - 5.0.0-beta.20072.1
- System.Security.Cryptography.X509Certificates.TestData - 5.0.0-beta.20072.1
- System.Private.Runtime.UnicodeData - 5.0.0-beta.20072.1
- System.Net.TestData - 5.0.0-beta.20072.1
- System.IO.Packaging.TestData - 5.0.0-beta.20072.1
- System.IO.Compression.TestData - 5.0.0-beta.20072.1
- System.Drawing.Common.TestData - 5.0.0-beta.20072.1
- System.ComponentModel.TypeConverter.TestData - 5.0.0-beta.20072.1

* Update dependencies from https://github.com/dotnet/arcade build 20200123.17

- Microsoft.DotNet.XUnitExtensions - 5.0.0-beta.20073.17
- Microsoft.DotNet.VersionTools.Tasks - 5.0.0-beta.20073.17
- Microsoft.DotNet.ApiCompat - 5.0.0-beta.20073.17
- Microsoft.DotNet.Arcade.Sdk - 5.0.0-beta.20073.17
- Microsoft.DotNet.Build.Tasks.Configuration - 5.0.0-beta.20073.17
- Microsoft.DotNet.Build.Tasks.Feed - 5.0.0-beta.20073.17
- Microsoft.DotNet.Build.Tasks.Packaging - 5.0.0-beta.20073.17
- Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk - 5.0.0-beta.20073.17
- Microsoft.DotNet.CodeAnalysis - 5.0.0-beta.20073.17
- Microsoft.DotNet.GenAPI - 5.0.0-beta.20073.17
- Microsoft.DotNet.XUnitConsoleRunner - 2.5.1-beta.20073.17
- Microsoft.DotNet.GenFacades - 5.0.0-beta.20073.17
- Microsoft.DotNet.Helix.Sdk - 5.0.0-beta.20073.17
- Microsoft.DotNet.RemoteExecutor - 5.0.0-beta.20073.17

* Update dependencies from https://github.com/dotnet/arcade build 20200124.6

- Microsoft.DotNet.XUnitExtensions - 5.0.0-beta.20074.6
- Microsoft.DotNet.VersionTools.Tasks - 5.0.0-beta.20074.6
- Microsoft.DotNet.ApiCompat - 5.0.0-beta.20074.6
- Microsoft.DotNet.Arcade.Sdk - 5.0.0-beta.20074.6
- Microsoft.DotNet.Build.Tasks.Configuration - 5.0.0-beta.20074.6
- Microsoft.DotNet.Build.Tasks.Feed - 5.0.0-beta.20074.6
- Microsoft.DotNet.Build.Tasks.Packaging - 5.0.0-beta.20074.6
- Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk - 5.0.0-beta.20074.6
- Microsoft.DotNet.CodeAnalysis - 5.0.0-beta.20074.6
- Microsoft.DotNet.GenAPI - 5.0.0-beta.20074.6
- Microsoft.DotNet.XUnitConsoleRunner - 2.5.1-beta.20074.6
- Microsoft.DotNet.GenFacades - 5.0.0-beta.20074.6
- Microsoft.DotNet.Helix.Sdk - 5.0.0-beta.20074.6
- Microsoft.DotNet.RemoteExecutor - 5.0.0-beta.20074.6

* Update dependencies from https://github.com/dotnet/arcade build 20200125.3

- Microsoft.DotNet.XUnitExtensions - 5.0.0-beta.20075.3
- Microsoft.DotNet.VersionTools.Tasks - 5.0.0-beta.20075.3
- Microsoft.DotNet.ApiCompat - 5.0.0-beta.20075.3
- Microsoft.DotNet.Arcade.Sdk - 5.0.0-beta.20075.3
- Microsoft.DotNet.Build.Tasks.Configuration - 5.0.0-beta.20075.3
- Microsoft.DotNet.Build.Tasks.Feed - 5.0.0-beta.20075.3
- Microsoft.DotNet.Build.Tasks.Packaging - 5.0.0-beta.20075.3
- Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk - 5.0.0-beta.20075.3
- Microsoft.DotNet.CodeAnalysis - 5.0.0-beta.20075.3
- Microsoft.DotNet.GenAPI - 5.0.0-beta.20075.3
- Microsoft.DotNet.XUnitConsoleRunner - 2.5.1-beta.20075.3
- Microsoft.DotNet.GenFacades - 5.0.0-beta.20075.3
- Microsoft.DotNet.Helix.Sdk - 5.0.0-beta.20075.3
- Microsoft.DotNet.RemoteExecutor - 5.0.0-beta.20075.3

* Update dependencies from https://github.com/dotnet/arcade build 20200126.3

- Microsoft.DotNet.XUnitExtensions - 5.0.0-beta.20076.3
- Microsoft.DotNet.VersionTools.Tasks - 5.0.0-beta.20076.3
- Microsoft.DotNet.ApiCompat - 5.0.0-beta.20076.3
- Microsoft.DotNet.Arcade.Sdk - 5.0.0-beta.20076.3
- Microsoft.DotNet.Build.Tasks.Configuration - 5.0.0-beta.20076.3
- Microsoft.DotNet.Build.Tasks.Feed - 5.0.0-beta.20076.3
- Microsoft.DotNet.Build.Tasks.Packaging - 5.0.0-beta.20076.3
- Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk - 5.0.0-beta.20076.3
- Microsoft.DotNet.CodeAnalysis - 5.0.0-beta.20076.3
- Microsoft.DotNet.GenAPI - 5.0.0-beta.20076.3
- Microsoft.DotNet.XUnitConsoleRunner - 2.5.1-beta.20076.3
- Microsoft.DotNet.GenFacades - 5.0.0-beta.20076.3
- Microsoft.DotNet.Helix.Sdk - 5.0.0-beta.20076.3
- Microsoft.DotNet.RemoteExecutor - 5.0.0-beta.20076.3

* Update dependencies from https://github.com/dotnet/arcade build 20200127.7

- Microsoft.DotNet.XUnitExtensions - 5.0.0-beta.20077.7
- Microsoft.DotNet.VersionTools.Tasks - 5.0.0-beta.20077.7
- Microsoft.DotNet.ApiCompat - 5.0.0-beta.20077.7
- Microsoft.DotNet.Arcade.Sdk - 5.0.0-beta.20077.7
- Microsoft.DotNet.Build.Tasks.Configuration - 5.0.0-beta.20077.7
- Microsoft.DotNet.Build.Tasks.Feed - 5.0.0-beta.20077.7
- Microsoft.DotNet.Build.Tasks.Packaging - 5.0.0-beta.20077.7
- Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk - 5.0.0-beta.20077.7
- Microsoft.DotNet.CodeAnalysis - 5.0.0-beta.20077.7
- Microsoft.DotNet.GenAPI - 5.0.0-beta.20077.7
- Microsoft.DotNet.XUnitConsoleRunner - 2.5.1-beta.20077.7
- Microsoft.DotNet.GenFacades - 5.0.0-beta.20077.7
- Microsoft.DotNet.Helix.Sdk - 5.0.0-beta.20077.7
- Microsoft.DotNet.RemoteExecutor - 5.0.0-beta.20077.7

* Bang some nullability warnings on generics

* Update dependencies from https://github.com/dotnet/arcade build 20200129.8

- Microsoft.DotNet.XUnitExtensions - 5.0.0-beta.20079.8
- Microsoft.DotNet.VersionTools.Tasks - 5.0.0-beta.20079.8
- Microsoft.DotNet.ApiCompat - 5.0.0-beta.20079.8
- Microsoft.DotNet.Arcade.Sdk - 5.0.0-beta.20079.8
- Microsoft.DotNet.Build.Tasks.Configuration - 5.0.0-beta.20079.8
- Microsoft.DotNet.Build.Tasks.Feed - 5.0.0-beta.20079.8
- Microsoft.DotNet.Build.Tasks.Packaging - 5.0.0-beta.20079.8
- Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk - 5.0.0-beta.20079.8
- Microsoft.DotNet.CodeAnalysis - 5.0.0-beta.20079.8
- Microsoft.DotNet.GenAPI - 5.0.0-beta.20079.8
- Microsoft.DotNet.XUnitConsoleRunner - 2.5.1-beta.20079.8
- Microsoft.DotNet.GenFacades - 5.0.0-beta.20079.8
- Microsoft.DotNet.Helix.Sdk - 5.0.0-beta.20079.8
- Microsoft.DotNet.RemoteExecutor - 5.0.0-beta.20079.8

* Update dependencies from https://github.com/microsoft/vstest build 20200130-01

- Microsoft.NET.Test.Sdk - 16.5.0-preview-20200130-01

* Remove obsolete namespace for MonoAttribute

Co-authored-by: Santiago Fernandez Madero <safern@microsoft.com>
Co-authored-by: Viktor Hofer <viktor.hofer@microsoft.com>

Tweak Regex compiler's FindFirstChar code gen (#2342)

* Tweak Regex compiler's FindFirstChar code gen

- If we're able to use IndexOf{Any} and we don't have any information on subsequent characters, we can avoid spitting the code related to looping, avoid unnecessary slicing, etc.
- If the Boyer-Moore prefix contains non-ASCII text, we currently don't use it when compiling FindFirstChar, but we previously made a change to also skip computing other prefix information if we got a Boyer-Moore prefix, which ends up making FindFirstChar terrible when there's Unicode in the prefix string.  This fixes that to still compute the other prefix information in that case.
- We're currently often generating multiple "this.runtextpos = runtextend; return false" blocks.  We can consolidate them.
- Makes a few cleanliness changes to the assembly generator, e.g. ensuring the internal types are sealed, the types are all beforefieldinit as the C# compiler would do, etc.

Also added/tweaked a few tests.

* Address PR feedback

Allow using non-backtracking code gen for captures in atomic groups (#2327)

I think it was an oversight that I didn't include Atomic in this list previously.  This lets our better non-backtracking code gen be used even when captures are inside of atomic groups.

[mono] Prevent direct MonoClass field access

Fixes mono/mono#15544

### After adding configure flag
<img width="874" alt="Screen Shot 2020-01-30 at 10 54 25 AM" src="https://user-images.githubusercontent.com/16830051/73466184-81f4c180-434f-11ea-87f0-0863c32b1251.png">

### After using m_class accessors
<img width="865" alt="Screen Shot 2020-01-30 at 10 55 04 AM" src="https://user-images.githubusercontent.com/16830051/73466229-93d66480-434f-11ea-8914-cef5571a0528.png">

<!--
Thank you for your Pull Request!

If you are new to contributing to Mono, please try to do your best at conforming to our coding guidelines http://www.mono-project.com/community/contributing/coding-guidelines/ but don't worry if you get something wrong. One of the project members will help you to get things landed.

Does your pull request fix any of the existing issues? Please use the following format: Fixes #issue-number
-->

[wasm] Fix mono_vfree ().

[wasm][debugger] Cancel Existing Single Step Request When Creating New (#2309)

When stepping out of a c# breakpoint into the runtime (or JS... Not sure if that's accurate),
multiple single step requests can be created when the breakpoint is hit again.  In order to handle this scenario for wasm, we just cancel the existing one.

Port more Regex doc samples to tests (#2326)

* Port more Regex doc samples to tests

* Address PR feedback

Pass native build args from top-level scripts (#2071)

* Pass native build args from top-level scripts

* Remove obsolete message; switch platform/arch order

* Move export to a separate line

* Use URL-encoding to escape msbuild CMakeArgs property

Improve thunk call disassembly in R2RDump (#2297)

* Improve thunk call disassembly in R2RDump

This change improves the disassembly of thunk-based calls to R2R
helpers used by Crossgen1 and considered for Crossgen2 to improve
disassembly quality and facilitate easier comparison of Crossgen1
vs. Crossgen2 codegen.

I have also added new options for hiding the instruction offsets
in the disassembly and for omitting functions with identical
disassembly in the common functions diff output. For SPC this
reduced the size of the dump in <code>--naked --hide-offsets
--diff-hide-same-disasm</code> mode by about one half.

In view of the fact that Andrew wasn't too happy about my change
to stop logging to the console I further simplified the related
code by basically reverting that aspect of my change in a more
radical manner.

I have also moved the call to CoreDisTools.ClearOutputBuffer
into CoreDisTools.GetInstruction so that we don't need to call it
manually in the higher-level code.

Thanks

Tomas

* JanV's PR feedback: use spaces, not tabs, in R2RDump output

Nullable annotate System.Reflection.MetadataLoadContext.

* Nullable annotate System.Reflection.MetadataLoadContext

* address feedback

* address feedback

* undo accidental change

* address more feedback

* Revert "address more feedback"

This reverts commit 6519238856c318186ef225e360f732780038d435.

Hide redundant members from debugger views (#2361)

For a destination register use scalar forms (i.e. Sd, Hd, Bd) instead of vector ones (i.e. Vd.2S, Vd.4H, Vd.2B) for instructions that return scalar result (e.g. addv, smaxv, umaxv) in emitDispIns in emitarm64.cpp (#2324)

[Arm64] Support Vector64<double>, Vector64<long>, and Vector64<ulong> (#1747)

* Add "LoadVector64" for Vector64<double>, Vector64<long> and Vector64<ulong> in AdvSimd.PlatformNotSupported.cs AdvSimd.cs

* Update "Abs" and "AbsScalar" in AdvSimd.PlatformNotSupported.cs AdvSimd.cs

* Update "AbsoluteCompareGreaterThan" and "AbsoluteCompareGreaterThanScalar" in AdvSimd.PlatformNotSupported.cs AdvSimd.cs

* Update "AbsoluteCompareGreaterThanOrEqual" and "AbsoluteCompareGreaterThanOrEqualScalar" in AdvSimd.PlatformNotSupported.cs AdvSimd.cs

* Update "AbsoluteCompareLessThan" and "AbsoluteCompareLessThanScalar" in AdvSimd.PlatformNotSupported.cs AdvSimd.cs

* Update "AbsoluteCompareLessThanOrEqual" and "AbsoluteCompareLessThanOrEqualScalar" in AdvSimd.PlatformNotSupported.cs AdvSimd.cs

* Add "AbsoluteDifferenceScalar" in AdvSimd.cs AdvSimd.PlatformNotSupported.cs

* Update "AddScalar" in AdvSimd.cs AdvSimd.PlatformNotSupported.cs

* Update "BitwiseSelect" in AdvSimd.cs AdvSimd.PlatformNotSupported.cs

* Update "CompareEqual" and "CompareEqualScalar" in AdvSimd.Arm64 in AdvSimd.cs AdvSimd.PlatformNotSupported.cs

* Re-order "CompareEqual" in AdvSimd in AdvSimd.cs AdvSimd.PlatformNotSupported.cs

* Update "CompareGreaterThan" and "CompareGreaterThanScalar" in AdvSimd.Arm64 in AdvSimd.cs AdvSimd.PlatformNotSupported.cs

* Update "CompareGreaterThan" in AdvSimd in AdvSimd.cs AdvSimd.PlatformNotSupported.cs

* Update "CompareGreaterThanOrEqual" and "CompareGreaterThanOrEqualScalar" in AdvSimd.Arm64 in AdvSimd.cs AdvSimd.PlatformNotSupported.cs

* Update "CompareGreaterThanOrEqual" in AdvSimd in AdvSimd.cs AdvSimd.PlatformNotSupported.cs

* Update "CompareLessThan" and "CompareLessThanScalar" in AdvSimd.Arm64 in AdvSimd.cs AdvSimd.PlatformNotSupported.cs

* Update "CompareLessThan" in AdvSimd in AdvSimd.cs AdvSimd.PlatformNotSupported.cs

* Update "CompareLessThanOrEqual" and "CompareLessThanOrEqualScalar" in AdvSimd.Arm64 in AdvSimd.cs AdvSimd.PlatformNotSupported.cs

* Update "CompareLessThanOrEqual" in AdvSimd in AdvSimd.cs AdvSimd.PlatformNotSupported.cs

* Update "CompareTest" and "CompareTestScalar" in AdvSimd.Arm64 in AdvSimd.cs AdvSimd.PlatformNotSupported.cs

* Update "CompareTest" in AdvSimd in AdvSimd.cs AdvSimd.PlatformNotSupported.cs

* Update "LeadingSignCount" in AdvSimd.cs AdvSimd.PlatformNotSupported.cs

* Update "LeadingZeroCount" in AdvSimd.cs AdvSimd.PlatformNotSupported.cs

* Update "PopCount" in AdvSimd.cs AdvSimd.PlatformNotSupported.cs

* Update System.Runtime.Intrinsics.Experimental.cs

* Re-order "AbsScalar" in hwintrinsiclistarm64.h

* Re-order "TransposeEven" and "TransposeOdd" in hwintrinsiclistarm64.h

* Update "Abs" in AdvSimd and AdvSimd_Arm64 in hwintrinsiclistarm64.h

* Update "AbsScalar" in AdvSimd and AdvSimd_Arm64 in hwintrinsiclistarm64.h

* Update "AbsoluteCompareGreaterThan" and "AbsoluteCompareGreaterThanScalar" in AdvSimd_Arm64 in hwintrinsiclistarm64.h

* Update "AbsoluteCompareGreaterThanOrEqual" and "AbsoluteCompareGreaterThanOrEqualScalar" in AdvSimd_Arm64 in hwintrinsiclistarm64.h

* Update "AbsoluteCompareLessThan" and "AbsoluteCompareLessThanScalar" in AdvSimd_Arm64 in hwintrinsiclistarm64.h

* Update "AbsoluteCompareLessThanOrEqual" and "AbsoluteCompareLessThanOrEqualScalar" in AdvSimd_Arm64 in hwintrinsiclistarm64.h

* Add "AbsoluteDifferenceScalar" in AdvSimd_Arm64 in hwintrinsiclistarm64.h

* Update "AddScalar" in AdvSimd in hwintrinsiclistarm64.h

*  Update "Add" in AdvSimd_Arm64 in hwintrinsiclistarm64.h

* Add "CompareEqualScalar" in AdvSimd_Arm64 in hwintrinsiclistarm64.h

* Add "CompareGreaterThanScalar" and "CompareGreaterThanOrEqualScalar" in AdvSimd_Arm64 in hwintrinsiclistarm64.h

* Add "CompareLessThanScalar" and "CompareLessThanOrEqualScalar" in AdvSimd_Arm64 in hwintrinsiclistarm64.h

* Add "CompareTestScalar" in AdvSimd_Arm64 in hwintrinsiclistarm64.h

* Add AdvSimd_Arm64_CompareLessThanScalar AdvSimd_Arm64_CompareLessThanOrEqualScalar AdvSimd_Arm64_AbsoluteCompareLessThanScalar AdvSimd_Arm64_AbsoluteCompareLessThanOrEqualScalar in hwintrinsiccodegenarm64.cpp

* Support Vector64<double>, Vector64<long> and Vector64<ulong> in Compiler::getBaseTypeAndSizeOfSIMDType() in compiler.h simd.cpp

* Stop treating Vector64<long>, Vector64<ulong> and Vector64<double> as unsupported types in MethodTable::GetVectorSize() in class.cpp

* Support scalar comparison operations in emitarm64.cpp

* For SimpleSIMD instructions that operates on 64x1 type remove INS_OPTS_1D in hwintrinsiccodegenarm64.cpp

* Add special hanling for SIMDIntrinsicInit for Vector64<double> in CodeGen::genSIMDIntrinsicInit in codegenarm64.cpp

* Add an assertion since INS_dup does not have .1D encoding in emitarm64.cpp

* Add LoadVector64 tests for Vector64<double>, Vector64<long> and Vector64<ulong> in GenerateTests.csx

* Add "Add" in Helpers.cs Helpers.tt

* Add "Abs" in Helpers.cs Helpers.tt

* Update "Abs" in AdvSimd in GenerateTests.csx

* Update "AbsScalar" in AdvSimd in GenerateTests.csx

* Update "Abs" and "AbsScalar" in AdvSimd.Arm64 in GenerateTests.csx

* Update "AbsoluteCompare*" in AdvSimd in GenerateTests.csx

* Update "AbsoluteCompare*" in AdvSimd.Arm64 in GenerateTests.csx

* Update "AbsoluteDifference" in AdvSimd in GenerateTests.csx

* Update "AbsoluteDifference" in AdvSimd.Arm64 in GenerateTests.csx

* Update "Add" in AdvSimd in GenerateTests.csx

* Update "AddScalar" in AdvSimd in GenerateTests.csx

* Update "AddScalar" in AdvSimd.Arm64 in GenerateTests.csx

* Update "BitwiseSelect" in AdvSimd in GenerateTests.csx

* Update "AddAcross" in AdvSimd.Arm64 in GenerateTests.csx

* Update "CompareEqual" in AdvSimd in GenerateTests.csx

* Update "CompareEqual" and "CompareEqualScalar" in AdvSimd.Arm64 in GenerateTests.csx

* Update "CompareGreaterThan" in AdvSimd in GenerateTests.csx

* Update "CompareGreaterThan" and "CompareGreaterThanScalar" in AdvSimd.Arm64 in GenerateTests.csx

* Update "CompareGreaterThanOrEqual" in AdvSimd in GenerateTests.csx

* Update "CompareGreaterThanOrEqual" and "CompareGreaterThanOrEqualScalar" in AdvSimd.Arm64 in GenerateTests.csx

* Update "CompareLessThan" in AdvSimd in GenerateTests.csx

* Update "CompareLessThan" and "CompareLessThanScalar" in AdvSimd.Arm64 in GenerateTests.csx

* Update "CompareLessThanOrEqual" in AdvSimd in GenerateTests.csx

* Update "CompareLessThanOrEqual" and "CompareLessThanOrEqualScalar" in AdvSimd.Arm64 in GenerateTests.csx

* Update "CompareTest" in AdvSimd in GenerateTests.csx

* Update "CompareTest" and "CompareTestScalar" in AdvSimd.Arm64 in GenerateTests.csx

* Update "LeadingSignCount" in AdvSimd in GenerateTests.csx

* Update "LeadingZeroCount" in AdvSimd in GenerateTests.csx

* Update "PopCount" in AdvSimd in GenerateTests.csx

* Update "LoadVector64" in AdvSimd in GenerateTests.csx

* Update "LoadVector128" in AdvSimd in GenerateTests.csx

* Use ValidateIterResult in LoadUnOpTest.template

* Update AdvSimd/ AdvSimd.Arm64/

Update test OS matrix

* Update all docker-based configurations to the latest tags
* Remove Alpine 3.8 (near EOL)
* Add Alpine 3.11
* Remove Fedora 28 (EOL)
* Add Fedora 30
* Add OSX 10.15 to fullMatrix runs

Add periodic schedule for the R2R pipeline (#2358)

Improve GC stress tests (#2166)

[wasm][debugger] Initial support for proxying flat sessions (#2263)

Initial support means handling the browser endpoint and proxying any sessionId values, along with making sure we load pdbs as things start initializing

Co-authored-by: Larry Ewing <lewing@microsoft.com>

Add a fallback condition for musl ldd check (#2336)

If ldd fails with Exec format error, attempt to locate musl token
in the output of `strings /path/ldd`.

Use Arcade-provided IBCMerge support for System.Private.CoreLib. (#2308)

* Use Arcade-provided IBCMerge support.

* Clean up build.sh as well.

* Restore internal tools on Windows and Unix instead of just Windows.

* Remove unused item metadata.

Disable Regex long pattern string test on .NET Framework (#2366)

Fix parsing of '-' when inside a range (#1075)

Revert "Nullable annotate System.Reflection.MetadataLoadContext (#1943)" (#2360)

This reverts commit c541ea976b7cdae36462392d774b02bad7ea328e.

Fix double expansion of AggregateException.Flatten message (#605)

* Fix double expansion of AggregateException.Flatten message

* Update tests

Merging small assemblies (part 1/N) (#2189)

* Delete unnecessary ClsCompliant

* Merge System.Diagnostics.Tools\src into CoreLib

* Merge System.Security.Pricipal\src into CoreLib

* Delete System.IO.UnmanagedMemoryStream\ref\System.IO.UnmanagedMemoryStream.cs

* Delete System.Reflection\ref\System.Reflection.cs

* Delete  System.Threading.Timer\src\ApiCompatBaseline.uapaot.txt

* Delete System.Buffers\src\Resources\Strings.resx

* Merge System.Buffers\ref into System.Runtime

* Merge System.Diagnostics.Debug\ref into System.Runtime

* Delete *\MatchingRefApiCompatBaseline.txt

* Merge System.Diagnostics.Tools into System.Runtime\ref

* Merge System.Resources.ResourceManager into System.Runtime\ref

* Cleanup System.IO.* project references

* Cleanup System.Reflection project references

* Cleanup System.Runtime.Handles project references

* Merge System.Threading.Thread\src into CoreLib

* Merge System.Threading.Timer\ref into System.Runtime

* Merge System.Threading.Tasks\ref into System.Runtime

Revert "Dead Ending Microsoft.CSharp Package and Bumping the leftout assembly versions to 5.0.0.0 (#2264)" (#2344)

This reverts commit 5fca04171171f118bca0f93aa9741f205b8cdc29.

typo - removed unneeded word in a comment (#2331)

Limit jit format.py to src/coreclr/src/jit (#2328)

[merp] MONO_DEBUG=no-gdb-stacktrace shouldn't disable MERP (#2149)

Only prevent `gdb` or `lldb` from being invoked.

MERP is controlled by separate mechanisms --- configure flags for crash
reporting and an explicit opt-in icall.

The existing code collects crashed process data in-process, but it writes the
data out (using mono_merp_invoke) in the forked child process.  This is a bit
surprising, but in the interest of not disturbing the code too much, this PR
doesn't change that.  We should revisit `dump_native_stacktrace` again in the
future and rationalize these decisions.

Addresses https://github.com/mono/mono/issues/18565

Co-authored-by: Aleksey Kliger <alklig@microsoft.com>

Nullable annotate System.Reflection.MetadataLoadContext (#1943)

* Nullable annotate System.Reflection.MetadataLoadContext

* address feedback

* address feedback

* undo accidental change

* address more feedback

Refactor handling of non-SOH generations (#1688)

* refactoring

* ploh-->uoh

* fix Linux build
PR feedback

* some PR feedback

* more PR feedback

more PR feedback

* more PR feedback

* address comments in UpdatePreGCCounters

* removed a confusing comment

* stress fix in background sweep

* use `saved_sweep_ephemeral_seg` in background sweep.

* fixed `GCPerHeapHistory_V3` event.

* re-implemented https://github.com/dotnet/runtime/pull/2103 on top of refactoring  (it was hard to merge)

Construct TypedReference on top of ByReference (#2216)

CoreCLR and Crossgen2 need to special case TypedReference because it's not a regular byref-like type (constructed on top of `ByReference<T>` fields). This gets rid of the special casing.

Use different artifact name for Mono vs CoreCLR (#2292)

Currently during a build-job, we overwrite existing artifacts as CoreCLR
and Mono use the same artifact name. Adding the runtime flavor name as
a differentiator.

Emit Partial/PlatformNeutralSource flags in R2R header (#2282)

I added the partial flag to the legacy crossgen in dotnet/coreclr#22680 but crossgen2 was missing it. Also added platform neutral source since it's easy.

Delete dead code in Crossgen's Program.cs (#2304)

* We don't need a workaround for a desktop framework bug since we don't have an ambition to run on desktop framework anymore.
* We don't need the entrypoint module.

Enable inline type checks for all type equality cases (#2276)

Now that method tables are not shared by distinct types, we can always emit
inlined type equality tests.

Closes #1258.

[interp] Fix virtual calls in mixed mode (#2299)

Alternative to https://github.com/mono/mono/pull/18475 which doesn't ignore mixed mode virtual call performance. It is 20% faster with this approach.

Fixes https://github.com/mono/mono/issues/14206

Co-authored-by: Vlad Brezae <brezaevlad@gmail.com>

Dead Ending Microsoft.CSharp Package and Bumping the leftout assembly versions to 5.0.0.0 (#2264)

* deadending Microsoft.Csharp Package and bumping the assembly versions

* retargeting and clean up

* Update Microsoft.CSharp.csproj

* fixing the build

* reference -> projectreference

* adding ignored reference

Revert "Disable test based on #129 (#130)" (#2310)

This reverts commit 3a2dc0f8429b922fa254a1ba6f751b79259275b1.

Fixed by https://github.com/dotnet/runtime/pull/1457. Closes https://github.com/dotnet/runtime/issues/129.

Add support for multiple char classes in FindFirstChars (#2254)

* Add a "multi first" check for FindFirstChars

FindFirstChars already has multiple things it checks for:
- If the expression is anchored, it checks the current position for that anchor.
- If we were able to compute a min required length, it checks for that much space remaining.
- If we were able to analyze the expression and come up with a string of text of multiple characters that must be at the beginning of any expression, we use Boyer-Moore to find it.
- If we were able to analyze the expression to come up with a character class that must match the first character in the input, we iterate through looking for that (and if possible, use IndexOf{Any} to speed that along).

This PR extends that last check to try to create a character class not just for the first character in the input, but for the first N characters in the input.  The check isn't as robust, mainly focused on expressions beginning with an alternation (often when it's global), so it's a separate check we try first, and only fall back to the more robust single-class analysis if we were unsuccessful.

By checking multiple characters, we're able to stay in a tighter loop inside of FindFirstChars.  In the future, we could look at replacing this with something potentially even better, such as a vectorized search for multiple starting strings.

* Address PR feedback

Disable System.Net.* tests on Mono that are also disabled on CoreCLR (#2318)

Should help with https://github.com/dotnet/runtime/issues/2316

Remove format.patch (#2323)

Thies file was added accidentally as part of #1735

[jit] Add a 'top-runtime-invoke-unhandled' option to treat exceptions which reach the top invoke frame as unhandled when embedding.

This is not really a MONO_DEBUG option, but easier to implement it this way.

Move libraries internal restore before repo restore, produce a restore binlog and increase verbosity (#2311)

* Move libraries internal restore before repo restore, produce a restore binlog and increase verbosity

* Use SDK from global.json

Add build skip functionality for servicing builds (#2291)

JIT: remove inlining restriction for some methods that throw (#2232)

We were blocking inlines for methods that throw with more than one thing on the
evaluation stack. There was already logic for the non-inlining case to flush
the stack and preserve pending side effects. So we can simply remove the
inlining restriction.

Fixes #2156.

Improve call counting mechanism (#1457)

Improve call counting mechanism

- Call counting through the prestub is fairly expensive and can be seen immediately after call counting begins
- Added call counting stubs. When starting call counting for a method:
  - A `CallCountingInfo` is created and initializes a remaining call count with a threshold
  - A `CallCountingStub` is created. It contains a small amount of code that decrements the remaining call count and checks for zero. When nonzero, it jumps to the code version's native code entry point. When zero, it forwards to a helper function that handles tier promotion.
  - When the call count threshold is reached, the helper call enqueues completion of call counting for background processing
  - When completing call counting, the code version is enqueued for promotion, and the call counting stub is removed from the call chain
  - Once all work queued for promotion is completed and methods transitioned to optimized tier, call counting stubs are deleted based on some heuristics and under runtime suspension
- The `CallCountingManager` is the main class with most of the logic. Its private subclasses are just simple data structures.
- Call counting is done at a `NativeCodeVersion` level (stub association is with the code version)
- The code versioning lock is used for data structures used for call counting. Since installing a call counting stub requires that we know what the currently active code version is, it made sense to use the same lock.
- Call counting stubs have hardcoded code. x64 has short and long stubs, short stubs are used when possible (often) and use IP-relative branches to the method's code and helper stub. Other platforms have only one type of stub (a short stub).
- For tiered methods that don't have a precode (virtual and interface methods), a forwarder stub (a precode) is created and it forwards to the call counting stub. This is so that the call counting stub can be safely and easily deleted. The forwarder stubs are only used when counting calls, there is one per method (not per code version), and they are not deleted. See `CallCountingManager::SetCodeEntryPoint()` for more info.
- The `OnCallCountThresholdReachedStub()` takes a "stub-identifying token". The helper call gets a stub address from it, and tells whether it's a short or long stub. From the stub, the remaining call count pointer is used to get the `CallCountingInfo`, and from it gets the `NativeCodeVersion` associated with the stub.
- The `CallCountingStubManager` traces through a call counting stub so that VS-like debuggers can step into a method through the call counting stub
- Exceptions (OOM)
  - On foreground threads, exceptions are propagated unless they can be handled without any compromise
  - On background threads, exceptions are caught and logged as before. Tried to limit scope of exception to one per method or code version such that a loop over many would not all be aborted by one exception.
- Fixed a latent race where a method is recorded for call counting and then the method's code entry point is set to tier 0 code
  - With that order, the tiering delay may expire and the method's entry point may be updated for call counting in the background before the code entry point is set by the recording thread, and that last action would disable call counting for the method and cause it to not be optimized. The only thing protecting from this happening was the delay itself, but a configured shorter delay increases the possibility of this happening.
  - Inverted the order such that the method's code entry point is set before recording it for call counting, both on first and subsequent calls
  - Changed the tiered compilation lock to be an any-GC-mode lock so that it can be taken inside the code versioning lock, as some things were more naturally placed inside the code versioning lock where we know the active code version, like checking for the tiering delay to delay call counting and promoting the code version when the call count threshold is reached
    - Unfortunately, that makes code inside the lock a GC-no-trigger scope and things like scheduling a timer or queuing a work item to the thread pool could not be done inside that scope. This tradeoff seems to be better than alternatives, so refactored those pieces to occur outside that scope.
- Publishing an entry point after changing the active code version now takes call counting into account, fixes https://github.com/dotnet/coreclr/issues/22426
- After the changes:
  - Call counting overhead is much smaller and is not many orders of magnitude greater than a method call
  - Some config modes for tuning tiering are now much more reasonable and do not affect perf negatively nearly as much as before - increasing call count threshold, disabling or decreasing the tiering delay. Enables dynamic thresholds in the future, which is not feasible due to the overhead currently.
  - No change to startup or steady-state perf
- Left for later
  - Eventing work to report call counting stub code ranges and method name (also needs to be done for other stubs)
  - Some tests that consume events to verify run-time behavior in a few config modes
  - Debugger test to verify debugging while call-counting. Debugger tests also need to be fixed for tiering.
  - The call count threshold has not been changed for now. As we don't have many tests that measure the performance in-between startup and steady-state, some will need to be created maybe from existing tests, to determine the effects
- Fixes https://github.com/dotnet/coreclr/issues/23596

Use process_vm_readv to read remote memory when available on createdump

Include error details when stream can't be opened for parsing in host (#2287)

Remove workaround for Build.SourcesDirectory variable in containers (#2261)

Make string._stringLength readonly (#2001)

Annotate System.Security.AccessControl for nullable (#1992)

* Annotate System.Security.AccessControl for nullable

SmtpClientTest: re-enable TestZeroTimeout (#2085)

Remove "ActiveIssue" attribute from test (#2146)

Update SerialPort.Linux.cs (#2009)

* Update SerialPort.Linux.cs

add ttyGSX devices to supported devices

* Apply suggestions from code review

Entry can only be ttyGSx. when its not ttySx

Co-Authored-By: Stephen Toub <stoub@microsoft.com>
* Update SerialPort.Linux.cs

ttyGSx creates a file in "/sys/class/tty/ttyGS0" named "dev" - use this file as an additional check

Co-authored-by: Stephen Toub <stoub@microsoft.com>

Add more diagnostics to DroppedIncompleteStateMachine_RaisesIncompleteAsyncMethodEvent test (#2283)

Disable HttpListener test on Mono (#2285)

Attempt to fix restore internal tools (#2255)

* Force re-install of nuget authenticator

* Update dotnet tools to latest daily build

* Remove AddUntrackedResourcesForSourceLink workaround for sourcelink

Prevent LocalAddressVisitor from morphing x86 vararg params (#2157)

fgMorphStackArgForVarArgs has no support for local address node nor LCL_FLD nodes.

Use HashCode.Add rather than HashCode.Combine (#2200)

Merge ReadyToRunCodegenNodeFactory into NodeFactory (#2277)

This split existed because of a failed attempt to share too much of crossgen2 with the full AOT compiler. Now that we're sharing source files instead of entire assemblies, ILCompiler.ReadyToRun is free to claim the NodeFactory name.

JIT: emit gc updates from RRR instruction forms (#2197)

These do not produce GC refs, so make sure we end any GC liveness for the
destination register.

Also, make sure all gc stress modes announce themselves in the jit dump log.

Fixes #2186.

Port Microsoft.VisualBasic.CompilerServices.Utils.GetResourceString() (#1911)

Convert AssemblyNative::Load to QCall (#1929)

* Convert AssemblyNative::Load to QCall

- FCall uses libunwind to find Method description.
- Get rid of the libunwind overhead in AssemblyNative::Load
  by converting to QCall

* Add workaround for https://github.com/dotnet/runtime/issues/2240

Co-authored-by: Jan Kotas <jkotas@microsoft.com>

Fix incorrect BAD_FORMAT_NOTHROW_ASSERTs in casting (#2237)

Allow allocating large object from free list while background sweeping SOH (#2103)

Fix compilation of dbgtransportsession (#2247)

Fix unused variable warnings when RIGHT_SIDE_COMPILE is not defined

Add FEATURE_REMOTE_PROC_MEM (#2244)

The /proc/mem filesystem is only available on Linux hosts. Revise #ifdef
to use FEATURE_PROC_MEM to enable disable the use of /proc/mem on the
debug target shim.  Enable only when HOST and target are Unix, but not
Darwin.

Fix local test failures for System.Xml.Xsl.XslTransformApi.Tests & Rename old build variable in csproj (#1268)

The only failure in coreclr is not related to this change, merging it.
Thank you for your contribution @Gnbrkm41

Merge pull request #2260 from dotnet/BatchCoreclrCi

Batch CI builds for PRI2 testing of CoreCLR

Batch CI builds for PRI2 testing of CoreCLR

Make sure R2RDump write to console in case --out is not specified (#2239)

Updating the IL.Sdk package to latest (#2235)

* using the latest il sdk package

* correcting the package version

* updating il.sdk version in versions.props as well

Fix concurrency issues in the regression test b426654 (#2211)

After fixing the interruptible ranges by aligning intrinsics
inlined by Crossgen1 / 2 I have verified that the concurrency and
rooting fixes suggested by Kount finally fix the Crossgen2 build
of the test. I have made the following changes:

1) I have shortened the test to 5 seconds and I changed the add
instruction to xor so that the test cannot randomly start
overflowing again on some future faster HW.

2) I have changed the synchronization static s_timeUp to a volatile.
This probably doesn't matter on Intel but will most likely matter
a lot on ARM.

3) I have added a call to Dispose for the timeout timer to make
sure it remains rooted for the duration of the test.

Thanks

Tomas

Crossgen2 - precompile generic instantiations (#2154)

* Crossgen2 - precompile generic instantiations

This change adds precompilation of all methods on generic instantiations
of types that are encountered during compilation. In my powershell
startup time experiments, it shaved off about 110 methods from the ones
that needed to be jitted at runtime and looking at e.g.
System.Private.CoreLib.dll precompilation result, it is much closer to
the version we get from the old crossgen now.

* Create a new node type to carry the method dependecies

Remove workarounds in build scripts for netcoreapp and netfx versionless (#1841)

* Remove workarounds in build scripts for netcoreapp and netfx versionless

* Don't pass down netcoreapp in yml builds

* PR Feedback and condition passing -framework arg when not empty in yml files

* Condition TargetGroup global property in helix.yml

* PR Feedback to not use targetgroup for allconfigurations in sendtohelix

* Change from PackageTesting to BuildAllConfigurations

Move official builds to OSX 10.14 pool (#2159)

* Move official builds to OSX 10.14 pool

* Use vmImage instead

Fix method and basic block flags used by early opts. (#2126)

Fix method and basic block flags used by early opts.

Add missing BBF_HAS_NULLCHECK in loop test transformation.
This change had no diffs in frameworks and benchmark.

Add missing OMF_HAS_ARRAYREF and BBF_HAS_IDX_LEN in many places.
This change had diffs in frameworks and benchmark since the optimization
replacing GT_ARRLENGTH with a constant fires much more often.

Fix inlining to not lose basic block flags when the inlinee basic block
has a ret expr but no statements.

Change propGetType condition in optDoEarlyPropForFunc to check for OMF_HAS_NEWARRAY
in addition to OMF_HAS_NEWOBJ.

Check that methods and basic blocks that have calls to object allocation
helpers have OMF_HAS_NEWOBJ and BBF_HAS_NEWOBJ set.

Check that methods and basic blocks that have calls to array allocation
helpers have OMF_HAS_NEWARRAY and BBF_HAS_NEWARRAY set.

Check that methods and basic blocks that have GT_NULLCHECK nodes
helpers have OMF_HAS_NULLCHECK and BBF_HAS_NULLCHECK set.

Check that methods and basic blocks that access MethodTable
via GT_IND on a ref have OMF_HAS_VTABLEREF and BBF_HAS_VTABLEREF set.

Check that methods and basic blocks that have GT_ARRLENGTH
have OMF_HAS_ARRAYREF and BBF_HAS_IDX_LEN set.

Fix fgOptWhileLoop that could lose BBF_HAS_NEWOBJ and BBF_HAS_NEWARRAY.

Add asserts to make sure we don't have diverging codegen
in debug/checked/release because of early opts.

Add BBF_HAS_VTABREF to BBF_COMPACT_UPD and BBF_SPLIT_GAINED.

Factor common prefix text out of Regex alternations (#2171)

* Factor common prefix text out of Regex alternations

Given a regex like "this|that|there", we will now factor out the common prefix into a new node concatenated with the alternation, e.g. "th(?:is|at|ere)".  This has a few benefits, including exposing more text to FindFirstChar if this is at the beginning of the sequence, reducing backtracking, and enabling further reduction/optimization opportunities in the alternation.

* Address PR feedback

* Update RegexBoyerMoore.cs

Fixed Base64 EncodeToUtf8 / DecodeFromUtf8 return states (Done | NeedMoreData) (#281)

Delete unused code related to ExtensibleClassFactory (#2224)

Fix for IlAsm round-trip issue #803 (#2168)

Remove the unnecessary assignment m_pCustomDescrList = NULL;
from the method RecordTypeConstraints that was added with my original fix.

Delete dead ctor in RegexParseException (#2229)

It'll never be used because the exception gets serialized as its base type and thus is never deserialized.

[utils] Default to g_print in mono_counters_dump if the stream is NULL (#2178)

This makes `mono_counters_dump` actually work on Android. If either this added default behavior or the macro is too terrible I can explore other options, but I'm tired and this was fast.

Co-authored-by: Ryan Lucia <ryan@luciaonline.net>

[mono-corelib] Embed linker descriptor. (#2141)

Import illink.targets correctly for Mono System.Private.CoreLib.

This causes an issue when running tests so disable trimming for now.

Co-authored-by: Alexander Köplinger <alex.koeplinger@outlook.com>

Avoid large switch in compiled FindFirstChar (#2169)

* Avoid large switch in compiled FindFirstChar

Rather than branching for each value, we can get the value from a lookup table.

* Address PR feedback

Along with some additional style cleanup while addressing that feedback.

Use latest System.Memory for ns2.0 refs (#2112)

[runtime] Miscellaneous printf cleanup (#2177)

Done to unblock the externs. More work should probably be done, see mono/mono#18580.

Co-authored-by: Ryan Lucia <ryan@luciaonline.net>

Remove obsolete files from mono netcore. (#2223)

Since we moved to dotnet/runtime, they are no longer needed.

Update locale tables - add Tatar CLDR files tt.xml and tt_RU.xml (#2219)

Fixes mono/mono#18524

The `tt.xml` and `tt_RU.xml` files were added in CLDR 34: http://cldr.unicode.org/index/downloads/cldr-34

Upgrading to v34 (or the latest v36) introduced a larger number of new cultures.  I went with the smallest change possible to have Tatar added.

I wasn't sure if this warranted a test in `CultureInfoTest.cs`, let me know if that would be required and I am happy to add.

Co-authored-by: Adrian <adrianluisgonzalez@gmail.com>

Add pull requests guide doc (#2145)

* Add pull requests guide doc

Co-Authored-By: Ryan Lucia <ryan@luciaonline.net>
Co-authored-by: Ryan Lucia <ryan@luciaonline.net>
Co-authored-by: Dan Moseley <danmose@microsoft.com>

Delete AvailableType/ExternalTypeNode (#2218)

These nodes didn't do anything.