Remove "handles" from System.Threading.Semaphore.

Actually, there were no handles.
This reduces MonoError.

Enable NetworkAddressChange on FreeBSD (#1602)

Protect multi-threaded access to Module.m_GenericParamToDescMap. (#1907)

Same type can be loaded by multiple threads in parallel in rare situations

Fixes #1847

[master] Update dependencies from dotnet/arcade mono/linker Microsoft/vstest (#1804)

* Update dependencies from https://github.com/dotnet/arcade build 20200115.5

- Microsoft.DotNet.XUnitExtensions - 5.0.0-beta.20065.5
- Microsoft.DotNet.VersionTools.Tasks - 5.0.0-beta.20065.5
- Microsoft.DotNet.ApiCompat - 5.0.0-beta.20065.5
- Microsoft.DotNet.Arcade.Sdk - 5.0.0-beta.20065.5
- Microsoft.DotNet.Build.Tasks.Configuration - 5.0.0-beta.20065.5
- Microsoft.DotNet.Build.Tasks.Feed - 5.0.0-beta.20065.5
- Microsoft.DotNet.Build.Tasks.Packaging - 5.0.0-beta.20065.5
- Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk - 5.0.0-beta.20065.5
- Microsoft.DotNet.CodeAnalysis - 5.0.0-beta.20065.5
- Microsoft.DotNet.GenAPI - 5.0.0-beta.20065.5
- Microsoft.DotNet.GenFacades - 5.0.0-beta.20065.5
- Microsoft.DotNet.Helix.Sdk - 5.0.0-beta.20065.5
- Microsoft.DotNet.RemoteExecutor - 5.0.0-beta.20065.5
- Microsoft.DotNet.XUnitConsoleRunner - 2.5.1-beta.20065.5

* Update dependencies from https://github.com/dotnet/arcade build 20200116.1

- Microsoft.DotNet.XUnitExtensions - 5.0.0-beta.20066.1
- Microsoft.DotNet.VersionTools.Tasks - 5.0.0-beta.20066.1
- Microsoft.DotNet.ApiCompat - 5.0.0-beta.20066.1
- Microsoft.DotNet.Arcade.Sdk - 5.0.0-beta.20066.1
- Microsoft.DotNet.Build.Tasks.Configuration - 5.0.0-beta.20066.1
- Microsoft.DotNet.Build.Tasks.Feed - 5.0.0-beta.20066.1
- Microsoft.DotNet.Build.Tasks.Packaging - 5.0.0-beta.20066.1
- Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk - 5.0.0-beta.20066.1
- Microsoft.DotNet.CodeAnalysis - 5.0.0-beta.20066.1
- Microsoft.DotNet.GenAPI - 5.0.0-beta.20066.1
- Microsoft.DotNet.GenFacades - 5.0.0-beta.20066.1
- Microsoft.DotNet.Helix.Sdk - 5.0.0-beta.20066.1
- Microsoft.DotNet.RemoteExecutor - 5.0.0-beta.20066.1
- Microsoft.DotNet.XUnitConsoleRunner - 2.5.1-beta.20066.1

* Update dependencies from https://github.com/microsoft/vstest build 20200116-01

- Microsoft.NET.Test.Sdk - 16.5.0-preview-20200116-01

* Update dependencies from https://github.com/dotnet/arcade build 20200117.2

- Microsoft.DotNet.XUnitExtensions - 5.0.0-beta.20067.2
- Microsoft.DotNet.VersionTools.Tasks - 5.0.0-beta.20067.2
- Microsoft.DotNet.ApiCompat - 5.0.0-beta.20067.2
- Microsoft.DotNet.Arcade.Sdk - 5.0.0-beta.20067.2
- Microsoft.DotNet.Build.Tasks.Configuration - 5.0.0-beta.20067.2
- Microsoft.DotNet.Build.Tasks.Feed - 5.0.0-beta.20067.2
- Microsoft.DotNet.Build.Tasks.Packaging - 5.0.0-beta.20067.2
- Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk - 5.0.0-beta.20067.2
- Microsoft.DotNet.CodeAnalysis - 5.0.0-beta.20067.2
- Microsoft.DotNet.GenAPI - 5.0.0-beta.20067.2
- Microsoft.DotNet.XUnitConsoleRunner - 2.5.1-beta.20067.2
- Microsoft.DotNet.GenFacades - 5.0.0-beta.20067.2
- Microsoft.DotNet.Helix.Sdk - 5.0.0-beta.20067.2
- Microsoft.DotNet.RemoteExecutor - 5.0.0-beta.20067.2

* Update dependencies from https://github.com/dotnet/arcade build 20200118.1

- Microsoft.DotNet.XUnitExtensions - 5.0.0-beta.20068.1
- Microsoft.DotNet.VersionTools.Tasks - 5.0.0-beta.20068.1
- Microsoft.DotNet.ApiCompat - 5.0.0-beta.20068.1
- Microsoft.DotNet.Arcade.Sdk - 5.0.0-beta.20068.1
- Microsoft.DotNet.Build.Tasks.Configuration - 5.0.0-beta.20068.1
- Microsoft.DotNet.Build.Tasks.Feed - 5.0.0-beta.20068.1
- Microsoft.DotNet.Build.Tasks.Packaging - 5.0.0-beta.20068.1
- Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk - 5.0.0-beta.20068.1
- Microsoft.DotNet.CodeAnalysis - 5.0.0-beta.20068.1
- Microsoft.DotNet.GenAPI - 5.0.0-beta.20068.1
- Microsoft.DotNet.XUnitConsoleRunner - 2.5.1-beta.20068.1
- Microsoft.DotNet.GenFacades - 5.0.0-beta.20068.1
- Microsoft.DotNet.Helix.Sdk - 5.0.0-beta.20068.1
- Microsoft.DotNet.RemoteExecutor - 5.0.0-beta.20068.1

* Update dependencies from https://github.com/microsoft/vstest build 20200120-01

- Microsoft.NET.Test.Sdk - 16.5.0-preview-20200120-01

* Update dependencies from https://github.com/dotnet/arcade build 20200121.3

- Microsoft.DotNet.XUnitExtensions - 5.0.0-beta.20071.3
- Microsoft.DotNet.VersionTools.Tasks - 5.0.0-beta.20071.3
- Microsoft.DotNet.ApiCompat - 5.0.0-beta.20071.3
- Microsoft.DotNet.Arcade.Sdk - 5.0.0-beta.20071.3
- Microsoft.DotNet.Build.Tasks.Configuration - 5.0.0-beta.20071.3
- Microsoft.DotNet.Build.Tasks.Feed - 5.0.0-beta.20071.3
- Microsoft.DotNet.Build.Tasks.Packaging - 5.0.0-beta.20071.3
- Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk - 5.0.0-beta.20071.3
- Microsoft.DotNet.CodeAnalysis - 5.0.0-beta.20071.3
- Microsoft.DotNet.GenAPI - 5.0.0-beta.20071.3
- Microsoft.DotNet.XUnitConsoleRunner - 2.5.1-beta.20071.3
- Microsoft.DotNet.GenFacades - 5.0.0-beta.20071.3
- Microsoft.DotNet.Helix.Sdk - 5.0.0-beta.20071.3
- Microsoft.DotNet.RemoteExecutor - 5.0.0-beta.20071.3

Add a Sockets test to validate undesired blocking of continuations (#1973)

We go out of our way (e.g. on Unix queueing work off of the epoll threads) to ensure that arbitrary user code running as part of socket continuations doesn't block those threads and potentially deadlock.  Add a test to help validate this.

Don't do STRESS_PROFILER_CALLBACKS when pre-JITing (#2016)

This leads us to generate an illegal relocation fixup.

Fixes #1789

Tweak codegen for Regex's FindFirstChar (#1996)

* Avoid extra field loads / comparisons in FindFirstChar

If we've already compared the current pos to the end pos as part of a minimum length check, we don't need to repeat it again later.  We can also read from locals rather than fields more than we are to save redundant field reads.

* Reduce branches in Boyer-Moore negative switch table

It's often the case that lots of negative branches have the same value.  We can coalesce them.

* Address PR feedback

Prohibit null key on HMAC. (#2018)

* Validate key on HMAC classes.

A refactoring in HMACCommon caused null keys to be implicitly converted
in to empty spans. This lead to a null key being used as an empty key.

* Use assertion helper to test parameter name.

Enable Mono build in CI (#1934)

* Enable Mono in default build

* Integrate Mono into the build system

* Fix System.Private.CoreLib build in Mono

Broken by https://github.com/dotnet/runtime/commit/9c82a36c23235c4d50954cb33a4d5d89b787a1aa

* Disable Windows test runs

Fails due to https://github.com/dotnet/runtime/issues/1933

Co-authored-by: Viktor Hofer <viktor.hofer@microsoft.com>

Moving fast parts of cast FCALLs to managed code. (#1068)

* Exposed casting cache to managed code
* Implemented a managed version of cache lookup
* Moved `JIT_IsInstanceOfAny` and `JIT_ChkCastAny`  to managed code as the first ones to move.
* Skip managed JIT helpers in exception stack traces and debugger
* Managed `JIT_IsInstanceOfInterface`
* All other cast helpers are managed.

Fixes:https://github.com/dotnet/coreclr/issues/27931

Improve error messages for invalid WebSocket headers (#1962)

And add tests.

Split AsnReader into a class and a ref struct (AsnValueReader)

Largely, the intent of this change was to reduce the number of temporary readers required for deeply structured payloads (`ReadSequence` returns a new reader), while still maintaining the better usability of the class; and, frankly, to understand what the impact of splitting functionality into "bare metal" and "more usable" pieces was.

```
foreach (file in AsnReader.*)
{
    Copy/paste the entirety of the `partial class AsnReader`;
    Change the top version to say ref partial struct AsnValueReader;
    Replace all AsnReader calls in the top version to say AsnValueReader.
    Replace all ReadOnlyMemory in the top portion with ReadOnlySpan;
    Remove ArraySegment overloads from the top portion (when present);
    Rewrite the bottom portion to open a ref reader at the state the memory is tracking and defer work into the ref reader;
    Run all the existing tests to ensure that nothing broke in that piece;
}
```

Once that was done, I changed the asn.xslt to generate all of the decoding in terms of AsnValueReader.  This didn't change field generation from ReadOnlyMemory to ReadOnlySpan (and the types from struct to ref struct)--a change that could be done later--but instead added a new ReadOnlyMemory input parameter so it can use Overlaps to slice the memory as appropriate (with a fallback of ToArray()).

While I was editing asn.xslt I fixed probably all of the whitespace errors it generated.  I still left the "stylecop, have no opinion about whitespace" pragma since the generator isn't run as part of most people's (or the official) builds.  This also turns on the nullability checks in all of the generated structs.

Fix script errors in mainv1, mainv2 tests (#1997)

* Add additional error checking for mainv1, mainv2 tests

These have been silently failing due to mainv1.exe and mainv2.exe
changing to be built at mainv1.dll and mainv2.dll without
corresponding changes in the project files, due to insufficient
testing in the script.

Add this additional testing.

* Add more error checking

* Fix script errors in mainv1, mainv2 tests

A while back, tests were changed from building .exe to building .dll files
but these were not updated. Fix that.

Reconcile handling of EH vars (#1884)

* Reconcile handling of EH vars

Modify `BasicBlock::hasEHBoundaryIn()` and `BasicBlock::hasEHBoundaryOut()` to reflect what liveness is doing, and adjust the register allocator code appropriately.

It might make sense to extract the code that's basically the same, except that the register allocator doesn't need the `finallyVars` except as validation in the `DEBUG` case.

Fix #1786

Use a consistent rootfs location (#2005)

Fix some links to coreclr repo (#1991)

Add readme for Mono specific version of SPC (#1963)

* Add readme for Mono specific version of SPC

* Update src/mono/netcore/System.Private.CoreLib/README.md

Co-Authored-By: Stephen Toub <stoub@microsoft.com>

Do not run validation on runtime determined types (#1357)

It doesn't seem like we validate anything for those and `IsRuntimeDeterminedSubtype` check is rather expensive.

Unify char.IsControl and Rune.IsControl (#1988)

Not perf-critical, just some cleanup of low hanging fruit.

Unify CoreLib interop files (#1914)

- Unify more of CoreLib interop files
- Replace manual interop with regular managed APIs where possible
- Delete unused code

Contributes to #1232

Rebased version of CoreFX renames (#1941)

* FinalCoreFXRenames

The last of the CoreFX renames.

* Update DirectorySearcher.cs

Fixed typo in DirectorySearcher.cs

* Update TestClasses.SimpleTestClassWithObjectArrays.cs

This fixes the expected value of the tests to runtime, instead of corefx.

* Update PersistedFiles.Names.Unix.cs

Adds a note to not update the corefx reference.

Even faster modulo computation: remove one of the three multiplications. (#406)

**BYPASS_SECRET_SCANNING**

Fix long name cross arch DAC (#1948)

Workaround AzDo issue when evaluating Build.SourcesDirectory variable  in a docker container (#1982)

* Workaround AzDo issue when evaluating Build.SourcesDirectory variable in a docker container

* Only use env var when in a docker container

Make EHInfo parsing lazy (#1899)

Eliminate X509Extension allocations during ssl handshake with OpenSSL

Moves policydata to a PAL struct so it can be passed without creating and discarding the X509Extension objects.

Remove unwanted instrumentation code (#1820)

Making the Microsoft.NET.IL.Sdk cross target. (#1972)

* making ilsdk crosstarget

* editing the comment

Rename CLR_CMAKE_PLATFORM* CLR_CMAKE_HOST* (#1974)

The term platform was ambiguous. Migrate to using common terminology for
cross compilation.

Host is the platfrom which will execute the code
Target is the platform which will be debugged or for which code will be generated.

In most cases HOST == TARGET.  The exceptions are the cross component crossgen
tools and the future cross DAC.

enable unicode tests on OSX (#1728)

Streamline Regex path to matching, and improve Replace/Split (#1950)

* Add ThrowHelper, and clean up some style

Trying to streamline main path to the engine, ensuring helpers can be inlined, reducing boilerplate, etc.  And as long as ThrowHelper was being used in some places, used it in others where it didn't require adding additional methods.

Also cleaned style along the way.

* Streamline the Scan loop

The main costs remaining are the virtual calls to FindFirstChar/Go.

* Enumerate matches with a reusable match object in Regex.Replace/Split

The cost of re-entering the scan implementation and creating a new Match object for each NextMatch is measurable, but in these cases, we can use an iterator to quickly get back to where we were and reuse the match object.  It adds a couple interface calls per iteration, as well as an allocation for the enumerator, but it saves more than that in the common case.

* Use SegmentStringBuilder instead of ValueStringBuilder in Replace

A previous .NET Core release saw StringBuilder in Regex.Replace replaced by ValueStringBuilder.  This was done to avoid the allocations from the StringBuilder.  However, in some ways, for large input strings, it made things worse.  StringBuilder is implemented as a linked list of builders, whereas ValueStringBuilder is contiguous memory taken from the ArrayPool.  For large input strings, we start requesting buffers too large for the ArrayPool, and thus when we grow we generate large array allocations that become garbage.

We're better off using a simple arraypool-backed struct to store the segments that need to be concatenated, and then just creating the final string from those segments.  For the common case where there are many fewer replacements than the length of the string, this saves a lot of memory as well as avoiding a layer of copying.

* Replace previously added enumerator with a callback mechanism

The delegate invocation per match is faster than the two interface calls per match, plus we can avoid allocating the enumerator and just pass the relevant state through by ref.

* Remove unnecessary fields from MatchCollection

* More exception streamlining and style cleanup

* Address PR feedback, and fix merge with latest changes

Optimize DateTime decomposition in CoreLib (#1944)

* Optimize DateTime decomposition in CoreLib
Add uses of DateTime.GetDate (renamed from GetDatePart) where appropriate
Add DateTime.GetTime method to eliminate duplicate computations

* Remove unused arithmetic from DateTime.GetTime

WinHttpHandler tests are back (#1676)

The tests used by PlatformHandlerTest moved to Common/tests in order to share them between System.Net.Http and System.Net.Http.WinHttpHandler.
The added conditions correspond to the state before WinHttpHandler removal. They're just based on IsWinHttpHandler instead of UseSocketHandler.
Some of the code must be conditionally compiled since there is no usable common base class for HttpClientHandler and WinHttpHandler. Other issues solved by introducing WinHttpClientHandler for testing purposes. It corresponds to HttpClientHandler.Windows.cs code from before its removal.

Fix typo (#1970)

Remove try-catch from SmtpClient.Abort to see what Exceptions get caught. (#428)

Specialize Regex codegen for ? (#1898)

We're currently generating the code for a one / not one / set ? quantifier (zero-or-one) as a loop, when it can actually just be a conditional check.  This adds a special path for that case.

(I've also added another reduction test for alternation, and tweaked the codegen for a successful match to touch fields less.)

JIT: check that constant handles are not OK2_CONST_LONGs (#1831)

Follow-up from #1788.

Add padding to `AssertionDsc` so that the `iconFlags` no longer overlap with `lconVal`. Assert that `iconFlags` is never set for an O2K_CONST_LONG assertion.

Also remove an arm-only handle block that should now be redundant.

[Docs] Fix small typo (#1961)

Cleanup regex diagnostic output (#1947)

* Include actual pattern in diagnostic output

* Fix char category name in diagnostic output

* Tighten Boyer Moore debug output

* Clean up diagnostic output from RegexCode and RegexNode

* Apply suggestions from code review

Co-Authored-By: Stephen Toub <stoub@microsoft.com>
* more

* display options and timeout

* Some random nits

* Update src/libraries/System.Text.RegularExpressions/src/System/Text/RegularExpressions/RegexBoyerMoore.cs

Co-Authored-By: Stephen Toub <stoub@microsoft.com>
* Github typo

Co-authored-by: Stephen Toub <stoub@microsoft.com>

Delete outdated comment (#1952)

Readme for regex implementation (#1945)

* Readme for regex implementation

* typo

* Update src/libraries/System.Text.RegularExpressions/src/dotnet-regular-expressions.md

Co-Authored-By: Stephen Toub <stoub@microsoft.com>
* Update src/libraries/System.Text.RegularExpressions/src/dotnet-regular-expressions.md

Co-Authored-By: Stephen Toub <stoub@microsoft.com>
* Update src/libraries/System.Text.RegularExpressions/src/dotnet-regular-expressions.md

Co-Authored-By: Stephen Toub <stoub@microsoft.com>
* Update src/libraries/System.Text.RegularExpressions/src/dotnet-regular-expressions.md

Co-Authored-By: Stephen Toub <stoub@microsoft.com>
* Update src/libraries/System.Text.RegularExpressions/src/dotnet-regular-expressions.md

Co-Authored-By: Stephen Toub <stoub@microsoft.com>
* Update src/libraries/System.Text.RegularExpressions/src/dotnet-regular-expressions.md

Co-Authored-By: Stephen Toub <stoub@microsoft.com>
* Update src/libraries/System.Text.RegularExpressions/src/dotnet-regular-expressions.md

Co-Authored-By: Stephen Toub <stoub@microsoft.com>
* Updates

* More

* note

* rename

Co-authored-by: Stephen Toub <stoub@microsoft.com>

Fix documentation of R2R inline tracking map (#1942)

Don't want this to show up as a confusing diff when we upgrade the format later. Version is _not_ included in the format. We will need to key off the R2R version.

Delete unnecessary clone of the assembly name (#1936)

Cleanup double initialized fields in SPC (#1935)

Initial pass on updating documentation to include MonoVM (#1863)

* Update documentation to cover also Mono runtime

* Updated requirements for mac and linux to include mono's

* Update System.Private.CoreLib/src/README.md

* Added initial mono building doc

* Added library testing steps for mono

* A bit of rewording based on feedback

* Add some scripts coloring

Delete unnecessary defines from CoreCLR tests (#1922)

- PROJECK, STATIC, CORECLR
- Delete NoLogo
- Delete duplicate Exceptions/Finalization/Finalizer test
- Delete workaround for LLILC JIT

Merge pull request #1912 from mono/consolidation

This adds the Mono runtime sources including the full history and some initial build system integration.

Delete outdated workaround (#1921)

Add support for preserve references on JSON (#655)

* Initial commit for JSON reference handling / preserve references

* Remove ReferenceHandling.Ignore option

* Code clean-up.

* Remove stale tests.

* Address PR feedback

* Reference handling inline (#1)

* Inline ReferenceHandling logic within main methods.

* remove stale Handle*Ref methods

* Refactor the code for Deserialization
* Create methods to reuse code
* Try to isolate Preserve logic as much as I can
* Replaced Exceptions for ThrowHelper methods

* Remove stale condition on $ref

* Add AggressiveInlining to HandlePropertyNameDefault

* Inline feature code in Serialization

* Fix preserve references for ExtensionData

* Split Reference dictionary into two, for (De)Serialize each.
Add Reference EqualityComparer to Serialize dictionary.

* Do not set PropertyName to s_missingProperty to avoid race condition issues.

* Remove Asserts that compare against an exception message.

* Set preserved array passing setPropertyDirectly = true to avoid issue when enumerable is already initialized.

* Code clean-up.

* Separate write code into WritePreservedObject and WriteReferenceObject

* Address some PR feedback:
* Switched ReferenceResolver to access it through a read-only property that initializes it the first time is tried to be accesed.
* Renamed some methods and properties
* Refactored WriteReference* methods.
* Fixed Exception messages
* Removed literal message comparison on tests.

* * Add round-tripping coverage to suitable unit tests
* Fix issues found with Round-tripping scenarios
  * Move DictionaryPropertyIsPreserved to EndProperty() in order to fix issue where two dictionary properties were next to each other and the DictionaryPropertyIsPreserved was not reset.
  * Add ReadStackFrame.IsNestedPreservedArray in order to identify preserved arrays nested and prevent using setPropertyDirectly on them.

* Add nullability annotations

* Code clean-up, reword comments and removed unnecesary properties in ReferenceHandling

* Fix issue where an object that tries to map into an enumerable could skip the validation that prevents this.

* Fix issue where the wrong type was passed into the throw helper for nested enumerable in HandleStartObject

* Address PR comments.

* Refactor flags on ReadStackFrame to avoid using unrelated fields for validation.

* Consolidated MetadataPropertyName enum logic on read and write.

* Reuse HandleStartObjectInEnumerable to handle arrays with metadata nested in a Dictionary.

* Refactor code:
* Change ReferenceResolver from class to struct to avoid one allocation.
* Replace propertyName.ToArray() for constant arrays in order to avoid allocation.

* Move some exception logic to the ThrowHelper class.

* * Apply optimizations:
  * Use PropertyCacheArray on Values property lookup.
  * Make Comparer static field to avoid one allocation at runtime.
* Document reasoning for DefaultReferenceResolver and ReferenreEqualsEqualityComparer

* Address PR comments.

* Addres more PR feedback:
* Add documentation to DefaultReferenceResolver public methods.

* Address PR feedback.

* Adderss more PR suggestions.

* * Move tests to Serialization namespace.
* On $values, set PropertyName on state.Current.JsonPropertyName instead.

Contributing: fixed some typos (#1905)

Merge remote-tracking branch 'upstream/master' into consolidation

Add option to select Mono as the testhost runtime with the `/p:TestRuntimeFlavor=Mono` property

Temporarily disable Mono from default subset categories

Extract methods from Cng.cs to Interop.*.cs

* Extract BCryptImportKey from Cng.cs to Interop.BCryptImportKey.cs
* Extract BCryptEncrypt and BCryptDecrypt from BCryp/Cng.cs into Interop.BCryptEncryptDecrypt.cs

More renames of full framework to .NET Framework (#1900)

* More renames of full framework to .NET Framework

* Apply suggestions from code review

Co-Authored-By: Stephen Toub <stoub@microsoft.com>

Make Mono build in dotnet/runtime

Also add packaging project for Microsoft.NETCore.Runtime.Mono.

Add new .gitignore for Mono

Delete DESKTOP define in CoreCLR tests (#1901)

Merge branch 'master' of mono

Address more issue numbers in the code (#1888)

* Address more issue numbers in the code

Replaced a bunch of unadorned issue numbers with links, so we know which repo the issue is for.  In some cases the repo was named, but for consistency I still replaced it with a link.

In some cases, in particular where the issue had been closed saying effectively "we're not going to do anything here", I removed TODOs and the associated issue numbers.

In a few cases, the TODO and issue number was to say "we should do X when Y is fixed", so I did X since Y was fixed.

* Apply suggestions from code review

Co-Authored-By: Jan Kotas <jkotas@microsoft.com>
* Address PR feedback

* Fix OrderedEnumerable by using MemoryExtensions.Sort

Co-authored-by: Jan Kotas <jkotas@microsoft.com>

[testing] Update TraceEvent package version and bypass corner case in EventPipe (#1794)

* Update TraceEvent package version

* Workaround for deadlock in EventPipe
* Remove this change once the fix has be made

* Force the event source to be created

Fix RepoRoot to always have a directory terminator at the end (#1893)

* Make sure RepoRoot ends with a directory terminator.

* Use MSBuild::EnsureTrailingSlash

Improve Regex codegen for negated / non-ASCII sets (#1799)

* Improve Regex codegen for negated sets

Given a set like `[ace]`, we currently generate a check along the lines of:
```C#
bool match = (uint)ch < 128 && asciiLookup[ch];
```
However, if there are any non-ASCII characters in the set, e.g. with `[ac\u1234]`, we need generate a non-ASCII fallback that does the full character set check:
```C#
bool match = (uint)ch < 128 ? asciiLookup[ch] : RegexRunner.CharInClass(ch, "...setstring");
```

This PR cleans that up and handles several additional cases to have a better fallback when possible.
- If we detect that the character class contains _only_ non-ASCII, such as would be the case with some of the named Unicode sets, then we generate the equivalent of `ch >= 128 && CharInClass(ch, "...")`.
- If we detect that every ASCII character is in the set, such as would be the case in a negated version of the above, then we generate the equivalent of `ch < 127 || CharInClass(ch, "...").
- If we detect that only ASCII is in the set (a very common case, such as with `[A-Fa-f0-9]`), then we generate the equivalent of `ch < 128 && lookup[ch]`.
- If we detect that all non-ASCII is in the set (such as when some ASCII characters are negated), then we generate the equivalent of `ch >= 128 || lookup[ch]`.
- Otherwise, we have our default of `ch < 128 ? lookup[ch] : CharInClass(ch, "...").

While this helps with non-ASCII inputs, it also helps to keep the code smaller/faster even when there are ASCI

* Update src/libraries/System.Text.RegularExpressions/tests/RegexCharacterSetTests.cs

Disable failing test (#1896)

Disables `ConnectAsync_NotWebSocketServer_ThrowsWebSocketExceptionWithMessage`
as it's consistently failing in the outerloop jobs. Specifically the
libraries linux outerloop job.

Tracking Issue is #1895

Merge pull request #1199 from lmolkova/w3cTestSuiteCrashes

W3C Trace-Context: Allow hex chars in version and don't crash on non-hex chars in traceFlags

Merge pull request #1873 from jaredpar/standard

Disable Apline.38 ARM64 runs

Tweak documentation on NotNullAttribute (#1891)

Tagging @BillWagner @stephentoub @RikkiGibson

The use of `[NotNull]` on an input parameter is allowed. The typical example is an `AssertNotNull` method. That behavior was [specified](https://github.com/dotnet/csharplang/blob/master/meetings/2019/LDM-2019-05-15.md#simple-postconditions), but does not appear in the docs. Adding a mention.

I assume that changes here propagate to docs automatically.

Improvements for null check folding. (#1735)

optFoldNullChecks attempts to remove GT_NULLCHECK nodes that are
post-dominated by indirections on the same variable. These changes
implement a number of improvements.

1. Recognize more patterns.
Before these changes only the following pattern was recognized:
x = comma(nullcheck(y), add(y, const1))

followed by

indir(add(x, const2))

where const1 + const2 is sufficiently small.

With these changes the following patterns are recognized:

nullcheck(x)
or
x = comma(nullcheck(y), add(y, const1))

followed by

indir(x)
or
indir(add(x, const2))

where const1 + const2 is sufficiently small.

2. Indirections now include GT_ARR_LENGTH nodes.

3. Morph has an optimization
((x+icon1)+icon2) => (x+(icon1+icon2))
These changes generalize it to handle commas:
((comma(y, x+icon1)+icon2) => comma(y, x+(icon1+icon2))

That exposes more trees to null check folding.

4. Fix a bug in flow transformations that could lose BBF_HAS_NULLCHECK flag
on some basic blocks, which led to missing opportunities for null check folding.

5. Make safety checks in optCanMoveNullCheckPastTree
(for trees between the nullcheck and the indirection) both more correct
and less conservative. For example, we were not allowing any assignments
if we were inside try; however, assignments to compiler temps are safe since
they won't be visible in handlers.

5. Increase the maximum number of trees we check between GT_NULLCHECK and
the indirection from 25 to 50.

7. Refactor the code and move pattern recognition and safety checks to
helper methods.

8. Add missing BBF_HAS_NULLCHECK and OMF_HAS_NULLCHECK when we create GT_NULLCHECK nodes.

Merge pull request #1525 from vitek-karas/OpenInstallerTestSln

Setup environment to open the installer test sln

Remove unused/unnecessary defines (#1878)

Port stubbed out Regex.CompileToAssembly (#1850)

* Port stubbed out Regex.CompileToAssembly

This ports Regex.CompileToAssembly.  The "only" thing missing is the ability to actually save the Assembly out, which is obviously critical.  I'm putting this commit up because I've been using the generated assembly to help debug/improve the code generation, using temporary hacks locally to get the Assembly saved to disk.  Hopefully in the near future we can have a permanent solution in place.

* Code cleanup

Fix MSVC warn as errors... (#1876)

* Fix warning as error

* Fix mismatched declaration/definition

Remove stray sos reference (#1875)

Use bitmask operation to check if a slot is untracked (#1870)

Enable overriding CoreCLR and Libraries configurations in root… (#1826)

* Override the configuration of the CoreCLR and Libraries builds during the root build when CoreCLRConfiguration and LibrariesConfiguration are specified respectively.

* Add coreclrConfiguration and librariesConfiguration parameters to build scripts.

* Update docs.

* Make arguments lowercase on bash.

* Fix typos.

Add Crossgen pack for crossgen2 tool (#1859)

* Add Crossgen pack for crossgen2 tool

* Inline sharedfx tooling support for Crossgen pack

* Support publishing crossgen pack

* "Crossgen pack" => "Crossgen2 pack"

Fix bug with PInvokes having byref arguments. (#1843)

* Fix bug with PInvokes having byref arguments.

Make IsMarshalingRequired return true for a byref argument

Disable Apline.38 ARM runs

These are consistently failing on all runs. Disabling to get the build
green again while we dig into this

https://github.com/dotnet/runtime/issues/1871

Fixes runtime issue #1739 (#1840)

* Fixes runtime issue 1739
Added additional check for Jit Stress mode STRESS_LCL_FLDS
This stress mode requires that the types exactly match

* Code review feedback

Merge pull request #1759 from vitek-karas/NativeSearchDirsFix

hostfxr_get_native_search_directories must fail when given CLI command

There's no check that when running with a "command" like hostfxr_get_native_search_directories that the code will not try to locate SDK and run CLI commands.
If it happens not only it does wrong things, but the return values are bogus (it doesn't fill the output buffer).

This change adds the necessary check to avoid this completely. It also makes sure that the output buffer size is always correctly set, even on errors.

Moved all the tests for hostfxr_get_native_search_directories to use nativehost and add a test to cover this case.

Fix Linux_x64_glibc condition to build RPM/Deb (#1861)

Adding area owners for new mono labels (#1865)

Implement required HttpClient apis in System.Net.Quic (#1703)

Update status badge link (#1855)

add benchmarking and profiling workflow docs links (#1856)

Spanify and cleanup System.Security.Principal.Windows

* spanify internal constructor, caller and callees
* rename locals and fields to match current style
* save the SecurityIdentifier objects for WindowsIdentity's Is(Something) properties as statics

revert CPU clipping to 3.0, 2.x behavior (#1851)

Compilation warnings fixes (mono/mono#18495)

Compilation warnings fixes

Commit migrated from https://github.com/mono/mono/commit/0a96741f9374f27757000a3cfcf100d98bcc3758

ZipFile.CreateFromDirectory: ensure entryEncoding parameter is being passed (#1825)

Remove the option to specify VS path

Coalesce adjacent loops in concatenation RegexNodes (#1838)

* Coalesce adjacent loops in concatenation RegexNodes

This augments the reduction phase of concatenation nodes to combine adjacent one/notone/setloops, e.g. `a*a+a{1,2}b` becomes `a{2,}b` (previously added optimizations will then see that the a loop can be made atomic and replace it with the equivalent of `(?>a{2,})b`).  This has several benefits.  First, it simplifies the node tree, creating less work for IR writer and less work for the interpreter/compiler.  Second, it gives the compiler more opportunity to choose how the loop should be represented, when and how to unroll, etc.  Third, it enables the auto-atomicity step to apply to more loops (as in the previous example).  And most importantly, it can drastically reduce backtracking (especially with the atomicity optimization, but even without that).  An expression like `a*a*a*a*a*a*b` run against an input like `aaaaaaaaaaaaaa` could previously take a very long time; now, it'll be very fast.

* Follow-up from previous PRs this is now rebased on

Fix tests on linux

Different path normalization behavior

Implement SuppressGCTransition attribute in crossgen2 (#1772)

Fixes dotnet/coreclr#27188.

[prof] remove wrong cast for format string (mono/mono#18477)

[prof] remove wrong cast for format string

Fixes this warning:
```
  CC       mprof-report.o
mprof-report.c:408:62: warning: format specifies type 'char *' but the argument has type 'guint64' (aka 'unsigned long long') [-Wformat]
                        snprintf (format, sizeof (format), "%s : %%" PRIu64 "\n", (guint64)key_format);
                                                            ~~                    ^~~~~~~~~~~~~~~~~~~
                                                            %llu
/Applications/Xcode112.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX.sdk/usr/include/secure/_stdio.h:57:62: note: expanded from macro
      'snprintf'
  __builtin___snprintf_chk (str, len, 0, __darwin_obsz(str), __VA_ARGS__)
                                                             ^~~~~~~~~~~
```

mistake in refactoring commit https://github.com/mono/mono/commit/mono/mono@07402062541fa9555bef99dbaac84cfb587926cd#diff-c825627ea9ddb3fa753fa3617eaec7c8R408

Commit migrated from https://github.com/mono/mono/commit/73eeda130fceacebec5f1ccbae10478e7fc7c051

Fix tracing rundown tests with optimizations and large version bubble (#507)

* Fix tracing rundown tests with optimizations

The test is failing when compiled with crossgen2 with optimizations due
to the fact that it didn't find System.Diagnostics.Tracing loaded. The
reason is that due to cross module inlining, the
System.Diagnostics.Tracing was not needed anymore.
I have fixed it by checking for the
Microsoft.Diagnostics.Tracing.TraceEvent assembly.

[netcore] Mark InitializeCurrentThread NoInlining (mono/mono#18493)

Follow-up for https://github.com/mono/mono/pull/18480

We might want to replace calls to this with an intrinsic

Commit migrated from https://github.com/mono/mono/commit/1f0e147cddcc9b900f7e487dfed2a8ca008830b0

[runtime] fix warnings on linux (gcc 8.3.0) (mono/mono#18479)

* [aot] fix warnings on linux (gcc 8.3.0)

Fixes these warnings:
```
aot-compiler.c: In function ‘emit_trampolines’:
aot-compiler.c:7675:28: warning: ‘_e’ directive writing 2 bytes into a region of size between 1 and 256 [-Wformat-overflow=]
    sprintf (end_symbol, "%s_e", symbol);
                            ^~
aot-compiler.c:7675:4: note: ‘sprintf’ output between 3 and 258 bytes into a destination of size 256
    sprintf (end_symbol, "%s_e", symbol);
    ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
At top level:
aot-compiler.c:753:1: warning: ‘link_shared_library’ defined but not used [-Wunused-function]
 link_shared_library (MonoAotCompile *acfg)
 ^~~~~~~~~~~~~~~~~~~
aot-compiler.c:558:1: warning: ‘mangle_symbol_alloc’ defined but not used [-Wunused-function]
 mangle_symbol_alloc (const char * symbol)
 ^~~~~~~~~~~~~~~~~~~
aot-compiler.c:535:1: warning: ‘mangle_symbol’ defined but not used [-Wunused-function]
 mangle_symbol (const char * symbol, char * mangled_symbol, gsize length)
 ^~~~~~~~~~~~~~~~~~~
```

* [amd64] fix warnings on linux (gcc 8.3.0)

Fixes this warning:
```
tramp-amd64.c: In function ‘mono_arch_create_generic_trampoline’:
tramp-amd64.c:242:65: warning: variable ‘ex_offset’ set but not used [-Wunused-but-set-variable]
  int i, lmf_offset, offset, res_offset, arg_offset, rax_offset, ex_offset, tramp_offset, ctx_offset, saved_regs_offset;
                                                                 ^~~~~~~~~
```

* [lldb] fix warnings on linux (gcc 8.3.0)

Fixes these warnings:
```
lldb.c:243:1: warning: ‘buffer_add_buffer’ defined but not used [-Wunused-function]
 buffer_add_buffer (Buffer *buf, Buffer *data)
 ^~~~~~~~~~~~~~~~~
lldb.c:215:1: warning: ‘buffer_add_id’ defined but not used [-Wunused-function]
 buffer_add_id (Buffer *buf, int id)
 ^~~~~~~~~~~~~
lldb.c:208:1: warning: ‘buffer_add_long’ defined but not used [-Wunused-function]
 buffer_add_long (Buffer *buf, guint64 l)
 ^~~~~~~~~~~~~~~
lldb.c:188:1: warning: ‘buffer_add_short’ defined but not used [-Wunused-function]
 buffer_add_short (Buffer *buf, guint32 val)
 ^~~~~~~~~~~~~~~~

```

* [interp] fix warnings on linux (gcc 8.3.0)

Fixes these warnings:
```
interp/interp.c:3425:1: warning: ‘g_error_xsx’ defined but not used [-Wunused-function]
 g_error_xsx (const char *format, int x1, const char *s, int x2)
 ^~~~~~~~~~~
  CC       interp/libmono_ee_interp_la-mintops.lo
  CC       interp/libmono_ee_interp_la-transform.lo
  CCLD     libmono-ee-interp.la
ar: `u' modifier ignored since `D' is the default (see `U')
  CC       libmono_dbg_la-debugger-agent.lo
  CC       libmono_dbg_la-debugger-state-machine.lo
  CC       libmono_dbg_la-debugger-engine.lo
  CCLD     libmono-dbg.la
ar: `u' modifier ignored since `D' is the default (see `U')
  CCLD     mono-sgen
  AR       libmain.a
ar: `u' modifier ignored since `D' is the default (see `U')
  CC       interp/libmaintest_a-whitebox.o
In file included from interp/whitebox.c:3:
interp/transform.h:163:12: warning: ‘stack_type’ defined but not used [-Wunused-variable]
 static int stack_type [] = {
            ^~~~~~~~~~
interp/transform.h:155:20: warning: ‘stack_type_string’ defined but not used [-Wunused-variable]
 static const char *stack_type_string [] = { "I4", "I8", "R4", "R8", "O ", "VT", "MP", "F " };
                    ^~~~~~~~~~~~~~~~~

```

* [thread state] fix warnings on linux (gcc 8.3.0)

Fixes these warnings:
```
  CC       libmonoutils_la-mono-threads-state-machine.lo
mono-threads-state-machine.c:33:1: warning: ‘get_thread_no_safepoints’ defined but not used [-Wunused-function]
 get_thread_no_safepoints (int thread_state)
 ^~~~~~~~~~~~~~~~~~~~~~~~
mono-threads-state-machine.c:26:1: warning: ‘get_thread_suspend_count’ defined but not used [-Wunused-function]
 get_thread_suspend_count (int thread_state)
 ^~~~~~~~~~~~~~~~~~~~~~~~
```

* [domain] fix warnings on linux (gcc 8.3.0)

Fixes these warnings:
```
appdomain.c:2415:1: warning: ‘get_app_context_base_directory’ defined but not used [-Wunused-function]
 get_app_context_base_directory (MonoError *error)
 ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
  CC       libmonoruntimesgen_la-assembly-load-context.lo
  CC       libmonoruntimesgen_la-domain.lo
domain.c:135:1: warning: ‘mono_domain_alcs_lock’ declared ‘static’ but never defined [-Wunused-function]
 mono_domain_alcs_lock (MonoDomain *domain);
 ^~~~~~~~~~~~~~~~~~~~~
domain.c:138:1: warning: ‘mono_domain_alcs_unlock’ declared ‘static’ but never defined [-Wunused-function]
 mono_domain_alcs_unlock (MonoDomain *domain);
 ^~~~~~~~~~~~~~~~~~~~~~~
domain.c:2129:1: warning: ‘mono_alc_free’ defined but not used [-Wunused-function]
 mono_alc_free (MonoAssemblyLoadContext *alc)
 ^~~~~~~~~~~~~
domain.c:2108:1: warning: ‘mono_domain_create_default_alc’ defined but not used [-Wunused-function]
 mono_domain_create_default_alc (MonoDomain *domain)
 ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
domain.c:2084:1: warning: ‘create_alc’ defined but not used [-Wunused-function]
 create_alc (MonoDomain *domain, gboolean is_default)
 ^~~~~~~~~~

```

* [native library] fix warnings on linux (gcc 8.3.0)

Fixes this warning:
```
  CC       libmonoruntimesgen_la-native-library.lo
native-library.c:295:1: warning: ‘mono_loader_register_module_locking’ defined but not used [-Wunused-function]
 mono_loader_register_module_locking (const char *name, MonoDl *module)
 ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
```

* [sample] fix warnings on linux (gcc 8.3.0)

Fixes this warning:
```
  CC       libtestlib_la-test-mono-embed.lo
In file included from test-mono-embed.c:7:
../../samples/embed/teste.c:20:1: warning: function declaration isn’t a prototype [-Wstrict-prototypes]
 gimme () {
 ^~~~~

```

* fix for checked builds

Commit migrated from https://github.com/mono/mono/commit/b4c506c3045516349d03ce8f3fe9fa5b79a7271c

Do not look at Size when doing Auto layout (#1805)

Seems like the deleted line was copypasted from the Sequential/Explicit case, but it's incorrect.

Fixes #1770.

Flush GC log on shutdown (#1721)