Add gcstress option to SuperILC (#1446)

* Add gcstress option to SuperILC

This option allows executing tests with gcstress mode set to a passed
in value.
I have also added additional fixes for race issues with _logWriter.

Add MsQuic implementation of System.Net.Quic (#427)

Fix typo (#1528)

Nullable annotate System.Reflection.Metadata (#1056)

* Nullable annotate System.Reflection.Metadata

* remove unused declaration

* update System.Diagnostics.Stacktrace for System.Reflection.Metadata annotations

* address feedback

* reinstate annotations erroneously removed by generator

* Apply feedback

* address feedback

* address feedback

fix stress script issue (#1452)

Rename file extension of RunnerTemplate.Windows.txt to .cmd (#1470)

So it automatically gets the EOL treatment from https://github.com/dotnet/runtime/pull/1336.

Don't call AdvanceTo(default) in PipeReader.CopyToAsync (#1437)

* Don't call AdvanceTo(default) in PipeReader.CopyToAsync

* Address PR feedback

Remove BaseDomain::IsSharedDomain (always false now) (#1456)

Expose CreateLinkedTokenSource(CancellationToken) (#1379)

CoreFX renames (#1440)

Merge pull request #1348 from stephentoub/moreregexperf

More Regex perf improvements

improve ALPN handling (#1347)

Fix fat call transform for x86 (#1451)

`AddArgumentToTail` with a null first argument will AV.

I *think* this also works with methods that take a return buffer (methods that return large structs), but might require a pair of eyes more experienced in this codebase.

Add a few more tests / improve code coverage

Address PR feedback

Additional code gen improvements

- In Go, Improve code generation from several constructs to reduce code size and increase bounds reduction in the non-backtracking compiler
- In FindFirstChars, use IndexOf instead of Boyer-Moore if the found prefix is only one character in length.
- Hide some debug-only functions from code coverage

Rename "Greedy" subexpressions to "Atomic"

The greedy naming is really confusing (we should fix it in the framework documentation as well).

In general regular expression nomenclature, "greedy" is used as the opposite of "lazy", indicating how much a loop initially consumes, e.g. does `a*` first try consuming as many 'a's as possible or does it first try consuming as few 'a's as possible... it's "greedy" (denoted as `a*`) if it consumes as many as possible and "lazy" (denoted as `a*?` if it consumes as few.

How aggressively it consumes, however, is orthogonal to whether it backtracks.  Whereas `a*` is greedy and backtracking and `a*?` is lazy and backtracking, `(?>a*)` is greedy and non-backtracking and `(?>a*?) is lazy and non-backtracking.

Unfortunately, the nomenclature in the implementation and the documentation describes the `(?> ... )` as being a "greedy subexpression", which then conflates the meaning of "greedy".

The rest of the industry refers to these instead as "atomic", so I've changed it to that in the implementation.

Fix CharInClass handling of invariant in lookup table

The Boolean logic was previously wrong, leading to characters being included in the set even if they weren't meant to be, e.g. given the set [^bc], this should include everything other than b and c, but if invariant culture was being used, it incorrectly included B and C in the set.

Add more tests, and fix some bugs found

Restore netfx test configuration to serve as oracle

With all the changes being made in the regex implementation in this release, we want to make sure we don't regress, and a good way to help doing that is add a bunch of tests and ensure they pass on netfx as well, where appropriate.

Add non-backtracing support for greedy loops and lazyloops

Auto-greedy for last Alternate/Loop/Lazyloop in regex

Avoid unnecessary operations when textSpanPos == 0

Add non-backtracking go support for anchors, alternation, lookahead, repeaters

Use vectorized IndeOf for some notoneloopgreedy loops

Add Notoneloopgreedy to go with One/Setloopgreedy

I initially mistakenly thought this wouldn't be useful, but it is.  For example, the expression ".*\n" can be made non-backtracing.

Auto-greedy last set/one loop in regex

Upgrade some loops followed by boundaries to be greedy

Add optimized non-backtracking code gen for limited subset of regexes

When we can determine from the regex that backtracking isn't needed, we
can generate much smaller / better code in RegexCompiler.GenerateGo.

Improve StringCode lookup in RegexWriter to avoid unnecessary list

Optimize allocation for child lists of RegexNodes

Optimize {Lazy}loops that directly wrap Set/One/Notone

When written as a* these are already transformed appropriately by the parser, but other reductions can expose them in a way that the parser won't see.  For example, (?:a)* ends up being a much more expensive regex even though it's identical functionally.  This reduces the latter to the former, for cases where a {Lazy}loop is found to directly wrap a Set/One/Notone.

Automatically upgrade some loops to be greedy

In an expression like A*B, backtracing may be involved even if it's impossible that it'll do any good, namely if there's no overlap between the A and B sets.  This backtracking can be avoided by using a greedy subexpression, e.g. (?>A*)B, but a) few developers think to do that, and b) even when they do the implementation has more overhead than is desirable.

This change does three things:
1. It introduces primitives for "oneloopgreedy" and "setloopgreedy" that correspond to the existing "oneloop" (a single character in a loop) and "setloop" (a char class in a loop) primitives.
2. It reduces a Greedy node that contains a one/setloop to instead just be a one/setloopgreedy node.
3. It finds cases of one/setloop concatenated with other things, and automatically updates those to be one/setloopgreedy when it can provie that the backtracking would have no benefit.

(2) removes a small amount of overhead, in particular in compiled, because it avoids needing to spit additional tracking state for backtracking.

(3) can likely be expanded in the future to catch more cases, but it handles the common cases now.  This has a very measurable impact on non-matches that would otherwise trigger backtracking into the subexpression.

Code spit EnsureStorage replacement to avoid spilling locals

Only spill if we have to grow the relevant arrays.

Clean up minor style issues in RegexCompiler

Minor RegexCompiler codegen tweak for text[pos++]

The JIT generates slightly better code for:
```C#
text[pos] = ....;
pos++;
```
instead of:
```C#
text[pos++] = ...;
```
so use the IL equivalent of the former.

Remove stale generated local in RegexCompiler

Fix inadvertent closure in EmitCallCharInClass

Add EmitCallCharInClass optimization for singleton

Use IndexOf{Any} for case-sensitive singletons in FindFirstChar

Takes advantage of vectorization in string.IndexOf.

Clean up more code in RegexCompiler

- Only use ilg from "macro" helpers
- Move some blocks of code around

Put back Regex singleton optimization

I had removed it because it seemed illogical that anyone would write such character classes.  But it turns out the implementation/parser itself generates them for certain forms, e.g. "hello|hithere" will create a character class containing just 'h' in order to find the start of the alternation.

Delay JIT'ing until first execution

I'd previously removed multiple delegate allocations that were being incurred every time we needed to run a compiled regex concurrently.  In doing so, however, I inadvertently forced JIT'ing to occur when the Regex was created rather than on first use; that can in turn lead to more start-up overheads for regexes that are created on startup (e.g. to initialize a static field) but that aren't used at start-up, as well as reduce potential parallelism that could otherwise occur for distinct regexes being run for the first time concurrently.  This addresses the issue by still caching delegates, but in addition to rather than instead of the DynamicMethod objects.

Remove dead code in build.ps1 after -help option was added (#1430)

Forgot remove a ? from ref assembly (#1467)

Update superpmi.py helper script (#1474)

Mostly, updated documentation. Added some additional logging
output for improved clarity. Tried to simplify the code so
it is easier to understand, in places.

[master] Update dependencies from dotnet/arcade Microsoft/vstest (#1371)

* Update dependencies from https://github.com/dotnet/arcade build 20200107.1

- Microsoft.DotNet.XUnitExtensions - 5.0.0-beta.20057.1
- Microsoft.DotNet.VersionTools.Tasks - 5.0.0-beta.20057.1
- Microsoft.DotNet.ApiCompat - 5.0.0-beta.20057.1
- Microsoft.DotNet.Arcade.Sdk - 5.0.0-beta.20057.1
- Microsoft.DotNet.Build.Tasks.Configuration - 5.0.0-beta.20057.1
- Microsoft.DotNet.Build.Tasks.Feed - 5.0.0-beta.20057.1
- Microsoft.DotNet.Build.Tasks.Packaging - 5.0.0-beta.20057.1
- Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk - 5.0.0-beta.20057.1
- Microsoft.DotNet.CodeAnalysis - 5.0.0-beta.20057.1
- Microsoft.DotNet.GenAPI - 5.0.0-beta.20057.1
- Microsoft.DotNet.XUnitConsoleRunner - 2.5.1-beta.20057.1
- Microsoft.DotNet.GenFacades - 5.0.0-beta.20057.1
- Microsoft.DotNet.Helix.Sdk - 5.0.0-beta.20057.1
- Microsoft.DotNet.RemoteExecutor - 5.0.0-beta.20057.1

* Update dependencies from https://github.com/dotnet/arcade build 20200107.5

- Microsoft.DotNet.XUnitExtensions - 5.0.0-beta.20057.5
- Microsoft.DotNet.VersionTools.Tasks - 5.0.0-beta.20057.5
- Microsoft.DotNet.ApiCompat - 5.0.0-beta.20057.5
- Microsoft.DotNet.Arcade.Sdk - 5.0.0-beta.20057.5
- Microsoft.DotNet.Build.Tasks.Configuration - 5.0.0-beta.20057.5
- Microsoft.DotNet.Build.Tasks.Feed - 5.0.0-beta.20057.5
- Microsoft.DotNet.Build.Tasks.Packaging - 5.0.0-beta.20057.5
- Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk - 5.0.0-beta.20057.5
- Microsoft.DotNet.CodeAnalysis - 5.0.0-beta.20057.5
- Microsoft.DotNet.GenAPI - 5.0.0-beta.20057.5
- Microsoft.DotNet.XUnitConsoleRunner - 2.5.1-beta.20057.5
- Microsoft.DotNet.GenFacades - 5.0.0-beta.20057.5
- Microsoft.DotNet.Helix.Sdk - 5.0.0-beta.20057.5
- Microsoft.DotNet.RemoteExecutor - 5.0.0-beta.20057.5

* Update dependencies from https://github.com/microsoft/vstest build 20200103-01

- Microsoft.NET.Test.Sdk - 16.5.0-preview-20200103-01

* Fix space in resource key to react to arcade resource generation fix

Co-authored-by: Santiago Fernandez Madero <safern@microsoft.com>

Merge pull request #1073 from DrewScoggins/dev/anscoggi/activateLiveBuilds

Fix passing of liveBuilds name string in perf job.

Expose MemoryMarshal.GetArrayDataReference (#1036)

Given an SzArray, returns a reference to where the element at index 0 would be located, even if the array is empty. No variance checks or bounds checks are performed.

Improve RawArrayData comments (#1450)

Update URLs in BOTR (#1441)

- update links to sources from dotnet/coreclr -> dotnet/runtime/src/coreclr
- fix dead urls (github and non-github) under docs/design/coreclr.
- use https://software.intel.com/sites/default/files/article/402129/mpx-linux64-abi.pdf as a new home for x64 System V ABI, as http://x86-64.org is now abandoned. Update source files as well.
- normalize “, ” and ’ to ascii " and ' and remove trailing whitespaces in modified files.

Disable failing BasicTest_AccessInstanceProperties_NoExceptions_Bsd test (#1447)

Fix ReflectionTypeLoadException nullable annotations (#545)

We were previously using `Type[]?`, but the array can actually contain null, so it needs to be `Type?[]?`.  Further, upon reviewing a bunch of call sites, it's clear that a) code expects to be able to pass null for the arrays into the ctor but also b) expects to be able to read Types/LoaderExceptions without doing null checks.  As such, I modified the annotations accordingly, and fix the implementation to match.

Fix nullable annotations on CollectionExtensions.GetValueOrDefault (#1364)

Suppress ExecutionContext flow in SocketHttpHandler's ConnectHelper (#1381)

Ensure LocalEndPoint being updated in SendToAsync(SocketAsyncEventArgs) (#808)

Fixes #915 by assigning _rightEndPoint like in other overloads, introducing a breaking change in the behavior of SendToAsync(SocketAsyncEventArgs).

Augment several "bool IsXx" APIs with [NotNullWhen(true)] (#1372)

If these methods return true, we know the argument passed in wasn't null.  Annotating it as such can help reduce warnings in callers.

Fix GC heap corruption on ARM. (#1389)

The allocate_in_free code path in allocate_in_expanded_heap incorrectly calculated the large (double) alignment padding size when limiting the plug size (SHORT_PLUGS) if set_padding_on_saved_p was true:

    set_padding_in_expand (old_loc, set_padding_on_saved_p, pinned_plug_entry); // Sets the padding flag on the saved plug
    ...
    pad += switch_alignment_size (is_plug_padded (old_loc)); // Reads the padding flag from the old (different!) plug

That caused access violation during a later heap walk since the g_gc_pFreeObjectMethodTable pointer marking the gap was not placed at the right address.

Merge pull request #1346 from vargaz/string-ctor-preserve-dep

Add PreserveDependency attributes to String ctors to mark their dependency on the corresponding String:Ctor methods.

Fix PreserveDependencyAttribute.cs location.

Fix reported result in binder tracing for mismatched MVID when loading assembly by path / stream (#1339)

Add PreserveDependency attributes to String ctors to mark their dependency on the corresponding String:Ctor methods.

Fix stack overflow in PhysicalAddress.TryParse taking out CI (#1385)

Merge pull request #1102 from swaroop-sridhar/release-testing

Add Job for Release testing

Change location of some source files (#1376)

* Move coreclr/src/coreclr/hosts to one level up

* Move native commons to :/eng/native

Fix Reading Time Formats with  quotes  from ICU (#1370)

Merge pull request #1373 from dotnet/alpine-3-11

Add Alpine 3.11 testing

Fix musl condition for chroot case (#1369)

PR feedback

Toggle meaning of isFullMatrix (PR request)

Add Job Description for Release testing

This change adds a job description for testing release bits.
It runs outer loop tests on all platforms (with and without R2R) every night at 10pm.

Delete Tests.props (#1236)

It creates a conficting defintiion of CommonPath that is not really needed for anything

Add Alpine 3.11 testing

Add createdump to the sharedFramework folder to be added to runtime packages (#1345)

Add vbproj to .editorconfig (#1354)

Reduce confusion in vector layout algorithm (#1356)

We special case layouts of two kinds of vectors: `Vector<T>` and `Vector64/128/256<T>`. Each gets laid out a bit differently. When porting crossgen2 changes to CoreRT (I'm still on leave of absence), it felt odd that code handling vanilla Vector was added to a class responsible for the 64/128/256 variant.

Turns out this was forced by vector handling being really messy. This commit untangles it:

* Rename the class that handles `Vector<T>` so that the name doesn't conflict with the class that handles `Vector64/128/256` and require renaming to use. Use the same name as on the CoreRT side.
* Unnest the class and move the new method `IsVectorOfTType` there.

Update LSRA document (#1181)

* Update LSRA document

Kill local asserts for partial write in copyBlock (#1279)

* Kill local asserts for partial write in copyBlock

Fix #1241

Another PAL cleanup (#1359)

* Make _fullpath private

* Make _open_osfhandle private

* Remove GetWriteWatch and ResetWriteWatch

* Remove atexit

* Remove div and div_t

* Remove PAL__getcwd

*  Remove STACK_ALIGN_BITS and STACK_ALIGN_REQ

* Remove couple of LANG_* constants

Update shared parts of crossgen2 (#1358)

* Port changes from CoreRT.
* Stop sharing embedded object nodes. These are becoming increasingly difficult to share and there's little value.

Fix TypeIntrinsics_il tests (#1271)

* Fix TypeIntrinsics_il.il

* Remove CLRTestPriority

Fix LSRA dump of GC Kills (#1288)

New PhysicalAddress.TryParse methods taking span and string (#1057)

This PR introduces two new PhysicalAddress.TryParse methods taking span and string as well as adds a PhysicalAddress.Parse overload taking span.
Fixes dotnet/corefx#29780

Require test framework assemblies crossgen to succeed (#1305)

* Require test framework assemblies crossgen to succeed

The test framework crossgen in build-test.cmd failures were ignored
before. Change that to require the crossgen of all the framework
assemblies to succeed.
I've also added a progress and status details to the output.
Equivalent changes were made to the Unix build-test.sh.

Make sure default ALC is initialized before resolving satellite assembly (#1032)

Fix broken docs links (#1005)

* Fix broken docs links in txt/md files under src

* Fix broken docs links found in source code

* Fix broken docs links in workflow docs

* Fix broken docs links in build commands

* Fix broken docs links in HTML resource files

* Update HTTP/SSL stress test docs for local builds

Co-Authored-By: Eirik Tsarpalis <eirik.tsarpalis@gmail.com>
* Fix a few remaining broken links

Co-authored-by: Eirik Tsarpalis <eirik.tsarpalis@gmail.com>

PAL unused functions cleanup (#1313)

* Remove some unused PAL functions

* Remove SearchPathA

* Remove most of the clr::fs stuff

* Remove GetFileInformationByHandle

* Remove CompareFileTime from public PAL surface

* Remove GetLongPathName

* Remove GetShortPathName

* Remove some directory and file related functions

Make some of the functions private, but keep them in PAL as
too many PAL tests were using them and transforming those tests would
be waste of time.

* Remove non-existent PAL tests from the paltestlist.txt

Force Windows SDK to be 10.0 (#1331)

This fixes the build failures on Windows Server 2012

Fix build on Void Linux musl (#1337)

* xstate_bv was renamed to xfeatures in torvalds/linux@400e4b2, also
  see https://lore.kernel.org/patchwork/patch/939801/. Added a cmake
  check to detect if old header is available on the build machine.
* Make musl-libc based distro RID detection more permissive by adapting
  condition used by public-facing dotnet-install script:
  https://github.com/dotnet/toolset/blob/a229608/scripts/obtain/dotnet-install.sh#L163

Fix compMatchedVM by using osType to detect cross target compilation in case of AOT scenario (#1243)

Update cmd and batch scripts to be crlf (#1336)

Updating `JitEEVersionIdentifier` GIUD. A follow up for removing ArrayTypeDesc. (#1330)

Optimize AdjustMaxWorkersActive (#1103)

@ninedan reported this function as expensive in one of the server scenarios
he monitors. The actual time is spent in `ThreadStore::GetAllThreadList`.
Moving the call to `GetTotalWorkerThreadPoolCompletionCount` should reduce this
cost.

Fixes #1079

Copy change to XsdDateTime (#1319)

I copied the change from dotnet/coreclr#7769 to XsdDateTime which eliminates extraneous iterations of the days array.

Add documentation guidelines when adding new APIs (#1335)

* Add documentation guidelines when adding new APIs

* Update docs/coding-guidelines/adding-api-guidelines.md

Co-Authored-By: Dan Moseley <danmose@microsoft.com>
* Update docs/coding-guidelines/adding-api-guidelines.md

Co-Authored-By: Dan Moseley <danmose@microsoft.com>
* Update docs/coding-guidelines/adding-api-guidelines.md

Co-Authored-By: Maira Wenzel <mairaw@microsoft.com>
* Update docs/coding-guidelines/adding-api-guidelines.md

Co-Authored-By: Maira Wenzel <mairaw@microsoft.com>
* Update docs/coding-guidelines/adding-api-guidelines.md

Co-Authored-By: Maira Wenzel <mairaw@microsoft.com>
Co-authored-by: Dan Moseley <danmose@microsoft.com>
Co-authored-by: Maira Wenzel <mairaw@microsoft.com>

Remove STREAM_MEMORY_OVERLOADS_AVAILABLE (#1328)

Removed duplicates/unused code from src\jit\jitstd. (#1272)

make_signed/make_unsigned moved to clr_std/type_traits.
Removed pair.h and type_traits.h

Fix #27557

Fix reported result for incompatible version for default ALC (#1083)

FindInLoadContext and ApplicationAssemblies stages were reporting name
mismatch instead of incompatible version

CoreFX Renames in System.IO PathInternal.Tests (#1017)

Fix typo: availabe -> available (#1324)

Add CMAKE add_jit function and remove duplicated code for all JIT (#1292)