Add CrossGen Comparison scenario to netci.groovy

Add tests/scripts/crossgen_comparison.py

Remove coreclr.*txt upload (#19524)

R2RDump - Documentation (#19497)

* Add comments

* Add README

* Use href links, disable disasm

Moved registry.cs to shared (#19471)

* moved registry to shared

* using corefx version

* set value added

Determine memory load based on cgroup usage. (#19518)

cgroup usage is used to trigger oom kills. It includes rss and file cache
of the cgroup.

The implementation was only using the process rss to determine memory load.
This is less than the cgroup usage and leads to oom kills due to GC not
being triggered soon enough.

Add an empty console application to measure startup of the runtime. (#19490)

Disable a regex test that is failing with minopts (#19488)

See dotnet/coreclr#18912. This test would always fail once tiered compilation is enabled by default in CoreFX test runs in the CoreCLR repo.

Build-test.sh handles native test assets (#19430)

* Respect Windows script argument to skip package building.

* Bring build.sh logic closer to build.cmd with respect to passing CMAKE flags for building tests

* Make cmake gen script find override file without using script arguments

* build-test.sh can now build native test projects
Remove compileoptions.cmake and push contents into configurecompiler.cmake
 which contains compiler configuration from repo root CMakeLists.txt

Some JitBench fixes (#19479)

Some JitBench fixes

- Fixed `dotnet run` from the `unofficial_dotnet` folder after `Directory.Build.targets` was added to `coreclr/tests/src`. This file is auto-imported and was adding dependencies and properties for targets that were not necessary. Added files to the root JitBench folder to override.
- Updated JitBench to be able to run against netcoreapp3.0. I haven't changed the default yet, could consider doing so once there are no pending perf issues being looked into.
  - Added a `RetargetProjects()` function to the setup steps to replace `TargetFramework` and `RuntimeFrameworkVersion` values in the relevant `.csproj` files to run against the expected runtime. This reduces some dependency on other repos containing the actual perf projects such that we don't have to update every repo to support environment variables to set those values.
- Disabled tiering for the `MinOpts` config

JIT: bail out in optExtractArrIndex for constant array length (#19493)

Generalize the bail out pattern to handle cases from spans where we may
see a known array length in a bounds check.

Fixes #19454

Optimize NumberBufferToDecimal (#19072)

Merge pull request #19396 from CarolEidt/Fix19288

Fix non-lclVar odd-byte struct passing

Make file handle checks accurate on Windows (#19508)

* Make handle checks accurate on Windows

We can actually check the async state of a handle on Windows, so check directly when we have the API available.

Also allow all filetypes through when explicitly using extended syntax `\\?\` .

* Fix nits

* Don't throw in the handle constructor overloads

* Whoops

* Removing the close handle entirely. No adverse effects from closing a bad handle- or leaving it open for that matter.

Revert "Temporarily flag a SIMD test as optimization-sensitive (#19163)" (#19505)

This reverts commit 855ddf52c7b05994cf6728b9169fa6cdc694a537. Issue https://github.com/dotnet/coreclr/issues/19124 was fixed by PR https://github.com/dotnet/coreclr/pull/19234, so re-enabling the test in minopts and with tiering.

Update JapaneseLunisolarCalendar.cs (#19504)

Corrects an issue with the conversion table for Gregorian to Japanese lunisolar dates.
See: #19450.

Issue: data discrepancy in year 1962.
Table entry for 1962 has incorrect days per month for months 6 and 7.

Notes
The DaysPerMonth flag uses the binary literal for ease of readability.

JIT: properly handle special-case varargs params in minopts (#19489)

We were previously marking all lcl vars as implicitly referenced in minopts,
but there are some special varargs params that can't ever be marked as
referenced, either implicitly or explicitly.

Special case these when computing or checking ref counts in minopts.

Closes #19349.

Revert "Change CoreLib native image to be R2R by default on all platforms (#19359)" (#19501)

This reverts commit d485659348af3528b688ac5b7e4c58dacba6de58.

Add Public API Marshal.IsTypeVisibleFromCom and Marshal.GetEndComSlot (#19507)

R2RDump - GcInfo for x86

x86 GcInfo headers

x86 GcSlotTable

x86 GcTransitions

Update expected xml for R2RDumpTests

Add license headers

Allow multiple GcTransitions with same codeOffset

Add index property in GcSlot, make GcSlot a class instead of struct, add missing spaces, update tests

Remove placeholder functions for parsing partially interruptible pointer tables

Implement partially interruptible GcInfo

Example GcInfo output:
    CodeLength: 22 bytes
        InfoHdr:
            PrologSize: 7
            EpilogSize: 4
            EpilogCount: 1
            EpilogAtEnd: yes
            Callee-saved regs  = EBP
            EbpFrame: yes
            Fully Interruptible: yes
            DoubleAlign: no
            Arguments Size: 0 DWORDs
            Stack Frame Size: 1 DWORDs
            UntrackedCnt: 1
            VarPtrTableSize: 0
            GenericsContext: 0
            GenericsContextIsMethodDesc: 0
            ReturnKind: RT_Scalar
            RevPInvokeOffset: 0
            Epilogs: 18

            GcSlots:
                -------------------------
                [EBP-4]
                Flags: GC_SLOT_UNTRACKED
                LowBits:
                -------------------------

    28fc: 55                    push    ebp
    28fd: 8b ec                 mov     ebp, esp
    28ff: 50                    push    eax
    2900: 89 4d fc              mov     dword ptr [ebp - 4], ecx
    2903: 8b 4d fc              mov     ecx, dword ptr [ebp - 4]
    2906: ff 15 10 10 01 10     call    dword ptr [268505104]
                                reg ECX becoming live
    290c: 90                    nop
                                reg ECX becoming dead
    290d: 90                    nop
    290e: 8b e5                 mov     esp, ebp
    2910: 5d                    pop     ebp
    2911: c3                    ret

Update BuildTools, CoreClr, CoreFx, CoreSetup, PgoData to preview1-03115-01, preview1-26815-04, preview1-26815-04, preview1-26815-01, master-20180815-0120, respectively (#19494)

Merge pull request #19487 from acmyu/disable

ExcludeList for R2RDumpTests in wrong ItemGroup

Add TypeConverter fallback to DefaultValueAttribute (#19354)

Update debugging and createdump docs. (#19495)

ExcludeList for R2RDumpTests in wrong ItemGroup

Update BuildTools, CoreClr, CoreFx, CoreSetup, PgoData to preview1-03110-01, preview1-26814-06, preview1-26814-01, preview1-26814-01, master-20180814-0056, respectively (#19377)

Disable R2RDumpTests (#19475)

Delete dead code (#19452)

Unused strong name signing paths and related code

Translate [rip +- offset] to absolute RVA's in R2RDump (#19219)

* Translate [rip +- offset] to absoluate RVA's in R2RDump

The existing logic for displaying rip-relative addressed on X64
make it very hard to calculate the final addresses. I have added
a horrendous hack using textual analysis of the disassembled
instruction to translate this notation to absolute RVA's.

As part of this effort I have also encapsulated the CorDisTools
helper in a new class Disassembler that also contains customizable
provisions for handling special assembly cases on the individual
architectures.

Thanks

Tomas

* Temporarily block out disassembly to make tests pass

In my initial commit I removed the line blocking out disassembly
however this ends up failing several lab tests so I'm putting the
line back.

Thanks

Tomas

Code review feedback for the alternate stack changes (PR #19309). (#19476)

Fixed SOS plugin for core dumps.

Update URLs and exclusion list for staging (#19423)

* Update URLs and exclusion list for staging

* Update Failing tests

* Fix IO test namespace

* Add 2 failing Ubuntu tests

* Exclude test under Ubuntu

* Add regressed test

* Roll-back CI URLs

* Add issue number

Merge pull request #19463 from BruceForstall/FixArmHeapVerify

Disable 3 tests for Windows/arm32 HeapVerify runs

disable tests\src\JIT\Methodical\fp\exgen\10w5d_cs_do (#19465)

in stress modes. The issue is #18988

Merge pull request #19469 from BruceForstall/DisableVectorDot

Disable VectorDot_ro.cmd_9267 for Windows arm64 R2R

Disable VectorDot_ro.cmd_9267 for Windows arm64 R2R

Tracked by #18991

Merge pull request #19466 from BruceForstall/Disable163200

Disable test b163200 under GCStress

Disable test b163200 under GCStress

Tracked by #19464

Disable 3 tests for Windows/arm32 HeapVerify runs

They all time out.

Fixes #19462

Merge pull request #19459 from BruceForstall/Disable437044

Exclude 437044.cmd_10304 from GCStress runs

Exclude 437044.cmd_10304 from GCStress runs

This test times out on ARM Windows R2R GCStress15 runs.

Add a skipmanaged option to build.sh (#19111)

This option is the opposite of -msbuildonunsupportedplatform, and an
managed version of of -skipnative.

This is useful for bootstrapping on new Linux/x64 distributions, where
dotnet may not work (yet) but coreclr will try and use it anyway,
failing the bootstrap scripts.

See also https://github.com/dotnet/source-build/issues/663 for
additional background information.

Merge pull request #19458 from BruceForstall/DisableTests

Disable System.Linq.Expressions.Tests against #19457

Disable System.Linq.Expressions.Tests against #19457

Remove unused local from List<T>.RemoveRange (dotnet/corefx#31727)

`int i` appears to be unused so i removed it.

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

non shared changes and feedback addressed

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Fix a couple of apartment state issues (#19384)

* Fix a couple of apartment state issues

Fix for https://github.com/dotnet/coreclr/issues/17822
- The apartment state now defaults to MTA for the main thread along with a CoInitialize
- Calling `Thread.SetApartmentState` with STA now fails as expected (different behavior from previous netcore, same behavior as netfx)

Fix for https://github.com/dotnet/coreclr/issues/17787
- `WaitHandle.WaitAll` for multiple handles is not supported on an STA thread due to issues described in https://github.com/dotnet/coreclr/issues/17787#issuecomment-385117537
- It now throws `NotSupportedException` as expected (different behavior from previous netcore, same behavior as netfx)

Fix for https://github.com/dotnet/coreclr/issues/19225

* Temporarily exclude invalid CoreFX test

Create Microsoft.IO.Redist (dotnet/corefx#31679)

* Create Microsoft.Internal.IO

Includes all of Path, Directory, *Info, etc. from System.IO with targets of NetFX 4.6.1 and NetCore 2.1.

* Tweaks / minor fixes

* Remove netstandard build.

* Add package

Update to build for 4.7.2 only

* Rename folder to prepare for project rename

* Change the name to Microsoft.IO.Redist

* Namespace tweaks

* Use open key, tweak references

* More tweaks on feedback

Also grab latest build tools for 4.7.x RIDs

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Silence WinRT type assert in crossgen (#19442)

Disable type loader assert that fires when resolving a type from a WinMD. Instead, compilation should fail gracefully, or at runtime a type load exception will be thrown.

[local gc] disable feature redhawk  (#17769)

Make RuntimeType sealed and deleted support for introspection only loads (#19427)

- Sealed Runtime makes `is RuntimeType` and similar checks faster. These checks are fairly common in reflection.
- Delete support for introspection only loads from the runtime. We do not plan to use in .NET Core. The support for introspection loads inherited from RuntimeType and thus it is incompatible with sealed RuntimeType.

moved to shared (#19419)

Moved SpinLock.cs to shared (#19391)

* m removed from names, spaces after \\ and braces added

* Moved to shared

Don't early terminate on null for 64bit NR HashCode (#19331)

* Don't early terminate on null for 64bit NR HashCode

* Improved GetNonRandomizedHashCode

* Update message on GetNonRandomizedHashCode

* Consume null terminator rather than special case odd lengths

Merge pull request #19434 from BruceForstall/DisableR2rDumpTest2

Disable R2RDumpTest for JIT stress modes

Disable R2RDumpTest for JIT stress modes

Merge pull request #19433 from BruceForstall/UpdateTriggerPhrases

Update existing trigger phrases documentation

Update existing trigger phrases documentation

CORDbgSetInstruction: clear thumb bit of the address before flushing icache (#19409)

We should clear thumb bit of the address before flushing icache otherwise
we may not flush the cache for the first byte of the instruction.

Moved to shared (#19399)

update order of locks so jitstress is unblocked (#19401)

Fix non-lclVar odd-byte struct passing

When a non-power-of-2 struct is passed, we can only use an IND if the arg is a local.

Fix #19288

Merge pull request #19344 from adityamandaleeka/aa64_vm_callconv_changes

CallDescr/TransitionBlock changes for ARM64 calling convention

Add SoA raytracer as a CQ test for Intel hardware intrinsic

Merge pull request #19414 from BruceForstall/ReduceCorefxInnerloopTesting

Reduce the number of innerloop CoreFX jobs

Reduce the number of innerloop CoreFX jobs

1. Stop doing any OSX CoreFX jobs; they're too unreliable.
2. Stop running Debug jobs.

Merge pull request #19387 from dotnetrt/parallel-test-build

Reenable parallel msbuild execution - 2x faster test build

Align the Contents of EventPipeBuffers (#19375)

Updating the ilproj-sdk to also copy native dependencies from Microsoft.NETCore.JIT

Update DynamicHelper for Unix to match Win.

Merge pull request #19385 from BruceForstall/WhichCoreFxCommit

Print out the checked out commit hash

Adding the Avx.MaskStore tests

Implementing the Avx.MaskStore intrinsics

Reenable parallel msbuild execution - 2x faster test build

Print out the checked out commit hash

This is useful to see exactly which version of CoreFX you are testing against.

Updating init-tools to be inline with the CoreFX copy

Update CheckProjects to support `DebugType=Embedded` for RelType projects

Updating the x86 HWIntrinsic tests to include embedded pdbs

Merge pull request #19350 from dotnet/dev/unix_test_workflow

Simplify PR trigger creation; fix related bugs

Merge pull request #19382 from BruceForstall/FixSwitch

Fix `--` application to managed tests build command-line

Fix `--` application to managed tests build comamnd-line

Change CoreLib native image to be R2R by default on all platforms (#19359)

* Change CoreLib native image to be R2R by default on all platforms

* Delete unused argument

Updating init-tools.cmd to pass through PACKAGES_DIR

Update BuildTools, CoreSetup to preview1-03108-01, preview1-26808-05, respectively

Move methodbody and exceptionHandlingClause to shared  (#19364)

* Changing names and making runtime files

* Movel methodbody and exceptionHandlingClause to shared

* Fixing build error

Merge pull request #19363 from nattress/crossgen_skip_windowsruntime

Skip Crossgen of S.R.WindowsRuntime.dll

Merge pull request #19367 from BruceForstall/RestorePassThroughArg

Restore handling of __PassThroughArg for `--`

Fix R2R DynamicHelper to use the correct offset to x0 reg.

ReNaming and rearranging the variables to reduce the diff (#19338)

* Names changes in managed side and native side

* name changes in native side

* Removing serialization field

* lower case corrected

Restore handling of __PassThroughArg for `--`

Merge pull request #19275 from dotnetrt/test-warnings-msbuild

build-test - fix ~ 2.1k MSBuild warnings due to bad framework and bad project references

JIT: update lvaGrabTemp for new minopts/debug ref counting approach (#19351)

If the jit has started normal ref counting and is in minopts or debug,
set all new temps to be implicitly referenced by default.

Closes #19346.

Skip Crossgen of S.R.WindowsRuntime.dll

System.Runtime.WindowsRuntime contains assembly refs to Windows platform WinMD types which are not available on Unix and required to crossgen the assembly.

Update BuildTools, CoreClr, CoreFx, CoreSetup, PgoData to preview1-03107-02, preview1-26808-04, preview1-26807-04, preview1-26807-04, master-20180808-0056, respectively (#19329)

Merge pull request #19343 from BruceForstall/SimplifyPrTriggers

Simplify the code to create PR triggers

Simplify the code to create PR triggers

Also, create PR triggers for jobs that currently don't have them
(which is a bug), such as Debug and Release Windows x64 jobs.

Fix non-Windows assembly code to match Windows calldescr/arg reg changes.

Use dotnet MSBuild for tests (#19324)

* Revert "Revert "Build managed tests with dotnet (#19254)""
* Reenable MSBuild support through dotnet instead of global MSBuild

FillRegDisplay: initialize volatileCurrContextPointers for ARM and ARM64 (#19332)

We need to initialize volatileCurrContextPointers because they could be
used by GC in the case of the leaf frame. This patch fixes crashes during
GC when we are single stepping using managed debugger.

Make VM-side changes for ARM64 Windows calling convention.

R2RDump - Tests for Debug, avoid copying expected xml files (#19321)

* Add Debug expected xml, pass xml path to R2RDumpTest

* Pass expected xml path as argument

* Remove copy expected xml, clean up