Add some diagnostics for EFS tests (#63243)

* diagnostics

* make outerloop

* fix linux build

* space

* feedback

* Apply suggestions from code review

Co-authored-by: Stephen Toub <stoub@microsoft.com>
Co-authored-by: Stephen Toub <stoub@microsoft.com>

Revert SafeBuffer change around pointer initialization (#63289)

A few minor tweaks to Regex source generator rendering (#63276)

* Do addition for EndZ matching at compile time

* Tweak rendering of optional loops to say "Optional" rather than "Loop optionally"

* Remove "at least X" from loop description when X is 0

* Add a missing blank line at the beginning of a back reference

* Rename ReturnFalse to NoStartingPositionFound

* Delete stale comments

* Address PR feedback

Extend case optimization in MatchCharacterClass to all chars that differ by one bit (#63275)

Extend CPU capabilities detection for osx-arm64 (#62832) (#62958)

* Extend CPU capabilities detection for osx-arm64 (#62832)

* Revert uncoditional enable for dczva on osx-arm64

Robustify a name resolution test (#63259)

* fix TryGetAddrInfo_HostName_TryGetNameInfo()

* Fix network test

make sure OpenSSL is initialized before Tls13Supported code runs (#62973)

* make sure OpenSSL is initialized before Tls13Supported code runs

* feedback from review

* Update src/libraries/Common/src/Interop/Unix/System.Security.Cryptography.Native/Interop.Ssl.cs

Co-authored-by: Stephen Toub <stoub@microsoft.com>
Co-authored-by: Stephen Toub <stoub@microsoft.com>

Delete ILCompiler.TypeSystem.ReadyToRun project (#63313)

Replaced with a single ILCompiler.TypeSystem shared between crossgen2 and ilc.

Update COM host to match RegAsm registration behavior (#63292)

* Update COM host to match RegAsm registration behavior

Fixed ILVerify incorrectly flagging valid default interface implementations (#61185)

* Added logic for default interface method traversal to ILVerify method discovery

* Added Tests for DefaultImplFix

* Moved call to default interface impl resolution outside of ResolveInterfaceMethodTarget

transform sgen_get_descriptor to parallel safe version in job_major_mod_union_preclean (#63293)

Fixes mono/mono#21369
Related to https://github.com/xamarin/xamarin-android/issues/6546

job_major_mod_union_preclean can race with the tarjan bridge
implementation that changes the vtable pointer by settings the three
lower bits. this results in invalid loading of the vtable
(shifted by 7 bytes)  which in turn give a wrong desc to the scan
functions

This change is released under the MIT license.

Co-authored-by: tmijieux <tmijieux@users.noreply.github.com>

Do not create non-null assertions from location nodes (#62743)

Use SAL2 _In_, _Out_ to prevent conflicts (#63261)

Unify threading between crossgen2 and ilc (#63282)

They don't have to differ in the `--parallelism` vs `--singlethreaded` argument.

Fix user => use typo in comments (#63288)

Use pattern matching to reduce some duplication (#63278)

[mono] Don't access MonoClassField:parent directly (#63081)

Rename it to parent_ and add m_field_get_parent / m_field_set_parent accessors.

(The intention is to borrow the bottom bit of the pointer for an EnC metadata
update flag)

Mark Go override as SkipLocalsInit if possible (#63277)

It can have so many locals that zero-initing is measurable.

add missing PTEST docs (#62122)

Last ILCompiler.TypeSystem <-> ILCompiler.TypeSystem.ReadyToRun diff (#63281)

After this and dotnet/runtime#63280 there will be no differences between ILCompiler.TypeSystem and ILCompiler.TypeSystem.ReadyToRun and we can unify them.

Fix issues in PAL (#62625)

[wasm][debugger] Add Browsable Attribute support. (#62045)

* Description of DebuggerBrowsable behavior.

* Added test for browse attributes.

* Corrected typos in the doc.

* Added Browse Never feature. Corrected Collapse test. ToDo: RootHidden.

* Draft of RootHidden solution.

* Added Array to test cases as it behaves differently than Collection.

* Added name concatenation to make array/list elemetns in debug window unique.

* Update docs/design/mono/debugger.md

Co-authored-by: Ankit Jain <radical@gmail.com>
* Applied PR review suggestions.

* Added a reference to regular Browsable attribute behavior in .net.

* Applied most of review suggestions.

* Stopping GetFieldsValue early.

* Remove unintentional change to the original code.

* Do not skip fields that don't have browsable attributes.

* Changing the expected behavior to match Console Application. EventHandlers are Browsable.Never by default.

* Changed the place of checking if objetc is an array.

* Update src/mono/wasm/debugger/DebuggerTestSuite/EvaluateOnCallFrameTests.cs

Co-authored-by: Ankit Jain <radical@gmail.com>
* Removed unused variables.

* Removing space and unused import.

* Partially addressed @radical comments.

* Addressed the comment about extension instead of Union.

* Removed string cultural vunerability.

* Added Properties dictionary, the same as for fields.

* Fixed the bug I made by using dynamc.

* Applying @radical comments about refactoring.

* Corrected typo.

* Added tests for properties.

* Draft of changes for properties handling - never and root hidden failing.

* Fix for RootHidden properties.

* Added tests for static fields decorated with Browsable.

* Correct a typo.

* Undo merge unintentional changes.

* Changing expected behavior for MulticastDelegateTest - in Console Application EventHandler is Browsable.Never by default so we should not expect it to be visible in the debug window.

* Removing not relevant changes created after merge with main.

* Remove file added in merge with main.

* Revert "Removing not relevant changes created after merge with main."

This reverts commit b1acf8b546d1b95bea101290c25ec7f15cb78799.

* Revert.

* Revert revert.

* One broken test for custom getter.

* Ugly fix to make all the tests work.

* Refactored JArray aggregation to Dictionary.

* Better naming.

* Remove not connected to PR file.

* Applied @thaystg suggestions.

* Removed comments.

Co-authored-by: Ankit Jain <radical@gmail.com>

Move things from ILCompiler.TypeSystem to ILCompiler.Compiler (#63280)

IL generation (stubs/thunks) is not part of the core type system and these files are not included in ILCompiler.TypeSystem.ReadyToRun. Somehow we accumulated them in ILCompiler.TypeSystem but they can be pretty cleanly moved to ILCompiler.Compiler (left one TODO for a subsequent cleanup since some of what's in Common\TypeSystem should actually be in ILCompiler.Compiler proper).

[mono][wasm] Allow methods with finally clauses to be AOTed. (#63065)

* [mono][wasm] Allow methods with finally clauses to be AOTed.

This is implemented by running the finally clause with the interpreter.
Methods with clauses have additional code generated, which:
* Saves the IL state (pc+arguments+locals) into a MonoMethodILState
structure.
* Pushes an LMF frame on the LMF stack of type MONO_LMFEXT_IL_STATE.
  The LMF frame points to the il state.

During EH, if such an LMF frame is found, and the IL pc in the
il state points inside a clause, then an interpreted version
of the method is created, and the finally clause is ran using
the interpreter using the il state as the starting state.

* Disable a few test suites which now cause emscripten to OOM when building with AOT.

[main] Update dependencies from dotnet/linker (#63166)

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

Fix nullability annotations on ProcessModule.FileName/ModuleName (#63272)

Use interpolated strings in place of `StringBuilder.AppendFormat` where possible. (#62160)

Implement DiagnosticName in NativeAOT code (#63271)

When `DiagnosticName` was introduced into the type system, I didn't want to deal with it and compiled it out of the NativeAOT version of the type system.

In order to have a single ILCompiler.TypeSystem assembly that can be used with both crossgen2 and ILC, this needs to be implemented.

I've also reduced the number of diffs between ILCompiler.TypeSystem.csproj and ILCompiler.TypeSystem.ReadyToRun.csproj.

Fix strings typo (#63269)

[mono][wasm] Remove unused targets from wasm/Makefile. (#63263)

The real build now happens in runtime/CMakeLists.txt, the Makefile
contains only helper targets now.

Update issue suppressions (#63248)

The test got renamed in #63178.

Should fix the Mono AOT CI failures seen in #63232.

Improve SuperPMI error message for JIT asserts (#63229)

Currently, the method context numbers are output for each failure,
but the assert message is output separately, so if there are multiple
asserts that fire, and you want to investigate a particular one,
it's hard to figure out which method context number to use.

Add the method context number to the assert message, so the relationship
between the method context number and the assert is obvious.

E.g., you always get messages like the following (both before this change
and after):
```
ERROR: Exception thrown: DebugBreak or AV Exception 123
ERROR: main method 16501 of size 286 failed to load and compile correctly.
```

Before you might see an assert like:
```
ISSUE: <ASSERT> C:\gh\runtime6\src\coreclr\jit\fgbasic.cpp (4699) - Assertion failed '!"unexpected case 1"' in 'CancellationTokenSource:ExecuteCallbackHandlers(bool):this' during 'Update flow graph opt pass' (IL size 286)
```

Now, it will look like:
```
ISSUE: <ASSERT> #16501 C:\gh\runtime6\src\coreclr\jit\fgbasic.cpp (4699) - Assertion failed '!"unexpected case 1"' in 'CancellationTokenSource:ExecuteCallbackHandlers(bool):this' during 'Update flow graph opt pass' (IL size 286)
```

Bring over ILCompiler.Compiler unit tests (#63232)

...from CoreRT repo since we skipped them in runtimelab.

avoid ArgumentOutOfRangeException while processing invalid or incomplete TLS frame (#63184)

* avoid ArgumentOutOfRangeException while processing invalid or incomplete TLS frame

* feedback from review

Speed up crossgen2 by a couple percent (#63234)

I ran crossgen2 compiling a Release CoreLib under a profiler and this stood out quite a bit. The JIT-based CoreLib doesn't have the `Array<T>` type so `GetType` was walking all types in CoreLib.

I split this logic out to an ILC-specific file. I don't remember this showing up in the profiles for ILC, but I added a cache nevertheless.

Switch to objwriter from the dotnet/llvm-project repo (#63177)

Add ILLink.Shared project to Native AOT (#63230)

Change diagnostics to use ILLink.Shared utilities
Update ReferenceSource folder
Add method to obtain Requires attribute named argument URL

Allow managed type system tests on Alpine (#63207)

This was disabled in https://github.com/dotnet/runtime/pull/38128/commits/d98d9a2f52f16a87fdc8a28a252e94eca796abb2. I don't think those problems exist anymore - targets are written differently, and we would likely see musl-arm64 failures if this was still a problem.

Rename test suppressions (#63210)

The tests were renamed in dotnet/runtime#63178.

Fixes #63202 (and also the CI breaks in Mono leg seen in e.g. dotnet/runtime#63207).

Fix ILVerify.ILVerifyTypeSystemContext.VerifyModuleName throws NullReferenceException (#63222)

Fixes #62711

Fix regex test OOM (#63092)

Fix typos in comments (#63220)

Define MCREGs for ARM64 macOS (#63209)

Allow using ILCompiler without an IlcPath (#63211)

This will allow specifying disjoint paths for the various inputs to ILC. We'll need this if we want to run ILC as part of the build to either build crossgen2 with ILC or selfhost ILC. Separate properties avoid having to lay out things on the file system the way IlcPath expects.

Fix NativeAOT multifile test run (#63183)

Cleanup in NativeAOT from x86 attempt (#63182)

This is retrofitting parts of https://github.com/dotnet/runtimelab/pull/1531

[mono] Use Xcode path from xcode-select instead of hardcoding (#63076)

Fixes https://github.com/dotnet/runtime/issues/36536

Fix _il suffix for _d/_r-variant ilproj tests (#63178)

Remove unneeded ifdefs (#63160)

Remove ifdefs for always-on values: ASSERTION_PROP,
LOCAL_ASSERTION_PROP, OPT_BOOL_OPS, LARGE_EXPSET,
REDUNDANT_LOAD.

Unify build mode for one previously missed form _opt_dbg / _opt_rel (#63175)

Use shared strings for Array:Copy exception messages (#63163)

Use SIMD operations in InitBlkUnroll/CopyBlkUnroll and increase unroll limit up to 128 bytes (#61030)

* Use SIMD operations in CodeGen::genCodeForInitBlkUnroll()

* Use SIMD operations in CodeGen::genCodeForCpBlkUnroll()

* Remove restrictions on offset values in Lowering::ContainBlockStoreAddress()

* Remove unused macros in src/coreclr/jit/instr.h

Deduplicate JIT/Methodical/tailcall tests and make them mergeable (#63031)

This change fixes mergeability of tailcall tests: apart from simple
deduplication of the test class names and visibility fixes
I have modified the pointer and reference tests to stop using
Environment.Exit for exiting the test as that kills the merged
wrapper in in-proc execution; I have also fixed them to have main
within a class. In two cases (recurse_ep_void and test_virt)
I found out that I had previously put the Fact attribute on the
wrong method so I fixed that too. I renamed the two C# test
projects to better match the test of tests (widen to widen_r to
indicate it's a release test and thread-race_il_r to thread-race_r
as it's not an IL test).

Thanks

Tomas

Improve auto-formatting of ref/System.Runtime (#63139)

Run `dotnet build /t:GenerateReferenceSource` and kept the good deltas

Fixup some formatting in shared code (#63156)

Move System.Runtime.InteropServices.RuntimeInformation to CoreLib (#63140)

- Makes RuntimeInformation.ProcessArchitecture a JIT/AOT-time constant (constant returning property)
- Eliminates tiny netcoreapp assembly with just a few types

Fixes #57152
Contributes to #2138

[mono] Fix a regression caused by 9ddd58a58d14a7bec5ed6eb777c6703c48aca15d. (#63084)

Fixes https://github.com/dotnet/runtime/issues/63079.

NativeAOT: Do not run Vector version of Hardware Intrinsics when AVX2… (#62951)

Delete NativeAOT-specific CoreLib string resources (#63129)

* Delete NativeAOT-specific CoreLib string resources

- Fix missing localization of resource strings
- Delete duplicate resource strings where possible
- Delete internal or redundant messages

* Use default AmbiguousMatchException message where possible

* Print error message for calling UnmanagedCallersOnly method from managed code.

Parse compiler version in init-compiler.sh (#63126)

When user passes versioned native compiler argument such as
`-clang10.1` or `-gcc9.2` to the top-level `:/build.sh`,
`:/eng/build.sh` transforms that to msbuild property called
`<Compiler>` with raw/unprocessed value.

In coreclr, libs, corehost and tests partitions, we end up calling
`:/eng/native/build-commons.sh`, which slices the compiler name, major
and minor versions, then calls `:/eng/native/gen-buildsys.sh` with
individual components. That is just a pass-thru script for the final
`:/eng/common/native/init-compiler.sh`, where those arguments are
actually used.

In `mono.proj` and `NativeExports.csproj`, we do not use
`build-commons` script, but instead, invoke `init-compiler.sh` directly
with the raw `<Compiler>` property. That causes an error when versioned
native compiler is specified on the command line.

This PR fixes this issue by pushing version parsing code into
`init-compiler.sh` so all its consumers get the same behavior.

Fix libs.tests subset build on tizen arm64 (#63128)

In our cross-build setup, we use different heuristics to identify the
target platform first for ourselves, to be then able to set "toolchain
file" settings. Sometimes it is a file that is known to exist in
platform's sysroot directory pointed by `ROOTFS_DIR` (FreeBSD and
illumos), and for Tizen and Android it is `__DistroRid` environment
variable which is used for detection. This environment variable is set
only during the non-portable build.

In NativeExport.csproj, we call toolchain.cmake via
`output-toolchain-info.cmake` using `Exec` task to prepare native
compiler and linker arguments for DNNE project. It is invoked in script
mode where cmake engine does not initialize its built-in modules. For
the handful of build-in modules that we use in `toolchain.cmake`, we
have custom macros in `output-toolchain-info.cmake`.

Tizen build was broken because a) `__DistroRid` was not propagated in
the `Exec` task, b) we were missing custom macro for
`include_directories`.

This delta addresses the issue a) by unifying how different platforms
are detected in toolchain file and forgoes reliance of `__DistroRid`
which is an archiac concept when non-portable builds were the only
option, and issue b) by defining `include_directores` macro.

Delete unused libs.native shims (#63132)

Use System.Runtime.InteropServices.EnableConsumingManagedCodeFromNativeHosting (#62903)

feature switch to keep native hosting ComponentActivator dependencies

Update the apple testing doc (#63119)

Fix setting the configuration parameter in the apple test runner (#63102)

Reduce size of HttpHeaderValueCollection (#63057)

Reduce size of HttpHeaderValueCollection by removing and reworking _validator and _specialValue

[main] Update dependencies from dotnet/linker (#63044)

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

[mono][interp] Remove null check during initblk/cpblk with size 0 (#63086)

Remove unnecessary assignment of a value to local variables in SPC (#63020)

Delete some dead code (#63087)

Override same attributes found at class and property level in ApplicationSettingsBase (#63025)

disable failing HTTP3 interop test (#63055)

* disable failing HTTP3 interop test

Co-authored-by: Geoffrey Kizer <geoffrek@windows.microsoft.com>
Co-authored-by: Anton Firszov <antonfir@gmail.com>

[tests] Cleanup copy/pasted assembly update test projects (#62970)

* Cleanup copy/pasted assembly update test projects

* Keep the ProjectReferences as is

It's easier to grep and it's easier for the IDE to display them

Compute the TrimmerRootAssembly items from the project referferences

So to add a new test you just need to add a ProjectReference in one place

[main] Update dependencies from dotnet/arcade dotnet/xharness (#63069)

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

[wasm] fix sample make files & RunScript bash lowercase problem (#63062)

* fix make
* fix lower case $Scenario

[wasm] Tweak set timeout (#62898)

- Cache method lookup for TimerQueue.TimeoutCallback and ThreadPool.Callback.
- Remove unused parameter "id" from timer related functions.

[main] Update dependencies from 5 repositories (#63043)

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

Handle parameterless ctors in structs in STJ's ReflectionEmitMemberAccessor  (#62989)

* Add boxing for parameterless ctors in structs (C# 10 feature) during dynamic code generation

* move tests to Common

* fix tests

* Address feedback

[wasm] updated samples for ES6 and CJS (#62292)

* samples for ES6 and CJS
* hack for in-tree linking
* binlog for samples

Expose AppContext.SetData in ref assembly (#62996)

* Expose AppContext.SetData in ref assembly

* Implement test for Set/GetData

* Add doc comment

[wasm][debugger] Run getter using Runtime.GetProperties (#62857)

* Implementing support on running getters using Runtime.GetProperties as it's done by chrome.

* Addressing @radical comments.

* testing datetime

More static in System.ComponentModel.TypeConverter (#63017)

Update ObjWriter package (#63035)

The package we're currently using is missing https://github.com/dotnet/runtimelab/pull/1519.

Fix HAVE_PTHREAD_CONDATTR_SETCLOCK detection on Android (#62978)

Android puts pthread stuff into libc. Because this wasn't detected, we are using some iOS fallbacks in System.Native. I'm propagating how pthreads are detected in the CoreCLR PAL (that was fixed up for Android in the CoreCLR PAL a couple years ago).

Failure to properly detect it here was causing build breaks in CoreCLR on Android (that's how I found this).

Various WASM AOT changes (#62997)

* [mono] Add a mono_dummy_jit_icall_val () icall.

This can be used to trace values from AOT code during runtime
debugging.

* [mono] Avoid adding a try clause to vector alloc wrappers.

Previously, a try-catch clause was added to the vector Alloc
wrappers to convert the OverflowException thrown by the .ovf
opcodes to an OutOfMemoryException. This could cause EH problems on wasm
since on wasm no AOTed code should contain clauses, but this
wrapper was still AOTed for performance reasons.
Instead, add a new CIL opcode to make the .ovf opcodes throw the
OutOfMemoryException directly.

* Disable inline rgctx fetch in mono_decompose_vtype_opts () as well.

It can't handle the new bblocks added by the inline rgctx fetch code.

* [mono] Factor out the slow path of Array.Copy () into a separate method.

The slowpath contained a try-catch clause, preventing Array.Copy () from
being AOTed on WASM.

* [mono] Fix assigning a name to LLVM Alloca instructions.

* Add a V=1 makefile option to wasm/Makefile.

* Add a WasmAotProfilePath build property.

Fixed typo in remarks section of OnCompleted (#62982)

[main] Update dependencies from dotnet/runtime (#63010)

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

fix race condition in System.IO.Packaging (#63013)

WinHttp: always read HTTP/2 streams to the end (#62870)

By it's default behavior, WinHttp stops reading the stream when Content-Length is specified, this prevents us to read the remaining trailers. Opt-in into WINHTTP_OPTION_REQUIRE_STREAM_END, so WinHttpHandler reads HTTP2 streams to the end regardless of Content-Length.

[main] Update dependencies from dotnet/linker (#62771)

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

Improve XML documentation (#62994)

Corrected return value type in XML documentation.

Fix #62993

Co-authored-by: Björn Sjögren <bjs@hms.se>

[main] Update dependencies from dotnet/arcade (#62985)

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

Fix managed CoreCLR build on Android (#63002)

Implement isMoffset for emitOutputAM (#62896)

Remove small casts on the RHS of ASG(CLS_VAR) (#62693)

Have NativeAOT test execution project include SDK (#62927)

* Have NativeAOT test execution project include SDK

The SDK contains logic to configure trimming - we were skipping all of that. We couldn't previously include the SDK because it would reflection-root the entrypoint assembly. No longer the case after #62890.

Add 'w' and 's' bit to xarch instruction flags. (#61198)

Change encodes 'w' and 's' in the insFlags struct and INS_FLAG
entry for xarch instruction table. In addition, add methods to check
check if this flag is set for an instruction, which allows to start
simplifying some of the various ad-hoc checks for these bits that were
previously done per-instruction throughout emitxarch.cpp.

[wasm] Testing with NodeJs on CI (#62779)

* enable testing with NodeJS on CI
* Fix task marshal tests.
Co-authored-by: Marek Fišera <mara@neptuo.com>

Suppress OSR for crossgen2 execution (#62968)

* Suppress OSR for crossgen2 execution

In CI testing, crossgen2 currently is run via a .NET 6 runtime, and
that runtime has some bugs in OSR.

Work around by suppressing OSR for the duration of the run. We should
be able to revert this once we update the crossgen2 runtime
to a .NET 7 version.

* add COMPlus exclusions for readytorun/multifolder

Allow building libs against NativeAOT CoreLib (#62945)

To make sure ApiCompat tooling for NativeAOT's CoreLib runs at least in some legs, compile libs against NativeAOT CoreLib if we're building CLR, but not building the JIT flavor of the runtime.

The baselining is necessary because the reflection stack of NativeAOT doesn't live in CoreLib.

The CannotRemoveBaseTypeOrInteface baselining will go away once https://github.com/dotnet/runtime/issues/62944 gets fixed. It's one of the "overall goodness" things we can take out of NativeAOT and put it into all runtimes.