Fix issue with hoisting and copy prop interaction (#85493)

* Fix issue with hoisting and copy prop interaction

After hoisting creates a tree copy, it morphs it. That morph might
lose the value numbers on LCL_VAR uses, but leave the SSA numbers.
Copy prop was assuming that such a use had a VN. Instead, check this
dynamically instead of asserting.

Fixes #84619

* Further optimize cast in fgOptimizeCastOnStore()

If we optimize the cast, call `fgOptimizeCast` to see if it can be
optimized further.

* Add regression test

* Feedback

[wasm] Set WasmEnableWebcil to true by default (#86330)

* [wasm] Set WasmEnableWebcil to true by default

* WebcilReader: copy updated struct for BlobReader.ReadUtf8NullTerminated

When using reflection to call a method on BlobReader, make sure to
copy the struct after the call since the internal state is modified

Fixes PdbChecksum extraction from Webcil files

(This was a problem even before webcil-in-wasm)

Fix scanning synchronized methods (#86427)

After #85810 we need to generate reflection metadata for owning types of static synchronized methods. Before that change, obtaining a RuntimeType for locking would obtain a reflection blocked type. We now need a named type and scanner must predict it.

Found in Pri0 testing.

Fill out array bounds in metadata transform (#86313)

* Fill out array bounds in metadata transform

The metadata writer will nullref if these are not set.

* FB

Fix Base64 decoding regressions from whitespace handling (#86396)

* Fix Base64 decoding regressions from whitespace handling

Put the main code paths back to how they were before, with the sole exception being an extra method argument and an extra check in the InvalidData exit section that delegates to a helper if that method argument is true.

* Address PR feedback for pre-existing code

[browser] logging cleanup (#86431)

* introduce logging functions

Remove System.Reflection wrappers from the STJ source generator. (#86334)

* Remove System.Reflection wrappers from the STJ source generator.

* Fix linker warning.

* Fix namespace.

* Move ImmutableEquatableArray to Helpers folder.

* Fix build

* Salvage test from TypeWrapperTests

[browser][non-icu] `HybridGlobalization` indexing (#85254)

* A bit faster version of indexing. WIP

* Tiny speedup.

* Fixed IndexOf, ToDo: LastIndexOf.

* All tests pass.

* Updated docs.

* Update docs.

* Slicing + saving previous absolute index instead of pushing the iterator to the start position.

* Refactored.

* Fixed tests on browser.

* Str1 and str2 was confusing.

* Fix CI- correctly trimming Hybrid properties.

* Previous commit should target only Browser.

* Applied @mkhamoyan's suggestion to avoid code duplication.

* Applied @pavelsavara's review.

* Get rid of build errors.

* Revert.

Fix assertprop assert for missing handle flag (#86409)

* Number IND<size_t>(obj) as handle

Fix deadlock in NativeRuntimeEventSourceTest (#86370)

* Update NativeRuntimeEventSourceTest.cs

* Update NativeRuntimeEventSourceTest.cs

* Update NativeRuntimeEventSourceTest.cs

Disable DllImportSearchPathsTest and StartupHookTests on mobile (#86269)

Also try to fix the StartupHookTests on LLVM FullAOT by making sure we also AOT dlls in subdirectories.

This uncovered an issue in src/tests/Common/external/external.csproj where an old version of Microsoft.CodeAnalysis.Compilers was referenced which made AOT fail, so I upgraded it.
That uncovered a problem AOTing Microsoft.CodeAnalysis.VisualBasic.dll so had to exclude it from AOTing.

add pre-built detection (#86151)

[browser] Describe ES6 modules (#86381)

Convert JIT/CodeGenBringUpTests to a merged test group (#85847)

See https://github.com/markples/utils/tree/for-PR-dotnet-runtime-85847-others for ILTransform tool.  As usual, I recommend viewing the commit list since it partitions the changes in a more readable way and paying more attention to manual changes.

* [ILTransform -public] Make test entrypoints accessible
* [ILTransform -ilfact] Main->TestEntryPoint, [Fact], remove OutputType=Exe
* Manual fixes for xUnit1013 - internal methods
* Add merged group
* Update porting-ryujit.md with info on merged test groups

avoid ProtocolToken allocations in TLS handshake (#86163)

* avoild ProtocolToken allocations in TLS handshake

* cleanup

* UnitTests

* feedback from review

Add natstepfilter to skip over object allocators (#86418)

VS 17.6 added support for natstepfilter in project files. Take advantage of it to skip over object allocators that we pretty much never want to step into.

I'm following up with some VS debugger people to see if there's any plans to allow embedding this in the PDB like natvis. Having this in the vcxproj helps the repro project, but doesn't help end user scenarios.

Make IDerivedTest.CallBaseInterfaceMethod_EnsureQiCalledOnce trim-friendly (#86397)

Change the reflection usage to be trim friendly.

Do not assert RyuJIT if InitializeArray cannot be expanded (#86373)

Found in Pri0 tests. `RuntimeHelper.InitializeArray(default, default)` would assert RyuJIT. Do not assert.

The tests also have various invalid combinations of the intrinsic that make it difficult to do optimized builds (we don't want the target field to become reflectable in the common cases but also failing to predict when this doesn't expand results in scanning failures due to unmet reflection dependencies).

Give up on trying to predict when intrinsic expansion kicks in and instead lean into RVA statics not being expressible in C# and the fields not being reflection-invokable anyway.

Remove extraneous VN code (#86407)

* Remove extraneous code

This wasn't invoking the JitHashTable destructor as evidently intended,
though the destructor was already being invoked by default.

Fixes #86372

* Feedback: delete entire VNMap dtor

Delay reg free for tbx_1reg (#86292)

* Delay reg free for tbx_1reg

* remove unused code

* jit format

* Fix WideningLower

* Remove the unnecessary asserT

Add basic support for StringMarshalling in GeneratedComInterface (#86404)

Enable config binding gen tests that pass (#86406)

Localized file check-in by OneLocBuild Task: Build definition ID 679: Build ID 2182497 (#86369)

* Localized file check-in by OneLocBuild Task: Build definition ID 679: Build ID 2182111

* Localized file check-in by OneLocBuild Task: Build definition ID 679: Build ID 2182111

Make sure not to strip `endfilter` (#86374)

Fixes the issue described in #86304 (but doesn't fix the issue because that's for ILLink). Found by Pri0 tests.

[MONO] Add JIT_CODE_DEBUG_INFO record functionality for Jitdump (#85107)

* added support for JITDEBUG_INFO

* added comments

* Update mini-runtime.c

* made changes to coding conventions

* Update mini-runtime.c

* Update mini-runtime.c

* Update mini-runtime.c

* Update mini-runtime.c

Add IPC commands to enable and disable PerfMaps/JitDumps (#85801)

Delete the verification type system (#86179)

* Delete "verIsByRefLike"

* Decouple SIMD class recognition from 'typeInfo'

* Remove struct handles from 'typeInfo'

* Delete the verification type system

* Delete 'verType' comments

[mono][jit] Implement JIT support for the arm64 Crc and Dp intrinsics sets. (#86106)

Also implement hw capacity detection for apple+arm64 platforms.

Improve constant folding for some frozen objects (#86318)

Revert RequiredAttribute.DisallowAllDefaultValues (#86378)

Fix DAC syncblk API so the SOS tests stop failing intermittently  (#86339)

Fix DAC syncblk API

Only fill in the syncblk data if there are blocks

Add SBNumber index validation to API

[LoongArch64] amend the crossgen2/r2rdump for LA64. (#85038)

Initial build configuration for Haiku (#86303)

* Haiku: Initial configuration support

Initially recognize Haiku as a supported platform in
Directory.Build.props and all scripts in eng/**.

* Drop some unused configure values

Drop some unused configure values from tryrun.cmake,
configure.cmake and config.h.in.

* Simplify error message in build.sh

Simplified an error message for the `--os` option to avoid maintaining a duplicate list of OSes.

Co-authored-by: Adeel Mujahid <3840695+am11@users.noreply.github.com>

JIT: Stop specifying general JitStress in OSR/largefuncletframe (#86380)

Otherwise new stress modes can change what the test is testing. I
verified that these stress modes reproduced the original issue back when
the test was introduced.

Fix #86185

Include Native AOT pdbs in Helix payload (#86367)

Add ToDictionary() overloads for KeyValuePair and ValueTuple kv. (#85811)

* Initial commit to add ToDictionary() overloads for KeyValuePair and ValueTuple kv.

* Add xml doc; add tests.

* Fix comments: use Dictionary's ctor for IEnumerable<KeyValuePair<>> overload; API signature changed to nullable comparer.

* Throw ArgumentNullExp with 'source' parameter name.

Special-case array/list in Dictionary(IEnumerable, …) ctors (#86254)

* Special-case array/list in Dictionary(IEnumerable, ...) ctors

It's reasonably common to construct a dictionary from a `KeyValuePair<TKey, TValue>[]` or a `List<KeyValuePair<TKey, TValue>>`, and we can make both cheaper.

[RISC-V][JIT] Fix floating-point args passing (#86244)

[browser] Fix using startupOptions when loadBootResource is not specified (#86371)

- Fix passing startupOptions to resourceLoader creation when loadBootResource is not specified
- Fix propagating applicationEnvironment

Baseline Native AOT tests (#86366)

* Remove NativeAOT test exclusion for issue #83167

Resolves #83167.

* Update tests.proj

* Update tests.proj

fix the regs conflicts within the `addResolution` for LoongArch64 and RISC-V. (#86294)

* Fix the regs conflicts within the `addResolution` for LoongArch64/RISC-V.

* amend the code for CR.

* add terminatorNodeLclVarDsc2 for the second op2.

ProcessTests: allow WorkingSet to be zero just after launching the process. (#85649)

* ProcessTests: allow WorkingSet to be zero just after launching the process.

The WorkingSet tests fail on Fedora 38+ because a zero working set value
is observed just after the process start.

Fix debug compile error in mono mini (#86329)

Restructure WellKnownOids.cs  to reduce binary size (#84921)

Enable eh runtime tests on Interpreter (#86307)

Localized file check-in by OneLocBuild Task: Build definition ID 679: Build ID 2181920 (#86361)

[ComInterfaceGenerator] Add tests for diagnostics, and copy attributes from base methods to generated shadowing methods (#86344)

Adds tests to ensure expected diagnostics are produced for interfaces with a Guid and generic interfaces.
Copies attributes on methods on base methods to the generated shadowing method definitions.
Adds Test type with a CompilationVerifier field of Action to make it easier to make one-off tests that verify compilations without making a new type.

[wasm][node] Disable System.Net.Http.Functional with timeouts (#86321)

Disabled tests that are timing out on node 16.19.0. On the newer version, 19.9.0 it's already fine.
Removing timeouts uncovered a bunch of failures that are gone in the newer node as well.

Related issues: https://github.com/dotnet/runtime/issues/86317, and https://github.com/dotnet/runtime/issues/86326

* Active issue.

* Disable failures uncovered when timeouts are gone.

Exclude profiler/r2r tests from building (#86314)

These are excluded in issues.targets, but we shouldn't even build them.

Fix incorrect usage of u16_strcmp instead of u16_strncmp (#86356)

Support remaining collections in config binder generator (#86285)

* Support remaining collections in config binder generator

* Address feedback

* Fix IReadOnlyDictionary net462 issue

Pooled async value task for HTTP 1 connection (#81426)

Use PoolingAsyncValueTaskMethodBuilder for
System.Net.Http.HttpConnection to improve asynchronous performance.

Fix dotnet#81318

Co-authored-by: Theon McKendry <theon.mckendry@outlook.com>

Fix be test #2 (#86323)

Clean up some code after the interface inheritance work (#86347)

Constrained mask should take into account busy registers (#85933)

* NO MERGE

* Revert "NO MERGE"

This reverts commit 68657c6d26c47fbba5dfddbe0ba8157ed449a71b.

* Make sure constrained regMask doesn't include busy registers

* add the missing parameter

* fix superpmi failure

* fix the release errors

* review comment

* review comment

* use gtSkipReloadOrCopy()

* update the assert

Clean up dead code in illink targets (#85741)

Removes TFM version checks, and adds a warning when using
explicit ILLink package reference.

We reference ILLink as a packagereference that versions with the
runtime, so the 8.0 linker is only supported when targeting
`net8.0`, and we can remove the TFM checks. We don't want to
support someone adding a PackageReference to an 8.0 linker, while
targeting an older TFM, in an attempt to get newer linker bits
but with settings that were closer to what we shipped with that
TFM.

---------

Co-authored-by: Marek Safar <marek.safar@gmail.com>
Co-authored-by: Vitek Karas <10670590+vitek-karas@users.noreply.github.com>

Write the generated file header to the ComInterfaceGenerator-generated files (#86283)

[wasm] Webcil-in-WebAssembly (#85932)

Define a WebAssembly module wrapper for Webcil assemblies.
Contributes to #80807

### Why

In some settings serving `application/octet-stream` data, or files with weird extensions will trigger firewalls or AV tools.  But let's assume that if you're interested in deploying a .NET WebAssembly app, you're in an environment that can at least serve WebAssembly modules.

### How

Essentially we serve this WebAssembly module:

```wat
(module
  (data "\0f\00\00\00") ;; data segment 0: payload size
  (data "webcil Payload\cc")  ;; data segment 1: webcil payload
  (memory (import "webcil" "memory") 1)
  (global (export "webcilVersion") i32 (i32.const 0))
  (func (export "getWebcilSize") (param $destPtr i32) (result)
    local.get $destPtr
    i32.const 0
    i32.const 4
    memory.init 0)
  (func (export "getWebcilPayload") (param $d i32) (param $n i32) (result)
    local.get $d
    i32.const 0
    local.get $n
    memory.init 1))
```

The module exports two WebAssembly functions `getWebcilSize` and `getWebcilPayload` that write some bytes (being the size or payload of the webcil assembly) to the linear memory at a given offset.  The module also exports the constant `webcilVersion` to version the wrapper format.

So a runtime or tool that wants to consume the webcil module can do something like:

```js
const wasmModule = new WebAssembly.Module (...);
const wasmMemory = new WebAssembly.Memory ({initial: 1});
const wasmInstance =
      new WebAssembly.Instance(wasmModule, {webcil: {memory: wasmMemory}});
const { getWebcilPayload, webcilVersion, getWebcilSize } = wasmInstance.exports;
console.log (`Version ${webcilVersion.value}`);
getWebcilSize(0);
const size = new Int32Array (wasmMemory.buffer)[0]
console.log (`Size ${size}`);
console.log (new Uint8Array(wasmMemory.buffer).subarray(0, 20));
getWebcilPayload(4, size);
console.log (new Uint8Array(wasmMemory.buffer).subarray(0, 20));
```

### How (Part 2)

But actually, we will define the wrapper to consist of exactly 2 data segments in the WebAssembly data section: segment 0 is 4 bytes and encodes the webcil payload size; and segment 1 is of variable size and contains the webcil payload.

So to load a webcil-in-wasm module, the runtime gets the _raw bytes_ of the WebAssembly module (ie: without instantiating it), and parses it to find the data section, assert that there are 2 segments, ensure they're both passive, and get the data directly from segment 1.

---

* Add option to emit webcil inside a wasm module wrapper

* [mono][loader] implement a webcil-in-wasm reader

* reword WebcilWasmWrapper summary comment

* update the Webcil spec to include the WebAssembly wrapper module

* Adjust RVA map offsets to account for wasm prefix

   MonoImage:raw_data is used as a base when applying the RVA map to map virtual addresses to physical offsets in the assembly.  With webcil-in-wasm there's an extra wasm prefix before the webcil payload starts, so we need to account for this extra data when creating the mapping.

   An alternative is to compute the correct offsets as part of generating the webcil, but that would entangle the wasm module and the webcil payload.  The current (somewhat hacky approach) keeps them logically separate.

* Add a note about the rva mapping to the spec

* Serve webcil-in-wasm as .wasm

* remove old .webcil support from Sdk Pack Tasks

* Implement support for webcil in wasm in the managed WebcilReader

* align webcil payload to a 4-byte boundary within the wasm module

   Add padding to data segment 0 to ensure that data segment 1's payload (ie the webcil content itself) is 4-byte aligned

* assert that webcil raw data is 4-byte aligned

* add 4-byte alignment requirement to the webcil spec

* Don't modify MonoImageStorage:raw_data

   instead just keep track of the webcil offset in the MonoImageStorage.

   This introduces a situation where MonoImage:raw_data is different from MonoImageStorage:raw_data.  The one to use for accessing IL and metadata is MonoImage:raw_data.

   The storage pointer is just used by the image loading machinery

---------

Co-authored-by: Larry Ewing <lewing@microsoft.com>

Ensure that INS_TT_MEM128 is correctly handled (#86331)

Stop testing UnregisterFrozenSegment (#86279)

Delete some dead code (#86337)

NGen left overs

Improve the handling of ToScalar and GetElement(0) (#86209)

* Improve the handling of ToScalar and GetElement(0)

* Fix build failure

* Ensure ToScalar handling is in EvalHWIntrinsicFunUnary, not FunBinary

* Ensure we don't regress codegen for small types

[LoongArch64] just skip the array type. (#86290)

The `struct {int array[1]; float field_2;}` which the array field is only one element,
just skip it although it can be passed by registers one integer and one float-register.
Details see github https://github.com/dotnet/runtime/pull/62885#discussion_r821878981

Co-authored-by: Jan Kotas <jkotas@microsoft.com>

Add -DCLI_CMAKE_FALLBACK_OS in CMakeSettings.json (#86261)

Implement GetNonRuntimeDeterminedTypeFromRuntimeDeterminedSubtypeViaSubstitution (#86310)

This was reached in the Pri0 test suite.

Fix handling of non-beforefieldinit interface cctors (#86311)

Scanner would miss them. These trigger the same way as valuetype methods (instance methods will trigger them).

Account for rank 1 array special casing in RyuJIT (#86312)

Should have been done in #84205.

[LoongArch64] fix the conflicts within the DIV/MOD. (#86289)

Update dependencies from https://github.com/dotnet/arcade build 20230515.1 (#86320)

Microsoft.DotNet.Arcade.Sdk , Microsoft.DotNet.Build.Tasks.Archives , Microsoft.DotNet.Build.Tasks.Feed , Microsoft.DotNet.Build.Tasks.Installers , Microsoft.DotNet.Build.Tasks.Packaging , Microsoft.DotNet.Build.Tasks.TargetFramework , Microsoft.DotNet.Build.Tasks.Templating , Microsoft.DotNet.Build.Tasks.Workloads , Microsoft.DotNet.CodeAnalysis , Microsoft.DotNet.GenAPI , Microsoft.DotNet.GenFacades , Microsoft.DotNet.Helix.Sdk , Microsoft.DotNet.PackageTesting , Microsoft.DotNet.RemoteExecutor , Microsoft.DotNet.SharedFramework.Sdk , Microsoft.DotNet.VersionTools.Tasks , Microsoft.DotNet.XUnitConsoleRunner , Microsoft.DotNet.XUnitExtensions
 From Version 8.0.0-beta.23262.5 -> To Version 8.0.0-beta.23265.1

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

Update references to ILLink tool name (#86315)

This warning message is shared with the NativeAOT compiler.

Document how we run multithreaded debugger tests. (#86325)

[mono] Prevent memory corruption when decoding UCO entry point (#86266)

Fixes: https://github.com/dotnet/runtime/issues/86264

[browser] fix lint issues (#86155)

* fix lint issues
* don't format jiterpreter-tables

Remove Architecture Property (#86277)

GetChromeVersions task: Try to find older versions, if the latest one is (#86184)

Start runing CctorForWrite test (#86302)

This was apparently fixed but not removed from issues.targets.

[browser] Load appsettings to VFS (#85520)

[mono][tests] Enable runtime tests on Interpreter (#86097)

* Enable runtime tests on interpreter

[wasm] WBT: Re-enable blazor run test (#86268)

[ComInterfaceGenerator] Interface inheritance follow up (#85117)

This commit creates types to model the Com interfaces and the methods in the com interfaces. The new types with suffix "Info" are meant to be the first step of the pipeline that can be created with just an ISymbol and SyntaxNode. The types suffixed with "Context" are meant to contain all info necessary for generating the code, and they may require multiple "Info"s to be created (e.g. need info about the base interface or other methods in the interface). There is also a type that represents the Com interface and all the methods that are required to generate the code necessary for Com.

MetricEventSource tests workaround .NET Framework double rounding (#86286)

Fixes #85290
Desktop .NET Framework on x86 improperly rounds double values in some circumstances. I switched the test to use a lower precision double value so that it is not impacted by the extra rounding.

Unmark loop align regardless if we found block to align or not (#86198)

* unmark loop align regardless if we found block to align or not

* remove redundant if check

Intrinsics analyzer and fixes (#85481)

* Implement analyzer for platform intrinsics use in System.Private.CoreLib

This analyzer detects the use of all platform intrinsics and checks to
ensure that they are all used either protected by an if statement OR
ternary operator which checks an appropriate IsSupported flag, or that
the intrinsic is used within a method where the behavior of platform
support for the intrinsic is not allowed to vary between compile time
and runtime. The analyzer attempts to be conservative about allowed patterns.

All existing code in System.Private.CoreLib has been annotated to avoid producing
errors.

See the markdown document for details.

Co-authored-by: Jeremy Koritzinsky <jkoritzinsky@gmail.com>

[Wasm] Adjust error message for .NET 7 assemblies, JSExport and multi-threading (#86197)

fix: Adjust error message for .NET 7 assemblies, JSExport and multi-threading

Move jiterpreter tables to new file; Add draft jiterpreter overview document (#86270)

Add draft jiterpreter overview document
Move jiterpreter tables out of jiterpreter-trace-generator

Incremental generator for illink analyzer tests (#86260)

Changes the existing generator for ILLink.RoslynAnalyzer
testcases to be an IIncrementalGenerator.

add RID for Alpine 3.18 (#86276)

Clean up impSpanEqualsOrStartsWith (#86129)

Co-authored-by: SingleAccretion <62474226+SingleAccretion@users.noreply.github.com>

Handle the remainder in MemoryExtensions.Count vectorized (#82687)

* Re-use targetVector from Vector256 in Vector128 code-path

Saves an additional vpbroadcastb.

* Process remainder vectorized

* Use unsigned division for remaining elements

Avoids the signed integer division.

* Process remainder vectorized only if more than half of vector remains

Benchmarking showed that the cost is quite high, so for just a few elements the scalar loop seems better.

* Added comment why / 2 got chosen

JIT: Fix new helper calls for some block copies involving promoted locals (#86246)

The change in #85620 was missing a check for the case where the
destination is not on stack but the source is. The backend still uses a
helper call for this case.

The field-by-field case would also usually involve helper calls since it
would normally need write barriers; however, the exception were for
byref fields, so Span<T>/ReadOnlySpan<T> were particularly affected.

Delete some code around `ModuleList` (#86230)

The concept of loading modules on demand never existed outside some internal ProjectN branches. Delete some code around it. Also delete an extra enumerator that was only used in one place.

[debugger] Fix MDBGPROT_CMD_TYPE_ELEMENT_TYPE behavior (#85679)

* Fix MDBGPROT_CMD_TYPE_ELEMENT_TYPE

* fix tabs

* Remove generation of dbgshim.
Address @lambdageek comment.

[wasm] Add extending conversions to PackedSimd (#86252)

* [wasm] Add extending conversions to PackedSimd

* Feedback

Add Ubuntu Kinetic 22.10 and Mantic 23.10 RIDs (#85912)

Adds the Runtime Identifiers (RIDs) for Ubuntu 22.10 Kinetic Kudu and
the recently announced Ubuntu 23.10 Mantic Minotaur.

Related to #84974, #84983, #84984

[mono] Update offsets-tool python clang binding so it works with newer clang (#86256)

They introduced a breaking change to CursorKind.TRANSLATION_UNIT in https://github.com/llvm/llvm-project/commit/bb83f8e70bd1d56152f02307adacd718cd67e312, which means we hit an issue when using the binding against a newer clang. Update the binding to the latest upstream and add a tweak so it still works with older clang versions.

Specify NUnit test runner for illink tests (#86187)

Change CreateObjectFlags.Unwrap to be ComWrappers-instance-specific (#86195)

Fix EventPipe shutdown logic (#86180)

Always expand cctor helpers for NAOT (#86147)

Implement AesGcm constructors accepting a tag size and obsolete the existing ones