Remove unused Common Extensions code (#43452)

Add additional URI schemes (WIP) (#43375)

Fix nullable warnings in struct constructors (#43472)

Remove some unnecessary unsafe usage (#43430)

Fix xunit analyzers to run on library test projects (#43459)

We don't want most analyzers running over our test code currently (some rules could be enabled with varying degrees of effort), but we do want the xunit analyzers running, and they haven't been.  Fix that by creating a new ruleset specific to library tests, and switching over to use it when building library test projects.

Port ACL OpenExisting overloads for EventWaitHandle/Mutex/Semaphore (#43134)

* Add methods to ref file.

* Add empty methods to src files.

* Add the .NET Framework version of these methods for .NET Standard.

* Move OpenExistingResult enum to Common and consume it where needed.

* Remove Unix comment in Windows-only file.

* Document OpenExistingResult enum.

* Make out result parameters nullable.

* Add exception resource string.

* Imlement EventWaitHandleAcl methods.

* Implement MutexAcl methods.

* Implement SemaphoreAcl methods.

* Remove unnecessary check for null or empty name.

* Document the EventWaitHandleAcl methods.

* Document the MutexAcl methods.

* Document the SemaphoreAcl methods.

* Add negative enum check. Fix incorrect cast.

* Add NotNullWhen attribute to TryOpenExisting out parameter. Adjust docs.

* Add EventWaitHandle basic unit tests.

* Add Semaphore basic unit tests

* Add Mutex basic unit tests.

* Add Mutex exception handling unit tests.

* Add EventWaitHandle exception handling unit tests.

* Add Semaphore exception handling unit tests.

* EventWaitHandle and Mutex throw DirectoryNotFoundException when PathNotFound. Adjust documentation.

* Nullability in ref file.

* Do not check for rights out of range value, let Windows handle it. Adjust unit tests accordingly.

* Spacing.

* Remove enum range test. Add PathNotFound tests.

Co-authored-by: Carlos Sanchez Lopez <carlossanlop@users.noreply.github.com>

Fix new warnings (#43097)

* Fix CA1416 warnings in runtime repo

Add issues.targets exclusions for Crossgen2 Pri 1 Tests (#43473)

This baselines the remaining test failures with GH issues to track for further investigation.

adjust renegotiation tests to match product change (#43123)

* adjust renegotiation tests to match product change

* add assert for validationCount

JIT: some small profile related fixes (#43408)

1. If we're inheriting a fraction of the profile weight of a profiled block,
mark the inheriting block as profiled. This prevents methods like
`optSetBlockWeights` or `optMarkLoopBlocks` from coming along later and setting
the weights to something else. Since the full inheritance method has similar
logic, make it delegate to the fractional one, with a scale of 100 (no scaling).

2. If we switch from Tier0 to FullOpt, make sure to clear the BBINSTR flag,
else we'll put probes into optimized code.

3. Dump edge weights in the dot graph, if we have them.

4. Only dump the flow graph twice per phase.

Modify System.Net.HttpListener to throw PNSE at assembly level on browser (#43401)

Remove unused Unix PKCS12 shims

Because the PKCS#12/PFX import is now done with managed code, the PKCS12 shim was dead code.

Fix two tests for runincontext testing (#43457)

* Disable two tests for runincontext testing

These tests are not compatible with running using the runincontext tool.

* Reflect PR feedback - make the test work instead

JIT: ensure bbflags get treated as 64 bit literals (#43451)

Expressions like `~(BBF_KEEP_BBJ_ALWAYS)` were being evaluated as 32 bit signed
quantities, leading to mask value `00000000_7FFFFFFFF` instead of the desired
`FFFFFFFF_7FFFFFFFF`, causing inadvertent clearing of flags with higher value.

SPMI diffs showed the only flag loss that impacted codegen was `BBF_HAS_CALL`,
which feeds into the CSE heuristics. So no known correctness issue, but it is
certainly possible to also lose `BBF_DOMINATED_BY_EXCEPTIONAL_ENTRY` or
`BBF_HAS_SUPPRESSGC_CALL` and that may be more serious.

Delete superfluous suffix

Add back nightly build table (#43392)

* Update README table generator.
* Link README to new table location.
* Add 6.0 coreclr runtime links for table generation.
* Add generated table to the dogfooding page.
* Update some stale references to sleet feeds, older versions of the runtime, and deprecated packages.
* Add subset for table generation and reorder table to frontload OS groups.

Co-authored-by: Jan Kotas <jkotas@microsoft.com>

Add a makefile sample to run test-browser (#43382)

[debugger][wasm] Implement Debugger.IsAttached on wasm (#42532)

* Debugger.IsAttached is now working on wasm. And can be used to detect if debugger is attached.
Fix #42411

* Update src/mono/wasm/runtime/library_mono.js

Co-authored-by: Ryan Lucia <ryan@luciaonline.net>
* Using the infrastructure to not send dynamically loaded assemblies if debugger is not attached.
Changing where to check if the assembly is already added to avoid unnecessary checks.

* Checking the assembly name size.

Co-authored-by: Ryan Lucia <ryan@luciaonline.net>

Delete CoreDllMain, remove DLL_THREAD_DETACH from EEDllMain, just rely on thread local destructor (#43423)

Fix runincontext testing (#43446)

After some recent shuffles of tests location, running the coreclr tests
with runincontext option stopped working. This change fixes it by fixing
the script path in the run.py.

Revert "add better handling of SECBUFFER_EXTRA during TLS handshake on Windows (#42427)" (#43442)

This reverts commit 51f6b8bd3a2a38c432b1cd1f7c465c256f5f699c.

[runtime] Add an options API. (#32595)

* [runtime] Add an options API.

Add a general options API to the runtime, based on the flags API in Google V8:

```https://chromium.googlesource.com/v8/v8.git/+/refs/heads/master/src/flags/```

Supported features:
* Definition of runtime options in a declarative way.
* Options are mapped to C globals.
* BOOL/INT/STRING data types.
* Generic option parsing code.
* Generic usage code.
* Read-only flags for build-time optimization.

This is designed to replace the many option parsing functions in
the runtime, MONO_DEBUG, the many mono_set_... functions etc.

* Fix the build.

Co-authored-by: vargaz <vargaz@users.noreply.github.com>
Co-authored-by: Zoltan Varga <vargaz@gmail.com>

Add w32subset.h into monoutils_sources. (#43435)

Co-authored-by: lateralusX <lateralusX@users.noreply.github.com>

Bind byte array from base64 config value (#43150)

* Bind byte array from base64 config value

* Add test case for failure

* Add test for null case

* Remove unnecessary null check

Co-authored-by: Thomas Levesque <thomaslevesque@users.noreply.github.com>

Remove some unsafe code from Console (#43368)

* Remove some unsafe code from Console

* preserve original byte-by-byte decoding

* remove unsafe declaration where not needed

Co-authored-by: Stephen Toub <stoub@microsoft.com>

[mono] Include hostpolicy/hostfxr in mono desktop runtime packs (#42729)

Currently mono desktop runtime packs don't include `libhostfxr.*` and `libhostpolicy*` libs needed for corehost in self contained mode.

Co-authored-by: Alexander Köplinger <alex.koeplinger@outlook.com>

Add MetadataToken getter override to builder classes (#43330)

Clean up DependencyModel Json read/write (#43376)

* Clean up DependencyContextWriter

- Remove UnifiedJsonWriter
- Remove ArrayBufferWriter and write to the Stream directly

* Clean up DependencyContextJsonReader

- Remove UnifiedJsonReader
- Move any reader logic to extension methods

Fix StaticTestGenerator (#43432)

It's rotted a bit.

[browser][crypto] Remove restraining not supported attribute Primitives (#43387)

* [browser][crypto] Remove restraining not supported attribute

- The modules included within the System.Security.Cryptography.Primitives module should still be available for use outside of browser os.

* Address review comments.  Remove `<IncludePlatformAttributes>` attribute as well

Fix the android cmake build. (#43421)

Remove unsafe code from System.Web.HttpUtility (#43422)

Arm32 Crossgen2 initial support (#43243)

- Fix type layout bugs
  - Sequential or Explicit layout classes without explicit field offsets on arm32 should align their fields based on the start of the field list of the object
  - The field base offset used for R2R calculation on Arm32 should respect the RequiresAlign8 flag
  - Computing true for requiresAlign8 in auto field layout should set the alignment of a class to 8 during auto layout
  - if a class derives from an type which requires 8 byte alignment, set the derived to require higher alignment
- Align the EH info table on 4 byte boundaries
- Set the thumb bit on the arm32 personality routine RVA in XData
- Enable Crossgen2 smoke test for arm
- Adjust architecture specific type layout tests to match CoreCLR behavior
- Fix alignment of Export functions within PE file

[.NET 5.0] Add support for libicu67 and several more higher versions (#43420)

* Add support for libicu67

* Add libicu68

* Adding libicu versions 69 to 72

Add TargetOS=Android back into the sample run.  This caused TargetsMobile not to be set (#43394)

Co-authored-by: Steve Pfister <steve.pfister@microsoft.com>

Implemented clock_gettime_nsec_np in libraries for Apple Silicon support (#43343)

* Replaced mach_absolute_time instances with clock_gettime_nsec_np

* Removed GetTimestampResolution method and replaced with 10^9

Improve ArrayBufferWriter re-alloc perf when size is > int.MaxSize / 2 (#42950)

Disable NamedPipeTests CurrentUserOnly on server core (#43381)

Clean up CG2 section in issues.targets by removing closed issues (#43055)

add better handling of SECBUFFER_EXTRA during TLS handshake on Windows (#42427)

* add better handling of SECBUFFER_EXTRA during TLS handshake on Windows

* fix boundery check

* fix spelling

Address PR feedback from #42578 (#43362)

Validate input string passed to LogValuesFormatter (#43238)

Add validation of a format string passed to LogValuesFormatter
to throw `ArgumentNullException` if the string is `null`
so that all the methods of the `LogMessage.Define` group
depending on that class doesn't throw `NullReferenceException`
when configuring a logger.

Fix #36565

Add ReadOnlySpan<char> overloads to JsonSerializer.Deserialize (#41957)

* Add char span overloads to JsonSerializer.Deserialize.

* Add new methods to ref source.

* Fix ambiguous call in test.

* Fix documentation issue.

* Guard and test for empty span.

* Add span in deserialization test wrapper.

* Apply doc suggestions

Co-authored-by: Layomi Akinrinade <layomia@gmail.com>
* Treat default span as empty, and cover returnType in test.

* Apply doc suggestions

Co-authored-by: Ahson Khan <ahkha@microsoft.com>
* Add exception doc for null returnType.

Co-authored-by: Layomi Akinrinade <layomia@gmail.com>
Co-authored-by: Ahson Khan <ahkha@microsoft.com>

Removed unnecessary WINHTTPHANDLER_DLL compiler constant. (#43393)

Optimize the Linguistic String Search Operations (#43065)

Fix aot compiler execute_system on all HOST_WIN32. (#43358)

HAVE_SYSTEM is not defined on all HOST_WIN32 where building the AOT compiler makes sense (like cygwin). Make sure this works on all HOST_WIN32 independent of HAVE_SYSTEM.

Co-authored-by: lateralusX <lateralusX@users.noreply.github.com>

Add mprof-report.exe into msvc build. (#43220)

Co-authored-by: lateralusX <lateralusX@users.noreply.github.com>

Replace ReusableTextReader with shared ArrayPool (#43365)

use globalThis instead of varying global scope names (#43266)

Add back the full config string for mono runs (#43309)

Fixes failures in the diagnostics MacOS createdump testing  (#43364)

Fixes failures in the diagnostics MacOS createdump testing

The triage or heap MacOS coredumps generated with createdump can have the managed assembly
PE headers missing because they are artifically added to the module list but the header
may not end up in the coredump (except for full dumps).

The fix is to explicitly add the first page of the assemblies in ReplaceModuleMapping.
 ReadProcessMemory returns properly returns partial reads successfully

ReadProcessMemory casting changes

DataTarget::ReadVirtual tracing on error

Replace vm_read with ReadProcessMemory temp

Apply same fixes to PAL_ReadProcessMemory

Add check to native unwind to limit endless loop issue (https://github.com/dotnet/runtime/issues/42980)

Delete a few rudiments (#43069)

* Delete `compRegSetCheckLevel`.

* Delete an old workaround for an old Jit.

Remove MetadataLoadContext dependency from AndroidAppBuilder (#43339)

This will allow AndroidAppBuilder to be packaged without having unnecessary dependencies.

Fix the android build. (#43369)

Change default FeedbackSize for TripleDES internal implementation

In .NET Framework, TripleDESCryptoServiceProvider defaults to a feedback
size of 8, and TripleDESCng defaults to a feedback size of 64. The
static Create by default would return TripleDESCryptoServiceProvider,
thus the TripleDES from Create would have a default feedback size of 8.

This changes the default sizes of TripleDES to behave more
similarly to .NET Framework to make porting CFB code from Framework
easier.

The internal 3DES implementation (and thus
TripleDESCryptoServiceProvider, since that is a wrapper around the
internal implementation) now defaults to a feedback size of 8.
TripleDESCng and user-derived classes from TripleDES will continue to
use a feedback size of 64.

Add osx/arm64 build support. (#43354)

* Add osx/arm64 build support.

* Update src/mono/Directory.Build.props

Co-authored-by: Alexander Köplinger <alex.koeplinger@outlook.com>
Co-authored-by: Alexander Köplinger <alex.koeplinger@outlook.com>

Fix PAL test threading/WaitForMultipleObjectsEx/test2 (#43356)

This test was failing intermittently in the CI and I've been able
to reproduce the failure locally too in about 1 out of 2000 runs.
The problem was an incorrectly reverse subtraction in a condition
checking if the time after which a wait for interrupted by
APC matched the expected time with some tolerance.

Fix WinHttpHandler outerloop tests for deflate (#43305)

[mono] Turn methods with no instance access to static (#43228)

* [mono] Turn methods with no instance access to static

* Review feedback

Faster Dictionary clone (#41944)

Fix stack overflow in BsdIPGlobalProperties (#43294)

Both the GetTcpConnections and GetActiveUdpListeners functions were
using stackalloc on unbounded arrays. As the objects in these arrays
are quite large, removed the stackalloc so the arrays are always on
the heap.

Fix #43286

Unsafe code replaced by ReadOnlyMemory<> equivalent (#43214)

* Unsafe code replaced by ReadOnlyMemory<> equivalent

* Returned back Length property

* Replaced StringOrCharArray by ReadOnlyMemory and comparer

* Addressed review

Use unbounded connected streams in System.Net.Security tests (#43327)

Recently there's been a rash of sporadic timeouts/hangs in System.Net.Security tests.  I don't _think_ it's related to hitting the maximum buffer size in ConnectedStreams (e.g. if the test is written in a way that it assumes a write will always complete synchronously and won't proceed to read until it does), but I'm removing the bound to see if that helps.  We can put it back later if desired: it's not what the tests are validating, and previous to my ConnectedStream change there was no bound, either.

Additional fixes to Windows log profiler. (#43170)

* Disable popen/pclose.
* Disable reporting using |mprof-report on Windows due to limited piping support.
* Switch to inet_pton instead of deprecated inet_addr.
* Fix Windows socket server since FD is handle and can be bigger than FD_SETSIZE.

Co-authored-by: lateralusX <lateralusX@users.noreply.github.com>

Build armv7+armv7s for ios. (#43350)

Fix ArrayList.GetRange().GetRange().ToArray() (#43223)

The range created by the second GetRange call has an empty _items array that should be ignored, but ToArray on it was trying to copy from that _items directly rather than going through the source's CopyTo method.

make AsyncFlowControl implement IEquatable<AsyncFlowControl> (#43232)

* make AsyncFlowControl implement IEquatable<AsyncFlowControl>, fixes #31996

* remove test

* remove extra space

Remove EBS.Never from CipherMode.CFB. (#43310)

This was removed from src/ but ref/ was not updated to match.

Allow passing entrypoint assembly to Android test app (#43333)

This allows packaging multiple assemblies with an entrypoint into the same app and select which one to run by passing an argument via adb/xharness.
Includes xharness bump for getting the expected exit code feature: https://github.com/dotnet/xharness/pull/331

Simplify enabling profiler support for embedders. (#43173)

Adding --profile argument to mono_jit_parse_options. Can be used when
embedding and not using parsing in driver.c.

Add env variable MONO_PROFILE adding another possibility to pass profiler
arguments to runtime.

Co-authored-by: lateralusX <lateralusX@users.noreply.github.com>

Fix parse error in mprof-report image load event. (#43217)

Version 16 of log profiler data format added mvid to image load event and mprof-report was never aligned to handle that since it assumed all events for TYPE_IMAGE included mvid.

Fix makes sure to correctly read pass mvid only for event actually including the field.

Co-authored-by: lateralusX <lateralusX@users.noreply.github.com>

Add support for the cmake build to mono.proj. (#43317)

* Fix CMake symbol name for HAVE_GNU_LIB_NAMES_H

* Fix pthread function checks on linux.

* Add support for the cmake build to mono.proj.

* Enable the cmake build by default on wasm/osx/android.

Co-authored-by: Filip Navara <filip.navara@gmail.com>

[master] Update dependencies from mono/linker (#43296)

[master] Update dependencies from mono/linker

Parallelize card table copy/clear in minor GC. (#43167)

Currently, when using overlapped card table, each minor GC will do a copy/clear of all marked cards into a temporary card table used during minor scan. In order to find marked cards, major heap blocks + LOS is scanned. This is currently done serial and could take significant time of total minor GC depending on platform/hardware.

On hardware with multiple cores it is possible to parallelize the copy/clear of card table, decreasing the minor GC pause times. As an example, a major heap of ~3 GB and a LOS of 600 MB, went from 5 ms minor GC down to 3 ms where most objects didn't have any references (just byte arrays). Increasing the number of objects with references will benefit event more. Before switching
over LOS to a SgenArrayList, similar scenario took 8 ms and was reduced to 3 ms, and those numbers are close to what you would get if sample included more objects with references, since then, you will need to visit more objects, causing more cache misses. Parallelizing that will significantly reduce minor GC pause times.

As with most optimizations the gain is platform/hardware dependent, that's why the parallelization is currently an opt-in feature, that needs to be explicitly enabled (remset-copy-clear-par) on platforms/hardware where similar performance gains can
be identified.

Replacing mono/mono#17689

Co-authored-by: lateralusX <lateralusX@users.noreply.github.com>

Add back superpmi pipeline files (#43323)

* Add back superpmi pipeline files

* add the missing import

* add another missing import

I am not sure how this worked in the past with missing imports.

* remove the workaround for a bug

* Revert "remove the workaround for a bug"

This reverts commit 5c674210cc8f20fda3e73704c7f72d6e168c68d9.

Simplify winsock initialization (#43284)

* Initialize winsock directly

* Delete test that is not relevant anymore

* Add tests for methods the require initialized winsock

Co-authored-by: Stephen Toub <stoub@microsoft.com>

Replace a couple Thread.CurrentThread.ManagedThreadIds (#43270)

* Replace a few Thread.CurrentThread.ManagedThreadIds

* Update some library tests as well

Remove reflection from Environment.WorkingSet prop (#43154)

Add test coverage for AttributeCollection, fix bugs and nullable annotate (#36118)

* Add test coverage for AttributeCollection and fix bugs

* PR Feedback

Bump Intellisense version for RTM (#43235)

Co-authored-by: Carlos Sanchez Lopez <carlossanlop@users.noreply.github.com>

[Crossgen2] Improve compilation throughput for types with many fields (#43195)

`IsLayoutFixedInCurrentVersionBubble` is a fairly expensive algorithm and can be called very frequently for the same type during JIT compilation. Store the computed result so future lookups are fast.

Fixes https://github.com/dotnet/runtime/issues/38259

Fix codegen for multi-reg EH vars (#42871)

* Fix codegen for multi-reg EH vars

Multi-reg EH vars were not properly being stored at each def.
Fix the dumping of multi-reg nodes with register assignments.
Temporarily enable EHWriteThru to get CI testing with it on.

Fix #41232

Ensure that iOS builds get correct library identity for native libraries (#43302)

Need to bump iOS device min version to 8.0 to avoid linker error: "embedded dylibs/frameworks only run on iOS 8 or later"

Co-authored-by: Alexander Köplinger <alex.koeplinger@outlook.com>

Get modules information using proc_pidinfo() on macOS (#42900)

Previously CreateProcessModules() parsed the output of vmmap command to get
modules addresses/paths on macOS, but on some Macs with latest macOS 10.15.6
vmmap hides full paths to some process modules (.dylibs in non-system folders),
replacing some parts with *:
```
__TEXT                 000000010d8bd000-000000010ddce000 [ 5188K  5188K     0K     0K] r-x/rwx SM=COW          /Users/USER/*/libcoreclr.dylib
```

In particular, it breaks the debugger functionality due to invalid path
`/Users/USER/*/libmscordbi.dylib`, and error code
CORDBG_E_DEBUG_COMPONENT_MISSING is returned.

Now we get modules information by iterating over regions using proc_pidinfo()
in CreateProcessModules().

Fixes #42888

Add configuration for issue mover bot (#43279)

https://github.com/dessant/move-issues

Don't autoupgrade homebrew formula in install-native-dependencies.sh (#43299)

Should workaround an issue we're seeing on AzDO while upgrading openssl@1.1 1.1.1g -> 1.1.1h: 'Error: Not a directory @ dir_s_rmdir - /usr/local/Cellar/openssl'

Add JitDasmWithAddress switch to print the process address of every instruction (#43120)

* Add COMPlus_JitDasmWithAddress to print the address

* Remove dspEmit variable

* remove the square brackets

* review comments

* always display offset

* fix the reference of JitDasmWithAddress

Build globalization lib (#42166)

* Build static lib for System.Globalization.Native

* link libSystem.Globalization.Native into the static host

Revert "Fixed failing build with -allconfigurations by adding dependency to .vsconfig (#37555)" (#43278)

This reverts commit c57dffd69a7aa305b24728c84ae6b0b5b33701f8.

Fix composite Crossgen2 runs on Windows and clean up R2R pipelines (#43261)

Some time ago I introduced a new option "crossgenframeworkonly"
in the test build scripts and I modified the CoreCLR pipeline
to use it. Turns out it was never fully functional, crossgenning
framework continued taking place in the CORE_ROOT population phase
(generatelayoutonly) and only on Windows it got duplicated in the
subsequent "crossgen framework" step. This duplication moreover
uncovered a bug in the R2RTest tool - when compiling the framework
in composite mode twice in a row, the tool was incorrectly
manipulating the composite file "framework-r2r.dll", causing an
error in the second framework crossgenning step.

I believe that it's completely logical to crossgen the framework
as part of populating CORE_ROOT. In light of this fact I have just
deleted the separate "crossgen framework" step and the corresponding
build script options. I have also fixed the described bug in R2RTest
related to repeated framework crossgenning in composite mode to
restore the invariant that framework crossgenning should be idempotent.

Thanks

Tomas

Move Internal.Console to shared CoreLib & port to Unix (#42983)

Ongoing work on the cmake build system. (#43264)

* Update source lists.

* Add android support.

Enable linker substitutions for more architectures. (#42578)

Add new resource string with correct bounds (#42349)

Use new resource string in MathF.Round

Fixed failing build with -allconfigurations by adding dependency to .vsconfig (#37555)

Pipeline performance tweaks (follow-up) (#37065)

Add fast paths to WhenAny(IEnumerable) (#38896)

* Add fast paths to WhenAny(IEnumerable)

Adds fast paths in case `tasks` is an array or an `ICollection`

* Remove cast from slow path for WhenAll and WhenAny

[wasm][tests][browser] Http - FunctionalTests - mark failing tests (#42866)

* [wasm][tests][browser] Http - FunctionalTests - mark failing tests

- Most of these are failing due to LoopbackServer
- some others are due to monitors not being supported

This brings the result to zero failures:

`Tests run: 439, Errors: 0, Failures: 0, Skipped: 18. Time: 2.128495s`

* Mark LoopbackServer issues with active issue

* fix the exclusion on browser

Co-authored-by: Larry Ewing <lewing@microsoft.com>

Cleaned up unused CLRConfig code (#42422)

Keep response files used for crossgenning the framework (#43183)

Response files are a very useful artifact for reproing various
Crossgen / Crossgen2 compilation errors. I propose modifying the
test build scripts to retain these artifacts by using the --nocleanup
option and by skipping deletion of the entire output folder upon
the end of framework compilation. The Crossgen output folder is not
listed among the artifacts transferred to Helix so it should be a
non-concern w.r.t. Helix throughput. I have also put the cmd and sh
versions of the script in sync by adding "large-bubble" and "release"
flags to the Unix version.

Thanks

Tomas