Add support for rebuilding the wasm executable in non-aot mode. (#45072)

* Add support for rebuilding the wasm executable in non-AOT mode.

* Run the pinvoke generator as well.
* Strip the final executable.
* Document some of the public msbuild properties.

* Add some properties to make things more readable.

* Fix AOT support.

* Fix AOT.

Fix bug in W3C ID version check (#46492)

Update to latest centos 7 prereqs image (#46422)

* Update to latest centos 7 prereqs image

* Fix stringop-overflow in interop tests
Warnings were of the form:

```sh
/runtime/src/tests/Interop/BestFitMapping/BestFitMappingNative.cpp:94:12: error: 'char* strncpy(char*, const char*, size_t)' specified bound depends on the length of the source argument [-Werror=stringop-overflow=]
   94 |     strncpy(pBack, pStr, len);
      |     ~~~~~~~^~~~~~~~~~~~~~~~~~
/runtime/src/tests/Interop/BestFitMapping/BestFitMappingNative.cpp:92:24: note: length computed here
   92 |     size_t len = strlen(pStr) + 1; //+1, Include the NULL Character.
      |                  ~~~~~~^~~~~~
```

Update dependencies from https://github.com/dotnet/runtime build 20210103.3 (#46530)

[master] Update dependencies from dotnet/runtime

[mono] Fix DISABLE_REFLECTION_EMIT on netcore (#46443)

Remove some dead stuff (#46494)

* Remove some dead stuff

* Remove unnecessary test

* Remove FCall alias

[master] Update dependencies from dotnet/xharness dotnet/llvm-project dotnet/icu dotnet/arcade (#46450)

[master] Update dependencies from dotnet/xharness dotnet/llvm-project dotnet/icu dotnet/arcade

 - Merge branch 'master' into darc-master-471b4a40-3bef-4a13-b73c-02196b660069

 - Merge branch 'master' into darc-master-471b4a40-3bef-4a13-b73c-02196b660069

[llvm] Change branch weights for GC safe points to 1000:1, 64:4 seems to cause a warning from clang: (#46254)

warning: <unknown>:0:0: 94.12% (64 / 68)

Co-authored-by: vargaz <vargaz@users.noreply.github.com>

remove lo argument in ArratSortHelper.DownHeap (#46503)

Fix building interp-whitebox test. (#46388)

<!--
Thank you for your Pull Request!

If you are new to contributing to Mono, please try to do your best at conforming to our coding guidelines http://www.mono-project.com/community/contributing/coding-guidelines/ but don't worry if you get something wrong. One of the project members will help you to get things landed.

Does your pull request fix any of the existing issues? Please use the following format: Fixes #issue-number
-->

Co-authored-by: vargaz <vargaz@users.noreply.github.com>

[jit] Make the stelem helper calls non-virtual if possible. (#46262)

Co-authored-by: vargaz <vargaz@users.noreply.github.com>

[wasm] Handle the case when emscripten interleaves methods from multiple AOT images. (#46393)

<!--
Thank you for your Pull Request!

If you are new to contributing to Mono, please try to do your best at conforming to our coding guidelines http://www.mono-project.com/community/contributing/coding-guidelines/ but don't worry if you get something wrong. One of the project members will help you to get things landed.

Does your pull request fix any of the existing issues? Please use the following format: Fixes #issue-number
-->

Co-authored-by: vargaz <vargaz@users.noreply.github.com>

Remove MainAssembly parameter from WasmAppBuilder (#46453)

Co-authored-by: Mitchell Hwang <mitchell.hwang@microsoft.com>

Fix arm64 wrong multireg copies from reg to small type field in memory (#46345)

* Add a repro.

* improve the test.

* Fix the issue and add a few comments.

* response review.

Apple Silicon Fix GCStressC (#46471)

* Fix W^X Thread::CommitGCStressInstructionUpdate()

* Fix RemoveGcCoverageInterrupt

* Fix PAL_DispatchException continueExecution

Remove managed Mono.MonoDomainSetup class and MonoAppDomainSetup struct (#46472)

* [runtime] remove MonoDomain:setup field

* [CoreLib] Delete Mono.MonoDomainSetup

* [metadata] Use a System.Object sentinel object for MonoAppDomainSetup

Doesn't seem like we need any of this stuff on netcore

* [metadata] MonoAppDomainSetup struct is dead code on netcore

Allow incremental servicing of packages and more packaging infra cleanup (#46447)

* More packaging cleanup

* Add incremental package servicing throughout the repo

* Update dependencies to 6.0.0-beta.20630.3

Remove dead code in XML (#46454)

Allow idle timeout to be inherited from msquic (#46207)

Thread abort exceptions, do not preallocate + some cleanup. (#46455)

* remove preallocated thread aborts and base exception

* removed DB_IPCE_FET_RE_ABORT

* removed TSNC_DebuggerReAbort

* removed TAR_Thread

* removed TS_Aborted

* removed ThreadAbortRequester

* remove ThreadAbortInfo

* finalizer and threadpool outer loops should not see or need to handle thread aborts

Use Strings.resx file for the exception messages (#43414)

* Use Strings.resx file for the exception messages

* Use Strings.resx file for the exception messages

* Use Strings.resx file for the exception messages

* Code review fixes

* Remove unused resource string

* Code review fixes

* Code review fixes

* Add resx

* Reverse change for dead code

* Fix build and delete 2 dead files

* Another missing resx

Co-authored-by: Dan Moseley <danmose@microsoft.com>

move SocketTaskExtensions methods to Socket class (#45083)

* move SocketTaskExtensions methods to Socket class

* add SocketTaskExtensionsTest for minimal verification of the old extension methods

* alphabetize methods in ref source

* add doc comments

Co-authored-by: Geoffrey Kizer <geoffrek@windows.microsoft.com>

Adhoc codesign corrupt signatures (#46435)

* Adhoc codesign corrupt signatures

* PR Feedback

use nuget pack task from the package instead of the sdk (#46438)

* use nuget pack task from the package instead of the sdk

* Update Directory.Build.targets

* Update Versions.props

* Update Versions.props

* Update Directory.Build.targets

Co-authored-by: Viktor Hofer <viktor.hofer@microsoft.com>

Delete all.locproj (#46449)

Looks to be dead code?

Update dependencies from https://github.com/dotnet/runtime build 20201227.5 (#46427)

runtime.native.System.IO.Ports , Microsoft.NETCore.ILAsm , Microsoft.NETCore.DotNetHostPolicy , Microsoft.NET.Sdk.IL , Microsoft.NETCore.DotNetHost , System.Runtime.CompilerServices.Unsafe , System.Text.Json
 From Version 6.0.0-alpha.1.20620.6 -> To Version 6.0.0-alpha.1.20627.5

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

ILVerify Testing documentation changes (#46418)

* Added documentation to build/run ILVerify tests

* Added more information about breaking ILVerify test builds

* Reworded Sentence

* Addressed reviewer feedback

Co-authored-by: Jan Kotas <jkotas@microsoft.com>

[RyuJIT] Don't optimize "x < 0" to shift for unsigned cmp (#45243)

* Don't optimize singed comparisons

* use issue's ID

* Address feedback

* Update codegenxarch.cpp

* enable test

RyuJIT: Remove redundant memory barrier for XAdd and XChg on arm (#45970)

* Remove redundant memory barrier for XAdd and XChg on arm

* Update codegenarm64.cpp

* Same for casal

[master] Update dependencies from mono/linker (#46428)

[master] Update dependencies from mono/linker

Avoid deferred Arcade importing (#46397)

* General cleanup and mono import Arcade in root

* More cleanup and coreclr import Arcade root

* Import Arcade root from libraries

* Set informationversion for corelib

* BuildArchitecture cleanup

* Fix property name

* Fix default target invocation of runtime.proj

* specify tfm correctly

* Remove unnecessary TestStrongNameKeyId

* Revert TestStrongNameKeyId removal

* Fix entrypoint target by using M.B.NoTargets

* Fix reference assembly paths

* PR feedback

* Set Platform correctly

* PR feedback and more cleanup

* Move BaselineMicrosoftNetCoreAppPackageVersion

* Fix reference to CoreLib

* Fix OS calculation

* Fix targets importing

* Remove *TargetOS

* Add RuntimeConfiguration doc

* Change conditions in root msbuild files

* installer test fixes

* Cleanup

* More cleanup because of well defined entrypoint

* Don't import D.B.* from installer tests at all

* Rename fix

* Include explicit reference to mscorlib in ilproj

* Update eng/restore/docs.targets

Co-authored-by: Jan Kotas <jkotas@microsoft.com>
* Revert some installer test changes

* Installer test fix again

* Disable EOL tfm check for installer tests

* Set platform later for installer

Co-authored-by: Jan Kotas <jkotas@microsoft.com>

fix typo (#46423)

[master] Update dependencies from mono/linker (#46385)

[master] Update dependencies from mono/linker

Intrinsify Object.MemberwiseClone() (#46243)

Disable failing tests to clean-up JitStress runs. (#46350)

* disable coreroot_determinism with JitStress

* Disable Vector3Interop_r on arm64 windows.

https://github.com/dotnet/runtime/issues/46347

[sgen] Use new MonoClassKind MONO_CLASS_GC_FILLER in mono_class_create_array_fill_type (#46366)

The array fill type MonoClass is used to populate the vtable of sgen nursery
free space.

Previously we used a static MonoClass that was zero-initialized. To make it
easier to spot pointers to freed nursery memory, initialize the class_kind to a
new constant MONO_CLASS_GC_FILLER.

Check for the new value explicitly in class-accessors.c

Clean up managed dependencies for Mono's domain/loader context (#46323)

Co-authored-by: Aleksey Kliger (λgeek) <akliger@gmail.com>

Fix ILVerify Default Method Verification (#46404)

Respect PackAllLibraries property for all libraries packages (#46403)

A few libraries packages were still building even when PackAllLibraries was set to false

Fix Android sample (#46386)

Move few more methods to shared RuntimeType (#46383)

Partial rollback of #46244 to workaround #46389 (#46390)

Consolidate packaging properties (#46331)

* Consolidate packaging properties

* Remove versions.txt file from packages

The versions.txt file was added to packages to know which SHA a package
was built against. As the nuspec now contains the SHA, the versions file
isn't necessary anymore.

Don't include the CoreCLR cross targeting files when dumping to disk. (#46394)

disable MainWindow*_GetWithGui_ShouldRefresh_Windows tests for Windows Server Core (#46387)

* the MainWindowTitle might have already been initialized

* disable MainWindow*_GetWithGui_ShouldRefresh_Windows tests for Windows Server Core

always try to add the result of getegid to the list returned by getgroups (#46302)

* according to https://man7.org/linux/man-pages/man2/getgroups.2.html it's not specified if this group is included in the list returned by getgroups

JIT: ensure pred lists stay in increasing bbNum order (#46351)

Whenever blocks are renumbered or a block is swapped into an existing
pred list entry, ensure the pred list remains properly ordered.

Closes #8720.

Remove ICustomMarshaler from linker descriptor linker can keep the type (#46333)

* Remove ICustomMarshaler from linker descriptor linker can keep the type
conditionally

* Add dependency link to runtime infrastructure code

Refactor more of thread creation into shared CoreLib partition (#46244)

Make managed `enum_flag_HasTypeEquivalence` match value in methodtable.h (#45185)

* make managed enum_flag_HasTypeEquivalence match value in methodtable.h

* IsInstanceOfClass JIT helper does not need to check for type equivalence

[master] Update dependencies from dotnet/runtime-assets dotnet/llvm-project dotnet/icu dotnet/arcade (#46321)

[master] Update dependencies from dotnet/runtime-assets dotnet/llvm-project dotnet/icu dotnet/arcade

 - Merge branch 'master' into darc-master-00529095-a8ce-4967-9456-ad78bb3e877c

Remove Mono.MonoDomain managed class (#46346)

Fixes environment variable prefixes with double underscores preventing environment variables from being parsed (#42932)

* Prevent envvar prefix normalization. Fixes #40911

The fix implementation works like so:
- The environment variable prefix is stripped from a variable name.
- The variable name is then normalized.
- The prefix is then prepended to the variable name.
- Additionally, the filtering now occurs at the same time as
parsing/transformation.

* Account for the fact that envPrefix is never null.

* Remove LINQ per #44923

* Fix bad tests resulting from misunderstanding how loader is supposed to work.

* Fixed merge conflicts

* Actually merge #44923 and fix conflicts.

Co-authored-by: Stephen Toub <stoub@microsoft.com>

Fix handling of Arm32 struct with 8-byte alignment and 12-byte rounded size. (#46320)

* Add a repro.

* Fix arm32 struct with 8-byte alignment and 12-byte rounded size.

* format fixes

* review

a bit more cleanup for regions (#46348)

got rid of the 2 fields related to plan_allocation_start since regions do not need them

Update dependencies from https://github.com/mono/linker build 20201222.1 (#46336)

[master] Update dependencies from mono/linker

Replace AWK with Bash scripts (#46313)

* Replace AWK with Bash scripts

* Replace awk usage with Bash or POSIX tr

* Simplify genmoduleindex.sh

Don't include hostfxr or hostpolicy in the platform manifest. (#46342)

Set IsPackable and validate PackageDescription (#46329)

* Set IsPackable and validate PackageDescription

Remove unused macro CAPTURE_BUCKETS_AT_TRANSITION (#46326)

The CAPTURE_BUCKETS_AT_TRANSITION macro is not used anywhere.

Bump emscripten to 2.0.11. (#46293)

Inline package descriptions and remove descriptions.json files across the repo (#46306)

* Support runtime package descriptions

* Update arcade Packaging pkg

* Inline pkg descriptions for coreclr

* Inline pkg descriptions for mono

* Inline pkg descriptions for installer

* Inline pkg descriptions for libraries

Bump Microsoft.DotNet.SharedFramework.Sdk version (#46319)

Brings in https://github.com/dotnet/arcade/pull/6716 which is required to unblock https://github.com/dotnet/installer/pull/9172

Replace remaining Environment.GetResourceString calls with SR properties (#46298)

Allow to override build date with SOURCE_DATE_EPOCH (#46311)

Allow to override build date with `SOURCE_DATE_EPOCH`
in order to make builds reproducible.
See https://reproducible-builds.org/ for why this is good
and https://reproducible-builds.org/specs/source-date-epoch/
for the definition of this variable.

This date call works with different variants of the date command.

Also use UTC to be independent of timezone.

This helps a bit towards deterministic mono builds = issue mono/mono#20172

This PR was done while working on reproducible builds for openSUSE.

Co-authored-by: bmwiedemann <bmwiedemann@users.noreply.github.com>

Update dependencies from https://github.com/mono/linker build 20201221.2 (#46297)

[master] Update dependencies from mono/linker

Disable apphost tests on Linux (#45976)

* Disable apphost tests on Linux

There is a race condition somewhere in these tests which is causing #44657

* Run disabled tests on staging pipeline

* Fix yml indentation

* Use continue on error on installer tests run

* Pass down restore as well

* Publish test results in global-build-job

* Remove not needed parameter

Co-authored-by: Santiago Fernandez Madero <safern@microsoft.com>

[master] Update dependencies from dotnet/runtime dotnet/xharness (#46269)

[master] Update dependencies from dotnet/runtime dotnet/xharness

 - Merge branch 'master' into darc-master-3b4c8896-59d5-4fc3-b24b-06a30a1e6c3d

Fix wrong XHARNESS_CLI_COMMAND in wasm README and simplify scripts (#46294)

* Fix wrong XHARNESS_CLI_COMMAND in wasm README

The variable is actually `XHARNESS_CLI_PATH`. Also added it to the AppleRunnerTemplate.sh script since it was missing there.

* Add note about usage for Android/AppleRunnerTemplate.sh scripts

Also simplify the iOS/Android scripts a bit.

Fix publishing of special debugging assets under CLR key (#46242)

Enable restore binlog generation (#46270)

Add test for System.Diagnostics.Process.Responding (#46142)

* ensure that MainWindowHandle_GetWithGui_ShouldRefresh_Windows and MainWindowTitle_GetWithGui_ShouldRefresh_Windows tests are not ignored for CI, but only excluded for Nano

* give a clear error when Notepad is missing

* apply code review suggestion and use reflection to test all refreshable private fields

* be explicit about field names

Co-authored-by: Eirik Tsarpalis <eirik.tsarpalis@gmail.com>

Update testing.md (#46295)

The current framework relays on CoreCLR to create the Core_Root and then patch it with mono runtime. So building CoreCLR is required before building runtime tests for desktop Mono

Update dependencies from https://github.com/mono/linker build 20201221.1 (#46288)

[master] Update dependencies from mono/linker

Fix for ilasm generating invalid blob heap index for empty body methods (#46124) (#46289)

Co-authored-by: Ivan Povazan <ivan@raincode.com>

[wasm] Disable the handling of MONO_PATCH_INFO_SWITCH, its not needed, and it keeps the code manager code alive. (#46267)

Preserve current directory in init-compiler-and-cmake.cmd (#46260)

Re-enable disabled tests (#46258)

Ignore PLT and etext symbols during verification (#46221)

Update dependencies from https://github.com/dotnet/runtime build 20201220.2 (#46268)

runtime.native.System.IO.Ports , Microsoft.NETCore.ILAsm , Microsoft.NETCore.DotNetHostPolicy , Microsoft.NET.Sdk.IL , Microsoft.NETCore.DotNetHost , System.Runtime.CompilerServices.Unsafe , System.Text.Json
 From Version 6.0.0-alpha.1.20618.13 -> To Version 6.0.0-alpha.1.20620.2

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

[master] Update dependencies from dotnet/runtime (#46218)

[master] Update dependencies from dotnet/runtime

Update dependencies from https://github.com/dotnet/arcade build 20201216.18 (#46217)

Microsoft.DotNet.XUnitConsoleRunner , Microsoft.DotNet.CodeAnalysis , Microsoft.DotNet.Build.Tasks.TargetFramework.Sdk , Microsoft.DotNet.Build.Tasks.SharedFramework.Sdk , Microsoft.DotNet.GenAPI , Microsoft.DotNet.Build.Tasks.Packaging , Microsoft.DotNet.Build.Tasks.Feed , Microsoft.DotNet.Build.Tasks.Archives , Microsoft.DotNet.Arcade.Sdk , Microsoft.DotNet.ApiCompat , Microsoft.DotNet.Build.Tasks.Installers , Microsoft.DotNet.XUnitExtensions , Microsoft.DotNet.GenFacades , Microsoft.DotNet.VersionTools.Tasks , Microsoft.DotNet.SharedFramework.Sdk , Microsoft.DotNet.RemoteExecutor , Microsoft.DotNet.Helix.Sdk
 From Version 2.5.1-beta.20615.4 -> To Version 2.5.1-beta.20616.18

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

 Fix for ilasm generation of malformed PDB files due to empty body methods (#46250)

* Fix malformed portable PDB generation for methods with empty body (#46124)

* Adding a test case for ilasm which verifies that the MethodDef and MethodDebugInformation tables have the same number of rows (#46124)

Add missing issue link (#45416)

Replace XML descriptor with DynamicDependency for Array special methods (#46211)

[master] Update dependencies from mono/linker (#46229)

Microsoft.NET.ILLink.Tasks
 From Version 6.0.0-alpha.1.20617.2 -> To Version 6.0.0-alpha.1.20618.1

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>

JIT: introduce redundant branch opt phase (#46237)

Move the redundant branch elimination out of assertion prop into its
own phase, in anticipation of future enhancements. Run it a bit earlier
(before CSE).

[mono] cd after calling init-compiler-and-cmake.cmd on Windows (#46223)

The cmd file can change the working directory without restoring it.
Set the directory back to the MonoObjDir before calling cmake.

Fixes https://github.com/dotnet/runtime/issues/46090

Improve R2RTest diagnostics (#46232)

Log stdout / stderr transcript for failed compilations /
executions. This is intended to simplify triage / investigation
of lab failures involving R2RTest (framework compilation,
coreroot_determinism test).

Thanks

Tomas

Start thread pool worker threads in the default execution context (#46181)

Start thread pool worker threads in the default execution context

The execution context transfers to new threads, and this creates an extra stack frame on the thread and may cause AsyncLocal value change notifications to be sent unnecessarily. Added an internal `Thread.UnsafeStart` similarly to those on the `ThreadPool`, which would not capture the execution context, and used those for thread pool and timer threads.

JIT: block some struct CSEs under returns (#46233)

Return lowering is able to handle struct sources that assignment lowering is
not yet prepared to handle. In particular, GT_OBJ.

If we CSE a struct under a return we introduce an assignment, and we don't remorph
the assignment because we don't want to mess up CSEs.

So we must block struct CSEs under assignments for now, until lowering is able
to handle the same sets of sources that returns can.

Delete an unused definition (#46228)

Delete a double folder separator in crossgen proj. (#46225)

Update System.Reflection.Metadata in crossgen2 (#46183)

Fix remaining deb package dependency versions. (#46227)

Disable generating exports file for System.IO.Compression.Native on mobile (#46222)

https://github.com/dotnet/runtime/pull/45995 added this and it relies on this code in configuretools.cmake to detect which linker is used: https://github.com/dotnet/runtime/blob/4bc323242d43dda85d490c0630c4637ffc092469/eng/native/configuretools.cmake#L66-L86

However passing `-Wl,--version` to the compiler doesn't seem to work when using the clang provided by the Android NDK, it still uses the system linker in /usr/bin/ld.
On OSX that one doesn't support the `--version` option so we don't detect LD_GNU which we'd need for providing the correct `-Wl,--version-script` compiler option.

It looks like this only passed on the PR because we build Android on Linux there and the system linker _is_ GNU there so the check was successful.

Disable the generation of the exports file on mobile platforms since we don't use it there anyway.

ensure test TestUserCredentialsPropertiesOnWindows is run only by elevated accounts (#46213)

Fix arm64 apple hfa<float>. (#46034)

* Fix printing.

* Keep the aligned size in `fgArgInfo`.

There was no users that required the exact size, but keeping it required rounding all over the place.

* Fix float HFA stack passing.

Apple doesn't require struct alignment for it.

* Fix `lvaMapSimd12ToSimd16` for arm64 apple arguments.

* fix crossgen2 failure.

Run Wasm browser sample on Helix (#46144)

This is a continuation of #45768 for the browser sample.
Which sample to run depends on the Helix scenario:
- the console sample runs under normal scenario;
- the browser sample runs under WasmTestOnBrowser scenario.

Relates to #43865

Remove EventPipe native test vcxproj build files. (#46194)