Merge pull request #21893 from AndyAyersMS/ReconcileInlineBudgetUsingSizeOfImportedIL

JIT: modify inline budget update to use estimated imported IL size

Merge pull request #21779 from mazong1123/fix-19166-checkproj-opt

Check the optimize settings of JIT test projects.

Implement AssemblyDependencyResolver (#21896)

* Implementation of ComponentDependencyResolver

PInvokes into hostpolicy.dll (which should live next to the runtime and thus always be reachable).
If the PInvoke fails (missing hostpolicy.dll) we will fail for now.

Adds tests for the API into CoreCLR repo. The main reason is that with corerun
we can easily mock the hostpolicy.dll since there's none to start with.
Writing the same tests in CoreFX or any other place which starts the runtime through
hostpolicy would require test-only functionality to exist in either the class itself
or in the hostpolicy.

* Fix test project file to work outside of VS

* Better test cleanup to not leave artifacts on disk.

* CDR native resolution tests

 Add native resolution tests

* Implements detailed error reporting for ComponentDependencyResolver.

Registers error writer with the hostpolicy to receive detailed errors. Uses that in the exception.

Modifications to the mock and the tests to be able to verify the functionality.

* Revert overly eager cleanup

* Change public API surface naming to match the approved API surface.

* Fix nits.

* Fix renames.

Specify the minimum supported version of macOS (#21816)

* Pass the minimum supported version of macOS option to both compile and link stages in configurecompiler.cmake

* Enable OSX.1012.Amd64.* open and internal queues and add OSX.1014.Amd64 queue in eng/platform-matrix.yml

Add tests for our layout-class marshalling (#20867)

* Add simple test for the LayoutClassMarshaler (most of the code is already covered by the struct marshalling tests).

* Add test for blittable layout class.

* Apparently layout classes are passed by value when passed as struct fields instead of byref.

Move OperationStatus into shared source (#21912)

This is the first step to moving OperationStatus from corefx into coreclr. It'll be used by the transcoding APIs which live in System.Private.CoreLib.

Addressing https://github.com/dotnet/coreclr/issues/21461 (#21771)

- Increase the polling interval to 20 seconds.
- Provide an opt-out option to the EventPipe file polling.

Fix DynamicMethodDesc memory leak (#21891)

The DynamicMethodTable::AddMethodsToList was incorrectly allocating the
MethodDescChunk from the domain's LoaderAllocator instead of the context
specific one. Thus the allocated memory was leaking after a collectible
AssemblyLoadContext was collected.

There was also a problem with the DynamicMethodDesc::Destroy being
called twice for collectible classes - once by
RuntimeMethodHandle::Destroy() and once when the DomainFile destructor
was called. Due to the primary issue, this problem was not visible,
since the domain's LoaderAllocator is never unmapped. But it started to
cause AV after the primary issue was fixed.

Change CoreLib native image to be R2R by default on all platforms (#21497)

Fix perf-prep to pass the branch name (#21911)

For the release branches, we need to specify the branch name when pulling down coreclr test artifacts, and not just pull down from master. This change modifies perf-prep.sh to allow us to specify the branch name, which we will then port to the release branches.

Merge pull request #20772 from mikedn/ir-cleanup

Some IR cleanup

Remove extraneous eightbytes check for native structures and add tests. (#21590)

* Remove extraneous eightbytes check and add tests.

* Interger -> Integer

* Missed Helper.cs

* Handle field sizes larger than 8 bytes in AssignClassifiedEightByteTypes

* Move CoreFX test case into CoreCLR.  Fix the SystemV eightbyte classifier to correctly classify the second eightbyte when a single field crosses the eightbyte boundary (such as an in-place array of three 4-byte enums).

* Enable passing user defined structs in in-place arrays in a structure if SystemV ABI expects it.

* Correctly handle a field spanning two full eightbytes.

* Just directly assign 0 to accumulatedSizeForEightByte

* Change multi-eightbyte field handling to be a loop as per PR feedback.

* Remove extraneous whitespace.

Support building with python3 on unix (#19356)

The windows build scripts try finding python in order of python3,
python2 and then python. The unix build scripts dont. They just try
python2 variants and then fail. This change makes brings them closer
together by letting users build using only python3.

More DispatchWrapper tweaks

Removes PNSE version of DispatchWrapper and keep only single version with ifdef

Delete files moved to shared partition

Moves common COM type to shared corelib partition (dotnet/corert#6782)

* Moves common COM type to shared corelib partition

* Moves GetHRForException to PInvokeMarshal

* Add temporary CORECLR ifdef to ArrayWithOffset

* Apply cleanup from CoreCLR

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

fix DateTime overflow on ARM32 (#21902)

Update gtLclILoffs related comments

Merge pull request #21867 from adityamandaleeka/fix_writebarrier_bounds_check

Fix write barrier bounds checks for ARM64 Unix.

Merge pull request #21857 from AndyAyersMS/RangeCheckSmallTypes

JIT: infer ranges from small int type operations

Enable FinalizeQueue SOS command for Unix (#21876)

The command is very useful and there seems to be no reason for it to not to be enabled on Unix.

Copy address-taken SIMD intrinsic (#21884)

* Copy address-taken SIMD intrinsic

This occurs, for example, when boxing the result of a SIMD intrinsic. This was being handled for the HW intrinsic case, but not the SIMD Vector intrinsics. Also, eliminate `OperIsSimdHWIntrisic` since it redundantly checks for the case of a SIMD result, even though it was always called in a context where the result is known to be a struct type.

Fix #21854

Expose string.Concat(ReadOnlySpan, ...) (#21882)

* Expose string.Concat(ReadOnlySpan, ...)

* Add String.Empty fast path to string.Concat(ReadOnlySpan, ...)

Update Test exclusion for NativeLibraryTests in official builds. (#21858)

Update issues.targets, to reflect the change in location of
NativeLibray tests.

Fixes https://github.com/dotnet/coreclr/issues/21844

Use `saveNext` unwind opcode on arm64. (#21683)

* Use `saveNext` opcode on arm64.

* Support using of  `save_next` on int/float border.

* Delete the extra requirement that an epilog sequences can't start from `save_next`.

* response feedback

check for valid IL offsets before computing block ILsize

Extract cleanup changes from #21793. (#21852)

* Cleanup changes from #21793.

* Emit the data pointer offset directly into the IL stream (and calculate it as needed instead of passing it through)

* Fix broken assumption that OverrideProcArgs::na::m_pMT is the array type instead of the element type (which it was).

JIT: modify inline budget update to use estimated imported IL size

The inliner keeps a time budget to try and avoid pathological runaway inline
behavior (see #4375). The jit estimates the time impact of an inline using a
simple projection based on IL size. If an prospective inline would put the jit
over the time budget, the inline is blocked -- and note even aggressive inlines
can be blocked this way.

We now have a fair number of aggressive inline methods like
`Vector256<T>.IsSupported` where the IL is optimized early on by the jit and the
actual impact on the calling method is much less than the initial IL size would
suggest. For instance `IsSupported` is 286 bytes of IL, but the net contribution
of this method at jit time is either a constant 0 or 1, and so the effective size
is more like 2 bytes of IL.

This set of changes updates the jit to estimate the imported IL size of a method
when updating the budget.

Closes #21794.

Fix consistency between `-` and prefixless args in build.cmd (#20248)

* Fix consistency between `-` and prefixless args in build.com

* Remove -generatelayout

Already PR'd by someone else

Merge pull request #20409 from lol768/patch-1

Add a note to clarify debugging w/ dotnet is fine

Updated "Viewing JIT Dumps" for .NET Core 3.0 (#21687)

* Updated "Viewing JIT Dumps" for .NET Core 3.0

plus some minor wording change

* Incorporated changes from https://github.com/dotnet/coreclr/pull/21859

Update CoreClr, CoreFx to preview-27308-03, preview.19058.1, respectively (#21877)

Fix write barrier bounds checks for ARM64 Unix

Merge pull request #21880 from BruceForstall/FixTestReportsArchiving

Update test reports archiving

Update test reports archiving

Two things:
1. Turn "echo" back on after runtests.cmd, so we see in the log file
the testReports.zip compression.
2. Change the archiving of testReports.zip to not occur even if the
test run fails (this is actually the most interesting case), and don't
fail if there is nothing to archive.

Fix issue #20585 createdump explicitly uses /tmp. (#21866)

Changed to PAL's GetTempPathA to get the temp path.

Fixed potential memory leak (#21872)

Update CoreClr, CoreFx, PgoData to preview-27308-01, preview.19057.3, master-20190108-0040, respectively (#21830)

Attempt to fix paths with spaces again (#21837)

Fix path length 255 (#21838)

* Fix path length 255

* Fix assert

* Dead code

Update ceemain.cpp (#21869)

CoreRT updates for files moved to shared partition

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Moves ComTypes to shared partition (#21861)

Fixing ContainCheckHWIntrinsic to ensure that scalar integer operands are the appropriate size (#21641)

* Fixing ContainCheckHWIntrinsic to ensure that scalar integer operands are the appropriate size

* Adding a regression test for issue 21625

* Fixing IsContainableHWIntrinsicOp to use the containing node type (rather than the simd base type) for Scalar intrinsics

* Fixing the containment check for `Sse41.Insert(V128<float>, V128<float>, byte)`

* Cleaning up the isContainableHWIntrinsicOp logic in lowerxarch.cpp

* Restrict containment to genActualType(baseType)

* Formatting

* Removing some comments and simplifying the supportsContainment checks for various HWIntrinsics that take a scalar operand

* Applying formatting patch

Check GenerateGuidForType argument for null (#21851)

* Check GenerateGuidForType argument for null

* Also check for RuntimeType

Collect Windows test run logs into testReports.zip file (#21813)

* Collect Windows test run logs into testReports.zip file

And upload these to Jenkins, so we can see how the tests ran.

* Archive test Reports even if the test run fails

* Need to use "call" when invoking runtest.cmd batch file

Fix CharSet on StringBuilder hidden null terminator test (#21853)

Actually fix issue #21484 reported by the customer. (#21850)

GC heap globals like ephemeral_heap_segment and finalize_queue are
null/invalid for a server GC. Add a check to skip the workstation GC
memory enumeration if server. The server memory enumeration already
skips if workstation GC.

JIT: infer ranges from small int type operations

Have range check use the ranges for small int types if it has no better
information.

Fixes #21481

JIT: encapsulate general checks for optimization (#21822)

* JIT: encapsulate general checks for optimization

Add methods that answer the general question of whether or not
the jit is optimizing the code it produces.

Use this to replace composite checks for minopts and debug
codegen (the two modes where the jit is not optimizing).

* inline keyword cleanup

Respect the instrumented code maps passed by the profiler in a rejit (#21786)

We currently do not respect the rejit provided instrumentation maps in DebuggerJitInfo::SetBoundaries, this change updates it to use the rejit map if one exists.

Improve CustomAttribute (#21832)

* Reduce local scopes in AddCustomAttributes

* CustomAttribute.cs tidy up

* Less struct copies

Remove invalid test b21296 (#21507)

This test was doing in-place modification of a managed string using
unsafe code which breaks string interning.

Publish symbol packages (#21769)

Moves StackTrace to shared partition (#21757)

* Moves StackTrace to shared partition

* Remove obsolete comment

* StackFrame::GetFileName behaves like property, remove SecurityException

* Adjust CoreRT ifdefs, fix names for consistency

Fix missing project error in official build (#21767)

In response to https://github.com/dotnet/arcade/pull/1567.
This uses an empty project to work around the new behavior that requires a project file even for restore operations.

Fix incorrect assignment of READYTORUN_HELPER_[Dbl|Flt][Rem/Round] (#21836)

Turns out there's a long-standing typo in CoreCLR that reverses
the helper enumeration values for DBL and FLT. This doesn't seem
to be a problem in the CoreCLR repo as such because it solely
uses the legacy identifiers CORINFO_HELP_DBLREM et al. We have
however ported the incorrect helper enumeration values into R2RDump
and ILCompiler. This change immediately fixes R2RDump as it resides
in the same repo, I'll send out the ILCompiler change in
a separate PR.

Remove CAS era security checks around resource loads (#21825)

Revert "Fix ilasm exec on paths with spaces (#21819)" (#21835)

This reverts commit b188e9d354e37e512c5b95bec38f0f06efb4161e.

Delete redundant S.R.InteropServices.PInvokeMap and S.R.InteropServices.PInvokeMarshal (#21831)

Remove redundant casts in TypeBuilder.CreateTypeNoLock (#21824)

Maintain left.Equals(right) order for equality for compat (#21829)

Update BuildTools, CoreClr, CoreFx, PgoData to preview1-03603-01, preview-27305-02, preview.19055.1, master-20190105-0042, respectively (#21749)

(C#7) Use pattern matching `is` rather than `as` with null check (#21828)

* Use pattern matching `is` rather than `as` with null check

inline keyword cleanup

Move Native Library APIs to NativeLibrary class (#21821)

Move APIs that manipulate native libraries from
System.Runtime.InteropServices.Marshal class to the new
System.Runtime.InteropServices.NativeLibrary class.

In API review: #32015,
The LoadLibrary APIs were originally Approved to live in
System.Runtime.InteropServices.Marshal class.

However, recently the decision was changed such that the APIs are
in a new NativeLibrary class.

Remove redundant unsafe contexts (#21826)

Fix ilasm exec on paths with spaces (#21819)

JIT: encapsulate general checks for optimization

Add methods that answer the general question of whether or not
the jit is optimizing the code it produces.

Use this to replace composite checks for minopts and debug
codegen (the two modes where the jit is not optimizing).

Fix misspelling (#21640)

Remove stack marks from GetSatelliteAssembly. (#21812)

Delete unused fFullReset argument (#21814)

Avoid passing stack crawl mark unnecessarily deep in the call stack. (#21783)

* Avoid passing stack crawl mark unnecessarily deep in the call stack.

* Move stack crawl from TypeName::GetTypeManaged to RuntimeTypeHandle::GetTypeByName.

If the debugger is stopped on a garbage collection event, resuming the threads during detach should simply be setting the event (#21764)

Merge pull request #21806 from BruceForstall/CheckTestEnvCall

Check result of call to TestEnv script

Support faster null checks (#21765)

JIT: don't optimize struct copies for call args in debug or minopts (#21792)

The jit will opportunistically optimize away copies for some struct call
arguments, if that argument is a "last use" for the struct (and some other
conditions apply).

In cases like #21544 this leads to confusing debug experiences as inputs
to a call appear to be modified by the call.

Also we really should not be optimizing the code this way in debug or in
minopts codegen modes. So, block this optimization for debug and minopts.

Closes #21544.

Fix Windows arm32/arm64 testing (#21809)

* Fix Windows arm32/arm64 testing

After the conversion to runtest.py, we were not getting any
JIT or GC stress mode testing:
1. The generated test env batch file didn't have a ".bat" extension,
so Windows wouldn't execute it.
2. The Python generated temp file was locked, so couldn't be read.

Added more logging.

Specify value of __RuntimeId for non-portable Linux test builds in build-test.sh (#21777)

Update dependencies from https://github.com/dotnet/arcade build 1060 (#21726)

This change updates the following dependencies
- Microsoft.DotNet.Arcade.Sdk - 1.0.0-beta.18630.2
- Microsoft.DotNet.Helix.Sdk - 1.0.0-beta.18630.2

Add StringExtensions.Concat to fix Microsoft.IO.Redist assembly

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

EventPipePayloadDecoder clean-up (#21716)

* Remove ReadUnalignedGuid

* Make EventPipePayloadDecoder unconditionally little-endian

Removes AppDomain dependency from TPLETWProvider (#21709)

which always returns 1, to make code sharing easier

Skip additional cast from common EC.Run calls (#21789)

* Skip additional cast from common EC.Run calls

* Unsafe.As

Reflection performance tweaks & cleanup (#21737)

- Delete internal "Unsafe" field getters/setters. They performance was very close (within 10%) of the regular getters/setters.
- Made a few performance tweaks in reflection to make reflection faster overall. The regular field getters/setters are faster than what the unsafe ones used to be with this change.

Use ValueStringBuilder instead of StringBuilderCache in PathInternal.Windows.cs

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Add test for StringBuilder null terminator implementation detail (#21800)

* Remove some commented out code.

* Add test verifying that we put a null terminator 2-past the end of the native buffer allocated for a StringBuilder.

Merge pull request #21803 from BruceForstall/FixTypo

Fix batch script errors running JitOptimizationSensitive tests

Check result of call to TestEnv script

If you give an illegal, not executable TestEnv script, then this
will not fail silently.

Fix batch script errors running JitOptimizationSensitive tests

Simple typo: REN instead of REM, leading to:

"The syntax of the command is incorrect."

Fixed the broken projects.

Use Kernel32 instead of api-ms-win-core-* in DllImports in SafeFileHandle.cs

Eliminate some bounds checks in Path (#21721)

Adds portable version of EncodingTable (#21735)

* Adds portable version of EncodingTable

Most of the implementation is extracted from CoreRT

* Use string comparer directly

* Remove no longer used COMNlsInfo

* Adds localization support

* Removes FeatureCoreFxGlobalization configuration

* Remove redudant encodings look up from GetEncoding

* Keep Hashtable for nameToCodePage as it does not lock on read

* Replace locked dictionary lookup with short switch

* Include comment with msbuild task link used to generate the data file

Merge pull request #21619 from CarolEidt/FixDesktopSIMD

Fix desktop SIMD failures

Merge pull request #21776 from fiigii/fixAs

Fix Vector128/256 As<U> intrinsic recognition and exception

Improve performance of Path.ChangeExtension (#21766)

In the common case where it need to replace a non-empty extension with a non-empty extension, it currently incurs a substring without the original extension prior to then concatenating with the new extension.  This PR avoids that.

(As the Path implementation is in corelib, this uses string.FastAllocateString and then formats into it with a span; if we wanted to avoid that, string.Create could also be used.)

* Add internal String.Concat overloads for spans

* Use span-based string.Concat overloads in several places

Merge pull request #21774 from hoyosjs/juhoyosa/event_size

Add payload size case for GC events

Fix Vector128/256 As<U> intrinsic recognition and exception