report the entire generation table in EnumWksGlobalMemoryRegions and EnumSvrGlobalMemoryRegions (#20233)

Support building cross-architecture components on armel (#20190)

Marshal blittable structs via memcpy even if nested within non-blittable struct (#20194)

* Add regression test for dotnet/coreclr#18521.

* Add custom marshaler for fixed buffers that acts as a scalar memory copy of the length of the fixed buffer.

* Remove regression test. Moving it to a unit test in corefx.

* Move attribute class name into classnames.h

* Remove unreachable code left over from debugging.

* Marshal fixed buffers by reusing the field marshaler of the single field to pretend that there are multiple fields consecutively in the structure.

* Remove now-dead code paths.

* Use initializers in FieldMarshaler_NestedValueClass constructor where appropriate.

* Clean up IsFixedBuffer implementation.

* Remove unused GC_PROTECTs.

* Specifically check that the attribute exists, not just that there wasn't an error.

* Fix missing else statement.

* Add asserts so we don't corrupt the heap.

* Add unit test for masked bug (incorrect native size of structure calculated).

* Don't use new behavior on non-blittable fixed buffers.

* Revert "Add unit test for masked bug (incorrect native size of structure calculated)."

This reverts commit 496eef5906638c3c2696ede0d922a5e707447b4e.

* Use memcpy instead of field emulation.

* Remove unused forward-declared class.

* Clean up code. Refactor one GetMethodTable call I missed.

* Remove now-unneeded custom attribute includes. More diff cleanup.

* Remove unneeded FixedBufferAttribute define.

Add MethodImplOptions.AggressiveOptimization and use it for tiering (#20009)

Add MethodImplOptions.AggressiveOptimization and use it for tiering

Part of fix for https://github.com/dotnet/corefx/issues/32235
Workaround for https://github.com/dotnet/coreclr/issues/19751
- Added and set CORJIT_FLAG_AGGRESSIVE_OPT to indicate that a method is flagged with AggressiveOptimization
- For a method flagged with AggressiveOptimization, tiering uses a foreground tier 1 JIT on first call to the method, skipping the tier 0 JIT and call counting
- When tiering is disabled, a method flagged with AggressiveOptimization does not use r2r-pregenerated code
- R2r crossgen does not generate code for a method flagged with AggressiveOptimization

PDF link wasn't working (#20242)

Correct pdf link

Fix X86 disassembly and a bug regarding ExportedTypes in R2RDump (#20230)

1) X86 CoreDisTools disassembler has a bug in decoding absolute
indirections, interpreting them as RIP-relative offsets. I have
reused the logic that's already in place for patching X64
RIP-relative addresses to take care of this additional case.

2) the CoreDisTools disassembly apparently only produces newline
(0A) characters that don't work well in Notepad and other viewers;
I have forcibly replaced them with the platform newline separator.

3) I hit a bug in available type decoding - the logic wasn't
properly checking whether the type is exported or not.

Thanks

Tomas

Merge pull request #20237 from BruceForstall/MakeInnerloopArm64DefaultTriggered

Change the innerloop arm64 Linux jobs to be default triggered

Change the innerloop arm64 Linux jobs to be default triggered

The two innerloop jobs had been push triggered, to see how the
jobs behave in the system. They have been pretty stable, so
change to make them default triggered.

Add Bionic to sources.list for cross (#20202)

Merge pull request #20203 from AndyAyersMS/FixGtIndexAddrTest

Fix test for GT_INDEX_ADDR to forcibly compile with minopts

Merge pull request #20193 from fiigii/addbc

Add pointer overloads for Avx2.BroadcastScalarToVector256

Stop updating gtRsvdRegs before LSRA (#20136)

Merge pull request #20201 from jkotas/update-lst

Delete removed tests from Tests.lst

Fix test for GT_INDEX_ADDR to forcibly compile with minopts

Update test introduced in #20047 so that the key method `ReadBytes` is compiled
with minopts by default.

Add back ExeFile directory for non-Windows (#20192)

Delete removed tests from Tests.lst

Improve Guid parsing performance (#20183)

* Improve Guid parsing performance

Significantly improves the performance of parsing all Guid number styles, primarily by avoiding using the StringToInt core helper that was used previously to parse each of the consistuent components, as well as avoiding some unnecessary searches of the strings in order to determine which format is employed.

I kept strong compatibility with the existing implementation, down to what exceptions are thrown when (even when they’re a bit strange).  However, there are a few cases where the error messages in those exceptions differ from what they previously were, due to ambiguities, and IMO it not being worth making the implementation slower to try to maintain the exact same choice.  For example, the string “{0xdddddddd, 0xdddd 0xdddd,{0xdd,0xdd,0xdd,0xdd,0xdd,0xdd,0xdd,0xdd}}” isn’t parsable, because it’s missing a comma between the second and third components, and with whitespace removed the parser will try to parse “0xdddd0xdddd” and fail to do so.  Previously that would result in an error message “Additional non-parsable characters are at the end of the string”, and now it’ll result in an error message “Guid string should only contain hexadecimal characters.”  Similarly, “(-ddddddd-dddd-dddd-dddd-dddddddddddd)” would previously fail with “Unrecognized Guid format”, and now it’ll also fail with “Guid string should only contain hexadecimal characters.”

* Undo int->uint / short->ushort field changes

* Address PR feedback

Simplify SafeBuffer.Initialize implementation (#20198)

Unify argument verification for Marshal.GetHINSTANCE off-Windows (#20130)

Delete redundant framework API tests (#20187)

Contributes to #12782

Make `structType` optional in jitEEInterface method `getFieldType`. (#20191)

* Make `structType` optional in `getFieldType`.

The declaration in corinfo.h says: "if 'structType' == 0, then don't bother the structure info". However, `getFieldTypeInternal ` did not check this case.

* Do not bother the structure info when we do not need it from `getFieldType`.

Avoid allocation in Task.Yield() awaiter (#20186)

Now that IAsyncStateMachineBox is an IThreadPoolWorkItem, we can queue it directly in Task.Yield's awaiter.  This makes `await Task.Yield();` allocation-free when the default scheduler is used.

Add pointer overloads for Avx2.BroadcastScalarToVector256

Specify configuration to runtest.sh to make runtest.py use the correct build_type value (#20188)

Merge pull request #20152 from DrewScoggins/UpdateIBCDeps

Update ibc deps

Enable delegate marshalling for collectible types (#20158)

* Enable delegate marshalling for collectible types

This change is trivial - it just removes checks preventing the delegate
marshalling for collectible types. The unmanaged to managed thunks are
allocated from a global LoaderAllocator and they are released when the
corresponding managed delegates are collected. So for unloadability, we
don't need to change this behavior in any way.

* Disable CoreFX tests outdated by the change

Updating NumberToStringFormat to not print the sign if there are no digits being returned (#20109)

Enable BSTR Marshaling Support for x-plat PInvoke (#19766)

Update CoreClr, CoreFx to preview1-26928-03, preview1-26928-03, respectively (#20180)

Added transcript of ARMEnabled. (#20181)

Update CoreClr, CoreFx, CoreSetup to preview1-26928-01, preview1-26928-01, preview1-26928-01, respectively (#20175)

Avoid AwaitTaskContinuation allocation in some awaits (#20159)

In .NET Core 2.1, I added a bunch of optimizations to async methods that are based on reusing the async state machine object itself for other purposes in order to avoid related allocations.  One of those optimizations was using the boxed state machine itself as the continuation object that could be queued onto a Task, and in the common case where the continuation could be executed synchronously, there would then not be any further allocations.  However, if the continuation needed to be run asynchronously (e.g. because the Task required it via RunContinuationsAsynchronously), the code would allocate a new work item object and queue that to the thread pool to execute.  This then also forced the state machine object to lazily allocate the Action delegate for its MoveNext method. This PR extends the system slightly to also cover that asynchronous execution case, by making the state machine box itself being queueable to the thread pool.  In doing so, it avoids that AwaitTaskContinuation allocation and also avoids forcing the delegate into existence. (As is the case for other optimizations, this one is only employed when ETW logging isn't enabled; if it is enabled, we need to flow more information, and enabling that would penalize the non-logging case.)

Update CoreClr, CoreFx, CoreSetup, PgoData to preview1-26927-03, preview1-26927-03, preview1-26927-01, master-20180926-0038, respectively (#20153)

Fix CancellationTokenRegistration.Dispose racing with cancellation (#20145)

CancellationTokenRegistration.Dispose is guaranteed to only return when the associated callback has already finished running or has been successfully removed such that it'll never run.  This is to ensure that code following Dispose can be guaranteed that the callback isn't currently running and won't after that point, as if it did, it could potentially depend on mutable shared state or itself mutate shared state in a non-thread-safe manner.

However, significant optimizations introduced in .NET Core 2.1 impacted a specific case of this guarantee.  It still behaves correctly if cancellation hasn't already been requested, if cancellation has already processed the associated callback, and even if cancellation is currently executing the associated callback.  However, if cancellation is currently processing other callbacks and hasn't yet gotten around to processing the associated one, Dispose() may incorrectly return immediately, such that the callback may still end up getting invoked after Dispose() returns, which can violate assumptions of consuming code in very impactful ways.

This commit modifies how the callbacks are removed from the registration list in order to fix the issue.  Previously, all of the callbacks were swapped out at once, which then left the list empty, which is what caused subsequent disposals to think the callback had already been processed or unregistered.  With this change, we instead just remove each registration as it's being processed, such that a concurrent disposal can still successfully find the registration in the callback list if it's not yet been processed.

This change does have a small perf impact, but only on the case where cancellation is actually invoked, which is the less common case; most usage of CTS doesn't actually result in cancellation, and optimization is focused on registration and unregistration perf.  Rather than taking and releasing the lock once when cancellation is requested, we now take and release the lock per callback when cancellation is requested.

Enable Ubuntu arm Cross Release crossgen_comparison scenario by default (#20160)

Merge pull request #19960 from echesakovMSFT/UseCrossBitnessLinuxCrossGenByDefault

Use Hostx64/arm crossgen to crossgen System.Private.CoreLib on Linux

Replace Crst* with CrstStatic for IBCLogger (#20148)

Maestro dependency update without buildtools (#20143)

* Update BuildTools, CoreClr, CoreFx, CoreSetup, PgoData to preview1-03224-03, preview1-26925-05, preview1-26925-06, preview1-26925-01, master-20180925-0031, respectively

* Enable RestoreOutputPath override

* Disable System.Security.Cryptography.Pkcs.Tests

To help unblock corefx, etc. update.

* Revert buildtools changes

* Disable buildtools auto updates

Enable Ubuntu arm crossgen_comparison Checked in each PR (#20139)

* Run Ubuntu arm crossgen_comparison (Checked | Release) daily
* Enable Ubuntu arm Checked crossgen_comparison by default

Cross-bitness in VTable Calls (#20137)

* Use TARGET_POINTER_SIZE in CEEInfo::getMethodVTableOffset in src/vm/jitinterface.cpp
* Use SIZEOF__MethodTable_ in src/vm/methodtable.h

Do not treat a custom layout as overlapping when trying to inline a struct method. (#20141)

* Do not treat custom layout as overlapping when trying to inline struct method.

That hack was added 4 years ago with independent struct promotion for parameters.
I was not able to find any related issues.

This change produces asm diffs because it allows us to inline more (lvaCanPromoteStructVar is a multiplier for
inlineIsProfitable parameter).
For System.Private.CoreLib we have total bytes of diff: 294 (0.01% of base).
For example, we started to inline methods from 'System.Threading.Tasks.ValueTask' that has '[StructLayout(LayoutKind.Auto)]'.

* Always sort fields in lcCanPromoteStructType.

It will be optimized away in the future commits.

* Delete the argument that is no longer used.

* Fix variable name according to jit-coding-conventions.

Rename 'StructPromotionInfo' to 'structPromotionInfo'.

Remove deleted HW intrinsic tests from exclusion lists for Windows arm, arm64 targets (#20151)

Fixes #20149

Merge pull request #20098 from dotnetrt/fix-win-unix-format

[CI] Fix failures in Windows/Linux CI Formatting jobs by force killing all dotnet processess

Update BuildInfoPaths for PGO and IBC packages

Merge pull request #20132 from jkoritzinsky/fixes/coreclr/7829

Fix possible overflow in SafeBuffer.Initialize.

Update dependencies.props to fix typo

In the XmlUpdateStep item for the IBC data had a typo and was called
Data not IbcData. This was causing Maestro to not update the
IbcCurrentRef automatically.

Merge pull request #19939 from mikedn/visit-cmpxchg

Fix incorrect CMPXCHG visiting order

Remove duplicated test

Add outdated test to CoreFX.issues.json

PR Feedback and exclude regression test on 64-bit processes.

Use platformdefines through lib instead of cpp (#19948)

* Use platformdefines through lib instead of cpp

* add a dummy export function

* Remove dummy export

* Compile as Static Library

* revert platformdefines.cpp file

* remove DLL_EXPORT

Delete dead .NET Framework activation code (#20134)

Add regression test.

Simpler implementation from PR feedback.

Porting fix on Desktop for VirtualUnlock perf issue on WKS GC when we reset mem (#20115)

Fix possible overflow in SafeBuffer.Initialize.

Since a 0-length buffer is technically possible (though not very usable), have sizeOfEachElement==0 -> ByteLength == 0.

Merge pull request #19979 from echesakovMSFT/CrossGenComparisonSymbolFiles

CrossGen comparison - compare debugging files

Add header files to ildasm, ilasm vcxproj (#20052)

Merge pull request #20107 from dotnet/dev/unix_test_workflow

Improve Linux arm32/arm64 corefx test runs

switch to netcoreapp2.0 (#20120)

Allows to get rid of warning " CSC : warning CS1685: The predefined type 'MarshalByRefObject' is defined in multiple assemblies in the global alias;".

Add headers to cordb{di, ee_dac, ee_wks}.vcxproj files to improve developer experience (#20049)

Fix hijacking for ARM/ARM64/x86 on Unix (#20042)

* Fix hijacking for ARM/ARM64/x86 on Unix

We were not checking the case when we have interrupted a thread inside
of a function epilog for other architectures than amd64. When such an
interruption happens, GS cookie check in a stack walking has failed,
since we are unable to decode GS cookie location when the IP is in
epilog.
This fix implements IsIPInEpilog for all architectures and makes the
check unconditional.

Don't check for libintl.h on Darwin (OSX) (#20094)

clean code that counts promoted implict byref argument occurrences. (#20113)

* clean code that counts promoted implict byref argument occurrences.

Move 3 copies of that code into one in `PreOrderVisit`. Run this check after we have made morph for fields and structs.

Simplify OSVERSIONINFOEX interop (#20111)

Remove unnecessary parenthesis (dotnet/corefx#32419)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Improve Linux arm32/arm64 corefx test runs.

Add proper parallelism.

Prevent per-test output during parallel runs from interleaving
by saving output per process and displaying it after the
process has completed.

Improve summary test/failure output at end of log.

Change Linux arm32/arm64 corefx jobs to run tests in parallel.

Change Linux/arm64 corefx scheduled jobs to be daily, not weekly,
since they are very fast when run in parallel (<20 minutes).

Move run-tests.sh from corefx

This is the script used by Jenkins to run arm32/arm64 corefx testing
in the coreclr repo.

Leave the original one around, in case anyone uses it.

Name it run-corefx-tests.sh, to more closely model what we have for
Windows arm/arm64 corefx testing.

Porting NumberToDouble to managed code. (#20080)

* Porting NumberToDouble to managed code.

* Deleting bcltype/number.cpp and bcltype/number.h

* Fixing NumberToDouble to call Int64BitsToDouble, rather than DoubleToInt64Bits

* Some minor code cleanup in NumberToDouble for better readability.

* Some additional code cleanup in the Number.NumberToDouble.cs code

Fix failures in Windows/Linux CI Formatting jobs by killing all dotnet processess

Use shell commands to kill all processess with dotnet/dotnet.exe name before
attempting the final cleanup of the CI workspace

Address PR feedback - Cleanup temp dirs after usage

Merge pull request #20095 from BruceForstall/Disable80373

Disable test b80373 for all non-Windows targets

Streamline MemoryExtension Trim and Trim(char) by removing calls to TrimStart/End and avoiding unnecessary Slice. (#19959)

* Mark TrimStart and TrimEnd as Aggressively Inline to improve perf

* Remove inlining attribute and streamline Trim

Add missing <cmath> header for fabs to fix Visual C++ vNext break, av… (#20079)

* Add missing <cmath> header for fabs to fix Visual C++ vNext break, avoid narrowing to float from double

Disable test b80373 for all non-Windows targets

Tracked by #20024

Merge pull request #20033 from briansull/normalizeAssertionProp

Changes to use VNNormalValue in assertionProp

Fix copy-paste error in xml doc comment (dotnet/corefx#32388)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Move smoketests to new helix queue (#20090)

Simplifies UTF32Encoding/UTF8Encoding/UnicodeEncoding ctors initialization flow (#20072)

Fix decoding bug in r2rdump's native format reader

Sign extension is done based on a 32-bit int. We were incorrectly basing it off the size of a byte.

Performance fix for R2R: vtable calls (#20061)

* Performance fix for R2R: use vtable-based codegen for virtual calls within the System.Private.CoreLib version bubble, avoiding the use of the VSD, or in the generics case, a dictionary lookup.
The CoreLib assembly will always be serviced along side the coreclr runtime, so special casing CoreLib to using vtable-based calls like the fragile NI case is ok.

Fix issue #20076 createdump faults. (#20084)

Return E_FAIL instead of S_FALSE from ClrDataFrame::GetLocalSig().

Also issue https://github.com/dotnet/diagnostics/issues/61

Make EH table optional in R2RDump

Ready-to-run binaries don't always have an EH table. Fix r2rdump so it doesn't crash if the table isn't present.

Updated assertionprop.cpp

Convert Sse2 tests PackSignedSaturate, PackUnsignedSaturate, UnpackHigh and UnpackLow to template based (#19670)

*  Convert PackSignedSaturate, PackUnsignedSaturate, UnpackHigh, UnpackLow tests to template based

* Add generated Sse2 Pack***Saturate, UnpackHigh, UnpackLow tests, remove replaced tests

*  Remove deleted Sse2 Pack** Unpack** tests from Test.lst files for arm and arm64 Windows targets

JIT: Fix operand evaluation order for GT_INDEX_ADDR (#20047)

We need to evaluate the array operand first, and it's op1. So evaluate
in that order, and don't allow reversal.

Closes #20040.

Move RegistryKey to shared CoreLib partition (#20067)

* Move RegistryKey to shared CoreLib partition

- Cut down RegistryKey to just what CoreLib needs. I went back and forth on whether to share the corefx implementation with ifdefs or not. I have choosen to duplicate it at the end. The ifdefs were either too complex or there was too much cruft left behind that the IL linker was not able to remove.
- Move the internal CoreLib implementation of Registry to Internal.Win32 namespace to ensure that it is not confused with the public standlone one

Fixes #10741 and #17899

Disable tests of BroadcastScalarToVector128

Add pointer overloads for Avx2.BroadcastScalarToVector128

Add unsigned overloads for MultiplyLow

Add all integer overloads for AVX2/SSSE3 AlignRight

Add all integer overloads for Avx2/SSE4.1 BlendVariable

Added methods VNLiberalNormalValue and VNConservativeNormalValue

Moving GetExponent/Mantissa and make BigInteger used fixed-sized buffer

Removing BitScanReverse from pal.h

Fixing some naming conventions and removing dead code.

Removing bcltype/fp.h from native code.

Making Number.Grisu3.DigitGen slightly more efficient.

Removing the Grisu3 native implementation.

Porting the Grisu3 algorithm to managed code.