Fix SegmentInitialize for OS_PAGE_SIZE > 4k (#20280)

The function was incorrectly rounding the dwCommit down instead of up
to OS_PAGE_SIZE. It accidentally works for OSes where page size is 4096
bytes, because the dwCommit is 4096. But for ARM64 Linux distros where
the page size is 64kB, this was committing zero bytes and so the runtime
initialization was crashing a bit later when it tried to access the
memory it was supposed to be commited.

This problem was introduced in #17769.

Remove mention of rotor from comments (#20297)

* Remove old reference to Rotor in documentation.

All remaining references relate to rotor's role in CoreCLR history.

* Remove rotor comment from enummem.cpp.

I can find no evidence that the presence of g_pStressLog is conditional
on FEATURE_PAL being defined.

* Remove old todo, DbgDllMain looks for thread detach.

* Update nativepipeline.h comment refernce to rotor.

All unix-like systems except android have FEATURE_DBGIPC_TRANSPORT_DI
defined, hence "most unix-like platforms".

* Update some comments to not refer to Rotor.

* Remove some more references to Rotor from comments.

* Remove old comment.

Though maybe this macro should be removed and everywhere use the & operator.
It appears there are only two places that use this macro.

Remove some dead remoting and context static things (#20277)

* Remove IsRemotingIntercepted methods that always return false.

* Remove GetOptionalMembersAllocationSize parameters that are always false.

* Remove references to context static.

Remove references in comments and methodnames.

* Remove RemotingVtsInfo.

Update buildtools to v3 (#20286)

Typos (dotnet/corefx#32625)

* Obejct -> Object

* Oberserver -> Observer

* objetcs -> objects

* observeable -> observable

* obsolated -> obsoleted

* occour -> occur

* occurance -> occurrence

* occures -> occurs

* occuring -> occurring

* occurrance -> occurrence

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

JIT: make sure to use normalized type when retyping box temp (#20285)

Take advantage of the fact that `lvaSetStruct` figures out the right
type to use in the IR.

Fixes first part of #20260.

Move BinaryPrimitives into coreclr shared source (#20288)

Add BSTR xplat PInvoke testcase (#20231)

Improve performance of span-based ToUpper and related APIs (#20275)

Update the dllmap design doc (6)

Update the dllmap design doc (5)

Update the dllmap design doc (4)

Update the dllmap design doc (3)

Update the dllmap design doc (2)

Update the dllmap design doc

Add a dllmap design document

Refactoring of struct promotion code for the future fix. (#20216)

Create StructPromotionHelper.

* Add the check for promoted fields with changed type.

`CanPromoteStructType` can fake a field type if the field type is "structs of a single field of scalar types aligned at their natural boundary.". Add a check in debug that when we morph struct field access we have an expected type in the field handle.

Enable Config-File Based Control of EventPipe (#20238)

Report instantiation argument in non-virtual interface calls (#20257)

The existing code would incorrectly inhibit codegen from generating instantiation argument in non-virtual calls to default interface methods (i.e. those that can happen with the `base` syntax in C#).

Fixes #16775.

Typos (#20271)

* oportunistically -> opportunistically

* oppportunity -> opportunity

* Oppporunity -> Opportunity

* optinal -> optional

* optimisitic -> optimistic

* optionaly -> optionally

* origianl -> original

* orignally -> originally

* otheriwse -> otherwise

* otherrwise -> otherwise

Remove context statics stuff (#20256)

* Remove context statics stuff part 1

This change removes all context statics stuff from the runtime since
context statics are not supported and this code was obsolete.

* Remove context statics stuff from the debugger code

Synchronize access to static variable call_count (#20259)

call_count is a static variable that is being read/modified and written to without any synchronization. Fortunately, a critical section is already available that can be leveraged to synchronize access to it.

Add printing of LoaderAllocator to MethodTable in SOS (#20255)

This change adds printing of LoaderAllocator to MethodTable dump in SOS
for collectible types.

R2RDump fixes for dumping method instance entrypoint table (#20243)

R2RDump fixes for dumping method instance entrypoint table

While investigating Michal's unit test demonstrating a bug in the
CPAOT compiler I found out that R2RDump is broken in multiple
aspects w.r.t. instantiated methods. Parsing of the method
signatures in the instance entrypoint table was just broken
and the R2RMethod was duplicating parts of the signature decoding
and name formatting process.

I created a new flag "normalize" that requests normalization of various R2R
tables in the dump aimed at improving diff quality. I have also
noticed and fixed somewhat weird formatting of method signatures.
As a slight cleanup I have lumped the various dump flags into
a helper class DumpOptions. Last but not least I have renamed "Canon"
to "__Canon".

Thanks

Tomas

Merge pull request #20252 from steveharter/FixIsAssignableFrom

Fix compat issue with Type.IsAssignableFrom

Enable thread statics for collectible classes (#19944)

* Enable thread statics for collectible classes

This change removes checks that were preventing usage of thread statics
in collectible classes and also implements all the necessary changes.
The handles that hold arrays with thread statics are allocated from
LoaderAllocator for collectible classes instead of using the global
strong handle like in the case of non-collectible classes.
The change very much mimics what is done for regular statics.

This change also adds ability to reuse freed handles to the
LoaderAllocator handle table. Freed handle indexes are stored into a
stack and when a new handle allocation is requested, the indices from
this stack are used first.
Due to the code path from which the FreeTLM that in turn frees the
handles is called, I had to modify the critical section flags and also
refactor the handle allocation so that the actual managed array
representing the handle table is allocated out of the critical section.
When I was touching the code, I have also moved the code that was
dealing with handles that are not stored in the LoaderAllocator handle
tables out of the critical section, since there is no point in having it
inside of it.

Remove AppDomain unload (#20250)

* Remove AppDomain unload

This change removes all code in AppDomain that's related to AppDomain
unloading which is obsolete in CoreCLR. It also removes all calls to the
removed methods.
In few places, I have made the change simpler by taking into account the
fact that there is always just one AppDomain.

Merge pull request #20235 from BruceForstall/Disable19361

Disable GitHub_19361 for Linux arm64

Update CoreClr, CoreFx, CoreSetup, IbcData, PgoData to preview1-27003-01, preview1-27003-02, preview1-27003-01, master-20181003-0045, master-20181003-0040, respectively (master) (#20241)

* Update CoreClr, CoreFx, CoreSetup, IbcData, PgoData to preview1-27003-01, preview1-27003-02, preview1-27003-01, master-20181003-0045, master-20181003-0040, respectively

* Disabled outdated tests

Fix compat issue with Type.IsAssignableFrom

Merge pull request #20173 from fiigii/retest

Optimize some SSE2 intrinsic importation and re-enable tests

report the entire generation table in EnumWksGlobalMemoryRegions and EnumSvrGlobalMemoryRegions (#20233)

Support building cross-architecture components on armel (#20190)

Marshal blittable structs via memcpy even if nested within non-blittable struct (#20194)

* Add regression test for dotnet/coreclr#18521.

* Add custom marshaler for fixed buffers that acts as a scalar memory copy of the length of the fixed buffer.

* Remove regression test. Moving it to a unit test in corefx.

* Move attribute class name into classnames.h

* Remove unreachable code left over from debugging.

* Marshal fixed buffers by reusing the field marshaler of the single field to pretend that there are multiple fields consecutively in the structure.

* Remove now-dead code paths.

* Use initializers in FieldMarshaler_NestedValueClass constructor where appropriate.

* Clean up IsFixedBuffer implementation.

* Remove unused GC_PROTECTs.

* Specifically check that the attribute exists, not just that there wasn't an error.

* Fix missing else statement.

* Add asserts so we don't corrupt the heap.

* Add unit test for masked bug (incorrect native size of structure calculated).

* Don't use new behavior on non-blittable fixed buffers.

* Revert "Add unit test for masked bug (incorrect native size of structure calculated)."

This reverts commit 496eef5906638c3c2696ede0d922a5e707447b4e.

* Use memcpy instead of field emulation.

* Remove unused forward-declared class.

* Clean up code. Refactor one GetMethodTable call I missed.

* Remove now-unneeded custom attribute includes. More diff cleanup.

* Remove unneeded FixedBufferAttribute define.

Add MethodImplOptions.AggressiveOptimization and use it for tiering (#20009)

Add MethodImplOptions.AggressiveOptimization and use it for tiering

Part of fix for https://github.com/dotnet/corefx/issues/32235
Workaround for https://github.com/dotnet/coreclr/issues/19751
- Added and set CORJIT_FLAG_AGGRESSIVE_OPT to indicate that a method is flagged with AggressiveOptimization
- For a method flagged with AggressiveOptimization, tiering uses a foreground tier 1 JIT on first call to the method, skipping the tier 0 JIT and call counting
- When tiering is disabled, a method flagged with AggressiveOptimization does not use r2r-pregenerated code
- R2r crossgen does not generate code for a method flagged with AggressiveOptimization

PDF link wasn't working (#20242)

Correct pdf link

Fix X86 disassembly and a bug regarding ExportedTypes in R2RDump (#20230)

1) X86 CoreDisTools disassembler has a bug in decoding absolute
indirections, interpreting them as RIP-relative offsets. I have
reused the logic that's already in place for patching X64
RIP-relative addresses to take care of this additional case.

2) the CoreDisTools disassembly apparently only produces newline
(0A) characters that don't work well in Notepad and other viewers;
I have forcibly replaced them with the platform newline separator.

3) I hit a bug in available type decoding - the logic wasn't
properly checking whether the type is exported or not.

Thanks

Tomas

Merge pull request #20237 from BruceForstall/MakeInnerloopArm64DefaultTriggered

Change the innerloop arm64 Linux jobs to be default triggered

Change the innerloop arm64 Linux jobs to be default triggered

The two innerloop jobs had been push triggered, to see how the
jobs behave in the system. They have been pretty stable, so
change to make them default triggered.

Disable GitHub_19361 for Linux arm64

Tracking: #20232

Add Bionic to sources.list for cross (#20202)

Merge pull request #20203 from AndyAyersMS/FixGtIndexAddrTest

Fix test for GT_INDEX_ADDR to forcibly compile with minopts

Merge pull request #20193 from fiigii/addbc

Add pointer overloads for Avx2.BroadcastScalarToVector256

Stop updating gtRsvdRegs before LSRA (#20136)

Merge pull request #20201 from jkotas/update-lst

Delete removed tests from Tests.lst

Fix test for GT_INDEX_ADDR to forcibly compile with minopts

Update test introduced in #20047 so that the key method `ReadBytes` is compiled
with minopts by default.

Add back ExeFile directory for non-Windows (#20192)

Delete removed tests from Tests.lst

Improve Guid parsing performance (#20183)

* Improve Guid parsing performance

Significantly improves the performance of parsing all Guid number styles, primarily by avoiding using the StringToInt core helper that was used previously to parse each of the consistuent components, as well as avoiding some unnecessary searches of the strings in order to determine which format is employed.

I kept strong compatibility with the existing implementation, down to what exceptions are thrown when (even when they’re a bit strange).  However, there are a few cases where the error messages in those exceptions differ from what they previously were, due to ambiguities, and IMO it not being worth making the implementation slower to try to maintain the exact same choice.  For example, the string “{0xdddddddd, 0xdddd 0xdddd,{0xdd,0xdd,0xdd,0xdd,0xdd,0xdd,0xdd,0xdd}}” isn’t parsable, because it’s missing a comma between the second and third components, and with whitespace removed the parser will try to parse “0xdddd0xdddd” and fail to do so.  Previously that would result in an error message “Additional non-parsable characters are at the end of the string”, and now it’ll result in an error message “Guid string should only contain hexadecimal characters.”  Similarly, “(-ddddddd-dddd-dddd-dddd-dddddddddddd)” would previously fail with “Unrecognized Guid format”, and now it’ll also fail with “Guid string should only contain hexadecimal characters.”

* Undo int->uint / short->ushort field changes

* Address PR feedback

Simplify SafeBuffer.Initialize implementation (#20198)

Unify argument verification for Marshal.GetHINSTANCE off-Windows (#20130)

Delete redundant framework API tests (#20187)

Contributes to #12782

Make `structType` optional in jitEEInterface method `getFieldType`. (#20191)

* Make `structType` optional in `getFieldType`.

The declaration in corinfo.h says: "if 'structType' == 0, then don't bother the structure info". However, `getFieldTypeInternal ` did not check this case.

* Do not bother the structure info when we do not need it from `getFieldType`.

Avoid allocation in Task.Yield() awaiter (#20186)

Now that IAsyncStateMachineBox is an IThreadPoolWorkItem, we can queue it directly in Task.Yield's awaiter.  This makes `await Task.Yield();` allocation-free when the default scheduler is used.

Add pointer overloads for Avx2.BroadcastScalarToVector256

Specify configuration to runtest.sh to make runtest.py use the correct build_type value (#20188)

Merge pull request #20152 from DrewScoggins/UpdateIBCDeps

Update ibc deps

Enable delegate marshalling for collectible types (#20158)

* Enable delegate marshalling for collectible types

This change is trivial - it just removes checks preventing the delegate
marshalling for collectible types. The unmanaged to managed thunks are
allocated from a global LoaderAllocator and they are released when the
corresponding managed delegates are collected. So for unloadability, we
don't need to change this behavior in any way.

* Disable CoreFX tests outdated by the change

Updating NumberToStringFormat to not print the sign if there are no digits being returned (#20109)

Enable BSTR Marshaling Support for x-plat PInvoke (#19766)

Update CoreClr, CoreFx to preview1-26928-03, preview1-26928-03, respectively (#20180)

Added transcript of ARMEnabled. (#20181)

Update CoreClr, CoreFx, CoreSetup to preview1-26928-01, preview1-26928-01, preview1-26928-01, respectively (#20175)

Avoid AwaitTaskContinuation allocation in some awaits (#20159)

In .NET Core 2.1, I added a bunch of optimizations to async methods that are based on reusing the async state machine object itself for other purposes in order to avoid related allocations.  One of those optimizations was using the boxed state machine itself as the continuation object that could be queued onto a Task, and in the common case where the continuation could be executed synchronously, there would then not be any further allocations.  However, if the continuation needed to be run asynchronously (e.g. because the Task required it via RunContinuationsAsynchronously), the code would allocate a new work item object and queue that to the thread pool to execute.  This then also forced the state machine object to lazily allocate the Action delegate for its MoveNext method. This PR extends the system slightly to also cover that asynchronous execution case, by making the state machine box itself being queueable to the thread pool.  In doing so, it avoids that AwaitTaskContinuation allocation and also avoids forcing the delegate into existence. (As is the case for other optimizations, this one is only employed when ETW logging isn't enabled; if it is enabled, we need to flow more information, and enabling that would penalize the non-logging case.)

Optimize SSE2 intrinsic importation

Re-enable hardware intrinsic tests

Update CoreClr, CoreFx, CoreSetup, PgoData to preview1-26927-03, preview1-26927-03, preview1-26927-01, master-20180926-0038, respectively (#20153)

Fix CancellationTokenRegistration.Dispose racing with cancellation (#20145)

CancellationTokenRegistration.Dispose is guaranteed to only return when the associated callback has already finished running or has been successfully removed such that it'll never run.  This is to ensure that code following Dispose can be guaranteed that the callback isn't currently running and won't after that point, as if it did, it could potentially depend on mutable shared state or itself mutate shared state in a non-thread-safe manner.

However, significant optimizations introduced in .NET Core 2.1 impacted a specific case of this guarantee.  It still behaves correctly if cancellation hasn't already been requested, if cancellation has already processed the associated callback, and even if cancellation is currently executing the associated callback.  However, if cancellation is currently processing other callbacks and hasn't yet gotten around to processing the associated one, Dispose() may incorrectly return immediately, such that the callback may still end up getting invoked after Dispose() returns, which can violate assumptions of consuming code in very impactful ways.

This commit modifies how the callbacks are removed from the registration list in order to fix the issue.  Previously, all of the callbacks were swapped out at once, which then left the list empty, which is what caused subsequent disposals to think the callback had already been processed or unregistered.  With this change, we instead just remove each registration as it's being processed, such that a concurrent disposal can still successfully find the registration in the callback list if it's not yet been processed.

This change does have a small perf impact, but only on the case where cancellation is actually invoked, which is the less common case; most usage of CTS doesn't actually result in cancellation, and optimization is focused on registration and unregistration perf.  Rather than taking and releasing the lock once when cancellation is requested, we now take and release the lock per callback when cancellation is requested.

Enable Ubuntu arm Cross Release crossgen_comparison scenario by default (#20160)

Merge pull request #19960 from echesakovMSFT/UseCrossBitnessLinuxCrossGenByDefault

Use Hostx64/arm crossgen to crossgen System.Private.CoreLib on Linux

Replace Crst* with CrstStatic for IBCLogger (#20148)

Maestro dependency update without buildtools (#20143)

* Update BuildTools, CoreClr, CoreFx, CoreSetup, PgoData to preview1-03224-03, preview1-26925-05, preview1-26925-06, preview1-26925-01, master-20180925-0031, respectively

* Enable RestoreOutputPath override

* Disable System.Security.Cryptography.Pkcs.Tests

To help unblock corefx, etc. update.

* Revert buildtools changes

* Disable buildtools auto updates

Enable Ubuntu arm crossgen_comparison Checked in each PR (#20139)

* Run Ubuntu arm crossgen_comparison (Checked | Release) daily
* Enable Ubuntu arm Checked crossgen_comparison by default

Cross-bitness in VTable Calls (#20137)

* Use TARGET_POINTER_SIZE in CEEInfo::getMethodVTableOffset in src/vm/jitinterface.cpp
* Use SIZEOF__MethodTable_ in src/vm/methodtable.h

Do not treat a custom layout as overlapping when trying to inline a struct method. (#20141)

* Do not treat custom layout as overlapping when trying to inline struct method.

That hack was added 4 years ago with independent struct promotion for parameters.
I was not able to find any related issues.

This change produces asm diffs because it allows us to inline more (lvaCanPromoteStructVar is a multiplier for
inlineIsProfitable parameter).
For System.Private.CoreLib we have total bytes of diff: 294 (0.01% of base).
For example, we started to inline methods from 'System.Threading.Tasks.ValueTask' that has '[StructLayout(LayoutKind.Auto)]'.

* Always sort fields in lcCanPromoteStructType.

It will be optimized away in the future commits.

* Delete the argument that is no longer used.

* Fix variable name according to jit-coding-conventions.

Rename 'StructPromotionInfo' to 'structPromotionInfo'.

Remove deleted HW intrinsic tests from exclusion lists for Windows arm, arm64 targets (#20151)

Fixes #20149

Merge pull request #20098 from dotnetrt/fix-win-unix-format

[CI] Fix failures in Windows/Linux CI Formatting jobs by force killing all dotnet processess

Update BuildInfoPaths for PGO and IBC packages

Merge pull request #20132 from jkoritzinsky/fixes/coreclr/7829

Fix possible overflow in SafeBuffer.Initialize.

Update dependencies.props to fix typo

In the XmlUpdateStep item for the IBC data had a typo and was called
Data not IbcData. This was causing Maestro to not update the
IbcCurrentRef automatically.

Merge pull request #19939 from mikedn/visit-cmpxchg

Fix incorrect CMPXCHG visiting order

Remove duplicated test

Add outdated test to CoreFX.issues.json

PR Feedback and exclude regression test on 64-bit processes.

Use platformdefines through lib instead of cpp (#19948)

* Use platformdefines through lib instead of cpp

* add a dummy export function

* Remove dummy export

* Compile as Static Library

* revert platformdefines.cpp file

* remove DLL_EXPORT

Delete dead .NET Framework activation code (#20134)

Add regression test.

Simpler implementation from PR feedback.

Porting fix on Desktop for VirtualUnlock perf issue on WKS GC when we reset mem (#20115)

Fix possible overflow in SafeBuffer.Initialize.

Since a 0-length buffer is technically possible (though not very usable), have sizeOfEachElement==0 -> ByteLength == 0.

Merge pull request #19979 from echesakovMSFT/CrossGenComparisonSymbolFiles

CrossGen comparison - compare debugging files

Add header files to ildasm, ilasm vcxproj (#20052)

Merge pull request #20107 from dotnet/dev/unix_test_workflow

Improve Linux arm32/arm64 corefx test runs

switch to netcoreapp2.0 (#20120)

Allows to get rid of warning " CSC : warning CS1685: The predefined type 'MarshalByRefObject' is defined in multiple assemblies in the global alias;".

Add headers to cordb{di, ee_dac, ee_wks}.vcxproj files to improve developer experience (#20049)

Fix hijacking for ARM/ARM64/x86 on Unix (#20042)

* Fix hijacking for ARM/ARM64/x86 on Unix

We were not checking the case when we have interrupted a thread inside
of a function epilog for other architectures than amd64. When such an
interruption happens, GS cookie check in a stack walking has failed,
since we are unable to decode GS cookie location when the IP is in
epilog.
This fix implements IsIPInEpilog for all architectures and makes the
check unconditional.

Don't check for libintl.h on Darwin (OSX) (#20094)

clean code that counts promoted implict byref argument occurrences. (#20113)

* clean code that counts promoted implict byref argument occurrences.

Move 3 copies of that code into one in `PreOrderVisit`. Run this check after we have made morph for fields and structs.

Simplify OSVERSIONINFOEX interop (#20111)

Remove unnecessary parenthesis (dotnet/corefx#32419)

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>