Merge pull request #22905 from vancem/RundownFix

Rundown profiler fix

Turn on IBC and enforce PGO in official and release builds. (#22843)

* Enable pgocheck to run on python 3.

* Enable IBC optimizations in official builds and enforce PGO in release builds on platforms where pgocheck.py works.

* Only enable IBC on Windows x64/x86.

Implement Serialization Guard

Add Serialization Guard API and consume it in CoreLib targets

Merge pull request #22801 from janvorli/improve-coreclrhost-header

Improve coreclrhost.h header

Merge pull request #22821 from am11/fix/signed-compare-and-narrowing

Fix comparison and narrowing errors reported by GCC

Disable tests for a clean official build

Fix resource stream for collectible assemblies (#22925)

* Fix resource stream for collectible assemblies

The GetManifestResourceStream was returning a stream that didn't keep
the underlying assembly alive. For collectible assemblies, that means
that an assembly could be collected and the stream still kept,
potentially reading garbage.

The fix is to create a new stream type that stores a reference to the
underlying assembly, thus ensuring the proper lifetime management.

* Make the new stream class sealed

Another small tweak to fix Thread behavioral difference (#22943)

To match existing behavior: https://github.com/dotnet/corefx/blob/5dc8132370532804a5381b90e2ce87d6c52b61f6/src/Common/src/CoreLib/System/Threading/Thread.Unix.cs#L13

Fix keyword for PinPlugAtGCTime event (#22806)

Add Rune.DecodeUtf16 / DecodeUtf8 and friends (#22725)

Move COM related attributes to the shared source location of Object class. (#22942)

Consume optimization packages using new dependency flow system (#22915)

* Consume optimization packages using new dependency flow system.

Fix CoreFX build scripts2. (#22931)

change to kick off CI

Removing the ExtractVector128 and InsertVector128 APIs that take an address. (#22886)

* Removing the InsertVector128 and ExtractVector128 overloads that take an address from S.P.Corelib

* Removing the ExtractStore and InsertLoad tests.

* Fixing the PacketTracer test to use the appropriate Extract/InsertVector128 overloads

* Removing the JIT support for the Extract/InsertVector128 overloads that take an address.

Revert "Update added types and methoddefs on ApplyMetadata (#22617)" (#22923)

This reverts commit ee755e322dabc2fc280e2561b0fbaf6e90aedf54.

Set the MarshalByRefObject to be ComVisible and (#22930)

a IDispatch class interface. this is being done
  to ensure WinForms consumers can interact with
  COM based controls.

Set flag in comp info to signal that a caller has >8 byte struct args (#22775)

* Set flag in comp info to signal that a caller has >8 byte struct args

This will be used by fgCanFastTailCall to correctly determine whether an arm64
or x64 linux caller/callee can fastTailCall.
It is also a workaround to #12468 to catch early any slot shuffling that would happen in LowerFastTailCall. Which currently assumes all parameters are one slot size.

* Address feedback

* Apply format patch

* Add comment

* apply new format patch

NativeLibraryTests: Platform restriction on some tests (#22732)

NativeLibraryTests: Platform restriction on some tests

This change adds platform restrictions on two API tests:
* Change the System32 dll loading test from `msi.dll` to `uri.dll`
* Restrict the System32 dll loading test to platforms where `uri.dll` actually exists in the System32 directory.
* Disable double-free tests on Linux, because the OS call doesn't reliably fail.

Use the public version of CoreLib, since the NativeLibrary APIs are
now available.

Fixes #22726

Fix DumpAsync to understand ContinuationWrapper (#22913)

Continuations created while the debugger is attached or certain EventSource events are enabled end up getting wrapped in an extra ContinuationWrapper object that carries some additional information.  DumpAsync currently isn't unwrapping these but should.  This just teaches it to look for a known field name so that it can "see through" these wrappers while following async "stacks".

Fix GetApartmentState value on Unix to be Unknown (#22928)

* Fix GetApartmentState value on Unix to be Unknown

The code in corefx is returning ApartmentState.Unknown on Unix.  This new coreclr implementation should do the same.

* Fix visibility on TrySetApartmentStateUnchecked

JIT: allow slightly more general promotion of structs with struct fields (#22867)

For a while now the jit has been able to promote an outer struct A with an
inner struct field B that itself has a single non-struct field C, provided
that C occupies all of B and that C and B are pointer-sized.

For example, this comes up when supporting promotion of `Span<T>`, as a span
contains a `ByReference<T>` field that itself contains a pointer-sized field.

This change relaxes the constraints slightly, allowing B and C to be less than
pointer sized, provided C still occupies all of B, and B is suitably aligned
within A.

Doing so allows promotion of the new `Range` type, which contains two `Index`
fields that each wrap an `int`. This improves performance for uses of `Range`
for simple examples like those in #22079.

Make the new stream class sealed

Remove unused packages from init-tools.msbuild (#22884)

Remove sdmaclea from active arm64 users (#22924)

Fix resource stream for collectible assemblies

The GetManifestResourceStream was returning a stream that didn't keep
the underlying assembly alive. For collectible assemblies, that means
that an assembly could be collected and the stream still kept,
potentially reading garbage.

The fix is to create a new stream type that stores a reference to the
underlying assembly, thus ensuring the proper lifetime management.

Re-partition MSBuild test groups (#22885)

This changes a tests partitioning scheme of coreclr tests in several different ways:

1. Make the test groups are of equal (to some extent) sizes keeping the number of tests in one group less than 1000;

2. As a resulf of 1) this increases a number of groups needed for Pri0 tests to 3 and decreases a number of groups for Pri1 tests to 10;

3. This also changes a way of tests partitioning scheme is defined - instead of explicitly specifying MSBuild Include-patterns this defines a boundaries between test groups in a form of _StartsWith ItemGroup. Then I use StringComparer.Ordinal to pick tests that belong to a particular group.

Fix CoreRT build break

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Change IBC package layout to match what we generate (#22799)

* Change IBC package layout to match what the optimization repo now generates

Merge pull request #22890 from stephentoub/fixthreadbehavior

Fix Thread-related behavior changes

Update BuildTools, CoreClr, IbcData, PgoData to preview1-03723-01, preview4-27427-72, master-20190227.1, master-20190227.1, respectively (master) [Manual] (#22903)

Address PR feedback (clean up style in Thread.CoreCLR.cs)

Remove legacy classfactory.cpp implementation for managed COM activation (#22895)

added a lightweight GC profiling option (#22866)

added a profiling event mask in the high 32-bit, COR_PRF_HIGH_BASIC_GC, for basic GC monitoring. it can be set via `ICorProfilerInfo5::SetEventMask2`. all this gives you is

    * GC start callback

    * GC end callback

    * update generational bounds

note that one different behavior between this and the existing COR_PRF_MONITOR_GC is, aside from the obvious that it doesn't give you any info beyond the above, is that the GC end callback + update generational bounds are enabled for _all_ GCs, not just non concurrent GCs. I kept the behavior the same for COR_PRF_MONITOR_GC because I don't want to risk breaking existing profiling tools that do not anticipate these for concurrent GCs.

Merge pull request #22736 from dotnet/dev/tomat/copyrights

Set copyright and package license

Update issue number

Partial fix for issue 22585.   Fixes symbol lookup in profilers.

Fix BitOperations using in standalone EventSource build

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Fix EventSource StubEnvironment

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Fix sync.sh syntax error (#22883)

[Test fix] Test failure: tracing_eventsource._eventpipeandetw_eventpipeandetw_eventpipeandetw_/_eventpipeandetw_eventpipeandetw_eventpipeandetw_cmd (#22870)

- Fixes #19302

Disabling runtimeeventsource to unblock official build. (#22899)

- Related failures: #18907, #19340, #22441, #22729.

Disabling windows event log test till further investigation on frequent failures (#22889)

Fixing hwintrinsicArm64 to return nullptr for the Base_As intrinsics if featureSimd is false (#22831)

Fix Thread-related breaking changes

- Thread.ExecutionContext needs to return ExecutionContext.Capture() to public callers.
- Fix restoring of culture to be inside of the ExecutionContext callback where applicable

Fix Thread.ExecutionContext breaking change (#22882)

Its getter is a public API and can't be made internal.

Fix WaitTimeout breaking change (#22881)

WaitHandle.WaitTimeout is a public API.  It can't be made internal.

[master] Update dependencies from dotnet/core-setup (#22854)

* Update dependencies from https://github.com/dotnet/core-setup build 20190227.1

This change updates the following dependencies
- Microsoft.NETCore.App - 3.0.0-preview4-27427-1

Remove BuildTestsAgainstPackages logic

No longer necessary without PipeBuild logic

Add blob feed to dependencies.props (#22857)

Preserve Marshal.GetLastWin32Error in SafeHandle.DangerousRelease (#22871)

Move Thread to shared CoreLib (#22744)

* Move Thread to shared CoreLib

* Remove all local variables from Thread in shared code

* Remove duplicate checks

* Port back CoreRT changes needed for shared code

* Fix missing culture initialization in ThreadStart()

* Adjust for shared WaitHandle

Make BitOperations public (CoreCLR) (#22864)

* Make BitOps public

* Update name to BitOperations

* Change namespace to System.Numerics

* Fix file name

* Alphabetical

Remove bogus assert in Thread::MarkThreadForAbort (#22869)

Update EventCounter spec (#22852)

* Update EventCounter spec

We made a flurry of decisions in our meeting last wednesday.
Partly this fills in areas of the design we didn't adequately decide on and
partly this suggests a few changes after having had time to think on it.

1) My suggestion to use IntervalSec as an identifier for a series doesn't
work. I proposed a new field 'Series' that is used for that same purpose.

2) I am proposing we no longer standardize on the five-tuple of stats.
Although it made sense to me at the time, decisions we made later in the
meeting invalidated the basis for that choice IMO.

3) Aggregating seems like an overly generic name that all counters do, so
I propose 'Incrementing' as a more specific term.

4) I am proposing we stop accepting fractional time intervals because
probably nobody would have used them anyways and now we don't have to worry
about floating point rounding and canonicalization issues when determining
if two clients share the same time series or in round tripping the identifier
back to them.

5) I defined specific fields for 'DisplayName' and 'CounterType' in our
wire protocol. Although not opposed to a generic metadata field for other
purposes, it seemed unnecessary for our current purposes.

6) I switched Incrementing coutner to float, because it it
would be a shame if we had to make a whole new counter in the future
that did exactly the same thing just with floating point values. For example
'GC Seconds Paused'

Fix `optVNConstantPropOnTree`. (#22865)

It should use the same VN that `optVNConstantPropOnTree` uses.

Without this fix `optVNConstantPropOnTree` was doing nothing.

Fix Assembly::Load context for collectible assemblies (#22494)

* Fix Assembly::Load context for collectible assemblies

This change fixes a problem when Assembly::Load is called from an
assembly in a collectible AssemblyLoadContext. In that case, we ended up
loading it into the default context instead of the context of the
calling assembly.

Fix _IlasmDir definition (#22856)

JIT: In morph, only call DefinesLocal on assignments (#22753)

When checking for local assertions to kill in morph, only call `DefinesLocal` on `GT_ASG` nodes.

Also, assert that we never see LIR style assignments.

Resolves #22747.

Merge pull request #22841 from josalem/stacktrace-cache-unloading-20179-prechange

Adds collection of `Assembly` objects while walking the stack in `DebugStackTrace::GetStackFrameInternal`
* new field in `StackFrameHelper` in both managed and native (plus mscorlib macro definition)
* retrieved via `methodDesc->GetAssembly()->GetDomainAssembly()->GetExposedAssemblyObject()`

Calls `GetSourceLineInfo` with delegate signature that *does not* consume an `Assembly`.  As a result, this there will be a follow up change to call the updated version after it exists in CoreFX.

#20179

Address janvorli's feedback comments

Update added types and methoddefs on ApplyMetadata (#22617)

Merge branch 'master' into fix/signed-compare-and-narrowing

GCC compatibility fixes #7 (#22810)

* Use thread_local for thread local storage on non MSVC targets

* Use local copy of visitor rather than function parameter

* Remove extra class qualifier

* Replace hex number representation in ASM files

* Reorder STDAPI and DLLEXPORT

* Suppress conversion

Suppress warning during hash

add casting

* Remove anonymous struct

src/vm/codeversion.h:112:16: warning: ‘struct NativeCodeVersion::<anonymous union>::SyntheticStorage’ invalid; an anonymous union can only have non-static data members [-fpermissive]
         struct SyntheticStorage

* Remove class declaration

Remove extra class declaration

* Remove extern C

* Add implicit paranthesis

src/vm/amd64/virtualcallstubcpu.hpp:735:103: warning: suggest parentheses around ‘-’ in operand of ‘&’ [-Wparentheses]
     resolveInit.toMiss1                = offsetof(ResolveStub,miss)-(offsetof(ResolveStub,toMiss1)+1) & 0xFF;
                                                                                                       ^
src/vm/amd64/virtualcallstubcpu.hpp:741:103: warning: suggest parentheses around ‘-’ in operand of ‘&’ [-Wparentheses]
     resolveInit.toMiss2                = offsetof(ResolveStub,miss)-(offsetof(ResolveStub,toMiss2)+1) & 0xFF;

Add parenthesis

src/vm/dataimage.cpp:631:55: warning: suggest parentheses around ‘&&’ within ‘||’ [-Wparentheses]
                  previousRvaInfo->rva == rvaInfo->rva && previousRvaInfo->size >= rvaInfo->size

Add parenthesis

src/debug/daccess/daccess.cpp:6871:29: warning: suggest parentheses around ‘&&’ within ‘||’ [-Wparentheses]
     _ASSERTE(peFile == NULL && reflectionModule != NULL || peFile != NULL && reflectionModule == NULL);

Add parenthesis

src/vm/dataimage.cpp:631:57: warning: suggest parentheses around ‘&&’ within ‘||’ [-Wparentheses]
                  (previousRvaInfo->rva == rvaInfo->rva) && (previousRvaInfo->size >= rvaInfo->size)

* Initialize member 1

src/ilasm/method.cpp:35:36: warning: operation on ‘((Method*)this)->Method::m_ulColumns[0]’ may be undefined [-Wsequence-point]
     m_ulColumns[0]=m_ulColumns[0]=0;

* Remove unknown compiler option

* Abstract DLLEXPORT

Spec for EventCounter changes (#22811)

Add the coreclr blob feed as a restore source for test builds. (#22839)

* Add the coreclr blob feed as a restore source for test builds.
* Use one NuGet.config in the root folder for restore targets.

Special-case 1 module per assembly in Assembly.GetTypes/DefinedTypes (#22825)

It's very common for an assembly to have only one module, in which case we can avoid unnecessary allocations and copies in Assembly.GetTypes() and Assembly.DefinedTypes.

Remove buildpipelines (#22835)

* Remove old buildpipeline

* Remove obsolete publish-packages

* Remove obsolete helix scripts

Add platforms template parameter to platform-matrix.yml (#22800)

For linux-musl-arm64 use OutputRid (#22840)

This variable was added for linux-musl-x64 in our old official builds,
because our current logic in src/.nuget/dirs.props incorrectly parses
the __DistroRid passed.

Fix and re-enable some finalizer tests (#22771)

Mark key allocating methods noinline, otherwise they may get inlined
under jit stress and leave jit temps referring to allocations that the test
expects should be collectible.

Resolves #19218.

Remove support for ICLRExecutionManager and pause/resume code for waits (#22834)

Simplify getting exposed Assembly, and specifies parameter types for GetSourceLineInfo

[master] Update dependencies from dotnet/core-setup (#22819)

* Update dependencies from https://github.com/dotnet/core-setup build 20190223.3

This change updates the following dependencies
- Microsoft.NETCore.App - 3.0.0-preview4-27423-3

* Update dependencies from https://github.com/dotnet/core-setup build 20190224.2

This change updates the following dependencies
- Microsoft.NETCore.App - 3.0.0-preview4-27424-2

Fix LONG64 definition

Move WaitHandle to shared CoreLib (#22634)

* Move part of WaitHandle to shared CoreLib

* Bring back OpenExistingResult to fix build

* Move reminder of WaitHandle to shared, implement SynchronizationContext logic in managed code, handle SafeHandle referencing in managed code

* Update with changes neeeded for CoreRT

* Span -> ReadOnlySpan

* Remove dead code

* Fix SafeHandle error handling

* Avoid double check on input values in WaitHandle.WaitOne overloads

* Make OpenExistingResult private protected instead of internal

* Make WaitHandle._waitHandle private

* Code style fixes

* Remove unnecessary GC.KeepAlive

* Move ERROR_TOO_MANY_POSTS exception handling to CoreCLR specific code

* Add cache for wait arrays to match previous CoreRT behavior and reduce GC pressure, change unmanaged code to allocate small array on stack

* Address PR feedback

* Reduce allocations/copying by moving stack allocation to managed code

* Address PR feedback

* Minor code reshuffle

* Move thread local access close to each other

* Address code style feedback

* Add const to Wait* constants

Merge pull request #22796 from ericstj/splitILAsmCopy

Split out copy of Ilasm and make it optional

Use function pointer term in the coreclr_create_delegate doc

Address janvorli's feedback comments

Address CR feedback

Suppress conversion

Suppress warning during hash

add casting

Fix comparison and narrowing errors reported by GCC

Removed erroneous use of 'PROCESSOR_ARCHITECTURE' Enviroment variable (#22743)

Removed erroneous use of 'PROCESSOR_ARCHITECTURE' Enviroment variable

Changed all uses of 'Enviroment.GetEnviromentVariable("PROCESSOR_ARCHITECTURE")'
to usage of 'System.Runtime.InteropServices.RuntimeInformation.ProcessArchitecture'
and 'enum System.Runtime.InteropServices.Architecture'.

Fix #22694

fix BSWAP16 intrinsic handling of signed values (#22666)

Move AssemblyLoadContext to shared partition (#22685)

* Move AssemblyLoadContext to shared partition

* Move static initializer to DefaultAssemblyLoadContext

and remove stream copying from lock scope

Make System.Runtime.CompilerServices.Unsafe inbox (dotnet/corefx#35526)

* Make System.Runtime.CompilerServices.Unsafe inbox

Fix a couple places where we wanted to use it from other inbox assemblies but couldn't.

Unsafe remains as a package and newer versions of Unsafe will replace the inbox Version,
permitting us to add API over time.

* Update Rune tests to use TryEncodeToUtf8Bytes directly

* Add temporary suppression to package tests

Signed-off-by: dotnet-bot <dotnet-bot@microsoft.com>

Adding a missing single-quote (#22809)

Remove 'from HRESULT' (#22782)

Change Environment.Version to return product version (#22664)

* Change Environment.Version to return product version

- Contributes to https://github.com/dotnet/corefx/issues/31099
- Use AssemblyInformationalVersion attribute as fallback

* Add sanity test for Environment.Version

* Disable CodeDom tests

* Fix test assembly name

Rename the CALLING_CONVENTION

Correctly build packages for linux-musl-arm64 (#22793)

* Correctly build packages for linux-musl-arm64

Also add build-package step to PR.

* Correctly add back if

* Fix build-packages

Enable FEATURE_BASICFREEZE (#22776)

Restore original delegate use until corresponding corefx changes have gone through

Fix the stdcall to be present only for x86 Windows

Improve coreclrhost.h header

The header didn't contain comments on the APIs, which was pointed out in
Also, the function declarations and pointers didn't include __stdcall
and so it caused crashes when someone developing his own host on x86
Windows used __cdecl as the default calling convention (#22217)

Mirror StackFrameHelperChanges in mscorlib.h and change allocation type to more generic g_pObjectClass

Add fatal error details printing (#22789)

Before this change, we were only printing details on fatal errors with
error code COR_E_FAILFAST. For other error codes we were just silently
exiting.
This change enables printing fatal error details for all kinds of fatal
errors.

Update CoreFX Windows Arm32 exclusion list. (#22695)

* Update CoreFX Windows Arm32 exclusion list.

* Exclude System.Globalization.Calendars.Tests.

* Disable System.Net.Sockets.Tests

Split out copy of Ilasm and make it optional

Allow for a repository to provide its own copy of ILAsm rather than restoring & copying it its own location.

To use, set the ILAsmToolPath proerty to the directory containing ilasm, similar to CscToolPath.

I noticed that these targets left behind the ILAsm files in temp for each project every time it
built when ToolsDir wasn't defined, so I've fixed that by instead copying to obj.

Ignore EINVAL/EBADF errors from FTruncate in FileStream.Init (#22788)

They indicate we're working with a special file, where failure to truncate is not a fatal condition.