Merge pull request #8127 from jashook/arm64_post_build_script

Change over from the old arm64 scripting.

Change over from the old ar64 scripting.

This change moves away from hosting all of scripts on the Z:\ drive.
The share that used to be shared between the x64 machines and the
arm64 devices. It removes all the old scripting for one python script
arm64_post_build.py, which is responsible for setup of dotnet and
launching
the x64_client.

Merge pull request #8120 from adiaaida/fixDebuggerVarargs

Add special handling of varargs for x86 debugger

Fix crash in FunctionMemberPtrArrayHolder destructor (#8113)

Some elements in FunctionMember array might not be initialized
and contain garbage. This leads to crash when elements are being deleted.

Move array allocation inside FunctionMemberPtrArrayHolder class
and initialize all array elements to nullptr.

clean build-roofs and add lldb option (#8123)

- clean unused __MachineTriple
- add indents to case
- add lld 3.6 or 3.8 as option

Reduce variable scope (#8021)

Merge pull request #8073 from dotnet/enablebinclash

Enable binclash logger

Merge pull request #8086 from pgavlin/VSO278523

Admit more dest addresses in block assign value-numbering.

Admit more dest addresses in block assign value-numbering.

Internal testing revealed an assertion when computing the value number
for block assignments: the VN framework expected any block assignments
to a tracked lclVar to have a destination address of the form
`(addr (lclVar))` or `(addr (lclFld))`. However, the check that it
uses to determine whether or not a block assignment targets a lclVar
also admits addresses formed by some combination of adds of constants
to these patterns (e.g. `(add (const 4) (add (addr lclVar) (const 4)))`.

This fix admits these additional patterns in value numbering by allowing
`ExtendPtrVN(GenTree*, GenTree*)` to supply `NotAField` to
`ExtendPtrVN(GenTree*, FieldSeqNode*)`.

Add special handling of varargs for x86 debugger

On x86, stack arguments must be accessed via the varargs cookie for
varargs. Since the functions would be identical, this change moves the
code from codegenlinear to codegencommon to fix vararg argument
handling in the debugger.

Fixes VSO 284774.

Merge pull request #8111 from BruceForstall/FixTestNewlines

Don't generate explicit newlines in SIMD tests

Merge pull request #8115 from chcosta/updatebuildtools

Update buildtools to version 01008-01

Merge pull request #8031 from pgavlin/VSO283795

Do not fold `(x + null)` in certain cases.

Merge pull request #8101 from sivarv/rmwOpt

Generate "inc/dec [mem]" instead of "add/sub [mem], 1" for Read-Modify-Write (RMW) operations.

Fix test exclusions.

The new regression test should only be disabled for builds that use the
legacy backend.

Merge pull request #8100 from rahku/reflection

Expose Assembly::GetFile(s) apis

Update buildtools to version 01008-01

Merge pull request #8108 from gkhanna79/Arm32Test

Enable WinArm32 P1 Test Build

Don't generate explicit newlines in SIMD tests

Use Console.WriteLine() instead.

Enable WinArm32 P1 Test Build

Inliner: ensure all statements have an inline context (#8064)

* JIT: Retype fgMorphStmt and related variables

There are quite a few variables typed as `GenTreePtr` that must point
at statements -- for instance `fgMorphStmt`. Retype these as `GenTreeStmt*`.
Cleanup dereferences which no longer require a `gtStmt`.

* Inliner: ensure all statements have an inline context

We would previously allow some statements inserted by the inliner
"between" the caller and callee to have a null inline context. This
lack of context could lead to incomplete or misleading inline trees
if the inserted code included calls. In particular some failed inlines
might not show up in the trees.

Set the context for these inserted statements to be the context for the
call being inlined (thus they logically "belong" to the caller).

Add implementation for AssemblyName::EscapedCodeBase (#8072)

Remove conflicting proj files (#8090)

Some test cases have both .ilproj and .csproj files, resulting
in a race condition during build. Removing the .csproj files,
as the MSIL versions appear to be the intended ones.

Merge pull request #8085 from stephentoub/daylight_alloc

Avoid allocations in DateTime.Now

Avoid allocations in DateTime.Now

Every call to DateTime.Now ends up allocating a DaylightTime as it computes the offset from UtcNow.  DaylightTime is just a plain old object that stores two DateTimes and a Timespan.  Ideally we could just change it to be a struct, but it's public.  Instead, this commit adds an internal DaylightTimeStruct, which is the same as DaylightTime except as a value type, and changes some of the internal uses of DaylightTime to instead use DaylightTime.  As a result, DateTime.Now is allocation-free.

Inliner: updates to random inlining (#8088)

Cache the random state on the InlineStrategy instead of on the compiler
instance so that the state is reinitialized and private to each jit request.
That way the random policy evaluations made compiling one method won't
alter the evaluations for subsequent methods. This should make it somewhat
easier to do A/B comparisons under jit stress when changing the jit.

Make it possible to enable the RandomPolicy outside of stress. This may
prove useful in various randomized inline performance studies or as
a simple stress mode on its own.

Random state seed is built from an external seed value (via JitStress or
JitInlinePolicyRandom) and an internal seed value (method hash), so that
random sequences potentially differ for each method but are deterministic
across runs and changes to the jit.

Remove redundant statement (#7900)

Generate inc/dec [mem] instead of add/sub [mem], 1 for read-modify-write operations.

Enable the rest if TimeZoneInfo APIs (#8096)

Expose Assembly::GetFile(s) apis

Rename gitmirrorfile

Merge pull request #8087 from ellismg/selective-mirror-sketch

Update .gitmirror metadata

Merge pull request #8001 from JosephTremoulet/UnrollSimd

Enable unrolling of SIMD_LIMIT loops

Enable unrolling of SIMD_LIMIT loops

Since the Vector<T> abstraction has a `Count` that is not a
C#-compile-time constant, it encourages use of iteration to
search/aggregate individual elements using symbolic indexing, which in
turn leads to codegen that spills the vector to memory for each element
access, and performs bounds checks for each access.  These loops will have
low trip counts that are jit-compile-time constant, and constant indexing
into Vector<T> allows more efficient register-to-register sequences and
bounds-check elision.  This change enables RyuJit's loop unroller when
such a loop is discovered, and increases the size threshold to target
optimizing such loops much more aggressively than the unroller's previous
incarnation.

Add a test with a motivating loop to the Performance/CodeQuality/SIMD
suite.

Closes #7843.

Detect overflow in unroller cost computation

Make sure to avoid trying to unroll cases so large as to overlow the cost.

Allow unrolling loops with multiple branches

Lift both the single-exit restriction and the no-internal-branching
restriction.  Share some utilities with the loop cloner to facilitate
this (particularly `CloneBlockState` and `fgUpdateChangedFlowGraph`).

Unroll loops in inner-to-outer order

There's no need for fixpoint iteration; the loop indices are a pre-order,
so walking them in reverse order will visit inner loops before outer ones.

Stop expecting ASG_ operators in loop unroller

Expect instead to see arithmetic nodes that are arguments of separate
assign nodes.

Merge pull request #7788 from AndyAyersMS/InlinePins

Inliner: support inlining of methods with pinned locals

Update .gitmirror metadata

We no longer have the need to mirror anything into TFS (since we do all
work in the open now) except for the JIT and SuperPMI which want to
continue to use some validation that we can only do out of TFS.

Merge pull request #8042 from kouvel/Api

Expose some things for ns2.0

Expose some things for ns2.0

Mostly:
- Exposed flow-related methods on `ExecutionContext`
- Enabled and exposed `SynchronizationContext` wait overriding

Realted issues:
- dotnet/corefx#11638
- dotnet/corefx#11633
- dotnet/corefx#11635
- dotnet/corefx#11636
- dotnet/corefx#13484

Save registers xmm8..15 on Mac OSX (#8078)

On x64, JIT can generate code that uses all 16 xmm registers.
However, on Mac OSX, we currently only save 8 of these registers.
Thus after a context save/restore, xmm8 through xmm15 are
corrupted. This commit fixes the code to save all 16 xmm
registers. It resolves issue #2266.

Enable time zone for netstandard1.7 (#8074)

* Expose and reimplement TimeZone class

The change is exposing the missing TimeZone APIs from corelib so can be useded in netstandard 1.7.
The change here is re-implementing CurrentTimeZone class to be simpler and also to make it work for Linux platforms. we used TimeZoneInfo class to reimplement it and also cleaned up all used internal calls as not needed anymore.

* Small delta fix

* Fix the code according to the review comments

SOS: Automatically find a managed thread with an exception on Linux/OSX core dumps (#8075)

SOS: Automatically find a managed thread with an exception on Linux/OSX core dumps

To be used in the debugger tests repo for SOS dump testing on Linux/OSX.

Added the "clrthreads -managedexception" option to switch to the first managed thread
that has thrown an exception.

Issue #6518

Format the code and disable the regression test.

The regression test currently fails due to issue #8077.

Merge pull request #8056 from adiaaida/updateFormattingJobPatch

Create patches in formatting job

README.md is the idiomatic approach for github (#8076)

Create patches in formatting job

In the formatting job, if there are formatting errors, we will run the
formatter in --fix mode and generate a patch which will be uploaded to
azure storage.

Merge pull request #8046 from rahku/_resolveAssembly

Expose AppDomain::AssemblyResolve

Enable binclash logger

Expose AppDomain::AssemblyResolve

Update IntrospectionExtensions.cs (#8029)

1. A few tweaks were made to follow the [Coding Style](https://github.com/dotnet/corefx/blob/master/Documentation/coding-guidelines/coding-style.md).
2. A `null` check was done after doing a simple cast (`(IReflectableType)type`), but `rcType` cannot be `null` (it could only be `null` if a [`as`](https://msdn.microsoft.com/en-us/library/cc488006.aspx) cast was done).

BinaryReader: Use cached default encoding instance (#8017)

A new instance of UTF8Encoding used to be created every time
BinaryReader.ctor(Stream) was called, which created an instance of
UTF8Encoding that has no preamble. However, BinaryReader does not use
the preamble at all, so it doesn't matter if the encoding has a preamble
or not. Thus, the cached Encoding.UTF8 instance can be used (which has a
preamble).

Update CoreClr, CoreFx to beta-24709-03, beta-24710-01, respectively (#7922)

Remove unneeded field from BinaryWriter (#8015)

The field only exists in .NET Framework for serialization compat. It
isn't needed on CoreCLR.

StreamWriter/BinaryWriter: Use same cached encoding instance (#8018)

StreamWriter lazily allocates and caches a UTF8NoBOM instance, while
BinaryWriter always allocates new instances. Instead, the same cached
instance can be shared between both writers.

Avoid repeated delegate allocations in FileStream.FlushAsync (#8048)

Avoid the `Action<object>` allocation on each invocation of
`FileStream.FlushAsync` on Windows. This change makes the Win32
implementation match Unix.

ARM-CI : Fix segmentation faults on running tests (#8019)

* ARM-CI : Fix segmentation faults on running tests

To make sure the reason of test failure ramdomly( #6298 ),
We checked segmentation faults occurred from mounted rootfs and the multi thread processing.

So I changed root-fs to the archived root-fs and run tests with --sequential option.

PS. The location of root-fs folder was changed from '/opt' wrote on reverted commit(#7991) to '/mnt' for resolving no space issue.

Remove unnecessary newline in WriteLine (#8047)

Add missing ref emit enum members for ns2.0 (#8062)

Add IntPtr constructors to FileStream (#8063)

Don't turn off compCanUseSSE2 on x86 RyuJIT under jit stress. (#8068)

Port Marshal.GenerateProgIdForType in CoreCLR (#8070)

Merge pull request #8069 from shrah/master

Return Type.GUID for Marshal.GenerateGuidForType in CoreCLR

Fix missing exports in mscordaccore.so (#8058)

I have recently added some exports to the mscordaccore.so and it was
found that they were not honored and libsos.so got some unresolved
symbols.
I have found that the issue is that unlike for libcoreclr.so, we
were not asking linker to include the whole PAL and so it has
eliminated those functions due to the fact they were not called
from the PAL itself.
This change fixes it.

Return Type.GUID for Marshal.GenerateGuidForType in CoreCLR

Memory growth algorithm improvement in coreconsole (#7870)

* Now Append will work properly if strLen is big (for example 3xm_capacity). And value 1.5 is better for memory growth.

* Correct way of calculating 1.5 (without floating point calculation, thanks mikedn)

* After long discussion we decided that simple and aggressive allocation is better for this case

Inliner: support inlining of methods with pinned locals

The inliner now can inline a subset of methods with pinned locals --
namely those where the language compiler (eg CSC) can determine that a
try/finally is not necessary to ensure unpinning, and where the jit
likewise an determines that a try/finally is likewise not needed in
the root method.

Generally speaking this allows inlining in cases where the inline method
is fairly simple and does not any contain exception handling, and the
call site is not within a try region.

When inlining methods that have pinned locals and also return a value,
the jit ensures that the return value is spilled to a temp so that the
unpins can be placed just after the inlined method body and won't alter
the return value.

Mark FixedAddressValueType as GCStressIncompatible since the "unfixed"
class static may get re-allocated at the same address. This seems to
happen even without these changes but happens much more frequently with
them.

Closes #7774.

Inliner: enable inlining of methods with conditional throws (#8038)

* Inliner: enable inlining of methods with conditional throws

Remove inlining limitation for methods that return values and have
conditional throws. This limitation was most likely a vestige of an
older inlining implementation that did not break trees at inline
call sites.

Also removed the now-unused observation and the `seenConditionalJump`
member variable. Merged ifdef blocks in `impInit`.

Ran full desktop testing, no issues.

Enables a handful of inlines in the various code size suites. For the
most part these slightly increase code size but can often shorten the
non-EH paths in the code.

Merge pull request #7981 from sandreenko/fix_vn_in_cse

Don't transform GT_SUB tree outside the global morph phase.

Merge pull request #8033 from RussKeldorph/nopopup

Disable GUI dialogs for assertion failures on Windows by default

Merge pull request #8041 from ericstj/updateBuildTools

Update BuildToolsVersion to 01007-02

Merge pull request #8049 from sivarv/lsraAssertFix

If the very first ref position of an interval has a register assignment of RBM_NONE indicate it could also be a regOptional

Disable GUI dialogs on Windows by default

This change disables creating pop-up dialog boxes by default on Windows
when assertions fail.  The change consists of two pieces:

1) Make COMPlus_NoGuiOnAssert effective in Release builds (currently only
Debug/Checked builds)
2) Make DebuggerAssert::ShowDefaultAssertDialog honor the
COMPlus_NoGuiOnAssert variable.
3) Make COMPlus_NoGuiOnAssert=1 by default.

Note that COMPlus_NoGuiOnAssert was already honored for assertions
originating from native code such as the JIT.  If pop-ups are desired,
one can still set COMPlus_NoGuiOnAssert=0.

Fixes #7678

Merge pull request #8022 from mmitche/disable-email-pub

Remove email publishing calls

[Linux][GDBJIT] Fix crashes related with locals debug info generation  (#7874)

* [GDBJIT] Fix several issues related with generation debug info for locals:
* Fix crash on generics static
* Add support of pointer type
* Fix incorrect processing of classes when we have several locals with the same class type

* Move gdbjit.cpp from VM_SOURCES_DAC_AND_WKS_COMMON to VM_SOURCES_WKS

Fix IntermediateOutputPath for mscorlib facade

Previously we were working around this by using double backslash but
GenFacades broke this when adding response file support and double-
unescaping.  Workaround using a forward slash instead.

Avoid failures when allocate memory in native (#8028)

* Avoid failures when allocate memory in native

using new in the native side can throw and the app will shutdown. instead we detect the failure and throw a managed exception

* Use same mechanism we return the error code from GetSortHandle

* Add assert

* Dispose the safeHandle

Merge pull request #8043 from stephentoub/remove_delegate_alloc

Remove delegate allocation per ThreadPoolBoundHandleOverlapped

If the very first ref position of an interval has a register assignment of RBM_NONE indicate it could also be a regOptional

Merge pull request #8040 from sandreenko/additional-commit-for-PR-8014

additional commit to PR 8014

Merge pull request #8023 from pgavlin/MoveAltJitCrossgen

Use the alt JIT for S.P.CoreLib if altjitcrossgen is specified and change crossgen to always pass USE_SSE2 to the JIT.

Merge pull request #8035 from hseok-oh/fix_7871

SuperPMI: Support GetHFAType for ARM32 hardFP

Remove delegate allocation per ThreadPoolBoundHandleOverlapped

Update BuildToolsVersion to 01007-02

Merge pull request #8004 from shrah/master

Expose Marshal.CleanupUnusedObjectsInCurrentContext

Revert Michal jit changes

Report CORINFO_FLG_CONTAINS_GC_PTR for TypedReference (#8014)

Expose Marshal.CleanupUnusedObjectsInCurrentContext

This change exposes Marshal.CleanupUnusedObjectsInCurrentContext. Also it a GetHINSTANCE implementation for non-windows platform by throwing
ArgumentNullException as per https://msdn.microsoft.com/en-us/library/system.runtime.interopservices.marshal.gethinstance(v=vs.110).aspx.

[Linux][GDB-JIT] Fix lldb stepping issues (#7777)

* Pass more info about source to native line mapping from SymbolReader

Pass mapping info for zero and HiddenLine line numbers.
Also supply ICorDebugInfo::SourceTypes info for each line.
Lines are reorganized to have ascending native addresses.

* Fix DWARF line info generation for negative line change

* Add prologue_end and epilogue_begin to DWARF line info

* Generate DWARF method description for each code range with PROLOG and EPILOG

* Map each called __thunk symbol as a separate section

Special .thunk sections from different methods may overlap which
prevent the debugger from correctly resolving symbols (__thunk_*)
from those sections.
Mapping each called __thunk symbol as a separate section (.thunk_#)
allows the debugger to resolve __thunk* symbols correctly.

The code for searching first valid line number of a method
now checks only line numbers. There is no need for additional
check of non-empty filename.
If no valid line number was found then do not generate debug info at all.

* Fix buffer overrun when generating ELF symbol name

* Fix memory leak when generating ELF symbol name

* Fix memory leak when NotifyGdb::MethodCompiled fails

Manage array of FunctionMember pointers with NewArrayHolder.

* Refactor counting number of ELF sections in GDBJIT

* Refactor building ELF section names and headers

* Refactor hardcoded ELF section indeces

* Refactor memory allocation for ELF section names

When currently allocated memory is not enough for next
section name, the memory is reallocated with some
extra amount which grows twice on each reallocation.

fix typo

Support GetHFAType in SuperPMI for ARM32 hardFP

Merge pull request #7988 from ramarag/lockjson

Removing the copy of project.lock.json to bin folder

Merge pull request #8026 from jashook/arm64_g_flag_multiregstructarg

Arm64 add missing G flag and possibly X flags

Do not fold `(x + null)` in certain cases.

Morph attempts to fold `(x + null)` into `null` under the logic that the
resulting address is out-of-bounds by definition (in other words, adding
an offset to `null` always produces `null`). Under certain
circumstances, however, this transformation is either incorrect or
undesirable:
- If `x` contains side effects, the add should not be folded, as doing
  so incorrectly discards the side effects
- If we have called morph during CSE, the add should not be folded, as
  doing so may invalidate some of CSE's internal state (in particular,
  the removed tree may contain a subtree that is scheduled for CSE)

This change excludes the folding transformation in both of these cases.

Update testing-with-corefx.md

Clarify the way the `BUILDTOOLS_OVERRIDE_RUNTIME` option is passed.

Arm64 add missing G flag and possibly X flags

For indirections created by morphing obj(16) make sure the G and
X flag are set.

Change crossgen to always pass USE_SSE2 to the JIT.

.NET Core and the RyuJIT x86/x64 backends require SSE2. Always pass this
flag to the JIT.

Set VN argument for changeOper during morph.