SOS: Automatically find a managed thread with an exception on Linux/OSX core dumps (#8075)

SOS: Automatically find a managed thread with an exception on Linux/OSX core dumps

To be used in the debugger tests repo for SOS dump testing on Linux/OSX.

Added the "clrthreads -managedexception" option to switch to the first managed thread
that has thrown an exception.

Issue #6518

Merge pull request #8056 from adiaaida/updateFormattingJobPatch

Create patches in formatting job

README.md is the idiomatic approach for github (#8076)

Create patches in formatting job

In the formatting job, if there are formatting errors, we will run the
formatter in --fix mode and generate a patch which will be uploaded to
azure storage.

Merge pull request #8046 from rahku/_resolveAssembly

Expose AppDomain::AssemblyResolve

Expose AppDomain::AssemblyResolve

Update IntrospectionExtensions.cs (#8029)

1. A few tweaks were made to follow the [Coding Style](https://github.com/dotnet/corefx/blob/master/Documentation/coding-guidelines/coding-style.md).
2. A `null` check was done after doing a simple cast (`(IReflectableType)type`), but `rcType` cannot be `null` (it could only be `null` if a [`as`](https://msdn.microsoft.com/en-us/library/cc488006.aspx) cast was done).

BinaryReader: Use cached default encoding instance (#8017)

A new instance of UTF8Encoding used to be created every time
BinaryReader.ctor(Stream) was called, which created an instance of
UTF8Encoding that has no preamble. However, BinaryReader does not use
the preamble at all, so it doesn't matter if the encoding has a preamble
or not. Thus, the cached Encoding.UTF8 instance can be used (which has a
preamble).

Update CoreClr, CoreFx to beta-24709-03, beta-24710-01, respectively (#7922)

Remove unneeded field from BinaryWriter (#8015)

The field only exists in .NET Framework for serialization compat. It
isn't needed on CoreCLR.

StreamWriter/BinaryWriter: Use same cached encoding instance (#8018)

StreamWriter lazily allocates and caches a UTF8NoBOM instance, while
BinaryWriter always allocates new instances. Instead, the same cached
instance can be shared between both writers.

Avoid repeated delegate allocations in FileStream.FlushAsync (#8048)

Avoid the `Action<object>` allocation on each invocation of
`FileStream.FlushAsync` on Windows. This change makes the Win32
implementation match Unix.

ARM-CI : Fix segmentation faults on running tests (#8019)

* ARM-CI : Fix segmentation faults on running tests

To make sure the reason of test failure ramdomly( #6298 ),
We checked segmentation faults occurred from mounted rootfs and the multi thread processing.

So I changed root-fs to the archived root-fs and run tests with --sequential option.

PS. The location of root-fs folder was changed from '/opt' wrote on reverted commit(#7991) to '/mnt' for resolving no space issue.

Remove unnecessary newline in WriteLine (#8047)

Add missing ref emit enum members for ns2.0 (#8062)

Add IntPtr constructors to FileStream (#8063)

Don't turn off compCanUseSSE2 on x86 RyuJIT under jit stress. (#8068)

Port Marshal.GenerateProgIdForType in CoreCLR (#8070)

Merge pull request #8069 from shrah/master

Return Type.GUID for Marshal.GenerateGuidForType in CoreCLR

Fix missing exports in mscordaccore.so (#8058)

I have recently added some exports to the mscordaccore.so and it was
found that they were not honored and libsos.so got some unresolved
symbols.
I have found that the issue is that unlike for libcoreclr.so, we
were not asking linker to include the whole PAL and so it has
eliminated those functions due to the fact they were not called
from the PAL itself.
This change fixes it.

Return Type.GUID for Marshal.GenerateGuidForType in CoreCLR

Memory growth algorithm improvement in coreconsole (#7870)

* Now Append will work properly if strLen is big (for example 3xm_capacity). And value 1.5 is better for memory growth.

* Correct way of calculating 1.5 (without floating point calculation, thanks mikedn)

* After long discussion we decided that simple and aggressive allocation is better for this case

Inliner: enable inlining of methods with conditional throws (#8038)

* Inliner: enable inlining of methods with conditional throws

Remove inlining limitation for methods that return values and have
conditional throws. This limitation was most likely a vestige of an
older inlining implementation that did not break trees at inline
call sites.

Also removed the now-unused observation and the `seenConditionalJump`
member variable. Merged ifdef blocks in `impInit`.

Ran full desktop testing, no issues.

Enables a handful of inlines in the various code size suites. For the
most part these slightly increase code size but can often shorten the
non-EH paths in the code.

Merge pull request #7981 from sandreenko/fix_vn_in_cse

Don't transform GT_SUB tree outside the global morph phase.

Merge pull request #8033 from RussKeldorph/nopopup

Disable GUI dialogs for assertion failures on Windows by default

Merge pull request #8041 from ericstj/updateBuildTools

Update BuildToolsVersion to 01007-02

Merge pull request #8049 from sivarv/lsraAssertFix

If the very first ref position of an interval has a register assignment of RBM_NONE indicate it could also be a regOptional

Disable GUI dialogs on Windows by default

This change disables creating pop-up dialog boxes by default on Windows
when assertions fail.  The change consists of two pieces:

1) Make COMPlus_NoGuiOnAssert effective in Release builds (currently only
Debug/Checked builds)
2) Make DebuggerAssert::ShowDefaultAssertDialog honor the
COMPlus_NoGuiOnAssert variable.
3) Make COMPlus_NoGuiOnAssert=1 by default.

Note that COMPlus_NoGuiOnAssert was already honored for assertions
originating from native code such as the JIT.  If pop-ups are desired,
one can still set COMPlus_NoGuiOnAssert=0.

Fixes #7678

Merge pull request #8022 from mmitche/disable-email-pub

Remove email publishing calls

[Linux][GDBJIT] Fix crashes related with locals debug info generation  (#7874)

* [GDBJIT] Fix several issues related with generation debug info for locals:
* Fix crash on generics static
* Add support of pointer type
* Fix incorrect processing of classes when we have several locals with the same class type

* Move gdbjit.cpp from VM_SOURCES_DAC_AND_WKS_COMMON to VM_SOURCES_WKS

Fix IntermediateOutputPath for mscorlib facade

Previously we were working around this by using double backslash but
GenFacades broke this when adding response file support and double-
unescaping.  Workaround using a forward slash instead.

Avoid failures when allocate memory in native (#8028)

* Avoid failures when allocate memory in native

using new in the native side can throw and the app will shutdown. instead we detect the failure and throw a managed exception

* Use same mechanism we return the error code from GetSortHandle

* Add assert

* Dispose the safeHandle

Merge pull request #8043 from stephentoub/remove_delegate_alloc

Remove delegate allocation per ThreadPoolBoundHandleOverlapped

If the very first ref position of an interval has a register assignment of RBM_NONE indicate it could also be a regOptional

Merge pull request #8040 from sandreenko/additional-commit-for-PR-8014

additional commit to PR 8014

Merge pull request #8023 from pgavlin/MoveAltJitCrossgen

Use the alt JIT for S.P.CoreLib if altjitcrossgen is specified and change crossgen to always pass USE_SSE2 to the JIT.

Merge pull request #8035 from hseok-oh/fix_7871

SuperPMI: Support GetHFAType for ARM32 hardFP

Remove delegate allocation per ThreadPoolBoundHandleOverlapped

Update BuildToolsVersion to 01007-02

Merge pull request #8004 from shrah/master

Expose Marshal.CleanupUnusedObjectsInCurrentContext

Revert Michal jit changes

Report CORINFO_FLG_CONTAINS_GC_PTR for TypedReference (#8014)

Expose Marshal.CleanupUnusedObjectsInCurrentContext

This change exposes Marshal.CleanupUnusedObjectsInCurrentContext. Also it a GetHINSTANCE implementation for non-windows platform by throwing
ArgumentNullException as per https://msdn.microsoft.com/en-us/library/system.runtime.interopservices.marshal.gethinstance(v=vs.110).aspx.

[Linux][GDB-JIT] Fix lldb stepping issues (#7777)

* Pass more info about source to native line mapping from SymbolReader

Pass mapping info for zero and HiddenLine line numbers.
Also supply ICorDebugInfo::SourceTypes info for each line.
Lines are reorganized to have ascending native addresses.

* Fix DWARF line info generation for negative line change

* Add prologue_end and epilogue_begin to DWARF line info

* Generate DWARF method description for each code range with PROLOG and EPILOG

* Map each called __thunk symbol as a separate section

Special .thunk sections from different methods may overlap which
prevent the debugger from correctly resolving symbols (__thunk_*)
from those sections.
Mapping each called __thunk symbol as a separate section (.thunk_#)
allows the debugger to resolve __thunk* symbols correctly.

The code for searching first valid line number of a method
now checks only line numbers. There is no need for additional
check of non-empty filename.
If no valid line number was found then do not generate debug info at all.

* Fix buffer overrun when generating ELF symbol name

* Fix memory leak when generating ELF symbol name

* Fix memory leak when NotifyGdb::MethodCompiled fails

Manage array of FunctionMember pointers with NewArrayHolder.

* Refactor counting number of ELF sections in GDBJIT

* Refactor building ELF section names and headers

* Refactor hardcoded ELF section indeces

* Refactor memory allocation for ELF section names

When currently allocated memory is not enough for next
section name, the memory is reallocated with some
extra amount which grows twice on each reallocation.

fix typo

Support GetHFAType in SuperPMI for ARM32 hardFP

Merge pull request #7988 from ramarag/lockjson

Removing the copy of project.lock.json to bin folder

Merge pull request #8026 from jashook/arm64_g_flag_multiregstructarg

Arm64 add missing G flag and possibly X flags

Update testing-with-corefx.md

Clarify the way the `BUILDTOOLS_OVERRIDE_RUNTIME` option is passed.

Arm64 add missing G flag and possibly X flags

For indirections created by morphing obj(16) make sure the G and
X flag are set.

Change crossgen to always pass USE_SSE2 to the JIT.

.NET Core and the RyuJIT x86/x64 backends require SSE2. Always pass this
flag to the JIT.

Set VN argument for changeOper during morph.

Merge pull request #8011 from sivarv/lsraFix

While unassigning a phyReg, establish association with a previous interval only if it is different from the one it is being unassigned

Remove email publishing calls
The new server's email plugin version has different syntax and the email publishing doesn't work currently anyway.  Will be re-enabled at a future time

Use the alt JIT for S.P.CoreLib if altjitcrossgen is specified.

The check for altjitcrossgen was previously located s.t. only mscorlib
was being crossgen'd using the alt JIT (which is not very insteresting,
as mscorlib is just a facade these days). This change moves the check
back s.t. the alt JIT is also used for System.Private.CoreLib.

Merge pull request #8006 from pgavlin/VSO278369

Fix VN propagation for binops.

Enforces aligned access for Single/Double values (#7993)

Merge pull request #8007 from pgavlin/VSO284785

Add a regression test for VSO 284785.

Merge pull request #7949 from hqueue/arm/sizeof

Exclude six sizeof related tests from ARM

Removal of the ansicurrSymbol variable. (#7999)

Change default file permissions on Unix to 666 (#7995)

Merge pull request #7985 from AlexGhiondea/ExposeMarshalAPI

Expose the Marshal APIs that use SecureString

Remove more PAL functions (#8009)

This change removes the following PAL functions and their related PAL tests:
_i64tow
_itow
lstrcatW
lstrcpyW
wsprintfA
wsprintfW
lstrcpynW

The lstrcpynW was actually used in two functions in palrt and I have replaced it
with StringCchCopyNW.

The _i64tow and _itow were used as an implementation of the _i64tow_s and _itow_s.
Since these _s versions were also implemented in PAL for its internal purposes,
I have exposed them and got rid of the unsafe versions.

Move remaining NETCoreApp references from 1.0 to 1.1 (#8008)

This gets us down from "a zillion" warnings to just "a lot."

Related: #7626

While unassigning a phyReg, establish association with a previous interval
only if it is different from the one it is unassigned.

Fix VN propagation for binops.

When value numbering processes certain binary operators, it may attempt
to propagate the value number of one operand to the operator itself.
Unfortunately, this propagation was done irrespective of the type of the
operand, and therefore produced incorrect results when the type of the
operand did not match the type of the operator. This change only
performs this sort of propagation only when the types of the operator
and the operand agree.

Add a regression test for VSO 284785.

Just what it says on the tin.

Expose the Marshal APIs that use SecureString

Merge pull request #7996 from JosephTremoulet/OptRepeat

Add JitOptRepeat debug config flags

make the returning of DTFI & NFI in CultureInfo atomic (#7998)

we got some cases when more than one thread trying to get DTFI or NFI from the shared current culture object which can result returning different instances.
Although the returning object contents will be exactly but it'll be better to return same instance as apps may assume that. also returning the same instance will help reduce reinitializing more deeper fields when get requested.

Merge pull request #7911 from JosephTremoulet/CloneExprsForUnroll

Clone exprs for unroll

Add unroller support to CloneBlockState

This helper is used by the loop cloner to copy a block's attributes and
statements.  Expand it so it can also be used by the loop unroller:
 - Accept var/val parameters to pass through to `gtCloneExpr` to
   perform in-place substitutions
 - When presented with an expression that `gtCloneExpr` can't clone,
   return false rather than dereferencing null

Clear *_ASG_LHS flags in ResetOptAnnotations

This works around an apparent bug in SSA construction (GitHub issue #7846),
specifically `fgPerNodeLocalVarLiveness`, where heap uses are not
considered upwards-exposed if they follow a heap def in their block (which
is incorrect because the store and load are not necessarily must-alias).
In the non-repeat configuration, these flags are always cleared coming
into SSA construction, because `TreeRenameVariables` is the only thing
that sets them.

Reset EH pred cache in ResetOptAnnotations

The cache created in the first iteration may not be correct in the second.
It seems there is a more general problem with failure to invalidate this
cache (GitHub issue #7844), that this change is working around for the
optRepeat case.

Add JitOptRepeat debug config flags

Add flag JitOptRepeat that specifies a set of methods on which to
iteratively perform global optimizations multiple times, and flag
JitOptRepeatCount to set the number of iterations (default 2) to apply
when JitOptRepeat kicks in.

These flags are debug-only; they are intended to facilitate performing
experiments investigating optimization opportunities missed due to phase
ordering issues.

Clear defnums and post-order nums in fgResetForSsa

SSA construction will overwrite these annotations, but only for reachable
code.  Clear the annotations in all code in `fgResetForSsa` so that
downstream analysis won't stumble over stale/invalid SSA annotations
in unreachable code.

Clear heap PerSsaData, heapSsaMap in fgResetForSsa

These need to be cleared for the same reasons as the locals' PerSsaData;
their omission seems to be a simple oversight.

Merge pull request #7983 from pgavlin/VSO284785

Fix int->long cast folding for 32-bit platforms.

Avoid clobbering FldSeq annotations in cloneExpr

The overload of cloneExpr that takes a variable number and value to
perform replacements is intended to be used by the loop unroller, which
runs between Morph (where FldSeq annotations are generated) and value
numbering (where FldSeq annotations are consumed).  Update that codepath
to call `LabelIndex` when replacing a `GTF_VAR_ARR_INDEX` node, and to
avoid calling `gtFoldExpr` (which does not preserve these annotations).
Downstream constant folding should be capable of doing that optimization.

Do not replace assign LHS in gtCloneExpr

Split the var/val parameters into two sets -- one for the current level of
recursion, the other for deeper levels.  Use this to suppress one level of
replacement when recursing to the LHS of an assign.  This both avoids
creating nonsensical assign-to-immediate trees and allows replacing uses
of the given var while leaving defs in the code.

Jit: fix regression in non-AVX SIMD codegen (#7989)

Vector codegen for dot product was inadvertenly altered in non-DEBUG
builds.

Closes #7977.

Add the serialization ctor for CryptographicException to model.xml (#7974)

Fix check for float args under windows x64 remorph

When re-morphing, `argx` will not have the argument's type if the argument
has been moved to the late args list, so check the arg table entry
instead.  The unix x64 codepath already had the correct code, so just
remove the ifdef.

Clear GTF_VAR_USEDEF when folding <op>= forms

The `GTF_VAR_USEDEF` flag is applied to the def of an expression like "x =
x + y".  The `GTF_VAR_USEASG` flag is applied to the op1 of an expression
like "x += y".  Update the code to clear the `GTF_VAR_USEDEF` flag (in
addition to setting the `GTF_VAR_USEASG` flag) when folding the former to
the latter.

Merge pull request #7991 from dotnet/revert-7946-armci_crashed

Revert "ARM-CI : Use archived root-fs and run tests with --sequential option"

Revert "ARM-CI : Use archived root-fs and run tests with --sequential option"

Do not use FP registers when soft-fp ABI is used (#7869)

Soft FP ABI enforces a return value to be passed via integer registers
even though it is of float/double type (which means that 'r0 ~ r4' should
be preseved even for functions that return a float/double value).

The current implementation of 'ArgIteratorTemplate<ARGITERATOR_BASE>::ComputeReturnFlags()' does
not consider this ABI difference, which makes 'CallDescrWorkerInternal'
function to preserve FP registers instead of 'r0 ~ r4' (and spoils
'r0/r1' during preservation), which leads to #7868.

This commit revises this function in order to fix #7868.

ARM-CI : Use archived root-fs and run tests with --sequential option (#7946)

* ARM-CI : Use archived root-fs and run tests with --sequential option

To make sure the reason of test failure ramdomly( #6298 ),
We checked segmentation faults occurred from mounted rootfs and the multi thread processing.

So I changed root-fs to archived root-fs and run tests with --sequential option.

* change to original clang version

Fix JIT build host/target confusion (#7979)

Also, add RyuJIT to Windows ARM32 cross components build (as protojit.dll).

Merge pull request #7978 from AlexGhiondea/RemoveSecureStringMarshal

The SecureStringMarshal type was an artifact of the layering we had i…

Merge pull request #7982 from dotnet/revert-7677-StructOpts

Revert "Enable optimization of structs"

Removing the copy of project.lock.json to bin folder

Merge pull request #7972 from adiaaida/storeShiftRotate32

Force store of lcl var for shift/rotate by 32

Merge pull request #7965 from ramarag/GetType

Enabling Type.Getype with overloads for assembly and type resolvers

Merge pull request #7945 from ramarag/MemoryFailPoint

Disabling checks in MemoryFailPoint for Xplat

Revert "Enable optimization of structs"

Fix int->long cast folding for 32-bit platforms.

The RyuJIT frontend does not allow for the folding of an int->long cast
that is known to overflow into a throw outside of global morph. The
folding, however, was unconditionally changing the operand to the cast
from an integer constant to a long constant, which can change the
behavior of the cast. This rewrite is not necessary, so this change
simply removes it.

Enabling Type.GetType with overloads for assembly and type resolvers

The SecureStringMarshal type was an artifact of the layering we had in CoreFx.

This type should not have been added to CoreCLR as part of the SecureString move.

Force store of lcl var for shift/rotate by 32

In the shift/rotate by 32 case, we move the lo op into the high op. In the
shift case, we set the lo op to 0, in the rotate case, we are swapping lo
and hi, so we also move hi into lo. In the instance that we are reusing
the same lclvars, we need to explicitly store the ops that we are moving
so that we don't overwrite the vars before using them. This change
explicitly replaces the uses of the ops with lclvars so we don't overwrite
vars before finishing the swap.