Make PAL_SEHException smaller (#6267)

The PAL_SEHException is quite large due to the fact that it contains context
and exception records. This causes a problem when we try to throw it and
system gets out of memory. The C++ runtime can throw exceptions even in that
case, but only if they are smaller than certain threshold. So in our case,
it just aborts the process.

This change separates the context and exception records from the exception,
which ensures that the above mentioned mechanism in the C++ runtime can
kick in and the exception can be thrown even when malloc fails to allocate
it.

I have also modified HandleHardwareException to return BOOL indicating whether
the execution should continue at the possibly modified exception context
instead of using RtlRestoreContext. In that case, we return all the way back
to the signal handler, update the ucontext in there and return from it.

Fix mistyped instruction in linux-instructions.md (#6332)

Fix for CoreCLR 6269 - Trigger formal binding if domain-wide cache does not have entry for an assembly in custom load context. (#6335)

Merge pull request #6337 from AndyAyersMS/CountObservations

Inliner: improve arg observations

Merge pull request #6338 from swgillespie/revert-weakreference-tests

Re-enable two tests testing GC.GetGeneration(System.WeakReference)

Merge pull request #6344 from AndyAyersMS/UndoNetCIChange

Revert: Pull crash dump links

Revert: Pull crash dump links

Ubuntu testing is failing with a groovy scripting error.
Matt asked me to revert this change for now.

This reverts commit 7fc5cb7e52c5db53a5696d398e281c0f6f6a1588.

Remove duplicate code from string.GetHashCode (#4696)

Improve performance, drastically reduce misfires for new string(char*) on 64-bit (#6125)

Better performance for string.CompareOrdinalHelper (#6119)

- For 64-bit, process a `long` at a time (and 3 longs per iteration of the loop), since it's the largest word size of the processor. This is what other functions, like `EqualsHelper` or `StartsWithOrdinalHelper` do.

- Make sure we perform aligned reads on 64-bit platforms

  - Strings (objects in general?) are allocated on an aligned word boundary (that is, divisible by 4/8). However, the offset to the chars (`OffsetToStringData`) is 12 on 64-bit platforms, meaning that if we read a long from the first char it will *not* be aligned. To fix this, first check for differences in the first/second chars and start the loop from there.

- Used `goto` within the loop code, so we don't have to keep making jumps in the common case.

I also removed a comment above the `String` class that seems to be outdated (seeing as there is no string constructor that accepts another string).

Merge pull request #6293 from kyulee1/altjit

ARM64: Cross-Target Jit

Re-enable two tests testing GC.GetGeneration(System.WeakReference) that has now been exposed

Inliner: improve arg observations

Two related changes to better capture cases where args or constant args
are seen at inline call sites.

On the observation side, the inliner's stack modelling of the callee is
crude and will often overestimate the evaluation stack depth. So when
looking at an opcode that takes just one stack operand (eg BRFALSE) the
inliner's check should be whether the stack has at least one element
instead of checking whether the stack has exactly one element. For
compatibility reasons, the check for exactly one element is still used
when the inline is evaluated via the LegacyPolicy.

On the policy side, instead of keeping a bool flag to note that there
were interesting arg cases, count the number of observations.
LegacyPolicy continues to act as before, checking if count is zero or
nonzero instead of whether the flag was false or true. The count is
available for use in other heuristics and is reported in inline data.

Merge pull request #6336 from mmitche/crash-dump-links

Pull crash dump links

Pull crash dump links
Pulls crash dump links from dumplings.txt in the workspace into the build report

Make coreclr buildable on 32bit Windows 10. (#6316)

Automatically determine the OS architecture(x86 or x64) and download the
correct dev tool.

Fix #6308

Merge pull request #6331 from dotnet-bot/UpdateDependencies20160719051717

Updating External dependencies to beta-24319-00

Fix self-process identification for FreeBSD (#6314)

FreeBSD does not come with procfs enabled by default, and should use
sysctl() for this purpose.

While it has similarities with NetBSD's implementation, there are a
few subtle differences, which justifies leaving this implementation
under its own guard.

It's also worth noting that on FreeBSD sysctl.h MUST be present, which
is unlike NetBSD. Therefore the HAVE_SYS_SYSCTL_H define is not
checked for or used.

This commit fixes https://github.com/dotnet/coreclr/issues/6184.

This commit is based on the following commit from core-setup:
https://github.com/dotnet/core-setup/commit/d5ce08014a174b006a3b409b8bb93d003ae583a0

Merge pull request #6227 from parjong/revert-6021-LessConservativeGtObj

Revert "Less conservative gt obj"

Updating External dependencies to beta-24319-00

Merge pull request #6324 from AndyAyersMS/ReplayCapturesProfitModel

Inliner: capture profit model estimate during replay

Merge pull request #6322 from wtgodbe/packageFixes

Fix package build in build-packages.sh to use dotnet instead of corerun

Fix package build in build-packages.sh to use dotnet instead of corerun

Fix libc path for macOS El Capitan (#6302)

Add to model.xml several members we wish to expose in the FX (#6310)

* Add to model.xml several members we wish to expose in the FX.
Done by pulling lines selectively from a model.xml created from the full
s.p.corelib.dll.

* Add parameter to build.cmd to build both mscorlib and its native image, then stop. Also dump any errors to console for CI.
* Fix up to date check of BCLRewriter: should build when model.xml is changed

Add Lazy<T>(T value) constructor (#6304)

Fix dotnet/corefx#2578

Merge pull request #6315 from kyulee1/disemail

ARM64: Temporarrily disable email notification

ARM64: Temporarrily disable email notification

Currently all Arm64 boxes are dead.
They need to be upgraded.

Provide guidance for common build-failure scenario. (#6164)

Add ICloneable back to several globalization types on Unix (#6307)

The globalization implementation used for corefx on Unix came from corert, which didn't have ICloneable, and thus the globalization types that implement ICloneable in desktop and coreclr on Windows don't on Unix.  Now that ICloneable is coming back, we need these types to implement ICloneable appropriately.

Minimize buffer allocations in Stream.CopyTo for seekable streams (#4540)

The current implementation of  Stream.CopyTo  allocates a giant, 81920-byte buffer if no  bufferSize  parameter is passed. This is incredibly wasteful if the stream we're copying from can seek, because then we can use the  Length  and  Position  properties to determine how many bytes are left and allocate a buffer of that size.

Revert "Less conservative gt obj"

GC update from CoreRT (#6305)

https://github.com/dotnet/corert/tree/master/src/Native/gc bc9671edca37502794c01647215519d4254d3ad4

Merge pull request #6299 from mairaw/patch-1

fix small typos on contributing guide

fix small typos

Merge pull request #6296 from swgillespie/vscode-gitignore

Add VS Code local settings folder to gitignore

Inliner: capture profit model estimate during replay

When using ReplayPolicy and dumping data, capture the profitability
estimate made by the ModelPolicy, so we can more easily cross-validate
it against externally measured profitability.

Merge pull request #6295 from wtgodbe/initToolsFix

Stop chmoding nonexistant corerun file in Tools dir

Add VS Code local settings folder to gitignore

Stop chmoding nonexistant corerun file in Tools dir

Merge pull request #6037 from sejongoh/linux_struct_arg

Unecessary Linux stack argument copy

Merge pull request #6249 from prajwal-aithal/devel/arm-ci-documentation

Documentation: Add documentation for building coreclr for emulator

ARM64: Cross-Target Jit

Fixes https://github.com/dotnet/coreclr/issues/6279
Fixes https://github.com/dotnet/coreclr/issues/6280

- This builds x64_arm64 clrjit.dll
- crossgen is not statically linked to jit anymore. It needs clrjit.dll
  dynamically
- Adding this cross-component binary into Jit pacakge.

So, clrjit.dll (native-target) is consumed by coreclr or crossgen
(native-target)
clrjit.dll (cross-target) is consumed by crossgen (cross-target).
Likewise, later this cross-target clrjit.dll can be used for corert targeting arm64
so that we can generate arm64 code on host machine (x64).

Merge pull request #6287 from MichalStrehovsky/removeAssertOnMustExpand

Remove assert validating intrinsic expansion on mustExpand

Merge pull request #6050 from prajwal-aithal/devel/arm-ci-runtests

ARM-CI: Add tests to CI script

Remove assert validating intrinsic expansion on mustExpand

The assert is incorrect. Consider expansion of
CORINFO_INTRINSIC_RTH_GetValueInternal, where the RuntimeTypeHandle was
created through a generic lookup helper call. The intrinsic expansion of
this sequence becomes the generic lookup helper call on it's own.

Remove unnecessary copies for stack struct argument except:

  - struct is promoted to registers
  - fgMakeOutgoingStructArgCopy is called
  - tree pattern of obj - addr - simd operator

    *  call      void   foo
    ...
    +--*  obj       simd16
    |  \--*  addr      byref
    |     |  /--*  lclVar    simd16 V05 loc4
    |     \--*  simd      simd16 int -
    |        \--*  lclVar    simd16 V08 tmp1
    ...

Merge pull request #6256 from wtgodbe/buildToolsVersion

Update to latest version of buildtools

Update to latest version of buildtools

Merge pull request #6276 from BruceForstall/LocAllocCleanup

Clean up localloc implementation

Clean up localloc implementation; improve AMD64 codegen for initialized locallocs

Merge pull request #6274 from hqueue/arm/xor_swap

Introduce XOR swap to legacy codegen for ARM32

Introduce XOR swap to legacy codegen for ARM32

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

docs: Add building coreclr for emulator

Added documentation for building coreclr for the Linux ARM Emulator.

Signed-off-by: Prajwal A N <an.prajwal@samsung.com>

Merge pull request #6263 from stephentoub/remove_serializable

Add #if FEATURE_SERIALIZATION around customized [Serializable]s

Merge pull request #6257 from rahku/crossgen

ARM64:Similar to arm, in order to preserve volatile semantics MemoryB…

Make StubHelpers::ProcessByrefValidationList NOTHROW (#6258)

This change fixes StubHelpers::ProcessByrefValidationList so that it doesn't throw.
While there was a EX_TRY / EX_CATCH, the catch handler calls FormatValidationMessage
to format the message before aborting the process and that function can throw.

The fix is to wrap the inside of the EX_CATCH in one more EX_TRY / EX_CATCH and
abort the process without message if there is an exception in the FormatValidationMessage.

Merge pull request #6205 from stephentoub/environmentaugments

Add EnvironmentAugments to coreclr

Merge pull request #6182 from wateret/fix-6051

[ARM-softfp/Linux] Get precise type for struct

Add #if FEATURE_SERIALIZATION around non-functional [Serializable]

We're adding BinaryFormatter to corefx.  At present, ISerializable and friends are declared in corefx rather than being exported from System.Private.Corelib.  As a result, there are a fair number of types in mscorlib that try to customize their serialization, but because they're doing so using interfaces that aren't exported (and in some cases, aren't even currently compiled in), a formatter outside of Corelib sees a type as serializable but then tries to serialize it using the default rules and fails.

This commit ifdefs the [Serializable] attribute on types that try to customize their serialization.  If in the future we decide we want to expose ISerializable and friends from Corelib in order to enable the serialization of these types (which we'll likely want to), e.g Delegate, Exception, etc. we'll need to turn on FEATURE_SERIALIZATION for coreclr, and these will all come back automatically.

Merge pull request #6255 from wtgodbe/targetingpack

Build the TargetingPack package as part of build-packages scripts

Merge pull request #6254 from pgavlin/RemoveRenameUpdatedVars

Remove RenameUpdatedVars.

Conditionally compile EnvironmentAugments.cs for coreclr

Add EnvironmentAugments to coreclr

Merge pull request #6251 from BruceForstall/Localloc

Implement localloc for RyuJIT/x86

Implement localloc for RyuJIT/x86

Fixes #4182

Change RyuJIT to generate localloc code for x86 the same way legacy JIT does.
E.g., use a push/dec loop for initialized memory. And avoid using "sub esp"
to keep the emitter from tracking stack pointer adjustments.

Merge pull request #6224 from BruceForstall/Fix4177

Fix #4177: RyuJIT/x86 NYI related to lvaArgType()

Fix #4177: RyuJIT/x86 NYI related to lvaArgType()

For x86, this function can simply return the variable type. There is
no need to map struct types. The function actually will never be
called on x86 for struct types because it is only called for register
arguments.

This NYI was only hit in the case of JMP calls. I fixed two cases
in the JMP implementation where FEATURE_VARARGS code assumed AMD64, due
to the Windows AMD64 ABI convention to pass float varargs values in both
integer and floating point registers. I put that under `#ifdef _TARGET_AMD64_`.

This removes 426 NYI.

Merge pull request #6253 from stephentoub/stop_stripping_serializable

Stop BclRewriter from trimming serializable metadata

ARM64:Similar to arm, in order to preserve volatile semantics MemoryBarrier instructions needs to be inserted. Otherwise writes to memory locations can be re-ordered. For eg. In function leave_spin_lock() we set holding_thread to -1 and then set pSpinLock->lock to -1. Without memorybarrier it is possible for different threads to see pSpinLock->lock new value of -1 and old value of holding_thread. This causes assertion pSpinLock->holding_thread == (Thread*)-1 in function enter_spin_lock() to fire

Merge pull request #6247 from ellismg/add-back-exception-members

Add back some surface area to thinned corelib

build the TargetingPack package as part of build-packages scripts

Stop BclRewriter from trimming serializable metadata

Remove RenameUpdatedVars.

The variable renaming performed by rationalize was originally intended
(according to its comments) to allow assignments that were embedded in
subtrees to be hoisted out into a preceding statement. It appears that
this logic has been removed, so the rename pass is no longer needed.

[ARM-softfp/Linux] Get precise type for pointer-size struct

Compiler::getPrimitiveTypeForStruct may return TYP_FLOAT but is off on softfp.
So we need to check that in another way rather than `IsHfa()`.
Otherwise struct types with single float32 will make inconsistency in gentree.
Which ends up with assert failure "Bad IL: Illegal assignment of float into integer!".

Check is done in Compiler::getPrimitiveTypeForStruct, by isSingleFloat32Struct.

Fix #6051

Merge pull request #6246 from rahku/crossgen

Arm64: remove gcstress_fail tag from certain tests in tests.lst

Add back some surface area to thinned corelib

We are working on expsosing some existing exception types from
System.Runtime in CoreFX. The implementations will facade over
System.Private.CoreLib, but we need to make sure all the members we expect
to expose from the contract are present in the implementation assembly.

Expose the missing members for ExecutionEngineException,
NotFiniteNumberException and ExternalException.

Merge pull request #6244 from AndyAyersMS/FixDataCollection

Inliner: Update data collection by targeting a single inline

Arm64: remove gcstress_fail tag from certain tests in tests.lst

Merge pull request #6226 from rahku/crossgen

ARM64: In GetDelegateTarget a portion of the _WIN64 code was under _T…

Suppress Interactive Shell when running PS

On recent builds of Windows/PowerShell it seems like PS wants to write a
prompt after invoking the script, which causes a problem because that puts
extra gunk into the generated source file from h2inc, which causes
downstream failures.

Merge pull request #6225 from pgavlin/RationalizeCleanup

Refactor top-level comma rewriting.

Add a comment at the use of RewriteTopLevelComma.

Inliner: Update data collection by targeting a single inline

The inliner currently will record detailed data about the last successful
inline performed (given a build with DEBUG or INLINE_DATA defined).
However, for purposes of inline profitability analysis we might be more
interested in the data from an earlier inline.

This change creates a mechanism where the replay log can flag one inline
per method as the target of data collection. The inliner checks for this
attribute during replay and captures that inline's data.

Refactor top-level comma rewriting.

Top-level commas were being handled in three separate parts of
rationalize: TreeTransformRationalization, RewriteSimpleTransforms,
and DoPhase. Furthermore, the transform performed by the latter
was distinct from the transforms performed by the former two parts,
as those parts called out to RewriteTopLevelComma in order to do
the necessary rewrite. This change collects the two transforms
in RewriteTopLevelComma and centralizes the comma handling in
RewriteSimpleTransforms.

With the comma handling centralized in RewriteSimpleTransforms,
TreeTransformRationalization was not doing much of anything, so
it has been removed and RewriteSimpleTransforms renamed to
TreeTransformRationalization.

active exception regression fix (#6117)

This patch fixes regression caused by 597e160 commit.
Previous PAL_VirtualUnwind does not set CONTEXT_UNWOUND_TO_CALL
properly. In this patch, the flag is added for non-signaled exception.

Fix !PrintException (pe) -lines bug where line number/source info is not being displayed. (#6241)

The argument bLineNumbers to FormatGeneratedException was being used a local flag.

Expose missing members of Array to prep for dotnet/corefx#9998.  (#6230)

* Expose missing members of Array to prep for dotnet/corefx#9998. modelgen.exe is helpful.

* Remove dead code

* Implement Array.LongLength.

* Revert "Implement Array.LongLength."

This reverts commit fdf7e96172d3b816551b827b6a45fbc692b0551d.

* Revert "Remove dead code"

This reverts commit 432087c2d6f826db93fa30a07476dc2decb12633.

* Expose Array.GetLongLength from VM

ARM64: In GetDelegateTarget a portion of the _WIN64 code was under _TARGET_AMD64_ whereas at other places (like NDirectStubLinker::DoNDirect & InlinedCallFrame::HasFunction ) related code is under _WIN64. Make the code in GetDelegateTarget to be in sync with other functions and remove ifdef _TARGET_ADM64_. Without this change for arm64 InlinedCallFrame::m_datum stores unmanaged target pointer but StackWalker assumes it to be a NDirectMethodDesc and tries to dereference it and crashes.

Merge pull request #6137 from papaslavik/int_softfp_fix

Fix for #5877: pre-spill just the floating arguments

Merge pull request #5966 from mikedn/x86-neg-long

Implement GT_NEG decomposition

Merge pull request #6198 from briansull/multireg-refactor

Refactor and cleanup work for passing and returning struct types

Merge pull request #5948 from jyoungyun/fix/issue_5947

Add testsRunningInsideARM.txt

Fix exceptions in GC wave 2 (#6220)

I've removed blocks with PAL_TRY that were under CATCH_GC. I also had to
fix contract problem in GCToEEInterface::GcStartWork that was marked as
THROWS due to StubHelpers::ProcessByrefValidationList being marked as
THROWS, but the StubHelpers::ProcessByrefValidationList in fact doesn't
throw since it has body wrapped in EX_TRY / EX_CATCH.

This also fixes a problem that started to appear after my previous exceptions
fix change.

Implement GT_NEG decomposition

Refactor and cleanup work for passing and returning struct types

Replaces argOrReturnTypeForStruct with two new methods:
  getArgTypeForStruct - Provides information on how to pass a struct type
  getReturnTypeForStruct - Provides information on how to return a struct type

A struct can be passed or return in the following different ways:
1. A struct type may be passed/returned as a primitive type when its size is small
2. A struct type may be passed/returned by reference to a copy
3. A struct type may be passed/returned by value using multiple registers
4. A struct type may be passed by value using a copy on the stack

Incorporated code review feedback with expanded comments.

Merge pull request #6215 from dotnet-bot/UpdateDependencies20160711061707

Updating External dependencies to beta-24311-00

Merge pull request #6221 from pgavlin/RemoveDeadCodeInRationalize

Remove dead code in Rationalize.

Remove dead code in Rationalize.

Most of the removed code deals with QMARK rewriting. These nodes
are now rewritten as part of fgMorph, so the rationalizer does not
need to deal with them (other than asserting that they do not
exist).

Other dead code:
- The `Rationalizations` type
- A few split-related declarations and helpers

Merge pull request #6204 from AndyAyersMS/ModelPolicyDepthCheck

Inliner: add depth check to ModelPolicy