Merge pull request #5787 from dotnet-bot/UpdateDependencies20160614051831

Updating External dependencies to rc4-24214-00

Link libintl in case of Alpine (#5731)

This delta detects Alpine Linux by using `uname -v` (kernel version)
and add the `libintl` in the linker list. This is because `gettext` is
not part of (per-installed in) Alpine Linux but available via the
package manager. To build CoreCLR, `gettext-dev` is one unlisted
per-requisite.

Updating External dependencies to rc4-24214-00

Refactor MethodTable::ContainsStackPtr (#5754)

- Rename ContainsStackPtr to IsByRefLike. It is the term used for this kind of types in ECMA spec.
- Change the check to be based on flag instead of hard coded list of types
- Remove redundant unused method of the same name on EEClass

Fix PAL executable allocator locking (#5770)

We call the ExecutableAllocator from two places in PAL. One is the
VirtualAlloc when the allocation type contains MEM_RESERVE_EXECUTABLE.
The other is MAPMapPEFile.
While the former is called inside of the virtual_critsec critical section,
the latter doesn't take that critical section and so in some race cases,
we were returning the same address twice - once for VirtualAlloc and
once for MAPMapPEFile. That resulted in strange memory corruption cases.
The fix is to use the same critical section for the MAPMapPEFile too.

I am also reverting the change in the virtual commit that was made when
we have thought that the culprit might be in the mprotect.

Merge pull request #5702 from mjsabby/master

Add Profiling APIs that fail on non-Windows OS

Merge pull request #5766 from dotnet/revert-5680-devel/arm-ci-cross-build

Revert "ARM-CI: Convert Linux ARM emulator CI check to cross build"

Revert "ARM-CI: Convert Linux ARM emulator CI check to cross build"

Merge pull request #5764 from wtgodbe/coverage

Update coverage test to have correct configuration for coreFX tests

Merge pull request #5762 from swgillespie/ci-longgc

Pass --long-gc and --gcsimulator to long GC and GCSimulator CI jobs, respectively

Update coverage test to have correct configuration for coreFX tests

Delete bad assert (#5757)

Merge pull request #5713 from wtgodbe/mutex

Keep mutex alive to avoid race condition in openmutexpos4 test

Delete unnecessary cruft from internal mscorlib reference assembly (#5756)

Pass --long-gc and --gcsimulator to long GC and GCSimulator CI jobs, respectively

Keep mutex alive to avoid race condition in openmutexpos4 test

Specialize Comparer<T> for enums to avoid boxing (#5503)

Partial revert "Fix problem with virtual memory commit in OOM scenario on Linux (#5609)" (#5744)

#5609 is suspect to cause intermittent crashes on OS X. Keep the fix for Linux, but revert to using the original code on OS X.

Undo StompWriteBarrierResize reordering (#5740)

The recent commit introduced race by changing where StompWriteBarrierResize is called relative to other global state updates. Revert this change to fix the intermittent crashes that we are seeing because of that. We will look at fixing the theoretical problem that this reordering was trying to address in better way separately.

Add check for gnu/lib-names.h (#5727)

The header `<gnu/lib-names.h>` is not present on musl-libc based OSes.
Those names are not listed in any system header and this is deemed
irrelevant to have such a header in musl according to:
http://www.openwall.com/lists/musl/2013/11/09/1

Check for unavailable cache-size macro (#5728)

In musl-libc world _SC_LEVEL1_DCACHE_SIZE is undefined.

Correct comment (#5738)

Merge pull request #5544 from vancem/EtwSessionFix

Fix a problem where stale old, closed ETW sessions might be turned on.

Typedef __ptrace_request for musl-libc (#5730)

Ref: http://www.openwall.com/lists/musl/2015/10/01/3

Add check for sys/sysctl.h (#5726)

On some operating systems `<sys/sysctl.h>`is not present yet `sysct`
function in available. One example is Alpine Linux which uses musl-libc
as opposed to GNU libc.

Ref: dotnet/corefx#6253

Add Profiling APIs that fail on non-Windows OS

Do not use fragile native image content when generating R2R images (#5715)

Updates tryrun.cmake for ARM / ARM (softfp) (#5673)

While fixing #5316 (PR #5317, PR #5323), all the features related with PROCFS
are disabled in ARM and ARM (softfp) cross build.

As a result, the collision avodance logic in GetProcessIdDisambiguationKey is disabled,
which leads to random coreclr_initialize failures
(CLR failed to initialize itself when the previous execution of CLR with the same PID
abnormally terminates)

This commit tries to re-enable the relevant features for ARM and ARM (softfp) cross-build.

Since the ARM/Linux emulator (which is the current reference in use) supports
/proc/self/stat, /proc/self/status, /proc/self/maps, this commit re-enables
three relevant features (HAVE_PROCFS_STAT, HAVE_PROCFS_STATUS, HAVE_PROCFS_MAPS).

This commit tries to fix #5583.

JapaneseCalendar: Use Registry.LocalMachine instead of RegistryKey.GetBaseKey(RegistryKey.HKEY_LOCAL_MACHINE) (#5725)

JapaneseCalendar is the only code outside of the Registry code that
calls RegistryKey.GetBaseKey(RegistryKey.HKEY_LOCAL_MACHINE) to get a
RegistryKey instance for the local machine hive. Everywhere else uses
Registry.LocalMachine. Update JapaneseCalendar to match, which also
avoids the unnecessary RegistryKey/SafeRegistryHandle allocations.

Merge pull request #5680 from prajwal-aithal/devel/arm-ci-cross-build

ARM-CI: Convert Linux ARM emulator CI check to cross build

Remove obsolete Registry.DynData field from System.Private.CoreLib (#5724)

Registry is internal in System.Private.CoreLib due to being pulled-in
by the dependency closure. The obsolete DynData field is only valid
on Win9X, so there's no need to allocate it and keep it around in
CoreCLR. Remove it from System.Private.CoreLib with an ifdef, along
with other references to the HKEY_DYN_DATA hive.

ARM-CI: Convert Linux ARM emulator CI check to cross build

* Previously used emulated build took a lot of time leading to timeout errors
* Changing this CI check to build using cross build

Signed-off-by: Prajwal A N <an.prajwal@samsung.com>

Remove non-generic Stack from System.Private.CoreLib (#5703)

The non-generic Stack class only exists internally in
System.Private.CoreLib because it is being used in the Environment
class in one place for resource lookup and therefore is being
pulled-in by the dependency closure. It can be removed by using
List<string> instead.

Merge pull request #5707 from kouvel/BgMarkFreeObjectAdvanceFix

Fix for GC hole when using software write watch

Merge pull request #5692 from AndyAyersMS/DerministicCrypto

Modify Crypto benchmark so it uses a fixed random seed

Fix rethrow of managed exception from native code (#5697)

This change fixes a problem that happens when managed exception is caught
in native code, rethrown and then caught and passed to DispatchManagedException
to be propagated further through managed code frames.
The problem is that while the exception was rethrown, it still has the
TargetFrameSp member set to the frame that has caught it and so the
DispatchManagedException thinks it is just continuing to propagate it in the
second pass instead of starting a new first pass.
The UnwindManagedExceptionPass2 then asserts, because the TargetFrameSp is
below the frame it is about to process.

The fix is to reset the TargetFrameSp to NoTargetFrameSp when the exception
is caught in native code - in PAL_EXCEPT and EX_CATCH_IMPL_EX (which catches
all exceptions).

I have also added few stress log messages for processing exception in native
frames that helped debug the issue.

Fix for GC hole when using software write watch

Issue:
- When using software write watch, getting dirty pages is synchronized with growing the write watch table using gc_lock, as those cannot happen concurrently
- It turns out that a foreground GC can happen at that point, pausing the background GC while it tries to acquire gc_lock
- In this issue, the last object in the previously revisited page is a free object whose range spans one or more pages
- With the intent of skipping the free range, revisit_written_page() records the next object to scan immediately following the free range
- Since only 100 dirty pages are retrieved at a time, the next set of up to 100 dirty pages needs to be requested. Before that, a foreground GC begins, and the background GC pauses trying to acquire gc_lock.
- The foreground GC promotes some objects, and in the process allocates from the free range above, and completes
- One of the moved objects in that previously free range gets a reference to a new object that is not referenced from anywhere else
- The background GC resumes, determines that the moved object's page is dirty, but skips revisiting the object because the previously recorded next object from which to start scanning, already took the free range size into account before it was allocated
- The background GC does not mark through the moved object, so the newly referenced object appears to be free, and is sweeped
- Later, either verify_heap fails or the app crashes, when trying to access that referenced object

Fix:
- Similarly to what is done for the large object heap, when revisiting a page and using software write watch, don't advance last_object when the current object is a free object that spans beyond the current page or high_address
- On the next revisit, it would start scanning from the previously scanned free object (which now may be allocated or will have a smaller size) until it reaches the requested page to scan

Fixes (but not yet closing) #5194

Merge pull request #5691 from kyulee1/testupdate2

ARM64: Another Tests.lst Update for R2R

Merge pull request #5694 from rahku/sosFix

Fixes AV in sos for arm64

Fixes AV in sos for arm64

Modify Crypto benchmark so it uses a fixed random seed

Fix seed so benchmark behavior doesn't vary randomly from run to run.

ARM64: Another Tests.lst Update for R2R

Fixes https://github.com/dotnet/coreclr/issues/5638
Fixes https://github.com/dotnet/coreclr/issues/5645

doublinkstay.cmd does not repro anymore
increase time-out for DeltaBlue

Merge pull request #5685 from kyulee1/testlst

ARM64: Update Tests.lst

Merge pull request #5621 from swgillespie/buildtest-refactor

Remove need for longgc and gcsimulator tests to have their own build

Remove need for longgc and gcsimulator tests to have their own build

Merge pull request #5684 from dotnet-bot/from-tfs

Merge changes from TFS

ARM64: Update Tests.lst

Fixes https://github.com/dotnet/coreclr/issues/5641

mscorlib/System.Private.CoreLib cleanup

Deleting files cloned for mscorlib rename - we should not need the clones anymore.

[tfs-changeset: 1611972]

Merge pull request #5679 from dotnet-bot/UpdateDependencies20160610051941

Updating External dependencies to rc4-24210-00

Updating External dependencies to rc4-24210-00

Merge pull request #5667 from kyulee1/testupdate

ARM64: Test Update

Merge pull request #5670 from AndyAyersMS/ObserveCallSiteBlockWeight

Inliner: observe block weight, update schema and data

Merge pull request #5656 from dotnet/kspawa-profiler-doc

Create profiling-api-status.md

Merge pull request #5666 from swaroop-sridhar/LR

ARM64: Don't track LR as part of NV-Context

Merge pull request #5658 from pgavlin/PhaseInterface

Make Phase::{Pre,Do,Post}Phase protected.

Inliner: observe block weight, update schema and data

Add block weight as observation. At first blush I suspect this will be
useful only when the jit has IBC data, and even then only in the root
method blocks.

We'll likely need to either build up better profile estimates for the
inliner or else just try and cope without it somehow.

Dump out block weight and the per-call profitability in the observation
schema and data. Among other things this lets us cross-validate how well
the ModelPolicy predictions match the abstract GLMNET models...

Merge pull request #5649 from pgavlin/removeSplitMethodTrees

Remove `fgSplitMethodTrees`.

Merge pull request #5661 from AndyAyersMS/FirstDraftProfitablityModel

Inliner: implement profitabily side of the ModelPolicy

Merge pull request #5663 from briansull/legacy-cleanup

Code review cleanup items and moved some items into LEGACY_BACKEND

Merge pull request #5652 from RussKeldorph/5555

Fix WeakReference tests depending on JIT not extending lifetimes

Update profiling-api-status.md

Update profiling-api-status.md

Update profiling-api-status.md

Make Phase::Phase protected.

Like Phase::{Pre,Do,Post}Phase, this is an implementation detail of the top type
and should only be exposed to subclasses.

Merge pull request #5588 from jashook/disable_kar

Mark KeepAliveRecur as GCStressIncompatible

ARM64: Test Update

ARM64: Don't track LR as part of NV-Context

The _pc and _sp fields actually refer to the caller's PC and SP values.
So, remove read/writes of LR in captureX19_X29 array of ARM64 MachState.
This change fixes a buffer overflow problem.

Merge pull request #5657 from JohnChen0/r2r

Add an option to log outcome of loading Ready to Run images

Fix clang build

Inliner: implement profitabily side of the ModelPolicy

First (and very preliminary) cut at a profitability model, based
on inline data modelling.

ModelPolicy heuristic is updated to use this information to decide
when to inline. The policy has two parameters: one for the local
call site weight and another for the overall size/speed tradeoff
that we find acceptable. The first parameter is temporary as we
should be able to model this weight via observations.

Size/speed tradeoff is a policy decision and is a tuning parameter.
I've set it for now to roughly match the LegacyPolicy behavior, in
aggregate, across the jit perf benchmarks.

Merge pull request #5650 from pgavlin/SsaSkipDefs

Remove JIT_FEATURE_SSA_SKIP_DEFS.

Merge pull request #5651 from dotnet-bot/UpdateDependencies20160609052537

Updating External dependencies to rc4-24209-00

Merge pull request #5653 from gkhanna79/Fix5610JIT

Remove reference to the Arm32 JIT package since none exists.

Merge pull request #5648 from kyulee1/r2rci2

ARM64: Enable R2R CI

Code review cleanup items and moved some items into LEGACY_BACKEND ifdefs

From Codereview feedback:
Use BAD_VAR_NUM in a couple places instead of (unsigned)-1
In struct InitVarDscInfo
Renamed hasRetBuf to hasRetBufArg

In struct RegState:
Moved field rsCurRegArmNum into LEGACY_BACKEND ifdef
Removed instance field RegState::rsMaxRegArgNum as it is unnecessary
Reordered the fields from largest to smallest

In struct GenTreeCall node:
Moved field gtCallRegUsedMask into LEGACY_BACKEND ifdef

Changes to genRegArgNext to work correct for X64/UNIX (where it is not currently used)
Document the behavaior when given REG_ARG_LAST

Add an option to log outcome of loading Ready to Run images

ARM64: Enable R2R CI

Rename "r2r" to "pri1r2r" to trigger private job.
Enable 12 hour periodic job.
Added test exclusions.

Make Phase::{Pre,Do,Post}Phase protected.

These methods are implementation details of a phase and should not be a part
of its public interface.

Create profiling-api-status.md

Cleanup Arm32 package references.

Merge pull request #5470 from alsemenn/fix1379

Fix memory leak in issue #1379

Remove `fgSplitMethodTrees`.

This code attempted to split trees that contained multiple calls
that returned floating-point values when targeting ARM. This code
was clearly incorrect--no attempt is made to obey the original tree
ordering (or indeed any valid ordering--and it was in fact disabled
in JIT32. Remove it.

Fix WeakReference tests depending on JIT not extending lifetimes

Target and IsAlive_neg are failing in some cases when JIT optimization is
disabled because the JIT (legally) generates code that holds a reference
to an object longer than expected.  Instead of forcing optimization on for
these tests, I'm using the pattern of moving the problematic object
reference to a non-inlined helper method.

Fixes #5555

Updating External dependencies to rc4-24209-00

Remove JIT_FEATURE_SSA_SKIP_DEFS.

This symbol is always defined to `1`. Remove it and its associated
dead code.

Merge pull request #5636 from dagood/auto-update-dependencies

Add dependency auto-update script, UpdateDependencies.ps1

Remove CoreFX-specific project.json update code and update summary comment.

Port CoreFX version of UpdateDependencies.ps1.

Merge pull request #5633 from dotnet-bot/from-tfs

Merge changes from TFS

Add -DARM_SOFTFP inside compileoptions.cmake (#5630)

Currently, '-DARM_SOFTFP' is added inside jit/CMakeList.txt and
vm/CMakeLists.txt, and thus the header definition might be inconsistent
across each componenet.

This inconsistency results in some strange behavior discussed in #5629.

This commit tries to enforce the consistent definition of '-DARM_SOFTFP'
for every component via definiing it inside compileoptions.cmake in order
to fix #5629.

ARM/Linux Regression Fix of Exception Handling (#5596)

This fixes the regression caused by
594b424e1328135049cf0515bc5fc58b91f07e2a, which
intended to fix #5358 while breaking many of
exception handling unit test cases.

The commit fixing #5358 was an incorrect translation
of x86 assembly code.

Fix #5595, #5358.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Fix build break in JIT CTP build

[tfs-changeset: 1611655]

Merge pull request #5624 from schellap/win8-arm-master

[master][port] Add win8-arm package for CoreCLR

Merge pull request #5589 from adityamandaleeka/sleep_return_type_confusion

Fix confused uses of return value of InternalSleepEx.

Merge pull request #3864 from mikedn/mdarray-init

Add support for multi-dimensional array initialization

Merge pull request #5622 from parjong/fix/issue_5620

Allows the use of IsHFA only when FEATURE_HFA is enabled

Add win8-arm package for CoreCLR

Merge pull request #5618 from rahku/CiFix

Renable disabled arm64 R2R tests

Merge pull request #5607 from Maoni0/grow_card

need to account for server GC threads calling grow

Allows the use of IsHFA only when FEATURE_HFA is enabled