Fix for GC hole when using software write watch

Issue:
- When using software write watch, getting dirty pages is synchronized with growing the write watch table using gc_lock, as those cannot happen concurrently
- It turns out that a foreground GC can happen at that point, pausing the background GC while it tries to acquire gc_lock
- In this issue, the last object in the previously revisited page is a free object whose range spans one or more pages
- With the intent of skipping the free range, revisit_written_page() records the next object to scan immediately following the free range
- Since only 100 dirty pages are retrieved at a time, the next set of up to 100 dirty pages needs to be requested. Before that, a foreground GC begins, and the background GC pauses trying to acquire gc_lock.
- The foreground GC promotes some objects, and in the process allocates from the free range above, and completes
- One of the moved objects in that previously free range gets a reference to a new object that is not referenced from anywhere else
- The background GC resumes, determines that the moved object's page is dirty, but skips revisiting the object because the previously recorded next object from which to start scanning, already took the free range size into account before it was allocated
- The background GC does not mark through the moved object, so the newly referenced object appears to be free, and is sweeped
- Later, either verify_heap fails or the app crashes, when trying to access that referenced object

Fix:
- Similarly to what is done for the large object heap, when revisiting a page and using software write watch, don't advance last_object when the current object is a free object that spans beyond the current page or high_address
- On the next revisit, it would start scanning from the previously scanned free object (which now may be allocated or will have a smaller size) until it reaches the requested page to scan

Fixes (but not yet closing) #5194

Merge pull request #5691 from kyulee1/testupdate2

ARM64: Another Tests.lst Update for R2R

Merge pull request #5694 from rahku/sosFix

Fixes AV in sos for arm64

Fixes AV in sos for arm64

ARM64: Another Tests.lst Update for R2R

Fixes https://github.com/dotnet/coreclr/issues/5638
Fixes https://github.com/dotnet/coreclr/issues/5645

doublinkstay.cmd does not repro anymore
increase time-out for DeltaBlue

Merge pull request #5685 from kyulee1/testlst

ARM64: Update Tests.lst

Merge pull request #5621 from swgillespie/buildtest-refactor

Remove need for longgc and gcsimulator tests to have their own build

Remove need for longgc and gcsimulator tests to have their own build

Merge pull request #5684 from dotnet-bot/from-tfs

Merge changes from TFS

ARM64: Update Tests.lst

Fixes https://github.com/dotnet/coreclr/issues/5641

mscorlib/System.Private.CoreLib cleanup

Deleting files cloned for mscorlib rename - we should not need the clones anymore.

[tfs-changeset: 1611972]

Merge pull request #5679 from dotnet-bot/UpdateDependencies20160610051941

Updating External dependencies to rc4-24210-00

Updating External dependencies to rc4-24210-00

Merge pull request #5667 from kyulee1/testupdate

ARM64: Test Update

Merge pull request #5670 from AndyAyersMS/ObserveCallSiteBlockWeight

Inliner: observe block weight, update schema and data

Merge pull request #5656 from dotnet/kspawa-profiler-doc

Create profiling-api-status.md

Merge pull request #5666 from swaroop-sridhar/LR

ARM64: Don't track LR as part of NV-Context

Merge pull request #5658 from pgavlin/PhaseInterface

Make Phase::{Pre,Do,Post}Phase protected.

Inliner: observe block weight, update schema and data

Add block weight as observation. At first blush I suspect this will be
useful only when the jit has IBC data, and even then only in the root
method blocks.

We'll likely need to either build up better profile estimates for the
inliner or else just try and cope without it somehow.

Dump out block weight and the per-call profitability in the observation
schema and data. Among other things this lets us cross-validate how well
the ModelPolicy predictions match the abstract GLMNET models...

Merge pull request #5649 from pgavlin/removeSplitMethodTrees

Remove `fgSplitMethodTrees`.

Merge pull request #5661 from AndyAyersMS/FirstDraftProfitablityModel

Inliner: implement profitabily side of the ModelPolicy

Merge pull request #5663 from briansull/legacy-cleanup

Code review cleanup items and moved some items into LEGACY_BACKEND

Merge pull request #5652 from RussKeldorph/5555

Fix WeakReference tests depending on JIT not extending lifetimes

Update profiling-api-status.md

Update profiling-api-status.md

Update profiling-api-status.md

Make Phase::Phase protected.

Like Phase::{Pre,Do,Post}Phase, this is an implementation detail of the top type
and should only be exposed to subclasses.

Merge pull request #5588 from jashook/disable_kar

Mark KeepAliveRecur as GCStressIncompatible

ARM64: Test Update

ARM64: Don't track LR as part of NV-Context

The _pc and _sp fields actually refer to the caller's PC and SP values.
So, remove read/writes of LR in captureX19_X29 array of ARM64 MachState.
This change fixes a buffer overflow problem.

Merge pull request #5657 from JohnChen0/r2r

Add an option to log outcome of loading Ready to Run images

Fix clang build

Inliner: implement profitabily side of the ModelPolicy

First (and very preliminary) cut at a profitability model, based
on inline data modelling.

ModelPolicy heuristic is updated to use this information to decide
when to inline. The policy has two parameters: one for the local
call site weight and another for the overall size/speed tradeoff
that we find acceptable. The first parameter is temporary as we
should be able to model this weight via observations.

Size/speed tradeoff is a policy decision and is a tuning parameter.
I've set it for now to roughly match the LegacyPolicy behavior, in
aggregate, across the jit perf benchmarks.

Merge pull request #5650 from pgavlin/SsaSkipDefs

Remove JIT_FEATURE_SSA_SKIP_DEFS.

Merge pull request #5651 from dotnet-bot/UpdateDependencies20160609052537

Updating External dependencies to rc4-24209-00

Merge pull request #5653 from gkhanna79/Fix5610JIT

Remove reference to the Arm32 JIT package since none exists.

Merge pull request #5648 from kyulee1/r2rci2

ARM64: Enable R2R CI

Code review cleanup items and moved some items into LEGACY_BACKEND ifdefs

From Codereview feedback:
Use BAD_VAR_NUM in a couple places instead of (unsigned)-1
In struct InitVarDscInfo
Renamed hasRetBuf to hasRetBufArg

In struct RegState:
Moved field rsCurRegArmNum into LEGACY_BACKEND ifdef
Removed instance field RegState::rsMaxRegArgNum as it is unnecessary
Reordered the fields from largest to smallest

In struct GenTreeCall node:
Moved field gtCallRegUsedMask into LEGACY_BACKEND ifdef

Changes to genRegArgNext to work correct for X64/UNIX (where it is not currently used)
Document the behavaior when given REG_ARG_LAST

Add an option to log outcome of loading Ready to Run images

ARM64: Enable R2R CI

Rename "r2r" to "pri1r2r" to trigger private job.
Enable 12 hour periodic job.
Added test exclusions.

Make Phase::{Pre,Do,Post}Phase protected.

These methods are implementation details of a phase and should not be a part
of its public interface.

Create profiling-api-status.md

Cleanup Arm32 package references.

Merge pull request #5470 from alsemenn/fix1379

Fix memory leak in issue #1379

Remove `fgSplitMethodTrees`.

This code attempted to split trees that contained multiple calls
that returned floating-point values when targeting ARM. This code
was clearly incorrect--no attempt is made to obey the original tree
ordering (or indeed any valid ordering--and it was in fact disabled
in JIT32. Remove it.

Fix WeakReference tests depending on JIT not extending lifetimes

Target and IsAlive_neg are failing in some cases when JIT optimization is
disabled because the JIT (legally) generates code that holds a reference
to an object longer than expected.  Instead of forcing optimization on for
these tests, I'm using the pattern of moving the problematic object
reference to a non-inlined helper method.

Fixes #5555

Updating External dependencies to rc4-24209-00

Remove JIT_FEATURE_SSA_SKIP_DEFS.

This symbol is always defined to `1`. Remove it and its associated
dead code.

Merge pull request #5636 from dagood/auto-update-dependencies

Add dependency auto-update script, UpdateDependencies.ps1

Remove CoreFX-specific project.json update code and update summary comment.

Port CoreFX version of UpdateDependencies.ps1.

Merge pull request #5633 from dotnet-bot/from-tfs

Merge changes from TFS

Add -DARM_SOFTFP inside compileoptions.cmake (#5630)

Currently, '-DARM_SOFTFP' is added inside jit/CMakeList.txt and
vm/CMakeLists.txt, and thus the header definition might be inconsistent
across each componenet.

This inconsistency results in some strange behavior discussed in #5629.

This commit tries to enforce the consistent definition of '-DARM_SOFTFP'
for every component via definiing it inside compileoptions.cmake in order
to fix #5629.

ARM/Linux Regression Fix of Exception Handling (#5596)

This fixes the regression caused by
594b424e1328135049cf0515bc5fc58b91f07e2a, which
intended to fix #5358 while breaking many of
exception handling unit test cases.

The commit fixing #5358 was an incorrect translation
of x86 assembly code.

Fix #5595, #5358.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Fix build break in JIT CTP build

[tfs-changeset: 1611655]

Merge pull request #5624 from schellap/win8-arm-master

[master][port] Add win8-arm package for CoreCLR

Merge pull request #5589 from adityamandaleeka/sleep_return_type_confusion

Fix confused uses of return value of InternalSleepEx.

Merge pull request #3864 from mikedn/mdarray-init

Add support for multi-dimensional array initialization

Merge pull request #5622 from parjong/fix/issue_5620

Allows the use of IsHFA only when FEATURE_HFA is enabled

Add win8-arm package for CoreCLR

Merge pull request #5618 from rahku/CiFix

Renable disabled arm64 R2R tests

Merge pull request #5607 from Maoni0/grow_card

need to account for server GC threads calling grow

Allows the use of IsHFA only when FEATURE_HFA is enabled

Fix problem with virtual memory commit in OOM scenario on Linux (#5609)

A stress tests have uncovered a mysterious issue with virtual memory committing on
Linux. During some stress tests, all of a sudden, segments of GC heap got unmapped
or virtual allocator has reserved a block of memory twice.
It turned out that the issue was caused by a strange behavior of mmap in the OOM case.
When we commit a subrange of previously reserved memory (reservation uses mmap with
PROT_NONE, commit uses mmap with PROT_READ | PROT_WRITE) and the mmap fails due to
OOM, it ends up leaving the whole range that was supposed to be committed completely
unmapped. A later attempt to reserve virtual memory finds this block as a free one
and happily reserves a block in it. But our VM allocator is not aware of this issue.

The fix is to use another way to commit pages in a reserved range - using mprotect
to change their protection from the initial PROT_NONE to PROT_READ | PROT_WRITE.
This way doesn't have the problem. I've verified that it works on OSX too, so
I am switching to that way unconditionally.
Decommit still uses mmap so that we don't have to keep track of dirty pages and
so that the pages are really returned to the system in decommit.

Merge pull request #5601 from Maoni0/av_fix_final

software ww fix

Renable disabled arm64 R2R tests

Merge pull request #5614 from adityamandaleeka/debian_84_badges

Update Debian build status badges/links to 8.4

Update Debian build status badges/links to 8.4.

Fix error in RemoveDuplicateAssemblies task for perf (#5605)

Reduce memory leak for issue #1379

Remove unused header

Use proper exception-handling macroses

Fix build issues

Squash commits

Merge pull request #5586 from adityamandaleeka/osx_strip_debug

Strip debugging symbol table entries on OS X Release builds

Switch to CORINFO_HELP_NEW_MDARR_NONVARARG

need to account for server GC threads calling grow

Merge pull request #5604 from rahku/CiFix

temporarily disable R2R tests for arm64

Address CR feedback

Merge pull request #5495 from lemmaa/disable-nyi-features

[ARM64/Linux] Disable not yet implemented features.

Merge pull request #5361 from wateret/fix-hfa-armsoftfp

[ARM/Linux] Fix arm-softfp calling convention

temporarily disable R2R tests for arm64

Add support for multi-dimensional array initialization

This extends impInitializeArrayIntrinsic to support MD arrays in addition to SD arrays. This includes support for SD arrays which are created via CORINFO_HELP_NEW_MDARR when the lower bound is not specified or known to be 0.

The generated code is similar to the code generated for the SD arrays, for example:
  call CORINFO_HELP_NEW_MDARR
  mov rdx, 0x202AB822050
  lea rcx, bword ptr [rax+32]
  vmovdqu ymm0, qword ptr [rdx]
  vmovdqu qword ptr [rcx], ymm0
  mov r8d, dword ptr [rdx+16]
  mov dword ptr [rcx+16], r8d

Merge pull request #5426 from CarolEidt/IsOne

Add methods to check for integer constants one and minus one

Merge pull request #5597 from dotnet-bot/from-tfs

Merge changes from TFS

Linux/ARM: Revert -O1 to -O3 for Linux/ARM Release Build. (#5598)

We have completed the bug fix of llvm in order to support thread-local
storage(TLS) via  __thread variable with -O3 optimization level of clang.
Let's enable the -O3 optimization level of clange for release build
on Linux/ARM.

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>

Fixing perf runs on helix (#5102)

* Fixing issue with perf targets restoring test runtime

* Fixing perf runs on helix

software ww fix

Merge pull request #5587 from dotnet-bot/from-tfs

Merge changes from TFS

Fix build issue buildstatus/Issues/Issues.aspx?iid=802303

Ready2Run opt-out should be under #ifdef since closed Arm64 build does not compile with Ready2Run enabled.

[tfs-changeset: 1611275]

Merge pull request #5581 from AndyAyersMS/InlineReplayNoForceInline

Inliner: allow replay log to override force inlines

Fix backwards compatibility bug: RC2 dbgshim debugging RTM runtime (#5593)

Merge pull request #5543 from briansull/feature-x8-refbuf

ARM64: ABI - Support for using register x8 as the return buffer argument for structs

Merge pull request #5547 from schellap/master

Fix packaging attributes

ASP.NET 5 -> Core (#5591)

Updates tryrun.cmake for ARM64 cross build (#5406)

[ARM64/Linux] Disable not yet implemented features.

This patch temporary disables NYIs of SOS for ARM64 architecture.

Methods to check for integer constants and zero

These are primarily motivated by simplifying the RyuJIT tutorial,
but also make the existing code a bit cleaner.

Fix confused uses of return value of InternalSleepEx.

Merge pull request #5534 from swgillespie/weak-reference-get-generation

Disable two tests that rely on an API not exposed on coreclr

Mark KeepAliveRecur as GCStressIncompatible

The test makes assumptions of what the lifetime of the object is
that may not be necessarily true in GCStress.

Merge pull request #5573 from dotnet-bot/from-tfs

Merge changes from TFS

Strip debugging symbol table entries on OS X Release builds.

Merge pull request #5577 from kyulee1/r2rci

ARM64: Support R2R Private Run in CI