Merge pull request #4068 from Lucrecious/master

Generate map files for symbol resolution for Linux native images on PerfView

Merge pull request #4303 from CarolEidt/NoBarrierLclVarAddr

No GC barrier needed for indirection of expressions involving lclVars

Enable SOS gcInfo command. All it does basically is just enable the gcdecoder

Enable SOS gcInfo command. Basically all it does is just enable the code related to sos gcInfo and make it compiled for linux.

Merge pull request #4295 from fadimounir/typesystemtests

Bulk port of TypeSystem test cases

Merge pull request #4310 from RussKeldorph/arglist

Port arglist tests for x86 and ARM

No GC barrier needed for LclVar address expressions

The check for the case where a barrier is not required when writing to a
local variable needs to include the LocalVarAddr and lclVar address
expression cases.

Update per comments

Merge pull request #4302 from kyulee1/badtest

ARM64: Tests update

ARM64: Tests update

- Delete bad test (sql_stress4) which uses Thread.Abort which is not in
  .NET Core.
- Delete non-existing test (MarshalBoolArray)
- Update time-out for StringConcat4/StringConcat8 which usualy failed due to time-out.
- Made _opt_dbgexplicit5/_opt_relexplicit5 UNSTABLE which pass mostly when
  running twice in the lab.
- Delete bad test (b519927) which uses AppDomain.DefineDynamicAssembly
  which is not in .NET Core.
- Delete bad test (b16241) that has overflow conversion (from double to int).

Merge pull request #4074 from kouvel/SoftwareWriteWatch

Implement software write watch and make concurrent GC functional outs…

Port arglist tests for x86 and ARM

Arglist tests, which are only valid on Windows, have non-x64 versions that
needed to be ported.

Merge pull request #4273 from sivarv/multireg2

Force IR to be always var=call in case of multi-reg returning call nodes plus refactoring changes

Merge pull request #4255 from pgavlin/GcInfoArrayList

Refactor `StructArrayList` for the GC info encoder.

Implement software write watch and make concurrent GC functional outside Windows

- Implemented software write watch using write barriers
- A new set of write barriers is introduced, each corresponding to an existing one, but which also updates the write watch table. The GC switches to a write watch barrier during concurrent GC, and switches back to a non write watch barrier after the final query for dirty pages.
- The write watch table is alloacted along with the card table
- Since the card table is used differently, different synchonization is used for the write watch table. The runtime is suspended during resize since that is the most infrequently occuring operation, of that, ResetWriteWatch, and GetWriteWatch.
- ResetWriteWatch() doesn't need a suspend, but since the software WW version is much faster than the Windows version, moved it into the suspended region to avoid some synchronization that would otherwise be required
- The background calls to GetWriteWatch() don't need or do a suspend. They only need to synchronize with the resize path, not for the purpose of correct functionality, but to not miss dirty pages such that concurrent GC is effective.

Miscellaneous:
- Fixed runtests.sh to copy mscorlib.dll and delete the Windows version of mscorlib.ni.dll

Merge pull request #4278 from RussKeldorph/t1

Fix two "missing DLL" test failures

Merge pull request #4296 from mmitche/fix-prefix-casing

Fix output casing of prefix dir

Refactoring changes to use ReturnTypeDesc in codegenxarch.

Merge pull request #4279 from swaroop-sridhar/GC

GCInfo: Fix ARM64 GCInfo decoding

Bulk port of TypeSystem test cases

Clean up StructArrayList for GC info.

- Move the code into the GC info encoder, as that is its
  only consumer.
- Remove contracts
- Delete dead code
- Reformat and refactor to current coding standards

Merge pull request #4292 from janvorli/hw-exceptions-change

Fix hardware exception handling in native code on BSD

Merge pull request #4294 from kyulee1/fixsp

ARM64: Fix for recording SP for handler.

Fix output casing of prefix dir

The PREFIX dir is upper case, should be refered to as such.  Blocker for building on Linux

Fix two "missing DLL" test failures

Fix #2234 Missing native DLL
Fix #2237 Missing DLL is a MC++ test hiding alongside a C# wrapper--delete
    test which was mistakenly ported.

Merge pull request #4085 from LLITCHEV/Issue3618-1

Fix a bug in the code for inserting a tree in the linear order.

fix GCInfo build problem, tested a few simple "HelloWorld" program works good!

ARM64: Fix for recording SP for handler.

Fixes https://github.com/dotnet/coreclr/issues/3701.

When GC occurs in a catch handler, we compare the current frame with the one
saved before the funclet was invoked.
The recorded SP address was wrong (offset by 16 byte), which caused FindParentStackFrameForStackWalk to null frame.
So, we ended up with assert on `ExceptionTracker::HasFrameBeenUnwoundByAnyActiveException(&m_crawl)`.
The issue was assembly helper, CallEHFunclet records FP instead of SP while SP is adjusted in prolog.

Merge pull request #4290 from leemgs/upstream-clang38

Add clang-3.8 into build.sh

Merge pull request #4187 from stephentoub/lcts_dispose_cancel_race

Fix race condition between CTS.Cancel and Dispose

Fix hardware exception handling in native code on BSD

There is a problem with hardware exception handling when the exception
happens in native code and it is under the HardwareExceptionHolder on
FreeBSD and NetBSD. The problem was that the C++ unwinder was unable
to cross the signal trampoline.
This change fixes the problem by throwing the PAL_SEHException from
the context of the hardware exception itself rather than from the
signal handler.
Since it uses the same code as we were using for StartUnwindingNativeFrames
in CoreCLR before, I have moved that stuff to PAL and let both CoreCLR and
the signal handlers use it too.
At the same time, I have reenabled the paltest_pal_sxs_test1 for FreeBSD and
NetBSD, since it now works.

Merge pull request #4280 from krytarowski/netbsd-support-59

Use _lwp_self() in THREADSilentGetCurrentThreadId() for NetBSD

Add clang-3.8 into build.sh

According to the official release note, clang 3.8 is also stable version.
http://llvm.org/releases/download.html
Let's add version 3.8 of clang into build.sh script.

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>

Merge pull request #4274 from davmason/master

Bug Fixes for EventSource

Fix a bug in the code for inserting a tree in the linear order.

A long standing issue in the Compiler::fgInsertTreeInListBefore method was
found where the gtStmtList of a statement was not updated when a tree is
inserted before the first statement in the list (stmt->gtStmtList ==
insertionPoint). In such case the gtStmtList is not updated to include the
new tree(s) inserted.

After talking to few people offline to understand where this fix should be made
and realizing that the comment on Compiler::fgMakeEmbeddedStmt is
incorrect, I made the necessary fix in Compiler::fgInsertTreeInListBefore
so the newly inserted tree(s) in includedin the gtStmtList of the updated
stmt.

Fixes 3618.

Use _lwp_self() in THREADSilentGetCurrentThreadId() for NetBSD

The _lwp_self() call returns the LWP ID of the calling LWP.
It requires <lwp.h> on NetBSD.

Merge pull request #4101 from sejongoh/detect_ldsfld_access_non_static_field

Check if LDSFLD accesses non-static field

Merge pull request #4277 from mikem8361/rpath

Unable to debug coreclr apps on Debian 8.2 (Issue #4263)

Unable to debug coreclr apps on Debian 8.2 (Issue #4263)

Add set(CMAKE_BUILD_WITH_INSTALL_RPATH TRUE) to dbi and sos cmake files.

Merge pull request #4218 from mikem8361/symbols

Add symbol packages for coreclr runtime.

Merge pull request #4272 from AndyAyersMS/FixSpectralNorm

Fix validation of spectralnorm under xunit-performance

GCInfo: Fix ARM64 GCInfo decoding

GCStress traps were not inserted in ARM64 code correctly because safepoint
offsets were not correctly computed by EnumerateSafepoints().

This change fixes the issue by adding the (-1) adjustment to the ARM64
Safepoint offsets, similar to ARM and AMD64.

Merge pull request #4113 from swgillespie/long_running_gc

Create Long-running GC test job for the CI

Buffer sending of large manifests

Merge pull request #4157 from chuckries/master

Fix error return in getPath

Merge pull request #4266 from janvorli/fix-brick-table-issue

Fix brick table issue on Unix

Merge pull request #4261 from yizhang82/byvalarray_fix

Fix ByValArray support.

ByValArray marshalling is implemented actually in OleVariant.cpp, which implements both regular array marshalling and variant marshalling). Regular array marshalling code should be supported in x-plat but it was incorrectly #ifdef-ed out. Fix by only #ifdef the COM interop VARIANT part.

Fix #4262 and #4194

Add symbol packages for coreclr runtime.

Depends on the new buildtools symbol support.

Update build tools version containing the new symbol file support.

Merge remote-tracking branch 'upstream/master'

Fix validation of spectralnorm under xunit-performance

The valiation code wasn't correctly for the iteration strategy
used by xunit-performance.

Closes #4270.

Fix bug where Tags weren't respected in tracelogging.

Increase max etw arguments to 64

Merge pull request #4269 from adiaaida/longSub

Add support for x86 long subtract operator

Merge pull request #4206 from BruceForstall/RyujitX86

Clean up JIT build rules

Merge pull request #4221 from BruceForstall/Cleanup1

Cleanup: be consistent about compCalleeFPRegsSavedMask #ifdefs

Merge pull request #4239 from BruceForstall/Cleanup2

Cleanup: remove getFramePointerReg()

Merge pull request #4242 from BruceForstall/Cleanup3

Add genEstablishFramePointer() to enapsulate frame pointer creation

Merge pull request #4243 from BruceForstall/Cleanup4

Minor JIT changes

Add longgc to a new assert

Add new trigger phrases to documentation

Create Long-running GC test job for the CI

Fix JIT crash with static function accessing non-static field

The IL below is invalid since the static function acceses the non-static
field. On Desktop CRL, JIT throws a verification exception. However, CoreCLR
doesn't support verification and JIT crashes. This fix makes JIT throw a
invalid program exception if verification is disabled.

.field int32 i
.method static int32 f()
{
ldsfld int32 Test::i
ret
}

The test also expects InvalidProgramException instead of
VerificationException.

Merge pull request #4268 from RussKeldorph/ignore

Add missing arch-specifc strings in .gitignore

Add support for x86 long subtract operator

With #3296, we have all the support for subtracting longs on x86. Subtract
can use the same logic as addition for longs.

Fixes #4189.

ByValArray marshaling support is implemented in OleVariant.cpp (which actually implements both regular array marshalling and variant marshalling) and is incorrectly #ifdef-ed out under x-plat. Fix by only #ifdef the COM interop VARIANT part.

Re-enable ByValArray test as well.

Add missing arch-specifc strings in .gitignore

I would prefer that the test build not drop cruft outside of designated
folders like bin, but unless/until that happens we should at least make
the architectures' builds consistent.

Merge pull request #4240 from LLITCHEV/Issue4147

Add test for issue 4115.

Merge pull request #4245 from AndyAyersMS/ModelPolicy

Inliner: initial version of a model-based policy

Fix brick table issue on Unix

There is a problem with Clang compiling a loop that sets a range of brick
table entries that are "shorts" as a memset. That causes it to be written
by bytes in some cases on OSX (and it is a mere chance that the memset on
Linux is implemented so that it doesn't use byte access).
This was causing corruption of the brick table on OSX.
The fix is to mark the pointer that iterates over the brick table as volatile
to prevent the compiler from using the memset.

Merge pull request #3990 from myungjoo/testing/fix3856

Fix Linux-ARM Broken Stack w/ ThePreStub

Merge pull request #4257 from jkotas/noexecstack

Pass noexecstack option to the assembler on Linux

Add a test for Issue 4147.

This checkin adds a test for Issue 4147.

Fix race condition between CTS.Cancel and Dispose

In general, CancellationTokenSource.Dispose is not meant to be used concurrently with other operations on the instance: Dispose should only be used when the creator of the CTS is done with it.  However, there's one common situation where recommended usage runs afoul of this.  A typical usage of a LinkedCancellationTokenSource (as created by CancellationTokenSource.CreateLinkedTokenSource) is as follows:
```C#
private CancellationToken _internalCancellation;

public void SomeMethod(CancellationToken externalCancellation)
{
    using (var cts = CancellationTokenSource.CreateLinkedTokenSource(externalCancellation, _internalCancellation))
    {
        DoWork(cts.Token);
    }
}
```
where an LCTS is used to combine some external source of cancellation with some internal one.  It's important that the LCTS then be disposed, as otherwise it'll end up leaking state into constituent CTs, and in particular in the case of the externally provided one, that could be a very long lived token.  However, it's perfectly fine for the external token to have cancellation requested at any time during this method, which means that even though Dispose and Cancel weren't designed to be safe to execute concurrently, and even though we recommend against it, it's actually possible with recommended usage.

It's a very dificult race to reproduce, but when it does, the typical visible result is an ObjectDisposedException.  State corruption could also result.

This commit addresses that in two ways:
1. Rather than having the LCTS register a delegate with each CT that calls Cancel, it instead has its delegate call NotifyCancellation.  This is the same method Cancel calls, but without the upfront disposal check.  That eliminates the easily visible result of a race that would cause an ObjectDisposedException.
2. With all of the tweaking that's been done to Dispose since it was originally written, it's actually very close to being safe to use concurrently with Cancel; this takes it the rest of the way (though we still don't want to document it as such, it's really just to make LCTS work correctly).  The only state Dispose mutates that could be problematic is a Timer and a ManualResetEvent.  Timer's Dispose is already thread-safe.  MRE's isn't, so if it's been allocated (which is relatively rare), I add a single Interlocked.Exchange to null it out, and then do a volatile read on a state field to see whether cancellation is currently in progress, only Dispose'ing of the MRE if it is, and leaving it for finalization otherwise.  On the Cancel side, we just add some null checks to ensure we're not attempting to Dispose of null'd out fields, again with volatile reads where necessary.

Merge pull request #4250 from yizhang82/nativevariant_fix

Fix GetObjectForNativeVariant test issue. It should roundtrip the actual object instead of IntPtr. Also add proper variant clean up code.

Fix #4192.

Pass noexecstack option to the assembler on Linux

Merge pull request #4253 from jamesqo/faulty-trues

Fix a couple of erroneous assert(trues)

Merge pull request #4256 from yizhang82/chararray_fix

Change Marshal.SizeOf to sizeof to calculate buffer size because Marshal.Copy copies managed contents, while Marshal.SizeOf gives native size. Fix #4254

Change Marshal.SizeOf to sizeof because Marshal.Copy copies managed contents and does not do marshalling.

Merge pull request #4249 from yizhang82/lptstr_fix

Fix LPTSTRTest failure - it has a incorrect constant probably due to bad merge. Fix #4197

Fix GetObjectForNativeVariant test issue. It should roundtrip the actual object instead of IntPtr. Also add proper variant clean up code.

NOTE that I had to keep Marshal.IUnknownForObject call to force COM initialization.

Merge remote-tracking branch 'upstream/master'

Fix LPTSTRTest failure - it has a incorrect constant probably due to bad porting. Also remove StringMarshal tests from issues.targets

Fix a couple of erroneous assert(trues)

Merge pull request #4248 from dotnet/revert-4199-struct16-abi

Revert "ARM64 Work Item 3817, 3524 - Struct16 decomposition"

Revert "ARM64 Work Item 3817, 3524 - Struct16 decomposition"

Merge pull request #4162 from ramarag/ResolveWorkerChainLookupAsmStub

[Arm64]:Fixing the Logic of ResolveWorkerChainLookupAsmStub for VSD

Merge pull request #4202 from MichalStrehovsky/applicationException

Remove usage of ApplicationException in tests

[Arm64]:Fixing the Logic of ResolveWorkerChainLookupAsmStub

Inliner: initial version of a model-based policy

Add a model-based size predictor to the `DiscretionaryPolicy` and
dump its data along with observations. This can be used to assess
the performance of the model. Currently using a linear model that
can explain about 55% of the variability in code size impact for
mscorlib. Whether this holds up for other situations is still to
be determined.

Create a `ModelPolicy` that relies on this code size model to make
inlining decisions. This is very much a work in progress as the code
size models are still not well vetted and there is no real code
quality model yet.

Merge pull request #4207 from swgillespie/437657

Remove a test that doesn't provide much value, fails in parallel test…

Merge pull request #4199 from briansull/struct16-abi

ARM64 Work Item 3817, 3524 - Struct16 decomposition

Minor JIT changes

Add a useful assert about SP to FP offsets.

Add "const" to a few member functions.

Add genEstablishFramePointer() to enapsulate frame pointer creation

Cleanup: replace getFramePointerReg() with preexisting genFramePointerReg()

Cleanup: be consistent about compCalleeFPRegsSavedMask #ifdefs

Merge remote-tracking branch 'upstream/master'

Merge pull request #4205 from mikem8361/sosfx2

Better sos message for runtime not initialized

Merge remote-tracking branch 'upstream/master'

Merge pull request #4163 from pgavlin/GCInfoQSort

Replace CQuickSort with qsort in GC info encoders.

ARM64 Work Item 3817, 3524 - Struct16 decomposition

Changes to support passing of MultiReg structs using GT_LISTs
Optional support for  struct promotion for multireg structs:
To enable set  FEATURE_MULTIREG_STRUCT_PROMOTE to 1
Morphs the 16-byte structs at the end of fgMorphArgs
Careful refactoring to avoid changes to UNIX_AMD64 code
Covers all of the 16-byte struct expansion cases in fgMorph
Added function header comments
Passing the tests for Arm64
No AsmDiffs for non-Arm64 targets.
Codegen uses Contained nodes for PUTARG_STK 16-byte stack args
Created a genPutArgStk method for Arm64

Remove a test that doesn't provide much value, fails in parallel test environments, and p/invokes to kernel32.dll

Merge pull request #4198 from dotnet-bot/from-tfs

Merge changes from TFS