Merge pull request #5980 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #5960 from pgavlin/CheckDefPython3

Make check-definitions compatible with Python 3.

Merge pull request #5923 from mikedn/x86-store-lclvar

Fix statement insertion point in GT_STORE_LCL_VAR decomposition

[SOS][Linux] Support of reading local variables from portable PDB (#5897)

* Initial support of reading local variables from portable pdb using System.Diagnostics.Debug.SymbolReader.dll

* Use SysAllocString and SysFreeString for memory management

* Fix coding style after review

Merge pull request #5961 from jashook/arm32_ci_ubuntu_cross_fix

Seperate the ubuntu-arm build and emulator build

Undo accidental change

[tfs-changeset: 1614521]

Add missing contracts

[tfs-changeset: 1614520]

Seperate the ubuntu-arm build and emulator build

The name for the arm32 ubuntu cross build and the arm32 emulator build are the same. This
also disables the ubuntu cross build per pr.

Merge pull request #5968 from RussKeldorph/jitstress

Move R2R JitStress jobs into the jitstress folder with the others.

Merge pull request #5959 from pgavlin/AOTPlaceholderFile

Add AOT placeholder files to the JIT package.

Add braces to avoid operator priority confusion (#5964)

Merge pull request #5963 from dotnet-bot/from-tfs

Merge changes from TFS

Add AOT placeholder files to the JIT package.

This is intended to prevent accidental inclusion in UWP projects.

Fix GC profiling on arm-softfp (#5952)

This commit updates one preprocessor directive inside gc.h to initialize
dwEtwRootKind field of ScanContext when GC_PROFILING is defined while
FEATURE_EVENT_TRACE is not. This happens to platforms like arm-softfp.

Move R2R JitStress jobs into the jitstress folder with the others.

Merge pull request #5939 from BruceForstall/FixPinvoke

Fix RyuJIT/x86 P/Invoke inlining

Fix build break in internal build

[tfs-changeset: 1614475]

Merge pull request #5935 from rahku/test

Fix test runner batch file to provide correct TPA path

Merge pull request #5936 from briansull/fullIntArgRegMask

Introduce the method fullIntArgRegMask() to replace many uses of RBM_ARG_REGS

Merge pull request #5937 from ellismg/pass-build-id-flag-to-linker

Pass --build-id=sha1 to linker explicitly

Merge pull request #5962 from dotnet/revert-5945-devel/arm-ci-checked-fix

Revert "ARM-CI: Prevent creation of job for Checked configuration"

Revert "ARM-CI: Prevent creation of job for Checked configuration"

Make check-definitions compatible with Python 3.

Import and use the Python 3-compatible print_function from __future__.

Enable RyuJIT/x86 PInvoke lowering

Fixes #4181 "NYI_X86: Implement PInvoke frame init inlining for x86"

The main work here is to handle the custom calling convention for the
x86 CORINFO_HELP_INIT_PINVOKE_FRAME helper call: it takes EDI as an argument,
trashes only EAX, and returns the TCB in ESI.

The code changes are as follows:
1. Lowering::InsertPInvokeMethodProlog(): don't pass the "secret stub param" for x86.
Also, don't store the InlinedCallFrame.m_pCallSiteSP in the prolog: for x86 this is done
at the call site, due to the floating stack pointer.
2. LinearScan::getKillSetForNode(): for helper calls, call compHelperCallKillSet() to get the killMask,
to account for non-standard kill sets.
3. Morph.cpp::fgMorphArgs(): set non-standard arguments for CORINFO_HELP_INIT_PINVOKE_FRAME.
4. compHelperCallKillSet(): set the correct kill set for CORINFO_HELP_INIT_PINVOKE_FRAME.
5. codegenxarch.cpp::genCallInstruction(): set the ABI return register for CORINFO_HELP_INIT_PINVOKE_FRAME.
6. lowerxarch.cpp::TreeNodeInfoInit(): set the GT_CALL dstCandidates for CORINFO_HELP_INIT_PINVOKE_FRAME.

5 & 6 are both needed to avoid a copy.

With this change, the #1 NYI with 18415 hits over the tests is gone.
The total number of NYI is now 29516.

Enable out-of-proc unwinding on ARM (#5946)

Fix #5855

Merge pull request #5890 from adiaaida/x86LongCallFinal

Enable GT_CALL with long ret types for x86 RyuJIT

Merge pull request #5945 from prajwal-aithal/devel/arm-ci-checked-fix

ARM-CI: Prevent creation of job for Checked configuration

Merge pull request #5944 from dotnet-bot/UpdateDependencies20160623052003

Updating External dependencies to beta-24223-00

Scripts: verify compiler definitions of native and managed (#4675)

* Scripts: find out compiler definitions of CMake

In order to find mismatch between native and managed,
we need to know the list of definitions of native.

The copmiler definitions are stored at cmake.definitions

This addresses the complaints of #4674

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>
* Scripts: add check-definitions.py

scripts/check-definitions.py checks the consistency between
the native-build (CMake) compiler definitions and
the managed-build (MSBuild/mscorlib) compiler definitions
at build-time and prints out potentially dangerous
inconsistencies.

In order to get the proper results, managed build should
be executed after the native build (build.sh will do so
if no options such as skipnative or skipmanaged are given.)

Fix #4674

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>
* Scripts: allow check-definitions py to ignore the harmless

The third argument of check-definitions.py specifies harmless keywords
to be suppressed from emitting warning messages.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>
* Scripts: add ignored cdefine keywords for warning

As an example of how to declare compiler definition keywords
that are harmless to be inconsistent between the native and the
managed, we have added FEATURE_IMPLICIT_TLS and FEATURE_HIJACK.

Developers may add more keywords in System.Private.CoreLib.csproj
if the keywords are verified to be harmless; i.e., although
the keywords exist in both cmake and clr.coreclr.props,
the keywords are NEVER used in either side of the sources
or the keywords only happen to have the same name while they
denote the completely different semantics and may be disjoint.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

ARM-CI: Prevent creation of job for Checked configuration

Previously we checked if the configuration being built is either of Debug or Release
after the job had already been created. This resulted in a job being created for
Checked configuration with no commands to execute (for this job).
We prevent the unnecessary creation of job for the Checked configuration by
returning control at the very beginning of the <LinuxARMEmulator, arm, Checked> iteration

Signed-off-by: Prajwal A N <an.prajwal@samsung.com>

Merge pull request #5934 from Maoni0/gcwhere

enable GCWhere on PAL

Build the GC as part of its own CMake target (#5932)

Updating External dependencies to beta-24223-00

Merge pull request #5211 from prajwal-aithal/devel/automate-arm-ci

ARM-CI: Make the Linux ARM emulator check automatic

ARM-CI: Make the Linux ARM emulator check automatic

* Previously the Linux ARM emulator build had to be triggered manually
* Making this check automatic based on the stability of emulator build

Signed-off-by: Prajwal A N <an.prajwal@samsung.com>

Merge pull request #5942 from prajwal-aithal/devel/arm-ci-results-fix

ARM-CI: Resolving typo in result path

ARM-CI: Resolving typo in result path

Signed-off-by: Prajwal A N <an.prajwal@samsung.com>

Merge pull request #5941 from prajwal-aithal/devel/arm-ci-results-fix

ARM-CI: Change result archiving from emulated to cross build

ARM-CI: Change result archiving from emulated to cross build

Previous PR assumed emulated build and thus archived the binaries inside the emulator.
But since cross build produces binaries inside the source folder, change the result path

Signed-off-by: Prajwal A N <an.prajwal@samsung.com>

Pass --build-id=sha1 to linker explicitly

On some platforms, a build-id was not being added to native artifacts
and we would like it to be present. Explicitly pass --build-id=sha1 to
the linker.

Fixes #5796

Introduce the method fullIntArgRegMask()

This method returns the full integer argument register mask
that also include the fixed return buffer argument register.

Merge pull request #5931 from briansull/fix-crossgen-arm64

Fix for Arm64 crossgen break

enable GCWhere on PAL and fixed a bug in 859307b where it's missing a function in Linux

Fix test runner batch file to provide correct TPA path

Merge pull request #3484 from Dmitry-Me/fixBrokenCondition

Fix impossible condition

Merge pull request #5933 from prajwal-aithal/devel/arm-ci-script-fix

ARM-CI: Use CI cross build script in emulator

ARM-CI: Use CI cross build script in emulator

Previous PRs added the build commands to the groovy script.
But this did not work for various reasons.
The current patch makes the CI system execute the bash script
that does the cross build. The bash script is already supplied with the emulator

Signed-off-by: Prajwal A N <an.prajwal@samsung.com>

Merge pull request #5929 from BruceForstall/CleanUpPinvokeLowering

Clean up PInvoke lowering

Fix for Arm64 crossgen break

Remorphing a call with an x8 Return buffer arg asserts

Clean up PInvoke lowering

Mostly, add lots of comments.

Enable GT_CALL with long ret types for x86 RyuJIT

1) Enables genMultiRegCallStoreToLocal for x86 RyuJIT. Forces long return
types to be stored to the stack after returning from a call.

2) Update lvaPromoteLongVars to not promote a long if it is a multi reg
arg or ret.

3) Adds NYI for call arguments that are longs and contain adds or
subtracts. We are currently producing the wrong order of operations so
that we can push the argument immediately after performing the arithmetic.
We will do the hi adc/sbb before the carry bit has been set by doing the
lo operation.

4) Adds an NYI for morphing a node into a call node if the call will have
a long return type.

5) Moves the logic for forcing var = call() for calls with long return
types to lower::DecomposeNode().

Add regression test

Merge pull request #5926 from kyulee1/cmpxchg

ARM64: Skip CompareExchangeTClass Test

Merge pull request #5915 from BruceForstall/FgMorphArgsCleanup

Clean up fgMorphArgs

Merge pull request #5891 from rahku/arm64retbuf

Arm64:return buffer arg should be passed in x8

Merge pull request #5389 from parjong/fix/issue_5357

Run fgMorphCopyBlock for newly inserted assignment

Merge pull request #5871 from mikedn/modopt

Improve div/mod by const power of 2

Merge pull request #5925 from RussKeldorph/j32_issues

Fix syntax error in x86_jit32_issues.targets

Merge pull request #5904 from pgavlin/WalkTreePostExecutionOrder

Obey GTF_REVERSE_OPS in fgWalkTreePost.

ARM64: Skip CompareExchangeTClass Test

This test seems to fail often in CI. Disable it for now.

Merge pull request #5905 from sejongoh/group_jitstress_jobs

Move all JIT stress jobs into a sub directory on CI

Fix syntax error in x86_jit32_issues.targets

Merge pull request #5924 from wtgodbe/groovalicious

Run all tests under server GC during code coverage job

Run all tests under server GC

Merge pull request #5921 from JohnChen0/master

Disable a test case till issue #5501 is fixed

[SOS] [Linux] Fix incorrect symbol loading from portable pdb (#5896)

* Fix incorrect symbol loading from portable pdb

* Change return value to S_OK

Generate symbols packages for Windows CoreCLR binaries. (#5902)

* Generate symbols packages for Windows CoreCLR binaries.

Issue #5832.

* Add dll/exe back to symbol package.

Fix statement insertion point in GT_STORE_LCL_VAR decomposition

In some cases a newly created statement is inserted between the current statement and its embedded statements instead of being inserted after the current statement and its embedded statements.

Merge pull request #5919 from gkhanna79/FixCOC

Add Code of Conduct details to README.md

Disable a test case till issue #5501 is fixed

Optimize integer div/mod by const power of 2 in lowering

Optimizing GT_DIV/GT_UDIV/GT_MOD/GT_UMOD by power of 2 in codegen is problematic because the xarch DIV instruction has special register requirements. By the time codegen decides to perform the optimization the rax and rdx registers have been already allocated by LSRA even though they're not always needed (as it happens in the case of unsigned division where CDQ isn't used).

Since the JIT can't represent a CDQ instruction in its IR an arithmetic shift (GT_RSH) has been instead to extract the dividend sign. xarch's SAR is larger than CDQ but it has the advantage that it doesn't require specific registers. Also, arithmetic shifts are available on architectures other than xarch.

Example: method "static int foo(int x) => x / 8;" is now compiled to
mov      eax, ecx
mov      edx, eax
sar      edx, 31
and      edx, 7
add      edx, eax
mov      eax, edx
sar      eax, 3

instead of
mov      eax, ecx
cdq
and      edx, 7
add      eax, edx
sar      eax, 3

As a side-effect of this change the optimization now also works when the divisor is too large to be contained. Previously this wasn't possible because the divisor constant needed to be modified during codegen but the constant was already loaded into a register.

Example: method "static ulong foo(ulong x) => x / 4294967296;" is now compiled to
mov      rax, rcx
shr      rax, 32

whereas before a DIV instruction was used.

This change also fixes an issue in fgShouldUseMagicNumberDivide. The optimization that is done in lower can handle negative power of 2 divisors but fgShouldUseMagicNumberDivide handled those cases because it didn't check the absolute value of the divisor.

Example: method "static int foo(int x) => return x / -2;" is now compiled to

mov      eax, ecx
mov      edx, eax
shr      edx, 31
add      edx, eax
sar      edx, 1
mov      eax, edx
neg      eax

instead of
mov      eax, 0x7FFFFFFF
imul     edx:eax, ecx
mov      eax, edx
sub      eax, ecx
mov      edx, eax
shr      edx, 31
add      eax, edx

Add tests for integer div/mod by const

Clean up fgMorphArgs

Simplify a lot of the coding, especially related to non-standard arg and SysV struct arg handling.

Add Code of Conduct details to README.md

fix build break on ARM caused by f1889 (#5914)

Merge pull request #5913 from dotnet-bot/UpdateDependencies20160622051611

Updating External dependencies to beta-24222-00

Cleanup hardware exception handling (#5916)

Currently, we were checking for the exception address being in a marked jit
helper and unwinding to the caller context if it was there at two places.
Once in the HandleHardwareException to get context for the faulting exception
frame and once in DispatchManagedException to get the first managed frame.
This change modifies the code in HandleHardwareException to update the context
record in the exception itself so that we can leave out the same change in
the DispatchManagedException.
I have also added updating of the exception address in the exception record
so that the exception address is set to be in the managed caller of the helper.

Updating External dependencies to beta-24222-00

Merge pull request #5908 from briansull/Fix-Remorph-Call

Fix for Remorph of a call with nonstandard args

Merge pull request #5909 from dotnet-bot/from-tfs

Merge changes from TFS

Fix for Remorph of a call with nonstandard args

Fixing build break on x86 and arm.

[tfs-changeset: 1614031]

Merge pull request #3097 from vors/docx

Convert SOSAndICorDebug.docx to SOSAndICorDebug.md

Merge pull request #5900 from jashook/gc_stress_incompat

Set b14364 as gcstress incompat

Merge pull request #5898 from jashook/gcstress_timeout_update

Up the default timeout for GCStress

Merge pull request #5907 from Maoni0/stress_txt

updated stress run description

added a note about the reason why we ignore failures from tests in the stress run infrastructure

Move all JIT stress jobs into a sub directory on CI

Merge pull request #5903 from wtgodbe/groovester

Archive entire obj directory in coverage jobs

Archive entire obj directory

Merge pull request #5894 from Maoni0/seg_table

We need to have seg_mapping_table aligned on its natural alignement

Merge pull request #5899 from dotnet-bot/UpdateDependencies20160621051655

Updating External dependencies to beta-24221-00

Merge pull request #5892 from sejongoh/group_jitstress_jobs

Initial changes to move JIT stress jobs into jitstress directory on CI

Arm64:return buffer arg should be passed in x8

Generic dictionary minor performance improvement and simplification for R2R (#5690)

A set of refactoring changes to slighly improve the performance of generic dictionary access on R2R images, and simplifying the codebase:
    1) Removing dependency on CEEInfo::ComputeRuntimeLookupForSharedGenericTokenStatic (and deleting the API).
    2) Stop parsing the generic type/method signatures when generating the R2R dictionary lookup assembly stub.
    3) Avoid re-encoding the generic type/method signatures in a new in-memory blob using a SigBuilder  (signatures used directly from the R2R image)
    4) Moved the parsing/loading of type/method signatures to Dictionary::PopulateEntry()
    5) Dictionary index and slot number are now encoded in the generated assembly stub instead of the signature (stub takes a pointer to a data blob, which contains the signature, the dictionary index and slot, and the module pointer)

Merge pull request #5895 from briansull/UnboxingStub-Fix

Fix for generic unboxing stub with x8 return buffer argument

Merge pull request #5813 from mikedn/no-setflags

Remove useless gtSetFlags calls

Obey GTF_REVERSE_OPS in fgWalkTreePost.

This particular sort of tree walk should correspond to the
tree execution order.

Merge pull request #5885 from brianrob/docker_perf

Update Linux Tracing Instructions for Docker Containers

Set b14364 as gcstress incompat

This test is set to be excluded to in interal testing under gc stress.
Add that information here as well.