Merge pull request #6964 from BruceForstall/Finish6940

Re-enable test DevDiv_255263

Merge pull request #6963 from smile21prc/coreclr-perf

Rename the script and add debugging steps.

Merge pull request #6961 from dotnet-bot/from-tfs

Merge changes from TFS

Merge pull request #6913 from adiaaida/formattingJob

Add Formatting job

Re-enable test DevDiv_255263

I forgot to re-enable this test when fixing #6940.

1. Rename the script to the shell type.
2. Added a few lines for debugging.

Fix file descriptor leak on PAL_IsDebuggerPresent (#6958)

Merge pull request #6946 from BruceForstall/Fix3597

Change RyuJIT/x86 GC encoder to handle LSRA flexibility

Cleanup/optimize some String.Compare overloads, part 2 (#6891)

* Change signature of CompareOrdinalEx and move arg validation to the call sites
* Change thrown param name from count -> length
* Rename nativeCompareOrdinalEx -> CompareOrdinalHelper

Merge pull request #6949 from BruceForstall/Fix6940

RyuJIT x86: Fix initblk with unrolled loop and constant fill

Merge pull request #6947 from BruceForstall/Fix6097

Fix #6097

Merge pull request #6948 from BruceForstall/Fix4992

Fix #4992

RyuJIT x86: Fix initblk with unrolled loop and constant fill

The computed fill value was only using the low 8 bytes of the
xmm register; we need it to fill the entire 16 byte register.

Fixes #6940

Fix #4992

These tests no longer fail, so re-enable them.

Fix #6097

The tests no longer fail (were previously fixed, possibly by LIR work).
Re-enable the related tests.

Add missing link to crossgen doc in glossary

Change RyuJIT/x86 GC encoder to handle LSRA flexibility

LSRA allows a variable to have multiple registers over its lifetimes.
The x86 GC encoder did not understand this. It turns out the non-x86
encoder already had fixed this logic in its own copy of the logic.
This change simply checks the lvRegister and lvOnFrame variables
correctly for LSRA.

Fixes #3597

Merge pull request #6938 from CarolEidt/Fix255263

Fix DevDiv bug 255263

Script to enable coreclr perf run on Linux.

Merge pull request #6937 from adiaaida/x86Jobs

Enable stress jobs on x86 ryujit

Merge pull request #6919 from mellinoe/new-distro-pkgprojs

Add pkgproj's for openSUSE 42.1 and Ubuntu 16.10

Enable stress jobs on x86 ryujit

We want to be able to run jitstress, gcstress, etc. jobs on ryujit to
monitor our progress. This change adds additional vars to be written to
the TestEnv script for jitstress jobs.

Merge pull request #6908 from swaroop-sridhar/retKind

GcInfo: Don't use slim header for methods with struct-returns

Fix DevDiv bug 255263

This issue arose because we were not considering punpckldq as
one of the 3-operand AVX instructions (which require us to duplicate
the source register when encoding an SSE 2-operand form).
This bug showed up in managed C++, so the test is in IL.
The test is failing in RyuJIT/x86, so issue #6940 has been opened,
and it is disabled for x86.

Merge pull request #6914 from echesakov/ValueNumberingAssertFix

Bug fix: fgOptimizeBranch loses bbFlags while duplicating the conditional block

fgOptimizeBranch loses bbFlags while duplicating the block #6886

1. When `fgOptimizeBranch` procedure duplicates the conditional basic block it does
not copy flags of the `bDest` block to the `bJump` block. For example, if a flag
`BBF_HAS_NEWOBJ` was set in `bDest`, but not in `bJump` when the branch optimization
is done the `bbFlags` of `bJump` will not reflect the fact that we have new object
construction in this block.

2. In `DEBUG` always check if `bbFlags` has `BBF_HAS_NEWOBJ` flag set if at least one
`GT_ALLOCOBJ` canonical node found. This helps to identify situations when compiler loses `BBF_HAS_NEWOBJ` flag.

Implement the IEquatable interfaces on IntPtr and UIntPtr (#6921)

Make GetHRForException to return e.HResult on non-Windows platforms (#6929)

Fixes https://github.com/dotnet/corefx/issues/11144

Merge pull request #6926 from jashook/arm32_ci_update

Incremental progress addressing #6676

Incremental progress addressing #6676

This change is based upon #6910 by sjsinju to fix the arm emulator
running out of space. It changes uses the /opt folder on the main
system drive to /mnt which has a larger local disk.

Move groovy logic to python script

Avoid unnecessary indirection in char.ToString (#6903)

Avoid unnecessary indirection in char.ToString

Add pkgproj's for Ubuntu 16.10

Add pkgproj's for openSUSE 42.1

Fix build break. checkin done by tarekms

[tfs-changeset: 1624179]

Merge pull request #6923 from dotnet/revert-6910-sjsinju_devel

Revert "ARM-CI : Fix ARM Emulator vm runs out of space"

Revert "ARM-CI : Fix ARM Emulator vm runs out of space"

ARM-CI : Fix ARM Emulator vm runs out of space (#6910)

Now, ARM Emulator failed by out of space on tests (6676)
To resolve, a temp folder in the job's workspace is binded to /tmp. and then 'runtest.sh' would be run by some directories binded from /tmp.

Improve perf of Encoding.GetEncoding(int) (#6907)

`Encoding.GetEncoding(int)` caches encoding instances in a `Hashtable`.
This involves locking and boxing the codepage (potentially multiple
times). For the encodings that are already cached in static fields
(e.g. UTF8, Unicode, ASCII, etc.), this is unnecessary overhead --
these instances do not need to be stored in the `Hashtable` because
they are already stored in static fields.

It turns out the only instance that would be stored in the
`Hashtable` in CoreCLR is UTF32BE. Thus, on CoreCLR, we can remove the
use of the `Hashtable` altogether, and instead store the UTF32BE
instance in a static field. This means the `Hashtable` static field,
lock object, and box allocations go away entirely on CoreCLR.

We now check for the encodings that can be cached in static fields in a
switch statement up-front. On Desktop, it then falls back to doing the
`Hashtable`-based lookup/storage, and only boxes codepage once.

Fix build break. this checkin done by tarekms

[tfs-changeset: 1624145]

Put back Open key signing on the SOS.NETCore assembly. (#6905)

Fix failure in SOS if System.Reflection.Metadata is missing.

Add Formatting job

This change adds the Windows and Ubuntu formatting jobs to the lab, and
makes them requestable. This also enables them to be run on push. The
jobs do the following:

On Windows:

- Build the Checked/Debug/Release builds as usenmakemakefiles, which
  is a configureonly option (so won't do a full build)
- Download the bootstrap script for jitutils
- Download the correct version of dotnet cli
- Run the bootstrap script
- Run jit-format for Windows_NT Checked/Debug/Release
  dll/standalone/crossgen configurations

On Ubuntu:

- Build release, checked, debug builds of coreclr in configureonly mode.
  This will only run cmake and generate the compile_commands.json
- Install the correct version of dotnet cli
- Install the bootstrap script for jitutils
- Run the bootstrap script
- Run jit format over all configurations for Ubuntu (release, checked,
  debug x dll, standalone, crossgen)

Merge pull request #6909 from kouvel/Api

Expose constructor with argument for safe handle types instead of con…

Merge pull request #6898 from benaadams/semaphore-timeout-0

Semaphoreslim, fail faster for timeout 0

SemaphoreSlim, fail faster for timeout 0

Expose constructor with argument for safe handle types instead of constructor without argument

Fix security annotation

[tfs-changeset: 1624088]

Cleanup/optimize many string.Compare overloads, part 1 (#6603)

Cleanup, optimize some String.Compare overloads

Remove idiv from ThreadPoolWorkQueue:Dequeue loop (#6781)

GcInfo: Don't use slim header for struct-returns

This checkin has two changes:
1) Add a check to ensure that methods with struct-returns are
use the fat header which encodes ReturnKind in 4 bits.
2) Fix a bug in GetReturnKind().

Merge pull request #6883 from gkhanna79/WinArm32

Enable Windows Arm32 build

Better lazy initialization for Encoding static properties (#6890)

Better lazy initialization for Encoding static properties

Remove extra TypeForward from facade to fix ConfiguredTaskAwaiter (#6899)

Fix #3554. (#6880)

On x86, `emitter::emitInsBinary` was calling `genProduceReg` on the
`dst` tree if the source was a contained class field load and the
destination was a register. As per the comment on the offending
function, it is the caller's responsibility to call `genProduceReg`
for the destination register, if any. This was causing errors in
GC ref reporting on x86. This issue did not appear on x64 because
AFAICT we very nearly always morph class field loads into loads of
a `CNS_INT` handle (see morph.cpp:6344 in `fgMorphField` for
details).

Add single separator String.Split overloads (#895)

Merge pull request #6859 from adiaaida/addNMakeOption

Update build to optionally configure with nmake

Update build to optionally configure with nmake

For formatting, we want to be able to obtain the compile_commands.json
file so that we do not have to 1) do a full build of coreclr and 2)
generate it ourselves from the build log. This change modifies build.cmd
to take an option "usenmakemakefiles." This option will set
__NMakeMakefiles to 1, which is used by the gen-buildsys-win.bat script.
This option also sets all the same options as configureonly, as we cannot
do a full build using NMake Makefiles, and we only want to use this to
force CMake to generate a compile_commands.json file for the jit
directory, which it can do using NMake Makefiles, but not Visual Studio.
The update to gen-buildsys-win.bat checks the value of __NMakeMakefiles,
and if it is set to 1, it sets the CMake Generator to NMake Makefiles.

Merge pull request #6896 from dotnet-bot/from-tfs

Merge changes from TFS

Disabling test against issue 6553 (#6895)

Allow Ubuntu 16.10 to use MSBuild (#6897)

Handle multi-reg PUTARG_STK nodes. (#6870)

* Handle multi-reg PUTARG_STK nodes.

When FEATURE_MULTIREG_ARGS is true, a GT_PUTARG_STK node may have a
GT_LIST as a child if the child was originally a multi-reg argument.
Handle this case in `GenTreeUseEdgeIterator`.

Fixes #6583.

* Update the bug number for some ARM64 failures.

These tests are now failing due to a differnt bug.

Merge pull request #6894 from adiaaida/morphingLongCall

Remove NYI for helper calls with long return types

Some minor changes.

Merge pull request #6887 from BruceForstall/Fix6588a

Fix local var ref counts in IND/STOREIND decomposition

Merge pull request #6866 from tarekgh/GlobalizationPorting1

Enable more code under globalization for netcore

Fix full framework build

[tfs-changeset: 1623920]

Remove NYI for helper calls with long return types

The LIR changes fixed the bug in the decomp and the dumper for morphing
nodes into helper calls with long return types, so this NYI can be
removed.

Merge pull request #6882 from rahku/arm64tests

ARM64: update tests.lst

Initial commit to build Win32 Arm CoreCLR

Merge pull request #6851 from ramarag/unifytestbuild

Changing The way Coreclr Test Builds

Merge pull request #6885 from BruceForstall/FixLIRComments

Fix DecomposeStoreInd comments

Merge pull request #6869 from joperezr/AddingTimeZone

Adding System.TimeZone

Module.Name: Avoid unnecessary char[] allocation (#6865)

Instead of `new string(s.ToCharArray(), i + 1, s.Length - i - 1)`, use
the simpler `string.Substring(i + 1)` to avoid the unnecessary
intermediate char[] allocation.

DateTimeFormat: Avoid intermediate char[] allocation (#6863)

An unnecessary intermediate char[] allocation can be avoided by calling
`new string(c, 1)` instead of `new string(new char[] { c })`.

Allow to use clang 3.9 in build.sh (#6888)

Can be found e.g. in Debian Sid.

  Infra changes to unify the  tests to be built against a common project.json.
   1. tests\src\Common\test_dependencies\project.json - To consume corefx and other nuget feeds

   2. tests\src\Common\empty\project.json - To build against the mscorlib facade,to use this just Add
            <ReferenceLocalMscorlib>true</ReferenceLocalMscorlib> to your project

Cosmetic changes, removing unnceseary files and entries in project files.
    Unifying the way project referring mscorlib facade builds

Disable downloading xplat binaries as we no longer need to build these packages in razzle. (#6871)

[tfs-changeset: 1623740]

Fix local var ref counts in IND/STOREIND decomposition

When creating new references to a local variable in long decomposition,
the variable reference count must be incremented.

Fixes #6588

Fix DecomposeStoreInd comments

update tests.lst

Moving baseservices tests to use uber project.json

Bulk moving Tests to use uber project.json

Moving GC tests to use uber project.json

Merge pull request #6873 from BruceForstall/Fix6180

Reenable tests

Merge pull request #6878 from terrajobst/master

Add section on how to file security bugs

Enable more code under globalization for netcore
This fix is to enable the code handling LCID for Windows in globalization namespace

Add section on how to file security bugs

Stop maintaining costs in fgSimpleLowering. (#6872)

This was causing a few asserts on x86.

Merge pull request #6868 from mmitche/disable-node-reuse

Disable node reuse

Merge pull request #6858 from adiaaida/fixBuildsh

Fix ConfigureOnly option in build.sh

Reenable tests

The tests disabled due to the assert in #6180 no longer fail
(possibly as a side-effect of the LIR backend changes?), so
reenable them.

Disable node reuse

Merge pull request #6815 from rahku/apicompat

Expose MulticastDelegate.GetObjectData method

Add missing .gitmirror file. (#6864)

[tfs-changeset: 1623730]

Adding System.TimeZone

Fix the ninja build for FC23. (#6861)

Fedora installs ninja under the name `ninja-build` rather than `ninja`.

Stop maintaining cost estimates in the RyuJIT backend. (#6849)

* Summarize HIR cost estimates on Compiler.

These cost estimates are made on HIR and are not used by the backend.
Stash them before converting the function to LIR and report them at the
end of compilation.

* Stop maintaining costs in the backend.

The backend does not use the tree cost estimates.

* Remove a bit more cost maintenance.

* Address PR feedback.

Merge pull request #6852 from BruceForstall/Disable4702

Conditionally disable C4702 "unreachable code" warnings

Fix ConfigureOnly option in build.sh

ConfigureOnly is intended to run the CMake to configure the build, but
nothing else. However, when you passed configureonly to build.sh, it set
__SkipConfigure=1, which made it skip the configure step of the build.
This change fixes that by removing that option from the options set my
configureonly, and adds a check right after configure and right before
running the build to exit if we are only configuring.