Merge pull request #2560 from AndyAyersMS/TestAttributionNote

Add note about attributions and licenses for 3rd-party originated tests

Merge pull request #2562 from sergiy-k/gccodefix

Fix incorrect merge in gc.cpp

Merge pull request #2559 from bartonjs/osx_openssl_requirements

Update OS X instructions to include upgrading OpenSSL

Merge pull request #2561 from mikem8361/fixtransport

Fixed issue #5109.  Console stops echoing typed keys after running coreclr.

Merge pull request #2557 from kyulee1/fixmessage

Fix help message in ildasm for Unix

Merge pull request #2518 from davmason/master

Merge the .Net Native and CoreCLR implementations of EventSource.

Merge the .Net Native and CoreCLR implementations of EventSource. This replaces a lot of the previous ifdefs in the ProjectN impelmentation with a partial class that is cleaner and easier to understand.

Remove some ifdefs that can be done in a better way and merge additional bug fixes that happened in the nuget package branch.

Refactor some code to eliminate ifdefs for projectN.

Refactor code so that the ProjectN support uses partial classes instead of ifdefs.

Round 2 of making sure everything compiles in CoreCLR and in ProjectN.

Add formatting to the debugger message that EventSource prints when an internal error happens.

Change null strings to be represented as empty strings in TraceLogging.

Remove some ifdefs that can be done in a better way and merge additional bug fixes that happened in the nuget package branch.

Change WriteEventString to use an anonymous struct instead of EventMessage.

Merge pull request #2552 from hoyMS/Bug2298

Fix for Bug 2298

Fix incorrect merge in gc.cpp

@Maoni0 noticed that there was one place in gc.cpp that was incorrectly
merged with code from other branches. This change fixes the problem.

Fixed issue #5109.  Console stops echoing typed keys after running a coreclr program.

The DbgTransportSession/TwoWayPipe code was closing handle 0 (stdout) because the DbgTransportSession class wasn't being zero init'ed via a memset. The TwoWayPipe code initialized the pipe handles to -1.  The fix is to reinitialized the TwoWayPipe by calling the constructor. Even though it is overkill also checked for 0 in the Disconnect code that closes the pipes.

Fix help message in ildasm for Unix

ildasm -h contains a few broken message like "[Undefined resource string ID:0xCC]"
This is because we converted .rc file to a string table and SyntaxCon() enumerate all message ids while some of ids are ifdefedd out under FEATURE_PAL.
The fix is to define all the missing ids with empty string.

And also the indention (prefixed space) are all ignored except one.
Our trick (in awk script) to extract expression ID is to iterate argument string ($i) while setting it
to empty string to effectively delete the argument.
Unfortunately this has side-effect that normalizes all spaces between arguments to one space string.
The fix is to explicitly extract string content from the original string $0.

Add note about attributions and licenses for 3rd-party originated tests

Update OS X instructions to include upgrading OpenSSL

Merge pull request #2517 from swgillespie/etw-python3

python3-ize the ETW setup scripts

Merge pull request #2541 from BruceForstall/BuildCmdCleanup

Improve and clean-up build.cmd

Fix for Bug 2298.

There is a noway assert in the lower assuming an GT_ARR_ELEM node cannot be a top expression node. This is not true.  We can have a top-level GT_ARR_ELEM. For example, a function call with a parameter of GT_ARR_ELEM can end up being simplified by the inliner to single GT_ARR_ELEM node if the function has an empty body.

The fix here is to remove the assert and use the GT_ARR_ELEM as the inserting point and remove the GT_ARR_ELEM later.

Merge pull request #2548 from ellismg/fix-en-us-posix-casing

Don't use Turkish casing for en-US-POSIX.

Merge pull request #2546 from AndyAyersMS/InlineTestCleanup

Remove some redundant inlining tests

Merge pull request #2529 from janvorli/fix-osx-build-with-new-cmake

Fix build on OSX with CMake version >= 3.4

Merge pull request #2543 from janvorli/fix-div-0-ovf-detection

Fix div by zero or overflow detection on Unix

Don't use Turkish casing for en-US-POSIX.

Previously, we were using a comparision between "i" and "I" (while
ignoring case) to figure out if we needed to do Turkish casing (on the
assumption that locales which compared i and I as non equal when
ignoring case were doing Turkish casing).

ICU Does tailoring of the en-US-POSIX locale and assigns different
primary wights to 'i' and 'I'. You can see this in the ICU Collation
Demo by looking at the raw collation elements. Different primary weights
mean they different letters, not the same letter with a difference in
casing (which is a trinary weight).

This changes the check to compare using an actual Turkish i when doing
our detection to not get confused by these cases.

Fixes #2531

Remove some redundant inlining tests

Improve and clean-up build.cmd

1. Change logging verbosity so there is much, much less noise on the screen. All the build output is still logged to a .log file.
2. Add separate .wrn and .err log files to capture warning and error output.
3. Add "skipmscorlib" option to skip the mscorlib build steps.
4. Add "skipnative" option to skip the native components build steps.
5. Change the "skiptestbuild" option to "skiptests" to match build.sh. Continue accepting "skiptestbuild" for backwards compatibility.
6. Change the "skipcoreclr" option in build.sh to "skipnative" to match build.cmd. Continue accepting "skipcoreclr" for backwards compatibility.
7. Add "msbuildargs" option to pass all remaining arguments directly to msbuild.
8. Add "sequential" option to build sequentially (disable parallel builds). One use: this simplifies reading the build logs.
9. Update the Usage output to be correct, and easier to understand.
10. Regularize script output; most lines now have a "BUILD:" prefix, so you know where they are coming from.
11. Restructure and simplified the script to be more readable and easier to modify in the future.
12. Added support for setting __echo=1 to see what the script is doing, line-by-line.
13. Added additional ways to view the usage screen (-? /h -h /help -help)

Fix div by zero or overflow detection on Unix

This change fixes a bug in the code that detects whether a division error
is a division by zero or arithmetic overflow. The code was incorrectly
handling instructions with the SIB byte, since the rm was or-ed with the
rex_r bit even for the case when there was a SIB byte, which in case
where the rex_r was set made it miss the SIB byte.

Merge pull request #2542 from wtgodbe/nightly2

Fixed build step, Priority 1 tests should now run nightly for OSX/Linux

One more fix for nightly run

Merge pull request #2533 from kyulee1/ildasmfix

Fix buffer overrun and _atoi64 in ildasm

Fix buffer overrun and _atoi64 in ildasm

PrettyPrintSigature allocates only 16 byte char array for prefix name, but the input string was synthesized from an 64 bit address -- szVarPrefix or szArgPrefix.
The maximum number of decimal digits for 64 bit value is 21, which overflows the allocated buffer.
Note actually ildasm even prepends '@' and appends '0' for the prefix name.
The fix is to declare MAX_PREFIX_SIZE as 32 and use it everywhere for the purpose.

This also fixes '_atoi64' which actually returns 32 bit value using '{PAL_}atol' in Unix.
Instead, I imports 'atoll' for the use of '_atoi64', which correctly converts string to 64 bit integer.

Merge pull request #2530 from pgavlin/ImportJITTests

Port more JIT tests.

Fix build on OSX with CMake version >= 3.4

The new CMake version 3.4 has split <FLAGS> into <FLAGS> <INCLUDES>, so the
assembler invocation was not passing include paths anymore.
This fix adds the <INCLUDES> to the CMAKE_ASM_COMPILE_OBJECT variable
in the root CMakeLists.txt.

Merge pull request #2516 from wtgodbe/nightly2

Fixed build step, Priority 1 tests should now run nightly for OSX/Linux

Merge pull request #2491 from AndyAyersMS/LinqBenchmark

Add a simple set of Linq benchmarks

python3-ize the ETW setup scripts

python3-ize LTTNG generating code

Port more JIT tests.

Most of these tests were blocked on unnecessary usage
of SerializableAttribute and Environment.ExitCode.

Merge pull request #1944 from JohnChen0/crossgen

Improve crossgen error when mscorlib is missing (issue 1889)

Merge pull request #2528 from janvorli/fix-docker-hang

Fix exception tracker popping in a corner case

Merge pull request #2521 from kyulee1/fixlong

Fix bad-codegen from ilasm

Fix exception tracker popping in a corner case

This change fixes exception tracker popping in case a managed exception is handled in
the CoreCLR native code. The current exception tracker has an empty scanned stack
range in that case and the existing code in the ExceptionTracker::PopTrackers was
skipping the popping in such case, considering it a case when an exception happened
while the exception tracker was being setup.
Adding check that the tracker is in the first pass to that condition fixes the problem,
since when the tracker is in the second pass, it cannot be the case in which the PopTrackers
wanted to skip the popping.
The tracker is then popped correctly in the code below.

I have also reverted a fix for the exception from filter which was conflicting with this
fix and this fix fixes the problem of the exception from filter too.

Improve crossgen error when mscorlib is missing (issue 1889)

When mscorlib is missing, crossgen reports a "file not found" error,
without indicating which file is missing. This makes it hard to discover
the actual error. This commit improves error reporting in such cases.

Merge pull request #2523 from jkotas/r2r_gettype

Fix compilation of Object.GetType intrinsic in ReadyToRun mode

Merge pull request #2446 from jashook/legacy_backend_excludes

Add x86 legacy backend exclusions.

Merge pull request #2506 from mikedn/staticwalk

Make JIT's fgWalk*Rec functions static

Fix compilation of Object.GetType intrinsic in ReadyToRun mode

In ReadyToRun mode, the method entrypoint to call is always given to the JIT via getCallInfo. GenTreeIntrinsic was dropping this entrypoint that caused methods that use Object.GetType intrinsics to fail to compile in ReadyToRun mode. It is a fatal error in CoreRT because of there is no fallback to JIT at runtime.

The fix is to pass this entrypoint around in GenTreeIntrinsic.

Added a test case in the ReadyToRun unit test.

Add a simple set of Linq benchmarks

Fix bad-codegen from ilasm

Switch target should be 4 byte instead of 8 byte.
In Windows, size of long is same as size of int which is 4 byte, but this is 8 byte in Unix.

Fixed build for Pri1

Merge pull request #2474 from gkhanna79/FixArm64

Arm64 build fixes

Merge pull request #2513 from taylorjonl/call-to-sqrt-is-ambiguous

Fix "call to 'sqrt' is ambiguous" error when building on SunOS

Fix "call to 'sqrt' is ambiguous" error when building on SunOS

Building on SunOS will fail with the message of "call to 'sqrt' is
ambiguous" because it can't determine the type of the constant value
passed to it. This change adds a cast to a double because every usage
uses this data type

Merge pull request #2461 from LLITCHEV/GetTypeIntrinsic

Fix a bug in morphing GT_COMMA with op1 being the new GetType() intri…

Merge pull request #2505 from mikedn/deadcode

Remove dead code from JIT's earlyprop.cpp

Merge pull request #2504 from mikedn/4044again

Fix LNK4044 again

Merge pull request #2503 from mikedn/4221again

Disable LNK4221 again

Merge pull request #2498 from taylorjonl/smartos

Fixed issue where files in /opt/local/include are not found and LTTng is required on SmartOS

Merge pull request #2496 from kyulee1/round2

Enable ilasm round trip test for xPlatforms

Fix a bug in morphing GT_COMMA with op1 being the new GetType() intrinsic.

The GetType intrinsic is side effect free and the morphing of GT_COMMA is
optimizing out side effect free op1a. The native implementation of GetType
- NativeObject::GetClass - can throw NullReferenceException and such
optimizing the call out is illegal in such case. Also added GTF_EXCEPT
to the intrinsic node to note the other optimizers that the call can
throw an exception.

The coreclr and corefx tests passed. Also minimal, correct asmdifs. The
daily tests passed as well.

Make  JIT's fgWalk*Rec functions static

The compiler object is already available via  fgWalkData and is only needed in debug builds to call gtDispTree. Given that these are recursive functions and have many callsites it seems useful to minimize the number of function parameters.

Remove dead code from JIT's earlyprop.cpp

Fix LNK4044 again

This was fixed in #2310 and the fix was accidentally reverted in #2244 and #2425

Disable LNK4221 again

Linker warning 4221 was disabled in #2320 and was accidentally reenabled in #2244

Fixed issue where CMAKE couldn't identify SunOS processor type

Enable ilasm round trip test for xPlatforms

1. Enable CLRTest.Execute.Bash.targets similar to CLRTest.Execute.Batch.targets.
2. _IlasmSwitches uses '-' instead of '/'
3. Disable optimization on the prebuilt asmparse.c due to https://github.com/dotnet/coreclr/issues/2305

Fixed issue where files in /opt/local/include on SunOS
Modified to not require LTTng on SunOS

Merge pull request #2497 from wtgodbe/nightly2

Priority 1 tests for OSX & Linux x64 Release builds should now run daily (fixed)

Merge pull request #2494 from ramarag/incremenatal_build

Enable Incremental build

message

Merge pull request #2495 from AndyAyersMS/LockJson

Actually lock the project.lock.json

 Enable Incremental build For Generated Files

Disable serialization benchmarks for non-windows

Temporarily disable these until we can sort out what goes wrong on some of the test machines.

Merge pull request #2487 from kyulee1/round

Enable ildasm/ilasm round trip testing

Actually lock the project.lock.json

Hopefully this clears up some test issues on ubuntu with the serialization benchmarks.

Enable ilasm round trip testing

This enables ilasm round-trip testing for Windows.
In order to test il{d}asm on xPlatforms, I injected ilasm round trip before executing the test.
This means this step is a part of the runtest not the buildtest -- unlike runtest, currently buildtest is only on Windows.
1. Test batch file is extended to run ildasm followed by ilasm.
2. BuildTest has now an optional flag "ilasmroundtrip" to enable the round-trip tests. Note under this flag, we run both the original binary and the round-trip binary respectively.
3. Test timeout is increased since the round-trip is part of runtime.
4. Did some clean-up on CLRTest.Execute.Batch.targets
5. Bail out the round-trip tests that are built against mscorlib instead of .Net Core.
6. Added /raweh to ildasm due to https://github.com/dotnet/coreclr/issues/2481
7. ilasmroundtrip.targets (~10 tests) are added to enable them by default in a regular test run.

Tested with enabling the entire tests (>5K tests) with 'ilasmroundtrip' on, which should be on in a daily or weekly stress mode.

Merge pull request #2493 from dotnet-bot/from-tfs

Merge changes from TFS

Add .gitmirrorall directive

[tfs-changeset: 1560604]

Merge pull request #2490 from wtgodbe/nightly2

Priority 1 tests should run nightly for OSX and Linux

Priority 1 tests should run nightly

Incorporate PR feedback

Merge pull request #2464 from ramarag/event_logging_automation

Automating Event Logging Infrastructure

Merge pull request #2456 from AndyAyersMS/SerializeBenchmark

Simple serialization benchmarks

Merge pull request #2476 from kyulee1/ilasmpermission

Using ilasm for test population

Simple deserialization benchmarks

As with the simple serialization benchmarks, these tests are intended to stress aspects jit code quality and are not meant to compare various deserialization approaches.

Simple serialization benchmarks

Benchmarking a few serialization methods. Not really trying to compare them, just setting things up to see how well the JIT does at each.

Merge pull request #2477 from kyulee1/wrapper

Common Globals for TestWrapper

Merge pull request #2475 from kyulee1/fixilasm

Fix assertion in ilasm

Common Globals for TestWrapper

Individual test in test wrapper initializes and gets the same globals from environment variables.
This increases not only wrapper size but also runtime overhead when running multiple tests.
This refactors this common part out as _Globals so that each test just accesses it.

Automating Event Logging Infrastructure: With this change the infrastructure required for Event Logging
will be generated as part of build

Using ilasm for test population

This enables the use of ilasm from CoreCLR build to populate il tests instead of using a stock ilasm on Windows desktop.
Note currently we populate tests (even for xPlatforms) on Windows only.
But when we migrate this test population on xPlatforms, this can be simply used as well.
All permission related attributes are dropped which CoreCLR ignores anyhow. Or ilasm will fail to parse such attributes.

Fix assertion in ilasm

This is a simple fix for incorrect assertion.
Assertion location is changed and dwErrorIndex is zero-initialized.
ilasm on coreclr does not handle permission set/security attribute which coreclr does not support.
So, such attempt will end up with emitting error on coreclr instead of failing to assert.

Arm64 build fixes

Merge pull request #2471 from dotnet-bot/from-tfs

Merge changes from TFS

Fix build break in internal arm64 build

[tfs-changeset: 1559946]

Merge pull request #2469 from dotnet-bot/from-tfs

Merge changes from TFS

Fix build breaks in internal x86 and arm builds

[tfs-changeset: 1559929]

Follow up fixes and cleanup for GC refactoring

[tfs-changeset: 1559927]

Merge pull request #2465 from jkotas/rename

Unify casing of tests\src\JIT\jit64\eh\FinallyExec

Unify casing of tests\src\JIT\jit64\eh\FinallyExec

Merge pull request #2244 from janvorli/gc-interface-refactoring-new

GC OS interface refactoring

GC OS interface refactoring

This change replaces all calls of OS specific functions in the GC by a call to
a platform agnostic interface. Critical sections were abstracted too.
The logging file access was changed to use CRT functions instead of Windows specific APIs.
A "size" member was added to the card_table_info so that we can pass the right
size to the VirtualRelease method when destroying the card table.
I have also fixed a bug in the gc_heap::make_card_table error path where when VirtualCommit
failed, it called VirtualRelease with size that was not the reserved size, but
the committed size.
Other related changes
- All interlocked operations moved to Interlocked class as static methods
- Removed unused function prototypes
- Shuffled stuff in the root CMakeLists.txt to enable building the GC sample using the
  settings inherited from the root CMakeLists.txt and to clean up some things that have
  rotted over time, like the FEATURE_xxx macros not being in one alphabetically ordered
  block
- Fixed the VOLATILE_MEMORY_BARRIER macro in the gcenv.base.h
- Replaced uint32_t thread id by EEThreadId
- Removed thread handles storage (g_gc_thread) from the GC. The thread handle is closed right after the thread is launched. That allowed me to get rid of the GCThreadHandle
- Renamed the methods of the EEThreadId to be easier to understand
- Moved the gcenv.windows.cpp and gcenv.unix.cpp to the sample folder

Merge pull request #1452 from akoeplinger/dictionary-duplicatekey

Dictionary: include the key in the "duplicate key" exception message

Merge pull request #2463 from kyulee1/fixinf

Fix for special number handling in ildasm