More robust escaping of $in, $out paths

In summary: don’t escape if the path doesn’t contain problematic characters, otherwise:
- Shell: enclose string in single quotes, escape embedded single quotes with the magic quote-backslash-quote sequence
- Win32: Escape double quotes by doubling the number of consecutive backslashes that precede them (if any) and adding one more. Finally, double the number of trailing backslashes, and enclose the whole thing in double quotes.

Merge pull request #691 from TheOneRing/fix-msvc13

fixed platform_helper.py msvc_needs_fs test for python 3

fixed platform_helper.py msvc_needs_fs test

Merge pull request #688 from ndmitchell/master

Fix up platform_helper for MSVC

Fix up platform_helper for MSVC, with Python 2.6.8 the arguments have to be in a list, not space separated (unless you set Shell to true)

Merge pull request #683 from nico/ruletest

Add a test that shows that there is a single global namespace for rules.

Add a test that shows that there is a single global namespace for rules.

Merge pull request #682 from nico/pep8

Wrap to 79 colums. No functionality change.

Wrap to 79 colums. No functionality change.

Merge pull request #674 from nico/style

Minor style fixes. No functionality change.

Minor style fixes. No functionality change.

Merge pull request #665 from syntheticpp/localized-showinclude

add deps_prefix for localized /showIncludes' output parsing

add deps_prefix for localized /showIncludes' output parsing

Merge pull request #671 from sgraham/compile-vs2013

Fix compilation on VS2013

Fix compilation on VS2013

mark this 1.4.0.git, update RELEASING

Merge pull request #657 from sgraham/keeprsp2

add -d keeprsp to preserve @rsp files on success on windows

add -d keeprsp to preserve @rsp files on success on windows

Merge pull request #655 from nico/simp

Simplify.

Simplify.

Merge pull request #654 from rgeary1/buildTestFix

Fix for build test for BuildWithDepsLogTest.RestatMissingDepfileDepslog

Fix for build test for BuildWithDepsLogTest.RestatMissingDepfileDepslog

Merge pull request #653 from nico/msg

Make depslog v1->v3 message less scary.

Make depslog v1->v3 message less scary.

See the comment 5 lines up for details.

Merge pull request #650 from nico/simplify

Simplify.

Simplify.

Merge pull request #649 from nico/fff

Delete a line I failed to delete in d7a46654a7be1.

Delete a line I failed to delete in d7a46654a7be1.

Merge pull request #648 from nico/landmaxim

Land the majority of pull request #608.

Fix restat rebuild if deps are missing.

Fixes issue #603.

Apparently, the problem was caused by my fix r "consider target dirty if
depfile is missing" (bcc8ad1), which was not working correctly with
restat rules cleaning nodes.  Switching to deps only triggered an easily
observable issue.

Fix by setting a flag in edges with invalid deps, and not cleaning edges
with that flag set.

Share more code between CleanNode() and RecomputeDirty().

Move a common loop into the new function RecomputeOutputsDirty().
Simplifies things a bit, and makes it harder for the restat path to have
different behavior from the regular path.

No dramatic behavior change (the restat path now also calls
RestatIfNecessary()).

Check depslog timestamp in LoadDepsFromLog(), not in RecomputeOutputDirty().

RecomputeOutputDirty() is called from two places:

1. RecomputeDirty(), which calls LoadDeps().
2. CleanNode(), which always passes 0 for the deps mtime.

So this is no behavior change in either case.

deps_mtime was nonzero only in deps mode, and it got passed all over the
place.  This makes things simpler.

Merge pull request #647 from bmeurer/SimplifyGetProcessorCount

Simplify implementation of GetProcessorCount().

Simplify implementation of GetProcessorCount().

The current implementation is unnecessarily complex, because:

- The BSD derived systems implement sysconf(_SC_NPROCESSORS_ONLN)
  in terms of sysctl({CTL_HW,HW_NCPU}).
- get_nprocs() is a GNU extension, and glibc implements
  sysconf(_SC_NPROCESSORS_ONLN) in terms of get_nprocs().

Merge pull request #645 from nico/maximfix

Fix an issue with more than 64k deps, spotted by maximuska.

Fix an issue with more than 64k deps, spotted by maximuska.

Also add a test for this case, which would have spotted the issue too.

Merge pull request #644 from nico/v3

Deps log format v3

document an assumption

Deps log format v3

This fixes two bugs.

1.) It makes the record size field 4 byte instead of 2, and allows a max
    record size of 512kB. This fixes #605, ninja "only" supporting 8k
    dependencies per file -- 512kB have room for 128k dependencies. (If that's
    still not enough, the current design can support at least 4x that if the
    constant is tweaked.)

2.) It makes all records 4-byte aligned, which is probably needed to make the
    `reinterpret_cast<int*>(buf)` work on SPARC (cf issue #481), and it's
    generally nicer too. (Since there's already one reinterpret_cast, convert
    a memcpy() to reinterpret_cast in another branch too).

Merge pull request #642 from nico/depslogidx

Suffix depslog path records with their expected index.

Suffix depslog path records with their expected index.

ninja assumes that numbering path entries in the deps log in order produces
valid dense integer ids.  If two ninja processes write to the same deps log
concurrently, this is not true.  Store the expected indices of path records
in the log and treat the rest of a deps log as invalid if the dense id of a
path record doesn't match the expected id stored in the log.  Addresses the
rest of issue #595.

This requires bumping the deps log file format version.  Do not migrate the
old version to the new, as the old format did not have this protection, and
might hence contain invalid data.  (Unlikely, but possible.)

Also store the record id as one's complement, to make them look less like
regular deps record values.  Since each record is written atomically this
isn't really necessary, but it makes the format somewhat more robust (and
easier to read in a hex editor).

Merge pull request #641 from nico/ocd2

Minor style fixes, no behavior change.

Minor style fixes, no behavior change.

Merge pull request #628 from rnk/wstr

Use fwrite in the msvc tool instead of printf

Merge pull request #640 from nico/edgetest

Add a test for issue #638.

Add a test for issue #638.

Merge pull request #639 from rgeary1/StatusMessageFix

Fix for #638 incorrect number of total edges in the status message

Fix for incorrect number of total edges in the status message

Merge branch 'master' into wstr

Avoid indexing into an empty string.

Merge pull request #635 from johan/patch-1

Proof reading

Proof reading

Merge pull request #633 from rgeary1/NestedPhonyPrintsDone

Fix : Pure nested phony rules do not print "no work to do"

Fix for missing "no work to do." message if all build edges are phony rules.
Added NestedPhonyPrintsDone unit test

Add to .gitignore : SublimeText project files, *.patch files, ..ninja_deps, .ninja_log

Merge pull request #631 from kimgr/master

Fix tabs/spaces inconsistency.

Fix tabs/spaces inconsistency.

Merge pull request #627 from idealisms/master

Fix the browse tool.

Use fwrite in the msvc tool instead of printf

This allows wide characters from the compiler to propagate through the
msvc tool.  Similar to ad76e867f782e75e0fed620e7b39f7099af154a9.

Fix the browse tool.

ReadFlags was altering argv in real_main causing us
to pass the wrong value into the NinjaMain constructor.
Fix this by storing the ninja command before real_main
runs.

Merge pull request #626 from nico/logwrite

Build log write error checking.

Build log write error checking.

Like f6f00aa40f0c541df06, but for the build log instead of the deps log.

Merge pull request #612 from maximuska/proposed/deps_log_write_errors_checking

Proposed/deps log write errors checking

Merge pull request #625 from nico/land

Merge pull request #617.

Add test for correct restat logic

When a single output of an edge is dirty, the restat check should
leave all outputs of that edge dirty.

Fix restat dirty check logic for edges with multiple outputs

In a normal dependency scan (see DependencyScan::RecomputeDirty) we mark
all outputs of an Edge as dirty if any of the outputs is dirty.  This is
the correct behavior because if any output is dirty, we will run the
command for that Edge and that can touch any of the outputs of the Edge
and so all the outputs should be marked dirty.

When updating the dirty state of Node's for a restat check, we were not
applying this logic, instead only those outputs that were actually
"dirty" were marked dirty.

Before this patch, restat edges with multiple outputs caused not all
dependent edges to run.

Merge pull request #624 from nico/landmaxim

Land the first two commits of pull request #608.

minor: removing noop call to MarkDirty(), fixing comment

Removing a redundant stat() call with 'deps' and 'restat = 1'

Merge pull request #623 from nico/fix

Fix diagnostic formatting regression caused by adaa91a33eb2cf23b88.

Fix diagnostic formatting regression caused by adaa91a33eb2cf23b88.

Ninja regressed to include a location for every file on the include stack for
nested diagnostics, i.e. it would print:

  input:1: include.ninja:1: expected path

Fix this so that it prints only the current file location, like it used to:

  include.ninja:1: expected path

Also add a test for this.

Merge pull request #622 from nico/test

Add test for a manifest ending in the middle of a keyword.

Add test for a manifest ending in the middle of a keyword.

Merge pull request #621 from nico/ninjaload

Reuse ManifestParser::Load() in ManifestParser::ParseFileInclude().

Add back contents.resize(), but with a comment and just 1 instead of 10.

Let the ".ninja parse" metric include the time to read the toplevel ninja file.

Loads of included ninja files were covered by the ".ninja parse" in Parse()
further up the stack from the toplevel file, but the load of the toplevel
file wasn't counted. Fix that.

Reuse ManifestParser::Load() in ManifestParser::ParseFileInclude().

ParseFileInclude() was doing the work that Load() was doing. Instead, just
make it call Load().

Also, remove a FIXME about using ReadPath() in ParseFileInclude() -- it's
already being used. (The FIXME was added in the same commit that added the
call to ReadPath() -- 8a0c96075786c19 -- it probably should've been deleted
before that commit.)

Also, remove a `contents.resize(contents.size() + 10);`. It's not clear what
it's for, but if it was important then ManifestParser::ParseFileInclude()
would have needed that call too, and it didn't have it.

No intended behavior change.

Merge pull request #616 from nico/recompact

Add a 'recompact' tool, which forces recompaction of the build and deps ...

Merge pull request #614 from nico/pooldoc

Mention pools in the discussion of ninja's toplevel declarations.

Merge pull request #611 from nico/testparse

Improve error message for duplicate rules and unknown pools.

Introducing tool 'deps' dumping ninja deps log entries

Add a 'recompact' tool, which forces recompaction of the build and deps logs.

This is useful for performance comparisons between two build directories.

Merge pull request #615 from mdempsky/strict-murmur

Fix murmur hash implementations to work on strict alignment architectures

Fix murmur hash implementations to work on strict alignment
architectures like OpenBSD/mips64el and OpenBSD/hppa64.

Mention pools in the discussion of ninja's toplevel declarations.

Improve error message for duplicate rules and unknown pools.

Also add more tests for invalid manifests. According to gcov, these invalid
inputs weren't tested before.

Merge pull request #610 from rnk/wstr

Use fwrite to print whatever the subcommand wrote

Use fwrite to print whatever the subcommand wrote

Subcommands can write things like UTF-16, which some terminals can
understand.  printf() will interpret the null bytes as the end of the
string.

In particular, MSVC's assert() will print wide characters by default,
and I can't find a way to disable it, leading to clang assertion
failures looking like:
  FAILED: ...clang.exe ...
  Aninja: build stopped: subcommand failed.

With this fix, I get the desired:
  FAILED: ...clang.exe ...
  Assertion failed: SymbolMap...
  ninja: build stopped: subcommand failed.

Merge pull request #607 from dajohi/master

Support Bitrig

Adding checks for record overflow in deps_log

use !defined(NOT_PPOLL)

Adding error checking on fwrite/fflush in deps_log

Exclude Windows as well

ugh, missing #

cleanup based on comments from martine

support Bitrig

Merge pull request #601 from nico/109fix

Add stdlib.h include for atol().

Add stdlib.h include for atol().

This attempts to fix issue #600. `man atol` claims that atol() is in
stdlib.h, which wasn't included yet.

Merge pull request #596 from nico/chunk

Make sure to not write partial deps entries.

Make sure to not write partial deps entries.

When two ninja instances run in parallel in the same build directory,
one instance could write a deps entry header and a few ids, and then the
other instance could write a file name in the middle of the deps header.
When ninja reads this deps log on the next run, it will deserialize the
file name as indices, which will cause an out-of-bounds read.

(This can happen if a user runs a "compile this file" that uses ninja to
compile the current buffer in an editor, and also does a full build in a
terminal at the same time for example.)

While running two ninja instances in parallel in the same build
directory isn't a good idea, it happens to mostly work in non-deps mode:
There's redundant edge execution, but nothing crashes. This is partially
because the command log is line-buffered and a single log entry only
consists of a single line.

This change makes sure that deps entries are always written in one go,
like command log entries currently are. Running two ninja binaries in
parallel on the same build directory still isn't a great idea, but it's
less likely to lead to crashes.

See issue #595.