Print output file on failure

Modify the FAILED: output to provide the output files that failed to
build, followed by the failed command on the next line.  This makes the
failure much easier to read, as you can immediately see much shorter
name of the file that failed instead of trying to parse a very long
command line.  It also makes manually re-running the failed command much
easier because you can copy the whole line without ending up with the
FAILED: prefix.

Merge pull request #1014 from moroten/optimize-stringpiece

Optimize StringPiece hash map

Merge pull request #1018 from nico/spell

Merge LLVM r242069, make spell checking allocate less memory.

Merge LLVM r242069, make spell checking allocate less memory.

Optimize StringPiece hash map

Replace strncmp with memcmp to improve performance.

Signed-off-by: Fredrik Medley <fredrik.medley@gmail.com>

Merge pull request #1009 from sgraham/fix-null.o

Don't output null.o during configure

Don't output null.o during configure

Merge pull request #1003 from sgraham/2015-compile

Fix compile on VS2015

Remove accidental changes

Some mucking with std:: for set_terminate and terminate_handler

Set _HAS_EXCEPTIONS=0 on MSVC

Merge pull request #998 from LindleyF/stdc-format-macros

Make sure not to re-define __STDC_FORMAT_MACROS.

Make sure not to re-define __STDC_FORMAT_MACROS.

Merge pull request #997 from mikesep/assert-arg-order

Correct order of ASSERT_EQ arguments

Correct order of ASSERT_EQ arguments

The correct order is ASSERT_EQ(expected, actual).

Merge pull request #988 from nico/slashes

win: print right slashes in 'unknown target' message

win: print right slashes in 'unknown target' message

Merge pull request #973 from sgraham/canonicalize-fix

Fix crash in attempting to canonicalize paths longer than _MAX_PATH

Merge pull request #979 from stinb/bootstrap-out-of-source

Bootstrap out of source

fix typos, punctuation, redundant words in HACKING.md

Merge pull request #984 from martine/vcvars

point people at more detailed build docs if they're on Windows

point people at more detailed build docs if they're on Windows

It's a hard balance between "most people want to run configure --bootstrap" and
"here's a massive wall of text of every detail about building".  I think the
balance in this change is better than it was before -- most people on Windows
don't want to build their own binary.

Fixes #983.

mark this 1.6.0.git

Fix bootstrap from a source path containing spaces.

Search for generated headers relative to build dir.

Allow configure script to bootstrap out of source.

Merge pull request #978 from martine/revert-971-bootstrap-out-of-source

Revert "Bootstrap out of source"

Revert "Bootstrap out of source"

Merge pull request #975 from nico/docs

Document the change from #921 in the manual.

Document the change from #921 in the manual.

Merge pull request #971 from stinb/bootstrap-out-of-source

Bootstrap out of source

Merge pull request #970 from nico/explain

Add a missing EXPLAIN() call.

don't alias input/output in ExtractDeps (i.e. actually works now)

propagate include normalization failure to caller instead

Error+exit -> Fatal

Merge pull request #974 from bradking/add-missing-initializer

Add missing member initializer in Edge constructor

Add missing member initializer in Edge constructor

In commit v1.1.0^2~15^2~20 (stub out an api and de-constify Pool,
2012-10-03) the Edge "pool_" member was added as a raw pointer but the
initializer was accidentally left out of the constructor.  Add it now.

don't abort()

push error to caller and abort on failure

Fix crash in attempting to canonicalize paths longer than _MAX_PATH

Search for generated headers relative to build dir.

Allow configure script to bootstrap out of source.

Add a missing EXPLAIN() call.

Fix typo in comment.

Merge pull request #962 from sgraham/pool-use-fix

Fix pool use count going unbalanced

Merge pull request #743 from nicolasdespres/sigterm

Handle SIGTERM properly.

simplify & inline

avoid calling ResumeDelayedJobs instead

add comment

Forward interruption signal to child processes.

Allow SIGTERM for interruption.

Default signal sent by many other programs (mainly kill(1)) to gently
terminates another one is SIGTERM.

Fix pool use count going unbalanced

Merge pull request #958 from rui314/master

Run more than 34 processes on Win32 if we have 32+ cores.

Run more than 34 processes on Win32 if we have 32+ cores.

For compatiblity reason, dwNumberOfProcessors in Win32 is capped at 32.
So even if your machine has more than 32 cores, Ninja spawns at most 34
subprocesses. This patch fixes the issue by using GetNativeSystemInfo,
which returns the system info from Wow64 point of view, instead of
GetSystemInfo.

Merge pull request #954 from nico/fix

Fix an assert (and tests in --debug mode) after #921.

Fix an assert (and tests in --debug mode) after #921.

Merge pull request #953 from Sushisource/graphivz_fix

Fix backslashes in graphviz causing incorrect rendering on windows.

Fix backslashes in graphviz causing incorrect rendering on windows.

Merge pull request #951 from nico/cyclefix2

Don't get stuck on cyclic graphs where one edge has multiple outputs.

Don't get stuck on cyclic graphs where one edge has multiple outputs.

Fixes #934. Plan::AddSubTarget() tracks in want_ if each edge has been
visited and visits every edge only once.  But Plan::CheckDependencyCycle()
worked on nodes however, so if a cycle was entered through an edge with
multiple outputs, ninja would fail to detect that cycle.

Move cycle detection to look for duplicate edges instead of nodes to fix
this.  The extra jump makes CheckDependencyCycle() a bit slower: for a
synthetic build file with 10000 serial build steps, `ninja -n` now takes
0.32s instead of 0.26s before on my laptop.  In practice, projects have
a dependency change length on the order of 50, so there shouldn't be a
noticeable slowdown in practice.  (If this does end up being a problem:
CheckDependencyCycle() currently does O(n) work and is called O(m) times
from AddSubTarget(), so I think cycle checking is O(n^2) in the build
depth.  So instead of worrying about constant overhead, we could use
a set<> instead of a stack<>.  But it doesn't seem to be a problem in
practice.)

Merge pull request #950 from nico/cleanup

Simplify Plan's cycle detection code. No behavior change.

Cleanup: Don't search stack for cycle elements twice.

The common case is that there is no cycle.  In that case,
CheckDependencyCycle() searched the stack for a dupe from the back,
wouldn't find one, and return false.

If there was a cycle, it would then search again from the front
(probably because the push_back() that used to be here would invalidate
the ri iterator).

Since the push_back() is gone, just search from the front once. No
intended behavior change.

Cleanup: Make stack a const ref now that it's no longer modified.

Cleanup: Don't modify  during cycle checking.

Merge pull request #949 from nico/staterr

Let Stat() have an err outparam instead of writing to stderr.

Let Stat() have an err outparam instead of writing to stderr.

Also check for Stat() failure in a few more places.

This way, ninja doesn't print two "ninja: error: " lines if stat() fails
during a build.  It also makes it easier to keep the stat tests quiet.
Every caller of Stat() needs to explicitly log the error string if
that's desired.

Merge pull request #945 from nico/reldocs

make notes on how to update docs more detailed

make notes on how to update docs more detailed

Merge pull request #944 from nico/flags

Add an opt-in flag to make duplicate edges an error (`-w dupbuild=err`).

Add an opt-in flag to make duplicate edges an error (`-w dupbuild=err`).

This is step 1 on #931.  Duplicated edges will become an error by default in
the future.

Swap order of -k and -l in help output, to keep the list alphabetized.

Merge pull request #943 from nico/ssshh

Make tests quiet again, and prepare for making duplicate build edges an error.

Make tests quiet again.

Move warning emission on dupe edges from State to ManifestParser.

This will make it easier to optionally make this an error (because
ManifestParser has a way of printing errors), and it'll also make
it easier to make the tests quiet again.

No behavior change.

Merge pull request #942 from nico/cyclefix2

Don't crash on cyclic references between rule bindings.

Preallocate edge node vectors. ~1% faster.

Recover slowdown for cyclic rule bindings fix.

Don't crash on cyclic references between rule bindings.

Fixes #902.

This dynamically detects cycles.  I like this approach less than
detecting them statically when parsing rules [1], but it has the
advantage that it doesn't break existing ninja manifest files.

It has the disadvantage that it slows down manifest_parser_perftest by
3.9%.

1: https://github.com/martine/ninja/commit/cc6f54d6d436047

Merge pull request #940 from nico/moredupes

Another crash fix for duplicate edges. Fixes #939.

Another crash fix for duplicate edges. Fixes #939.

Patch #933 fixed a crash with duplicate edges by not adding edges to the
graph if all the edge's outputs are already built by other edges.
However, it added the edge to the out_edges of the edge's input nodes
before deleting it, letting inputs refer to dead edges.

To fix, move the check for deleting an edge above the code that adds
inputs.  Expand VerifyGraph() to check that nodes don't refer to edges
that aren't present in the state.

Merge pull request #938 from nico/aflclang

Add notes on using afl-fuzz to HACKING.

Add notes on using afl-fuzz to HACKING.

Merge pull request #937 from nico/statfix

Make failing stat() calls abort the build.

Make failing stat() calls abort the build.

Fixes #830, fixes #904.

In practice, this either happens with 64-bit inodes and a 32-bit
userspace when building without -D_FILE_OFFSET_BITS=64 in CFLAGS, or
when a filename is longer than the system file length limit.

Since DiskInterface::Stat() returns -1 on error, and Node used -1 on
"stat state unknown", not aborting the build lead to ninja stat()ing the
same file over and over again, until it finally ran out of stack. That's
now fixed.

* Change RecomputeOutputsDirty() to return success instead of dirty
  state (like RecomputeDirty()) and return the dirty state in a bool
  outparam
* Node::Stat()s old return value wasn't used anywhere, change the
  function to return success instead and add an |err| outparam
* Node::StatIfNecessary()'s old return value was used only in one place.
  Change that place to explicitly check status_known() and make
  StatIfNecessary() return success and add an |err| outparam
* Plan::CleanNode() can now fail, make it return bool and add an |err|
  outparam

Merge pull request #936 from nico/cleanup

Minor cleanups. No behavior change.

Add a missing &.  (No behavior change, only used in tests.)

Env should only be about variables.  No behavior change.

Merge pull request #930 from nico/depcolon

On unexpected output in a .d file, rebuild instead erroring.

Merge pull request #933 from nico/dupeedgefix

Build self-consistent graphs for dupe edges with multiple outputs.

Build self-consistent graphs for dupe edges with multiple outputs.

Fixes #867, both the crashes and "[stuck]" issues.

The problem was that a duplicate edge would modify the in_edge of the
outputs of the new build rule, but the edge corresponding to the old
build rule would still think that the in_edge points to itself.
`old_edge->outputs_[0]->in_edge()` would not return `old_edge`, which
confused the scan logic.

As fix, let `State::AddOut()` reject changing in_edge if it's already
set.  This changes behavior in a minor way: Previously, if there were
multiple edges for a single output, the last edge would be kept.  Now,
the first edge is kept.  This only had mostly-well-defined semantics if
all duplicate edges are the same (which is the only case I've seen in
practice), and for that case the behavior doesn't change.

For testing, add a VerifyGraph() function and call that every time any
test graph is parsed.  That's a bit more code than just copying the test
cases from the bug into build_test.cc, but it also yields better test
coverage overall.

On unexpected output in a .d file, rebuild instead erroring.

Fixes #417.

Reject depfiles that don't contain a : after the target name.

This is a prerequisite for fixing #417.

Merge pull request #928 from nico/novar

Remove option no longer needed now that we don't use gtest.

Remove option no longer needed now that we don't use gtest.

Simplify.  No behavior change.

Merge pull request #917 from pinotree/rlimit

subprocess_test: gracefully handle rlim.rlim_cur < kNumProcs

Merge pull request #910 from jlnt/master

POSIX: detach background subprocesses from terminal.

Merge pull request #927 from nico/colorgcc

Make diagnostics colored with new gccs (4.9+) too.

Make diagnostics colored with new gccs (4.9+) too.

Both clang and gcc understand -fdiagnostics-color, so use that flag name.
(This will disable colored diagnostics for clangs older than LLVM 3.3,
but that is several years old by now.)

Merge pull request #926 from nico/fixlibcpp

Fix build with libc++ after #921.