Build self-consistent graphs for dupe edges with multiple outputs.

Fixes #867, both the crashes and "[stuck]" issues.

The problem was that a duplicate edge would modify the in_edge of the
outputs of the new build rule, but the edge corresponding to the old
build rule would still think that the in_edge points to itself.
`old_edge->outputs_[0]->in_edge()` would not return `old_edge`, which
confused the scan logic.

As fix, let `State::AddOut()` reject changing in_edge if it's already
set.  This changes behavior in a minor way: Previously, if there were
multiple edges for a single output, the last edge would be kept.  Now,
the first edge is kept.  This only had mostly-well-defined semantics if
all duplicate edges are the same (which is the only case I've seen in
practice), and for that case the behavior doesn't change.

For testing, add a VerifyGraph() function and call that every time any
test graph is parsed.  That's a bit more code than just copying the test
cases from the bug into build_test.cc, but it also yields better test
coverage overall.

Simplify.  No behavior change.

Merge pull request #917 from pinotree/rlimit

subprocess_test: gracefully handle rlim.rlim_cur < kNumProcs

Merge pull request #910 from jlnt/master

POSIX: detach background subprocesses from terminal.

Merge pull request #927 from nico/colorgcc

Make diagnostics colored with new gccs (4.9+) too.

Make diagnostics colored with new gccs (4.9+) too.

Both clang and gcc understand -fdiagnostics-color, so use that flag name.
(This will disable colored diagnostics for clangs older than LLVM 3.3,
but that is several years old by now.)

Merge pull request #926 from nico/fixlibcpp

Fix build with libc++ after #921.

Fix build with libc++ after #921.

It failed with

    error: field has incomplete type 'EvalString'
    note: in instantiation of exception specification for 'map' requested here
      explicit Rule(const string& name) : name_(name) {}
               ^

Merge pull request #921 from mohamed/master

Allow scoping rules through subninja

Merge pull request #925 from kirbyfan64/master

Test for Clang by checking --version

Test for Clang by checking --version

Merge pull request #923 from HeisSpiter/master

Directly pass the string instead of char * to Truncate util function. It...

Added a new test to illustrate scoped rules

The new test shows the added value of scoped rules by demonstrating
a multi-level build where a single rules file gets included at all
the levels. By scoping rules, this is possible.

Directly pass the string instead of char * to Truncate util function. It will prevent useless conversions.

Allow scoping rules through subninja

Ninja didn't support scoping rules through subninja and assumed
a unique rule name in the whole namespace. With this change, this
behavior is changed to allow scoping rules. Two rules can have the
same name if they belong to two different scopes. However, two
rules can NOT have the same name in the same scope.

subprocess_test: gracefully handle rlim.rlim_cur < kNumProcs

Instead of expecting that the number of open files is well above
kNumProcs, simply "skip" the test in that case, still printing the
message about the test limit (adding the current system limit too).

Merge pull request #914 from tzik/typo_fix

Typo fix in graph.cc

Typo fix in graph.cc

Merge pull request #908 from colincross/multipass

Allow manifest rebuild to loop up to 100 times

Allow manifest rebuild to loop up to 100 times

Ninja generators that bootstrap themselves with Ninja may need
to rebuild build.ninja multiple times.  Replace the 2 cycle loop
with a 100 cycle loop, and print the pass number each time it
restarts.

Original-author: Jamie Gennis <jgennis@gmail.com>

POSIX: detach background subprocesses from terminal.

Put background subprocesses (i.e. subprocesses with no access
to the console) in their own session and detach them from the
terminal.

This fixes martine/ninja#909.

Merge pull request #897 from tzik/pending

Check pending SIGINT after ppoll/pselect

Merge pull request #903 from nico/gcov

Document how to run gcov on ninja.

Document how to run gcov on ninja.

Merge pull request #901 from nico/assertless

Remove an incorrect assert.

Remove an incorrect assert.

The assert fires on cyclic manifests (found by afl-fuzz).  Since there
was explicit error handing for this case already, just remove the
assert.

Check pending SIGINT after ppoll/pselect

ppoll/pselect prioritizes file descriptor events over
a signal delivery. So a flood of events prevents ninja
from reacting keyboard interruption by the user.

This CL adds a check for pending keyboard interruptions after
file descriptor events.

Merge pull request #894 from tfarina/has-indent

Cleanup: Fix 'hasIdent' variable name/style.

Cleanup: Fix 'hasIdent' variable name/style.

Seems more correct to name it has_indent_token and to use the
unix_hacker style.

Signed-off-by: Thiago Farina <tfarina@chromium.org>

Merge pull request #889 from nico/del2

Try to simplify d1e6a29 a bit.

Try to simplify d1e6a29 a bit.

Merge pull request #888 from nico/del

Remove unused hash<std::string>.

Remove unused hash<std::string>.

ExternalStringHashMap used to store std::strings long ago.  Since it
doesn't anymore, this specialization isn't needed.  No behavior change.

Merge pull request #887 from berenm/master

Fix compilation errors on Visual Studio 2015 (_MSC_VER 1900)

Fix compilation errors on Visual Studio 2015 (_MSC_VER 1900).

Merge pull request #884 from nico/sshh

Remove 'Recompacting...' messages.

Merge pull request #885 from frasercrmck/zsh_comp_modes

zsh-completion: remove use of 'head' with negative offset

zsh-completion: remove use of 'head' with negative offset

Some systems - like OSX - don't come with a version of head that
supports a negative value for the -n flag. Such systems get a message
such as this when tab-completing ninja's -d flag:

    ninja -dhead: illegal line count -- -1

Using sed instead should be more universally supported.

Remove 'Recompacting...' messages.

Recompacting the build log used to be slow, so it made sense to print this
message.  We then made recompaction much faster, but didn't remove this
message back then.

The deps log only has it because the build log had it.

Since both steps are effectively instant in practice, remove these log messages.

Merge pull request #882 from mathstuf/verbose-configure

configure: add a verbose mode

configure: add a verbose mode

Required for Fedora infrastructure so that the commands used to build
ninja are logged.

Merge pull request #881 from nico/depscancycles

Let DependencyScan::RecomputeDirty() work correclty with cyclic graphs.

Let DependencyScan::RecomputeDirty() work correclty with cyclic graphs.

RecomputDirty(edge) currently works roughly like this:

      RecomputeDirty(edge):
        LoadDeps(edge)
        for in in edge.inputs:
          if in.StatIfNecessary():
            RecomputeDirty(in.in_edge)  # recurse into inputs
        for out in edge.outputs:
          out.StatIfNecessary()  # mark outputs as visited

It uses the stat state of each node to mark nodes as visited and doesn't
traverse across nodes that have been visited already.  For cyclic graphs
with an edge with multiple outputs on the cycle, nothing prevents an
edge to be visited more than once if the cycle is entered through an
output that isn't on the cycle.  In other words, RecomputeDirty() for
the same edge can be on the call stack more than once.  This is bad for
at least two reasons:

  1. Deps are added multiple times, making the graph confusing to reason
     about.

  2.  LoadDeps() will insert into the inputs_ of an edge that's iterated
      over in a callframe higher up. This can invalidate the iterator,
      which causes a crash when the callframe with the loop over the
      now-invalidated iterator resumes.

To fix this, let RecomputeDirty() mark all outputs of an edge as visited
as the first thing it does.  This way, even if the edge is on a cycle
with several outputs, each output is already marked and no edge will
have its deps loaded more than once.

Fixes the crashes in #875.  (In practice, it turns the crashes into
"stuck [this is a bug]" messages for now, due to the example without
duplicate rules in #867)

Rename a few iterators. No behavior change.

It confused me that the iterator iterating over `outputs_` was called
`i` -- this always made me think of "input", not "iterator".

Call iterators over edge outputs "o", iterators over edge inputs "i",
iterators over node input edges "oe", and general iterators over edges
"e".

remove two unneeded `explicit`s

Merge pull request #703 from ovinn/master

Added *.obj ignore rule

Merge pull request #835 from rainlabs-eu/fix-cygwin-compatibility

Fixed cygwin compatibility (issue #806)

Rename num_collisions to collision_count.

All other counting variables are called foo_count, not num_foos.
No behavior change.

Merge pull request #868 from Fanael/ninja-mode.el-refactor

Remove unneeded save-excursion.

Merge pull request #809 from andrey-malets/doc-for-first-output

Document target^ syntax.

Merge pull request #879 from nico/rev

Revert #223, fixes #874.

Revert #223, fixes #874.

No test since there's still no good way to test code in ninja.cc.  Going
forward, either move NinjaMain to its own file with tests, or create a
system that makes it possible to run integration tests on the ninja
binary.  Instead, add a comment that explains why the restat
optimization isn't done.

Merge pull request #878 from nico/py3

Make configure.py work with Python. Fixes issue #877.

Make configure.py work with Python. Fixes issue #877.

Patch from @TheOneRing!

Merge pull request #873 from nico/full

win: Use full console width for status messages.

win: Use full console width for status messages.

The original overprinting code, added in 7b3d8c8e, used printf for printing
the status.  printf needs one column for the cursor, so the status message
could only take up `width - 1` columns.  fc554c22 changed Windows from printf
to WriteConsoleOutput which doesn't move the cursor, so keeping one column
empty is no longer needed. So stop doing that.

Also remove a duplicate call to GetConsoleScreenBufferInfo.

Merge pull request #872 from nico/vec

win/lineprinter: Use a vector instead of manual memory management.

win/lineprinter: Use a vector instead of manual memory management.

No behavior change. Based on a patch from gmisocpp@gmail.com!

Merge pull request #871 from nico/ctrls

win: Let the "Pause" key or Ctrl-S pause output.

win: Let the "Pause" key or Ctrl-S pause output.

In cmd.exe, hitting the "Pause" key or Ctrl-S will pause
programs until a key is pressed.  This is apparently
implemented when stdout is writing to, so use printf
instead of Console functions to reset the cursor to
the start of the line.  Also happens to simplify the code.

(This already worked in -v mode since that already
prints using printf.)
\vBased on a patch from gmisocpp@gmail.com!

Remove unneeded save-excursion.

syntax-propertize-function is allowed to move the point and mark.

mark this 1.5.3.git

Merge pull request #864 from Fanael/ninja-mode.el-refactor

Ninja mode.el refactor

Use lexical-binding.

There's no reason not to use lexical-binding when supporting only
Emacs 24+. Its semantics are just that much saner.

Add a Emacs 24 requirement.

Only Emacs >= 24 has prog-mode.

Correctly recognize a comment if the previous line is a comment ending in $.

Avoid putting properties past the end of the buffer.

Don't use dotted list syntax unless necessary.

Remove unnecessary regexp group.

Correctly recognize comments.

Set up a proper syntax table for ninja-mode.

Since quotes are not meant to be treated as string delimiters,
the syntax table is the place to tell Emacs so.

This also means syntactic fontification can be reenabled and the
font-lock keyword entry for comments removed.

Set comment-start buffer-locally, not globally.

Use quasi-quoting instead of list+cons.

Reindent ninja-mode.el using Emacs.

Emacs knows best how to indent Emacs Lisp.

Use double semicolon comments.

Don't leave lone closing parens.

no subshell

don't need subshell to send stderr to /dev/null

Merge pull request #772 from drbo/syntax_bugfix

Added highlighting in Emacs for ${...} variables

Merge pull request #866 from nico/winfix

Fix Windows build after #862. Thanks to @harig for the report.

Fix Windows build after #862. Thanks to @harig for the report.

Merge pull request #862 from nico/browse

Make browse detection consistent with other platform checks.

Merge pull request #863 from nico/nopthread

Stop linking pthread.

Remove now-unused variable test_libs.

Stop linking pthread.

It was only needed by gtest, which is no longer used.
(Intesting note: I checked when the -lpthread flag was added, and it's
been around since the first revision of build.ninja, which used to be
checked in before configure.py existed. Back then, it looks like '@' was
used to dereference built-in variables, and build outputs were also
prefixed by '@'!).

Make browse detection consistent with other platform checks.

Merge pull request #861 from nico/nosub

Remove duplicate import. No behavior change.

Remove duplicate import. No behavior change.

Merge pull request #859 from martine/platform-helper

merge platform_helper into configure script

merge platform_helper into configure script

With this code all in one place, it's easier to spot unused code and
simplification opportunities.

drop leftover references to bootstrap.py

Merge pull request #858 from martine/travis-bootstrap

switch travis to use new --bootstrap mode for building

Merge pull request #813 from cdlm/emacs-mode-require-newline

Emacs mode: inherit from prog-mode

Merge pull request #836 from nocnokneo/patch-1

Mention optional files in installation instructions

switch travis to use new --bootstrap mode for building

Merge pull request #854 from martine/bootstrap

add a --bootstrap mode for configure.py

drop NINJA_BOOTSTRAP define

Merge pull request #857 from martine/travis-python-test

also test ninja_syntax.py in travis

also test ninja_syntax.py in travis

drop bootstrap.py

We now use configure.py --bootstrap.  Direct users of this script to
use the other one.

add a --bootstrap mode for configure.py

Instead of bootstrapping through a separate script, instead make
configure.py able to either generate a build.ninja *or* just execute
all the computed commands to build a ninja binary.