don't leak fds into subprocesses

Patch from Antoine Labour <piman@chromium.org>, (hacky) test by me.

move SetCloseOnExec to util

Merge pull request #120 from pcc/generator

Implement generator rules

Make the command line interface for the clean tool consistent

Since we have started using command line flags for the clean tool, it
is inconsistent to keep the "target" and "rule" prefixes.  Replace them
with a "-r" flag with the same semantics as "rule".

Implement generator rules

Introduce a rule attribute "generator" which, if present, specifies
that this rule is used to re-invoke the generator program.  Files built
using generator rules are treated specially in two ways: firstly,
they will not be rebuilt if the command line changes; and secondly,
they are not cleaned by default.

A command line flag "-g" is introduced for the clean tool, which
causes it to remove generator files.

Fixes issue #102.

pass extra flags into the tool

Elide output in the middle when exceeding terminal width.

When building projects with long file paths, the rule name may
disappear since the output is elided on the left side.
So you no longer know whether you are compiling or linking.

I think the user is interested in both the rule name and the file name.

Eliding the output in the middle solves this problem.

make CanonicalizePath report an error on empty path

Fixes part of issue 121, but the fix exposed a further issue.

Merge pull request #119 from pcc/disable-asserts

Disable assertion checks unless --debug is enabled

Disable assertion checks unless --debug is enabled

add syntax to build output from a given file

e.g. "ninja src/graph.cc^" builds the object file generated from that input

command line supports multiple targets

make options const

stylistic cleanups

note that target is optional in command-line help

delete todo; I converted it into bugs on github

delete .a files before adding to them with ar

ar doesn't have a mode to just rebuild the file from scratch, so delete
it manually.

Fixes issue #105.

Merge pull request #106 from pcc/depfile-vector

Allocate space in the inputs vector for the depfile implicit deps

Merge pull request #107 from pcc/missing-phony

Consider missing phony targets with no dependencies out of date

Consider missing phony targets with no dependencies out of date

Commit 639c8f0 ("don't mark phony edges dirty if none of their
inputs are dirty") modified the behaviour of the "phony" built-in
rule.  Previously, when the output file was missing, it was marked
as dirty.  After 639c8f0, it was always marked as clean unless one
of the dependencies was dirty.  The depfile mechanism uses the old
behaviour of "phony" to rebuild an object file if any of the headers
were missing.

Restore the old "phony" behaviour only for the case where the build
statement has no dependencies.  This is slightly inconsistent, but I
can't really see any other use case for an alias of nothing.  Also,
document this behaviour.

Modify the build tests to use the virtual file system

Allocate space in the inputs vector for the depfile implicit deps

This speeds up a no-op LLVM/Clang build by about 20ms.

generalize the pattern of hash_map<const char*, ...>, use in BuildLog

Refactor the code in StatCache for use in BuildLog.  Now both use
hash tables where the keys are const char*.  Removes another 30ms
from Chrome no-op builds.

use StringPiece for makefile deps

Because of this, MakefileParser now returns pointers into the source
makefile string rather than allocating new strings.  Despite needing
to take the result and stuff it into a new string anyway to canonicalize
it, this takes another 50ms or so off the null Chrome build, likely
due to the vector used in MakefileParser changing to a type that doesn't
use any allocations.

(I also experimented with making the vector reserve an initial size but
didn't see any performance impact.)

Merge pull request #104 from tfarina/ninja-test

Split ninja_test.cc into state_test.cc and disk_interface_test.cc

Split ninja_test.cc into state_test.cc and disk_interface_test.cc

Signed-off-by: Thiago Farina <tfarina@chromium.org>

Merge pull request #103 from tfarina/struct

This is C++, there is no need to write 'struct' before the type when decl

This is C++, there is no need to write 'struct' before the type when declaring a variable.

Signed-off-by: Thiago Farina <tfarina@chromium.org>

change main hash to char*; use pointers into files

This has a small (20ms) effect on Chrome, but it will also be used
more as I remove more strings.

optimize IsIdentChar

Rather than nested tests, use a table.  Shaves 200ms off Chrome null startup.

fix "ignored return value of write" harder

verify -k param is numeric

Fixes issue #85.

minor cleanups

don't mark phony edges dirty if none of their inputs are dirty

Because the output file is always missing, we'd consider a phony edge
dirty even when there wasn't any work to do.  Most importantly, that
would mean we wouldn't print "nothing to do" in the common case of
everything being up to date when building an alias.

Merge pull request #101 from tfarina/build-config-reference

Make Cleaner::config_ a reference-to-const instead of copying the value.

Merge pull request #95 from qhuo/depfile-for-command-with-multiple-outputs

Add depfile support to build command with multiple outputs (Fixes: #61)

Make Cleaner::config_ a reference-to-const instead of copying the value.

Signed-off-by: Thiago Farina <tfarina@chromium.org>

link gtest code with -lpthread

I broke this in a refactoring.

Merge pull request #99 from tfarina/eval-env-test

Move EvalString tests to eval_env_test.cc

Move EvalString tests to eval_env_test.cc

Signed-off-by: Thiago Farina <tfarina@chromium.org>

Merge pull request #98 from tfarina/fix-win-build

Fix windows build by moving mkdtemp() implementation from ninja_test.cc t

Merge branch 'master' of github.com:martine/ninja

Conflicts:
configure.py

fix redundant manifest rebuild

Don't rebuild the manifest when it's already up to date.
The underlying problem was that Builder::Build has a confusing API;
split the API so it's more clear for callers what the return values
mean.

Fix windows build by moving mkdtemp() implementation from ninja_test.cc to disk_interface_test.cc

Signed-off-by: Thiago Farina <tfarina@chromium.org>

allow --with-gtest flag to use unpacked gtest dir

Useful for building on Macs.

Merge pull request #96 from tfarina/disk-interface-test

Move DiskInterfaceTest into its own source file.

Move DiskInterfaceTest into its own source file.

TEST=ninja_test --gtest_filter=DiskInterface*

Signed-off-by: Thiago Farina <tfarina@chromium.org>

Move a passing test from Errors to MultipleOutputs

preserve configure.py params across re-runs

Merge pull request #91 from pcc/reload-manifest

Support for rebuilding and reloading manifest files

build only the main binary by default

add 'default' keyword to python module

don't use "all" in the phony example, because we now have "default"

link to github in docs

Add depfile support to build command with multiple outputs (Fixes: #61)

parsers.cpp: allow depfile used at build command with multiple outputs.
graph.cpp: allow depfile used at build command with multiple outputs.
parsers_test.cpp: make the test pass.

As before, the depfile itself can only mention one target, which must
be the first of a build command with multiple outpus.

[There is really no need to mention all the output in the depfile,
because all targets should depend on exactly the same files anyway,
because these targets are built by a single build command.]

update docs on other build system integration with recent news

make --profile take an argument to use either gmon or google-pprof

Merge pull request #94 from qhuo/named-pipe

subprocess-win32.cc: change named pipe names to contain process ID and subprocess object address.

subprocess-win32.cc: change named pipe names to contain process ID and subprocess object address.

Support for rebuilding and reloading manifest files

This introduces support for rebuilding the top-level manifest file
using a provided build statement, and reloading it before building
the user-requested targets.

Merge pull request #89 from tfarina/state

Factor out State struct from ninja_jumble.cc into its header/source files

Factor out State struct from ninja_jumble.cc into its header/source files.

This was a TODO in src/ninja_jumble.cc. Now this task is completed.

Signed-off-by: Thiago Farina <tfarina@chromium.org>

Merge pull request #92 from pcc/fix-warning

Fix a Clang self-assign warning by casting result to void

Merge pull request #90 from pcc/default-target-statements

Implement default target statements

Fix a Clang self-assign warning by casting result to void

Implement default target statements

This introduces a new directive, the default target statement, which
may be used to control the list of targets built by default (i.e. if
no target is named on the command line).

ninja_syntax.py: add include and subninja

Merge pull request #87 from tfarina/fix-ninja-compilation

Fix ninja compilation by including a missing disk_interface.h.

Fix ninja compilation by including a missing disk_interface.h.

When running ./ninja the compilation fails because test.h uses DiskInterface but
doesn't include disk_interface.h to get the declaration.

Signed-off-by: Thiago Farina <tfarina@chromium.org>

Merge pull request #86 from tfarina/real-disk-interface

Move RealDiskInterface class to disk_interface.h.

Move RealDiskInterface class to disk_interface.h.

This is a TODO in src/ninja_jumble.cc

Signed-off-by: Thiago Farina <tfarina@chromium.org>

semantic change: allow reaching into parent directories in paths

This allows generating build files in a subdirectory of your source tree.
- Change CanonicalizePath to accept this.
- CanonicalizePath no longer has an error condition, so change it to a void
  function.

I profiled the result against Chrome and it might be ~100ms slower, but that
might just be Chrome's size working against me.  In any case I think there
are lower-hanging performance fruit elsewhere.

Merge pull request #82 from tfarina/disk-interface

Factor out DiskInterface class into its own source/header files.

Merge pull request #83 from rlarocque2/master

Update configure.py following ninja.py rename

Update configure.py for ninja module rename

rename ninja module to ninja_syntax

add escaping function to python module

Factor out DiskInterface class into its own source/header files.

This is a TODO in src/ninja_jumble.cc

Signed-off-by: Thiago Farina <tfarina@chromium.org>

Merge pull request #80 from tfarina/master

fix trivial style issue.

Fix trivial style issues with Cleaner class.

Signed-off-by: Thiago Farina <tfarina@chromium.org>

fix double-indenting

ninja.py: fix the new test and pass the test

From a patch from Elazar Leibovich <elazarl@gmail.com>.

unit test for line-wrapping in ninja.py

From a patch from Elazar Leibovich <elazarl@gmail.com>.

don't track line/column until you encounter an error, then re-parse

This speeds up the common case (where you don't need a line number)
at the small expense of the uncommon case (for error messages, you
do need a line number).  And it's less code.

add a --debug option to configure

don't leak the build_log file descriptor into subprocesses

Closes issue #74.

clean: don't delete phony targets

Based on a patch from John Birtley.

Merge pull request #73 from qhuo/setvbuf

Set stdout to line-buffered.

Set stdout to line-buffered.

Merge pull request #71 from jbirtley/master

Fix for long command lines in Win32

Fix for win32 long command lines:

    - remove 'cmd /c' prepend from SubProcess::Start()

    - fix the subprocess tests to prepend 'cmd /c' explicitly

Fix for 'pipe has ended' errors on Win32 distributed builds

Patch from John Birtley.

Merge pull request #69 from Roorback/master

Path to python interpreter (on FreeBSD)

Merge pull request #70 from scottfranklin/master

Add tab-completion for zsh.

add docs on variable expansion

mention python module in the docs

Adding tab-completion function for zsh.

Respect $CXX, fallback to 'g++' in bootstrap.sh

use /usr/bin/env to find python interpreter

Merge pull request #62 from qhuo/multiple-outputs-fix

Add a test for the multiple outputs fix