Merge pull request #125 from pcc/outputs-ready

CMake requirements: Make-style order-only dependencies, restat rules

don't leak fds into subprocesses

Patch from Antoine Labour <piman@chromium.org>, (hacky) test by me.

move SetCloseOnExec to util

Implement restat rules

A restat rule is a rule which is capable of pruning the build tree
depending on the timestamps of its outputs before and after a build.
After a restat rule is rebuilt, Ninja will re-stat each output file
to obtain its current timestamp.  If the timestamp is unchanged from
when Ninja initially stat'ed the file before starting the build,
Ninja will mark that output file as clean, and recursively for each
reverse dependency of the output file, recompute its dirty status.

Ninja then stores the most recent timestamp of any input file in the
build log entry associated with the output file.  This timestamp
will be treated by future invocations of Ninja as the output file's
modification time instead of the output file's actual modification
time for the purpose of deciding whether it is dirty (but not whether
its reverse dependencies are dirty).

Create log entries in BuildLog::RecordCommand without requiring a log file

This permits us to write tests that write and later read from
the build log without needing a temporary log file.

Implement Make-style order-only dependencies

Previously, the implementation of order-only dependencies differed
between Make and Ninja in two important ways:

 1) If the order-only dependency existed but was out of date, it
    would never be rebuilt, whereas Make would always rebuild out of
    date order-only dependencies.

 2) If the order-only dependency did not exist, it would cause
    its reverse dependencies to always build, whereas Make would only
    rebuild a file if a non-order-only dependency was out of date.

A key distinction between Ninja and Make as seen through the above
two points was that in Ninja, order-only dependencies cared about
whether the target as a file exists (so perhaps a better name for
the old semantics would have been "missing-only dependencies").

These differences made it impossible to introduce an order-only
dependency on an always out-of-date (i.e. missing) target without
also causing the depender and its reverse dependencies to rebuild
unnecessarily on every build.  Build systems which must perform some
action (such as logging the build start time, or printing a message)
at the start of every build typically implement this by adding to
every target an order-only dependency which performs this action,
which would have forced an entire rebuild on every invocation of
Ninja under the old semantics.

This commit causes Ninja to conform to the Make-style behaviour.

Split Node::dirty_ into two flags: Node::dirty_ and Edge::outputs_ready_

dirty_ is intended to remain static during the build (unless a restat
occurs), while outputs_ready_ reflects the dynamic state of the build.

Merge pull request #120 from pcc/generator

Implement generator rules

Make the command line interface for the clean tool consistent

Since we have started using command line flags for the clean tool, it
is inconsistent to keep the "target" and "rule" prefixes.  Replace them
with a "-r" flag with the same semantics as "rule".

Implement generator rules

Introduce a rule attribute "generator" which, if present, specifies
that this rule is used to re-invoke the generator program.  Files built
using generator rules are treated specially in two ways: firstly,
they will not be rebuilt if the command line changes; and secondly,
they are not cleaned by default.

A command line flag "-g" is introduced for the clean tool, which
causes it to remove generator files.

Fixes issue #102.

pass extra flags into the tool

Elide output in the middle when exceeding terminal width.

When building projects with long file paths, the rule name may
disappear since the output is elided on the left side.
So you no longer know whether you are compiling or linking.

I think the user is interested in both the rule name and the file name.

Eliding the output in the middle solves this problem.

make CanonicalizePath report an error on empty path

Fixes part of issue 121, but the fix exposed a further issue.

Merge pull request #119 from pcc/disable-asserts

Disable assertion checks unless --debug is enabled

Disable assertion checks unless --debug is enabled

add syntax to build output from a given file

e.g. "ninja src/graph.cc^" builds the object file generated from that input

command line supports multiple targets

make options const

stylistic cleanups

note that target is optional in command-line help

delete todo; I converted it into bugs on github

delete .a files before adding to them with ar

ar doesn't have a mode to just rebuild the file from scratch, so delete
it manually.

Fixes issue #105.

Merge pull request #106 from pcc/depfile-vector

Allocate space in the inputs vector for the depfile implicit deps

Merge pull request #107 from pcc/missing-phony

Consider missing phony targets with no dependencies out of date

Consider missing phony targets with no dependencies out of date

Commit 639c8f0 ("don't mark phony edges dirty if none of their
inputs are dirty") modified the behaviour of the "phony" built-in
rule.  Previously, when the output file was missing, it was marked
as dirty.  After 639c8f0, it was always marked as clean unless one
of the dependencies was dirty.  The depfile mechanism uses the old
behaviour of "phony" to rebuild an object file if any of the headers
were missing.

Restore the old "phony" behaviour only for the case where the build
statement has no dependencies.  This is slightly inconsistent, but I
can't really see any other use case for an alias of nothing.  Also,
document this behaviour.

Modify the build tests to use the virtual file system

Allocate space in the inputs vector for the depfile implicit deps

This speeds up a no-op LLVM/Clang build by about 20ms.

generalize the pattern of hash_map<const char*, ...>, use in BuildLog

Refactor the code in StatCache for use in BuildLog.  Now both use
hash tables where the keys are const char*.  Removes another 30ms
from Chrome no-op builds.

use StringPiece for makefile deps

Because of this, MakefileParser now returns pointers into the source
makefile string rather than allocating new strings.  Despite needing
to take the result and stuff it into a new string anyway to canonicalize
it, this takes another 50ms or so off the null Chrome build, likely
due to the vector used in MakefileParser changing to a type that doesn't
use any allocations.

(I also experimented with making the vector reserve an initial size but
didn't see any performance impact.)

Merge pull request #104 from tfarina/ninja-test

Split ninja_test.cc into state_test.cc and disk_interface_test.cc

Split ninja_test.cc into state_test.cc and disk_interface_test.cc

Signed-off-by: Thiago Farina <tfarina@chromium.org>

Merge pull request #103 from tfarina/struct

This is C++, there is no need to write 'struct' before the type when decl

This is C++, there is no need to write 'struct' before the type when declaring a variable.

Signed-off-by: Thiago Farina <tfarina@chromium.org>

change main hash to char*; use pointers into files

This has a small (20ms) effect on Chrome, but it will also be used
more as I remove more strings.

optimize IsIdentChar

Rather than nested tests, use a table.  Shaves 200ms off Chrome null startup.

fix "ignored return value of write" harder

verify -k param is numeric

Fixes issue #85.

minor cleanups

don't mark phony edges dirty if none of their inputs are dirty

Because the output file is always missing, we'd consider a phony edge
dirty even when there wasn't any work to do.  Most importantly, that
would mean we wouldn't print "nothing to do" in the common case of
everything being up to date when building an alias.

Merge pull request #101 from tfarina/build-config-reference

Make Cleaner::config_ a reference-to-const instead of copying the value.

Merge pull request #95 from qhuo/depfile-for-command-with-multiple-outputs

Add depfile support to build command with multiple outputs (Fixes: #61)

Make Cleaner::config_ a reference-to-const instead of copying the value.

Signed-off-by: Thiago Farina <tfarina@chromium.org>

link gtest code with -lpthread

I broke this in a refactoring.

Merge pull request #99 from tfarina/eval-env-test

Move EvalString tests to eval_env_test.cc

Move EvalString tests to eval_env_test.cc

Signed-off-by: Thiago Farina <tfarina@chromium.org>

Merge pull request #98 from tfarina/fix-win-build

Fix windows build by moving mkdtemp() implementation from ninja_test.cc t

Merge branch 'master' of github.com:martine/ninja

Conflicts:
configure.py

fix redundant manifest rebuild

Don't rebuild the manifest when it's already up to date.
The underlying problem was that Builder::Build has a confusing API;
split the API so it's more clear for callers what the return values
mean.

Fix windows build by moving mkdtemp() implementation from ninja_test.cc to disk_interface_test.cc

Signed-off-by: Thiago Farina <tfarina@chromium.org>

allow --with-gtest flag to use unpacked gtest dir

Useful for building on Macs.

Merge pull request #96 from tfarina/disk-interface-test

Move DiskInterfaceTest into its own source file.

Move DiskInterfaceTest into its own source file.

TEST=ninja_test --gtest_filter=DiskInterface*

Signed-off-by: Thiago Farina <tfarina@chromium.org>

Move a passing test from Errors to MultipleOutputs

preserve configure.py params across re-runs

Merge pull request #91 from pcc/reload-manifest

Support for rebuilding and reloading manifest files

build only the main binary by default

add 'default' keyword to python module

don't use "all" in the phony example, because we now have "default"

link to github in docs

Add depfile support to build command with multiple outputs (Fixes: #61)

parsers.cpp: allow depfile used at build command with multiple outputs.
graph.cpp: allow depfile used at build command with multiple outputs.
parsers_test.cpp: make the test pass.

As before, the depfile itself can only mention one target, which must
be the first of a build command with multiple outpus.

[There is really no need to mention all the output in the depfile,
because all targets should depend on exactly the same files anyway,
because these targets are built by a single build command.]

update docs on other build system integration with recent news

make --profile take an argument to use either gmon or google-pprof

Merge pull request #94 from qhuo/named-pipe

subprocess-win32.cc: change named pipe names to contain process ID and subprocess object address.

subprocess-win32.cc: change named pipe names to contain process ID and subprocess object address.

Support for rebuilding and reloading manifest files

This introduces support for rebuilding the top-level manifest file
using a provided build statement, and reloading it before building
the user-requested targets.

Merge pull request #89 from tfarina/state

Factor out State struct from ninja_jumble.cc into its header/source files

Factor out State struct from ninja_jumble.cc into its header/source files.

This was a TODO in src/ninja_jumble.cc. Now this task is completed.

Signed-off-by: Thiago Farina <tfarina@chromium.org>

Merge pull request #92 from pcc/fix-warning

Fix a Clang self-assign warning by casting result to void

Merge pull request #90 from pcc/default-target-statements

Implement default target statements

Fix a Clang self-assign warning by casting result to void

Implement default target statements

This introduces a new directive, the default target statement, which
may be used to control the list of targets built by default (i.e. if
no target is named on the command line).

ninja_syntax.py: add include and subninja

Merge pull request #87 from tfarina/fix-ninja-compilation

Fix ninja compilation by including a missing disk_interface.h.

Fix ninja compilation by including a missing disk_interface.h.

When running ./ninja the compilation fails because test.h uses DiskInterface but
doesn't include disk_interface.h to get the declaration.

Signed-off-by: Thiago Farina <tfarina@chromium.org>

Merge pull request #86 from tfarina/real-disk-interface

Move RealDiskInterface class to disk_interface.h.

Move RealDiskInterface class to disk_interface.h.

This is a TODO in src/ninja_jumble.cc

Signed-off-by: Thiago Farina <tfarina@chromium.org>

semantic change: allow reaching into parent directories in paths

This allows generating build files in a subdirectory of your source tree.
- Change CanonicalizePath to accept this.
- CanonicalizePath no longer has an error condition, so change it to a void
  function.

I profiled the result against Chrome and it might be ~100ms slower, but that
might just be Chrome's size working against me.  In any case I think there
are lower-hanging performance fruit elsewhere.

Merge pull request #82 from tfarina/disk-interface

Factor out DiskInterface class into its own source/header files.

Merge pull request #83 from rlarocque2/master

Update configure.py following ninja.py rename

Update configure.py for ninja module rename

rename ninja module to ninja_syntax

add escaping function to python module

Factor out DiskInterface class into its own source/header files.

This is a TODO in src/ninja_jumble.cc

Signed-off-by: Thiago Farina <tfarina@chromium.org>

Merge pull request #80 from tfarina/master

fix trivial style issue.

Fix trivial style issues with Cleaner class.

Signed-off-by: Thiago Farina <tfarina@chromium.org>

fix double-indenting

ninja.py: fix the new test and pass the test

From a patch from Elazar Leibovich <elazarl@gmail.com>.

unit test for line-wrapping in ninja.py

From a patch from Elazar Leibovich <elazarl@gmail.com>.

don't track line/column until you encounter an error, then re-parse

This speeds up the common case (where you don't need a line number)
at the small expense of the uncommon case (for error messages, you
do need a line number).  And it's less code.

add a --debug option to configure

don't leak the build_log file descriptor into subprocesses

Closes issue #74.

clean: don't delete phony targets

Based on a patch from John Birtley.

Merge pull request #73 from qhuo/setvbuf

Set stdout to line-buffered.

Set stdout to line-buffered.

Merge pull request #71 from jbirtley/master

Fix for long command lines in Win32

Fix for win32 long command lines:

    - remove 'cmd /c' prepend from SubProcess::Start()

    - fix the subprocess tests to prepend 'cmd /c' explicitly

Fix for 'pipe has ended' errors on Win32 distributed builds

Patch from John Birtley.

Merge pull request #69 from Roorback/master

Path to python interpreter (on FreeBSD)

Merge pull request #70 from scottfranklin/master

Add tab-completion for zsh.

add docs on variable expansion