Merge pull request #616 from nico/recompact

Add a 'recompact' tool, which forces recompaction of the build and deps ...

Merge pull request #614 from nico/pooldoc

Mention pools in the discussion of ninja's toplevel declarations.

Merge pull request #611 from nico/testparse

Improve error message for duplicate rules and unknown pools.

Introducing tool 'deps' dumping ninja deps log entries

Add a 'recompact' tool, which forces recompaction of the build and deps logs.

This is useful for performance comparisons between two build directories.

Merge pull request #615 from mdempsky/strict-murmur

Fix murmur hash implementations to work on strict alignment architectures

Fix murmur hash implementations to work on strict alignment
architectures like OpenBSD/mips64el and OpenBSD/hppa64.

Mention pools in the discussion of ninja's toplevel declarations.

Improve error message for duplicate rules and unknown pools.

Also add more tests for invalid manifests. According to gcov, these invalid
inputs weren't tested before.

Merge pull request #610 from rnk/wstr

Use fwrite to print whatever the subcommand wrote

Use fwrite to print whatever the subcommand wrote

Subcommands can write things like UTF-16, which some terminals can
understand.  printf() will interpret the null bytes as the end of the
string.

In particular, MSVC's assert() will print wide characters by default,
and I can't find a way to disable it, leading to clang assertion
failures looking like:
  FAILED: ...clang.exe ...
  Aninja: build stopped: subcommand failed.

With this fix, I get the desired:
  FAILED: ...clang.exe ...
  Assertion failed: SymbolMap...
  ninja: build stopped: subcommand failed.

Merge pull request #607 from dajohi/master

Support Bitrig

use !defined(NOT_PPOLL)

Exclude Windows as well

ugh, missing #

cleanup based on comments from martine

support Bitrig

Merge pull request #601 from nico/109fix

Add stdlib.h include for atol().

Add stdlib.h include for atol().

This attempts to fix issue #600. `man atol` claims that atol() is in
stdlib.h, which wasn't included yet.

Merge pull request #596 from nico/chunk

Make sure to not write partial deps entries.

Make sure to not write partial deps entries.

When two ninja instances run in parallel in the same build directory,
one instance could write a deps entry header and a few ids, and then the
other instance could write a file name in the middle of the deps header.
When ninja reads this deps log on the next run, it will deserialize the
file name as indices, which will cause an out-of-bounds read.

(This can happen if a user runs a "compile this file" that uses ninja to
compile the current buffer in an editor, and also does a full build in a
terminal at the same time for example.)

While running two ninja instances in parallel in the same build
directory isn't a good idea, it happens to mostly work in non-deps mode:
There's redundant edge execution, but nothing crashes. This is partially
because the command log is line-buffered and a single log entry only
consists of a single line.

This change makes sure that deps entries are always written in one go,
like command log entries currently are. Running two ninja binaries in
parallel on the same build directory still isn't a great idea, but it's
less likely to lead to crashes.

See issue #595.

Merge pull request #593 from nico/moretest

Add a test for CreatePhonyInEdge() in depsmode path.

Add a test for CreatePhonyInEdge() in depsmode path.

Removing the `CreatePhonyInEdge(node);` line in
`ImplicitDepLoader::LoadDepsFromLog()` made no tests fail before this change.
The new test is a port to depsmode of the existing DepFileOK test.

Merge pull request #592 from nico/addtest

Add test that proves `node->AddOutEdge(edge);` in `LoadDepFile()` is nee...

Add test that proves `node->AddOutEdge(edge);` in `LoadDepFile()` is needed.

No functionality change. Related to issue #590.

Merge pull request #591 from nico/fixrestat

Fix restat builds with edges generating headers depended on through deps...

Fix restat builds with edges generating headers depended on through deps files
in deps mode.

`ImplicitDepLoader::LoadDepFile()` already adds a depfile edge from every file
mentioned in a depfile to the depfile's output.

`ImplicitDepLoader::LoadDepsFromLog()` didn't do this yet, so add it. Else,
if a restat rule clears a generated .h file, this wouldn't propagate to cc files
depending on that .h file through a depfile.

Fixues issue #590.

Merge pull request #589 from nico/wincase

Stop `-t msvc -o` from lowercasing paths from /showIncludes output.

Stop `-t msvc -o` from lowercasing paths from /showIncludes output.

/showIncludes prints absolute paths. If a source file says
`#include <WiNdOwS.h>`, /showIncludes will use that spelling in
its output for the basename and use the on-disk cache for the
directory names in the rest for its output.

This makes the .d files created by `-t msvc -o` consistent with the
.d files written by gcc and clang.
\vBefore this change, `-t msvc -o` would convert this output to
lower case. This is a problem if a build step produces a header file
with mixed case, such as "RuntimeFeatures.h". Due to the lowercasing,
the .d file would contain "runtimefeatures.h", while the build step
will create "RuntimeFeatures.h". Due to the case difference, ninja
would not realize that regeneration of the .h file would require
a rebuild of all source files having the header in the .d file.
(On the next build, ninja would rebuild them since stat()ing is not
case-sensitive on Windows.) One possible fix for this is to make sure
that generators always write generated header files in lower case too,
but on Mac gcc doesn't do lower-casing and .d files end up with the
case-as-written, so generators would have to be different on Mac and
Windows, which is undesirable.

If case-insensitve path comparisons are useful, they should be done
somewhere else (e.g. in CanonicalizePath()) where they affect both
paths read from .d files and paths read from .ninja files. This should
then be controlled by a top-level variable.

This patch changes behavior, but it only has an effect on generated
header files, which aren't common, and it only affects -t msvc, which
is still marked as experimental. (cmake doesn't use it yet.)

(If a file has both `#include <windows.h>` and `<Windows.h>`, this
will now take 2 stat() calls instead of just one, but that should
have a negligible cost.)

Merge pull request #586 from grimmy/master

Build fails on Debian/kfreebsd

Merge pull request #588 from jonforums/mingw-fix

Fix mingw based builds. Fixes #587

Fix mingw based builds. Fixes #587

Fixed the build on Debian/kfreebsd

refactor ninja main() into a struct with methods

This removes the ugly Globals struct, and the ResetState() hack.
This also eliminates the only goto!

simplify some ifdefs

factor out flag parsing from enormous NinjaMain()

Merge pull request #585 from nico/fixcrash

Don't use va_start() with reference parameters, it's undefined behavior.

Don't use va_start() with reference parameters, it's undefined behavior.

Should fix issue #584.

Merge pull request #470 from rgeary1/remotebrowser

Ninja -t browse opens localhost in browser, which doesn't work when using ssh

Merge pull request #578 from pinotree/remove-path-max

do not unconditionally use PATH_MAX with getcwd

Merge pull request #583 from tru/add_force_pselect

Added bootstrap/configure option to force pselect

Merge pull request #579 from rui314/master

Minor fixes

Added bootstrap/configure option to force pselect

All modern Linux kernels have ppoll() but sometimes
you might want to compile on something ancient.

This patch adds the possibility to force the use
of pselect() instead by passing --force-pselect
to bootstrap/configure.

The use of ppoll() is still default for Linux
and OpenBSD

Browse tool uses real hostname not localhost, to allow -t browse when using ssh

Change-Id: Ic4be6527151a7ff68afab62e61951071ad5694b7

remind myself to update the website when I make a release

Add error check for -j flag.

Fix typo in HACKING.md

do not unconditionally use PATH_MAX with getcwd

Instead, grow a buffer until getcwd either succeeds or fails with an errno different than ERANGE
(meaning the passed buffer was too short to represent the actual path).
Reset errno before calling getcwd to check it eventually did not fail.

Merge pull request #576 from nico/newlines

Set stdout to binary mode in -t msvc.

Merge pull request #577 from tfarina/structs

structs not classes.

structs not classes.

For some reason that I do not, ninja prefers:

struct Foo {
  Foo();

 private:
  void Blah();
};

Rather than

class Foo {
 public:
  Foo();

 private:
  void Blah();
};

This catches the last two usages of "class" in the code base.

Signed-off-by: Thiago Farina <tfarina@chromium.org>

Set stdout to binary mode in -t msvc.

Fixes issue #575.

Merge pull request #574 from sgraham/no-extra-nl

don't print output with extra newline

don't print output with extra newline

Merge pull request #573 from sgraham/truncate-win

fix truncate compile error in ninja_test on windows

fix truncate compile error in ninja_test on windows

require version 1.3 for building ninja itself

This catches the case where you use an older version on Ninja
to build a newer version of the Ninja code.
bootstrap.py always should work regardless.

remind myself to push tags

call this version 1.3.0

delete obsolete todo

Merge pull request #572 from nico/incless

Remove a few unused includes.

Remove a few unused includes.

Merge pull request #568 from riannucci/fix_test

Fix pool tests (and provide utility to fix other similar issues as well)

Merge pull request #570 from nico/fixdarwin

Fix bootstrap on OS X.

Fix bootstrap on OS X.

This was broken in 4c552c2c3cbc07acce9c1a379fee054a3f680100.

Fix Pool tests.

At any phase in the test where multiple edges are ready
simultaneously, acquire all edges and sort them into a predictable
order. This allows the test to execute deterministically regardless
of the order of edge allocation.

Merge pull request #565 from mdempsky/master

Add support for OpenBSD.

Don't poll pipes using POLLRDHUP

POLLRDHUP is Linux-specific, and isn't necessary for polling pipes
anyway.  Linux and OpenBSD both return POLLHUP if no process has the
pipe open for writing.

Merge pull request #566 from nico/tweak

minor formatting change

minor formatting change

Merge pull request #563 from nico/recompact-deps

Implement deps log recompaction.

Add support for OpenBSD.

Use ppoll() on OpenBSD.  Also, fix interrupt handling to recognize
that on FreeBSD and OpenBSD, an interrupt might have been delivered
even if pselect()/ppoll() don't return -1/EINTR.

Recompact the deps log when it gets too big.

Now that Recompact() keeps all data structures intact, it can just be
called at the beginning of a build and the build will still work.

Keep a DepsLog's data valid after a call to DepsLog::Recompact().

Previously, a DepsLog would become invalid after Recompact() was called,
due to Recompact() making all node ids refer to a temporary DepsLog
object constructed in Recompact().

Let DepsLog::RecordDeps() update its in-memory representation.

This is a behavior change, but it should be safe: Graph only queries the
deps log at startup, before running any command. Nothing else currently
queries the deps log.

Move updating DepsLog's deps_ array into its own function.

No functionality change.

Move some DepsLog::Deps initialization code into its constructor.

No functionality change.

share platform support between configure/bootstrap

Merge pull request #562 from TheOneRing/fixed-include

added missing windows include for Truncate

added missing windows include

Merge pull request #559 from nico/9_9

Fix Windows build more.

Fix Windows build more.

Merge pull request #558 from nico/buildfix

Introduce a Truncate() function that works on POSIX and Windows.

Introduce a Truncate() function that works on POSIX and Windows.

Hopefully fixes the build on Windows.

Merge pull request #556 from nico/unlink

Make sure that recompaction writes a pristine new depslog.

Merge pull request #555 from nico/depscompactcrash

Don't crash during deps log recompaction if there's more than one deps entry.

Make sure that recompaction writes a pristine new depslog.

...even if a prior run of DepsLog::Recompact() exited without cleaning
up, for example due to a crash or because someone added a `return true;`
in the middle of the function while debugging.  Or because someone hits
ctrl-c during deps log recompaction.

No test, because I can't think of a way to trigger this scenario
programmatically.

Part of issue #554.

Don't crash during deps log recompaction if there's more than one deps entry.

Part of issue #554.

don't count eof as truncated

fix warning

deps log: recover on truncated entry

If a read fails while reading an entry, truncate the log to the last
successfully read entry.  This prevents corruption when a subsequent
run appends another entry.

disable SubprocessTest.SetWithLots on travis-ci

We run into fork() limits on their VM.

add a test for truncated deps

This doesn't yet exhibit the full problems with truncation, but it's
a start.

make DepsLogTest actually clean up on teardown

I think I commented this out when tracking down a bug and forgot
to uncomment it.

travis: pull in gtest before building

add a .travis.yml, trying out travis-ci.org

Merge pull request #552 from nico/deps_dryrun

Don't record deps in dry runs.

keep dry run more similar to normal run

Don't record deps in dry runs.

deps_log() is NULL during dry runs, so this fixes a crash. It also
matches ninja 1.2.0's behavior as far as I can tell.

Fixes issue #551.

adjust the wording in "multiple rules generate X" warning

Ideally we'd detect this at build time and only warn if your build
was affected, but that's hard to do.  (Really we should just abort
when this scenario is detected rather than continuing, but now
users are relying on it.)

Hopefully improves issue #543.