Only store command hashes in the build log.

.build_log load time 350ms -> 17ms, filesize 197MB -> 1.6MB on
Mac. On Windows, it's 500ms -> 20ms.

Makes the build log a lot less useful for scripts, but there could
be a tool for use cases that need log information. A prototype of
such a tool is in https://github.com/nico/ninja/commit/1b243d311

The hash function is 64bit murmurhash2. Assuming that that different
commands get the same hash only by chance, it's is very unlikely
for two different commands to hash to the same value with a 64bit
hash.

Merge pull request #328 from nico/canonperf

add canon_perftest

allow '(' and ')' in depfile paths

Fixes issue #327.

add a note to HACKING about how to get gtest

fix a typo in a test name

Merge pull request #325 from luvit/fix-path-magic

bootstrap: fix path magic on windows

bootstrap: fix path magic on windows

It was reported that argv[0] doesn't get set on windows. Some research
showed that using abspath(__filename__) should accomplish this.

Merge pull request #323 from luvit/bootstrap-from-cwd

bootstrap: chdir to bootstrap's directory

bootstrap: chdir to bootstrap's directory

When integrating ninja into luvit I naively tried calling:

    ./tools/ninja/bootstrap.py

This broke because bootstrap expects you to be in the ninja directory
when you call it. This patch makes it possible to run bootstrap.py like
above and have it work.

Merge pull request #306 from nico/winunbreakconf

Strip leading whitespace from commands on Windows.

Fix configure.py on windows, which does not permit a leading space.

Merge pull request #311 from nico/cleanups

Cleanups

add canon_perftest

Merge pull request #321 from nico/diff

Fix a bug that caused total_time to always be -1.

Remove code that was never executed.

total_time was always -1, because it computed a pointer difference,
not a time difference (should've been |*end_time - *start_time|).

Merge pull request #320 from nico/cleanup

Remove unused variable last_update_millis_.

Merge pull request #319 from nico/vimp

Make `:set spell` only check spelling in comments. Patch from Thilo Six ...

Remove unused variable last_update_millis_.

Make `:set spell` only check spelling in comments. Patch from Thilo Six <T.Six@gmx.de>!

Merge pull request #318 from jsternberg/master

Missing/unused header files

Missing header file for "getenv".

Removing unused sys/termios.h header.

Header guards were missing from some header files.

Merge pull request #314 from ehird/master

Use subprocess.call for Python 2.4 compatibility

Use subprocess.call for Python 2.4 compatibility

Merge pull request #312 from nico/vimfile

vim syntax file: Highlight ninja comments.

vim syntax file: Highlight ninja comments.

Minor spelling fixes in manual.

comment fix

Merge pull request #310 from nico/landreader

Speed up build log reading (0.5s on Win, 0.1s on Mac, 30ms on Linux)

Merge pull request #309 from nico/buildlogtest

Add more tests for BuildLog.

Switch LineReader from fgets() to just fread().

fgets() needs to search for a \n in the input, and LineReader's
strstr() did the same work again. By using fread() directly, this
duplicate work can be saved.

(I tried using readline() / fgetln() for the same saving, but those
functions are not standard, and were slower than the code in this CL.)

Results from running build_log_perftest, on OS X:
Before: min 369ms  max 372ms  avg 370.4ms
After:  min 243ms  max 247ms  avg 244.8ms

On Windows:
Before: min 796ms  max 904ms  avg 858.0ms
After:  min 359ms  max 375ms  avg 371.4ms

On Linux:
Before: min 161ms  max 169ms  avg 164.8ms
Before: min 130ms  max 137ms  avg 132.6ms

Pull BuildLog line reading into its own class. No performance or behavior change.

Add a BuildLog test that checks that very long command liens don't crash.

Add a BuildLog test that checks duplicate version headers don't crash.

Merge pull request #307 from sgraham/nul-input

pass subprocesses handle to nul device rather than null handle

pass subprocesses handle to nul device rather than null handle

Merge pull request #305 from nico/winperftest

Make parser_perftest and build_log_perftest link on Windows.

Make parser_perftest and build_log_perftest link on Windows.

Merge pull request #304 from nico/perftest

Add a BuildLog loading perftest.

Add a BuildLog loading perftest.

include version number

clarify what i mean by "policy"

Merge pull request #301 from nico/logfix

Don't write ninja log header to log on every build on Windows.

Don't write ninja log header to log on every build on Windows.

Merge pull request #297 from nico/colorclang

Produce colored diagnostics when building ninja with clang.

Merge pull request #299 from tfarina/explicit-ctors

views: Mark single-argument constructors as explicit.

views: Mark single-argument constructors as explicit.

This was reported by cpplint as:

python ~/depot_tools/cpplint.py 2>&1 | grep -v "Done processing" | grep explicit

Signed-off-by: Thiago Farina <tfarina@chromium.org>

Merge pull request #298 from tfarina/build-log-string

No need to convert log_path to c-string. Two places.

No need to convert log_path to c-string. Two places.

Signed-off-by: Thiago Farina <tfarina@chromium.org>

Produce colored diagnostics when building ninja with clang.

This can be disabled by having -fno-color-diagnostics in CFLAGS,
or setting TERM to dumb.

mention reactos

mention platform support

Merge pull request #296 from nico/confenv

Let configure.py remember its environment for rerunning.

Merge pull request #294 from nico/fastercanonpath

Make CanonicalizePath() 47% faster on mac, 37% faster on linux.

First check for string end, then dereference. (5ms more expensive, heh.)

Do not access os.environ directly.

Let configure.py remember its environment for rerunning.

Without this, CXX is lost when ninja decides that it's time to
regenerate build.ninja, which makes performance tweaking surprising.

Don't walk path components twice. Speeds up CanonicalizePath() 115ms (285ms -> 170ms).

Reorder a few lines, no functionality (or perf) change.

Skip single '/' characters earlier in the loop. 300ms -> 285ms.

Speed up CanonicalizePath() 6.8% (322ms -> 300ms for chrome empty build).

clarify a flag in configure.py

(The -g flag is always on, --debug just adds e.g. libstdc++'s extra
debugging features.)

Related to issue #286.

add $: to docs

Merge pull request #291 from nico/ocd

Fix layout width in ninja_syntax.py.

Merge pull request #290 from nico/metrics

Add .ninja_log load time to metrics.

Merge pull request #284 from nico/fixwinbuild

Fix Windows build.

Merge pull request #283 from tfarina/string-ampersand

Put & operator with the type rather than the variable name.

Fix layout width in ninja_syntax.py.

The last line would sometimes be needlessly longer than the layout
width. One example is line 67 in the build.ninja generated by
ninja's own configure.py: Before this patch, ninja_syntax would
create a 81 character line.

Add .ninja_log load time to metrics.

On my system, it takes 22% of the empty build time for chrome.

Merge pull request #288 from nico/buildfix

ninja_syntax.build() returns a list, not a single string.

ninja_syntax.build() returns a list, not a single string.

Fixes 'multiple rules' warnings on mac/linux.

Merge pull request #285 from nico/winninjatest

Make it possible to write `ninja ninja_test` on windows (as opposed to `ninja ninja_test.exe`). Also `ninja ninja`.

Merge pull request #287 from nico/gtestnortti

Fix ninja_test build with clang, build without rtti on windows.

Explicitly pass -DGTEST_HAS_RTTI to fix building ninja_test with clang.

Build without RTTI on windows (/GR-), saves 1kB and is consisten with linux/mac.

Provide 'ninja' as alias for 'ninja.exe' too. Tidy up.

Provide 'ninja_test' as alias for 'ninja_test.exe' on windows.

Fix Windows build.

Put & operator with the type rather than the variable name.

Signed-off-by: Thiago Farina <tfarina@chromium.org>

Merge pull request #274 from polrop/max_load_average

Max load average

emacs: hook up ninja-mode to extension

Merge pull request #282 from iwadon/fix-link-to-gplus

Fix a link to Google+

Fix a link to Google+.

rearrange the manual

My goals were:
- shorten the introductory text, hopefully quickly answering the "why?"
  question first.
- put the information relevant to ninja users (e.g. people using CMake
  who don't especially care about ninja) next, at the beginning.
- consolidate the "generating ninja files" text below.

manual: limit width to 45em

I had a local user stylesheet that was doing this for all sites
so I hadn't noticed how bad it was!

suggest ninja -h when someone runs 'ninja help'

doc encoding support

allow UTF-8 in rule descriptions

The lexer already mostly allowed this, except that chars >127 were
being interpreted as negative indexes into the lexer table.

Merge pull request #278 from tychoish/master

Minor Documentation Tweak

reduce custom ninja status patch in minor ways

Elsewhere in the code I avoid sstream and manual buffer management,
so switch this code to behave similarly.  Sorry for being OCD.

Merge branch 'custom_ninja_status' of git://github.com/polrop/ninja

Merge pull request #272 from nico/statstweak

Switch the order of total and avg columns in -d stats output.

Merge pull request #269 from sgraham/explain

add support for -d explain to help debug why rules are running

Merge pull request #228 from pcc/lazily-create-commandrunner

Lazily create the CommandRunner in Builder::Build

Merge branch 'dont-clean-phony' of git://github.com/pcc/ninja

Conflicts:
src/clean.cc

Merge pull request #207 from iwadon/fix-configure.py-windows

Fix configure.py for unpacked gtest on Windows platform.

Refactor and test progress status formatting.

Introduce NINJA_STATUS env var for customization.

Some people may want to display different relevant information about
the progress of the build.  Also it can be usefull to debug jobs
allocation.

Remove trailing white spaces.