Decrease indentation which allows us to show deeper backtraces with less space to the left.

There is still work left to be done to have a nice GUI for
deep backtraces, potentially by not increasing the indentation
depth when the merged backtrace has no forks.

Make chart tooltips better readable.

Use std::tie instead of std::make_tuple for lexicographical ordering.

std::tie takes the arguments by reference, whereas make_tuple copies
them. We want the former.

See also: http://www.cppsamples.com/common-tasks/lexicographic-ordering.html

Show data as soon as it is available.

This way one can investigate the data table while waiting for the
charts to be built up, which can take some time for large data
files.

Sort cost columns initially in descending order.

Add some indication on the file load process.

Display pretty-printed byte sizes in tree model.

Set proper axis type for temporary allocation plot.

Don't duplicate allocation infos when reparsing.

Reuse PointerMap for backwards compatibility.

This also makes the size histogram work with older data files.

Add size histogram to heaptrack_gui.

This tracks the number of times allocations of a certain size are
requested and displays the data in a histogram. Note that the sizes
are binned in the following byte ranges:

0-8
9-16
17-32
33-64
65-128
129-256
257-512
513-1024
>1024

Reject data files of newer heaptrack versions.

Optimize tracking of active allocations.

Instead of mapping the pointer to a pair of allocated size and
trace index, we intern the pair and map the pointer to a 32bit index.
This assumes that not more than 4.294.967.295 different pairs occur,
which could theoretically be broken by allocating different sizes
in a loop. Practically, I've never seen this happen. If it really
breaks we can always bump it to a 64bit index later.

Furthermore, this patch introduces a new PointerMap, which drastically
reduces the memory overhead of tracking the allocations. The benchmark
which also gets added here, shows that its overhead is only ~20%
compared to the 100% overhead of a simple hash map. Also note that
even google's sparse_hash_map only gets down to 50% overhead.
Even better, the PointerMap implementation is faster than google's
sparse_hash_map. This is possible by leveraging some information about
memory allocations, which return pointers to pages. Thus the pointers
are clustered and we can shrink a 64bit pointer to an common shared
base pointer and a small 16bit offset.

On my machine, the runtime performance is close to that of the simple
hash map. As such, I decided to move this allocation tracking into
heaptrack_interpret itself. This drastically reduces the file size
of heaptrack data files, sometimes cutting the size into half. Even
better, this speeds some heaptrack benchmarks, as less data is written
to disk. And of course all of this leads to an much improved
performance of heaptrack_gui and heaptrack_print.

Also make the number of sub traces of peaks configurable.

Make number of reported peaks configurable

Make it possible to control number of reported peaks in heaptrack_print

REVIEW: 126282

From 98a061bee3879fcb5c01728d63c39b6773705108 Mon Sep 17 00:00:00 2001
From: David Landell <david.landell.dl@gmail.com>
Date: Wed, 2 Dec 2015 19:04:59 +0100
Subject: [PATCH] Make number of reported peaks configurable

Add .reviewboardrc file for rbt integration.

Add version to heaptrack data files.

Don't check module map sanity in non-debug builds of heaptrack.

Show temporary allocations in heaptrack_gui.

Find temporary allocations in heaptrack_print.

Fix regression: the pointer index is still 64bit.

Fix compiler warning

Optimize: Reduce memory cost for tracking active allocations.

We split the hash into two, one for small allocations up to
numeric_limits<uint32_t>::max, and one for the bigger rest. This
allows us to reduce the cost by up to a factor of 2 for some apps.
A notable example here is heaptrack_gui itself, as it does tons of
small allocations for its lookup tables, which are long-lived.

In one test case this reduces the memory consumption of heaptrack by
up to 1GB for me.

Use uint32_t for indices.

This allows us to save some memory and opens up more possibilities
for future optimizations. And 4,294,967,295 should still be more
than enough space for our lists of traces, strings etc. pp.

Optimize: Reduce memory consumption of RowData for TreeModel by ~20%.

By interning the common LocationData we can save quite some memory
for large data sets. Still, the large tree is still easily hogging
up gigabytes of memory...

Generate flame graph in background thread.

Also add a temporary text that indicates we are generating the graph.

Make it possible to switch between bottom-up/top-down flame graph.

The context menu has a new action now to switch the view mode of
the flame graph.

Build flame graph on demand.

Reduces memory consumption when the flame graph is not being displayed.

Remove duplicate component

Default CMAKE_BUILD_TYPE to RelWithDebInfo.

We need compiler optimizations for the heaptrack code, as it
is otherwise really slow to run.

Always pass false for exe in elf_add call.

Basically, if you pass the isExe flag to elf_add, libbacktrace will
see that it's an ET_DYN executable which means that the sections
can be relocated on load so it will defer to dl_iterate_phdr to get
the real addresses. It will do that only when you call
backtrace_pcinfo which, behind the scenes, ends up calling
backtrace_initialize and that will do the dl_iterate_phdr for the
executable which is wrong since the executable we want to get the
symbols on is not the current one (which is heaptrack_interpret) and
we already get the base addresses correctly from the main process
through the pipe. So there's no need to ever pass isExe = true.

Reserve space for chart data.

Optimize: evaluate top-down data in parallel to chart data.

For a larger data file, this reduces the parse time from ~21s
to 15s on my machine.

Optimize: only do one hash lookup instead of three per IpIndex.

This is still one of the hotspots when parsing large data files,
but at least it makes it a bit faster.

Optimize: Replace QHash with std::array.

We now know that chart cost data is monotonously indexed and can
thus use a plain array over a QHash. This is much quicker to index
into in Parser::handleTimeStamp, and removes a hotspot found with
perf when analyzing a big data file.

Minor: move newline for readbility

Increase max chart datapoints to 500.

Only allocate 100 brushes for the flamegraph.

More colors are probably not discernible anyways. This way,
we can save a couple of megabytes of memory for large input
files.

Use two-pass over input data to speed up chart building.

This way, we can look at the top N hotspots after the first parse,
and then quickly iterate over the file again, discarding most lines.
Only the lines for (de-)allocations must be looked at, everything
else can be reused from the first parse.

Now, we won't spend minutes/hours to create chart data, as we can
look at the explicit hotspots which we found once before. No more
costly merging or sorting of the allocation data on every timestamp.

Only create one chart data per second.

This way we can run heaptrack on large data files.

In the future, this will be restructured to make it configurable.

Make sure the ChartMergeData is nothrow-move-assignable.

Cache ip addresses.

Fix wrong assertion

Disable modeltest.

I'll write a proper test soon and add the ModelTest there.

Restructure test code layout, import catch and use that.

Simplify CMakeLists.txt - we always use malloc now.

Use malloc within libbacktrace for the usecase of heaptrack.

This library is only being used from within the external interpret
process and never from a signal handler. Only there the mmap-approach
makes sense. Using malloc instead is significantly faster and makes
using heaptrack with clang++ and debug symbols usuable.

Cleanup and rename leaked in gui to consumed.

Fix chart model by splitting it up by type.

Since the number of columns can be different per type
we need separate models. This finally makes the stacked
charts work properly.

cleanup

Deduplicate code

Format tooltip cost and time.

Keep the chart data associated with a constant column.

This is neccessary to have the association with a color and
later a legend label make sense.

What's left to be done now is adding some sorting on top to
have the most costly column at the bottom of the model.

Merge entries for chart data and sort in descending order.

Fix tooltips and show stacked graph.

Use correct axis and labels in time charts.

Add basic tooltip functionality for stacked time charts

start with stacked time charts

Use the TopDownData as input to generate the FlameGraph.

Add Top-Down tree model.

Also sum up peaks.

The models have no temporal notation thus if two peaks happen
at a different time, you cannot say that this is the real
peak memory consumption of a merged allocation.

But taking the absolute peak of peaks is very confusing as
then the leaked number can be less than the peak.

Build tooltip ondemand which speeds initial parsing up tremendously.

We save thousands of allocations this way. And the tooltip becomes more
expressive as well. This does remove the number of allocations from the graph
iteself though, but often it's not visible there anyways and the width already
represents the same data.

Don't forget selection when resizing the flamegraph widget.

Cleanup the code and add some comments

Merge branch 'flamegraph'

Cleanup code

Implement zooming as done in original FlameGraph SVG.

Maximize parent frames, hide all siblings of these parents and relayout
the children to the available parent width.

This is much better from a usability POV imo and has proven itself in
in the SVG implementation. The previous take of mine was simply too
confusing.

Use mem color scheme from upstream FlameGraph.

Add hover effect.

Paint selected item differently.

Cleanup the code a bit, use font metrics height for item height.

Disable QGV BSP item indexing for the FlameGraph scene.

The data changes frequently and this would be slow when we use the BSP.

Adapt the minRootWidth to the available viewport width

Cleanup code and build graphics items in the background thread.

This prevents ~1s of GUI freezes on common data files.

CMake: set_package_properties for KChart

Bring back mouse wheel zooming.

Works fine when removing the ItemIgnoresTransformations flag,
which apparently isn't required after all.

Implement click-to-zoom in FlameGraph

Refactor code and use QGV parent child chain while ignoring transformations.

First steps towards custom zooming operation.

Set pen externally, add total item

Exclude stop indices from GUI backtraces.

Use correct foreground color.

Keep font size stable.

Improve layouting and data generation for flame graph.

Don't count non-leaf node's cost multiple times and take the
parent cost into account when calculating the width of frame
graphics items.

Build a top-down flame graph.

The layouting is still wrong, but this gives us the data at least.

Merge remote-tracking branch 'origin/master' into flamegraph

do not mix up peak and allocated columns

Add QDebug include, for potential printf debugging needs.

Add initial take on a FlameGraph based on QGraphicsView.

Many issues still, mostly due to bad scaling, i.e. we'd want
constant text size (elided if parent item is too small), and constant
item height based on text height.

Remove warning about bogus translation.

Make it possible to create flamegraph compatible stack files.

heaptrack_print gained the following new feature:

 -F [ --print-flamegraph ] arg
Path to output file where a flame-graph compatible stack file will
be written to.
To visualize the resulting file, use flamegraph.pl from
https://github.com/brendangregg/FlameGraph:
    heaptrack_print heaptrack.someapp.PID.gz -F stacks.txt
    # optionally pass --reverse to flamegraph.pl
    flamegraph.pl --title "heaptrack: allocations" --colors mem \
      --countname allocations < stacks.txt > heaptrack.someapp.PID.svg
    [firefox|chromium] heaptrack.someapp.PID.svg

Increase width of help output

Save memory by keeping file strings shared.

Before, we detached when we concatenated the string number, leading
to excessive memory consumption in large data files.

Fix compile of test when unwind.h is in non-standard path.

Fix serious regression which broke evaluation of back traces.

The data format expects hexadecimal numbers, thus output one.
Regression was introduced when I hacked in the 32bit support.

Add first test to verify libunwind integration behaves sane.

Turns out that you must not build libunwind with the gold linker,
it completely breaks the stack unwinding functionality for me.

TODO: use a proper testing framework here.

Don't show an error when heaptrack_gui is not in PATH.

Make GUI/Chart optional.

Fix 'obvious' error on 32bit for injection, still doesn't work properly.

Also fix building of the gui on 32bit

Always assume 64bit input data in the printer.

Otherwise, we cannot print 64bit records on 32bit machines.