Merge pull request #1014 from iovisor/test-debuginfo-fix

Fix long running test_debuginfo and python3 fix

Fix long running test_debuginfo and python3 fix

Make sure subclass calls super().tearDown to clean up dummy process.
Also, fixup a python3 str.encode().

Fixes: #1013
Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Merge pull request #997 from markdrayton/perf-buffer-size

Make perf ring buffer size configurable

Make perf ring buffer size configurable

As discussed in #966, this PR makes the size of the ring buffer used to send
data to userspace configurable. It changes the Python, Lua and C++ APIs to
expose this knob.

It also defaults the buffer size to a larger value (64 pages per CPU, an 8x
increase) for several tools which produce a lot of output, as well as making it
configurable in `trace` via a `-b` flag.

Merge pull request #1003 from ColinIanKing/master

snapcraft: add in some new tools missing from the snapcraft apps list

Merge pull request #1008 from pchaigno/support-macro

Support for macros in rewriter

Support for macros in rewriter

Extends the scope of 98b90974625's fix to support macros anywhere in the
rewriter. All SourceRange objects are replaced to use macro expanded locations.

Merge pull request #994 from qmonnet/kernelfeatures

docs: Update eBPF features list

docs: Update eBPF features list

Update of BPF features list, following the release of kernel 4.10.

snapcraft: add in some new tools missing from the snapcraft apps list

Add in syscount, dbstat and dbslower to apps list.

Signed-off-by: Colin Ian King <colin.king@canonical.com>

Merge pull request #999 from markdrayton/perf-map-anon

Improve matching of file-backed memory mappings

Improve matching of file-backed memory mappings

Use the same rules as perf to determine if a mapping in /proc/pid/maps is
file-backed. This allows mappings in anonymous huge pages and so on to fall
back to resolving from /tmp/perf-pid.map, if appropriate.

ref: http://lxr.free-electrons.com/source/tools/perf/util/map.c#L28

Merge pull request #996 from markdrayton/fix-find-buildid

Fix "for loop initial declarations only in C99" compile error

Merge pull request #995 from pchaigno/patch-1

Fix minor error in test instructions

Fix "for loop initial declarations only in C99" compile error

Fix error in test instructions

Merge pull request #967 from goldshtn/debuginfo

External debuginfo support and general symbols overhaul

tests: Test debuginfo through debuglink and build-id sections

This commit introduces support for tests of the new debuglink and
build-id debuginfo resolution functionality. The tests build a
dummy.c file with a debuglink section, and again with a build-id
section, and make sure that the symbol resolution code can locate
the debug information correctly (in the binary's directory for
debuglink, and in /usr/lib/debug/.build-id for the build-id).

Fix symbol resolution by name (SymbolCache.resolve_name)

The implementation of `ProcSyms::resolve_name` was only valid for
kernel symbols, when there is no module. When a module was provided,
it would segfault due to the module being null. Fixed by making
`bcc_symcache_resolve_name` take an additional module parameter,
which, for kernel symbols, is simply null (`None` from Python).

cc: Resolve symbols from external debuginfo

Adds support for resolving symbols using external debuginfo files,
which can be retrieved from two locations. First, check the build-id
of the desired binary and look in /usr/lib/debug/.build-id according
to the build-id structure. Second, check the debuglink section of
the desired binary and look in /usr/lib/debug or in the binary's
current directory. These are the rules applied by GDB as well, but
GDB lets the user reconfigure the debug directory path from
/usr/lib/debug to something else; we do not support this.

These changes are based on the following description of how GDB
resolves external debuginfo:

https://sourceware.org/gdb/onlinedocs/gdb/Separate-Debug-Files.html

cc: Correctly treat PIE files as shared objects for symbols

When resolving symbols, ProcSyms would treat position-independent
executables (PIE files) incorrectly, resulting in symbol resolution
failures. Specifically, PIE files are treated like shared objects
for ASLR, which means all symbol addresses in the file need to be
taken relative to the executable load address at runtime, the same
as with dynamic library shared objects.

The fix is in the `is_so()` method on `ProcSyms::Module`, which
now uses the correct `bcc_elf_is_shared` helper for testing if a
file is a shared object rather than just looking at the extension
".so", which is very brittle -- and wrong.

trace: Migrate to new symbols API and remove addresses from stacks

off{cpu,wake}time: Migrate to new symbols API and remove addresses

Remove addresses from stack output, as these are not used in the
vast majority of the cases.

uthreads: Migrate to new symbols API and include module name

stacksnoop: Migrate to new symbols API and remove addresses

stackcount: Migrate to new symbol resolution API

profile: Migrate to new symbol API and remove addresses

The default profile output used to include stack addresses,
which are not used in 99+% of the cases.

memleak: Migrate to new symbols resolution API

Remove usyms.py dependency and replace with new symbols API.

Simplify BCC symbol resolution API

The new API has two main methods: `sym` and `ksym` (the second is
a trivial wrapper of the first one). Both methods accept two
Boolean flags arguments: `show_module` and `show_address`. The first
controls whether the resulting symbol name should contain the name
of the symbol's module, in brackets. For kernel symbols, this is
simply "[kernel]". The second controls whether the resulting symbol
name should contain the instruction offset from the beginning of
the symbol, e.g. "start_thread+0x202".

Remove usyms.py and redundant ProcessSymbols class

This class was obsolete and replaced by the SymbolCache class.

Merge pull request #988 from goldshtn/usdt-addressed-arg

Support base + index * scale addressing for USDT arguments

Merge pull request #992 from goldshtn/trace-argdist-usdt-arg

trace, argdist: Treat small USDT arguments correctly

trace, argdist: Treat small USDT arguments correctly

trace and argdist currently only work correctly for USDT arguments
whose size is exactly 8 bytes. Smaller types, such as chars, shorts,
ints (signed or unsigned) are not treated correctly. The reason is
that the produced program would invoke the `bpf_usdt_readarg` helper
with the address of a u64 local variable, and then cast that variable
to the user-specified type derived from the format string. However,
the `bpf_usdt_readarg` rewriting then passes `sizeof(u64)` to the
generated `bpf_..._readarg` macro, which then fails to read anything
because the provided size doesn't match the argument size it knows
about.

The fix is fairly easy: instead of declaring a u64 unconditionally
and reading into that variable with `bpf_usdt_readarg`, declare a
variable that has the correct type according to what we know about
the USDT probe.

Merge pull request #989 from pchaigno/fix-fd-leak

Fix file descriptor leak

Fix file descriptor leak

Support base + index * scale addressing for USDT arguments

It turns out that some software will have USDT probe arguments
referencing memory using the full `nnn@(%basereg + %idxreg * scale`
syntax. This is represented as `nnn@(%basereg,%idxreg,scale)` in
the `NT_STAPSDT` note, encountered in building a recent version of
PostgreSQL on FC25.

This format is now recognized by the USDT parser, and the correct
BPF code is emitted to retrieve arguments that reference memory
using this full addressing syntax.`

Merge pull request #972 from r4f4/fix-llcstat

llcstat: fix TypeError on python3

Merge pull request #970 from goldshtn/db-tools

dbslower and dbstat

Merge branch 'master' into db-tools

Merge pull request #971 from goldshtn/syscount

syscount: Summarize syscall counts and latencies

Merge pull request #982 from irregulator/master

Adds zlib1g-dev Debian package build dependency

Adds zlib1g-dev Debian package build dependency

When building from source in Debian, zlib1g-dev is needed or else
'/usr/bin/ld: cannot find -lz' error will occur.

syscount: Summarize syscall counts and latencies

This new tool attaches to the raw_syscalls:sys_enter and sys_exit
tracepoints, and collects frequency counts and optionally latencies
of syscalls (aggregated by syscall or by process). It is a fairly
natural and efficient extension of Brendan Gregg's syscount from
perf-tools. Options include latency tracing, interval printouts,
process filtering, summarizing only failed syscalls, and more.

NOTE:
The translation of syscall numbers to names is performed using a
static list, borrowed from strace sources. It is accurate up to
syscall 313, and does not include the bpf() syscall, for example.
Also, it is only relevant for x86_64.

Basic example:

```
$ syscount -P
Tracing syscalls, printing top 10... Ctrl+C to quit.
[10:13:21]
PID    COMM               COUNT
30216  sshd                 533
31391  vi                   494
25188  screen               134
25776  mysqld                24
31394  python                10
494    systemd-journal        5
^C

$ syscount -L
Tracing syscalls, printing top 10... Ctrl+C to quit.
[10:13:34]
SYSCALL                   COUNT        TIME (us)
select                      132      1902458.009
nanosleep                   166        11136.305
write                        89           41.308
ftruncate                     1           33.217
stat                          1           22.117
fstat                         1            6.134
[unknown: 321]               28            4.553
ioctl                         7            4.544
wait4                       166            3.962
timerfd_settime               1            3.786
^C
```

Related: #786

README: Add dbstat and dbslower and minor fix-ups

dbstat: Collect histograms of MySQL/PostgreSQL query latencies

This tool traces MySQL/PostgreSQL queries, and aggregates their
latencies into a histogram. The histogram is then printed when the
tool is stopped, or at user-specified intervals.

dbslower: MySQL/PostgreSQL query tracing tool

This tool traces MySQL/PostgreSQL queries, including an optional
minimum duration threshold. This is based on `mysqld_qslower` but
adapted to automatically detect MySQL/PostgreSQL processes, and a
couple of other code fixes.

I believe at this time, `mysqld_qslower` can be retired, as this
tool completely supersedes it.

Merge pull request #974 from r4f4/fix-undo

Revert "undo rebase"

Revert "undo rebase"

This reverts commit a112514cba8e4844c405e3f1bd341289c4d2a158.

The changes the commit reverted are legit and should not have been
reverted.

Merge pull request #969 from goldshtn/clock-monotonic

Move monotonic_time to BPF class, use CLOCK_MONOTONIC

llcstat: fix TypeError on python3

The bytes object has no __format__ method of its own, inheriting it from
object, so an exception is thrown in python3 when it's passed to a
formatted string since formatting instructions are type specific.

$: ./llcstat
Running for 10 seconds or hit Ctrl-C to end.
PID      NAME             CPU     REFERENCE         MISS    HIT%
Traceback (most recent call last):
  File "./llcstat", line 108, in <module>
    (float(hit) / float(v.value)) * 100.0))
TypeError: non-empty format string passed to object.__format__

Merge pull request #968 from mslusarz/deb-pkg-config

Add pkg-config file to Debian packages.

Add pkg-config file to Debian packages.

Merge pull request #942 from r4f4/fix-filetop

filetop: Fix TypeError by not mixing bytes and str.

filetop: Fix TypeError by not mixing bytes and str.

When executing the filetop command tool, the following message was
generated:

Traceback (most recent call last):
  File "/usr/share/bcc/tools/filetop", line 190, in <module>
    name = name[:-3] + "..."
TypeError: can't concat bytes to str

Also, by decoding the bytes we print the strings without a leading "b'"
making the output more readable.

Merge pull request #871 from zhiyisun/patch

Add optional kernel flags for running networking examples in INSTALL.md

Merge branch 'master' into patch

Merge pull request #949 from ShelbyFrances/trace_enhancements

tools/trace accepts abspath arguments to -I (and some doc tweaks)

Merge pull request #956 from r4f4/fix-ucalls

Fix ucalls

Merge pull request #965 from r4f4/fix-tools-py2

fixes #962 - fix lambda on both py2 and py3

Merge pull request #920 from pchaigno/pid-filter-gethostlatency

gethostlatency: Filter by process ID

gethostlatency: Filter on PID

Merge pull request #964 from goldshtn/utools-missing-probes

u* tools: Gracefully handle missing probes

tools: Document use of -I <path> in trace, argdist

tools: support -I abspath in trace, argdist

tools/trace: Document DSO tracing in tools/trace_example.txt

u* tools: Gracefully handle missing probes

When the target process is missing the required USDT probes, it can
be a simple mistake (e.g. attaching a script as Java to a Python
process), or a runtime that is not instrumented with the required
probes. Attempt to gracefully handle the error and print a helpful
message instructing the user why the error might have occurred.

```
$ uthreads -l java $(pidof python)
Error attaching USDT probes: the specified pid might not contain
the given language's runtime, or the runtime was not built with the
required USDT probes. Look for a configure flag similar to
--with-dtrace or --enable-dtrace. To check which probes are present
in the process, use the tplist tool.
```

Merge pull request #963 from goldshtn/utools-php

u* tools: PHP support

Merge pull request #961 from goldshtn/ugc-filters

ugc: Add -M for minimum time and -F for text filtering

fixes #962 - fix lambda on both py2 and py3

See: https://www.python.org/dev/peps/pep-3113/

ucalls: fix lambda syntax on python3

$ ucalls
  File "./ucalls", line 239
    data = map(lambda (k, v): (k.clazz + "." + k.method,
                      ^
SyntaxError: invalid syntax

See: https://www.python.org/dev/peps/pep-3113/

ucalls: fix map behaviour on python3

On python3 map returns a generator instead of a list. This fixes the
following error:

Traceback (most recent call last):
  File "./ucalls", line 280, in <module>
    data = get_data()   # [(function, (num calls, latency in ns))]
  File "./ucalls", line 255, in get_data
    data.extend(syscalls)
AttributeError: 'map' object has no attribute 'extend'

Merge pull request #959 from r4f4/fix-uobjnew

Fix uobjnew and ustat on python3

Merge pull request #953 from Appdynamics/master

Debian jessie .deb build config and automated test fixes.

ustat: fix lambda syntax on python3.

$ ./ustat
  File "./ustat", line 242
    counts = sorted(counts.items(), key=lambda (_, v):
                                               ^
SyntaxError: invalid syntax

uobjnew: fix lambda syntax in python3

$ ./uobjnew
  File "./uobjnew", line 150
    data = sorted(data.items(), key=lambda (k, v): v.num_allocs)
                                           ^
SyntaxError: invalid syntax

usdt: convert text from bytes to str

This fixes a TypeError in python 3, e.g, when executing uobjnew

Traceback (most recent call last):
  File "./uobjnew", line 134, in <module>
    bpf = BPF(text=program, usdt_contexts=[usdt])
  File "/usr/lib/python3.5/site-packages/bcc/__init__.py", line 224, in __init__
    text = usdt_text + text
TypeError: can't concat bytes to str

Merge pull request #958 from iovisor/dpkg-deb-compress

Use fast compression in test deb builds

Use fast compression in test deb builds

Builds on GCE/ubuntu image were taking a long time due to combination of
disk speed/single core, and the default dpkg-deb compression level
(-z9). The dpkg-deb alone step was taking up to 5 minutes. Reduce to ~1
minute by forcing -z1. Unfortunately, it was not obvious how to capture
the option in debuild command, so this is a bit hacky.

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Merge pull request #957 from iovisor/misc_fixes

Fixes for LLVM4+, python3

python3 compat: tracepoint fixes

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

python3 compat: add missing str->bytes conversion

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Fix for test_log_buf to work with python3

In python3, output needs to be converted from ascii to str before the
"error_msg in str" test will succeed. This change should be backwards
compatible with python2.

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Style fixes for loader.cc

Diff generated by clang-format

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Use builtin clang::CompilerInvocation object

Recent llvm changed the calling convention of setInvocation, breaking
3.9/4.0 compatibility. This new approach works for both.

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Explicitly mark b functions as nounwind

Without marking as nounwind, recent llvm started generating .eh_frame
section, which is invalid for bpf target jit.

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Mark additional helper function as inline

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Merge pull request #916 from pchaigno/use-pid-to-resolve-lib

Use PID to resolve path of target libraries

Merge pull request #951 from r4f4/fix-trace-py3

trace: fix for python3

Merge pull request #952 from ColinIanKing/master

snapcraft: add in some missing tools from the snapcraft apps list

Merge pull request #955 from r4f4/fix-tplist

tplist: don't fail if no verbosity is supplied

Merge pull request #954 from brendangregg/master

update tools pic

tplist: don't fail if no verbosity is supplied

Initialise the verbosity argument to 0, so that when no verbosity is
provided we don't fail with

$ tplist
kvmmmu:kvm_mmu_pagetable_walk
unorderable types: NoneType() > int()

Still figuring out anchors in markdown.

Still figuring out anchors in markdown.

Building on Debian Jessie

Minor debian/control file updates
Added Debian - Source section to INSTALL.md

Yanked all libbcc.so tests out of test/lua/test_standalone.sh

On 30 April 2016 Vicent Marti modified src/lua/CMakeLists.txt to
statically link libbcc into bcc-lua.  This causes one of the tests
in test/lua/test_standalone.sh to fail, and renders all of the tests
related to libbcc.so obsolete.

Fixed TestUprobes.test_simple_library() in test_uprobes.lua

Fixed failing test_simple_library() in test_uprobes.py

Debian jessie compile/test work in progress.

Update tools to use new BPF.monotonic_time method