u* tools: Gracefully handle missing probes

When the target process is missing the required USDT probes, it can
be a simple mistake (e.g. attaching a script as Java to a Python
process), or a runtime that is not instrumented with the required
probes. Attempt to gracefully handle the error and print a helpful
message instructing the user why the error might have occurred.

```
$ uthreads -l java $(pidof python)
Error attaching USDT probes: the specified pid might not contain
the given language's runtime, or the runtime was not built with the
required USDT probes. Look for a configure flag similar to
--with-dtrace or --enable-dtrace. To check which probes are present
in the process, use the tplist tool.
```

Merge pull request #963 from goldshtn/utools-php

u* tools: PHP support

Merge pull request #961 from goldshtn/ugc-filters

ugc: Add -M for minimum time and -F for text filtering

Merge pull request #959 from r4f4/fix-uobjnew

Fix uobjnew and ustat on python3

Merge pull request #953 from Appdynamics/master

Debian jessie .deb build config and automated test fixes.

ustat: fix lambda syntax on python3.

$ ./ustat
  File "./ustat", line 242
    counts = sorted(counts.items(), key=lambda (_, v):
                                               ^
SyntaxError: invalid syntax

uobjnew: fix lambda syntax in python3

$ ./uobjnew
  File "./uobjnew", line 150
    data = sorted(data.items(), key=lambda (k, v): v.num_allocs)
                                           ^
SyntaxError: invalid syntax

usdt: convert text from bytes to str

This fixes a TypeError in python 3, e.g, when executing uobjnew

Traceback (most recent call last):
  File "./uobjnew", line 134, in <module>
    bpf = BPF(text=program, usdt_contexts=[usdt])
  File "/usr/lib/python3.5/site-packages/bcc/__init__.py", line 224, in __init__
    text = usdt_text + text
TypeError: can't concat bytes to str

Merge pull request #958 from iovisor/dpkg-deb-compress

Use fast compression in test deb builds

Use fast compression in test deb builds

Builds on GCE/ubuntu image were taking a long time due to combination of
disk speed/single core, and the default dpkg-deb compression level
(-z9). The dpkg-deb alone step was taking up to 5 minutes. Reduce to ~1
minute by forcing -z1. Unfortunately, it was not obvious how to capture
the option in debuild command, so this is a bit hacky.

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Merge pull request #957 from iovisor/misc_fixes

Fixes for LLVM4+, python3

python3 compat: tracepoint fixes

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

python3 compat: add missing str->bytes conversion

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Fix for test_log_buf to work with python3

In python3, output needs to be converted from ascii to str before the
"error_msg in str" test will succeed. This change should be backwards
compatible with python2.

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Style fixes for loader.cc

Diff generated by clang-format

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Use builtin clang::CompilerInvocation object

Recent llvm changed the calling convention of setInvocation, breaking
3.9/4.0 compatibility. This new approach works for both.

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Explicitly mark b functions as nounwind

Without marking as nounwind, recent llvm started generating .eh_frame
section, which is invalid for bpf target jit.

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Mark additional helper function as inline

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Merge pull request #916 from pchaigno/use-pid-to-resolve-lib

Use PID to resolve path of target libraries

Merge pull request #951 from r4f4/fix-trace-py3

trace: fix for python3

Merge pull request #952 from ColinIanKing/master

snapcraft: add in some missing tools from the snapcraft apps list

Merge pull request #955 from r4f4/fix-tplist

tplist: don't fail if no verbosity is supplied

Merge pull request #954 from brendangregg/master

update tools pic

tplist: don't fail if no verbosity is supplied

Initialise the verbosity argument to 0, so that when no verbosity is
provided we don't fail with

$ tplist
kvmmmu:kvm_mmu_pagetable_walk
unorderable types: NoneType() > int()

Still figuring out anchors in markdown.

Still figuring out anchors in markdown.

Building on Debian Jessie

Minor debian/control file updates
Added Debian - Source section to INSTALL.md

Yanked all libbcc.so tests out of test/lua/test_standalone.sh

On 30 April 2016 Vicent Marti modified src/lua/CMakeLists.txt to
statically link libbcc into bcc-lua.  This causes one of the tests
in test/lua/test_standalone.sh to fail, and renders all of the tests
related to libbcc.so obsolete.

Fixed TestUprobes.test_simple_library() in test_uprobes.lua

Fixed failing test_simple_library() in test_uprobes.py

Debian jessie compile/test work in progress.

update tools pic

u* tools: PHP support

Introduce PHP support to ucalls, uflow, and ustat. The PHP probes
used are for function entry and exit, file compile (~ class load),
and exception throw. This requires a PHP runtime built with the
`--enable-dtrace` configure switch. Some probes also require
USE_ZEND_DTRACE=1.

Resolves #945.

trace: fix for python3

xrange does not exist in py3.

snapcraft: add in some missing tools from the snapcraft apps list

Add in capable, deadlock-detector, llcstat, mountsnoop, profile,
runqlen, solisten, tplist, ucalls, uflow, ugc, uobjnew, ustat
and uthreads. Includes some re-ordering as well.

Signed-off-by: Colin Ian King <colin.king@canonical.com>

ugc: Add -M for minimum time and -F for text filtering

Filter out collections that are shorter than x milliseconds by using
`ugc -M x`. Display only collections that contain a certain string s
in their description by using `ugc -F s`. The latter option is not
implemented in the kernel, but rather just before printing the event
in the user script (for simplicity), and documented as such.

Merge pull request #948 from shodoco/master

bcc: add support for lpm trie map type

bcc: update kernel-versions.md for lpm trie change

bcc: add support for lpm trie map type

Merge pull request #946 from goldshtn/install-fc2425

Update installation instructions for FC24 and FC25

Merge pull request #947 from rnav/powerpc64-doc-update

docs/kernel-versions: add reference to powerpc64 constant blinding support

docs/kernel-versions: add reference to powerpc64 constant blinding support

... introduced in v4.9

Signed-off-by: Naveen N. Rao <naveen.n.rao@linux.vnet.ibm.com>

Update installation instructions for FC24 and FC25

It turns out that for FC24 and FC25, there is a sufficiently recent
version of Clang in the official package sources, so we don't need
to fetch it from llvm.org using wget. Tested manually on a pair of
fresh FC24 and FC25 VMs, and confirmed that BCC builds and runs OK.

Merge pull request #936 from kennyyu/kennyyu-deadlock-detector

tools: add tool to detect potential deadlocks in running programs

Merge pull request #944 from derek0883/mybcc

switch bcc to use single instance per bcc process, fixed issue #940

switch bcc to use single instance per bcc process,
instance dir is bcc_pid, fixed issue #940

Merge branch 'master' into kennyyu-deadlock-detector

Merge pull request #943 from edwardshao/topic/fix-docs-commit-link

docs: fix "BPF attached to sockets" commit link

docs: fix "BPF attached to sockets" commit link

Merge branch 'master' into kennyyu-deadlock-detector

Merge pull request #937 from netoptimizer/for_upstream01

docs: keep track of when prealloc of map elements were introduced

Address round 2 of comments in https://github.com/iovisor/bcc/pull/936

- Specify when `--binary` is needed (statically vs dynamically-linked
  binaries).

- Make `-h`, `_examples.txt`, and man page have concrete examples and
  be more user-friendly.

Merge branch 'master' into kennyyu-deadlock-detector

Fix a few small typos

Address comments from https://github.com/iovisor/bcc/pull/936

- Remove dependency on networkx. I did this by copying only the parts I needed
  from networkx, and adapting it to only use what I needed. These include:
  `DiGraph`, `strongly_connected_components`, `simple_cyles`

- Symbolize global and static mutexes. In order to do this, I subshell out to
  `subshell`. This isn't very efficient, but this only happens at the end of
  the program if a deadlock is found, so it's not too bad.

- `--verbose` mode to print graph statistics

- Make `--binary` flag optional. Not needed by default, However, this is needed
  on kernels without this recent kernel patch
  (https://lkml.org/lkml/2017/1/13/585, submitted 2 weeks ago): we can't attach
  a uprobe on a binary that has `:` in the path name. Instead, we can create a
  symlink without `:` in the path and pass that to the `--binary` argument
  instead.

docs: keep track of when prealloc of map elements were introduced

Kernel v4.6-rc1~91^2~108^2~6
 commit 6c9059817432 ("bpf: pre-allocate hash map elements")

Introduced default preallocation of mem elements to solve a deadlock
(when kprobe'ing the memory allocator itself).

This change is also a performance enhancement.

The commit also introduced a map_flags on BPF_MAP_CREATE, which can disable
this preallocation again BPF_F_NO_PREALLOC.

Signed-off-by: Jesper Dangaard Brouer <brouer@redhat.com>

tools: add tool to detect potential deadlocks in running programs

`deadlock_detector` is a new tool to detect potential deadlocks (lock order
inversions) in a running process. The program attaches uprobes on
`pthread_mutex_lock` and `pthread_mutex_unlock` to build a mutex wait directed
graph, and then looks for a cycle in this graph. This graph has the following
properties:

- Nodes in the graph represent mutexes.
- Edge (A, B) exists if there exists some thread T where lock(A) was called
  and lock(B) was called before unlock(A) was called.

If there is a cycle in this graph, this indicates that there is a lock order
inversion (potential deadlock). If the program finds a lock order inversion, the
program will dump the cycle of mutexes, dump the stack traces where each mutex
was acquired, and then exit.

The format of the output uses a similar output as ThreadSanitizer (See example:
https://github.com/google/sanitizers/wiki/ThreadSanitizerDeadlockDetector)

This program can only find potential deadlocks that occur while the program is
tracing the process. It cannot find deadlocks that may have occurred before the
program was attached to the process.

If the traced process has many mutexes and threads, this program will add a
very large overhead because every mutex lock/unlock and clone call will be
traced. This tool is meant for debugging only, and you should run this tool
only on programs where the slowdown is acceptable.

Note: This tool adds a dependency on `networkx` for the graph libraries
(building a directed graph and cycle detection).

Note: This tool does not work for shared mutexes or recursive mutexes.

For shared (read-write) mutexes, a deadlock requires a cycle in the wait
graph where at least one of the mutexes in the cycle is acquiring exclusive
(write) ownership.

For recursive mutexes, lock() is called multiple times on the same mutex.
However, there is no way to determine if a mutex is a recursive mutex
after the mutex has been created. As a result, this tool will not find
potential deadlocks that involve only one mutex.

Merge pull request #935 from wcohen/wcohen/lua_opt

Allow RPMS to be built on ppc64 and aarch64 by making luajit optional

Allow RPMS to be built on ppc64 and aarch64 by making luajit optional

Not all architectures have luajit supported.  The bcc configure and
build were already was set up to make the luajit dependent parts
optional.  The bcc.spec now makes the luajit dependent parts optional
too allowing Fedora 25 builds on ppc64, ppc64le, and aarch64.  This
change has been tested and allows the resulting srpm to build on the
Fedora koji build system for the newly added architectures.

Signed-off-by: William Cohen <wcohen@redhat.com>

Merge pull request #928 from goldshtn/tp-data-loc

Support for __data_loc tracepoint fields

tplist: Don't ignore __data_loc fields

tests: Add test for TP_DATA_LOC_READ_CONST

cc: Support for __data_loc tracepoint fields

`__data_loc` fields are dynamically sized by the kernel at
runtime. The field data follows the tracepoint structure entry,
and needs to be extracted in a special way. The `__data_loc` field
itself is a 32-bit value that consists of two 16-bit parts: the
high 16 bits are the length of the data, and the low 16 bits are
the offset of the data from the beginning of the tracepoint
structure. From a cursory look, there are >200 tracepoints in
recent kernels that have this kind of field.

This patch fixes `tp_frontend_action.cc` to recognize and emit
`__data_loc` fields correctly, as 32-bit opaque fields. Then, it
introduces two helper macros:

`TP_DATA_LOC_READ(dst, field)` reads from `args->field` by finding
the right offset and length and emitting the `bpf_probe_read`
required to fetch the data. This will only work with new kernels.

`TP_DATA_LOC_READ_CONST(dst, field, length)` takes a user-specified
length rather than finding it from `args->field`. This will work
on older kernels, where the BPF verifier doesn't allow non-constant
sizes to be passed to `bpf_probe_read`.

Merge pull request #918 from derek0883/mybcc

Handling multiple concurrent probe users.

enum bpf_probe_attach_type to CAPITAL

undo rebase

Merge pull request #927 from rnav/powerpc-fixes

powerpc: update the build triplet

powerpc: update the build triplet

The more commonly used triplet on ppc64le happens to be
powerpc64le-unknown-linux-gnu. The existing one causes problems in
certain build environments. Change this.

While at it, also include support for building on big endian.

Reported-by: Anton Blanchard <anton@samba.org>
Signed-off-by: Naveen N. Rao <naveen.n.rao@linux.vnet.ibm.com>

Merge branch 'mybcc' of https://github.com/derek0883/bcc into mybcc

keep 'enum bpf_attach_type' inside libbpf.h, renamed it to bpf_probe_attach_type
using static buf size in libbpf.c. for uprobe, set buf size to PATH_MAX

Fixed test case test_trace4.py error

Handling multiple concurrent probe users.
    remove event_desc from front-end, handle it inside libbpf
    Event naming pattern changed to $(eventname)_bcc_$(pid)

rename event_name for lua

rename event name in detach_uprobe/detach_uretprobe

rename event name in detach_kprobe/detach_kretprobe

Handling multiple concurrent probe users.
Event naming pattern changed to $(eventname)_bcc_$(pid)
Detect /sys/kernel/debug/tracing/instances in bpf_attach_probe,
if it exist, then will per-instance event, if failed the make global
event instance as same as before.

Merge pull request #926 from goldshtn/argdist-pid-fix

argdist: Fix -p behavior to filter tgid and not pid

Merge pull request #925 from goldshtn/cpudist-import-fix

cpudist: remove unused Tracepoint import

argdist: Fix -p behavior to filter tgid and not pid

argdist remained one of the last holdouts to use the `-p` switch
inconsistently with other tools, filtering for kernel pid (thread
id from user space perspective) and not kernel tgid (process id
from user space perspective). This is now fixed.

Additionally, minor nits around generating pid filters were fixed,
and a potential collision with user-provided argument names was
fixed too (in general, script-generated arguments/locals should
probably stick to reserved identifiers, such as `__whatever` rather
than `whatever`).

cpudist: remove unused Tracepoint import

Fixed test case test_trace4.py error

Handling multiple concurrent probe users.
    remove event_desc from front-end, handle it inside libbpf
    Event naming pattern changed to $(eventname)_bcc_$(pid)

rename event_name for lua

rename event name in detach_uprobe/detach_uretprobe

rename event name in detach_kprobe/detach_kretprobe

Use PID to resolve path of target libraries

Leverage commit 690b7e6d

Handling multiple concurrent probe users.
Event naming pattern changed to $(eventname)_bcc_$(pid)
Detect /sys/kernel/debug/tracing/instances in bpf_attach_probe,
if it exist, then will per-instance event, if failed the make global
event instance as same as before.

Merge pull request #913 from iovisor/python23_percpu

Fix python2/3 incompatible percpu helpers

Skip percpu testing on unsupported kernels

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Support for hotplug cpu cases in percpu array sizing

The kernel uses number of possible cpus to size the leaf, not the num of
online cpus. Fixup the python side appropriately.
Update: use num_possible_cpus() helper instead

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Fix python2/3 incompatible percpu helpers

The python3 version of the percpu helpers (average, sum, etc.) were
using a python2 function that has since moved to functools (reduce).

Worse, the test case for percpu functionality was not enabled in the
cmake file. Better turn that on and make it work.

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Merge pull request #914 from mkacik/master

[tools][memleak.py] add parameter for specifying object to load malloc/free from

[memleak] add parameter for specifying object to load malloc/free from

Merge pull request #911 from goldshtn/trace-params-signature

trace: Allow function signatures in uprobes and kprobes

Merge pull request #909 from goldshtn/tp-str-fixes

trace, tplist, argdist: UDST probe miscellaneous fixes

trace: Allow function signatures in uprobes and kprobes

§`trace` now allows uprobes and kprobes to have function signatures,
which means function parameters can be named and typed, rather than
relying on the positional arg1, arg2, etc. arguments. This also
enables structure field access, which is impossible with the unnamed
arguments due to rewriter limitations.

The example requested by @brendangregg, which now works, is the
following:

§Â```
PID    TID    COMM         FUNC             -
777    785    automount    SyS_nanosleep    sleep for 500000000 ns
777    785    automount    SyS_nanosleep    sleep for 500000000 ns
777    785    automount    SyS_nanosleep    sleep for 500000000 ns
777    785    automount    SyS_nanosleep    sleep for 500000000 ns
^C
```

trace, argdist: Fix code formatting nits

trace: Use correct argument index and tgid for filters

`trace` would use the incorrect argument index for USDT probes when
filtering specifically, e.g. `trace u:lib:tp (arg1 != 0) ...` would
actually use the type of the 2nd argument, and not the 1st argument
for the type of the filter variable in the generated program. This
could cause compilation errors or subtle bugs where the data would
be either extended or contracted to fit the wrong argument's type.

Additionally, `trace` would use the pid (thread id, `-L`) filter
with the `attach_uprobe` API, which expects a tgid (process id).
As a result, incorrect filtering would happen.

trace: Generated streq-helper to ignore null terminator

argdist: Generated streq-helper to ignore null terminator

Oftentimes we want to use the STRCMP helper to compare strings that
are not null-terminated, e.g. in USDT probes this often happens.
Ignore the null terminator (i.e. loop until the last character
excluding the null terminator).