Merge pull request #774 from goldshtn/usdt-tools

USDT tools for higher level languages

uobjnew: Remove -l switch from examples

uobjnew: Attach uprobe only to the requested process

When C allocations are traced, attach the `malloc`
uprobe only to the requested process -- otherwise, we
get allocation information from the entire system.

README: Add u* tools based on USDT probes

uflow: Add man page and companion examples file

uthreads: Add man page and companion examples file

uobjnew: Add man page and companion examples file

ugc: Add man page and companion examples file

ucalls: Add man page and companion examples file

ustat: Add man page and companion example file

ustat: Graceful error handling

If the process in question doesn't have the USDT probes we
expect, handle the failure gracefully. After all, it could
be a binary compiled without USDT support, the pid could be
recycled to some other application, or -- the process name
could match, but by accident, and really belong to some
other runtime.

ustat: Replace \0 with spaces in cmdline

The /proc/PID/cmdline file has \0 for spaces in the command
line, and there may be trailing \0 characters as well.
Replace them all with spaces.

uflow: Trace method execution flow

This tool traces method executions and prints out messages
with a nesting depth indicator that allows relatively easy
visualization of program flow. To reduce overhead, `-C` and
`-M` switches take class and method prefixes to filter the
output by. The filtering takes place in the BPF program, so
the unnecessary data never ends up in user space.

Usage examples:

```
uflow java 185
uflow -M index python 180
uflow -C 'IRB::Irb' ruby 10041
```

ustat: Change 'count' argument type to int

ustat: Sort by pid if no other sort column provided

tools: Add block comments to u* scripts

ustat: Activity stats from high-level languages

This tool gathers statistics (by pid) on method calls,
class loads, garbage collections, thread creations, object
allocations, and exceptions raised and prints them in a
top-like style. Supported languages currently include
Java, Python, Ruby, and Node. Not all languages provide
the necessary probes for all event types.

Usage examples:

```
ustat -C
ustat -l java 1
ustat -l ruby -S objnew
```

python: Expose active probes from USDT object

Allow callers to obtain the list of active (enabled) USDT
probes from the USDT object, if they need to enable the
uprobes by hand without using the bcc attach support. This
is required when the same uprobe needs to be enabled in
more than one process.

python: Do not call USDT.get_text() twice

uobjnew: Summarize object allocations

Use various USDT probes in Java and Ruby, and `malloc()`
uprobe in C, to summarize object allocations by type or
by size. Print statistics at the end or at intervals, with
optional trimming of top types by number of instances
allocated or number of bytes.

ucalls: TODO reminder to probe C methods

ugc: Fix order of arguments in usage comment

uthreads: Add pthread support

Trace `pthread_start` calls and get the symbol for the
newly-started thread for printing. Also allow no-Java runs
with no language specified for pthread-only tracing.

uthreads: Trace thread creation/destruction events

`uthreads` attaches to thread start and stop USDT probes
and traces out thread creation and destruction events.
Currently, only Java is supported.

ucalls: Trace syscalls

Add `-S` switch for tracing syscalls with or without high-
level language method calls. When `-S` is provided, attach
to all `sys_` and `SyS_` entry points in the kernel and
trace the number of calls and execution latency (if `-L`
was also specified).

This is now also a useful general-purpose tool for syscall
count/latency summarizing when a language is not specified.

ugc: Node support

Add Node support for gc__start and gc__done probes, which
includes GC type flag parsing.

tools: Script skeletons

Skeletons for method flow, object allocations, general
event statistics, and thread statistics.

ugc: Add description messages for GC events

For runtimes that make it available, we now extract GC
event information such as heap sizes and print this
information in addition to the GC duration and timestamp.

ugc: Monitor GC events in high-level languages

`ugc` monitors GC start and end events in Java, Python,
and Ruby, printing out a message when a GC cycle completes
along with the duration of the GC and an optional
additional description that depends on the target language.

NOTE: This WIP does not have any interesting additional
descriptions yet.

Usage example:

```
ugc java 1448 # monitor Java GCs in process 1448
```

ucalls: Summarize method calls with USDT

`ucalls` is a new tool that uses the USDT probes in high-
level languages (Java, Python, Ruby) to summarize the
number of method calls and optionally their latency. This
is similar to `funccount` and `funclatency` but for methods
in Java, Python, Ruby, and other languages that might have
USDT probes for method entry and exit.

`ucalls` uses the `method__entry` and `method__return`
probes in Java and Ruby, and the `function__entry` and
`function__return` probes in Python. The Python probes are
not as accurate because they do not report the class name,
but are still useful.

The optional `-L` switch indicates whether latency numbers
are required. By default, only the number of calls to each
method is printed. The `-T` switch filters out the top
methods (by number of calls or total latency).

Merge pull request #862 from palmtenor/cppusdt

Add USDT support to C++ API

Example of using USDT

Add USDT support to C++ API

Define a constant for USDT program include header

Merge pull request #861 from brendangregg/master

Improve linear histogram limit, and improve error message.

Improve linear histogram limit, and improve error message.

Merge pull request #860 from brendangregg/master

runqlen: use bpf_get_smp_processor_id()

runqlen: use bpf_get_smp_processor_id()

Merge pull request #859 from brendangregg/master

add runqlen tool

add runqlen tool

add print_linear_hist() for linear histograms

Merge pull request #856 from brendangregg/master

check effective userid on run #850

Merge pull request #837 from zlim/docker

add Quick Start Guide for bcc docker

check effective userid on run #850

Merge pull request #852 from qmonnet/kernelfeatures

docs: Update eBPF features list

docs: Update eBPF features list

Update of BPF features list, following the release of kernel 4.9.

Merge pull request #818 from ceeaspb/master

offwaketime: update with get_stackid fixes #437

update offwaketime with get_stackid

Merge pull request #849 from palmtenor/cppperfevent

Expose perf event support in C++ API

Perf event example using C++ API

Expose PMU event support in C++ API

Merge pull request #846 from palmtenor/improve_buffer

Improve C++ API perf buffer polling

Improve C++ API perf buffer polling

Merge pull request #843 from shodoco/flag

add support for bpf map flags

Merge pull request #844 from palmtenor/cleanprog

Make sure program FDs get cleaned up correctly

Make sure programs get cleaned up correctly

Merge pull request #845 from affansyed/master

Fix for issue 829 I reported

fix issue 829

Needed to make array initialized to null before bpf_probe_read as the
verifier was rejecting the original code. will probably need to fix the
tutorial as well

Merge pull request #1 from iovisor/master

updating my local repo

add support for bpf map flags

Merge pull request #842 from zhiyisun/dev

Fix bug of missing to install simple_tc.py

Set EXAMPLE_PROGRAMS in one line.

Signed-off-by: Zhiyi Sun <zhiyisun@gmail.com>

Merge branch 'master' into dev

Fix bug of missing to install simple_tc.py

examples/networking/CMakeLists.txt set $EXAMPLE_PROGRAMS twice. The
second one(tc_perf_event.py) overwirte the first one(simple_tc.py).

Signed-off-by: Zhiyi Sun <zhiyisun@gmail.com>

Merge pull request #840 from zhiyisun/dev

Add support for aarch64

Add support for aarch64

ABI for aarch64: register x0-x7 are used for parameter and result. In
bcc, there are 6 parameter registers are defined. So use x0-x5 as
parameter. frame pointer, link register, stack pointer and pc are added
in PT_REGS_xx according to arm64 architecture.

syscall number of bpf for aarch64 are defined in Kernel
header uapi/asm-generic/unistd.h.

Signed-off-by: Zhiyi Sun <zhiyisun@gmail.com>

Merge pull request #838 from palmtenor/logmsg

Avoid unexpected log message on BPF program load error

Avoid unexpected log message on BPF program load error

Merge pull request #836 from shodoco/lruhash

bcc: add lru_hash and lru_percpu_hash map types

Add lru_hash/lru_percpu_hash to python/lua

Merge branch 'master' into lruhash

add Quick Start Guide for bcc docker

bcc: add lru_hash and lru_percpu_hash map types

Merge pull request #832 from brendangregg/master

profile: -p should match user PID

profile: -p should match user PID

Merge pull request #831 from brendangregg/master

tcplife: reorder logic to catch missed timestamps

tcplife: reorder logic to catch missed timestamps

Merge pull request #830 from lcp/fix-data_t

hello_perf_output: match the data type of pid

hello_perf_output: match the data type of pid

Signed-off-by: Gary Lin <glin@suse.com>

Merge pull request #828 from palmtenor/dbgflg

Remove debug flag override in bcc_exception.h

Remove debug flag override in bcc_exception.h

Merge pull request #824 from palmtenor/exception_h

Clean up bcc_exception.h

Use StatusTuple constructor in mkstatus_

Implement StatusTuple class instead of using std::tuple

Remove unused headers and Macro

Merge pull request #825 from brendangregg/master

biotop.py: fix compiler error on newer kernels

biotop.py: fix compiler error on newer kernels

Merge pull request #823 from kinvolk/krnowak/kernel-dirs-at-runtime

Determine kernel dirs at runtime (fix #743)

Merge pull request #822 from iovisor/llvm_40_build

Add LLVMCoroutines lib for llvm>=4.0 builds

Determine kernel dirs at runtime (fix #743)

As some module build directories split headers between `source/` and
`build/` and this varies between distributions, determine the location
at runtime.

Add LLVMCoroutines lib for llvm>=4.0 builds

Building bcc against a tip of tree llvm introduces a new link failure,
which is fixed by linking against libLLVMCoroutines (which only exists
in 4.0).

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #821 from palmtenor/adjust_headers

Improve the structure of exception related header files

Rename exception.h to bcc_exception.h

Move StatusTuple definition to exception.h

Merge pull request #820 from brendangregg/master

tcplife.py: Catch passive closed by server, #788

tcplife.py: Catch passive closed by server, #788

Merge pull request #781 from palmtenor/api

C++ helper class for BCC

Eliminate rpmlint errors and allow bcc srpm to build on Fedora koji b… (#815)

* Eliminate rpmlint errors and allow bcc srpm to build on Fedora koji build system

The nightly bcc srpm does not build as-is on Fedora 24. To get the
build to work the following changes were made in the bcc.spec file:

-Specify where to find luajit headers and libraries
-Correctly limit the build to the x86_64 architecture
-Add needed build requires so the srpm can build on Fedora koji
-Run ldconfig so shared library information is updated
-Follow spec conventions by putting %changelog at the end of the spec file

* Further refine the bcc.spec file

Make the following improvements to the gcc.spec file:

-Use local_clang_static variable to allow building with locally installed clang
-Adjust build requires to include nucurses-devel and make
-Put the subpackage descriptions and file list in a more logical order
-Correct the binary rpm dependencies for the subpackages

Examples of using BCC C++ API

Basic BCC C++ API