Merge pull request #279 from iovisor/bblanco_dev

Bump ulimit for locked memory in test wrapper

Bump ulimit for locked memory in test wrapper

This follows from a change in upstream kernel for counting bpf maps
against the locked memory limit.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #278 from SomaLDEN/drzix

Python: fix detach_kprobe()

Python: fix detach_kprobe()

As open_kprobes contains not fd but pointer to struct perf_reader,
it should call lib.perf_reader_free() instead of os.close()

Merge pull request #277 from SomaLDEN/drzix

perf_reader: allow more than one reader to poll

perf_reader: allow more than one reader to poll

When more than one events are used with attach_kprobe, the
perf_reader_poll() will segfault by buffer overflow like below.

*** buffer overflow detected ***: python terminated
======= Backtrace: =========
/lib/x86_64-linux-gnu/libc.so.6(+0x7338f)[0x7fcc971fb38f]
/lib/x86_64-linux-gnu/libc.so.6(__fortify_fail+0x5c)[0x7fcc97292c9c]
/lib/x86_64-linux-gnu/libc.so.6(+0x109b60)[0x7fcc97291b60]
/lib/x86_64-linux-gnu/libc.so.6(+0x10ac04)[0x7fcc97292c04]
/usr/lib/x86_64-linux-gnu/libbcc.so(perf_reader_poll+0x42)[0x7fcc93969cc2]
/usr/lib/x86_64-linux-gnu/libffi.so.6(ffi_call_unix64+0x4c)[0x7fcc95c2badc]
/usr/lib/x86_64-linux-gnu/libffi.so.6(ffi_call+0x1fc)[0x7fcc95c2b40c]
/usr/lib/python2.7/lib-dynload/_ctypes.x86_64-linux-gnu.so(_ctypes_callproc+0x48e)[0x7fcc95e425fe]
/usr/lib/python2.7/lib-dynload/_ctypes.x86_64-linux-gnu.so(+0x15f9e)[0x7fcc95e43f9e]
python(PyEval_EvalFrameEx+0x965)[0x499be5]
python(PyEval_EvalCodeEx+0x2ac)[0x4a090c]
python(PyEval_EvalFrameEx+0x7d2)[0x499a52]
python[0x4a1634]
python(PyRun_FileExFlags+0x92)[0x44e4a5]
python(PyRun_SimpleFileExFlags+0x2ee)[0x44ec9f]
python(Py_Main+0xb5e)[0x44f904]
/lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0xf5)[0x7fcc971a9ec5]
python[0x578c4e]

Merge pull request #276 from brendangregg/master

softirq and hardirq

softirq and hardirq

Merge pull request #274 from brendangregg/master

tcpconnect for IPv4 and IPv6, and make tcpv4connect a trimmed example

refer to tcpconnect

tcpconnect for IPv4 and IPv6, and make tcpv4connect a trimmed example

Merge pull request #272 from SomaLDEN/poll_timeout

perf_reader : add timeout argument to perf_reader_poll

perf_reader : add timeout argument to perf_reader_poll

Merge pull request #271 from brendangregg/master

tcpaccept

filter to match TCP only

USAGE message typos

tcpaccept

Merge pull request #268 from iovisor/bblanco_dev

Fixes for deb/rpm packaging

Fixes for deb/rpm packaging

These fixes are manually included in the released 0.1.7 packages, but
will help with future builds.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #267 from iovisor/bblanco_dev

Update tag to v0.1.7

Update tag to v0.1.7

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #265 from iovisor/yhs_dev

handle return value in kretprobe handler for tcpv4connect

Merge pull request #264 from iovisor/yhs_dev

Fix an uninitialized variable access in test_clang

handle return value in kretprobe handler for tcpv4connect

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Fix an uninitialized variable access in test_clang

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #262 from iovisor/bblanco_dev

Make KeyboardInterrupt catch more aggressive

Make KeyboardInterrupt catch more aggressive

Fixes: #186
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #261 from iovisor/bblanco_dev

Fixes for table indexing and clear()

Avoid infinite loops in BPF.Table destructor

In the case that python process tries to clear() a table object while
the bpf program is still running and doing lookup_or_init, the python
clean() routine will race with the bpf program (and bpf will win in the
case of frequent kprobe hits) causing a hang. Instead, first get the
full list of keys and then delete them rather than rely on the default
popitem implementation.

Fixes: #233
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Support iterating from a 0-filled table key

In the case that 0-filled keys are valid in the table, the previous
algorithm did not properly iterate.

The API of the bpf_get_next_key routine is such that the iteration
over a map should start with an invalid key. When a 0 key is valid, this
causes iteration to start anywhere inside the hash table, skipping some
entries. So, add logic to the Iter object to test if the init key is
invalid. If otherwise, try a few alternatives until an invalid key is
found. If none found, raise an exception.

Also adds a test for indexing arrays from 0, which nows works with this
too.

Fixes: #260
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #259 from iovisor/bblanco_dev

Don't treat fundamentally typed args as needing probe_read

Don't treat fundamentally typed args as needing probe_read

The rewriter was aggressively parsing PoD types as requiring probe_read
and poisoning other decls when those arguments were used.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #257 from iovisor/bblanco_dev

Mask function calls from influencing probe_read

Mask function calls from influencing probe_read

Calls to functions were propagating the needs_probe state, causing map
values to require a probe_read improperly. Although there may be a use
case for this, generally it will not be needed and should be solved
differently.

Fixes: #256
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #255 from iovisor/bblanco_dev

Add ability to consume perf events in python

Add check for fd < 0 in perf_reader_free

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add ability to consume perf events in python

This adds the ability to consume perf events in libbpf/python using the
ring buffer. For now, this is the only way to get access to the function
call graph. Only kernel functions are supported.

It does this by introducing a new set of libbpf helper functions that
can open the perf fd, mmap it, and poll over the events as they are
submitted by the kernel. This allow for faster event processing than
trace_printks, but has not been tested.

The functionality is disabled by default, the user can enable it by
passing a non-empty cb parameter into the BPF constructor. That cb
function will be invoked for each event that is read from the buffer.
Buffers are per-fd, so each event is distinct as well as separated from
other processes that may be running simultaneously.

The initial test case uses this functionality to build a histogram of
events keyed by the callchain.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #254 from brendangregg/master

tcpv4connect

tcpv4connect

Merge pull request #252 from iovisor/bblanco_dev

Add custom formatter function to print_log2_hist

Add custom formatter function to print_log2_hist

Fixes: #251
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #250 from brendangregg/master

begin using new histogram breakdowns feature

biolatency -D

funclatency -F

Merge pull request #249 from brendangregg/master

use BPF_HISTOGRAM and num_open_kprobes

tidy up: delete value after use

use new num_open_kprobes() function

improve comments for prime example

use BPF_HISTOGRAM

Merge pull request #248 from tuxology/open_probes

Helper to get open k[ret]probes. Fixes #236

A more suitable function mame

Merge branch 'master' into open_probes

Helper to get open k[ret]probes. Fixes #236

Merge pull request #247 from iovisor/bblanco_dev

Add BPF_HISTOGRAM type and print support

Add support for char[N] as a histogram key

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add BPF_HISTOGRAM type and print support

This adds support for a specialized histogram type, which underneath
maps to an array or a hash table, depending on key type. With no
arguments, it takes on the type `u64 table[64];`. The other current
supported key type is `struct { int32|int64 bucket; int32|int64 slot }`.

To print these automatically, print_log2_hist is underneath split into
two types of printouts, one which prints the single histogram, and
another which prints a histogram for each unique `bucket` value.

See test_histogram.py for examples.

Fixes: #144
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add pointer dereference support to probe_read

Allows things like:
```c
int kprobe__foo(struct pt_regs *ctx, u64 *ptr) {
  bpf_trace_printk("%lx\n", *ptr);
```

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #230 from mbudiu-bfn/master

Initial implementation of P4->ebpf compiler.

initial prototype P4->EBPF compiler

Merge pull request #246 from tuxology/master

Add contribution section

Formatting suggestions

Add contribution section

Merge pull request #244 from iovisor/bblanco_dev

Use GNUInstallDirs for LIBDIR variable

Use GNUInstallDirs for LIBDIR variable

This should be supported in older versions of cmake, but haven't
explicitly tested those.

Fixes: #243
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #241 from brendangregg/master

biolatency, funclatency, and bpf_log2l usage

Merge remote-tracking branch 'upstream/master'

biolatency

funclatency

use bpf_log2l helper

Merge pull request #240 from brendangregg/master

add bpf_log2 functions

add bpf_log2 functions

Merge pull request #238 from brendangregg/master

killsnoop and some minor fixes

killsnoop

some simplifications

variable name typo

man page missing syntax

remove vfs copy-n-paste extras

add dynamic tracing warning

update kernel version

Merge pull request #229 from brendangregg/master

opensnoop

opensnoop

Merge pull request #228 from iovisor/bblanco_dev

Add a better test case for nested probe reads

Add a better test case for nested probe reads

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #227 from iovisor/bblanco_dev

Add support for static helper functions

Add support for static helper functions

This adds support for static helper functions that can be reused. It is
not necessary to include pt_regs in the helper functions, even though
external pointers may be dereferenced. Arguments in the helpers can also
be reordered.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #223 from brendangregg/master

add biosnoop to README

add biosnoop to README

Merge pull request #222 from brendangregg/master

biosnoop and disk updates

fix comment

accomodate mq block device I/O

biosnoop for block device I/O

Merge pull request #221 from iovisor/bblanco_dev

Fix probe reads on char[] types

Fix probe reads on char[] types

It is easy enough to wrap the type in a typeof(), otherwise the rewriter
would need to do a deeper parsing of the type information to place it
properly next to the variable name.

Fixes: #219
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #218 from iovisor/bblanco_dev

Translate multiple pointer dereference into bpr_probe_read

Translate multiple pointer dereference into bpr_probe_read

This commit adds support for multiple consecutive and nested pointer
dereference of function arguments that should be converted to
bpf_probe_read. The logic works by marking variables as needing a
probe_read if they come from the register argument, and then applying
this property transitively.

Supported syntax:
```
int trace_entry(struct pt_regs *ctx, struct file *file) {
    struct vfsmount *mnt = file->f_path.mnt;
    struct super_block *k = mnt->mnt_sb;
    const char *name = file->f_path.dentry->d_name.name;
```

Not supported: probe reads from map leaves, probe reads after explicit casts.

Fixes: #188
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #210 from rlane/ebpf-method

add ebpf method to retrieve bytecode

add test for dump_func method

rename ebpf method to dump_func

add ebpf method to retrieve bytecode

This is useful if you want to use bcc as a compiler without running the
program.

Merge pull request #211 from affansyed/master

updated  mainline version to support bridge