Merge pull request #298 from iovisor/bblanco_dev

Automatically bump memlock ulimit

Automatically bump memlock ulimit

Instead of requiring the user to bump the ulimit in their shell before
starting a bcc script, try to setrlimit automatically when a failure
occurs. Since there is no getrusage for memlock limit, unfortunately we
have to brute force setting the limit. For now, just try bpf() once and
then try to set unlimited ulimit, then try bpf() again.

Fixes: #281
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #297 from iovisor/bblanco_dev

Fixup dependencies of bcc-tools package

Fixup dependencies of bcc-tools package

This should depend on python-bcc, which itself depends on libbcc.

Fixes: #291
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #296 from iovisor/bblanco_dev

Add bcc-tools package

Add rpm and deb packaging for bcc-tools

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Package tools into share/bcc/tools

Ticket: #291
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #294 from iovisor/bblanco_dev

Fixup broken symlink tests/cc/simulation.py

Fixup broken symlink tests/cc/simulation.py

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #293 from iovisor/bblanco_dev

added P4 deparser synthesis

added P4 deparser synthesis

Merge pull request #292 from iovisor/bblanco_dev

Updates to INSTALL.md for readability and ease of use

Move INSTALL.md to use more block code

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Update INSTALL.md instructions for Ubuntu

A stable 4.3 kernel is available, suggest users use that version
instead.

Move LLVM build instructions to the end, prefer that they pull llvm
binaries instead.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #290 from iovisor/bblanco_dev

Fix unary operator handling of probe reads with parens

Fix unary operator handling of probe reads with parens

Testing for bpf_probe_read should not include parenethes when walking
the tree, since the inner operation will have already been rewritten.

Fixes: #289
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #288 from SomaLDEN/drzix

Edit README, link path of some example files

Edit README, link path of some example files

As some example files were reorganized into subdirecotries, some
pathes in README bring connection on 404. So it have to be new pathes.

Merge pull request #286 from troyengel/master

Fixes #285 - build process assumes git use

Fixes #287 - build process assumes python cmd

Fixes #285 - build process assumes git use

Merge pull request #284 from iovisor/bblanco_dev

Add bpf() syscall feature check and readme update

Add bpf() syscall feature check and readme update

Fixes: #283
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #282 from iovisor/bblanco_dev

Add perf_output support for high rate events

Update trace perf output with struct deserialize example

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Disable custom perf output support in older kernels

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Let perf_output be always per-cpu

Incoporating feedback from bgregg:
Make per-cpu nature of output buffer be hidden and implicit. As such,
incoporate some rewriting into the definition of the PERF_OUTPUT.
Create two different macros to distinguish the perf_array (hardware
counters) from the perf_output (ring buffer) use cases.

Also, rename perf_output to perf_submit.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add per-cpu parameters to buffered perf output

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add perf_output support for high rate events

This adds support for the bpf_perf_event_output command. This is
intended for per-process events from bpf to userspace at high rate. The
events from the bpf program can be completely customized.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Update compat bpf.h with 4.4 features

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Change indentation in bpf/helpers.h

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #280 from iovisor/bblanco_dev

Reorganize examples into subdirectories

Reorganize examples into subdirectories

Examples directory has been growing, so add a bit of organization.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #279 from iovisor/bblanco_dev

Bump ulimit for locked memory in test wrapper

Bump ulimit for locked memory in test wrapper

This follows from a change in upstream kernel for counting bpf maps
against the locked memory limit.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #278 from SomaLDEN/drzix

Python: fix detach_kprobe()

Python: fix detach_kprobe()

As open_kprobes contains not fd but pointer to struct perf_reader,
it should call lib.perf_reader_free() instead of os.close()

Merge pull request #277 from SomaLDEN/drzix

perf_reader: allow more than one reader to poll

perf_reader: allow more than one reader to poll

When more than one events are used with attach_kprobe, the
perf_reader_poll() will segfault by buffer overflow like below.

*** buffer overflow detected ***: python terminated
======= Backtrace: =========
/lib/x86_64-linux-gnu/libc.so.6(+0x7338f)[0x7fcc971fb38f]
/lib/x86_64-linux-gnu/libc.so.6(__fortify_fail+0x5c)[0x7fcc97292c9c]
/lib/x86_64-linux-gnu/libc.so.6(+0x109b60)[0x7fcc97291b60]
/lib/x86_64-linux-gnu/libc.so.6(+0x10ac04)[0x7fcc97292c04]
/usr/lib/x86_64-linux-gnu/libbcc.so(perf_reader_poll+0x42)[0x7fcc93969cc2]
/usr/lib/x86_64-linux-gnu/libffi.so.6(ffi_call_unix64+0x4c)[0x7fcc95c2badc]
/usr/lib/x86_64-linux-gnu/libffi.so.6(ffi_call+0x1fc)[0x7fcc95c2b40c]
/usr/lib/python2.7/lib-dynload/_ctypes.x86_64-linux-gnu.so(_ctypes_callproc+0x48e)[0x7fcc95e425fe]
/usr/lib/python2.7/lib-dynload/_ctypes.x86_64-linux-gnu.so(+0x15f9e)[0x7fcc95e43f9e]
python(PyEval_EvalFrameEx+0x965)[0x499be5]
python(PyEval_EvalCodeEx+0x2ac)[0x4a090c]
python(PyEval_EvalFrameEx+0x7d2)[0x499a52]
python[0x4a1634]
python(PyRun_FileExFlags+0x92)[0x44e4a5]
python(PyRun_SimpleFileExFlags+0x2ee)[0x44ec9f]
python(Py_Main+0xb5e)[0x44f904]
/lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0xf5)[0x7fcc971a9ec5]
python[0x578c4e]

Merge pull request #276 from brendangregg/master

softirq and hardirq

softirq and hardirq

Merge pull request #274 from brendangregg/master

tcpconnect for IPv4 and IPv6, and make tcpv4connect a trimmed example

refer to tcpconnect

tcpconnect for IPv4 and IPv6, and make tcpv4connect a trimmed example

Merge pull request #272 from SomaLDEN/poll_timeout

perf_reader : add timeout argument to perf_reader_poll

perf_reader : add timeout argument to perf_reader_poll

Merge pull request #271 from brendangregg/master

tcpaccept

filter to match TCP only

USAGE message typos

tcpaccept

Merge pull request #268 from iovisor/bblanco_dev

Fixes for deb/rpm packaging

Fixes for deb/rpm packaging

These fixes are manually included in the released 0.1.7 packages, but
will help with future builds.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #267 from iovisor/bblanco_dev

Update tag to v0.1.7

Update tag to v0.1.7

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #265 from iovisor/yhs_dev

handle return value in kretprobe handler for tcpv4connect

Merge pull request #264 from iovisor/yhs_dev

Fix an uninitialized variable access in test_clang

handle return value in kretprobe handler for tcpv4connect

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Fix an uninitialized variable access in test_clang

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #262 from iovisor/bblanco_dev

Make KeyboardInterrupt catch more aggressive

Make KeyboardInterrupt catch more aggressive

Fixes: #186
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #261 from iovisor/bblanco_dev

Fixes for table indexing and clear()

Avoid infinite loops in BPF.Table destructor

In the case that python process tries to clear() a table object while
the bpf program is still running and doing lookup_or_init, the python
clean() routine will race with the bpf program (and bpf will win in the
case of frequent kprobe hits) causing a hang. Instead, first get the
full list of keys and then delete them rather than rely on the default
popitem implementation.

Fixes: #233
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Support iterating from a 0-filled table key

In the case that 0-filled keys are valid in the table, the previous
algorithm did not properly iterate.

The API of the bpf_get_next_key routine is such that the iteration
over a map should start with an invalid key. When a 0 key is valid, this
causes iteration to start anywhere inside the hash table, skipping some
entries. So, add logic to the Iter object to test if the init key is
invalid. If otherwise, try a few alternatives until an invalid key is
found. If none found, raise an exception.

Also adds a test for indexing arrays from 0, which nows works with this
too.

Fixes: #260
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #259 from iovisor/bblanco_dev

Don't treat fundamentally typed args as needing probe_read

Don't treat fundamentally typed args as needing probe_read

The rewriter was aggressively parsing PoD types as requiring probe_read
and poisoning other decls when those arguments were used.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #257 from iovisor/bblanco_dev

Mask function calls from influencing probe_read

Mask function calls from influencing probe_read

Calls to functions were propagating the needs_probe state, causing map
values to require a probe_read improperly. Although there may be a use
case for this, generally it will not be needed and should be solved
differently.

Fixes: #256
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #255 from iovisor/bblanco_dev

Add ability to consume perf events in python

Add check for fd < 0 in perf_reader_free

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add ability to consume perf events in python

This adds the ability to consume perf events in libbpf/python using the
ring buffer. For now, this is the only way to get access to the function
call graph. Only kernel functions are supported.

It does this by introducing a new set of libbpf helper functions that
can open the perf fd, mmap it, and poll over the events as they are
submitted by the kernel. This allow for faster event processing than
trace_printks, but has not been tested.

The functionality is disabled by default, the user can enable it by
passing a non-empty cb parameter into the BPF constructor. That cb
function will be invoked for each event that is read from the buffer.
Buffers are per-fd, so each event is distinct as well as separated from
other processes that may be running simultaneously.

The initial test case uses this functionality to build a histogram of
events keyed by the callchain.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #254 from brendangregg/master

tcpv4connect

tcpv4connect

Merge pull request #252 from iovisor/bblanco_dev

Add custom formatter function to print_log2_hist

Add custom formatter function to print_log2_hist

Fixes: #251
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #250 from brendangregg/master

begin using new histogram breakdowns feature

biolatency -D

funclatency -F

Merge pull request #249 from brendangregg/master

use BPF_HISTOGRAM and num_open_kprobes

tidy up: delete value after use

use new num_open_kprobes() function

improve comments for prime example

use BPF_HISTOGRAM

Merge pull request #248 from tuxology/open_probes

Helper to get open k[ret]probes. Fixes #236

A more suitable function mame

Merge branch 'master' into open_probes

Helper to get open k[ret]probes. Fixes #236

Merge pull request #247 from iovisor/bblanco_dev

Add BPF_HISTOGRAM type and print support

Add support for char[N] as a histogram key

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add BPF_HISTOGRAM type and print support

This adds support for a specialized histogram type, which underneath
maps to an array or a hash table, depending on key type. With no
arguments, it takes on the type `u64 table[64];`. The other current
supported key type is `struct { int32|int64 bucket; int32|int64 slot }`.

To print these automatically, print_log2_hist is underneath split into
two types of printouts, one which prints the single histogram, and
another which prints a histogram for each unique `bucket` value.

See test_histogram.py for examples.

Fixes: #144
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add pointer dereference support to probe_read

Allows things like:
```c
int kprobe__foo(struct pt_regs *ctx, u64 *ptr) {
  bpf_trace_printk("%lx\n", *ptr);
```

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #230 from mbudiu-bfn/master

Initial implementation of P4->ebpf compiler.

initial prototype P4->EBPF compiler

Merge pull request #246 from tuxology/master

Add contribution section

Formatting suggestions

Add contribution section

Merge pull request #244 from iovisor/bblanco_dev

Use GNUInstallDirs for LIBDIR variable

Use GNUInstallDirs for LIBDIR variable

This should be supported in older versions of cmake, but haven't
explicitly tested those.

Fixes: #243
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #241 from brendangregg/master

biolatency, funclatency, and bpf_log2l usage

Merge remote-tracking branch 'upstream/master'

biolatency