fix pep8 lint errors in biolatency and biosnoop

Signed-off-by: Alexei Starovoitov <ast@fb.com>

Merge pull request #309 from iovisor/sharedmaps

Add ability to export maps, enables cross-program sharing

Rename BPF_EXPORT to BPF_TABLE_PUBLIC

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add ability to export maps, enables cross-program sharing

Allow a program to export a map for other programs to use. This enables
cross-program map sharing.

parent program syntax:
BPF_TABLE("array", int, int, shared, 10);
BPF_TABLE_EXPORT(shared);

child program syntax:
BPF_TABLE("extern", int, int, shared, 10);

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #308 from iovisor/cflags

Add ability to set custom cflags when loading programs

Add ability to set custom cflags when loading programs

Example:
b = bcc.BPF("myprog.c", cflags=["-DMYCUSTOMFLAG1", ...])

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #307 from iovisor/kbuild_fix

Remove runtime dependency on gcc stdarg headers and make

Remove runtime dependency on gcc stdarg headers and make

Remove the runtime dependency on gcc's stdarg.h. Do this by packaging
the (non-GPL) version shipped with clang. This allows the bulk of
kbuild_helper to be removed, at the expense of hardcoding the kernel
include paths. If in the future the kernel make system changes again to
require different -I paths, we'll have to think this through again.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #306 from troyengel/te_dev

add new Arch packages, new TOC and spiffy up the formatting

add new Arch packages, new TOC and spiffy up the formatting

Merge pull request #305 from iovisor/bblanco_dev

Drop broken p4/docs symlink and create README.md+URL

Drop broken p4/docs symlink and create README.md+URL

There was a symlink to a local file, which would instead work better as
a URL to the bpf-docs repository.

Fixes: #304
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #303 from iovisor/bblanco_dev

Improve json type support for misc struct/union types

Improve json type support for misc struct/union types

The ability of the clang rewriter to extract the type information for
some types of structs, unions, and pointers to the aforementioned was
somewhat buggy. This became exposed in a test_clang case after a user
upgraded to a newer kernel, wherein the struct definition changed. The
functionality in question is only used to pass json-ified representation
of the struct to python in order to program the Key/Leaf metaclass.

Improve support for this and other types, including unions.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #302 from iovisor/ast_dev

make sure LDFLAGS are propagated as well

make sure LDFLAGS are propagated as well

Signed-off-by: Alexei Starovoitov <ast@kernel.org>

Merge pull request #301 from iovisor/bblanco_dev

Fix breakage from LLVM 3.8 API change

Fix breakage from LLVM 3.8 API change

There is some difference in how to take a pointer from an iterator. This
code should work for both 3.7 and 3.8 APIs.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #299 from iovisor/bblanco_dev

p4: fixed bugs in control-flow generation

Merge pull request #300 from lcp/build_and_test

Honor the external C/CXX FLAGS

Honor the external C/CXX FLAGS

Signed-off-by: Gary Lin <glin@suse.com>

fixed bugs in control-flow generation

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #298 from iovisor/bblanco_dev

Automatically bump memlock ulimit

Automatically bump memlock ulimit

Instead of requiring the user to bump the ulimit in their shell before
starting a bcc script, try to setrlimit automatically when a failure
occurs. Since there is no getrusage for memlock limit, unfortunately we
have to brute force setting the limit. For now, just try bpf() once and
then try to set unlimited ulimit, then try bpf() again.

Fixes: #281
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #297 from iovisor/bblanco_dev

Fixup dependencies of bcc-tools package

Fixup dependencies of bcc-tools package

This should depend on python-bcc, which itself depends on libbcc.

Fixes: #291
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #296 from iovisor/bblanco_dev

Add bcc-tools package

Add rpm and deb packaging for bcc-tools

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Package tools into share/bcc/tools

Ticket: #291
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #294 from iovisor/bblanco_dev

Fixup broken symlink tests/cc/simulation.py

Fixup broken symlink tests/cc/simulation.py

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #293 from iovisor/bblanco_dev

added P4 deparser synthesis

added P4 deparser synthesis

Merge pull request #292 from iovisor/bblanco_dev

Updates to INSTALL.md for readability and ease of use

Move INSTALL.md to use more block code

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Update INSTALL.md instructions for Ubuntu

A stable 4.3 kernel is available, suggest users use that version
instead.

Move LLVM build instructions to the end, prefer that they pull llvm
binaries instead.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #290 from iovisor/bblanco_dev

Fix unary operator handling of probe reads with parens

Fix unary operator handling of probe reads with parens

Testing for bpf_probe_read should not include parenethes when walking
the tree, since the inner operation will have already been rewritten.

Fixes: #289
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #288 from SomaLDEN/drzix

Edit README, link path of some example files

Edit README, link path of some example files

As some example files were reorganized into subdirecotries, some
pathes in README bring connection on 404. So it have to be new pathes.

Merge pull request #286 from troyengel/master

Fixes #285 - build process assumes git use

Fixes #287 - build process assumes python cmd

Fixes #285 - build process assumes git use

Merge pull request #284 from iovisor/bblanco_dev

Add bpf() syscall feature check and readme update

Add bpf() syscall feature check and readme update

Fixes: #283
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #282 from iovisor/bblanco_dev

Add perf_output support for high rate events

Update trace perf output with struct deserialize example

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Disable custom perf output support in older kernels

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Let perf_output be always per-cpu

Incoporating feedback from bgregg:
Make per-cpu nature of output buffer be hidden and implicit. As such,
incoporate some rewriting into the definition of the PERF_OUTPUT.
Create two different macros to distinguish the perf_array (hardware
counters) from the perf_output (ring buffer) use cases.

Also, rename perf_output to perf_submit.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add per-cpu parameters to buffered perf output

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add perf_output support for high rate events

This adds support for the bpf_perf_event_output command. This is
intended for per-process events from bpf to userspace at high rate. The
events from the bpf program can be completely customized.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Update compat bpf.h with 4.4 features

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Change indentation in bpf/helpers.h

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #280 from iovisor/bblanco_dev

Reorganize examples into subdirectories

Reorganize examples into subdirectories

Examples directory has been growing, so add a bit of organization.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #279 from iovisor/bblanco_dev

Bump ulimit for locked memory in test wrapper

Bump ulimit for locked memory in test wrapper

This follows from a change in upstream kernel for counting bpf maps
against the locked memory limit.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #278 from SomaLDEN/drzix

Python: fix detach_kprobe()

Python: fix detach_kprobe()

As open_kprobes contains not fd but pointer to struct perf_reader,
it should call lib.perf_reader_free() instead of os.close()

Merge pull request #277 from SomaLDEN/drzix

perf_reader: allow more than one reader to poll

perf_reader: allow more than one reader to poll

When more than one events are used with attach_kprobe, the
perf_reader_poll() will segfault by buffer overflow like below.

*** buffer overflow detected ***: python terminated
======= Backtrace: =========
/lib/x86_64-linux-gnu/libc.so.6(+0x7338f)[0x7fcc971fb38f]
/lib/x86_64-linux-gnu/libc.so.6(__fortify_fail+0x5c)[0x7fcc97292c9c]
/lib/x86_64-linux-gnu/libc.so.6(+0x109b60)[0x7fcc97291b60]
/lib/x86_64-linux-gnu/libc.so.6(+0x10ac04)[0x7fcc97292c04]
/usr/lib/x86_64-linux-gnu/libbcc.so(perf_reader_poll+0x42)[0x7fcc93969cc2]
/usr/lib/x86_64-linux-gnu/libffi.so.6(ffi_call_unix64+0x4c)[0x7fcc95c2badc]
/usr/lib/x86_64-linux-gnu/libffi.so.6(ffi_call+0x1fc)[0x7fcc95c2b40c]
/usr/lib/python2.7/lib-dynload/_ctypes.x86_64-linux-gnu.so(_ctypes_callproc+0x48e)[0x7fcc95e425fe]
/usr/lib/python2.7/lib-dynload/_ctypes.x86_64-linux-gnu.so(+0x15f9e)[0x7fcc95e43f9e]
python(PyEval_EvalFrameEx+0x965)[0x499be5]
python(PyEval_EvalCodeEx+0x2ac)[0x4a090c]
python(PyEval_EvalFrameEx+0x7d2)[0x499a52]
python[0x4a1634]
python(PyRun_FileExFlags+0x92)[0x44e4a5]
python(PyRun_SimpleFileExFlags+0x2ee)[0x44ec9f]
python(Py_Main+0xb5e)[0x44f904]
/lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0xf5)[0x7fcc971a9ec5]
python[0x578c4e]

Merge pull request #276 from brendangregg/master

softirq and hardirq

softirq and hardirq

Merge pull request #274 from brendangregg/master

tcpconnect for IPv4 and IPv6, and make tcpv4connect a trimmed example

refer to tcpconnect

tcpconnect for IPv4 and IPv6, and make tcpv4connect a trimmed example

Merge pull request #272 from SomaLDEN/poll_timeout

perf_reader : add timeout argument to perf_reader_poll

perf_reader : add timeout argument to perf_reader_poll

Merge pull request #271 from brendangregg/master

tcpaccept

filter to match TCP only

USAGE message typos

tcpaccept

Merge pull request #268 from iovisor/bblanco_dev

Fixes for deb/rpm packaging

Fixes for deb/rpm packaging

These fixes are manually included in the released 0.1.7 packages, but
will help with future builds.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #267 from iovisor/bblanco_dev

Update tag to v0.1.7

Update tag to v0.1.7

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #265 from iovisor/yhs_dev

handle return value in kretprobe handler for tcpv4connect

Merge pull request #264 from iovisor/yhs_dev

Fix an uninitialized variable access in test_clang

handle return value in kretprobe handler for tcpv4connect

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Fix an uninitialized variable access in test_clang

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #262 from iovisor/bblanco_dev

Make KeyboardInterrupt catch more aggressive

Make KeyboardInterrupt catch more aggressive

Fixes: #186
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #261 from iovisor/bblanco_dev

Fixes for table indexing and clear()

Avoid infinite loops in BPF.Table destructor

In the case that python process tries to clear() a table object while
the bpf program is still running and doing lookup_or_init, the python
clean() routine will race with the bpf program (and bpf will win in the
case of frequent kprobe hits) causing a hang. Instead, first get the
full list of keys and then delete them rather than rely on the default
popitem implementation.

Fixes: #233
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Support iterating from a 0-filled table key

In the case that 0-filled keys are valid in the table, the previous
algorithm did not properly iterate.

The API of the bpf_get_next_key routine is such that the iteration
over a map should start with an invalid key. When a 0 key is valid, this
causes iteration to start anywhere inside the hash table, skipping some
entries. So, add logic to the Iter object to test if the init key is
invalid. If otherwise, try a few alternatives until an invalid key is
found. If none found, raise an exception.

Also adds a test for indexing arrays from 0, which nows works with this
too.

Fixes: #260
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #259 from iovisor/bblanco_dev

Don't treat fundamentally typed args as needing probe_read

Don't treat fundamentally typed args as needing probe_read

The rewriter was aggressively parsing PoD types as requiring probe_read
and poisoning other decls when those arguments were used.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #257 from iovisor/bblanco_dev

Mask function calls from influencing probe_read

Mask function calls from influencing probe_read

Calls to functions were propagating the needs_probe state, causing map
values to require a probe_read improperly. Although there may be a use
case for this, generally it will not be needed and should be solved
differently.

Fixes: #256
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #255 from iovisor/bblanco_dev

Add ability to consume perf events in python

Add check for fd < 0 in perf_reader_free

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add ability to consume perf events in python

This adds the ability to consume perf events in libbpf/python using the
ring buffer. For now, this is the only way to get access to the function
call graph. Only kernel functions are supported.

It does this by introducing a new set of libbpf helper functions that
can open the perf fd, mmap it, and poll over the events as they are
submitted by the kernel. This allow for faster event processing than
trace_printks, but has not been tested.

The functionality is disabled by default, the user can enable it by
passing a non-empty cb parameter into the BPF constructor. That cb
function will be invoked for each event that is read from the buffer.
Buffers are per-fd, so each event is distinct as well as separated from
other processes that may be running simultaneously.

The initial test case uses this functionality to build a histogram of
events keyed by the callchain.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #254 from brendangregg/master

tcpv4connect

tcpv4connect

Merge pull request #252 from iovisor/bblanco_dev

Add custom formatter function to print_log2_hist

Add custom formatter function to print_log2_hist

Fixes: #251
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #250 from brendangregg/master

begin using new histogram breakdowns feature

biolatency -D

funclatency -F

Merge pull request #249 from brendangregg/master

use BPF_HISTOGRAM and num_open_kprobes