Add libbpf.c support for uprobes

The base calling convention for uprobes is the same as kprobes, but just
the path in debug/tracing/ is slightly different. Add a new API for this
and slightly refactor the code.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #321 from brendangregg/master

wakeuptime

wakeuptime

wordwrap fix, and terminology adjustment

Merge pull request #320 from iovisor/offcputime_fix

Add decode() to ascii string in offcputime.py

Add decode() to ascii string in offcputime.py

Fixes: #318
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #319 from iovisor/cmake_fixes

Updates to use cmake GLOB and libbcc.so.0 in python init

Updates to use cmake GLOB and libbcc.so.0 in python init

In order not to miss some files in the tools and examples source
directories, use cmake file(GLOB) to collect relevant files. To ease the
implementation, move all tools to be .py suffixed in the source, but
sans-suffix in the installation (same as before)

In addition, to prevent future API breakage confusion (though of course
that may still happen), use CDLL("libbcc.so.0") in the bcc __init__.py.

Fixes: #317
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #316 from brendangregg/master

offcputime improvements

docs for offcputime -u

add -u, and change from 2 to 1 traced funcitons

optimize code, remove unnecessary filter check

Merge pull request #315 from brendangregg/master

stack walker typo and improvement

Merge branch 'master' into master

stack walker typo and improvement

Merge pull request #314 from iovisor/map_unshare

Close fd and unshare when public map is destructed

Close fd and unshare when public map is destructed

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #313 from brendangregg/master

stack walking scripts

stack walking scripts

Merge pull request #312 from iovisor/ast_dev

fix pep8 lint errors in the rest of the tools

fix pep8 lint errors in the rest of the tools

no functional changes

Signed-off-by: Alexei Starovoitov <ast@fb.com>

Merge pull request #310 from iovisor/ast_dev

fix pep8 lint errors in biolatency and biosnoop

fix pep8 lint errors in biolatency and biosnoop

Signed-off-by: Alexei Starovoitov <ast@fb.com>

Merge pull request #309 from iovisor/sharedmaps

Add ability to export maps, enables cross-program sharing

Rename BPF_EXPORT to BPF_TABLE_PUBLIC

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add ability to export maps, enables cross-program sharing

Allow a program to export a map for other programs to use. This enables
cross-program map sharing.

parent program syntax:
BPF_TABLE("array", int, int, shared, 10);
BPF_TABLE_EXPORT(shared);

child program syntax:
BPF_TABLE("extern", int, int, shared, 10);

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #308 from iovisor/cflags

Add ability to set custom cflags when loading programs

Add ability to set custom cflags when loading programs

Example:
b = bcc.BPF("myprog.c", cflags=["-DMYCUSTOMFLAG1", ...])

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #307 from iovisor/kbuild_fix

Remove runtime dependency on gcc stdarg headers and make

Remove runtime dependency on gcc stdarg headers and make

Remove the runtime dependency on gcc's stdarg.h. Do this by packaging
the (non-GPL) version shipped with clang. This allows the bulk of
kbuild_helper to be removed, at the expense of hardcoding the kernel
include paths. If in the future the kernel make system changes again to
require different -I paths, we'll have to think this through again.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #306 from troyengel/te_dev

add new Arch packages, new TOC and spiffy up the formatting

add new Arch packages, new TOC and spiffy up the formatting

Merge pull request #305 from iovisor/bblanco_dev

Drop broken p4/docs symlink and create README.md+URL

Drop broken p4/docs symlink and create README.md+URL

There was a symlink to a local file, which would instead work better as
a URL to the bpf-docs repository.

Fixes: #304
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #303 from iovisor/bblanco_dev

Improve json type support for misc struct/union types

Improve json type support for misc struct/union types

The ability of the clang rewriter to extract the type information for
some types of structs, unions, and pointers to the aforementioned was
somewhat buggy. This became exposed in a test_clang case after a user
upgraded to a newer kernel, wherein the struct definition changed. The
functionality in question is only used to pass json-ified representation
of the struct to python in order to program the Key/Leaf metaclass.

Improve support for this and other types, including unions.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #302 from iovisor/ast_dev

make sure LDFLAGS are propagated as well

make sure LDFLAGS are propagated as well

Signed-off-by: Alexei Starovoitov <ast@kernel.org>

Merge pull request #301 from iovisor/bblanco_dev

Fix breakage from LLVM 3.8 API change

Fix breakage from LLVM 3.8 API change

There is some difference in how to take a pointer from an iterator. This
code should work for both 3.7 and 3.8 APIs.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #299 from iovisor/bblanco_dev

p4: fixed bugs in control-flow generation

Merge pull request #300 from lcp/build_and_test

Honor the external C/CXX FLAGS

Honor the external C/CXX FLAGS

Signed-off-by: Gary Lin <glin@suse.com>

fixed bugs in control-flow generation

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #298 from iovisor/bblanco_dev

Automatically bump memlock ulimit

Automatically bump memlock ulimit

Instead of requiring the user to bump the ulimit in their shell before
starting a bcc script, try to setrlimit automatically when a failure
occurs. Since there is no getrusage for memlock limit, unfortunately we
have to brute force setting the limit. For now, just try bpf() once and
then try to set unlimited ulimit, then try bpf() again.

Fixes: #281
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #297 from iovisor/bblanco_dev

Fixup dependencies of bcc-tools package

Fixup dependencies of bcc-tools package

This should depend on python-bcc, which itself depends on libbcc.

Fixes: #291
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #296 from iovisor/bblanco_dev

Add bcc-tools package

Add rpm and deb packaging for bcc-tools

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Package tools into share/bcc/tools

Ticket: #291
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #294 from iovisor/bblanco_dev

Fixup broken symlink tests/cc/simulation.py

Fixup broken symlink tests/cc/simulation.py

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #293 from iovisor/bblanco_dev

added P4 deparser synthesis

added P4 deparser synthesis

Merge pull request #292 from iovisor/bblanco_dev

Updates to INSTALL.md for readability and ease of use

Move INSTALL.md to use more block code

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Update INSTALL.md instructions for Ubuntu

A stable 4.3 kernel is available, suggest users use that version
instead.

Move LLVM build instructions to the end, prefer that they pull llvm
binaries instead.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #290 from iovisor/bblanco_dev

Fix unary operator handling of probe reads with parens

Fix unary operator handling of probe reads with parens

Testing for bpf_probe_read should not include parenethes when walking
the tree, since the inner operation will have already been rewritten.

Fixes: #289
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #288 from SomaLDEN/drzix

Edit README, link path of some example files

Edit README, link path of some example files

As some example files were reorganized into subdirecotries, some
pathes in README bring connection on 404. So it have to be new pathes.

Merge pull request #286 from troyengel/master

Fixes #285 - build process assumes git use

Fixes #287 - build process assumes python cmd

Fixes #285 - build process assumes git use

Merge pull request #284 from iovisor/bblanco_dev

Add bpf() syscall feature check and readme update

Add bpf() syscall feature check and readme update

Fixes: #283
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #282 from iovisor/bblanco_dev

Add perf_output support for high rate events

Update trace perf output with struct deserialize example

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Disable custom perf output support in older kernels

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Let perf_output be always per-cpu

Incoporating feedback from bgregg:
Make per-cpu nature of output buffer be hidden and implicit. As such,
incoporate some rewriting into the definition of the PERF_OUTPUT.
Create two different macros to distinguish the perf_array (hardware
counters) from the perf_output (ring buffer) use cases.

Also, rename perf_output to perf_submit.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add per-cpu parameters to buffered perf output

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add perf_output support for high rate events

This adds support for the bpf_perf_event_output command. This is
intended for per-process events from bpf to userspace at high rate. The
events from the bpf program can be completely customized.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Update compat bpf.h with 4.4 features

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Change indentation in bpf/helpers.h

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #280 from iovisor/bblanco_dev

Reorganize examples into subdirectories

Reorganize examples into subdirectories

Examples directory has been growing, so add a bit of organization.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #279 from iovisor/bblanco_dev

Bump ulimit for locked memory in test wrapper

Bump ulimit for locked memory in test wrapper

This follows from a change in upstream kernel for counting bpf maps
against the locked memory limit.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #278 from SomaLDEN/drzix

Python: fix detach_kprobe()

Python: fix detach_kprobe()

As open_kprobes contains not fd but pointer to struct perf_reader,
it should call lib.perf_reader_free() instead of os.close()

Merge pull request #277 from SomaLDEN/drzix

perf_reader: allow more than one reader to poll

perf_reader: allow more than one reader to poll

When more than one events are used with attach_kprobe, the
perf_reader_poll() will segfault by buffer overflow like below.

*** buffer overflow detected ***: python terminated
======= Backtrace: =========
/lib/x86_64-linux-gnu/libc.so.6(+0x7338f)[0x7fcc971fb38f]
/lib/x86_64-linux-gnu/libc.so.6(__fortify_fail+0x5c)[0x7fcc97292c9c]
/lib/x86_64-linux-gnu/libc.so.6(+0x109b60)[0x7fcc97291b60]
/lib/x86_64-linux-gnu/libc.so.6(+0x10ac04)[0x7fcc97292c04]
/usr/lib/x86_64-linux-gnu/libbcc.so(perf_reader_poll+0x42)[0x7fcc93969cc2]
/usr/lib/x86_64-linux-gnu/libffi.so.6(ffi_call_unix64+0x4c)[0x7fcc95c2badc]
/usr/lib/x86_64-linux-gnu/libffi.so.6(ffi_call+0x1fc)[0x7fcc95c2b40c]
/usr/lib/python2.7/lib-dynload/_ctypes.x86_64-linux-gnu.so(_ctypes_callproc+0x48e)[0x7fcc95e425fe]
/usr/lib/python2.7/lib-dynload/_ctypes.x86_64-linux-gnu.so(+0x15f9e)[0x7fcc95e43f9e]
python(PyEval_EvalFrameEx+0x965)[0x499be5]
python(PyEval_EvalCodeEx+0x2ac)[0x4a090c]
python(PyEval_EvalFrameEx+0x7d2)[0x499a52]
python[0x4a1634]
python(PyRun_FileExFlags+0x92)[0x44e4a5]
python(PyRun_SimpleFileExFlags+0x2ee)[0x44ec9f]
python(Py_Main+0xb5e)[0x44f904]
/lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0xf5)[0x7fcc971a9ec5]
python[0x578c4e]

Merge pull request #276 from brendangregg/master

softirq and hardirq

softirq and hardirq

Merge pull request #274 from brendangregg/master

tcpconnect for IPv4 and IPv6, and make tcpv4connect a trimmed example

refer to tcpconnect

tcpconnect for IPv4 and IPv6, and make tcpv4connect a trimmed example

Merge pull request #272 from SomaLDEN/poll_timeout

perf_reader : add timeout argument to perf_reader_poll

perf_reader : add timeout argument to perf_reader_poll

Merge pull request #271 from brendangregg/master

tcpaccept

filter to match TCP only

USAGE message typos

tcpaccept

Merge pull request #268 from iovisor/bblanco_dev

Fixes for deb/rpm packaging

Fixes for deb/rpm packaging

These fixes are manually included in the released 0.1.7 packages, but
will help with future builds.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #267 from iovisor/bblanco_dev

Update tag to v0.1.7

Update tag to v0.1.7

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #265 from iovisor/yhs_dev

handle return value in kretprobe handler for tcpv4connect

Merge pull request #264 from iovisor/yhs_dev

Fix an uninitialized variable access in test_clang