different man formats

contributing scripts guide

Merge pull request #335 from iovisor/p4-fixes

Reorder P4 struct key initializers and blocks

Reorder P4 struct key initializers and blocks

The basic_routing.p4 program was failing verification due to missed map
key initializers in some paths. Put the goto label at the head of the
block and add a " = {}" for each key declaration inside the block.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #334 from iovisor/ast_dev

use __builtin_memcpy() instead of unrolled loop

use __builtin_memcpy() instead of unrolled loop

also remove tab and unused import

Signed-off-by: Alexei Starovoitov <ast@fb.com>

Merge pull request #332 from mcaleavya/master

Added cachestat tool

update with cachestat , squashed commit

Added .txt to exmaple file to allow link to work

duplicate file

duplicate of .txt version

  Author:    allan mcaleavy <allan.mcaleavy@gmail.com>

Merge pull request #331 from brendangregg/master

offwaketime

fix synopsis options in docs

offwaketime

Merge pull request #329 from iovisor/dump_func

Update test_dump_func to be python3 compatible

Update test_dump_func to be python3 compatible

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #326 from brendangregg/master

gethostlatency

Merge remote-tracking branch 'upstream/master'

gethostlatency

Merge pull request #325 from brendangregg/master

bashreadline

bashreadline

Merge pull request #324 from brendangregg/master

more strlen examples

more strlen examples

Merge pull request #323 from iovisor/strlen

Add uprobe strlen histogram example

Add uprobe strlen histogram example

This example traces all calls to libc's strlen(). The program is attached as a
retprobe, therefore giving access to the resulting string length. The value is
kept in a log2 histogram that is printed to console once per second.

Example:
```
$ sudo ./strlen_hist.py
22:12:51
     strlen return:      : count     distribution
         0 -> 1          : 2041     |****************                        |
         2 -> 3          : 1120     |********                                |
         4 -> 7          : 3300     |**************************              |
         8 -> 15         : 4995     |****************************************|
        16 -> 31         : 2130     |*****************                       |
        32 -> 63         : 562      |****                                    |
^C
```

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #322 from iovisor/uprobes

Uprobe support

Fixup objdump calling syntax and add docstrings

Use the full path invocation of objdump in both places.

Add a docstring for the variants of attach_retprobe.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Fixes for address calculation

The calculation of function address in non-shared libraries was
incorrect. Fix it.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add python support for attaching bpf programs to uprobes

This adds a similar set of functions to kprobes for userspace probes.
The calling convention is different, however, since the user must
provide a library/binary name and function symbol or address. Add two
simple test cases for both.

I don't see an easy way in this api to add auto-loading support, as in
kprobe functions that start with "kprobe__". Such niceties can come
later.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add libbpf.c support for uprobes

The base calling convention for uprobes is the same as kprobes, but just
the path in debug/tracing/ is slightly different. Add a new API for this
and slightly refactor the code.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #321 from brendangregg/master

wakeuptime

wakeuptime

wordwrap fix, and terminology adjustment

Merge pull request #320 from iovisor/offcputime_fix

Add decode() to ascii string in offcputime.py

Add decode() to ascii string in offcputime.py

Fixes: #318
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #319 from iovisor/cmake_fixes

Updates to use cmake GLOB and libbcc.so.0 in python init

Updates to use cmake GLOB and libbcc.so.0 in python init

In order not to miss some files in the tools and examples source
directories, use cmake file(GLOB) to collect relevant files. To ease the
implementation, move all tools to be .py suffixed in the source, but
sans-suffix in the installation (same as before)

In addition, to prevent future API breakage confusion (though of course
that may still happen), use CDLL("libbcc.so.0") in the bcc __init__.py.

Fixes: #317
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #316 from brendangregg/master

offcputime improvements

docs for offcputime -u

add -u, and change from 2 to 1 traced funcitons

optimize code, remove unnecessary filter check

Merge pull request #315 from brendangregg/master

stack walker typo and improvement

Merge branch 'master' into master

stack walker typo and improvement

Merge pull request #314 from iovisor/map_unshare

Close fd and unshare when public map is destructed

Close fd and unshare when public map is destructed

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #313 from brendangregg/master

stack walking scripts

stack walking scripts

Merge pull request #312 from iovisor/ast_dev

fix pep8 lint errors in the rest of the tools

fix pep8 lint errors in the rest of the tools

no functional changes

Signed-off-by: Alexei Starovoitov <ast@fb.com>

Merge pull request #310 from iovisor/ast_dev

fix pep8 lint errors in biolatency and biosnoop

fix pep8 lint errors in biolatency and biosnoop

Signed-off-by: Alexei Starovoitov <ast@fb.com>

Merge pull request #309 from iovisor/sharedmaps

Add ability to export maps, enables cross-program sharing

Rename BPF_EXPORT to BPF_TABLE_PUBLIC

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add ability to export maps, enables cross-program sharing

Allow a program to export a map for other programs to use. This enables
cross-program map sharing.

parent program syntax:
BPF_TABLE("array", int, int, shared, 10);
BPF_TABLE_EXPORT(shared);

child program syntax:
BPF_TABLE("extern", int, int, shared, 10);

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #308 from iovisor/cflags

Add ability to set custom cflags when loading programs

Add ability to set custom cflags when loading programs

Example:
b = bcc.BPF("myprog.c", cflags=["-DMYCUSTOMFLAG1", ...])

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #307 from iovisor/kbuild_fix

Remove runtime dependency on gcc stdarg headers and make

Remove runtime dependency on gcc stdarg headers and make

Remove the runtime dependency on gcc's stdarg.h. Do this by packaging
the (non-GPL) version shipped with clang. This allows the bulk of
kbuild_helper to be removed, at the expense of hardcoding the kernel
include paths. If in the future the kernel make system changes again to
require different -I paths, we'll have to think this through again.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #306 from troyengel/te_dev

add new Arch packages, new TOC and spiffy up the formatting

add new Arch packages, new TOC and spiffy up the formatting

Merge pull request #305 from iovisor/bblanco_dev

Drop broken p4/docs symlink and create README.md+URL

Drop broken p4/docs symlink and create README.md+URL

There was a symlink to a local file, which would instead work better as
a URL to the bpf-docs repository.

Fixes: #304
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #303 from iovisor/bblanco_dev

Improve json type support for misc struct/union types

Improve json type support for misc struct/union types

The ability of the clang rewriter to extract the type information for
some types of structs, unions, and pointers to the aforementioned was
somewhat buggy. This became exposed in a test_clang case after a user
upgraded to a newer kernel, wherein the struct definition changed. The
functionality in question is only used to pass json-ified representation
of the struct to python in order to program the Key/Leaf metaclass.

Improve support for this and other types, including unions.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #302 from iovisor/ast_dev

make sure LDFLAGS are propagated as well

make sure LDFLAGS are propagated as well

Signed-off-by: Alexei Starovoitov <ast@kernel.org>

Merge pull request #301 from iovisor/bblanco_dev

Fix breakage from LLVM 3.8 API change

Fix breakage from LLVM 3.8 API change

There is some difference in how to take a pointer from an iterator. This
code should work for both 3.7 and 3.8 APIs.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #299 from iovisor/bblanco_dev

p4: fixed bugs in control-flow generation

Merge pull request #300 from lcp/build_and_test

Honor the external C/CXX FLAGS

Honor the external C/CXX FLAGS

Signed-off-by: Gary Lin <glin@suse.com>

fixed bugs in control-flow generation

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #298 from iovisor/bblanco_dev

Automatically bump memlock ulimit

Automatically bump memlock ulimit

Instead of requiring the user to bump the ulimit in their shell before
starting a bcc script, try to setrlimit automatically when a failure
occurs. Since there is no getrusage for memlock limit, unfortunately we
have to brute force setting the limit. For now, just try bpf() once and
then try to set unlimited ulimit, then try bpf() again.

Fixes: #281
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #297 from iovisor/bblanco_dev

Fixup dependencies of bcc-tools package

Fixup dependencies of bcc-tools package

This should depend on python-bcc, which itself depends on libbcc.

Fixes: #291
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #296 from iovisor/bblanco_dev

Add bcc-tools package

Add rpm and deb packaging for bcc-tools

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Package tools into share/bcc/tools

Ticket: #291
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #294 from iovisor/bblanco_dev

Fixup broken symlink tests/cc/simulation.py

Fixup broken symlink tests/cc/simulation.py

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #293 from iovisor/bblanco_dev

added P4 deparser synthesis

added P4 deparser synthesis

Merge pull request #292 from iovisor/bblanco_dev

Updates to INSTALL.md for readability and ease of use

Move INSTALL.md to use more block code

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Update INSTALL.md instructions for Ubuntu

A stable 4.3 kernel is available, suggest users use that version
instead.

Move LLVM build instructions to the end, prefer that they pull llvm
binaries instead.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #290 from iovisor/bblanco_dev

Fix unary operator handling of probe reads with parens

Fix unary operator handling of probe reads with parens

Testing for bpf_probe_read should not include parenethes when walking
the tree, since the inner operation will have already been rewritten.

Fixes: #289
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #288 from SomaLDEN/drzix

Edit README, link path of some example files

Edit README, link path of some example files

As some example files were reorganized into subdirecotries, some
pathes in README bring connection on 404. So it have to be new pathes.

Merge pull request #286 from troyengel/master

Fixes #285 - build process assumes git use

Fixes #287 - build process assumes python cmd

Fixes #285 - build process assumes git use

Merge pull request #284 from iovisor/bblanco_dev

Add bpf() syscall feature check and readme update

Add bpf() syscall feature check and readme update

Fixes: #283
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #282 from iovisor/bblanco_dev

Add perf_output support for high rate events

Update trace perf output with struct deserialize example

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Disable custom perf output support in older kernels

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Let perf_output be always per-cpu

Incoporating feedback from bgregg:
Make per-cpu nature of output buffer be hidden and implicit. As such,
incoporate some rewriting into the definition of the PERF_OUTPUT.
Create two different macros to distinguish the perf_array (hardware
counters) from the perf_output (ring buffer) use cases.

Also, rename perf_output to perf_submit.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add per-cpu parameters to buffered perf output

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add perf_output support for high rate events

This adds support for the bpf_perf_event_output command. This is
intended for per-process events from bpf to userspace at high rate. The
events from the bpf program can be completely customized.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Update compat bpf.h with 4.4 features

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>