accomodate mq block device I/O

biosnoop for block device I/O

Merge pull request #221 from iovisor/bblanco_dev

Fix probe reads on char[] types

Fix probe reads on char[] types

It is easy enough to wrap the type in a typeof(), otherwise the rewriter
would need to do a deeper parsing of the type information to place it
properly next to the variable name.

Fixes: #219
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #218 from iovisor/bblanco_dev

Translate multiple pointer dereference into bpr_probe_read

Translate multiple pointer dereference into bpr_probe_read

This commit adds support for multiple consecutive and nested pointer
dereference of function arguments that should be converted to
bpf_probe_read. The logic works by marking variables as needing a
probe_read if they come from the register argument, and then applying
this property transitively.

Supported syntax:
```
int trace_entry(struct pt_regs *ctx, struct file *file) {
    struct vfsmount *mnt = file->f_path.mnt;
    struct super_block *k = mnt->mnt_sb;
    const char *name = file->f_path.dentry->d_name.name;
```

Not supported: probe reads from map leaves, probe reads after explicit casts.

Fixes: #188
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #210 from rlane/ebpf-method

add ebpf method to retrieve bytecode

add test for dump_func method

rename ebpf method to dump_func

add ebpf method to retrieve bytecode

This is useful if you want to use bcc as a compiler without running the
program.

Merge pull request #211 from affansyed/master

updated  mainline version to support bridge

Merge branch 'master' into master

Merge pull request #214 from iovisor/bblanco_dev

Change test_xlate1 to use act_bpf instead of cls_bpf

Change test_xlate1 to use act_bpf instead of cls_bpf

Support for act_bpf is available for testing in
https://github.com/drzaeus77/pyroute2

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge branch 'master' into master

Merge pull request #208 from iovisor/bblanco_dev2

Don't include git tag in .so suffix

Don't include git tag in .so suffix

The git hash was being include in the shared library name. This leads to
polution of the /usr/lib directory. Instead, just use the latest tag in
the library suffix.

As a developer, you will need to clean up the /usr/lib/libbcc* files
whenever a new tag is created.

Fixes: #207
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #206 from iovisor/yhs_dev

sync readme hello_world.py example with actual implementation

sync readme hello_world.py example with actual implementation

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #205 from iovisor/bblanco_dev

Add clang command line invocation to debug=0x4

Add clang command line invocation to debug=0x4

This adds the command line arguments of clang to debug flag 0x4 in the
clang frontend.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #204 from brendangregg/master

some README rework

copy-n-paste error

more trim

trim to fit word wrap

some rework

Merge pull request #202 from brendangregg/master

funccount and BPF_HASH updates

shorten syncsnoop example

shorten disksnoop.c example further

delete unused variable

funccount for counting kernel function calls

improve and shorten BPF_HASH usage

Merge pull request #201 from iovisor/bblanco_dev

Always autoload k[ret]probe__ prefixed functions

Always autoload k[ret]probe__ prefixed functions

This will shorten some examples, no longer requiring them to call
attach_kprobe.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #200 from iovisor/bblanco_dev

Improve coverage for kprobe event_re

updated  mainline version to support bridge

This version of the mainline kernel supports the bridge and vlan learning examples (i.e. the additional APIs). Will allow new users to run all examples provided.

Improve coverage for kprobe event_re

This makes the attachment of kprobes to arbitrary events more robust.

Issue 1: Functions with '.' characters should not have similarly named
 probes.
Issue 2: Functions in the blacklist should not be attached to.
Issue 3: Some functions matched by regex cannot actually be attached to,
 despite not being in the blacklist...possibly the blacklist is outdated?
 Instead, warn instead of error during bulk regex attach.
Issue 4: Attaching to large numbers of kprobes gets to be very slow. For
 now, leave this unresolved. For reasonably sized regexes, startup times
 may be acceptable, and shutdown times are actually the worse part. To
 speed up shutdown, one could add the following after the last
 attach_kprobe to disable auto-cleanup:
  ```
  from bcc import open_kprobes
  open_kprobes = {}
  ```
 Then, once the program is exited, one must manually
  echo "" > kprobe_events

Some numbers:
attaching to event_re='tcp_*': 2 sec startup, 15 sec shutdown
attaching to event_re='b*': 10 sec startup, 75 sec shutdown
attaching to event_re='*': unknown (>20 min) startup, unknown shutdown
The slowdowns appear to be exponential, doubtful that '*' will ever
complete.

Fixes: #199
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #198 from iovisor/bblanco_dev

Autoload kprobes for all types of trace_* functions

Typo in retprobe case of _trace_autoload

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Autoload kprobes for all types of trace_* functions

The previous patch #195 for autoloading of kprobes only did it for
trace_print. Turn this feature on for all trace_* functions. This
requires that these functions are also no longer staticmethods.

Enable the feature in examples/disksnoop.py

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #197 from iovisor/bblanco_dev

Fix breakage in bpf_probe_read from #196

Fix breakage in bpf_probe_read from #196

Argument needs to be cast to u64, otherwise it is adding a whole pointer
stride.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #196 from iovisor/bblanco_dev2

Add debug and fix the inline replace of kprobe args

Fix the inline replace of kprobe args

The way in which args 1+ were being replaced in the C file was
fragile. Instead, assign the registers from ptregs into the function
arguments as the first statement(s) in the body of the function.
e.g.:
int sys_clone(struct ptregs *ctx, struct request *req) {
  // do something with req
}
becomes:
int sys_clone(struct ptregs *ctx, struct request *req) {
  req = ctx->di;
  // do something with req

Fixes: #192
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add debug flag for printing rewritten C text

* Many times it is useful to print out the C file after the
  BFrontendAction has run.
  e.g.: BPF("file.c", debug=0x4)

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #195 from iovisor/bblanco_dev

Change auto-loading behavior of trace_print

Denote auto-loading with k[ret]probe__ prefix

Since kprobe functions will have a different prototype than the kernel
symbols they are attaching to, require that the user prefix the trace
function with a kprobe__ name to denote intent. kretprobe__ prefix is
also supported.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Change auto-loading behavior of trace_print

* As @brendangregg pointed out, users will probably assume that
  handily-named C functions that can be auto-loaded will be all the
  time, rather than just in the singleton case. This is pretty easy to
  implement, so changing the behavior.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #194 from iovisor/bblanco_dev

Support automatic kprobe event detection in common case

Support automatic kprobe event detection in common case

* In the simple case, a user only creates 1 C function to be used with
  kprobes. Detect this common case and don't require the user to repeat
  themselves by passing the fn_name to attach_kprobe().
  e.g.: BPF(text='int sys_clone(void *ctx) {/*do stuff*/}').trace_print()

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #189 from iovisor/bblanco_dev

Suppress None return when trace_pipe drops lines

Suppress None return when trace_pipe drops lines

* When a "CPU: X Lost N events" line came on the trace_pipe,
  trace_fields would return None and cause exceptions in callers that do
  (a, b, ...) = b.trace_fields() type of calls. Instead, keep reading
  from trace_pipe when such messages come.

Fixes: #187
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #184 from iovisor/bblanco_dev

Add BPF_HASH macro with variadic arguments

Merge pull request #185 from brendangregg/master

print_log2_hist() for #143

shorten hello world example

no longer need the clear()

make bitehist a simpler example of log2 histograms

add print_log2_hist() from #143

Merge remote-tracking branch 'upstream/master'

Shorten trace_readline_fields to trace_fields

* Per suggestion in #149

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add BPF_HASH macro with variadic arguments

* Usage: BPF_HASH(tablename, key_type=u64, leaf_type=u64)
  2nd and 3rd arguments are optional in the C++ default argument style

Fixes: #135
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #183 from iovisor/bblanco_dev

Shorten trace_readline_fields to trace_fields

Shorten trace_readline_fields to trace_fields

* Per suggestion in #149

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #182 from brendangregg/master

simplify code using new features

simplify code using new features

Merge pull request #181 from iovisor/bblanco_dev

Reorganize cmake, some cleanups and test fixes.

The use of schedule+<offset> was unstable, remove it

* After a kernel update, the binary of schedule function changed offset,
  and the attachment point updated. Since this is just a test case, pick
  a different function to test.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Remove std::exception code from exception.h

* The c++ exception code was unused, now it is just c macro style
  "exceptions"

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Reorganize cmake files into dedicated cmake directory

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #180 from iovisor/bblanco_dev

Update README.md and INSTALL.md, specfile dependencies

Some more minor updates to INSTALL and README

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add spec and build script used in fedora buildbot

* These files are required to build the test rpm

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Minor updates to install doc and add dep to spec files

* Add some runtime dependencies in INSTALL.md
* make and gcc are required at runtime, so add them to libbcc Requires:

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Updates to README and INSTALL documents

* Some changes to python API examples
* Reflect non-rc kernel availability in install doc
* Add binary rpm section to install doc
* Remove docker build instructions

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #178 from iovisor/llvm_fixes

Fixes for when using clang/llvm as CC/CXX

Merge pull request #177 from iovisor/bblanco_dev

Enhance check for presence of static-libstdc++

Workaround for uninitialized union clang bug

* Clang does not generate code to initialize the entire union when
  initializing a nested struct. This is the case for union bpf_attr.
  As a workaround, call memset explicitly.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Fix compiler warnings when using clang[++]

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Enhance check for presence of static-libstdc++

* Fixes a link error on Ubuntu when static-libstdc++ is not installed.

Reported-by: Denis V. Lunev <den@openvz.org>
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #176 from iovisor/bblanco_dev

Include missed spec files in s/bpf/bcc/ rename

Include missed spec files in s/bpf/bcc/ rename

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #175 from iovisor/bblanco_dev

Rename python module name to 'bcc' from 'bpf'

Rename python module name to 'bcc' from 'bpf'

* Rename python module to bcc
* Rename python-bpf (deb,rpm) package to python-bcc
* Pending this change, I will likely re-tag 0.1.6, and upload the bcc
  package to pypi.python.org

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #174 from iovisor/bblanco_dev

Update tag to v0.1.6, include finall llvm 3.7.0 release

Add debian builder script that is versioned

* This script can be run by buildbot to generate the debian files
e.g.: PARALLEL=4 scripts/build-deb.sh

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Fix debian changelog formatting

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Update tag to v0.1.6, include finall llvm 3.7.0 release

* Update llvm to 3.7.0 release

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #173 from iovisor/bblanco_dev

Add RPM packaging for el6,el7,fedora22

Add RPM packaging for el6,el7,fedora22

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #171 from iovisor/bblanco_dev

Minor change to task_switch example syntax

Merge pull request #172 from brendangregg/master

initial ksym() and ksymaddr()

Merge remote-tracking branch 'upstream/master'

Minor change to task_switch example syntax

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #170 from iovisor/bblanco_dev

Add beta RPM spec and docker script for centos

Add another spec dependency

Testing buildbot

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add one dependency to spec

Also, testing buildbot with this tiny change

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

make use of BPF.ksym()

provide ksym() and ksymaddr()

use new event_re option to improve vfscount

Add beta RPM spec and docker script for centos

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>