Improve C++ API perf buffer polling

Merge pull request #843 from shodoco/flag

add support for bpf map flags

Merge pull request #844 from palmtenor/cleanprog

Make sure program FDs get cleaned up correctly

Make sure programs get cleaned up correctly

Merge pull request #845 from affansyed/master

Fix for issue 829 I reported

fix issue 829

Needed to make array initialized to null before bpf_probe_read as the
verifier was rejecting the original code. will probably need to fix the
tutorial as well

Merge pull request #1 from iovisor/master

updating my local repo

add support for bpf map flags

Merge pull request #842 from zhiyisun/dev

Fix bug of missing to install simple_tc.py

Set EXAMPLE_PROGRAMS in one line.

Signed-off-by: Zhiyi Sun <zhiyisun@gmail.com>

Merge branch 'master' into dev

Fix bug of missing to install simple_tc.py

examples/networking/CMakeLists.txt set $EXAMPLE_PROGRAMS twice. The
second one(tc_perf_event.py) overwirte the first one(simple_tc.py).

Signed-off-by: Zhiyi Sun <zhiyisun@gmail.com>

Merge pull request #840 from zhiyisun/dev

Add support for aarch64

Add support for aarch64

ABI for aarch64: register x0-x7 are used for parameter and result. In
bcc, there are 6 parameter registers are defined. So use x0-x5 as
parameter. frame pointer, link register, stack pointer and pc are added
in PT_REGS_xx according to arm64 architecture.

syscall number of bpf for aarch64 are defined in Kernel
header uapi/asm-generic/unistd.h.

Signed-off-by: Zhiyi Sun <zhiyisun@gmail.com>

Merge pull request #838 from palmtenor/logmsg

Avoid unexpected log message on BPF program load error

Avoid unexpected log message on BPF program load error

Merge pull request #836 from shodoco/lruhash

bcc: add lru_hash and lru_percpu_hash map types

Add lru_hash/lru_percpu_hash to python/lua

Merge branch 'master' into lruhash

bcc: add lru_hash and lru_percpu_hash map types

Merge pull request #832 from brendangregg/master

profile: -p should match user PID

profile: -p should match user PID

Merge pull request #831 from brendangregg/master

tcplife: reorder logic to catch missed timestamps

tcplife: reorder logic to catch missed timestamps

Merge pull request #830 from lcp/fix-data_t

hello_perf_output: match the data type of pid

hello_perf_output: match the data type of pid

Signed-off-by: Gary Lin <glin@suse.com>

Merge pull request #828 from palmtenor/dbgflg

Remove debug flag override in bcc_exception.h

Remove debug flag override in bcc_exception.h

Merge pull request #824 from palmtenor/exception_h

Clean up bcc_exception.h

Use StatusTuple constructor in mkstatus_

Implement StatusTuple class instead of using std::tuple

Remove unused headers and Macro

Merge pull request #825 from brendangregg/master

biotop.py: fix compiler error on newer kernels

biotop.py: fix compiler error on newer kernels

Merge pull request #823 from kinvolk/krnowak/kernel-dirs-at-runtime

Determine kernel dirs at runtime (fix #743)

Merge pull request #822 from iovisor/llvm_40_build

Add LLVMCoroutines lib for llvm>=4.0 builds

Determine kernel dirs at runtime (fix #743)

As some module build directories split headers between `source/` and
`build/` and this varies between distributions, determine the location
at runtime.

Add LLVMCoroutines lib for llvm>=4.0 builds

Building bcc against a tip of tree llvm introduces a new link failure,
which is fixed by linking against libLLVMCoroutines (which only exists
in 4.0).

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #821 from palmtenor/adjust_headers

Improve the structure of exception related header files

Rename exception.h to bcc_exception.h

Move StatusTuple definition to exception.h

Merge pull request #820 from brendangregg/master

tcplife.py: Catch passive closed by server, #788

tcplife.py: Catch passive closed by server, #788

Merge pull request #781 from palmtenor/api

C++ helper class for BCC

Eliminate rpmlint errors and allow bcc srpm to build on Fedora koji b… (#815)

* Eliminate rpmlint errors and allow bcc srpm to build on Fedora koji build system

The nightly bcc srpm does not build as-is on Fedora 24. To get the
build to work the following changes were made in the bcc.spec file:

-Specify where to find luajit headers and libraries
-Correctly limit the build to the x86_64 architecture
-Add needed build requires so the srpm can build on Fedora koji
-Run ldconfig so shared library information is updated
-Follow spec conventions by putting %changelog at the end of the spec file

* Further refine the bcc.spec file

Make the following improvements to the gcc.spec file:

-Use local_clang_static variable to allow building with locally installed clang
-Adjust build requires to include nucurses-devel and make
-Put the subpackage descriptions and file list in a more logical order
-Correct the binary rpm dependencies for the subpackages

Examples of using BCC C++ API

Basic BCC C++ API

Add helper method to exception.h

Install exception.h and common.h

Update .clang-format configs

Merge pull request #817 from iovisor/clang_c_fixes

Fixup test errors in clang, c api

Fixup test errors in clang, c api

Some errors seem to have cropped up due to updating kernels and clang
library versions.
1. test_c_api fails on kernels (seen on fedora 4.9) where startup_64
doesn't start at a particular address. Simplify the test to hopefully
work in more systems.
2. The lua and python test_clang did a dereference on a particular bio
field, which has been removed. Pick a different field that is more
uniquitous.
3. test_xlate1 was generating code where the verified pointer spilled.
Rewrite the example to store the result on the stack.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #813 from goldshtn/trace-usdt-pid-fix

trace: Avoid passing -1 as the pid to USDT

docs: Fix typos (#811)

docs: Fix typos

trace: Avoid passing -1 as the pid to USDT

When the `-p` switch is used with `trace`, it would set
the tgid to the value passed to `-p` and set the pid to
-1. The result would be incorrect logic that passed the -1
pid value to the `USDT` context constructor, which fails
for probes that require the pid to enable (because they
have a semaphore that needs a poke). This commit fixes it.

fix some typos (#810)

Fix Tracepoint example (#809)

Merge pull request #808 from goldshtn/close-table-fd-fix

cc, python: Clean up BPF module and tables

cc, python: Clean up BPF module and tables

When the `BPFModule` object is destroyed, shared tables
were closed, but non-shared tables were not. Add `close`
call to close non-shared tables in `~BPFModule`.

Make sure the `BPF.cleanup` function in the Python module
calls `bpf_module_destroy` to clean up the module. Otherwise,
we have hanging table fds that aren't destroyed.

Fixes #806. This would have been an issue for any tool
that repeatedly runs a BPF program with new maps. It's just
that most tools we have haven't exhibited this behavior.

Merge pull request #807 from markdrayton/perf-pid-map

Make bcc_symcache_new(tid) work with symbols from /tmp/perf-pid.map

Make bcc_symcache_new(tid) work with symbols from /tmp/perf-pid.map

Merge pull request #803 from dark/fix-warnings

Fix warnings covered by -Wdelete-non-virtual-dtor

Fix warnings covered by -Wdelete-non-virtual-dtor

The warnings were:

 src/cc/bcc_syms.cc: In function ‘void bcc_free_symcache(void*, int)’:
 src/cc/bcc_syms.cc:217:40: warning: deleting object of polymorphic class type ‘KSyms’
                            which has non-virtual destructor might cause undefined behaviour
                            [-Wdelete-non-virtual-dtor]
     delete static_cast<KSyms*>(symcache);
                                        ^
 src/cc/bcc_syms.cc:219:43: warning: deleting object of polymorphic class type ‘ProcSyms’
                            which has non-virtual destructor might cause undefined behaviour
                            [-Wdelete-non-virtual-dtor]
     delete static_cast<ProcSyms*>(symcache);
                                           ^

Fix the warnings by defining a virtual destructor for the base class SymbolCache.

Signed-off-by: Marco Leogrande <marcol@plumgrid.com>

Remove superfluous word (#802)

Fix argument type for increment() in documentation (#794)

Fix typo in documentation (#801)

trace: add pid/tid filtering, fix symbolizing, misc nits (#798)

* support filtering by process ID (-p) or thread ID (-t); previously -p
  actually filtered on thread ID (aka "pid" in kernel-speak)
* include process and thread ID in output
* flip order of user and kernel stacks to flow more naturally
* resolve symbols using process ID instead of thread ID so only one symbol
  cache is instantiated per process
* misc aesthetic fixes here and there

Merge pull request #795 from mslusarz/install-perf_reader.h

perf_reader: install perf_reader.h

Merge pull request #796 from palmtenor/sym_free

Expose destruction of SymbolCache in libbcc

Expose destruction of SymbolCache in libbcc

perf_reader: install perf_reader.h

Ref: iovisor/bcc#778

Use headers from BCC in installed files (#793)

funccount: Bail early if there are no matching functions (#792)

funccount now bails early with an error if there are no
functions matching the specified pattern (the same applies
to tracepoints and USDT probes). For example:

```
No functions matched by pattern ^sched:sched_fork$
```

Fixes #789.

update tools pic (#787)

Merge pull request #780 from goldshtn/kprobe-funccount

funccount: Fix on-CPU hang when attaching to SyS_*

Add installation instructions for Gentoo (#785)

Signed-off-by: Marco Leogrande <marcol@plumgrid.com>

python: Grab all keys before zeroing

To avoid a potential race with the key zeroing modifying
the next hash key retrieved by the loop in `Table.zero()`,
retrieve all the keys in user space first before starting
the zeroing loop. See discussion on #780.

Tested with `funccount 'SyS_*' -i 1` while running a heavy
read/write test application (`dd`) in the background for
several minutes with no visible issues.

funccount: Switch to BPF array instead of hash

Because we know the number of probes in advance before
attaching them, we can simply preinitialize a fixed-size
array instead of using a BPF map. This avoids potential
deadlocks/hangs/race conditions with the Python program
and internally in the kernel. See also #415, #665, #233
for more discussion.

Update profile.py to use new perf support (#776)

* profile.py to use new perf support

* Minor adjustments to llcstat docs

fix junk filenames (#775)

Merge pull request #770 from palmtenor/pmu_api

Add basic support for BPF perf event

Add example and man file for llcstat

Example for using BPF perf event

funccount: Do not prepopulate location cache

Avoiding the prepopulation of the location cache allows us
to get rid of the `zero()` call at the end of each interval,
which would hang the program at full CPU. Replaced the
prepopulation with a `lookup_or_init` and the `zero()` call
with a call to `clear()`.

python: Filter duplicate in get_kprobe_functions

`BPF.get_kprobe_functions` does not filter duplicates, and
as a result may return the same function name more than
once if it appears in /sys/kernel/debug/tracing/available_filter_functions
more than once. Change the function's behavior to filter
out duplicates before returning, so we don't end up
attaching the same kprobe more than once.

Python API for BPF perf event

Add bpf_attach_perf_event in libbpf

Add BPF_PROG_TYPE_PERF_EVENT to bpf_prog_type enum

Merge pull request #772 from goldshtn/strcmp

trace, argdist: STRCMP helper function

Merge branch 'master' into strcmp

add tcplife (#773)

add reset-trace (#766)

funccount: Verify probe max limit (#771)

Because `funccount` doesn't use the direct regex attach infrastructure
in the BPF module, it needs its own checking for a maximum probe
limit that would make sense. We use 1000 because that's what the
BPF module uses as well. When trying to attach to more than 1000
probes, we bail out early.

Merge pull request #763 from goldshtn/enhanced-funccount

funccount: Generalized for uprobes, tracepoints, and USDT

python: Fix kprobe quota test breakage, add uprobes

As part of the funccount work, the kprobe quota test doesn't fail
early when adding multiple kprobes at once (with `event_re`), but
rather only when the 1000th probe is being added. Revert to the old
behavior, which fixes the `test_probe_quota` test. Add similar test
for uprobes, `test_uprobe_quota`, which tests the recently-added
uprobe regex support.

funccount: Generalize for uprobes, tracepoints, and USDT

This commit updates `funccount` to support attaching to a set of
user functions, kernel tracepoints, or USDT probes using familiar
syntax. Along the way, the implementation has been updated to use
a separate BPF function for each target function, because using
the instruction pointer to determine the function name doesn't
work for anything other than kprobes. Even though the BPF program
can now be potentially larger, testing with 40-50 attach points
shows no significant overhead compared to the previous version.

Examples of what's now possible:

```
funccount t:block:*
funccount u:node:gc*
funccount -r 'c:(read|write)$'
funccount -p 142 u:ruby:object__create
```

bcc: Make regex helpers publicly accessible

Make the `get_user_functions`, `get_kprobe_functions`, and
`get_tracepoints` methods publicly accessible from the BPF class.
These can then be used by tools that need to do their own work
before attaching programs to a set of functions or tracepoints.

stackcount: Style fixes for linter (pep8)

fix profile.py page_offset_base breakage (#768)