Merge pull request #539 from markdrayton/lua-tools

Lua ports of biosnoop and stacksnoop

Lua ports of biosnoop and stacksnoop

Merge pull request #541 from zaafar/master

updated cmake system to include lua and new networking example

Updated the cmake file system to include lua and new networking tools.

Merge pull request #536 from valkum/master

Add new example with test case for for unroll, as requested.

Merge pull request #538 from iovisor/luajit_header_revert

Revert "Force lua main.c to include luajit headers"

Revert "Force lua main.c to include luajit headers"

This reverts commit c21b9c036cba26e2927fbb5e46985faa73ef743e.

Instead, use `LUAJIT_DIR=/usr/include/luajit-2.0 cmake ..` or similar as
required.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Missed this one by extracting this from my actual program.

Add dns_matching example with test case for for unroll, as requested at iovisor-dev@lists.iovisor.org

Merge pull request #531 from kivikakk/lua-install-docs

Lua installation instructions.

Lua installation instructions.

Merge pull request #518 from vmg/vmg/lua-usdt-2

[RFC] New USDT API

cc: Use `unique_ptr` instead of `shared_ptr`

cc: Style fixes

cc: Better memory handling for USDT probes

usdt: Implement `bpf_usdt_readarg` as frontend action

cc: Style fixes

lua: Fix tests

lua: Implement "Hello world" USDT example

lua: Implement an USDT helper

cc: Wrap the USDT probe context in a C API

cc: Implement `bcc_resolve_global_addr` helper

Merge pull request #530 from iovisor/bblanco_dev

Add check for number of arguments

Fixup tplist and argdist for python3 compat

sys.exc_value and sys.exc_type should come from sys.exc_info()

Convert (decode) char* return values from C functions to a native python
str.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add check for number of arguments

There are two problems here:
 1. bcc is leaving the extra function parameters in the prototype, when
 these really just serve as an annotation on the method being traced.
 They aren't really passed into the function. LLVM lowering phase later
 errors out on such functions.
 2. bcc doesn't limit the size of the argument list, when currently it
 just supports up to the number of arguments held in registers (6).

Fix 1. by rewriting the arguments out of the prototype and into the
preamble where they are currently being initialized.
Fix 2. by enforcing the limit and returning a more meaningful error
message.

Added a test case.

Extra fix included for string type on python3.

Fixes: #497
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #529 from rnav/ptregs_helpers_v2

Introduce helpers to access pt_regs in an arch-independent manner

cc: introduce helpers to access pt_regs in an arch-independent manner

Convert some of the examples and tools to use the new helpers.

Signed-off-by: Naveen N. Rao <naveen.n.rao@linux.vnet.ibm.com>

Merge pull request #528 from iovisor/bblanco_dev

fix llvm 3.9 build

fix llvm 3.9 build

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #524 from iovisor/luajit_header

Force lua main.c to include luajit headers

Force lua main.c to include luajit headers

On my system, when both lua and luajit are installed, multiple headers
exist in /usr/include. However, my lua installation is 5.3, which has
some api-breaking changes, which means that the standard lua.h must not
be included.

Simply force lua.h to come from luajit-2.0 directory.

Merge pull request #523 from iovisor/bblanco_dev

Make style-check test non-blocking

Make style-check test non-blocking

Since the codebase is as of yet inconsistent, disable per-commit style
check enforcement.

This should be turned back on once the codebase style is consistent.

Merge pull request #521 from iovisor/bblanco_dev

Adjust pid filtering/display in runqlat

Adjust pid filtering/display in runqlat

The filtering and display of pids in the runqlat tool was not correct.
Internally, the kernel keeps pid and tgid, which correspond to thread-id
and user process-id, respectively. The runqlat tool was filtering and
displaying pid instead of tgid.

Change -P and -p options to filter by tgid, and add a new option to give
a breakdown by pid (thread-id).

Update the docs with the -L option.

Merge pull request #519 from iovisor/bblanco_dev

Fixes for clang frontend bugs and misc

Merge branch 'master' into bblanco_dev

Merge pull request #520 from rnav/powerpc-support-v2

Powerpc support v2

tests: fix a few tests to use the right register on powerpc

Signed-off-by: Naveen N. Rao <naveen.n.rao@linux.vnet.ibm.com>

tests: only test arch-specific symbols

__per_cpu_start has a different address on each architecture. Instead,
use a arch-unique symbol for the test.

Signed-off-by: Naveen N. Rao <naveen.n.rao@linux.vnet.ibm.com>

cc: add powerpc support

Basic support for building on powerpc. Tested on ppc64le.

Signed-off-by: Naveen N. Rao <naveen.n.rao@linux.vnet.ibm.com>

Fix errors on python3

Use local key/leaf definition instead of bpf_tunnel_key

Even after fixing the nested union issue in the preceding commits, this
example was failing. The reason was that the kernel was filling in all
bits of the bpf_tunnel_key, which in recent kernels includes non-zero
fields such as ttl. That non-zero field would break the lookup in the
tunkey2if table, which was populated assuming all extra bytes would be
zero.

Fix it by defining a simpler key structure, and copy the required fields
out from the local variable.

Fixes: #510

Add clang support for nested struct/union as key field

Clang was up until now not able to parse nested structs or unions as a
field in the table key or leaf. Add support in the library side, as well
as python support for the exported json description.

Add a test for broken nested union clang parsing

Avoid a warning in bpf_module.cc

The variable inside the if statement was unused, unliked the blocks
above and below it. Use the isa<> check instead.

skip include of kernel bpf.h in test, forward declare instead

Merge pull request #517 from vmg/vmg/clang-diag

cc/clang: Use positional arguments for diagnostic messages

Merge pull request #515 from vmg/vmg/static-lua

Lua tooling improvements

cc/clang: Use positional arguments for diagnostic messages

lua: Proper style for main.c

lua: Do not try to detach buffers as kprobes

table.py: Call `__delitem__ when deleting an item :)

lua: Fix regeneration of `bcc.lua`

bcc-lua: Build as a C executable

lua: Make all probes executable

lua: build as a standalone tool with static libbcc

Merge pull request #514 from mcaleavya/master

updated opensnoop to use bpf_perf_output

updated opensnoop to use bpf_perf_output

Merge pull request #498 from vmg/vmg/usdt

[WIP] Native implementation for USDT probes

cc: Finish USDT implementation

cc: Implement symbol resolution for USDT

cc: Split bcc_syms.cc into a C++ header file

cc: Allow callback cancellation on bcc_procutils

cc: Add missing include

usdt: Implement probe resolution [WIP]

usdt: Implement `assign_to_local`

Add missing license headers

usdt: Use `optional` to properly handle missing args

Move implementation of USDT::Argument into cc file

To avoid exposing the implementation of new/delete of the Argument
class, move it out of the header file. This also requires making private
the std::string members, so that they cannot be assigned to directly.
Let the ArgumentParser assign to them as a friend, and expose const
functions to access them as const only from the client.

Also, convert non-const reference usages to pass-by-pointer.

cc: Implement USDT argument parsing in C++

tests: Port the C API suite to C++/Catch

Merge pull request #511 from vmg/vmg/find-library

bpf: Wrap `bcc_procutils_which_so` as `BPF.find_library`

bpf: Wrap `bcc_procutils_which_so` as `BPF.find_library`

This class method was being used outside of the BPF class in the
`tracer` and `usdt` tools.

Merge pull request #507 from vmg/vmg/elf-so

Explicitly list the libelf runtime dependency

packaging: Add `libelf.so` as a runtime dependency

lua: Only build if LuaJIT is available

Merge pull request #502 from sublimino/patch-1

Add libelf-dev to Ubuntu build deps

Add libelf-dev to Ubuntu build deps

This was required on a Debian system, but in lieu of instructions for that distribution, and as Debian users will follow Ubuntu, would you consider verifying it on Ubuntu and accepting this PR?

Merge pull request #495 from vmg/vmg/elf-2

[RFC] Remove all dependencies on external binaries

cc: Clang format

cc: Add tests for the C API

cc: Looser heuristic to detect .so modules

cc: Only try to list ksyms if we're root

cc: Move `bcc_resolve_symname` to its proper header

cc: Add missing license headers

cc: Format C and C++ code according to Google's styleguide

deps: Add `libelf` to the build requirements

python: Use the native Symbol resolution APIs

The native resolvers are used for the Kernel Symbol resolution in the
`BPF` class, and for the ProcessSymbols class. A lot of redundant code
has been removed.

python: Wrap the new native symbol APIs

lua: Remove unused files

The `sym` module no longer needs to be exported. The `LD` module is no
longer used anywhere.

lua: Use the new native Symbol resolver

The static `BPF.SymbolCache` now uses a native symbol resolver instead
of the Lua/binutils implementation. Likewise for the kernel symbol
resolver, and the `check_path_symbol` API to find a probe's hook
address.

lua: Wrap the new native APIs

cc: Add a native Symbol Resolver cache

This new set of C/C++ APIs is capable of performing symbol resolution
for any given running process, using the native `libelf` APIs instead of
shelling out to binutils tools.

This is a reimplementation of the original ProcSyms Python/Lua code.

cc: Add a set of process utils written in C/C++

These APIs mimic behavior that was being performed using native tools.

- bcc_procutils_which_so: resolves a short library name into a full path
  so a shared object. Equivalent to `ldconfig -p`
- bcc_procutils_which: resolves a short name into a full path to a
  binary. Equivalent to a shell's builtin `which`
- bcc_procutils_each_module: lists all the modules loaded in a process'
  memory space. Uses the kernel's `/proc/$pid/maps`
- bcc_procutils_each_ksym: lists all symbols and addresses for the
  kernel. Uses the kernel's `/proc/kallsyms`

cc: Add a set of ELF-related APIs based on libelf

The following APIs have been implemented inside `libbcc`, which
programatically replicate the previous usage of `binutils` tools like
`objdump` and `elfdump`.

- bcc_elf_foreach_usdt: finds all USDT probes inside a given binary
- bcc_elf_loadadddr: find the load address for a shared object
- bcc_elf_foreach_sym: lists all symbols in an ELF binary or SO
- bcc_elf_shared_obj: returns whether a given path is an ELF shared
  object, a binary, or neither

cmake: Add dependency to LibELF

Add a new a `FindLibElf.cmake` package, and use it to link the main
`libbcc` library against the system's LibELF. This library will be used
to re-implement functionality that was previously dependent on
`binutils`.

cmake: Properly use library detection modules

Instead of importing the `Find*.cmake` modules directly, place them in
the root `cmake/` folder and define it as a CMake Module path. This lets
us use the `find_package` builtin to require any given packages.

Merge pull request #496 from iovisor/bblanco_dev

Add infra and ctest for code style formatting

Add clang-format file, tweak style-check.sh

Add an initial .clang-format file, based on LLVM's style base. Inform
the style-check wrapper to only consider h, c, and cc files when it
runs, and print out the --verbose output upon failure.