Use local key/leaf definition instead of bpf_tunnel_key

Even after fixing the nested union issue in the preceding commits, this
example was failing. The reason was that the kernel was filling in all
bits of the bpf_tunnel_key, which in recent kernels includes non-zero
fields such as ttl. That non-zero field would break the lookup in the
tunkey2if table, which was populated assuming all extra bytes would be
zero.

Fix it by defining a simpler key structure, and copy the required fields
out from the local variable.

Fixes: #510

Add clang support for nested struct/union as key field

Clang was up until now not able to parse nested structs or unions as a
field in the table key or leaf. Add support in the library side, as well
as python support for the exported json description.

Add a test for broken nested union clang parsing

Avoid a warning in bpf_module.cc

The variable inside the if statement was unused, unliked the blocks
above and below it. Use the isa<> check instead.

skip include of kernel bpf.h in test, forward declare instead

Merge pull request #517 from vmg/vmg/clang-diag

cc/clang: Use positional arguments for diagnostic messages

Merge pull request #515 from vmg/vmg/static-lua

Lua tooling improvements

cc/clang: Use positional arguments for diagnostic messages

lua: Proper style for main.c

lua: Do not try to detach buffers as kprobes

table.py: Call `__delitem__ when deleting an item :)

lua: Fix regeneration of `bcc.lua`

bcc-lua: Build as a C executable

lua: Make all probes executable

lua: build as a standalone tool with static libbcc

Merge pull request #514 from mcaleavya/master

updated opensnoop to use bpf_perf_output

updated opensnoop to use bpf_perf_output

Merge pull request #498 from vmg/vmg/usdt

[WIP] Native implementation for USDT probes

cc: Finish USDT implementation

cc: Implement symbol resolution for USDT

cc: Split bcc_syms.cc into a C++ header file

cc: Allow callback cancellation on bcc_procutils

cc: Add missing include

usdt: Implement probe resolution [WIP]

usdt: Implement `assign_to_local`

Add missing license headers

usdt: Use `optional` to properly handle missing args

Move implementation of USDT::Argument into cc file

To avoid exposing the implementation of new/delete of the Argument
class, move it out of the header file. This also requires making private
the std::string members, so that they cannot be assigned to directly.
Let the ArgumentParser assign to them as a friend, and expose const
functions to access them as const only from the client.

Also, convert non-const reference usages to pass-by-pointer.

cc: Implement USDT argument parsing in C++

tests: Port the C API suite to C++/Catch

Merge pull request #511 from vmg/vmg/find-library

bpf: Wrap `bcc_procutils_which_so` as `BPF.find_library`

bpf: Wrap `bcc_procutils_which_so` as `BPF.find_library`

This class method was being used outside of the BPF class in the
`tracer` and `usdt` tools.

Merge pull request #507 from vmg/vmg/elf-so

Explicitly list the libelf runtime dependency

packaging: Add `libelf.so` as a runtime dependency

lua: Only build if LuaJIT is available

Merge pull request #502 from sublimino/patch-1

Add libelf-dev to Ubuntu build deps

Add libelf-dev to Ubuntu build deps

This was required on a Debian system, but in lieu of instructions for that distribution, and as Debian users will follow Ubuntu, would you consider verifying it on Ubuntu and accepting this PR?

Merge pull request #495 from vmg/vmg/elf-2

[RFC] Remove all dependencies on external binaries

cc: Clang format

cc: Add tests for the C API

cc: Looser heuristic to detect .so modules

cc: Only try to list ksyms if we're root

cc: Move `bcc_resolve_symname` to its proper header

cc: Add missing license headers

cc: Format C and C++ code according to Google's styleguide

deps: Add `libelf` to the build requirements

python: Use the native Symbol resolution APIs

The native resolvers are used for the Kernel Symbol resolution in the
`BPF` class, and for the ProcessSymbols class. A lot of redundant code
has been removed.

python: Wrap the new native symbol APIs

lua: Remove unused files

The `sym` module no longer needs to be exported. The `LD` module is no
longer used anywhere.

lua: Use the new native Symbol resolver

The static `BPF.SymbolCache` now uses a native symbol resolver instead
of the Lua/binutils implementation. Likewise for the kernel symbol
resolver, and the `check_path_symbol` API to find a probe's hook
address.

lua: Wrap the new native APIs

cc: Add a native Symbol Resolver cache

This new set of C/C++ APIs is capable of performing symbol resolution
for any given running process, using the native `libelf` APIs instead of
shelling out to binutils tools.

This is a reimplementation of the original ProcSyms Python/Lua code.

cc: Add a set of process utils written in C/C++

These APIs mimic behavior that was being performed using native tools.

- bcc_procutils_which_so: resolves a short library name into a full path
  so a shared object. Equivalent to `ldconfig -p`
- bcc_procutils_which: resolves a short name into a full path to a
  binary. Equivalent to a shell's builtin `which`
- bcc_procutils_each_module: lists all the modules loaded in a process'
  memory space. Uses the kernel's `/proc/$pid/maps`
- bcc_procutils_each_ksym: lists all symbols and addresses for the
  kernel. Uses the kernel's `/proc/kallsyms`

cc: Add a set of ELF-related APIs based on libelf

The following APIs have been implemented inside `libbcc`, which
programatically replicate the previous usage of `binutils` tools like
`objdump` and `elfdump`.

- bcc_elf_foreach_usdt: finds all USDT probes inside a given binary
- bcc_elf_loadadddr: find the load address for a shared object
- bcc_elf_foreach_sym: lists all symbols in an ELF binary or SO
- bcc_elf_shared_obj: returns whether a given path is an ELF shared
  object, a binary, or neither

cmake: Add dependency to LibELF

Add a new a `FindLibElf.cmake` package, and use it to link the main
`libbcc` library against the system's LibELF. This library will be used
to re-implement functionality that was previously dependent on
`binutils`.

cmake: Properly use library detection modules

Instead of importing the `Find*.cmake` modules directly, place them in
the root `cmake/` folder and define it as a CMake Module path. This lets
us use the `find_package` builtin to require any given packages.

Merge pull request #496 from iovisor/bblanco_dev

Add infra and ctest for code style formatting

Add clang-format file, tweak style-check.sh

Add an initial .clang-format file, based on LLVM's style base. Inform
the style-check wrapper to only consider h, c, and cc files when it
runs, and print out the --verbose output upon failure.

Add ctest for style, using clang-format

When user touches a file, that file will be fed to `git clang-format`,
and if the tool reports a new diff it will consider the test failed. The
files to check will be anything in the current workspace compared to
origin/master.

Remove git-clang-format output when no files are modified

Add git-clang-format to be used for testing source style

Merge pull request #494 from iovisor/install-md

Update INSTALL.md with Xenial instructions

Update INSTALL.md with Xenial instructions

The buildbot is now building nightly ubuntu 16.04 packages. Include the steps to install.

Merge pull request #493 from iovisor/bblanco_dev

Let bcc debian build depend on 3.7|3.8

Let bcc debian build depend on 3.7|3.8

In Xenial, llvm 3.8 will be available upstream without manual apt steps.
Add those packages as a possible dependency in our build.

Merge pull request #489 from aaronpuchert/permissive_regex

Don't require "OS ABI" specification in libraries

Merge pull request #490 from vmg/vmg/lua64

lua: Properly support high-range 64 addresses

Merge pull request #487 from bobrik/ubuntu-install

Install all required packages on ubuntu

Don't require "OS ABI" specification in libraries

The most important system libraries are listed like this by ldconfig:

libc.so.6 (libc6,x86-64, OS ABI: Linux 3.0.0) => /lib64/libc.so.6

But most user-level libraries don't have the "OS ABI" and will not be
found by the regular expression.

libz.so (libc6,x86-64) => /usr/lib64/libz.so

This makes the regular expression more permissive, so that it finds
those libraries as well.

lua: Properly support high-range 64 addresses

Lua's native Number type is a 64-bit double with 52-bit precision, which
was causing rounding errors when storing and working with high-range
memory addresses (namely, addresses from the kernel, which are all in
the `0xffffffff........` range).

To work around this, we've made sure to never call `tonumber` on any
variables that represent memory addresses, and instead continue
operating on them with their native types: LuaJIT can work with the
underlying `uint64_t` type for these values and transparently perform
all kinds of numeric operations.

The only limitation of working with native 64-bit types in LuaJIT is
that they cannot be printed with the language's default `string.format`
API. To give better UX to probe writers, these APIs have been
monkeypatched so the `%p` format specifier will now properly handle
64-bit addresses and print them in an appropriate format.

Install all required packages on ubuntu

Merge pull request #482 from markdrayton/lua-outside-source-build

bcc-lua: build bcc.lua and bcc.o in the build tree

Merge pull request #483 from iovisor/bblanco_dev

miscellaneous cleanups to C++ and tools/trace

bcc-lua: build bcc.lua and bcc.o in the build tree

Simplify error prints in frontend_action

Fix compile error when perf headers are included early

I didn't actually track this one down, but was getting some errors
coming out of kernel header files when perf_events.h was included first.
Move it after some std headers that mask the issue.

Use lookup instead of delete in test_stackid

BPF programs aren't allowed to attach to these functions since deadlocks
may occur, thus the test would fail since no stack is collected. Use
update_elem to test instead.

Fix python3 exception when ctrl-c tools/trace.py

The way to do exception printing in python2/3 compatible way is using
sys.exc_info()[0/1].

Merge pull request #481 from iovisor/ast_dev

bcc-lua: switch to quiet by default

bcc-lua: switch to quiet by default

use --verbose to turn verbose output

Signed-off-by: Alexei Starovoitov <ast@fb.com>

Merge pull request #480 from larsx2/master

Fixed tcpv4connect.py broken link on README

Fixed tcpv4connect.py broken link on README

Merge pull request #479 from LucaCanali/master

Fix for find_symbol method, issue #478

Fix for find_symbol method, issue #478

Fix for find_symbol method, issue #478

Merge pull request #477 from ragnard/nixos

Add support for nixos

Introduce BCC_KERNEL_MODULES_DIR

Add support for systems using a non-default ("/lib/modules") kernel lib
directory.

add missing include directory to calculated cflags

Merge pull request #474 from mcaleavya/master

migrated gethostlatency to use bpf_perf_event

Merge pull request #470 from vmg/vmg/lua-standalone

Standalone Lua tracing tool

debian: Add bcc-lua package to control

debian: Add install rule for bcc-lua

SPECS: Add a spec for `bcc-lua`

bcc-lua: Add Install target

migrated gethostlatency to use bpf_perf_event

bpf.lua: Enable the `--llvm-debug` CLI flag

bcc.lua: Print traceback on errors

bcc: Move all `argv` parsing to Lua code

bcc: Allow the runner to parse some arguments

bcc-lua: Add test for standalone `bcc-lua`