bcc-lua: Build as a C executable

lua: Make all probes executable

lua: build as a standalone tool with static libbcc

Merge pull request #514 from mcaleavya/master

updated opensnoop to use bpf_perf_output

updated opensnoop to use bpf_perf_output

Merge pull request #498 from vmg/vmg/usdt

[WIP] Native implementation for USDT probes

cc: Finish USDT implementation

cc: Implement symbol resolution for USDT

cc: Split bcc_syms.cc into a C++ header file

cc: Allow callback cancellation on bcc_procutils

cc: Add missing include

usdt: Implement probe resolution [WIP]

usdt: Implement `assign_to_local`

Add missing license headers

usdt: Use `optional` to properly handle missing args

Move implementation of USDT::Argument into cc file

To avoid exposing the implementation of new/delete of the Argument
class, move it out of the header file. This also requires making private
the std::string members, so that they cannot be assigned to directly.
Let the ArgumentParser assign to them as a friend, and expose const
functions to access them as const only from the client.

Also, convert non-const reference usages to pass-by-pointer.

cc: Implement USDT argument parsing in C++

tests: Port the C API suite to C++/Catch

Merge pull request #511 from vmg/vmg/find-library

bpf: Wrap `bcc_procutils_which_so` as `BPF.find_library`

bpf: Wrap `bcc_procutils_which_so` as `BPF.find_library`

This class method was being used outside of the BPF class in the
`tracer` and `usdt` tools.

Merge pull request #507 from vmg/vmg/elf-so

Explicitly list the libelf runtime dependency

packaging: Add `libelf.so` as a runtime dependency

lua: Only build if LuaJIT is available

Merge pull request #502 from sublimino/patch-1

Add libelf-dev to Ubuntu build deps

Add libelf-dev to Ubuntu build deps

This was required on a Debian system, but in lieu of instructions for that distribution, and as Debian users will follow Ubuntu, would you consider verifying it on Ubuntu and accepting this PR?

Merge pull request #495 from vmg/vmg/elf-2

[RFC] Remove all dependencies on external binaries

cc: Clang format

cc: Add tests for the C API

cc: Looser heuristic to detect .so modules

cc: Only try to list ksyms if we're root

cc: Move `bcc_resolve_symname` to its proper header

cc: Add missing license headers

cc: Format C and C++ code according to Google's styleguide

deps: Add `libelf` to the build requirements

python: Use the native Symbol resolution APIs

The native resolvers are used for the Kernel Symbol resolution in the
`BPF` class, and for the ProcessSymbols class. A lot of redundant code
has been removed.

python: Wrap the new native symbol APIs

lua: Remove unused files

The `sym` module no longer needs to be exported. The `LD` module is no
longer used anywhere.

lua: Use the new native Symbol resolver

The static `BPF.SymbolCache` now uses a native symbol resolver instead
of the Lua/binutils implementation. Likewise for the kernel symbol
resolver, and the `check_path_symbol` API to find a probe's hook
address.

lua: Wrap the new native APIs

cc: Add a native Symbol Resolver cache

This new set of C/C++ APIs is capable of performing symbol resolution
for any given running process, using the native `libelf` APIs instead of
shelling out to binutils tools.

This is a reimplementation of the original ProcSyms Python/Lua code.

cc: Add a set of process utils written in C/C++

These APIs mimic behavior that was being performed using native tools.

- bcc_procutils_which_so: resolves a short library name into a full path
  so a shared object. Equivalent to `ldconfig -p`
- bcc_procutils_which: resolves a short name into a full path to a
  binary. Equivalent to a shell's builtin `which`
- bcc_procutils_each_module: lists all the modules loaded in a process'
  memory space. Uses the kernel's `/proc/$pid/maps`
- bcc_procutils_each_ksym: lists all symbols and addresses for the
  kernel. Uses the kernel's `/proc/kallsyms`

cc: Add a set of ELF-related APIs based on libelf

The following APIs have been implemented inside `libbcc`, which
programatically replicate the previous usage of `binutils` tools like
`objdump` and `elfdump`.

- bcc_elf_foreach_usdt: finds all USDT probes inside a given binary
- bcc_elf_loadadddr: find the load address for a shared object
- bcc_elf_foreach_sym: lists all symbols in an ELF binary or SO
- bcc_elf_shared_obj: returns whether a given path is an ELF shared
  object, a binary, or neither

cmake: Add dependency to LibELF

Add a new a `FindLibElf.cmake` package, and use it to link the main
`libbcc` library against the system's LibELF. This library will be used
to re-implement functionality that was previously dependent on
`binutils`.

cmake: Properly use library detection modules

Instead of importing the `Find*.cmake` modules directly, place them in
the root `cmake/` folder and define it as a CMake Module path. This lets
us use the `find_package` builtin to require any given packages.

Merge pull request #496 from iovisor/bblanco_dev

Add infra and ctest for code style formatting

Add clang-format file, tweak style-check.sh

Add an initial .clang-format file, based on LLVM's style base. Inform
the style-check wrapper to only consider h, c, and cc files when it
runs, and print out the --verbose output upon failure.

Add ctest for style, using clang-format

When user touches a file, that file will be fed to `git clang-format`,
and if the tool reports a new diff it will consider the test failed. The
files to check will be anything in the current workspace compared to
origin/master.

Remove git-clang-format output when no files are modified

Add git-clang-format to be used for testing source style

Merge pull request #494 from iovisor/install-md

Update INSTALL.md with Xenial instructions

Update INSTALL.md with Xenial instructions

The buildbot is now building nightly ubuntu 16.04 packages. Include the steps to install.

Merge pull request #493 from iovisor/bblanco_dev

Let bcc debian build depend on 3.7|3.8

Let bcc debian build depend on 3.7|3.8

In Xenial, llvm 3.8 will be available upstream without manual apt steps.
Add those packages as a possible dependency in our build.

Merge pull request #489 from aaronpuchert/permissive_regex

Don't require "OS ABI" specification in libraries

Merge pull request #490 from vmg/vmg/lua64

lua: Properly support high-range 64 addresses

Merge pull request #487 from bobrik/ubuntu-install

Install all required packages on ubuntu

Don't require "OS ABI" specification in libraries

The most important system libraries are listed like this by ldconfig:

libc.so.6 (libc6,x86-64, OS ABI: Linux 3.0.0) => /lib64/libc.so.6

But most user-level libraries don't have the "OS ABI" and will not be
found by the regular expression.

libz.so (libc6,x86-64) => /usr/lib64/libz.so

This makes the regular expression more permissive, so that it finds
those libraries as well.

lua: Properly support high-range 64 addresses

Lua's native Number type is a 64-bit double with 52-bit precision, which
was causing rounding errors when storing and working with high-range
memory addresses (namely, addresses from the kernel, which are all in
the `0xffffffff........` range).

To work around this, we've made sure to never call `tonumber` on any
variables that represent memory addresses, and instead continue
operating on them with their native types: LuaJIT can work with the
underlying `uint64_t` type for these values and transparently perform
all kinds of numeric operations.

The only limitation of working with native 64-bit types in LuaJIT is
that they cannot be printed with the language's default `string.format`
API. To give better UX to probe writers, these APIs have been
monkeypatched so the `%p` format specifier will now properly handle
64-bit addresses and print them in an appropriate format.

Install all required packages on ubuntu

Merge pull request #482 from markdrayton/lua-outside-source-build

bcc-lua: build bcc.lua and bcc.o in the build tree

Merge pull request #483 from iovisor/bblanco_dev

miscellaneous cleanups to C++ and tools/trace

bcc-lua: build bcc.lua and bcc.o in the build tree

Simplify error prints in frontend_action

Fix compile error when perf headers are included early

I didn't actually track this one down, but was getting some errors
coming out of kernel header files when perf_events.h was included first.
Move it after some std headers that mask the issue.

Use lookup instead of delete in test_stackid

BPF programs aren't allowed to attach to these functions since deadlocks
may occur, thus the test would fail since no stack is collected. Use
update_elem to test instead.

Fix python3 exception when ctrl-c tools/trace.py

The way to do exception printing in python2/3 compatible way is using
sys.exc_info()[0/1].

Merge pull request #481 from iovisor/ast_dev

bcc-lua: switch to quiet by default

bcc-lua: switch to quiet by default

use --verbose to turn verbose output

Signed-off-by: Alexei Starovoitov <ast@fb.com>

Merge pull request #480 from larsx2/master

Fixed tcpv4connect.py broken link on README

Fixed tcpv4connect.py broken link on README

Merge pull request #479 from LucaCanali/master

Fix for find_symbol method, issue #478

Fix for find_symbol method, issue #478

Fix for find_symbol method, issue #478

Merge pull request #477 from ragnard/nixos

Add support for nixos

Introduce BCC_KERNEL_MODULES_DIR

Add support for systems using a non-default ("/lib/modules") kernel lib
directory.

add missing include directory to calculated cflags

Merge pull request #474 from mcaleavya/master

migrated gethostlatency to use bpf_perf_event

Merge pull request #470 from vmg/vmg/lua-standalone

Standalone Lua tracing tool

debian: Add bcc-lua package to control

debian: Add install rule for bcc-lua

SPECS: Add a spec for `bcc-lua`

bcc-lua: Add Install target

migrated gethostlatency to use bpf_perf_event

bpf.lua: Enable the `--llvm-debug` CLI flag

bcc.lua: Print traceback on errors

bcc: Move all `argv` parsing to Lua code

bcc: Allow the runner to parse some arguments

bcc-lua: Add test for standalone `bcc-lua`

lua: Add license to the C wrapper

cmake: Build bcc-lua conditionally

lua: Setup compilation for the standalone tool

lua: Fix tests to work in strict mode

lua: Prepare for standalone build

Merge pull request #472 from iovisor/ast_dev

get rid of version checks

get rid of version checks

version checks don't work at all on kernels with backported bpf bits
they also fail when /usr/include/linux/bpf.h doesn't match loaded
kernel.
Fix these issues by embedding bpf.h into libbcc.so and force load it
in clang, so we can remove all version checks and rely on verifier
complaining on unknown function call.
Later patch can make verifier errors less cryptic by converting
'unknown call 12' to strings.

while at it update bpf.h to the latest.

Signed-off-by: Alexei Starovoitov <ast@fb.com>

Merge pull request #469 from goldshtn/usdt-v3

Bug fix around USDT argument handling for constants

Bug fix around USDT argument handling for constants

For USDT arguments of the form "-4@$-1", the parsing logic would fail
because it didn't expect the second number (the actual value of the
USDT argument as a constant) to be negative. This is now fixed.

Merge pull request #454 from brendangregg/master

IPv6 strings with an inet6_ntoa

use pack/unpack

Merge pull request #468 from goldshtn/trace-which

Replaced `which --skip-alias` with `ProcUtils.which`