Merge pull request #496 from iovisor/bblanco_dev

Add infra and ctest for code style formatting

Add clang-format file, tweak style-check.sh

Add an initial .clang-format file, based on LLVM's style base. Inform
the style-check wrapper to only consider h, c, and cc files when it
runs, and print out the --verbose output upon failure.

Add ctest for style, using clang-format

When user touches a file, that file will be fed to `git clang-format`,
and if the tool reports a new diff it will consider the test failed. The
files to check will be anything in the current workspace compared to
origin/master.

Remove git-clang-format output when no files are modified

Add git-clang-format to be used for testing source style

Merge pull request #494 from iovisor/install-md

Update INSTALL.md with Xenial instructions

Update INSTALL.md with Xenial instructions

The buildbot is now building nightly ubuntu 16.04 packages. Include the steps to install.

Merge pull request #493 from iovisor/bblanco_dev

Let bcc debian build depend on 3.7|3.8

Let bcc debian build depend on 3.7|3.8

In Xenial, llvm 3.8 will be available upstream without manual apt steps.
Add those packages as a possible dependency in our build.

Merge pull request #489 from aaronpuchert/permissive_regex

Don't require "OS ABI" specification in libraries

Merge pull request #490 from vmg/vmg/lua64

lua: Properly support high-range 64 addresses

Merge pull request #487 from bobrik/ubuntu-install

Install all required packages on ubuntu

Don't require "OS ABI" specification in libraries

The most important system libraries are listed like this by ldconfig:

libc.so.6 (libc6,x86-64, OS ABI: Linux 3.0.0) => /lib64/libc.so.6

But most user-level libraries don't have the "OS ABI" and will not be
found by the regular expression.

libz.so (libc6,x86-64) => /usr/lib64/libz.so

This makes the regular expression more permissive, so that it finds
those libraries as well.

lua: Properly support high-range 64 addresses

Lua's native Number type is a 64-bit double with 52-bit precision, which
was causing rounding errors when storing and working with high-range
memory addresses (namely, addresses from the kernel, which are all in
the `0xffffffff........` range).

To work around this, we've made sure to never call `tonumber` on any
variables that represent memory addresses, and instead continue
operating on them with their native types: LuaJIT can work with the
underlying `uint64_t` type for these values and transparently perform
all kinds of numeric operations.

The only limitation of working with native 64-bit types in LuaJIT is
that they cannot be printed with the language's default `string.format`
API. To give better UX to probe writers, these APIs have been
monkeypatched so the `%p` format specifier will now properly handle
64-bit addresses and print them in an appropriate format.

Install all required packages on ubuntu

Merge pull request #482 from markdrayton/lua-outside-source-build

bcc-lua: build bcc.lua and bcc.o in the build tree

Merge pull request #483 from iovisor/bblanco_dev

miscellaneous cleanups to C++ and tools/trace

bcc-lua: build bcc.lua and bcc.o in the build tree

Simplify error prints in frontend_action

Fix compile error when perf headers are included early

I didn't actually track this one down, but was getting some errors
coming out of kernel header files when perf_events.h was included first.
Move it after some std headers that mask the issue.

Use lookup instead of delete in test_stackid

BPF programs aren't allowed to attach to these functions since deadlocks
may occur, thus the test would fail since no stack is collected. Use
update_elem to test instead.

Fix python3 exception when ctrl-c tools/trace.py

The way to do exception printing in python2/3 compatible way is using
sys.exc_info()[0/1].

Merge pull request #481 from iovisor/ast_dev

bcc-lua: switch to quiet by default

bcc-lua: switch to quiet by default

use --verbose to turn verbose output

Signed-off-by: Alexei Starovoitov <ast@fb.com>

Merge pull request #480 from larsx2/master

Fixed tcpv4connect.py broken link on README

Fixed tcpv4connect.py broken link on README

Merge pull request #479 from LucaCanali/master

Fix for find_symbol method, issue #478

Fix for find_symbol method, issue #478

Fix for find_symbol method, issue #478

Merge pull request #477 from ragnard/nixos

Add support for nixos

Introduce BCC_KERNEL_MODULES_DIR

Add support for systems using a non-default ("/lib/modules") kernel lib
directory.

add missing include directory to calculated cflags

Merge pull request #474 from mcaleavya/master

migrated gethostlatency to use bpf_perf_event

Merge pull request #470 from vmg/vmg/lua-standalone

Standalone Lua tracing tool

debian: Add bcc-lua package to control

debian: Add install rule for bcc-lua

SPECS: Add a spec for `bcc-lua`

bcc-lua: Add Install target

migrated gethostlatency to use bpf_perf_event

bpf.lua: Enable the `--llvm-debug` CLI flag

bcc.lua: Print traceback on errors

bcc: Move all `argv` parsing to Lua code

bcc: Allow the runner to parse some arguments

bcc-lua: Add test for standalone `bcc-lua`

lua: Add license to the C wrapper

cmake: Build bcc-lua conditionally

lua: Setup compilation for the standalone tool

lua: Fix tests to work in strict mode

lua: Prepare for standalone build

Merge pull request #472 from iovisor/ast_dev

get rid of version checks

get rid of version checks

version checks don't work at all on kernels with backported bpf bits
they also fail when /usr/include/linux/bpf.h doesn't match loaded
kernel.
Fix these issues by embedding bpf.h into libbcc.so and force load it
in clang, so we can remove all version checks and rely on verifier
complaining on unknown function call.
Later patch can make verifier errors less cryptic by converting
'unknown call 12' to strings.

while at it update bpf.h to the latest.

Signed-off-by: Alexei Starovoitov <ast@fb.com>

Merge pull request #469 from goldshtn/usdt-v3

Bug fix around USDT argument handling for constants

Bug fix around USDT argument handling for constants

For USDT arguments of the form "-4@$-1", the parsing logic would fail
because it didn't expect the second number (the actual value of the
USDT argument as a constant) to be negative. This is now fixed.

Merge pull request #454 from brendangregg/master

IPv6 strings with an inet6_ntoa

use pack/unpack

Merge pull request #468 from goldshtn/trace-which

Replaced `which --skip-alias` with `ProcUtils.which`

Replaced `which --skip-alias` with `ProcUtils.which`

Merge pull request #467 from goldshtn/usdt-v2

Support for global variable arguments in USDT probes

Merge pull request #457 from vmg/vmg/lua

Lua Tools for BCC

cmake: Use the wrapper script for Lua tests too

cmake: Find `sudo` explicitly

Merge pull request #458 from zaafar/percpu_support

Percpu support

bpf.lua: Implement `dump_func`

test.lua: Port the `test_uprobes` suite

ld.lua: fix parsing of base16 addresses

bpf.lua: fix detaching uprobes and kprobes

cmake: Run the Lua tests too

bpf.lua: Sanity check

memleak.lua: Fix indentation

test.lua: Port `test_clang` to Lua

test.lua: Add basic test library and helpers

table.py: Implement`scanf` and `printf` helpers

table.lua: Add support for decoding bitfield types

bpf.lua: Implement `load_funcs`

bpf.lua: Add support for CFLAGS and LLVM debug flags

bcc-probe: Allow running the helper from any path

bcc-probe: Allow loading absolute paths

Add a few examples written in Lua

Lua Tools for BCC

Support for global variable arguments in USDT probes

I previously thought it wouldn't be possible to probe arbitrary user-mode addresses,
but it turns out that it is. This was required to support global variable arguments
in USDT probes. For example, there are a few probes in libpthread whose arguments
refer to the mp_ global variable. These are now supported.

Additionally, refactored process-related utils into a ProcUtils class in procstat.py,
and implemented a version of `which` (`ProcUtils.which`) that is as portable as
possible -- it only relies on traversing the PATH environment variable.

Merge remote-tracking branch 'origin/master' into percpu

b_frontend_action.cc
changed pc_hash/array to percpu_hash/array

table.py
optimised/fixup table.py code based on Brenden feedback

test_percpu.py
Now tests are processor aware and doesn't use sleep
added new line at the EOF

Merge pull request #452 from yadutaf/jt-solisten

solisten: clean endian conversion hack

added u64 testcase

added a very simple testcase for PerCpu support patch.

updating branch

Merge remote-tracking branch 'origin/master' into percpu

optimised the percpu support patch.
removed kernel checks.

Merge pull request #456 from yadutaf/jt-endian

Minor endian and debug enhancement

add debug constants

move endian flags to kbuild_helper

Merge pull request #451 from goldshtn/usdt

argdist, trace, and tplist support for USDT probes

solisten: clean endian conversion hack

Merge pull request #453 from yadutaf/jt-endian

expose buitin byte swap methods

IPv6 strings with an inet6_ntoa

expose buitin byte swap methods

argdist, trace, and tplist support for USDT probes

These tools now support USDT probes with the 'u:provider:probe' syntax.
Probes in a library or process can be listed with 'tplist -l LIB' or 'tplist -p PID'.
Probe arguments are also parsed and available in both argdist and trace as arg1,
arg2, etc., regardless of the probe attach location.

The same USDT probe can be used at multiple locations, which means the attach infra-
structure must probe all these locations. argdist and trace register thunk probes
at each location, which call a central probe function (which is static inline) with
the location id (__loc_id). The central probe function checks the location id to
determine how the arguments should be retrieved -- this is location-dependent.

Finally, some USDT probes must be enabled first by writing a value to a memory
location (this is called a "semaphore"). This value is per-process, so we require a
process id for this kind of probes.

Along with trace and argdist tool support, this commit also introduces new classes
in the bcc module: ProcStat handles pid-wrap detection, whereas USDTReader,
USDTProbe, USDTProbeLocation, and USDTArgument are the shared USDT-related
infrastructure that enables enumeration, attachment, and argument retrieval for
USDT probes.

Merge pull request #449 from goldshtn/tp-str-fix

Fixed bug around local assignment from char array

Fixed bug around local assignment from char array

Merge pull request #450 from vmg/vmg/stacks-next

Stack Traces: TNG

stackcount: Resolve stacks using a StackTrace table

The changes for this script are minimal: the inline C probe has been
_significantly_ simplified, and should now perform better since the
stack walk happens in native code inside the kernel thanks to the
BPF_STACK_TRACE table.

The output of the tool should be virtually identical, so the man page
and included examples have essentially no changes.