Merge pull request #483 from iovisor/bblanco_dev

miscellaneous cleanups to C++ and tools/trace

Simplify error prints in frontend_action

Fix compile error when perf headers are included early

I didn't actually track this one down, but was getting some errors
coming out of kernel header files when perf_events.h was included first.
Move it after some std headers that mask the issue.

Use lookup instead of delete in test_stackid

BPF programs aren't allowed to attach to these functions since deadlocks
may occur, thus the test would fail since no stack is collected. Use
update_elem to test instead.

Fix python3 exception when ctrl-c tools/trace.py

The way to do exception printing in python2/3 compatible way is using
sys.exc_info()[0/1].

Merge pull request #481 from iovisor/ast_dev

bcc-lua: switch to quiet by default

bcc-lua: switch to quiet by default

use --verbose to turn verbose output

Signed-off-by: Alexei Starovoitov <ast@fb.com>

Merge pull request #480 from larsx2/master

Fixed tcpv4connect.py broken link on README

Fixed tcpv4connect.py broken link on README

Merge pull request #479 from LucaCanali/master

Fix for find_symbol method, issue #478

Fix for find_symbol method, issue #478

Fix for find_symbol method, issue #478

Merge pull request #477 from ragnard/nixos

Add support for nixos

Introduce BCC_KERNEL_MODULES_DIR

Add support for systems using a non-default ("/lib/modules") kernel lib
directory.

add missing include directory to calculated cflags

Merge pull request #474 from mcaleavya/master

migrated gethostlatency to use bpf_perf_event

Merge pull request #470 from vmg/vmg/lua-standalone

Standalone Lua tracing tool

debian: Add bcc-lua package to control

debian: Add install rule for bcc-lua

SPECS: Add a spec for `bcc-lua`

bcc-lua: Add Install target

migrated gethostlatency to use bpf_perf_event

bpf.lua: Enable the `--llvm-debug` CLI flag

bcc.lua: Print traceback on errors

bcc: Move all `argv` parsing to Lua code

bcc: Allow the runner to parse some arguments

bcc-lua: Add test for standalone `bcc-lua`

lua: Add license to the C wrapper

cmake: Build bcc-lua conditionally

lua: Setup compilation for the standalone tool

lua: Fix tests to work in strict mode

lua: Prepare for standalone build

Merge pull request #472 from iovisor/ast_dev

get rid of version checks

get rid of version checks

version checks don't work at all on kernels with backported bpf bits
they also fail when /usr/include/linux/bpf.h doesn't match loaded
kernel.
Fix these issues by embedding bpf.h into libbcc.so and force load it
in clang, so we can remove all version checks and rely on verifier
complaining on unknown function call.
Later patch can make verifier errors less cryptic by converting
'unknown call 12' to strings.

while at it update bpf.h to the latest.

Signed-off-by: Alexei Starovoitov <ast@fb.com>

Merge pull request #469 from goldshtn/usdt-v3

Bug fix around USDT argument handling for constants

Bug fix around USDT argument handling for constants

For USDT arguments of the form "-4@$-1", the parsing logic would fail
because it didn't expect the second number (the actual value of the
USDT argument as a constant) to be negative. This is now fixed.

Merge pull request #454 from brendangregg/master

IPv6 strings with an inet6_ntoa

use pack/unpack

Merge pull request #468 from goldshtn/trace-which

Replaced `which --skip-alias` with `ProcUtils.which`

Replaced `which --skip-alias` with `ProcUtils.which`

Merge pull request #467 from goldshtn/usdt-v2

Support for global variable arguments in USDT probes

Merge pull request #457 from vmg/vmg/lua

Lua Tools for BCC

cmake: Use the wrapper script for Lua tests too

cmake: Find `sudo` explicitly

Merge pull request #458 from zaafar/percpu_support

Percpu support

bpf.lua: Implement `dump_func`

test.lua: Port the `test_uprobes` suite

ld.lua: fix parsing of base16 addresses

bpf.lua: fix detaching uprobes and kprobes

cmake: Run the Lua tests too

bpf.lua: Sanity check

memleak.lua: Fix indentation

test.lua: Port `test_clang` to Lua

test.lua: Add basic test library and helpers

table.py: Implement`scanf` and `printf` helpers

table.lua: Add support for decoding bitfield types

bpf.lua: Implement `load_funcs`

bpf.lua: Add support for CFLAGS and LLVM debug flags

bcc-probe: Allow running the helper from any path

bcc-probe: Allow loading absolute paths

Add a few examples written in Lua

Lua Tools for BCC

Support for global variable arguments in USDT probes

I previously thought it wouldn't be possible to probe arbitrary user-mode addresses,
but it turns out that it is. This was required to support global variable arguments
in USDT probes. For example, there are a few probes in libpthread whose arguments
refer to the mp_ global variable. These are now supported.

Additionally, refactored process-related utils into a ProcUtils class in procstat.py,
and implemented a version of `which` (`ProcUtils.which`) that is as portable as
possible -- it only relies on traversing the PATH environment variable.

Merge remote-tracking branch 'origin/master' into percpu

b_frontend_action.cc
changed pc_hash/array to percpu_hash/array

table.py
optimised/fixup table.py code based on Brenden feedback

test_percpu.py
Now tests are processor aware and doesn't use sleep
added new line at the EOF

Merge pull request #452 from yadutaf/jt-solisten

solisten: clean endian conversion hack

added u64 testcase

added a very simple testcase for PerCpu support patch.

updating branch

Merge remote-tracking branch 'origin/master' into percpu

optimised the percpu support patch.
removed kernel checks.

Merge pull request #456 from yadutaf/jt-endian

Minor endian and debug enhancement

add debug constants

move endian flags to kbuild_helper

Merge pull request #451 from goldshtn/usdt

argdist, trace, and tplist support for USDT probes

solisten: clean endian conversion hack

Merge pull request #453 from yadutaf/jt-endian

expose buitin byte swap methods

IPv6 strings with an inet6_ntoa

expose buitin byte swap methods

argdist, trace, and tplist support for USDT probes

These tools now support USDT probes with the 'u:provider:probe' syntax.
Probes in a library or process can be listed with 'tplist -l LIB' or 'tplist -p PID'.
Probe arguments are also parsed and available in both argdist and trace as arg1,
arg2, etc., regardless of the probe attach location.

The same USDT probe can be used at multiple locations, which means the attach infra-
structure must probe all these locations. argdist and trace register thunk probes
at each location, which call a central probe function (which is static inline) with
the location id (__loc_id). The central probe function checks the location id to
determine how the arguments should be retrieved -- this is location-dependent.

Finally, some USDT probes must be enabled first by writing a value to a memory
location (this is called a "semaphore"). This value is per-process, so we require a
process id for this kind of probes.

Along with trace and argdist tool support, this commit also introduces new classes
in the bcc module: ProcStat handles pid-wrap detection, whereas USDTReader,
USDTProbe, USDTProbeLocation, and USDTArgument are the shared USDT-related
infrastructure that enables enumeration, attachment, and argument retrieval for
USDT probes.

Merge pull request #449 from goldshtn/tp-str-fix

Fixed bug around local assignment from char array

Fixed bug around local assignment from char array

Merge pull request #450 from vmg/vmg/stacks-next

Stack Traces: TNG

stackcount: Resolve stacks using a StackTrace table

The changes for this script are minimal: the inline C probe has been
_significantly_ simplified, and should now perform better since the
stack walk happens in native code inside the kernel thanks to the
BPF_STACK_TRACE table.

The output of the tool should be virtually identical, so the man page
and included examples have essentially no changes.

stacksnoop: Resolve stacks using a StackTrace table

Instead of manually walking the stack and printing each frame to the
trace log, we can use a BPF_STACK_TRACE table to store the stack traces,
and print to the trace log their IDs every time they are traced.

The output of the tool has been slightly modified: we no longer prefix
each line of the stack trace with the timestamp and the other headers,
since the whole stack trace is fetched in one go from the table and the
information would be highly redundant.

The man page and the examples have been updated to reflect the new
output.

BPF: better format for `ksymaddr`

The offset is now returned after a `+` symbol, instead of directly
attached to the symbol name (which made reading the output very
confusing)

Before:
    tick_do_update_jiffies64a0

After:
    tick_do_update_jiffies64+0xa0

Merge pull request #448 from vmg/vmg/stacks

Better stack walking APIs

offcputime: Resolve stacks using a StackTrace table

The manual walking for kernel stacks in the eBPF code has been replaced
with a `BPF_STACK_TRACE` table; the stack ID is now stored as an integer
in the main key.

Thanks to the `StackTrace.walk` iterator, the printing code can also be
significantly simplified for both folded and full stack modes.

memleak: Resolve stacks with a StackTrace table

Instead of manually walking the (kernel) stack inside the eBPF code,
create a `BPF_STACK_TRACE` table and store the stack IDs in the alloc
info struct.

This greatly simplifies the leak detection code: instead of storing the
full stack trace as a string to de-duplicate the allocation point for
the different allocations, we can store the `stack_id`. Since we're
creating stack IDs with `BPF_F_REUSE_STACKID`, the kernel will take care
of deduplication for us.

Additionally, the `StackDecoder` class has been specialized into a
`UStackDecoder` and `KStackDecoder` (for userland and kernel stacks,
respectively). This lets us pass the decode class directly to
`stack_traces.walk()` to automate symbol resolution.

A new class, `Allocation` has been created to encapsulate what
previously was a 2-element tuple of `(count, size)`. This

examples: Add `mallocstacks`

This simple example script traces all calls to `malloc` in a process and
prints the callsite using the new `BPF_STACK_TRACE` table API.

table: Implement a StackWalker for StackTrace tables

The StackWalker iterator lets us call `stack_trace.walk(id)` to iterate
through the addresses in any given stack. The constructor of this
iterator takes an optional `resolver` to convert the addresses in the
iterator into symbols (or to format them according to the users' needs).

added percpu support in bcc.
Due to alignment issue ( alignment of array
must be same as cache alignment of cache ),
complex data structures involved in percpu array/hash tables
must be padded to match cache alignment or else, bcc will generate a error.
non complex data structures which are not aligned to cache size such as int,
uint32 is allowed but a bit slow due to casting/reverting process.

Merge pull request #445 from goldshtn/tp-vars

Allowing more natural syntax for tracepoints with no "tp" struct prefix

Allowing more natural syntax for tracepoints with no "tp" struct prefix

Merge pull request #429 from yadutaf/jt-tcpv4listen

add tcpv4listen.py tracing example, with comments

add solisten tool. Currently TCP only.

Merge pull request #444 from goldshtn/probefail

Fix error handling when attaching {u,k}{,ret}probes

Fix error handling when attaching {u,k}{,ret}probes

Merge pull request #442 from goldshtn/usyms

Moved user symbol decoding from memleak into bcc module

Added pid wrap check, moved user symbols to usyms.py

Moved user symbol decoding from memleak into bcc module