Merge pull request #458 from zaafar/percpu_support

Percpu support

Merge remote-tracking branch 'origin/master' into percpu

b_frontend_action.cc
changed pc_hash/array to percpu_hash/array

table.py
optimised/fixup table.py code based on Brenden feedback

test_percpu.py
Now tests are processor aware and doesn't use sleep
added new line at the EOF

Merge pull request #452 from yadutaf/jt-solisten

solisten: clean endian conversion hack

added u64 testcase

added a very simple testcase for PerCpu support patch.

updating branch

Merge remote-tracking branch 'origin/master' into percpu

optimised the percpu support patch.
removed kernel checks.

Merge pull request #456 from yadutaf/jt-endian

Minor endian and debug enhancement

add debug constants

move endian flags to kbuild_helper

Merge pull request #451 from goldshtn/usdt

argdist, trace, and tplist support for USDT probes

solisten: clean endian conversion hack

Merge pull request #453 from yadutaf/jt-endian

expose buitin byte swap methods

expose buitin byte swap methods

argdist, trace, and tplist support for USDT probes

These tools now support USDT probes with the 'u:provider:probe' syntax.
Probes in a library or process can be listed with 'tplist -l LIB' or 'tplist -p PID'.
Probe arguments are also parsed and available in both argdist and trace as arg1,
arg2, etc., regardless of the probe attach location.

The same USDT probe can be used at multiple locations, which means the attach infra-
structure must probe all these locations. argdist and trace register thunk probes
at each location, which call a central probe function (which is static inline) with
the location id (__loc_id). The central probe function checks the location id to
determine how the arguments should be retrieved -- this is location-dependent.

Finally, some USDT probes must be enabled first by writing a value to a memory
location (this is called a "semaphore"). This value is per-process, so we require a
process id for this kind of probes.

Along with trace and argdist tool support, this commit also introduces new classes
in the bcc module: ProcStat handles pid-wrap detection, whereas USDTReader,
USDTProbe, USDTProbeLocation, and USDTArgument are the shared USDT-related
infrastructure that enables enumeration, attachment, and argument retrieval for
USDT probes.

Merge pull request #449 from goldshtn/tp-str-fix

Fixed bug around local assignment from char array

Fixed bug around local assignment from char array

Merge pull request #450 from vmg/vmg/stacks-next

Stack Traces: TNG

stackcount: Resolve stacks using a StackTrace table

The changes for this script are minimal: the inline C probe has been
_significantly_ simplified, and should now perform better since the
stack walk happens in native code inside the kernel thanks to the
BPF_STACK_TRACE table.

The output of the tool should be virtually identical, so the man page
and included examples have essentially no changes.

stacksnoop: Resolve stacks using a StackTrace table

Instead of manually walking the stack and printing each frame to the
trace log, we can use a BPF_STACK_TRACE table to store the stack traces,
and print to the trace log their IDs every time they are traced.

The output of the tool has been slightly modified: we no longer prefix
each line of the stack trace with the timestamp and the other headers,
since the whole stack trace is fetched in one go from the table and the
information would be highly redundant.

The man page and the examples have been updated to reflect the new
output.

BPF: better format for `ksymaddr`

The offset is now returned after a `+` symbol, instead of directly
attached to the symbol name (which made reading the output very
confusing)

Before:
    tick_do_update_jiffies64a0

After:
    tick_do_update_jiffies64+0xa0

Merge pull request #448 from vmg/vmg/stacks

Better stack walking APIs

offcputime: Resolve stacks using a StackTrace table

The manual walking for kernel stacks in the eBPF code has been replaced
with a `BPF_STACK_TRACE` table; the stack ID is now stored as an integer
in the main key.

Thanks to the `StackTrace.walk` iterator, the printing code can also be
significantly simplified for both folded and full stack modes.

memleak: Resolve stacks with a StackTrace table

Instead of manually walking the (kernel) stack inside the eBPF code,
create a `BPF_STACK_TRACE` table and store the stack IDs in the alloc
info struct.

This greatly simplifies the leak detection code: instead of storing the
full stack trace as a string to de-duplicate the allocation point for
the different allocations, we can store the `stack_id`. Since we're
creating stack IDs with `BPF_F_REUSE_STACKID`, the kernel will take care
of deduplication for us.

Additionally, the `StackDecoder` class has been specialized into a
`UStackDecoder` and `KStackDecoder` (for userland and kernel stacks,
respectively). This lets us pass the decode class directly to
`stack_traces.walk()` to automate symbol resolution.

A new class, `Allocation` has been created to encapsulate what
previously was a 2-element tuple of `(count, size)`. This

examples: Add `mallocstacks`

This simple example script traces all calls to `malloc` in a process and
prints the callsite using the new `BPF_STACK_TRACE` table API.

table: Implement a StackWalker for StackTrace tables

The StackWalker iterator lets us call `stack_trace.walk(id)` to iterate
through the addresses in any given stack. The constructor of this
iterator takes an optional `resolver` to convert the addresses in the
iterator into symbols (or to format them according to the users' needs).

added percpu support in bcc.
Due to alignment issue ( alignment of array
must be same as cache alignment of cache ),
complex data structures involved in percpu array/hash tables
must be padded to match cache alignment or else, bcc will generate a error.
non complex data structures which are not aligned to cache size such as int,
uint32 is allowed but a bit slow due to casting/reverting process.

Merge pull request #445 from goldshtn/tp-vars

Allowing more natural syntax for tracepoints with no "tp" struct prefix

Allowing more natural syntax for tracepoints with no "tp" struct prefix

Merge pull request #429 from yadutaf/jt-tcpv4listen

add tcpv4listen.py tracing example, with comments

add solisten tool. Currently TCP only.

Merge pull request #444 from goldshtn/probefail

Fix error handling when attaching {u,k}{,ret}probes

Fix error handling when attaching {u,k}{,ret}probes

Merge pull request #442 from goldshtn/usyms

Moved user symbol decoding from memleak into bcc module

Added pid wrap check, moved user symbols to usyms.py

Moved user symbol decoding from memleak into bcc module

Merge pull request #439 from goldshtn/tpoint2

tracepoint support for argdist and trace, and new tplist tool

Merge pull request #441 from ismail/llvm-3.8

Fix llvm shared build

Moved auto-includes helper to __init__.py

Moved common tracepoint support into tracepoint.py

Fix llvm shared build

Trim the llvm libs to the direct requirements only and use
llvm_expand_dependencies to discover all dependencies.

tracepoint support for argdist and trace, and new tplist tool for printing tracepoints

Merge pull request #438 from brendangregg/master

fix -p

fix -p

Merge pull request #435 from iovisor/bblanco_dev

Fix python3 incompatibilities

Fix python3 incompatibilities

Syntax and dict usages fixups in dcstat.py and memleak.py

Fixes: #433, #434
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #432 from iovisor/bblanco_dev

Enable python3 compatible strings in biosnoop

Enable python3 compatible strings in biosnoop

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #430 from iovisor/bblanco_dev

Add option to change kernel build search paths

When in KERNEL_HAS_SOURCE_DIR mode, include everything

Include all of the paths in the build/ directory when kernel headers are
split.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add option to change kernel build search paths

Some linux distributions structure the /lib/modules directories
differently, causing complexities. Add cmake overrides to be able to
compile different behavior.

If your distro sets up `/lib/modules/$(uname -r)/{source,build}` with
header files split between the two (debian does this), then add
-DBCC_KERNEL_HAS_SOURCE_DIR=1 to the cmake command line.

If your distro just has something other than build/, but things are
still in one subdirectory, then add -DBCC_KERNEL_MODULES_SUFFIX=foo to
the cmake command line.

Also, fix one implicit declaration warning introduced by the new
bpf_get_stackid() helper.

Fixes: #397
Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #428 from iovisor/bblanco_dev

[RFC] Basic implementation of stacktrace table

Better get_stackid rewriter logic and unittest version testing

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Rename stack lookup() to get_stackid

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Basic implementation of stacktrace table

This is the initial implementation of bpf_get_stackid with python
helpers. This doesn't expose the different methods of calling
(kernel/user, fast, or reuse).

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #427 from markdrayton/stacksnoop-filter

Fix stacksnoop PID filter

Fix stacksnoop PID filter

The function FILTER is injected into (trace_stack()) returns void, not int.

Merge pull request #426 from iovisor/bblanco_dev

Move cc/*py tests to python subdir and introduce c standalone test binary

Add libbcc.a compilation and test binary

This creates a new static library target for bcc. Add one trivial c test
case that links against it.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Move python tests to tests/python

They didn't quite make sense where they were. At one point 'cc' meant
compiler, and yes they were testing the compiler. Now lets use the
convention that different tests/ subdirectories test different bindings
(c, python, other).

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #424 from iovisor/bblanco_dev

Update headers with 4.5+ features

Update headers with 4.5+ features

Pull in bpf.h from upstream, and update helpers accordingly.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #422 from billyom/install_md

INSTALL.md: Fix path for example and some small clarifications

INSTALL.md: Fix path for example and some small clarifications

Merge pull request #420 from iovisor/proto_update

Add v6 headers to proto.h

Add v6 headers to proto.h

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #418 from brendangregg/master

tools map

tools map

Merge pull request #417 from iovisor/funccount_alternate

Remove use of update() in funccount

Use pre-calculated function addresses in funccount

Hash map updates are not safe in recursive context. Change the
implementation of funccount to be read-only by converting
lookup_or_init() to lookup(). When run in interval mode, zero the counts
table instead of clearing it.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add name to address ksym helper

Add a helper to translate from kernel name to symbol. As part of this,
slightly refactor the ksym globals (which are internal implementation
and not part of the api) so that there is one array of tuples instead of
two arrays.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add a table.zero() function to bcc.TableBase

It is sometimes useful to zero out the entries of table without erasing
the keys. Add a zero() function to make this easy.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #416 from iovisor/probe_quota

Enforce limit of 1000 open [uk]probes

Enforce limit of 1000 open [uk]probes

The number of open probes has bitten users already, so lets enforce a
limit with a meaningful(ish) message.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #414 from iovisor/tag_v0.1.8

Prepare debian changelog for v0.1.8 tag

Prepare debian changelog for v0.1.8 tag

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Fixup build scripts to support in-flight version change

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #412 from iovisor/deb_fixes

Prepare deb build for nightly target

Prepare deb build for nightly target

Add incremental release numbering for deb targets.
Tweak rpm release numbering as well.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #411 from iovisor/drzaeus77-patch-1

Fix ubuntu kernel path typo is INSTALL.md

Fix ubuntu kernel path typo is INSTALL.md

Merge pull request #408 from iovisor/rpm_updates

Update rpm build scripts and README

Merge pull request #410 from goldshtn/argdist-silent

Print traceback only if verbose mode was requested

Merge pull request #409 from goldshtn/trace2

trace: trace function execution with custom format strings and filters

Merge branch 'master' into argdist-silent

Fixed examples to use fewer colons

trace

Update rpm build scripts and README

Remove the unused Dockerfiles.

Create two flavors of spec files, one which includes steps to build
clang from source and link against it, and one which assumes clang is
already available and just builds bcc. The former is more appropriate
for official packaging, the latter for nightly and quick builds.

Also, introduce a numbering scheme for nightly rpm files. The format
will be:
`libbcc-$latest_git_tag-g$latest_git_hash.x86_64.rpm`
as in:
`libbcc-0.1.7-g73c4d1a.x86_64.rpm`

Update the INSTALL.md to mention the RPMs

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #407 from yadutaf/jt-readme

Documentation and tcp4connect enhancements

make tcpv4connect.py example tracer more robust

minor readme enhancements

Print traceback only if verbose mode was requested

Merge pull request #405 from brendangregg/master

tcpconnlat

drop unused pid, and improve code-path check

typo, and improve comment

tcpconnlat

Merge pull request #404 from mcaleavya/master

Migrated killsnoop to bpf_perf_event

removed two bpf_hash args_pid/sig

Merge branch 'master' of https://github.com/mcaleavya/bcc-1