Skip percpu testing on unsupported kernels

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Support for hotplug cpu cases in percpu array sizing

The kernel uses number of possible cpus to size the leaf, not the num of
online cpus. Fixup the python side appropriately.
Update: use num_possible_cpus() helper instead

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Fix python2/3 incompatible percpu helpers

The python3 version of the percpu helpers (average, sum, etc.) were
using a python2 function that has since moved to functools (reduce).

Worse, the test case for percpu functionality was not enabled in the
cmake file. Better turn that on and make it work.

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Merge pull request #914 from mkacik/master

[tools][memleak.py] add parameter for specifying object to load malloc/free from

[memleak] add parameter for specifying object to load malloc/free from

Merge pull request #911 from goldshtn/trace-params-signature

trace: Allow function signatures in uprobes and kprobes

Merge pull request #909 from goldshtn/tp-str-fixes

trace, tplist, argdist: UDST probe miscellaneous fixes

trace: Allow function signatures in uprobes and kprobes

§`trace` now allows uprobes and kprobes to have function signatures,
which means function parameters can be named and typed, rather than
relying on the positional arg1, arg2, etc. arguments. This also
enables structure field access, which is impossible with the unnamed
arguments due to rewriter limitations.

The example requested by @brendangregg, which now works, is the
following:

§Â```
PID    TID    COMM         FUNC             -
777    785    automount    SyS_nanosleep    sleep for 500000000 ns
777    785    automount    SyS_nanosleep    sleep for 500000000 ns
777    785    automount    SyS_nanosleep    sleep for 500000000 ns
777    785    automount    SyS_nanosleep    sleep for 500000000 ns
^C
```

trace, argdist: Fix code formatting nits

trace: Use correct argument index and tgid for filters

`trace` would use the incorrect argument index for USDT probes when
filtering specifically, e.g. `trace u:lib:tp (arg1 != 0) ...` would
actually use the type of the 2nd argument, and not the 1st argument
for the type of the filter variable in the generated program. This
could cause compilation errors or subtle bugs where the data would
be either extended or contracted to fit the wrong argument's type.

Additionally, `trace` would use the pid (thread id, `-L`) filter
with the `attach_uprobe` API, which expects a tgid (process id).
As a result, incorrect filtering would happen.

trace: Generated streq-helper to ignore null terminator

argdist: Generated streq-helper to ignore null terminator

Oftentimes we want to use the STRCMP helper to compare strings that
are not null-terminated, e.g. in USDT probes this often happens.
Ignore the null terminator (i.e. loop until the last character
excluding the null terminator).

tplist: Print one-based location and argument indices

The `trace` and `argdist` tools expect location and argument indices
to start at 1 -- the first argument is arg1, and so on. The `tplist`
tool now prints UDST argument indices (and location indices, for
consistency) as 1-based as well.

Merge pull request #875 from pchaigno/target-process-library

Use targeted process to resolve library names

Merge pull request #908 from Catalysts/cpu-iteration

fix iteration over CPUs

fix iteration over CPUs

Since kernel version 4.9.0 BPF stopped working in a KVM guest.
The problem are calls to perf_event_open with CPU identifiers which do
not exist (ENODEV). The root cause for this is that the current code
assumes ascending numbered CPUs. However, this is not always the case
(e.g. CPU hotplugging).

This patch introduces the get_online_cpus() and get_possible_cpus()
helper functions and uses the appropriate function for iterations over
CPUs. The BPF_MAP_TYPE_PERF_EVENT_ARRAY map contains now an entry for
each possible CPU instead of for each online CPU.

Fixes: #893
Signed-off-by: Andreas Gerstmayr <andreas.gerstmayr@catalysts.cc>

Merge pull request #906 from goldshtn/valid-idents

argdist, trace: Support non-C identifier names

cc: Dynamically allocate memory for library path

cc: Use PID to detach uprobes

We need the PID when detaching uprobes to resolve library names
to the same path as when attaching

cc: Resolve library names using loaded libraries

To resolve library names, bcc_procutils_which_so leverages mapped
libraries of the targeted process, if one is given. Uses the kernel's
/proc/$pid/maps

argdist, trace: Support non-C identifier names

When argdist or trace face a function that has characters
in its name that are not valid in C identifier, they now
replace these characters with an underscore (`_`) when
generating function names and structure names to include
in the BPF program. As a result, it is now possible to
trace functions that have these identifiers in their names,
such as Golang functions like `fmt.Println`.

Merge pull request #904 from brendangregg/master

add some error hints

add some error hints

Merge pull request #899 from brendangregg/tool2

profile: increase unique stack default to 10k

Merge pull request #896 from brendangregg/tool1

trace: allow tracing of functions containing a dot (golang)

Merge pull request #897 from brendangregg/master

statsnoop: refactor

profile: increase unique stack default to 10k

statsnoop: refactor

Merge pull request #895 from brendangregg/master

gethostlatency: remove unused code

trace: allow tracing of functions containing a dot (golang)

gethostlatency: remove unused code

Merge pull request #894 from brendangregg/master

add a few funccount examples

add a few funccount examples

Merge pull request #883 from ColinIanKing/master

snapcraft: add cpuunclaimed to snapcraft wrapper rules

Merge pull request #890 from mvbpolito/add_helpers

Add missing helper prototypes

Merge pull request #889 from totally/preprocess_4.10

Fixes bio{snoop,top} on 4.10

Add missing helpers prototypes in helpers.h

Signed-off-by: Mauricio Vasquez B <mauricio.vasquez@polito.it>

Fixes bio{snoop,top} on 4.10.

This commit fixes #888.  The 2 scripts run the same check, and now run
basically the same code to do it.

Tested on 4.10-rc2.

Merge pull request #887 from rneugeba/cflags

Add -fno-stack-protector to CFLAGS

Add -fno-stack-protector to CFLAGS

When compiling ebpf programs on Alpine Linux the compiler throws the following
error:

LLVM ERROR: Cannot select: 0x56049b79dcb0: ch,glue = BPFISD::CALL 0x56049a93ad60, TargetExternalSymbol:i64'__stack_chk_fail'
  0x56049b391500: i64 = TargetExternalSymbol'__stack_chk_fail'
    In function: waker

Disabling the stack protector explicitly with '-fno-stack-protector'
fixes this error.

clang version 3.8.1 (tags/RELEASE_381/final)
Target: x86_64-alpine-linux-musl
Thread model: posix
InstalledDir: /usr/bin

Signed-off-by: Rolf Neugebauer <rolf.neugebauer@docker.com>

Merge pull request #882 from mvbpolito/master

add missing inclusion guards in bcc/proto.h

Merge branch 'master' into master

Merge pull request #886 from iovisor/llvm_40_fixes

Fixes for LLVM 4.0 and python3

Fixes for LLVM 4.0 and python3

Avoid conflicting [no]inline attributes in function annotation. This was
probably always there but now 4.0 is treating this as an error.
Also, explicitly inline several functions in helpers.h.

Turn off unwind tables in the flags passed to clang. This was generating
calls to the elf relocator, which doesn't work for the BPF target. It is
unclear which change in LLVM 4.0 altered this behavior.

On python3, handle byte strings in the usual way for supporting
backwards compatibility.

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

snapcraft.yaml: fix typo in ttysnoop wrapper

fix stupid typo in wrapper: ttysnop -> ttysnoop

Signed-off-by: Colin Ian King <colin.king@canonical.com>

snapcraft: add cpuunclaimed to snapcraft wrapper rules

Signed-off-by: Colin Ian King <colin.king@canonical.com>

Merge pull request #878 from iovisor/compat-4.10-update

Update [virtual_]bpf.h to 4.10

add missing inclusion guards in bcc/proto.h

Signed-off-by: Mauricio Vasquez B <mauricio.vasquez@polito.it>

Use compat bpf_common.h for local clang build

Only the virtual_bpf.h should point to the installed kernel headers.

Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Update [virtual_]bpf.h to 4.10

As is occassionally necessary, we need to update the compat header
files for new kernels. This picks up the bpf.h from 4.10rc1.

Fixes: #877
Signed-off-by: Brenden Blanco <bblanco@gmail.com>

Merge pull request #874 from pchaigno/fix-var

Fix variable names in exceptions

Fix variable name

Merge pull request #870 from brendangregg/master

add cpuunclaimed

fix comment in runqlen

add cpuunclaimed

Merge pull request #835 from ColinIanKing/master

Add snapcraft script to package up bcc as a snap

Merge pull request #867 from shodoco/extern

Don't close extern table when a module destructs

fix company copyright

Merge pull request #868 from shodoco/pin

add bpf_obj_pin/bpf_obj_get to pin/get bpf objects

add bpf_obj_pin/bpf_obj_get to pin/get bpf objects

do not close extern table when a module destructs

add table type to shared tables

Merge pull request #863 from shodoco/master

support macro in call arguments

Merge branch 'master' into master

Merge pull request #865 from goldshtn/trace-timestamp

trace: -L, -t, -T switches

Merge pull request #774 from goldshtn/usdt-tools

USDT tools for higher level languages

trace: -L, -t, -T switches

The `-t` switch for specifying a thread id has been renamed
to `-L`. The `-T` switch specifies that a time column should
be provided, whereas the `-t` switch requests a relative
timestamp (from the beginning of the trace). This is more
consistent with other tools, and lets the user choose the
desired format for the time column, if any.

uobjnew: Remove -l switch from examples

uobjnew: Attach uprobe only to the requested process

When C allocations are traced, attach the `malloc`
uprobe only to the requested process -- otherwise, we
get allocation information from the entire system.

README: Add u* tools based on USDT probes

uflow: Add man page and companion examples file

uthreads: Add man page and companion examples file

uobjnew: Add man page and companion examples file

ugc: Add man page and companion examples file

ucalls: Add man page and companion examples file

ustat: Add man page and companion example file

ustat: Graceful error handling

If the process in question doesn't have the USDT probes we
expect, handle the failure gracefully. After all, it could
be a binary compiled without USDT support, the pid could be
recycled to some other application, or -- the process name
could match, but by accident, and really belong to some
other runtime.

ustat: Replace \0 with spaces in cmdline

The /proc/PID/cmdline file has \0 for spaces in the command
line, and there may be trailing \0 characters as well.
Replace them all with spaces.

uflow: Trace method execution flow

This tool traces method executions and prints out messages
with a nesting depth indicator that allows relatively easy
visualization of program flow. To reduce overhead, `-C` and
`-M` switches take class and method prefixes to filter the
output by. The filtering takes place in the BPF program, so
the unnecessary data never ends up in user space.

Usage examples:

```
uflow java 185
uflow -M index python 180
uflow -C 'IRB::Irb' ruby 10041
```

ustat: Change 'count' argument type to int

ustat: Sort by pid if no other sort column provided

tools: Add block comments to u* scripts

ustat: Activity stats from high-level languages

This tool gathers statistics (by pid) on method calls,
class loads, garbage collections, thread creations, object
allocations, and exceptions raised and prints them in a
top-like style. Supported languages currently include
Java, Python, Ruby, and Node. Not all languages provide
the necessary probes for all event types.

Usage examples:

```
ustat -C
ustat -l java 1
ustat -l ruby -S objnew
```

python: Expose active probes from USDT object

Allow callers to obtain the list of active (enabled) USDT
probes from the USDT object, if they need to enable the
uprobes by hand without using the bcc attach support. This
is required when the same uprobe needs to be enabled in
more than one process.

python: Do not call USDT.get_text() twice

uobjnew: Summarize object allocations

Use various USDT probes in Java and Ruby, and `malloc()`
uprobe in C, to summarize object allocations by type or
by size. Print statistics at the end or at intervals, with
optional trimming of top types by number of instances
allocated or number of bytes.

ucalls: TODO reminder to probe C methods

ugc: Fix order of arguments in usage comment

uthreads: Add pthread support

Trace `pthread_start` calls and get the symbol for the
newly-started thread for printing. Also allow no-Java runs
with no language specified for pthread-only tracing.

uthreads: Trace thread creation/destruction events

`uthreads` attaches to thread start and stop USDT probes
and traces out thread creation and destruction events.
Currently, only Java is supported.

ucalls: Trace syscalls

Add `-S` switch for tracing syscalls with or without high-
level language method calls. When `-S` is provided, attach
to all `sys_` and `SyS_` entry points in the kernel and
trace the number of calls and execution latency (if `-L`
was also specified).

This is now also a useful general-purpose tool for syscall
count/latency summarizing when a language is not specified.

ugc: Node support

Add Node support for gc__start and gc__done probes, which
includes GC type flag parsing.

tools: Script skeletons

Skeletons for method flow, object allocations, general
event statistics, and thread statistics.

ugc: Add description messages for GC events

For runtimes that make it available, we now extract GC
event information such as heap sizes and print this
information in addition to the GC duration and timestamp.

ugc: Monitor GC events in high-level languages

`ugc` monitors GC start and end events in Java, Python,
and Ruby, printing out a message when a GC cycle completes
along with the duration of the GC and an optional
additional description that depends on the target language.

NOTE: This WIP does not have any interesting additional
descriptions yet.

Usage example:

```
ugc java 1448 # monitor Java GCs in process 1448
```

ucalls: Summarize method calls with USDT

`ucalls` is a new tool that uses the USDT probes in high-
level languages (Java, Python, Ruby) to summarize the
number of method calls and optionally their latency. This
is similar to `funccount` and `funclatency` but for methods
in Java, Python, Ruby, and other languages that might have
USDT probes for method entry and exit.

`ucalls` uses the `method__entry` and `method__return`
probes in Java and Ruby, and the `function__entry` and
`function__return` probes in Python. The Python probes are
not as accurate because they do not report the class name,
but are still useful.

The optional `-L` switch indicates whether latency numbers
are required. By default, only the number of calls to each
method is printed. The `-T` switch filters out the top
methods (by number of calls or total latency).

support macro in call arguments

Merge pull request #862 from palmtenor/cppusdt

Add USDT support to C++ API

Example of using USDT

Add USDT support to C++ API