Merge pull request #123 from iovisor/bblanco_dev

Fix recursive loop in parsing pointer to self struct

Fix recursive loop in parsing pointer to self struct

Issue occurs in the description visitor class, when the struct used in a
map key is a pointer to self, as in:

struct node;
struct node {
  struct node *next;
};

Avoid this in the desc by using "unsigned long long" for all pointers.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #122 from iovisor/yhs_dev2

Fixing more ctrl-c problem

Merge pull request #121 from iovisor/weichunc_dev

add connectivity validation in distributed bridge examples

Merge pull request #120 from iovisor/yhs_dev

Add one line desc output for simple_tc

add connectivity validation in distributed bridge examples

Signed-off-by: Wei-Chun Chao <weichunc@plumgrid.com>

Fixing more ctrl-c problem

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

print out simple_tc success at the end of test

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Add one line desc output for simple_tc

  o Also suggest task_switch.py to try with libbcc package

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #119 from iovisor/bblanco_dev

Patch series: reorganize bpf_module and add sscanf feature for fuse

Cleanup some flags left on during development

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add update_table API: accepts sscanf style strings and populates a map

This is the culmination of the previous patches. It adds an api that can
input map data in a string format, but validating the numbers and
locations of data fields. The use case is for fuse file input/output. A
printf api may follow.

Take the table with key/leaf of:
  struct Key { int a; int b; };
  struct Leaf { int a; int b; int c; struct SubLeaf { int x; int y; } s; };

One would input to this table using:
  update_table(table_name, "{1 2}", "{1 2 -3 {9 0xa}}");

The implementation uses a JITed function for each unique type, that is
invoked to run sscanf on behalf of the caller. The input must have the
exact right number of arguments. Bit fields are supported, but the
caller must be aware of the collapse of those bitfields into an aligned
field, as well as endianness.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Convert bpf_module structures to use vector instead of map for tables

It was bothering me that a whole bunch of accesses to the tables were
based on a string hash lookup, in addition to the vectors that were kept
to convert ids to names. Switch those around, as well as the api
internally.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Remove some deprecated checks in bpf_module

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add LLVM IR based sscanf routine, to be run by the JIT

After the modules have been created, create a helper function for each
table leaf/key type.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Rename BPFTable to TableDesc

This whole project is about bpf, prefixing everything with the same
acronym is redundant.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Extract table types from B programs as well

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add framework to support map string reader (fuse feature)

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #118 from iovisor/bblanco_dev

Add cmake checks for required test programs

Change wording to "Recommended"

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add cmake checks for required test programs

Set as warning, since the build will still work fine and be able to
create a binary package.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #117 from iovisor/bblanco_dev

Move helper.h prototype for tail call into 4.2 section

Move helper.h prototype for tail call into 4.2 section

With #115, bpf_tail_call was incorrectly disabled in 4.2 builds.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #116 from iovisor/bblanco_dev

Add INSTALL.md instructions for using Ubuntu binary build

Add INSTALL.md instructions for using Ubuntu binary build

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #115 from iovisor/bblanco_dev

Flags for 4.3 were accidentally committed, revert

Flags for 4.3 were accidentally committed, revert

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #114 from iovisor/weichunc_dev

release IPDB in host ns early

release IPDB in host ns early

We need it for setting vxlan flow based flags currently. Release
it once the interfaces are set up. This does not help Ctrl-C on
main.py though.

Signed-off-by: Wei-Chun Chao <weichunc@plumgrid.com>

Merge pull request #113 from iovisor/bblanco_dev

Suggest Release and add X86 target in readme

Suggest Release and add X86 target in readme

The default CMAKE_BUILD_TYPE is Debug when cloning from git, suggest
Release instead.

Also, there are some worrisome warnings during cmake when X86 target is
omitted. Additionally, I may want X86 target support for a future
feature, so lets suggest it here.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #112 from iovisor/weichunc_dev

llvm 3.7+ deb is broken

llvm 3.7+ deb is broken

https://llvm.org/bugs/show_bug.cgi?id=24154

Build from source until it's resolved. Another plan is to provide
binary package.

Signed-off-by: Wei-Chun Chao <weichunc@plumgrid.com>

Merge pull request #110 from iovisor/yhs_dev

better clean up of created namespace/interfaces if ctrl-c is pressed

Merge pull request #111 from iovisor/weichunc_dev

fix tunnel_mesh.py

fix tunnel_mesh.py

The IP assignment was wrong.

Signed-off-by: Wei-Chun Chao <weichunc@plumgrid.com>

better clean up of created namespace/interfaces if ctrl-c is pressed

  o There are still some cases when ctrl-c is pressed, the program does not exit
    gracefully, with a however lower probability. In my random manual experiments,
    one in ten cases it still hangs and needs further ctrl-z.

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #107 from iovisor/bblanco_dev

Reorganize bpf_module into multiple frontend implementations

Merge pull request #106 from tuxology/master

Add project logo and source files

Move rest of frontend implementation into subdirs

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add project logo and source files

The logo contains elements which are in public domain. The gear
has been modified from illustration submitted by 'hank0071' on
OpenClipart and the font used is Open Sans. There seems to be no
restriction on commercial use.

Signed-off-by: Suchakra Sharma <suchakrapani.sharma@polymtl.ca>

Move (some) frontend specific logic to the respective directories

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Move frontends into individual directories

Other commits to follow with cleanup of the code itself.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #105 from iovisor/bblanco_dev

Enable memory cleanup in Clang, otherwise 500KB lost per compile

Enable memory cleanup in Clang, otherwise 500KB lost per compile

Since it is meant for the command line, clang ships with no memory
cleanup. We intend to run as a long-lived process, so enable that
cleanup. Valgrind now reports only trivial (and non-increasing over
time) memory leaks.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #102 from iovisor/bblanco_dev

Add version check for functions only in >= 4.3 kernel

Merge pull request #104 from iovisor/bcc_export

Add pkg-config support and include compat/linux* in packaging

Add pkg-config support and include compat/linux* in packaging

Different kernel header versions has been a continuing source of pain.
Though I don't prefer this approach, it seems the most reliable way to
get a build (for the time being) is to bundle the linux/bpf*.h in a
compat directory in the target install location.

To get visibility into that compat directory from another library, one
will need to rely on pkg-config --cflags argument to pull in that compat
directory.

Future work will be to avoid bundling the compat directory if the
version of linux-libc-dev is high enough, or if the presence of the
result of 'make headers_install' from the running kernel can be
detected.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add version check for functions only in >= 4.3 kernel

Addresses issue #100

Note to developers working off of net-next: you will need to locally
disable this patch to make use of the new features.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #99 from iovisor/weichunc_dev

Assign ip address to br

Assign ip address to br

Signed-off-by: Wei-Chun Chao <weichunc@plumgrid.com>

Merge pull request #98 from iovisor/ast_dev

fix incorrect DataLayout

fix incorrect DataLayout

Signed-off-by: Alexei Starovoitov <ast@plumgrid.com>

Merge pull request #97 from iovisor/ast_dev

update tunnel_key prototypes

update tunnel_key prototypes

Signed-off-by: Alexei Starovoitov <ast@plumgrid.com>

Merge pull request #96 from iovisor/bblanco_dev

Add option for custom log string to bpf_prog_load

Add option for custom log string to bpf_prog_load

bpf_prog_load was unconditionally printing the error from the kernel to
stderr. If libbpf is used in a library, that library may want to collect
the error to a custom location (a logfile). So, provide an option to
store the string elsewhere than stderr.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #95 from iovisor/yhs_dev

import "input" from "builtins" for python v2/v3 compatibility

import "input" from "builtins" for python v2/v3 compatibility

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #94 from iovisor/weichunc_dev

full mesh vxlan example without multicast

full mesh vxlan example without multicast

Run 'sudo python ./main.py mesh'

Signed-off-by: Wei-Chun Chao <weichunc@plumgrid.com>

Merge pull request #93 from iovisor/dist_bridge

Dist bridge

Add distributed bridge example, using vxlan mcast

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add bpf_tunnel_info and helpers

* Update compat.h
* Move bpf_clone_redirect to signed int, matching the implementation.
  This allows error codes to be compared to < 0.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #92 from iovisor/bblanco_dev

Add index-based function references to c api

Include libbpf.h in some places, cleanup constants

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add #define for ".bpf.fn."

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add index-based function references to c api

* Add the index based API so that an external api (bcc-fuse) can iterate
  through the maps and functions that were compiled in this program.
* Add a more unique section prefix to disambiguate exportable functions.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #91 from iovisor/bcc_export

Include bcc headers in /usr/include

Kill wrapper .h, add #include to libbpf.h

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Include bcc headers in /usr/include

* Add wrapper bcc.h to include dependencies
* Add text bpf_module_create_* to list of exports

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #90 from iovisor/yhs_dev

simply vlan_learning example with newer vlan_push/pop helpers

update ifindex/vlan info unconditionally in the map in vlan_learning example

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

simply vlan_learning example with newer vlan_push/pop helpers

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #89 from iovisor/quick_fix

Cache function handles in BPF class

Cache function handles in BPF class

* This means repeated calls to get_func() are now allowed

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #87 from iovisor/yhs_dev

use running linux version number for feature availability checking

use better error reporting interface

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

add error checking/reporting in case that maps/prog is not supported

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

use running linux version number for feature availability checking

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #85 from iovisor/bblanco_dev

Change to simulator arguments for readability

Restore disable_ipv6 of out_ifc in simulation.py

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Change to simulator arguments for readability

* Let one argument be optional
* Disable ipv6 for whole namespace once
* Python 2/3 compatibility fix

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #84 from iovisor/bblanco_dev

Bugfix for simulation.py

Bugfix for simulation.py

* Ignore exceptions and continue cleanup of dead children
* Set loopback interface up

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #83 from iovisor/yhs_dev

Yhs dev

do not demonize iperf server and netserver

  o This way, process kill happens correctly.

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

explicit kill deamon "iperf" and "netserver" in namespace

   o sometimes, NSPipe kill may not really kill the process
   o with the explicit kill, remove the cleanup for outer veth's
     associated with namespace

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

add required parameter ifc_name for additional ifc adding to ns

    o make some long lines in python codes shorter
    o use python style unused variable name "_"

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

rewrite test_brb/test_brb2 python binding with pyroute2

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

fix and improve test brb/brb2

   o disable ipv6 for newly-created net devices to avoid unaccountable pkt counting
   o explicitly enable ip_forward in router namespace
   o proper cleanup in case of validation failure
   o in test_brb, use different tc_index to differentiate the packet source (pem or router_ns)
   o change bpf program return value to 1 so that the packet will be dropped instead of being
     passed up to the stack

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #82 from iovisor/bblanco_dev

Update README.md examples and INSTALL.md

Update README.md examples and INSTALL.md

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #81 from iovisor/bblanco_dev

Update README with install info, few cleanups

Fix newlines in README

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Update README with install info, few cleanups

* Add some examples to package
* Fix bpf_trace_printk bug not supporting 0 format args
* Make src_file arg loading a little bit more intelligent in BPF()
* Update README with Hello, World step-by-step

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #80 from iovisor/bblanco_dev

Add multiple build support styles

Add multiple build support styles

* Add RPM and DEB packaging targets (using CPack from CMake) to build
  binary packages for Fedora and Ubuntu targets.
* Add Docker build scripts for each of the above that run the build in
  the right environment (assuming docker is available).
 - In Ubuntu, build against the LLVM 3.7 nightly snapshots
 - In Fedora, build against LLVM 3.7 from git (takes longer)
* Depending on packages installed on the build machine, it may be
  possible to cross-package for other targets without invoking Docker.
* Re-introduce src/cc/compat directory to keep the build stable for the
  time being. Similarly, it was necessary to #define some ugly constants
  that should eventually show up in libc.
* Add a few simple version checks to allow a partially working (really
  tracing only) libbcc in 4.1 kernels.

TODO (followup commit): Re-work the READMEs

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

WIP: rpm packaging

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Update libvirt script to use fedora22

* Install into lib64 instead of lib
* Pull 4.2 kernel from rawhide instead of building it

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>