Merge pull request #116 from iovisor/bblanco_dev

Add INSTALL.md instructions for using Ubuntu binary build

Add INSTALL.md instructions for using Ubuntu binary build

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #115 from iovisor/bblanco_dev

Flags for 4.3 were accidentally committed, revert

Flags for 4.3 were accidentally committed, revert

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #114 from iovisor/weichunc_dev

release IPDB in host ns early

release IPDB in host ns early

We need it for setting vxlan flow based flags currently. Release
it once the interfaces are set up. This does not help Ctrl-C on
main.py though.

Signed-off-by: Wei-Chun Chao <weichunc@plumgrid.com>

Merge pull request #113 from iovisor/bblanco_dev

Suggest Release and add X86 target in readme

Suggest Release and add X86 target in readme

The default CMAKE_BUILD_TYPE is Debug when cloning from git, suggest
Release instead.

Also, there are some worrisome warnings during cmake when X86 target is
omitted. Additionally, I may want X86 target support for a future
feature, so lets suggest it here.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #112 from iovisor/weichunc_dev

llvm 3.7+ deb is broken

llvm 3.7+ deb is broken

https://llvm.org/bugs/show_bug.cgi?id=24154

Build from source until it's resolved. Another plan is to provide
binary package.

Signed-off-by: Wei-Chun Chao <weichunc@plumgrid.com>

Merge pull request #110 from iovisor/yhs_dev

better clean up of created namespace/interfaces if ctrl-c is pressed

Merge pull request #111 from iovisor/weichunc_dev

fix tunnel_mesh.py

fix tunnel_mesh.py

The IP assignment was wrong.

Signed-off-by: Wei-Chun Chao <weichunc@plumgrid.com>

better clean up of created namespace/interfaces if ctrl-c is pressed

  o There are still some cases when ctrl-c is pressed, the program does not exit
    gracefully, with a however lower probability. In my random manual experiments,
    one in ten cases it still hangs and needs further ctrl-z.

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #107 from iovisor/bblanco_dev

Reorganize bpf_module into multiple frontend implementations

Merge pull request #106 from tuxology/master

Add project logo and source files

Move rest of frontend implementation into subdirs

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add project logo and source files

The logo contains elements which are in public domain. The gear
has been modified from illustration submitted by 'hank0071' on
OpenClipart and the font used is Open Sans. There seems to be no
restriction on commercial use.

Signed-off-by: Suchakra Sharma <suchakrapani.sharma@polymtl.ca>

Move (some) frontend specific logic to the respective directories

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Move frontends into individual directories

Other commits to follow with cleanup of the code itself.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #105 from iovisor/bblanco_dev

Enable memory cleanup in Clang, otherwise 500KB lost per compile

Enable memory cleanup in Clang, otherwise 500KB lost per compile

Since it is meant for the command line, clang ships with no memory
cleanup. We intend to run as a long-lived process, so enable that
cleanup. Valgrind now reports only trivial (and non-increasing over
time) memory leaks.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #102 from iovisor/bblanco_dev

Add version check for functions only in >= 4.3 kernel

Merge pull request #104 from iovisor/bcc_export

Add pkg-config support and include compat/linux* in packaging

Add pkg-config support and include compat/linux* in packaging

Different kernel header versions has been a continuing source of pain.
Though I don't prefer this approach, it seems the most reliable way to
get a build (for the time being) is to bundle the linux/bpf*.h in a
compat directory in the target install location.

To get visibility into that compat directory from another library, one
will need to rely on pkg-config --cflags argument to pull in that compat
directory.

Future work will be to avoid bundling the compat directory if the
version of linux-libc-dev is high enough, or if the presence of the
result of 'make headers_install' from the running kernel can be
detected.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add version check for functions only in >= 4.3 kernel

Addresses issue #100

Note to developers working off of net-next: you will need to locally
disable this patch to make use of the new features.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #99 from iovisor/weichunc_dev

Assign ip address to br

Assign ip address to br

Signed-off-by: Wei-Chun Chao <weichunc@plumgrid.com>

Merge pull request #98 from iovisor/ast_dev

fix incorrect DataLayout

fix incorrect DataLayout

Signed-off-by: Alexei Starovoitov <ast@plumgrid.com>

Merge pull request #97 from iovisor/ast_dev

update tunnel_key prototypes

update tunnel_key prototypes

Signed-off-by: Alexei Starovoitov <ast@plumgrid.com>

Merge pull request #96 from iovisor/bblanco_dev

Add option for custom log string to bpf_prog_load

Add option for custom log string to bpf_prog_load

bpf_prog_load was unconditionally printing the error from the kernel to
stderr. If libbpf is used in a library, that library may want to collect
the error to a custom location (a logfile). So, provide an option to
store the string elsewhere than stderr.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #95 from iovisor/yhs_dev

import "input" from "builtins" for python v2/v3 compatibility

import "input" from "builtins" for python v2/v3 compatibility

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #94 from iovisor/weichunc_dev

full mesh vxlan example without multicast

full mesh vxlan example without multicast

Run 'sudo python ./main.py mesh'

Signed-off-by: Wei-Chun Chao <weichunc@plumgrid.com>

Merge pull request #93 from iovisor/dist_bridge

Dist bridge

Add distributed bridge example, using vxlan mcast

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add bpf_tunnel_info and helpers

* Update compat.h
* Move bpf_clone_redirect to signed int, matching the implementation.
  This allows error codes to be compared to < 0.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #92 from iovisor/bblanco_dev

Add index-based function references to c api

Include libbpf.h in some places, cleanup constants

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add #define for ".bpf.fn."

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add index-based function references to c api

* Add the index based API so that an external api (bcc-fuse) can iterate
  through the maps and functions that were compiled in this program.
* Add a more unique section prefix to disambiguate exportable functions.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #91 from iovisor/bcc_export

Include bcc headers in /usr/include

Kill wrapper .h, add #include to libbpf.h

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Include bcc headers in /usr/include

* Add wrapper bcc.h to include dependencies
* Add text bpf_module_create_* to list of exports

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #90 from iovisor/yhs_dev

simply vlan_learning example with newer vlan_push/pop helpers

update ifindex/vlan info unconditionally in the map in vlan_learning example

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

simply vlan_learning example with newer vlan_push/pop helpers

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #89 from iovisor/quick_fix

Cache function handles in BPF class

Cache function handles in BPF class

* This means repeated calls to get_func() are now allowed

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #87 from iovisor/yhs_dev

use running linux version number for feature availability checking

use better error reporting interface

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

add error checking/reporting in case that maps/prog is not supported

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

use running linux version number for feature availability checking

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #85 from iovisor/bblanco_dev

Change to simulator arguments for readability

Restore disable_ipv6 of out_ifc in simulation.py

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Change to simulator arguments for readability

* Let one argument be optional
* Disable ipv6 for whole namespace once
* Python 2/3 compatibility fix

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #84 from iovisor/bblanco_dev

Bugfix for simulation.py

Bugfix for simulation.py

* Ignore exceptions and continue cleanup of dead children
* Set loopback interface up

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #83 from iovisor/yhs_dev

Yhs dev

do not demonize iperf server and netserver

  o This way, process kill happens correctly.

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

explicit kill deamon "iperf" and "netserver" in namespace

   o sometimes, NSPipe kill may not really kill the process
   o with the explicit kill, remove the cleanup for outer veth's
     associated with namespace

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

add required parameter ifc_name for additional ifc adding to ns

    o make some long lines in python codes shorter
    o use python style unused variable name "_"

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

rewrite test_brb/test_brb2 python binding with pyroute2

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

fix and improve test brb/brb2

   o disable ipv6 for newly-created net devices to avoid unaccountable pkt counting
   o explicitly enable ip_forward in router namespace
   o proper cleanup in case of validation failure
   o in test_brb, use different tc_index to differentiate the packet source (pem or router_ns)
   o change bpf program return value to 1 so that the packet will be dropped instead of being
     passed up to the stack

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #82 from iovisor/bblanco_dev

Update README.md examples and INSTALL.md

Update README.md examples and INSTALL.md

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #81 from iovisor/bblanco_dev

Update README with install info, few cleanups

Fix newlines in README

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Update README with install info, few cleanups

* Add some examples to package
* Fix bpf_trace_printk bug not supporting 0 format args
* Make src_file arg loading a little bit more intelligent in BPF()
* Update README with Hello, World step-by-step

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #80 from iovisor/bblanco_dev

Add multiple build support styles

Add multiple build support styles

* Add RPM and DEB packaging targets (using CPack from CMake) to build
  binary packages for Fedora and Ubuntu targets.
* Add Docker build scripts for each of the above that run the build in
  the right environment (assuming docker is available).
 - In Ubuntu, build against the LLVM 3.7 nightly snapshots
 - In Fedora, build against LLVM 3.7 from git (takes longer)
* Depending on packages installed on the build machine, it may be
  possible to cross-package for other targets without invoking Docker.
* Re-introduce src/cc/compat directory to keep the build stable for the
  time being. Similarly, it was necessary to #define some ugly constants
  that should eventually show up in libc.
* Add a few simple version checks to allow a partially working (really
  tracing only) libbcc in 4.1 kernels.

TODO (followup commit): Re-work the READMEs

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

WIP: rpm packaging

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Update libvirt script to use fedora22

* Install into lib64 instead of lib
* Pull 4.2 kernel from rawhide instead of building it

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #78 from iovisor/bblanco_dev

Drop PROTO macro syntax and introduce alternative

Update missing monitor.c to use cursor_advance

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Drop PROTO macro syntax and introduce alternative

* Feedback given by some external users was that the PROTO syntax was
  opaque and unintuitive. As such, drop that macro and introduce an
  alternative syntax.
* Convert all to use 'cursor_advance' macro API

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #77 from iovisor/bblanco_dev

Automate bpf_probe_read

Automate bpf_probe_read

* Rewrite accesses to args beyond the first to use bpf_probe_read
 - Support struct access
 - Support POD type accesses

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #76 from iovisor/bblanco_dev

Clean some brittle parts of clang rewriter

Clean some brittle parts of clang rewriter

* Rewrites of text inside of a macro (even if just the arguments) is not
  support by clang. Convert macro definitions to pure rewrites instead.
* For packet field access, no longer require 'skb' named
  argument...instead, learn it from the function parameter list.
* Add a complex test case...supposedly this should have failed issue
  #10, but the C version does not exhibit the same failure as the B
  version.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #75 from iovisor/bblanco_dev

Make tunnel example more user friendly

Make tunnel example more user friendly

* Move files to separate directory
* Add README
* Run http server automatically from main.py
* Add setup.sh script to automate dependencies

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #74 from iovisor/yhs_dev

use new get_table interface to avoid specify key/leaf type in py code

Merge pull request #73 from iovisor/bblanco_dev

Add vxlan tunnel monitoring example

use new get_table interface to avoid specify key/leaf type in py code

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #72 from iovisor/yhs_dev

use "raw_input" instead "input" to avoid python 2.7 exception

use builtins.input for backward/forward compability

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

use "raw_input" instead "input" to avoid python 2.7 exception

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Add vxlan tunnel monitoring example

* Example simulates many vxlan hosts ("hypervisors") with multiple clients per
  host. Some clients will be sending traffic to another client on a different
  host.
* Add vxlan header to proto.h
* Remove unused import line in vlan_learning
* NOTE: to display this demo, it is required to checkout the chord graph demo
  from https://github.com/drzaeus77/chord-transitions.git.
  Follow the instructions in that repo to get a simple http server up and
  running.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #71 from iovisor/bblanco_dev

Rework vlan example to be 1:1, no mac learning

Merge pull request #70 from iovisor/ast_dev

example that shows usages of maps, probe_read, get_current_pid helpers

example that shows usages of maps, probe_read, get_current_pid helpers

$ ./task_switch.py

task_switch[ 2379->    0]=4
task_switch[ 3914->    0]=2
task_switch[ 3133->    0]=5
task_switch[10903->    0]=100  <-- 100 times python process switched into idle
task_switch[  116->    0]=1
task_switch[    0->   14]=1
task_switch[10803->    0]=1
task_switch[22292->    0]=1
task_switch[    0->22292]=1
task_switch[    0->10803]=1
task_switch[   30->    0]=1
task_switch[    0->10903]=100  <-- 100 times back into python

Signed-off-by: Alexei Starovoitov <ast@plumgrid.com>

Rework vlan example to be 1:1, no mac learning

* Use ifindex instead of src_mac to program egress table
* Remove the static arp programming
* Get the example to work in python2

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #69 from iovisor/bblanco_dev

Move shared example code into simulation.py

Move shared example code into simulation.py

* Create a class for the examples to share, helps with IPDB cleanup and
  namespace creation.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #68 from iovisor/bblanco_dev

Remove update() call from vlan example