Merge pull request #83 from iovisor/yhs_dev

Yhs dev

do not demonize iperf server and netserver

  o This way, process kill happens correctly.

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

explicit kill deamon "iperf" and "netserver" in namespace

   o sometimes, NSPipe kill may not really kill the process
   o with the explicit kill, remove the cleanup for outer veth's
     associated with namespace

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

add required parameter ifc_name for additional ifc adding to ns

    o make some long lines in python codes shorter
    o use python style unused variable name "_"

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

rewrite test_brb/test_brb2 python binding with pyroute2

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

fix and improve test brb/brb2

   o disable ipv6 for newly-created net devices to avoid unaccountable pkt counting
   o explicitly enable ip_forward in router namespace
   o proper cleanup in case of validation failure
   o in test_brb, use different tc_index to differentiate the packet source (pem or router_ns)
   o change bpf program return value to 1 so that the packet will be dropped instead of being
     passed up to the stack

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #82 from iovisor/bblanco_dev

Update README.md examples and INSTALL.md

Update README.md examples and INSTALL.md

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #81 from iovisor/bblanco_dev

Update README with install info, few cleanups

Fix newlines in README

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Update README with install info, few cleanups

* Add some examples to package
* Fix bpf_trace_printk bug not supporting 0 format args
* Make src_file arg loading a little bit more intelligent in BPF()
* Update README with Hello, World step-by-step

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #80 from iovisor/bblanco_dev

Add multiple build support styles

Add multiple build support styles

* Add RPM and DEB packaging targets (using CPack from CMake) to build
  binary packages for Fedora and Ubuntu targets.
* Add Docker build scripts for each of the above that run the build in
  the right environment (assuming docker is available).
 - In Ubuntu, build against the LLVM 3.7 nightly snapshots
 - In Fedora, build against LLVM 3.7 from git (takes longer)
* Depending on packages installed on the build machine, it may be
  possible to cross-package for other targets without invoking Docker.
* Re-introduce src/cc/compat directory to keep the build stable for the
  time being. Similarly, it was necessary to #define some ugly constants
  that should eventually show up in libc.
* Add a few simple version checks to allow a partially working (really
  tracing only) libbcc in 4.1 kernels.

TODO (followup commit): Re-work the READMEs

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

WIP: rpm packaging

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Update libvirt script to use fedora22

* Install into lib64 instead of lib
* Pull 4.2 kernel from rawhide instead of building it

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #78 from iovisor/bblanco_dev

Drop PROTO macro syntax and introduce alternative

Update missing monitor.c to use cursor_advance

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Drop PROTO macro syntax and introduce alternative

* Feedback given by some external users was that the PROTO syntax was
  opaque and unintuitive. As such, drop that macro and introduce an
  alternative syntax.
* Convert all to use 'cursor_advance' macro API

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #77 from iovisor/bblanco_dev

Automate bpf_probe_read

Automate bpf_probe_read

* Rewrite accesses to args beyond the first to use bpf_probe_read
 - Support struct access
 - Support POD type accesses

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #76 from iovisor/bblanco_dev

Clean some brittle parts of clang rewriter

Clean some brittle parts of clang rewriter

* Rewrites of text inside of a macro (even if just the arguments) is not
  support by clang. Convert macro definitions to pure rewrites instead.
* For packet field access, no longer require 'skb' named
  argument...instead, learn it from the function parameter list.
* Add a complex test case...supposedly this should have failed issue
  #10, but the C version does not exhibit the same failure as the B
  version.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #75 from iovisor/bblanco_dev

Make tunnel example more user friendly

Make tunnel example more user friendly

* Move files to separate directory
* Add README
* Run http server automatically from main.py
* Add setup.sh script to automate dependencies

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #74 from iovisor/yhs_dev

use new get_table interface to avoid specify key/leaf type in py code

Merge pull request #73 from iovisor/bblanco_dev

Add vxlan tunnel monitoring example

use new get_table interface to avoid specify key/leaf type in py code

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #72 from iovisor/yhs_dev

use "raw_input" instead "input" to avoid python 2.7 exception

use builtins.input for backward/forward compability

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

use "raw_input" instead "input" to avoid python 2.7 exception

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Add vxlan tunnel monitoring example

* Example simulates many vxlan hosts ("hypervisors") with multiple clients per
  host. Some clients will be sending traffic to another client on a different
  host.
* Add vxlan header to proto.h
* Remove unused import line in vlan_learning
* NOTE: to display this demo, it is required to checkout the chord graph demo
  from https://github.com/drzaeus77/chord-transitions.git.
  Follow the instructions in that repo to get a simple http server up and
  running.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #71 from iovisor/bblanco_dev

Rework vlan example to be 1:1, no mac learning

Merge pull request #70 from iovisor/ast_dev

example that shows usages of maps, probe_read, get_current_pid helpers

example that shows usages of maps, probe_read, get_current_pid helpers

$ ./task_switch.py

task_switch[ 2379->    0]=4
task_switch[ 3914->    0]=2
task_switch[ 3133->    0]=5
task_switch[10903->    0]=100  <-- 100 times python process switched into idle
task_switch[  116->    0]=1
task_switch[    0->   14]=1
task_switch[10803->    0]=1
task_switch[22292->    0]=1
task_switch[    0->22292]=1
task_switch[    0->10803]=1
task_switch[   30->    0]=1
task_switch[    0->10903]=100  <-- 100 times back into python

Signed-off-by: Alexei Starovoitov <ast@plumgrid.com>

Rework vlan example to be 1:1, no mac learning

* Use ifindex instead of src_mac to program egress table
* Remove the static arp programming
* Get the example to work in python2

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #69 from iovisor/bblanco_dev

Move shared example code into simulation.py

Move shared example code into simulation.py

* Create a class for the examples to share, helps with IPDB cleanup and
  namespace creation.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #68 from iovisor/bblanco_dev

Remove update() call from vlan example

Remove update() call from vlan example

* Breakage from previous commit

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #67 from iovisor/bblanco_dev

Make python table accesses more pythonic

Make python table accesses more pythonic

* Add [] support in BPF.Table class
* Remove uses of lookup/update
* Add del support

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #65 from iovisor/ast_dev

add get_current_pid/tgid/uid/gid/comm helpers

update FAQ for past.builtins

Signed-off-by: Alexei Starovoitov <ast@plumgrid.com>

add get_current_pid/tgid/uid/gid/comm helpers

Signed-off-by: Alexei Starovoitov <ast@plumgrid.com>

Merge pull request #64 from iovisor/bblanco_dev

Automatically compute sizeof in bpf_trace_printk

Automatically compute sizeof in bpf_trace_printk

* Addresses issue #61

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #63 from iovisor/bblanco_dev

Add example for BPF+tc rate limiting

Use update() instead of init() in neighbor example

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Use netperf for testing, update comments

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add example for BPF+tc rate limiting

* Adding an example to address #59, simulation of bandwidth sharing

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #62 from iovisor/bblanco_dev

Compatibility fixes and pyroute2 examples

Remove simple_ipdb example as redundant

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add simple examples for using pyroute2+tc

* simple_tc shows using just IPRoute
* simple_ipdb shows using IPDB as well, slightly more complicated
 - If the exception handling is done as shown, hangs may result
 - If only IPRoute is used, this shouldn't be the case

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Fix python2.7 compatibility breakage

* Add requirement on 'future' package to ensure backwards compatibility
 - If working in dev environment, do 'sudo pip install future'

Note: end-users installing a compiled package with pip should have
future installed as a dependency automatically.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #58 from iovisor/yhs_dev

reduce test time for test_brb and test_brb2

reduce test time for test_brb and test_brb2

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #57 from iovisor/bblanco_dev

Automatically detect key/leaf type in clang

Fix breakage in vlan_learning example

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Automatically detect key/leaf type in clang

* Parse the key and leaf types used for table definition, and pass the
  type info back into python using a json transport
* Remove the subscript operator support
* Migrate the tests that are able to drop they Key/Leaf definition. Keep
  it around for the tests that are B/C compatible

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #55 from iovisor/bblanco_dev

Cleanups for some build/compile failures

Merge pull request #56 from iovisor/test_brb-fix

Use "ip" instead of "route" command

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Fix python3 incompatible code in tests

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #54 from iovisor/yhs_dev

python commands module is removed in python 3, use subprocess

Cleanups for some build/compile failures

* Change ftw to nftw, and do depth-first tmpdir cleanup
* Scrub CROSS_COMPILE variable before kbuild_helpers

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

python commands module is removed in python 3, use subprocess

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #53 from iovisor/yhs_dev

Yhs dev

Add an FAQ entry to provide workaround for potential bpf pkg installation problem.

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

fix README to provide more clarity for potential python pkg installation issue

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #51 from iovisor/marcol_dev

Update readme and FAQs

Merge pull request #50 from iovisor/bblanco_dev

Remove the BPF_EXPORT macro, use rewriter instead

Turn off vlan_learning BPF debug

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Update FAQs to include minimal kernel instructions

Specifically, mention the step to install the kernel image, modules
and headers.

Remove the BPF_EXPORT macro, use rewriter instead

* Add a BFrontentAction to recognize any external linkage function as
  being available for export, and internally set the section attribute.
* Change bpf helpers to be static inline

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Update README with kernel headers information

Include kernel headers >=4.1 as a prerequisite.

Merge pull request #49 from iovisor/bblanco_dev

Add kprobe auto-cleanup and header fix

Add kprobe auto-cleanup and header fix

* Add bpf_detach_kprobe helper to libbpf
* Automatically invoke detach at python program exit
* Add "uapi/" to one include in helpers.h

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #48 from iovisor/yhs_dev

avoid include file linux/bpf.h in helpers.h

avoid include file linux/bpf.h in helpers.h

   o use uapi/linux/bpf.h instead
   o to be consistent with kernel/samples/bpf/

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #47 from iovisor/bblanco_dev

Add a Learning VLAN program example

Add a Learning VLAN program example

* Create a simulation of a physical network with multiple vlans, which
  can accept and distribute connections from multiple clients in
  overlapping subnets. The program will assign to a worker based on mac
  address.
* Remove a hardcoded SO_ATTACH_BPF literal, and fix one spacing

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #46 from iovisor/yhs_dev

add another bridge-router-bridge test (test_brb2)

add another bridge-router-bridge test (test_brb2)

  o router is implemented as a namespace, similar to test_brb.
  o using linux bridge to provide bridge functionality.
    In test_brb, a simple bpf program implemented limited
    bridge functionality.
  o on my local box, test_brb performance is roughly 12% better
    than test_brb2.

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #45 from iovisor/yhs_dev

use 64bit ulonglong to represent mac address

use 64bit ulonglong to represent mac address

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #44 from iovisor/yhs_dev

use ethernet->src/dst to get mac address instead of primitive load_* …

use ethernet->src/dst to get mac address instead of primitive load_* functions

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #43 from iovisor/dext-fix

Fix for >32B bpf_pkt_dext calls

Merge pull request #42 from iovisor/yhs_dev

add a bridge-router-bridge test with router implemented as a namespace

Fix for >32B bpf_pkt_dext calls

* Fix the shift which was 4 (bytes) instead of 32 (bits)
* Remove an incorrect ntoh

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

add a bridge-router-bridge test with router implemented as a namespace

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #40 from iovisor/ast_dev

start building FAQ

start building FAQ

Merge pull request #39 from iovisor/revision-fix

Omit leading 'v' from python .tar.gz revision

Omit leading 'v' from python .tar.gz revision

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #38 from iovisor/ast_dev

build without have to install llvm/clang

build without have to install llvm/clang

just update PATH to include 'llvm-config' from your local
llvm build directory.

Signed-off-by: Alexei Starovoitov <ast@plumgrid.com>

Merge pull request #37 from iovisor/quick_fix

Drop 'experimental' from README.md

Drop 'experimental' from README.md

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #36 from iovisor/install_cleanups

Make installation prefixes more realistic