Merge pull request #64 from iovisor/bblanco_dev

Automatically compute sizeof in bpf_trace_printk

Automatically compute sizeof in bpf_trace_printk

* Addresses issue #61

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #63 from iovisor/bblanco_dev

Add example for BPF+tc rate limiting

Use update() instead of init() in neighbor example

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Use netperf for testing, update comments

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add example for BPF+tc rate limiting

* Adding an example to address #59, simulation of bandwidth sharing

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #62 from iovisor/bblanco_dev

Compatibility fixes and pyroute2 examples

Remove simple_ipdb example as redundant

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Add simple examples for using pyroute2+tc

* simple_tc shows using just IPRoute
* simple_ipdb shows using IPDB as well, slightly more complicated
 - If the exception handling is done as shown, hangs may result
 - If only IPRoute is used, this shouldn't be the case

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Fix python2.7 compatibility breakage

* Add requirement on 'future' package to ensure backwards compatibility
 - If working in dev environment, do 'sudo pip install future'

Note: end-users installing a compiled package with pip should have
future installed as a dependency automatically.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #58 from iovisor/yhs_dev

reduce test time for test_brb and test_brb2

reduce test time for test_brb and test_brb2

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #57 from iovisor/bblanco_dev

Automatically detect key/leaf type in clang

Fix breakage in vlan_learning example

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Automatically detect key/leaf type in clang

* Parse the key and leaf types used for table definition, and pass the
  type info back into python using a json transport
* Remove the subscript operator support
* Migrate the tests that are able to drop they Key/Leaf definition. Keep
  it around for the tests that are B/C compatible

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #55 from iovisor/bblanco_dev

Cleanups for some build/compile failures

Merge pull request #56 from iovisor/test_brb-fix

Use "ip" instead of "route" command

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Fix python3 incompatible code in tests

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #54 from iovisor/yhs_dev

python commands module is removed in python 3, use subprocess

Cleanups for some build/compile failures

* Change ftw to nftw, and do depth-first tmpdir cleanup
* Scrub CROSS_COMPILE variable before kbuild_helpers

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

python commands module is removed in python 3, use subprocess

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #53 from iovisor/yhs_dev

Yhs dev

Add an FAQ entry to provide workaround for potential bpf pkg installation problem.

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

fix README to provide more clarity for potential python pkg installation issue

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #51 from iovisor/marcol_dev

Update readme and FAQs

Merge pull request #50 from iovisor/bblanco_dev

Remove the BPF_EXPORT macro, use rewriter instead

Turn off vlan_learning BPF debug

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Update FAQs to include minimal kernel instructions

Specifically, mention the step to install the kernel image, modules
and headers.

Remove the BPF_EXPORT macro, use rewriter instead

* Add a BFrontentAction to recognize any external linkage function as
  being available for export, and internally set the section attribute.
* Change bpf helpers to be static inline

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Update README with kernel headers information

Include kernel headers >=4.1 as a prerequisite.

Merge pull request #49 from iovisor/bblanco_dev

Add kprobe auto-cleanup and header fix

Add kprobe auto-cleanup and header fix

* Add bpf_detach_kprobe helper to libbpf
* Automatically invoke detach at python program exit
* Add "uapi/" to one include in helpers.h

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #48 from iovisor/yhs_dev

avoid include file linux/bpf.h in helpers.h

avoid include file linux/bpf.h in helpers.h

   o use uapi/linux/bpf.h instead
   o to be consistent with kernel/samples/bpf/

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #47 from iovisor/bblanco_dev

Add a Learning VLAN program example

Add a Learning VLAN program example

* Create a simulation of a physical network with multiple vlans, which
  can accept and distribute connections from multiple clients in
  overlapping subnets. The program will assign to a worker based on mac
  address.
* Remove a hardcoded SO_ATTACH_BPF literal, and fix one spacing

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #46 from iovisor/yhs_dev

add another bridge-router-bridge test (test_brb2)

add another bridge-router-bridge test (test_brb2)

  o router is implemented as a namespace, similar to test_brb.
  o using linux bridge to provide bridge functionality.
    In test_brb, a simple bpf program implemented limited
    bridge functionality.
  o on my local box, test_brb performance is roughly 12% better
    than test_brb2.

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #45 from iovisor/yhs_dev

use 64bit ulonglong to represent mac address

use 64bit ulonglong to represent mac address

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #44 from iovisor/yhs_dev

use ethernet->src/dst to get mac address instead of primitive load_* …

use ethernet->src/dst to get mac address instead of primitive load_* functions

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #43 from iovisor/dext-fix

Fix for >32B bpf_pkt_dext calls

Merge pull request #42 from iovisor/yhs_dev

add a bridge-router-bridge test with router implemented as a namespace

Fix for >32B bpf_pkt_dext calls

* Fix the shift which was 4 (bytes) instead of 32 (bits)
* Remove an incorrect ntoh

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

add a bridge-router-bridge test with router implemented as a namespace

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #40 from iovisor/ast_dev

start building FAQ

start building FAQ

Merge pull request #39 from iovisor/revision-fix

Omit leading 'v' from python .tar.gz revision

Omit leading 'v' from python .tar.gz revision

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #38 from iovisor/ast_dev

build without have to install llvm/clang

build without have to install llvm/clang

just update PATH to include 'llvm-config' from your local
llvm build directory.

Signed-off-by: Alexei Starovoitov <ast@plumgrid.com>

Merge pull request #37 from iovisor/quick_fix

Drop 'experimental' from README.md

Drop 'experimental' from README.md

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #36 from iovisor/install_cleanups

Make installation prefixes more realistic

Make installation prefixes more realistic

* Add/document cmake variables that control various installation path
  options. See README.md for examples.
* Updated README a bit
* Hide helpers.h from include requirements
* Install things to real paths in a proper way. Header files will go
  into <prefix>/share/bcc/include.
* Move the kickstart script readme to its own directory.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #34 from iovisor/ast_dev

fix build with gcc < 4.9

fix build with gcc < 4.9

Signed-off-by: Alexei Starovoitov <ast@plumgrid.com>

Merge pull request #33 from iovisor/bblanco_dev

Fix test_call1 for systems without default qdisc

Fix test_call1 for systems without default qdisc

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #32 from iovisor/bblanco_dev

Fix test_xlate1 when systems have no default tc

Fix test_xlate1 when systems have no default tc

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #31 from iovisor/bblanco_dev

Remove BPF_LL_OFF usage

Remove BPF_LL_OFF usage

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #30 from iovisor/bblanco_dev

Add python packaging for the bpf library

Add python packaging for the bpf library

* Add tagging/git support
* Reorganize bpf py lib to be more pythonic
* Add pip installable builders

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #29 from iovisor/bblanco_dev

Add simple single file example

Add simple single file example

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #28 from iovisor/bblanco_dev

Update license in source code to be Apache 2

Update license in source code to be Apache 2

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #27 from plumgrid/bblanco_dev

Convert to using pyroute2 for tc

Convert to using pyroute2 for tc

* Remove libbpf.c netlink
* Requires pyroute2 from source
 git clone https://github.com/svinota/pyroute2.git;
          cd pyroute2; sudo make install

Update: Remove references to mnl

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Create COPYRIGHT.txt

Create LICENSE.txt

Merge pull request #25 from plumgrid/bblanco_dev

Rename files and a few functions

Rename files and a few functions

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #24 from plumgrid/bblanco_dev

Add support for packet field write

Add support for packet field write

* Rewrite LValue packet dereference to bpf_dins
* Add incr_csum as a macro
* Update names of a few functions

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #23 from plumgrid/bblanco_dev

Return 0 in lookup_or_init error path

Return 0 in lookup_or_init error path

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #22 from plumgrid/bblanco_dev

Add packet read syntax to c parser

Add packet read syntax to c parser

* C macro-based state machine
* Add lookup_or_init helper routine instead of array syntax
* Recognize references to protocol headers and translate into dext call

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #21 from plumgrid/yhs_dev

Fix a python (version 2.7.3) error

Fix a python (version 2.7.3) error

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #20 from plumgrid/small_test_fix

Fix for 2 tests

Fix for 2 tests

* name needed to be right ctype
* python runtime was complaining about dangling socket fd

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #19 from plumgrid/llvm_fix

Fix for LLVM C++ api change

Fix for LLVM C++ api change

* IRBuilder::CreateCallN was deprecated, use the vector based mechanism
  for passing args instead

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #18 from plumgrid/issue16_cleanups

Address comments and add tail_call example

Address comments and add tail_call example

* Cleanup some api names and definitions
* Add <table>.call() in C api, which maps to bpf_tail_call

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #17 from plumgrid/issue16

Address some of Issue #16

Address some of Issue #16

* Introduce Function object in bpf.py
 - prog load types (kprobe, socket, etc.) are independent
 - fd is a member of each function, to be used later (e.g. tail call table)
* Allow functions to be defined inline in the .py as a text argument
* Rename BPFProgram to BPFModule, which should make more sense

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #15 from plumgrid/clang_b_lang

Add clang support to bcc

Add clang support to bcc

* Frontend options: b and modified c languages
* Tests written for both languages
* Automatic kbuild integration
* Some cleanups and files moved

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #14 from plumgrid/plumgrid/ysong_dev

fix a typo

fix a typo

Signed-off-by: Yonghong Song <yhs@plumgrid.com>

Merge pull request #11 from plumgrid/clang_dev

Use clang as a lib to parse the helper file live

Use clang as a lib to parse the helper file live

* Add clang as a library to the .so...this adds about 16M of stuff
* Compute the build flags for clang from the current kernel's header
  build tree. It generates a makefile on the fly and caches the minimal
  flags as an output.
* Followup to this would be to migrate bitops.c to be #include'd as well
  as the proto.d/kprobe.d stuff.
* For now, requires clang to be installed in /opt/local/llvm...see cmake
  files to override this.

Signed-off-by: Brenden Blanco <bblanco@plumgrid.com>

Merge pull request #9 from plumgrid/fix_issue8

Fix for Issue #8, pkt.rewrite_field