Merge pull request #429 from shelhamer/next

Next: 0.999

Back-merge changes in master

* master:
  bundle presentation in gh-pages for now...
  fix typo pointed out by @yinxusen
  note support for non-MKL installation in dev
  include pretrained snapshot and performance details
  Document AlexNet model, include download script
  define AlexNet architecture
  polished ignore

Merge pull request #311 from shelhamer/python-fixes

Improve python wrapper

update notebook examples with new wrapper usage, re-organize

preprocess single inputs instead of lists

For compositionality and expectations.

windowed detection in python

squash infuriating loop assignment bug in batching

image classification in python

fix padding for the last batch

split drawnet into module code and script

Don't run scripts in the module dir to avoid import collisions between
io and caffe.io.

add caffe.io submodule for conversions, image loading and resizing

fix python mean subtraction

Merge pull request #376 from sergeyk/layer_reorg

Layer definitions and declarations re-organization and documentation

Incorporated Evan’s comments for neuron layers

Cosmetic change in ConcatLayer

Lil’ more docstring, and cosmetic change in EuclideanLossLayer

fwd/back math docs for neuron layers

drop cute names in favor of Net.{pre,de}process() for input formatting

...and refer to inputs as inputs and not images since general vectors
and matrices are perfectly fine.

Net.caffeinate() and Net.decaffeinate() format/unformat lists

take blob args as ndarrays and assign on the python side

Take blob args and give blob returns as single ndarrays instead of lists
of arrays.

Assign the net blobs and diffs as needed on the python side, which
reduces copies and simplifies the C++ side of the wrapper.

Thanks @longjon for the suggestion.

Cosmetic change in prep for data layer work

Split all loss layers into own .cpp files

layer definition reorganization and documentation
- split out neuron, loss, and data layers into own header files
- added LossLayer class with common SetUp checks
- in-progress concise documentation of each layer's purpose

resize to input dimensions when formatting in python

replace iterator with indices for consistency

python style

fix accidental revert of Init() from f5c28581

batch inputs in python by forward_all() and forward_backward_all()

don't squeeze blob arrays for python

Preserve the non-batch dimensions of blob arrays, even for singletons.

The forward() and backward() helpers take lists of ndarrays instead of a
single ndarray per blob, and lists of ndarrays are likewise returned.

Note that for output the blob array could actually be returned as a
single ndarray instead of a list.

python forward() and backward() extract any blobs and diffs

python Net.backward() helper and Net.BackwardPrefilled()

bad forward/backward inputs throw exceptions instead of crashing python

pycaffe Net.forward() helper

Do forward pass by prefilled or packaging input + output blobs and
returning a {output blob name: output list} dict.

set input preprocessing per blob in python

expose input and output blob names to python as lists

Merge pull request #417 from shelhamer/create-and-write-proto

Write/create/truncate prototxt when saving to fix #341

fix workaround in net prototxt upgrade

Write/create/truncate prototxt when saving to fix #341

WriteProtoToTextFile now saves the prototxt whether or not the file
already exists and sets the permissions to owner read/write and group +
other read.

Thanks @beam2d and @chyh1990 for pointing out the open modes bug.

pycaffe comments, lint

add python io getters, mean helper, and image caffeinator/decaffeinator

make python wrapper mean match binaryproto dimensions

ilsvrc_2012_mean.npy has dims K x H x W.

Code written for the old D x D x K mean needs to be rewritten!

match existing python formatting

Merge pull request #414 from shelhamer/net-output-blobs

Make net know output blob indices

net knows output blobs

Merge pull request #413 from shelhamer/cublas-status-not-supported

add cublas status in cuda 6 to fix warning

add cublas status in cuda 6 to fix warning

...and #define for older CUDAs to not break the build.

Merge pull request #406 from jeffdonahue/makefile-include-bug

Fix Makefile header dependency bug

fix Makefile bug - HXX_SRCS was things that don't end in .hpp, instead
of things that do...

Merge pull request #403 from jeffdonahue/solver-mode-enum

Make solver_mode an enum: CPU or GPU

make solver_mode an enum with CPU and GPU -- fully backwards compatible
with old 0/1 style

Merge pull request #396 from longjon/math-includes

Improve includes in util/math_functions.hpp

improve includes in util/math_function.hpp

This commit removes the redundant <math.h>, and adds the necessary
<stdint.h> and <glog/logging.h>.

note bug in cifar10 full with CPU computation

bundle presentation in gh-pages for now...

...dropbox disabled our link. Actual solution: configure web server for
models and other materials soon.

Merge pull request #294 from longjon/memory-data-layer

Add a layer for in-memory data, and expose it to Python

fix lint error in syncedmem.hpp

pycaffe: allow 1d labels to be passed to set_input_arrays

pycaffe: add Net.set_input_arrays for input from numpy

This requires a net whose first layer is a MemoryDataLayer.

pycaffe: store a shared_ptr<CaffeNet> in SGDSolver

Doing this, rather than constructing the CaffeNet wrapper every time,
will allow the wrapper to hold references that last at least as long as
SGDSolver (which will be necessary to ensure that data used by
MemoryDataLayer doesn't get freed).

pycaffe: let boost pass shared_ptr<CaffeNet>

add basic tests for MemoryDataLayer

add size accessors to MemoryDataLayer

This will facilitate input size checking for pycaffe (and potentially
others).

add MemoryDataLayer for reading input from contiguous blocks of memory

add set_cpu_data to Blob and SyncedMemory

This allows a blob to be updated without copy to use already existing
memory (and will support MemoryDataLayer).

Merge pull request #378 from longjon/no-merge-duplicates

Note the last added layer/params in caffe.proto to prevent conflicts

note the last added layer/params in caffe.proto to prevent conflicts

The current scheme does not actually prevent conflicts, since three-way
merge will accept simultaneous changes that agree on the next number.
This commit fixes this by explicitly noting the last layer added.

Merge pull request #377 from sguada/fix_initial_test

Keep same format for all net testing log messages

Keep uniform test messages for all the test

rollback 8368818, does not build

Add Sublime Text project settings to gitignore

Handling CUBLAS_STATUS_NOT_SUPPORTED to suppress warning

Merge pull request #370 from shelhamer/test-net-polish

Polish test_net

fix test_net to upgrade params from v0 if needed

default test net device to 0 and log device chosen

set seed in neuron and power layer tests for deterministic results

Merge pull request #367 from shelhamer/randomize-test-order

Randomize order of test execution by `make runtest`

proofreading and trivial polish

add device id arg to test_net (fix #232)

Merge pull request #303 from longjon/hinge-loss-layer

HingeLossLayer

Merge pull request #368 from shelhamer/fix-data-layer-sequence-tests

Fix data layer sequence tests to avoid leveldb contention and lock failures

scope data layer sequence tests to avoid leveldb contention

set phase in dropout tests

randomize order of test execution by make runtest

Merge pull request #366 from shelhamer/test-phase-fix

set TRAIN in CommonTest.TestPhase

set TRAIN in CommonTest.TestPhase

...to avoid effects of test execution order. The original intention was
to check that TRAIN is the default, but it is better to have consistent
results.

test HingeLossLayer

Based on SoftmaxWithLossLayerTest.

make gradient checker's kink use feature absolute value

In theory, layer functions could be nonsmooth anywhere; in all cases in
use so far, they are nonsmooth at either zero or +1 and -1. In the
future, it might be necessary to generalize the kink mechanism beyond
this stopgap measure.

add HingeLossLayer for one-vs-all hinge loss

This layer implements a "one-vs-all" hinge loss, (1/n) sum_ij max(0, 1 -
y_ij x_ij), with bottom blob x_ij (i ranging over examples and j over
classes), and y_ij = +1/-1 indicating the label. No regularization is
included, since regularization is done via weight decay or using the
parameters of another layer. The gradient is taken to be zero at the
hinge point. This commit only provides the CPU implementation.

Merge pull request #365 from longjon/pycaffe-empty-nets

Add unary CaffeNet constructor for uninitialized nets

pycaffe: add unary CaffeNet constructor for uninitialized nets

Note that parameters are uninitialized, not zero-filled.

Merge pull request #363 from jeffdonahue/speedup-gradient-check

Gradient check speedups

eltwise gradient checker

move analytic gradient computation outside loop and store -- saves a lot
of time

Merge pull request #364 from niuzhiheng/dev

Update drawnet.py to support new-style net definitions

note pydot dependency of model visualization

Update the drawnet.py to reflect the recent revised net definition.

Merge pull request #352 from jeffdonahue/solver-seed

Eliminate use of "rand" in code; enable deterministic results via solver seed

Merge pull request #357 from jeffdonahue/test-on-iter-0

Test before doing any training

test on "0th iteration" -- before doing any training

add caffe/random_fn lint rule to check for use of rand, rand_r, random