improve includes in util/math_function.hpp

This commit removes the redundant <math.h>, and adds the necessary
<stdint.h> and <glog/logging.h>.

note bug in cifar10 full with CPU computation

Merge pull request #294 from longjon/memory-data-layer

Add a layer for in-memory data, and expose it to Python

fix lint error in syncedmem.hpp

pycaffe: allow 1d labels to be passed to set_input_arrays

pycaffe: add Net.set_input_arrays for input from numpy

This requires a net whose first layer is a MemoryDataLayer.

pycaffe: store a shared_ptr<CaffeNet> in SGDSolver

Doing this, rather than constructing the CaffeNet wrapper every time,
will allow the wrapper to hold references that last at least as long as
SGDSolver (which will be necessary to ensure that data used by
MemoryDataLayer doesn't get freed).

pycaffe: let boost pass shared_ptr<CaffeNet>

add basic tests for MemoryDataLayer

add size accessors to MemoryDataLayer

This will facilitate input size checking for pycaffe (and potentially
others).

add MemoryDataLayer for reading input from contiguous blocks of memory

add set_cpu_data to Blob and SyncedMemory

This allows a blob to be updated without copy to use already existing
memory (and will support MemoryDataLayer).

Merge pull request #378 from longjon/no-merge-duplicates

Note the last added layer/params in caffe.proto to prevent conflicts

note the last added layer/params in caffe.proto to prevent conflicts

The current scheme does not actually prevent conflicts, since three-way
merge will accept simultaneous changes that agree on the next number.
This commit fixes this by explicitly noting the last layer added.

Merge pull request #377 from sguada/fix_initial_test

Keep same format for all net testing log messages

Keep uniform test messages for all the test

rollback 8368818, does not build

Add Sublime Text project settings to gitignore

Handling CUBLAS_STATUS_NOT_SUPPORTED to suppress warning

Merge pull request #370 from shelhamer/test-net-polish

Polish test_net

fix test_net to upgrade params from v0 if needed

default test net device to 0 and log device chosen

set seed in neuron and power layer tests for deterministic results

Merge pull request #367 from shelhamer/randomize-test-order

Randomize order of test execution by `make runtest`

proofreading and trivial polish

add device id arg to test_net (fix #232)

Merge pull request #303 from longjon/hinge-loss-layer

HingeLossLayer

Merge pull request #368 from shelhamer/fix-data-layer-sequence-tests

Fix data layer sequence tests to avoid leveldb contention and lock failures

scope data layer sequence tests to avoid leveldb contention

set phase in dropout tests

randomize order of test execution by make runtest

Merge pull request #366 from shelhamer/test-phase-fix

set TRAIN in CommonTest.TestPhase

set TRAIN in CommonTest.TestPhase

...to avoid effects of test execution order. The original intention was
to check that TRAIN is the default, but it is better to have consistent
results.

test HingeLossLayer

Based on SoftmaxWithLossLayerTest.

make gradient checker's kink use feature absolute value

In theory, layer functions could be nonsmooth anywhere; in all cases in
use so far, they are nonsmooth at either zero or +1 and -1. In the
future, it might be necessary to generalize the kink mechanism beyond
this stopgap measure.

add HingeLossLayer for one-vs-all hinge loss

This layer implements a "one-vs-all" hinge loss, (1/n) sum_ij max(0, 1 -
y_ij x_ij), with bottom blob x_ij (i ranging over examples and j over
classes), and y_ij = +1/-1 indicating the label. No regularization is
included, since regularization is done via weight decay or using the
parameters of another layer. The gradient is taken to be zero at the
hinge point. This commit only provides the CPU implementation.

Merge pull request #365 from longjon/pycaffe-empty-nets

Add unary CaffeNet constructor for uninitialized nets

pycaffe: add unary CaffeNet constructor for uninitialized nets

Note that parameters are uninitialized, not zero-filled.

Merge pull request #363 from jeffdonahue/speedup-gradient-check

Gradient check speedups

eltwise gradient checker

move analytic gradient computation outside loop and store -- saves a lot
of time

Merge pull request #364 from niuzhiheng/dev

Update drawnet.py to support new-style net definitions

note pydot dependency of model visualization

Update the drawnet.py to reflect the recent revised net definition.

Merge pull request #352 from jeffdonahue/solver-seed

Eliminate use of "rand" in code; enable deterministic results via solver seed

Merge pull request #357 from jeffdonahue/test-on-iter-0

Test before doing any training

test on "0th iteration" -- before doing any training

add caffe/random_fn lint rule to check for use of rand, rand_r, random

replace std::shuffle with version using prefetch rng; improve unit test

replace remaining uses of rand() with caffe_rng_rand()

prefetch_rng in window_data_layer

prefetch_rng in ImageDataLayer

test scale param

make seed test pass by setting up new layer to generate the 2nd sequence

cleanup data_layer, add prefetch_rng_ field to it and use instead of
rand -- seeded tests still fail

add tests for random crop sequence -- currently both fail

add data layer crop tests

add random_seed field to SolverParameter and have solver use it --
already works for lenet, doesn't work for imagenet w/ rand() calls

add forward tests (via reference impl) for SigmoidCrossEntropyLayer

Merge pull request #350 from longjon/finicky-exhaustive

Make CheckGradientExhaustive fail for topless layers

make CheckGradientExhaustive fail for topless layers

Without this commit, it is possible to mistakenly call
CheckGradientExhaustive on a layer with no top blobs (i.e., a loss
layer), causing the gradient check to silently succeed while doing
nothing. With this commit, doing so will cause the test to fail.

Merge pull request #348 from jeffdonahue/datalayer-singleton-bugfix

Fix singleton call in data layers

Note previous crash reports were not in fact due to RNG, although they led to improvements of the RNG code.

do the same as prev commit for ImageDataLayer

fix bug where DataLayerPrefetch creates its own Caffe singleton, causing
the phase to always be set to TRAIN (always random crops) and RNG failures

Comment current forward/backward responsibilities

Proofread install docs

Merge pull request #339 from sergeyk/dev

Update installation docs

installation doc update

Merge pull request #336 from jeffdonahue/fix-rng-segfault

Fix RNG segfault related to #297

fix examples path in mnist leveldb sh

Merge pull request #332 from jeffdonahue/share-trained-layers

add ShareTrainedLayersWith method and use for test net in solver

remove now unused set_generator and related code

pass caffe rng ref into variate_generator constructor instead of having
caffe rng adopt its state

remove unnecessary return from void set_generator

add ShareTrainedLayersWith method and use for test net in solver

Merge pull request #330 from jeffdonahue/mnist-autoencoder-example

MNIST autoencoder example

change to correct next layer id for merge

clear sigmoid top vec at initialization

add sigmoid cross ent layer unit tests

mnist_autoencoder_solver cleanup

change lenet dir to 'mnist' in docs

make solver able to compute and display test loss

mnist autoencoder test proto bugfix: add sigmoid layer before loss

enable DataLayer to output unlabeled data

add mnist autoencoder example necessities (sigmoid cross entropy loss
layer, sparse gaussian filler)

rename lenet dir to mnist

Give choice of ATLAS, MKL, and OpenBLAS (with option to override paths)

- configure build for ATLAS, MKL, or OpenBLAS on Linux and OSX
- allow overriding of the include or lib dirs
- replace magic numbers with BLAS names (atlas, mkl, open)

Follow-up from #305 and #325.

rename python include config var to match lib

Merge pull request #325 from AlOa/OpenBlas

Add possibility to use OpenBlas

Add possibility to use OpenBlas

Merge pull request #318 from jeffdonahue/blob-copy-by-reference

add Share{Data,Diff} methods to blobs to enable "virtual" copies

- reduce operations by not copying values
- spare memory by shared_ptrs
- simplify SplitLayer logic

Merge pull request #319 from jeffdonahue/sigmoid-optimization

sigmoid layer backward pass optimization: don't recompute forward pass

sigmoid layer backward pass optimization: don't recompute forward pass

change Adopt -> Share as suggested by kloudkl

add Adopt{Data,Diff} methods to blobs to enable "virtual copying"

add unit tests for cpu/gpu copy functions

change some unnecessary TYPED_TESTs to TEST_Fs

fix lint errors by adding 'explicit' to new single arg pycaffe
constructors

polished ignore

Back-merge docs and example image changes from `master` to `dev`