set seed in neuron and power layer tests for deterministic results

Merge pull request #367 from shelhamer/randomize-test-order

Randomize order of test execution by `make runtest`

Merge pull request #303 from longjon/hinge-loss-layer

HingeLossLayer

Merge pull request #368 from shelhamer/fix-data-layer-sequence-tests

Fix data layer sequence tests to avoid leveldb contention and lock failures

scope data layer sequence tests to avoid leveldb contention

set phase in dropout tests

randomize order of test execution by make runtest

Merge pull request #366 from shelhamer/test-phase-fix

set TRAIN in CommonTest.TestPhase

set TRAIN in CommonTest.TestPhase

...to avoid effects of test execution order. The original intention was
to check that TRAIN is the default, but it is better to have consistent
results.

test HingeLossLayer

Based on SoftmaxWithLossLayerTest.

make gradient checker's kink use feature absolute value

In theory, layer functions could be nonsmooth anywhere; in all cases in
use so far, they are nonsmooth at either zero or +1 and -1. In the
future, it might be necessary to generalize the kink mechanism beyond
this stopgap measure.

add HingeLossLayer for one-vs-all hinge loss

This layer implements a "one-vs-all" hinge loss, (1/n) sum_ij max(0, 1 -
y_ij x_ij), with bottom blob x_ij (i ranging over examples and j over
classes), and y_ij = +1/-1 indicating the label. No regularization is
included, since regularization is done via weight decay or using the
parameters of another layer. The gradient is taken to be zero at the
hinge point. This commit only provides the CPU implementation.

Merge pull request #365 from longjon/pycaffe-empty-nets

Add unary CaffeNet constructor for uninitialized nets

pycaffe: add unary CaffeNet constructor for uninitialized nets

Note that parameters are uninitialized, not zero-filled.

Merge pull request #363 from jeffdonahue/speedup-gradient-check

Gradient check speedups

eltwise gradient checker

move analytic gradient computation outside loop and store -- saves a lot
of time

Merge pull request #364 from niuzhiheng/dev

Update drawnet.py to support new-style net definitions

note pydot dependency of model visualization

Update the drawnet.py to reflect the recent revised net definition.

Merge pull request #352 from jeffdonahue/solver-seed

Eliminate use of "rand" in code; enable deterministic results via solver seed

Merge pull request #357 from jeffdonahue/test-on-iter-0

Test before doing any training

test on "0th iteration" -- before doing any training

add caffe/random_fn lint rule to check for use of rand, rand_r, random

replace std::shuffle with version using prefetch rng; improve unit test

replace remaining uses of rand() with caffe_rng_rand()

prefetch_rng in window_data_layer

prefetch_rng in ImageDataLayer

test scale param

make seed test pass by setting up new layer to generate the 2nd sequence

cleanup data_layer, add prefetch_rng_ field to it and use instead of
rand -- seeded tests still fail

add tests for random crop sequence -- currently both fail

add data layer crop tests

add random_seed field to SolverParameter and have solver use it --
already works for lenet, doesn't work for imagenet w/ rand() calls

add forward tests (via reference impl) for SigmoidCrossEntropyLayer

Merge pull request #350 from longjon/finicky-exhaustive

Make CheckGradientExhaustive fail for topless layers

make CheckGradientExhaustive fail for topless layers

Without this commit, it is possible to mistakenly call
CheckGradientExhaustive on a layer with no top blobs (i.e., a loss
layer), causing the gradient check to silently succeed while doing
nothing. With this commit, doing so will cause the test to fail.

Merge pull request #348 from jeffdonahue/datalayer-singleton-bugfix

Fix singleton call in data layers

Note previous crash reports were not in fact due to RNG, although they led to improvements of the RNG code.

do the same as prev commit for ImageDataLayer

fix bug where DataLayerPrefetch creates its own Caffe singleton, causing
the phase to always be set to TRAIN (always random crops) and RNG failures

Comment current forward/backward responsibilities

Proofread install docs

Merge pull request #339 from sergeyk/dev

Update installation docs

installation doc update

Merge pull request #336 from jeffdonahue/fix-rng-segfault

Fix RNG segfault related to #297

fix examples path in mnist leveldb sh

Merge pull request #332 from jeffdonahue/share-trained-layers

add ShareTrainedLayersWith method and use for test net in solver

remove now unused set_generator and related code

pass caffe rng ref into variate_generator constructor instead of having
caffe rng adopt its state

remove unnecessary return from void set_generator

add ShareTrainedLayersWith method and use for test net in solver

Merge pull request #330 from jeffdonahue/mnist-autoencoder-example

MNIST autoencoder example

change to correct next layer id for merge

clear sigmoid top vec at initialization

add sigmoid cross ent layer unit tests

mnist_autoencoder_solver cleanup

change lenet dir to 'mnist' in docs

make solver able to compute and display test loss

mnist autoencoder test proto bugfix: add sigmoid layer before loss

enable DataLayer to output unlabeled data

add mnist autoencoder example necessities (sigmoid cross entropy loss
layer, sparse gaussian filler)

rename lenet dir to mnist

Give choice of ATLAS, MKL, and OpenBLAS (with option to override paths)

- configure build for ATLAS, MKL, or OpenBLAS on Linux and OSX
- allow overriding of the include or lib dirs
- replace magic numbers with BLAS names (atlas, mkl, open)

Follow-up from #305 and #325.

rename python include config var to match lib

Merge pull request #325 from AlOa/OpenBlas

Add possibility to use OpenBlas

Add possibility to use OpenBlas

Merge pull request #318 from jeffdonahue/blob-copy-by-reference

add Share{Data,Diff} methods to blobs to enable "virtual" copies

- reduce operations by not copying values
- spare memory by shared_ptrs
- simplify SplitLayer logic

Merge pull request #319 from jeffdonahue/sigmoid-optimization

sigmoid layer backward pass optimization: don't recompute forward pass

sigmoid layer backward pass optimization: don't recompute forward pass

change Adopt -> Share as suggested by kloudkl

add Adopt{Data,Diff} methods to blobs to enable "virtual copying"

add unit tests for cpu/gpu copy functions

change some unnecessary TYPED_TESTs to TEST_Fs

fix lint errors by adding 'explicit' to new single arg pycaffe
constructors

polished ignore

Back-merge docs and example image changes from `master` to `dev`

Merge pull request #310 from jeffdonahue/clang-test-power-layer-fixes

clang fixes for test_power_layer

add using std::isnan and use this-> when calling Test{For,Back}ward

fix osx 10.9 condition in Makefile

include vecLib BLAS dir on osx

Merge pull request #286 from longjon/pycaffe-solver

Expose SGDSolver to pycaffe, switch from inheritance to overriding for caffe.Net

change true_std to intended bernoulli_std

Merge pull request #297 from jeffdonahue/rng-bug

Fix persistence of random state with Boost RNG

more rng test cleanup

re-time imagenet example on k20, instead of my laptop

change *Plus* tests to *Times* tests because the Plus tests don't
actually check for uncorrelated RNG results

add analogous caffe_gpu_rng_* functions for gaussian and uniform, and
add test cases

have rng_stream initialize RNG if not already initialized

make RNG function outputs the last argument per Google C++ style guidelines

make RNG function names more similar to other caffe math function names

gpu_hamming_distance fails unit test with fixed RNG; mark it NOT_IMPLEMENTED
with TODO to fix and disable its unit test

cleanup RNG unit tests

make rng_ a private member of Generator

cleanup test_math_functions

comment to explain the purpose of Caffe::set_generator

fix bernoulli*bernoulli test, now all pass

call caffe_set_rng at the end of each vRng function to maintain state

add bernoulli*bernoulli test

cleanup log messages

add analogous test for uniform instead of gaussian