Incorporated Evan’s comments for neuron layers

Cosmetic change in ConcatLayer

Lil’ more docstring, and cosmetic change in EuclideanLossLayer

fwd/back math docs for neuron layers

Cosmetic change in prep for data layer work

Split all loss layers into own .cpp files

layer definition reorganization and documentation
- split out neuron, loss, and data layers into own header files
- added LossLayer class with common SetUp checks
- in-progress concise documentation of each layer's purpose

Merge pull request #417 from shelhamer/create-and-write-proto

Write/create/truncate prototxt when saving to fix #341

fix workaround in net prototxt upgrade

Write/create/truncate prototxt when saving to fix #341

WriteProtoToTextFile now saves the prototxt whether or not the file
already exists and sets the permissions to owner read/write and group +
other read.

Thanks @beam2d and @chyh1990 for pointing out the open modes bug.

Merge pull request #414 from shelhamer/net-output-blobs

Make net know output blob indices

net knows output blobs

Merge pull request #413 from shelhamer/cublas-status-not-supported

add cublas status in cuda 6 to fix warning

add cublas status in cuda 6 to fix warning

...and #define for older CUDAs to not break the build.

Merge pull request #406 from jeffdonahue/makefile-include-bug

Fix Makefile header dependency bug

fix Makefile bug - HXX_SRCS was things that don't end in .hpp, instead
of things that do...

Merge pull request #403 from jeffdonahue/solver-mode-enum

Make solver_mode an enum: CPU or GPU

make solver_mode an enum with CPU and GPU -- fully backwards compatible
with old 0/1 style

Merge pull request #396 from longjon/math-includes

Improve includes in util/math_functions.hpp

improve includes in util/math_function.hpp

This commit removes the redundant <math.h>, and adds the necessary
<stdint.h> and <glog/logging.h>.

note bug in cifar10 full with CPU computation

Merge pull request #294 from longjon/memory-data-layer

Add a layer for in-memory data, and expose it to Python

fix lint error in syncedmem.hpp

pycaffe: allow 1d labels to be passed to set_input_arrays

pycaffe: add Net.set_input_arrays for input from numpy

This requires a net whose first layer is a MemoryDataLayer.

pycaffe: store a shared_ptr<CaffeNet> in SGDSolver

Doing this, rather than constructing the CaffeNet wrapper every time,
will allow the wrapper to hold references that last at least as long as
SGDSolver (which will be necessary to ensure that data used by
MemoryDataLayer doesn't get freed).

pycaffe: let boost pass shared_ptr<CaffeNet>

add basic tests for MemoryDataLayer

add size accessors to MemoryDataLayer

This will facilitate input size checking for pycaffe (and potentially
others).

add MemoryDataLayer for reading input from contiguous blocks of memory

add set_cpu_data to Blob and SyncedMemory

This allows a blob to be updated without copy to use already existing
memory (and will support MemoryDataLayer).

Merge pull request #378 from longjon/no-merge-duplicates

Note the last added layer/params in caffe.proto to prevent conflicts

note the last added layer/params in caffe.proto to prevent conflicts

The current scheme does not actually prevent conflicts, since three-way
merge will accept simultaneous changes that agree on the next number.
This commit fixes this by explicitly noting the last layer added.

Merge pull request #377 from sguada/fix_initial_test

Keep same format for all net testing log messages

Keep uniform test messages for all the test

rollback 8368818, does not build

Add Sublime Text project settings to gitignore

Handling CUBLAS_STATUS_NOT_SUPPORTED to suppress warning

Merge pull request #370 from shelhamer/test-net-polish

Polish test_net

fix test_net to upgrade params from v0 if needed

default test net device to 0 and log device chosen

set seed in neuron and power layer tests for deterministic results

Merge pull request #367 from shelhamer/randomize-test-order

Randomize order of test execution by `make runtest`

proofreading and trivial polish

add device id arg to test_net (fix #232)

Merge pull request #303 from longjon/hinge-loss-layer

HingeLossLayer

Merge pull request #368 from shelhamer/fix-data-layer-sequence-tests

Fix data layer sequence tests to avoid leveldb contention and lock failures

scope data layer sequence tests to avoid leveldb contention

set phase in dropout tests

randomize order of test execution by make runtest

Merge pull request #366 from shelhamer/test-phase-fix

set TRAIN in CommonTest.TestPhase

set TRAIN in CommonTest.TestPhase

...to avoid effects of test execution order. The original intention was
to check that TRAIN is the default, but it is better to have consistent
results.

test HingeLossLayer

Based on SoftmaxWithLossLayerTest.

make gradient checker's kink use feature absolute value

In theory, layer functions could be nonsmooth anywhere; in all cases in
use so far, they are nonsmooth at either zero or +1 and -1. In the
future, it might be necessary to generalize the kink mechanism beyond
this stopgap measure.

add HingeLossLayer for one-vs-all hinge loss

This layer implements a "one-vs-all" hinge loss, (1/n) sum_ij max(0, 1 -
y_ij x_ij), with bottom blob x_ij (i ranging over examples and j over
classes), and y_ij = +1/-1 indicating the label. No regularization is
included, since regularization is done via weight decay or using the
parameters of another layer. The gradient is taken to be zero at the
hinge point. This commit only provides the CPU implementation.

Merge pull request #365 from longjon/pycaffe-empty-nets

Add unary CaffeNet constructor for uninitialized nets

pycaffe: add unary CaffeNet constructor for uninitialized nets

Note that parameters are uninitialized, not zero-filled.

Merge pull request #363 from jeffdonahue/speedup-gradient-check

Gradient check speedups

eltwise gradient checker

move analytic gradient computation outside loop and store -- saves a lot
of time

Merge pull request #364 from niuzhiheng/dev

Update drawnet.py to support new-style net definitions

note pydot dependency of model visualization

Update the drawnet.py to reflect the recent revised net definition.

Merge pull request #352 from jeffdonahue/solver-seed

Eliminate use of "rand" in code; enable deterministic results via solver seed

Merge pull request #357 from jeffdonahue/test-on-iter-0

Test before doing any training

test on "0th iteration" -- before doing any training

add caffe/random_fn lint rule to check for use of rand, rand_r, random

replace std::shuffle with version using prefetch rng; improve unit test

replace remaining uses of rand() with caffe_rng_rand()

prefetch_rng in window_data_layer

prefetch_rng in ImageDataLayer

test scale param

make seed test pass by setting up new layer to generate the 2nd sequence

cleanup data_layer, add prefetch_rng_ field to it and use instead of
rand -- seeded tests still fail

add tests for random crop sequence -- currently both fail

add data layer crop tests

add random_seed field to SolverParameter and have solver use it --
already works for lenet, doesn't work for imagenet w/ rand() calls

add forward tests (via reference impl) for SigmoidCrossEntropyLayer

Merge pull request #350 from longjon/finicky-exhaustive

Make CheckGradientExhaustive fail for topless layers

make CheckGradientExhaustive fail for topless layers

Without this commit, it is possible to mistakenly call
CheckGradientExhaustive on a layer with no top blobs (i.e., a loss
layer), causing the gradient check to silently succeed while doing
nothing. With this commit, doing so will cause the test to fail.

Merge pull request #348 from jeffdonahue/datalayer-singleton-bugfix

Fix singleton call in data layers

Note previous crash reports were not in fact due to RNG, although they led to improvements of the RNG code.

do the same as prev commit for ImageDataLayer

fix bug where DataLayerPrefetch creates its own Caffe singleton, causing
the phase to always be set to TRAIN (always random crops) and RNG failures

Comment current forward/backward responsibilities

Proofread install docs

Merge pull request #339 from sergeyk/dev

Update installation docs

installation doc update

Merge pull request #336 from jeffdonahue/fix-rng-segfault

Fix RNG segfault related to #297

fix examples path in mnist leveldb sh

Merge pull request #332 from jeffdonahue/share-trained-layers

add ShareTrainedLayersWith method and use for test net in solver

remove now unused set_generator and related code

pass caffe rng ref into variate_generator constructor instead of having
caffe rng adopt its state

remove unnecessary return from void set_generator

add ShareTrainedLayersWith method and use for test net in solver

Merge pull request #330 from jeffdonahue/mnist-autoencoder-example

MNIST autoencoder example

change to correct next layer id for merge

clear sigmoid top vec at initialization

add sigmoid cross ent layer unit tests

mnist_autoencoder_solver cleanup

change lenet dir to 'mnist' in docs