split off Reshape for common layers

split off Reshape for neuron layers

split off Reshape for loss layers

split off Reshape for data layers

separate setConvolutionDesc from createConvolutionDesc

separate setTensor4dDesc from createTensor4dDesc

This will make it possible to add reshaping to cuDNN layers.

enable reshaping in the forward pass

Note that calling Reshape when no reshape is necessary should be
effectively a no-op, so this is not a performance regression.

don't reallocate blobs when shrinking memory use

This allows nets to be reshaped very quickly (essentially for free) as
long as sufficient memory has been allocated. Calling Blob::Reshape in
order to free up memory becomes impossible; however, this is not a
normal use case (and deleting blobs does free memory).

add abstract Layer::Reshape, and document the new method protocol

use Blob directly instead of shared_ptr for EltwiseLayer::max_idx_

This is in keeping with #742.

Merge pull request #1104 from shelhamer/conv-comments-tests

Document and Test Convolution

Merge pull request #1100 from cNikolaou/issue1099

Polish mnist + cifar10 examples.

[docs] lenet grooming

[docs] comment ConvolutionLayer

test convolution by random weights for robustness

test convolution against explicit reference implementation

To thoroughly check convolution, the output is compared against a
reference implementation by explicit looping. Simple and group
convolution by the Caffe and cuDNN engines are checked against the
reference.

Updated mnist/readme.md file with additional information.

Update readme.md files of cifar10 and mnist examples. Fixed broken links.

Merge pull request #1093 from CellScope/io-cant-load-error-msg

[fix] Move file reading error checking closer to actual file read command

[Bugfix] Move error checking closer to file read

Previously, if (height > 0 && width > 0) was true, the
cv::resize() function would be called before cv_img_origin was
confirmed valid; if the image file/filename was not valid, this
caused an opencv assert error like this:

terminate called after throwing an instance of 'cv::Exception'
  what():  /tmp/A3p0_4200_32550/batserve/A3p0/glnxa64/OpenCV/modules/imgproc/src/imgwarp.cpp:1725: error: (-215)
  ssize.area() > 0 in function resize

Merge pull request #1088 from shelhamer/fix-solverstate-filename

Fix snapshot filename for solver states

Merge pull request #1091 from ronghanghu/fix_window_data_layer

set up datum size for WindowDataLayer

set up datum size for WindowDataLayer

[fix] snapshot model weights as .caffemodel, solver state as .solverstate

[example] update paths in net surgery

Merge pull request #1083 from longjon/fix-solver-gpu-init

Fix solver GPU initialization order (e.g., training with cuDNN on non-default device)

fix caffe train GPU initialization

Previously, the solver constructed nets before the caffe train tool read
the --gpu flag, which can cause errors due to LayerSetUp executing on
the wrong device (breaking cuDNN, for example).

Merge pull request #1077 from bhack/glog_ppa

Add ppa for gflag and glog

Merge pull request #1076 from kloudkl/cuda-6.5

Update CUDA to version 6.5 in the Travis install script

Fix a little typo

Fix comments

fix spelling error in caffe.proto

fix out-of-date next ID comment for SolverParameter

Update CUDA to version 6.5 in the Travis install script

Add ppa for gflag and glog

Merge pull request #1051 from jeffdonahue/travis-red-errors

restore "red X" build failures in Travis

add -fPIC flag to CMake build

restore "red X" build failures in Travis

Merge pull request #1067 from bhack/lmdb

Get lmdb from openldap

Fix lmbdb travis with openldap

Merge pull request #1053 from jeffdonahue/to3i-elem_max_layer

rebase and fixup #688 from @to3i: elementwise max

lint & reduce gradient check stepsize to pass checks

Implemented elementwise max layer

Back-merge to dev for slides

Merge pull request #1052 from shelhamer/caffe-presentation

Caffe tutorial slides

[docs] replace intro slides with caffe tutorial

Revert "call __signbit for CUDA >= 6.5 implementation" -- doesn't
compile on OSX w/ CUDA 6.5

This reverts commit 8819f5953b903ec8b48e541271737e89a2cd24e6.

Merge pull request #1050 from jeffdonahue/linecount-more

linecount counts more dirs than just src/

Merge pull request #1044 from jeffdonahue/no-tmpnam

change uses of tmpnam to mkstemp/mkdtemp

linecount counts more dirs than just src/

[lint] cuDNN conv declaration

Merge pull request #1046 from shelhamer/cudnn

cuDNN acceleration

Merge pull request #1049 from niuzhiheng/dev

Fixed CMake script of FindOpenBLAS.

Fixed CMake script of FindOpenBLAS.

Merge pull request #1045 from akosiorek/origin/dev

Fixed CMake building test objects multiple times

Merge pull request #1048 from jyegerlehner/conv_layer-init-weight

Conv layer: fix crash by setting weight pointer

Fix more lint.

Repair crash in conv_layer due to weight pointer being NULL.

[docs] include cuDNN in installation and performance reference

report cuDNN error string

CUDNN_CHECK

strategize cuDNN softmax

strategize cuDNN activations: ReLU, Sigmoid, TanH

strategize cuDNN pooling

strategize cuDNN convolution

call __signbit for CUDA >= 6.5 implementation

add cuDNN to build

added common.cpp explicitly to tests

cpp and cu files processed separately in test build

enabled object file reusing in test builds

add <cuda>/lib64 only if exists to suppress linker warnings

remove uses of tmpnam

fix transform_param in mnist_autoencoder.prototxt

[docs] tutorial/layers: fix inner product sample

[docs] tutorial/layers: describe some more data layers

[docs] tutorial/layers: clean up sample markdown

[docs] tutorial/layers: brief descriptions of some loss layers

[docs] in tutorial/layers, Options -> Parameters

It sounds funny to have optional options, and "parameters" is more in
line with the internal usage.

[docs] split layer params in required/optional

Also, make the parameter name come first. This makes it much easier to
find/scan parameters.

[docs] add LRN layer to tutorial/layers

[docs] fix pooling markdown and add some comments in tutorial

[doc] minor edits to convolution layer in tutorial

[docs] fixup the MathJax notation in tutorial/layers

Merge pull request #1022 from shelhamer/engine

Add engine switch to pick computational backend

revert separate strategies: engines will extend the caffe standards

revert engine switch for build to always include caffe engine

default engine to Caffe in case config is missing

default engine to Caffe according to compile flag

grooming: drop pointless overrides, stub layer comments

strategize softmax

strategize relu, sigmoid, tanh

strategize pooling

Scaffold engine switching for pooling.

The Caffe pooling is instantiated without regard for engine in:
- LRNLayer
- PoolingLayer tests
- StochasticPoolingLayer tests
- MaxPoolingDropout tests

strategize Caffe convolution

ifdef engine default

add engine parameter for multiple computational strategies

add `engine` switch to layers for selecting a computational backend when
there is a choice. Currently the standard Caffe implementation is the
only backend.

groom proto: sort layer type parameters, put loss_weight after basics

shift CUDA code out of common

Added initial Hinge Loss

more layers

conv and pooling