Update docs for ND blobs (#1970) and layer type is a string (#1694)

Merge pull request #2038 from shelhamer/cudnn-r2

cuDNN v2

note cuDNN v2 convolutional TODOs

cuDNN pooling can pad now

replace cuDNN alphas and betas with coefficient values

Give cuDNN {0, 1} constants for controlling accumulation through the
alpha and beta coefficients.

switch to cuDNN R2

Merge pull request #2178 from Lewuathe/typo-in-docs

Typos in documents

Typos in documents

Merge pull request #1922 from erictzeng/lrn_large_region_fix

Cross-channel LRN bounds checking for GPU implementation

Merge pull request #2127 from kentashoji/fix-python-classify

Fix invalid syntax on classify.py

Fix invalid syntax

Fix for solver issue pointed out by @moskewcz in #1972

Use ReadNetParamsFromBinaryFileOrDie to read a net param when restoring
from a saved solverstate, which upgrades old nets, rather than
ReadProtoFromBinaryFile.

HDF5DataLayer: remove redundant shuffle

Merge pull request #2118 from jeffdonahue/PatWie-shufflehdf5

Shuffle HDF5 data

HDF5DataLayer shuffle: minor cleanup; clarification in HDF5DataParameter

shuffle data

Merge pull request #1940 from tnarihi/prelu2

Add PReLU Layer

PReLU Layer and its tests

described in Kaiming He et al, "Delving Deep into Rectifiers: Surpassing
Human-Level Performance on ImageNet Classification", arxiv 2015.

Belows are commit message histories that I had while developing.

PReLULayer takes FillerParameter for init

PReLU testing consistency with ReLU

Fix : PReLU test concistency check

PReLU tests in-place computation, and it failed in GPU

Fix: PReLU in-place backward in GPU

PReLULayer called an incorrect API for copying
data (caffe_gpu_memcpy). First argment of `caffe_gpu_memcpy` should be
size of memory region in byte. I modified to use `caffe_copy` function.

Fix: style errors

Fix: number of axes of input blob must be >= 2

Use 1D blob, zero-D blob.

Rename: hw -> dim

[docs] open release of BVLC models for unrestricted use

See BVLC model license details on the model zoo page.

[Re-commit of 6b84206 which somehow went missing.]

Remove Gist from BVLC GoogleNet

Merge pull request #2076 from jeffdonahue/accuracy-layer-fixes

Fixup AccuracyLayer like SoftmaxLossLayer in #1970

AccuracyLayerTest: add tests for ignore_label and spatial axes

AccuracyLayer: add ignore_label param

Fixup AccuracyLayer like SoftmaxLossLayer in #1970 -- fixes #2063

Merge pull request #2058 from shelhamer/py-fixes

Pycaffe fixes and example reformation

[example] pycaffe classification downloads the model automatically

Merge pull request #2066 from caotto/leveldb_include_update

Update leveldb include variable name to match FindLevelDB.cmake

SoftmaxLossLayer fix: canonicalize input axis

[example] warm-start web demo

call forward to warm-start the demo so the first request isn't slow.

[example] revise hdf5 classification

- add a little explanation
- solve from Python and the command line
- time scikit-learn and caffe
- fix test iterations (number of instances / batch size)

[example] revise net surgery + add designer filters

- N-D blob parameter dimensions
- add filtering section to net surgery example
- make Gaussian blur and Sobel edge kernels
- alter biases
- do flat assignment instead of reshape and explain memory layout
- make dir for surgery files

[example] revise filter visualization

- download CaffeNet if it isn't there
- switch to caffe.Net
- reshape net for single input
- explain param, bias indexing
- update output for N-D blobs

[pycaffe] align web demo with #1728 and #1902

[pycaffe] classifier + detector only have one input

[pycaffe] fix CPU / GPU switch in example scripts

[pycaffe] make classify.py print input + output file paths

...and fix up detector quote convention.

[pycaffe] no need to squeeze output after #1970

fix #2041 reported by @dgmp88

Merge pull request #1457 from jyegerlehner/preserve-extracted-blob-shapes

  extract_features preserves feature shape

extract_features preserves feature shape

Merge pull request #1456 from jyegerlehner/load-weights-from-multiple-caffemodels

Load weights from multiple models by listing comma separated caffemodels
as the `-weights` arg to the caffe command.

Load weights from multiple caffemodels.

whitespace in common.hpp

comment grammar in net.cpp

Update leveldb include variable name to match FindLevelDB.cmake

Fix references to plural names in API documentation

Changed each "&" character that conected the class name and the "s"
character to "%", so that it is properly displayed.

Merge pull request #1987 from tnarihi/fix-siam-example

[docs] fix siamese ipynb example

Merge pull request #2059 from philkr/python_layer_cmake

[cmake] add Python layer

Merge pull request #2056 from philkr/hdf5

[cmake] add missing hdf5 include directory

Merge pull request #2055 from tishibas/iss1506

compute mean from lmdb for imagenet example

Making python layer work with cmake

Merge pull request #2010 from danielhamngren/update_python_requirements

[pycaffe] Add Pillow to requirements.txt

Merge pull request #2037 from shelhamer/expose-solver-restore

Expose Solver::Restore() as public for restoring without solving

fix #1506

Adding correct hdf5 path

[docs] include boost-python in OSX pycaffe install

[pycaffe] add missing import sys

expose Solver::Restore() as public and Solver.restore() in pycaffe

The solver can restore its state without entering the Solve() loop.

[pycaffe] check mean channels for transformation

follow-up to #2031: check that the input and mean channels are
compatible in the broadcast channels case.

Merge pull request #2035 from jeffdonahue/include-climits

add <climits> for INT_MAX

include/caffe/common.hpp: add <climits> for INT_MAX (now in blob.hpp)

fix comment I forgot about from @shelhamer's review of #1970

Merge pull request #2031 from NVIDIA/image_mean

Check shape of input mean

Add error checking for image mean

When setting the mean, assert that it is either one pixel or an array with
shape equal to the input data size.

Merge pull request #1966 from philkr/python_fixes

cmake and python3 bugfixes for #1939 and #1923

Merge pull request #1970 from jeffdonahue/tensor-blob

Blobs are N-D arrays (for N not necessarily equals 4)

[pytest] use non-4d blobs in test_python_layer

[pycaffe] expose Blob.reshape as *args function

Add option not to reshape to Blob::FromProto; use when loading Blobs
from saved NetParameter

Want to keep the param Blob shape the layer has set, and not necessarily
adopt the one from the saved net (e.g. want to keep new 1D bias shape,
rather than take the (1 x 1 x 1 x D) shape from a legacy net).

PyBlobs support generalized axes

Add CHECK_EQ(4, ...)s to "vision layers" to enforce that the
num/channnels/height/width indexing is valid.

DummyDataLayer outputs blobs of arbitrary shape

EuclideanLossLayer: generalized Blob axes

WindowDataLayer outputs 1D labels

ImageDataLayer outputs 1D labels

MemoryDataLayer outputs 1D labels

DataLayer outputs 1D labels

HDF5DataLayer shapes output according to HDF5 shape

SplitLayer: change Reshape(n,h,c,w) to ReshapeLike(...)

SoftmaxLossLayer generalized like SoftmaxLayer

CuDNNSoftmaxLayer: generalized Blob axes

SoftmaxLayer: generalized Blob axes

SliceLayer: generalized Blob axes

ConcatLayer: generalized Blob axes

TestConcatLayer: add forward/gradient tests for concatenation along num

TestConcatLayer: fix style errors

common_layers.hpp: remove unused "Blob col_bob_"

FlattenLayer: generalized Blob axes

EltwiseLayer need not assume old 4D dim names

Test{Net,Solver} fixes for AccuracyLayer generalization

AccuracyLayer generalized to N instance axes

AccuracyLayer output is 0D (scalar)

LossLayer output is 0D (scalar)

ConvLayer biases are 1D

InnerProductLayer can multiply along any axis

Fix sparse GaussianFiller for new IPLayer weight axes

InnerProductLayer weights are 2D; biases are 1D

TestBlob: test that legacy BlobProtos are correctly handled by ShapeEquals

add offset, {data,diff}_at nd blob accessors

Add BlobShape message; use for Net input shapes

Blobs are ND arrays (for N not necessarily equals 4).

vector<int> shape_ instead of (num, channels, height, width).