Merge pull request #1138 from ksimonyan/vgg_models_support

VGG models support

Back-merge

  Fixed param order of cv::Size in cv::resize
  switch examples to lmdb (except for custom data loaders)
  fix cifar10 paths so they can be run from caffe root
  default backend to lmdb for image conversion and mean computation

Merge pull request #1152 from sguada/fix_cv_size_order

Fix param order of cv::Size in cv::resize

Fixed param order of cv::Size in cv::resize

added a Matlab demo with mean BGR pixel subtraction instead of the mean image subtraction

RGB -> BGR in the matlab demo

added example usage to the Matlab script

added comments to the Matlab demo script

added matcaffe_demo for the VGG models (RGB input)

added support for "k" LRN parameter to upgrade_proto

adds a parameter to the LRN layer (denoted as "k" in  [Krizhevsky et al., NIPS 2012])

web demo fix, closes #1002

Merge pull request #1128 from shelhamer/default-db-lmdb

default to lmdb for database storage

switch examples to lmdb (except for custom data loaders)

fix cifar10 paths so they can be run from caffe root

default backend to lmdb for image conversion and mean computation

lmdb is 10-15% faster than leveldb although it takes ~1.1x the storage.
This is usually irrelevant in prefetching since both are fast enough,
but more important lmdb allows multiple, concurrent reads for training
and evaluation several models on the same data.

Back-merge

  define up-to-date all-in-one model for pascal finetuning
  load transform params in window data layer
  include WindowDataLayer in data param upgrade
  Fix typo in LRN-expression in docs

Merge pull request #1126 from shelhamer/window-data-param-upgrade

[fix] include WindowDataLayer in data param upgrade

define up-to-date all-in-one model for pascal finetuning

load transform params in window data layer

include WindowDataLayer in data param upgrade

Merge pull request #1115 from rickardnorlander/master

Fix typo in LRN-expression in docs

Merge pull request #1118 from shelhamer/1x1-conv

Optimize 1x1 convolution for Network-in-Network style operation

combine col_{data,diff} into single col_buff to halve memory usage

conv forward / backward only need one of the im2col data and diff
at-a-time so consolidating the two saves a lazy allocation.

Back-merge

optimize 1x1 convolution for Network-in-Network style layers

1x1 convolution with stride 1 is a special case of Caffe matrix
multiplication convolution for which im2col / col2im transformations are
actually the identity. For this special case the memory and
transformation are skipped.

drop out-of-date conv test comments

Merge pull request #1117 from ronghanghu/fix-finetune-example

[fix] set R-CNN fine-tuning PASCAL example paths

fix directory in finetune pascal example

Merge pull request #945 from longjon/fixtypes

Fix types of SetUp, Forward, Backward, and gradient checker calls

fix types of (Layer)SetUp, Reshape, Forward, and Backward calls

Using the type vector<Blob<Dtype*>* for outputs allows modification of
the vector itself, while it is only okay to modify the blobs pointed to
by the elements of the vector. Switching the types to const
vector<Blob<Dtype>*>& makes them more correct.

fix cifar10 paths so they can be run from caffe root

Fix typo in LRN-expression in docs

This is more consistent with krizhevsky2012, and it seems to be what the code does.

Merge pull request #1112 from BVLC/next

Next: release candidate

relax precision of gradient-based solver tests

[example] groom siamese notebook

Merge pull request #959 from nickcarlevaris/contrastive_loss

  Add contrastive loss layer, tests, and a siamese network example

[docs] order ipython notebooks

[example] resurrect imagenet training scripts

[model zoo] ignore models -- only for reference or zoo

[model zoo] download from gist grooming

- invoke by shell
- default download dir to models/
- save to flat dir of owner-gist instead of nested owner/gist

Merge pull request #1110 from sergeyk/dev

  [model zoo] download gist script

[model zoo] download gist script

Merge pull request #594 from longjon/layer-reshaping

On-the-fly net resizing, without reallocation (where possible)

check that LRN's local_size is odd as the current implementation requires

[docs] clarify the use of Blob::Reshape a bit

[pycaffe] expose Net::Reshape

add Net::Reshape for only reshaping

Note that it is not normally necessary to call this function when using
reshapable nets, but sometimes it can be useful to compute the sizes of
intermediate layers without waiting for the forward pass.

include Reshape in caffe time

Since we are now calling Reshape in the Forward pass, it's only fair to
include it when timing. Reshape calls should normally be four or so
orders of magnitude faster than Forward calls; this change also makes it
easy to notice a mistake that causes something slow to happen in
Reshape.

test net reshaping

default LayerSetUp to no-op instead of NOT_IMPLEMENTED

Now that top blobs are set up in Layer::Reshape, it's Reshape that is
mandatory, and simple layers often don't need to implement LayerSetUp.
Reshape is (already) declared abstract, so not implementing it is a
compile-time error.

call Reshape in Layer::SetUp

Strictly speaking, Reshape doesn't need to be called until the first
Forward call; however, much existing code (especially tests) assumes
that top blobs will be set up in SetUp, so we may as well do it there.

split off Reshape for vision layers

Note that we are dropping some checks from LRN layer. However, these
checks are fairly redundant; something is very wrong if these layers
are producing top blobs that are different sizes than their inputs, and
tests are the right place to catch that. The thing that really should be
checked (that isn't) is that that local_size needs to be odd; this will
be added in a future commit.

split off Reshape for common layers

split off Reshape for neuron layers

split off Reshape for loss layers

split off Reshape for data layers

separate setConvolutionDesc from createConvolutionDesc

separate setTensor4dDesc from createTensor4dDesc

This will make it possible to add reshaping to cuDNN layers.

enable reshaping in the forward pass

Note that calling Reshape when no reshape is necessary should be
effectively a no-op, so this is not a performance regression.

don't reallocate blobs when shrinking memory use

This allows nets to be reshaped very quickly (essentially for free) as
long as sufficient memory has been allocated. Calling Blob::Reshape in
order to free up memory becomes impossible; however, this is not a
normal use case (and deleting blobs does free memory).

add abstract Layer::Reshape, and document the new method protocol

use Blob directly instead of shared_ptr for EltwiseLayer::max_idx_

This is in keeping with #742.

Merge pull request #1104 from shelhamer/conv-comments-tests

Document and Test Convolution

Merge pull request #1100 from cNikolaou/issue1099

Polish mnist + cifar10 examples.

[docs] lenet grooming

[docs] comment ConvolutionLayer

test convolution by random weights for robustness

test convolution against explicit reference implementation

To thoroughly check convolution, the output is compared against a
reference implementation by explicit looping. Simple and group
convolution by the Caffe and cuDNN engines are checked against the
reference.

Updated mnist/readme.md file with additional information.

Update readme.md files of cifar10 and mnist examples. Fixed broken links.

Merge pull request #1093 from CellScope/io-cant-load-error-msg

[fix] Move file reading error checking closer to actual file read command

[Bugfix] Move error checking closer to file read

Previously, if (height > 0 && width > 0) was true, the
cv::resize() function would be called before cv_img_origin was
confirmed valid; if the image file/filename was not valid, this
caused an opencv assert error like this:

terminate called after throwing an instance of 'cv::Exception'
  what():  /tmp/A3p0_4200_32550/batserve/A3p0/glnxa64/OpenCV/modules/imgproc/src/imgwarp.cpp:1725: error: (-215)
  ssize.area() > 0 in function resize

Merge pull request #1088 from shelhamer/fix-solverstate-filename

Fix snapshot filename for solver states

Merge pull request #1091 from ronghanghu/fix_window_data_layer

set up datum size for WindowDataLayer

set up datum size for WindowDataLayer

[fix] snapshot model weights as .caffemodel, solver state as .solverstate

[example] update paths in net surgery

Merge pull request #1083 from longjon/fix-solver-gpu-init

Fix solver GPU initialization order (e.g., training with cuDNN on non-default device)

fix caffe train GPU initialization

Previously, the solver constructed nets before the caffe train tool read
the --gpu flag, which can cause errors due to LayerSetUp executing on
the wrong device (breaking cuDNN, for example).

Merge pull request #1077 from bhack/glog_ppa

Add ppa for gflag and glog

Merge pull request #1076 from kloudkl/cuda-6.5

Update CUDA to version 6.5 in the Travis install script

Fix a little typo

Fix comments

fix spelling error in caffe.proto

fix out-of-date next ID comment for SolverParameter

Update CUDA to version 6.5 in the Travis install script

Add ppa for gflag and glog

Merge pull request #1051 from jeffdonahue/travis-red-errors

restore "red X" build failures in Travis

add -fPIC flag to CMake build

restore "red X" build failures in Travis

Merge pull request #1067 from bhack/lmdb

Get lmdb from openldap

Fix lmbdb travis with openldap

Merge pull request #1053 from jeffdonahue/to3i-elem_max_layer

rebase and fixup #688 from @to3i: elementwise max

Added contrastive loss layer, associated tests, and a siamese network example using shared weights and the contrastive loss.

lint & reduce gradient check stepsize to pass checks

Implemented elementwise max layer

Back-merge to dev for slides

Merge pull request #1052 from shelhamer/caffe-presentation

Caffe tutorial slides

[docs] replace intro slides with caffe tutorial