Merge pull request #2511 from flx42/fix_illegal_mode_changes

Fix invalid mode changes during tests

Merge pull request #1977 from shelhamer/accum-grad

Decouple the computational batch size and minibatch size by accumulating gradients

Merge pull request #2410 from sguada/datum_transform

Datum transform

 Merge pull request #2294 from TorosFanny/master

  [example] fix path for diff in net surgery

[example] fix path for diff in net surgery

Merge pull request #2240 from nsubtil/cmake-build-dependencies

Wrangle (some) Caffe dependencies through CMake

Merge pull request #2468 from Nerei/feature/minor_fix_in_cmake_config_generation

[build] minor Cmake fix to clear python / numpy in CaffeConfig.cmake generation

Merge pull request #2493 from longjon/sketchy-cuda-kernel-loop

Fix dangerous state in pooling and LRN CUDA kernels -- thanks @gustavla for the report in #2145

Merge pull request #2514 from norouzi/master

[bug] fix extract_features: zero pad keys + fix multi-feature dbtype bug

Merge pull request #2505 from ronghanghu/matcaffe3

MatCaffe: overhaul and improve the MATLAB interface

More tests for Blob, Layer, copy_from and step, fix some typos

More testes are added into test_net.m and test_solver.m

Fix automatic header file dependency for MatCaffe

Automatic header file dependency was introduced in #1472, but
not correctly applied to matcaffe. Fix it by moving ./caffe_.d
to build/matlab/+caffe/private/caffe_.d and add it to DEPS

Move demo to demo/ and check weights file existence

Move all Matlab demo to caffe/matlab/demo. Since we want the user to add
caffe/matlab to Matlab search PATH, we don't want to mess it up with too
many files

Check if CaffeNet is already downloaded in classification demo.

Clean up old matcaffe wrapper and rename caffe.reset to caffe.reset_all

Remove old matlab wrapper but keep the classification demo and hdf5 demo

Change 'caffe.reset()' to 'caffe.reset_all()' to avoid potential name conflict.
Otherwise, Matlab R2015a complains:
Warning: Function reset has the same name as a MATLAB builtin. We suggest you rename the
function to avoid a potential name conflict.

Add MatCaffe docs to docs/tutorial/interfaces.md

Aesthetic changes on code style and some minor fix

Fix matlab tailing dimension 1 issue for shape match

Matlab cannot have tailing dimension 1 for ndim > 2, so you
cannot create 20 x 10 x 1 x 1 array in matlab as it becomes 20 x 10.
Extend matlab arrays to have tailing dimension 1 during shape match.

MatCaffe3 : a powerful matlab interface for caffe

Added matcaffe3, a powerful matlab interface. To test it, run 'make mattest'

directly normalize accumulated gradients

`SGDSolver::Normalize()` normalizes accumulated gradients by scaling
inversely to the accumulation as `1 / iter_size`.

This fixes accumulation for AdaGrad and is more obvious than fooling
with rates and decays in 55585f5.

test equivalence of solving with accumulating gradients

Compare the parameters after solving with a given batch size and the
halved batch size + two iter accumulation of gradients equivalent.

Note: the test net dummy data layer now makes constant data and random
gaussian targets. This assures the standard and gradient accumulation
cases check the same data. Otherwise the difference in batch sizes
causes different orders of random number draws.

adjust local learning rate and decay according to gradient accumulation

Divide local rate by `iter_size` to normalize the gradient according to
the full minibatch size and not only the computational batch size.

Multiply the local decay by `iter_size` to counter the division of the
local learning rate since the decay is multiplied by the rate in the
update equation.

accumulate gradients in cudnn conv layer

accumulate gradients in (de)conv layers

accumulate gradients in inner product layer

zero-init param diffs in gradient checker

zero-init param diffs and accumulate gradients

(With layers whose backward accumulates gradients), this effectively
decouples the computational batch from the SGD minibatch. Each
iteration accumulates gradients over iter_size batches, then parameters
are updated.

Merge pull request #2518 from shelhamer/dedup_solvers

Deduplicate solver regularization, logging, and local rates and decays

Solver::MakeUpdate() -> Solver::ApplyUpdate

Designate `Solver::ApplyUpdate()` as the core method to compute
and apply parameter updates given the current state of the Net.

Make `Solver::ComputeUpdateValue()` a subordinate call overloaded by the
`SGDSolver`s to take care of optimization algorithm details.

fix the bug with db_type when the number of features to be extracted is larger than 1

deduplicate decay and local rate in solver updates

Refactor solvers regularization and logging code

add leading zeros to keys in feature DB files

Make class MultinomialLogisticLossLayerTest derive from CPUDeviceTest

Make class CuDNNSoftmaxLayerTest derive from GPUDeviceTest

Make class DummyDataLayerTest derive from CPUDeviceTest

Make class CuDNNPoolingLayerTest derive from GPUDeviceTest

Make class CuDNNConvolutionLayerTest derive from GPUDeviceTest

Make class ArgMaxLayerTest derive from CPUDeviceTest

Make class CuDNNNeuronLayerTest derive from GPUDeviceTest

Make class AccuracyLayerTest derive from CPUDeviceTest

Make class Im2colKernelTest derive from GPUDeviceTest

Add classes GPUDeviceTest and CPUDeviceTest.

These new classes can be used to implement test cases that are only
running on the GPU or the CPU. The goal is to move all calls to
Caffe::set_mode() inside the test framework, to discourage any test to
change the mode halfway through the execution, which is documented to
be illegal.

Split class StochasticPoolingLayerTest into CPUStochasticPoolingLayerTest and GPUStochasticPoolingLayerTest

Merge pull request #1946 from nickcarlevaris/msra_init

  Add MSRAFiller, an Xavier-like filler designed for use with ReLUs

include comment on Saxe and sqrt(2) scaling factor

although different and independent, the derivation of Saxe et
al. with regards to the scaling factor might be of interest.

Added MSRAFiller, an Xavier-like filler designed for use with ReLUs

...instead of tanh. Based on paper: He et al, "Delving Deep into
Rectifiers: Surpassing Human-Level Performance on ImageNet
Classification," 2015.

- add VarianceNorm option to FillerParameters which allows one to
  normalize by fan_in, fan_out or their average.
- update XavierFiller to use the VarianceNorm option (default behavior
  unchanged).
- add tests for MSRAFiller and XavierFiller.

Split class MathFunctionsTest into CPUMathFunctionsTest and GPUMathFunctionsTest

Refactor types FloatCPU and DoubleCPU into a new type CPUDevice<T>

Similarly, FloatGPU and DoubleGPU are replaced by a new type GPUDevice<T>.

Merge pull request #2486 from tiangolo/ipython-notebook-v4

Update IPython Notebooks to version 4, fix #2485

Update python/requirements.txt to have ipython>=3.0.0

more const in LRN layer CUDA kernels

more const in pooling layer CUDA kernels

This treats pointer arguments in the same way as non-pointer arguments,
and should help to avoid issues like the previous dangerous state issue.

avoid dangerous state in LRN layer CUDA kernels

avoid dangerous state in pooling layer CUDA kernels

Previously, pointers were modified with the assumption that they would
only be modified once. While this is true so far in practice, the
introduction of CUDA_KERNEL_LOOP makes this a dangerous assumption.

Merge pull request #2488 from kibum14/master

[docs] fix typos

fix typos in docs

fix typos in install_osx.md and performance_hardware.md

Merge pull request #2484 from ronghanghu/fix-caffe-test

[bug] fix blob_loss_weights index in test() in caffe.cpp

Merge pull request #2482 from longjon/clean-message-comments

Clean up redundant protobuf message comments

Update IPython Notebooks to version 4

fix blob_loss_weights index in test() in caffe.cpp

Correct the index for blob_loss_weights during output. Previously it was set to test_score index by mistake.

clean up redundant message comments

Merge pull request #2466 from ducha-aiki/mvn-less

Remove unnecessary variance computation from backward in MVN layer

Merge pull request #2095 from mtamburrano/skip_propagate_down_param

Added param skip_propagate_down to LayerParameter

Merge pull request #2467 from MartinThoma/moose

Python: Formatted docstrings to numpydoc (Take, Give -> Parameters, Returns)

minor fix in cmake.config generation - do not force client libs to include numpy include dirs

Python: Formatted docstrings to numpydoc (Take, Give -> Parameters, Returns)

Remove unnecessary variance computation from backward in MVN layer

Added "propagate_down" param to LayerParameter

Merge pull request #2274 from Ashwani001/patch-1

Update generate_sample_data.py

Update generate_sample_data.py

made code more clearer and more concise

Merge pull request #2201 from jeffdonahue/tutorial-fixes

Update docs for ND blobs (#1970) and layer type is a string (#1694)

Update docs for ND blobs (#1970) and layer type is a string (#1694)

Merge pull request #2217 from jeffdonahue/ssafar-reshape-rebase

Rebase @ssafar's ReshapeLayer

Add ReshapeParameter axis and num_axes to reshape only a particular span
of the input shape

basic tests (Forward, Gradient) for ReshapeLayer

ReshapeLayer fixups for ND blobs

Added a Reshape layer for copying-free modification of blob dimensions.

Merge pull request #2177 from pgao/spp_layer

Spatial Pyramid Pooling Layer

Spatial Pyramid Pooling Layer

Merge pull request #2115 from longjon/bogus-cross-entropy-gpu

Remove bogus implementation of SigmoidCrossEntropyLossLayer's Forward_gpu

remove bogus implementation of SigmoidCrossEntropyLossLayer::Forward_gpu

It was a verbatim copy of Forward_cpu; there is no proper GPU
implementation.

Merge pull request #1969 from tnarihi/fix-empty-param_name

Fix incorrectly storing empty param_name to param_names_index_

Merge pull request #2168 from longjon/spurious-net-includes

Remove spurious inclusions of net.hpp

Merge pull request #2165 from longjon/auto-reshape

Always call Layer::Reshape in Layer::Forward

Merge pull request #2072 from jeffdonahue/final-snapshot-off-by-one

Bugfix: final snapshot iter number is off by one

Merge pull request #2456 from longjon/python-layer-object

Use bp::object instead of PyObject* for self in Python layer

Merge pull request #2457 from longjon/superfluous-destructors

Remove superfluous empty destructors

remove superfluous empty destructors

The removed definitions do nothing; these classes already have virtual
destructors inherited from their respective base classes.

[pycaffe] use bp::object instead of PyObject* for self in Python layer

This simply allows direct use of the nicer bp::object interface.

Merge pull request #2321 from nickcarlevaris/contrastive_loss_fix

Fixed contrastive loss layer to be the same as proposed in Hadsell et al 2006

Merge pull request #2441 from gustavla/py3-fix

Fixed wrong io import in Python 3

Merge pull request #2443 from MartinThoma/master

python: PEP8; changed docstring documentation style to NumPyDoc style

python: PEP8; changed docstring documentation style to NumPyDoc style

This imports the wrong io module in Python 3.

The Python standard lib has a module called io, so instead of Python 3
throwing an error, it imports the wrong module without complaining.

Merge pull request #2426 from longjon/check-blob-overflow

Check that count does not overflow in Blob::Reshape

check that count_ does not overflow in Blob::Reshape

Merge pull request #2414 from tnarihi/fix-prelu-redanduncy

Fix #2406: wrong thread blocks setting for PReLU

Modify for better readability regarding temporary bufffer for backward
computation

Fix redundancy of parameter backward computation

Added support for original implementation, using (margin - d^2), through the
legacy_version parameter.