test equivalence of solving with accumulating gradients

Compare the parameters after solving with a given batch size and the
halved batch size + two iter accumulation of gradients equivalent.

Note: the test net dummy data layer now makes constant data and random
gaussian targets. This assures the standard and gradient accumulation
cases check the same data. Otherwise the difference in batch sizes
causes different orders of random number draws.

adjust local learning rate and decay according to gradient accumulation

Divide local rate by `iter_size` to normalize the gradient according to
the full minibatch size and not only the computational batch size.

Multiply the local decay by `iter_size` to counter the division of the
local learning rate since the decay is multiplied by the rate in the
update equation.

accumulate gradients in cudnn conv layer

accumulate gradients in (de)conv layers

accumulate gradients in inner product layer

zero-init param diffs in gradient checker

zero-init param diffs and accumulate gradients

(With layers whose backward accumulates gradients), this effectively
decouples the computational batch from the SGD minibatch. Each
iteration accumulates gradients over iter_size batches, then parameters
are updated.

Merge pull request #2518 from shelhamer/dedup_solvers

Deduplicate solver regularization, logging, and local rates and decays

Solver::MakeUpdate() -> Solver::ApplyUpdate

Designate `Solver::ApplyUpdate()` as the core method to compute
and apply parameter updates given the current state of the Net.

Make `Solver::ComputeUpdateValue()` a subordinate call overloaded by the
`SGDSolver`s to take care of optimization algorithm details.

deduplicate decay and local rate in solver updates

Refactor solvers regularization and logging code

Merge pull request #1946 from nickcarlevaris/msra_init

  Add MSRAFiller, an Xavier-like filler designed for use with ReLUs

include comment on Saxe and sqrt(2) scaling factor

although different and independent, the derivation of Saxe et
al. with regards to the scaling factor might be of interest.

Added MSRAFiller, an Xavier-like filler designed for use with ReLUs

...instead of tanh. Based on paper: He et al, "Delving Deep into
Rectifiers: Surpassing Human-Level Performance on ImageNet
Classification," 2015.

- add VarianceNorm option to FillerParameters which allows one to
  normalize by fan_in, fan_out or their average.
- update XavierFiller to use the VarianceNorm option (default behavior
  unchanged).
- add tests for MSRAFiller and XavierFiller.

Merge pull request #2486 from tiangolo/ipython-notebook-v4

Update IPython Notebooks to version 4, fix #2485

Update python/requirements.txt to have ipython>=3.0.0

Merge pull request #2488 from kibum14/master

[docs] fix typos

fix typos in docs

fix typos in install_osx.md and performance_hardware.md

Merge pull request #2484 from ronghanghu/fix-caffe-test

[bug] fix blob_loss_weights index in test() in caffe.cpp

Merge pull request #2482 from longjon/clean-message-comments

Clean up redundant protobuf message comments

Update IPython Notebooks to version 4

fix blob_loss_weights index in test() in caffe.cpp

Correct the index for blob_loss_weights during output. Previously it was set to test_score index by mistake.

clean up redundant message comments

Merge pull request #2466 from ducha-aiki/mvn-less

Remove unnecessary variance computation from backward in MVN layer

Merge pull request #2095 from mtamburrano/skip_propagate_down_param

Added param skip_propagate_down to LayerParameter

Merge pull request #2467 from MartinThoma/moose

Python: Formatted docstrings to numpydoc (Take, Give -> Parameters, Returns)

Python: Formatted docstrings to numpydoc (Take, Give -> Parameters, Returns)

Remove unnecessary variance computation from backward in MVN layer

Added "propagate_down" param to LayerParameter

Merge pull request #2274 from Ashwani001/patch-1

Update generate_sample_data.py

Update generate_sample_data.py

made code more clearer and more concise

Merge pull request #2201 from jeffdonahue/tutorial-fixes

Update docs for ND blobs (#1970) and layer type is a string (#1694)

Update docs for ND blobs (#1970) and layer type is a string (#1694)

Merge pull request #2217 from jeffdonahue/ssafar-reshape-rebase

Rebase @ssafar's ReshapeLayer

Add ReshapeParameter axis and num_axes to reshape only a particular span
of the input shape

basic tests (Forward, Gradient) for ReshapeLayer

ReshapeLayer fixups for ND blobs

Added a Reshape layer for copying-free modification of blob dimensions.

Merge pull request #2177 from pgao/spp_layer

Spatial Pyramid Pooling Layer

Spatial Pyramid Pooling Layer

Merge pull request #2115 from longjon/bogus-cross-entropy-gpu

Remove bogus implementation of SigmoidCrossEntropyLossLayer's Forward_gpu

remove bogus implementation of SigmoidCrossEntropyLossLayer::Forward_gpu

It was a verbatim copy of Forward_cpu; there is no proper GPU
implementation.

Merge pull request #1969 from tnarihi/fix-empty-param_name

Fix incorrectly storing empty param_name to param_names_index_

Merge pull request #2168 from longjon/spurious-net-includes

Remove spurious inclusions of net.hpp

Merge pull request #2165 from longjon/auto-reshape

Always call Layer::Reshape in Layer::Forward

Merge pull request #2072 from jeffdonahue/final-snapshot-off-by-one

Bugfix: final snapshot iter number is off by one

Merge pull request #2456 from longjon/python-layer-object

Use bp::object instead of PyObject* for self in Python layer

Merge pull request #2457 from longjon/superfluous-destructors

Remove superfluous empty destructors

remove superfluous empty destructors

The removed definitions do nothing; these classes already have virtual
destructors inherited from their respective base classes.

[pycaffe] use bp::object instead of PyObject* for self in Python layer

This simply allows direct use of the nicer bp::object interface.

Merge pull request #2321 from nickcarlevaris/contrastive_loss_fix

Fixed contrastive loss layer to be the same as proposed in Hadsell et al 2006

Merge pull request #2441 from gustavla/py3-fix

Fixed wrong io import in Python 3

Merge pull request #2443 from MartinThoma/master

python: PEP8; changed docstring documentation style to NumPyDoc style

python: PEP8; changed docstring documentation style to NumPyDoc style

This imports the wrong io module in Python 3.

The Python standard lib has a module called io, so instead of Python 3
throwing an error, it imports the wrong module without complaining.

Merge pull request #2426 from longjon/check-blob-overflow

Check that count does not overflow in Blob::Reshape

check that count_ does not overflow in Blob::Reshape

Merge pull request #2414 from tnarihi/fix-prelu-redanduncy

Fix #2406: wrong thread blocks setting for PReLU

Modify for better readability regarding temporary bufffer for backward
computation

Fix redundancy of parameter backward computation

Added support for original implementation, using (margin - d^2), through the
legacy_version parameter.

Merge pull request #2369 from jeffdonahue/makefile-link-bugfix

Makefile bugfix: debug/release dir link not toggled properly

Makefile bugfix: OTHER_BUILD_DIR name set incorrectly when empty due to
lazy variable expansion when using the `?=` operator -- change them
to explicit empty string checks with simple assignment operator `:=`.

Merge pull request #2393 from Nerei/feature/minor_cmake_fix

Little CMake fix (can be reviewed and merged quickly)

minor cmake fix - now Caffe complains when cmake is executed if glog/gflags are not found.

Merge pull request #2365 from wakamori/fix_typo_in_gnuplot_example

Typo fix: the label titles in plot_log.gnuplot.example

Import Pandas in HDF5 IPython notebook. Fix for issue BVLC/caffe#2247

Merge pull request #2370 from gdh1995/master

move CPU_ONLY to right place

Net::Update: CPU_ONLY is in wrong place

fix a typo that GFLAGS_GFLAGS_H_ -> GFLAGS_GFAGS_H_

fix typo: swap the titles of xlabel and ylabel

Merge pull request #2352 from pgao/rcnn-fix

Fix RCNN model fetching script

Merge pull request #2330 from flx42/include_config_file_check

clarify Makefile.config check

Fix RCNN model fetching script

added epsilon to prevent possible division by zero in gradient calculation

Abort Makefile parsing if the configuration file cannot be found.

set default DISTRIBUTE_DIR -- fix #2328

Fixed contrastive loss layer to be the same as proposed in Hadsell et al 2006

Merge pull request #2295 from akiomik/patch-1

[docs] fix brew command for OS X install

improved installation for osx

Merge pull request #2287 from eerwitt/web-demo-import

[example] change `import Image` for forward compatibility

Changing Image import to be imported from PIL.

Update generate_sample_data.py

Changed os.path.dirname(__file__) as it was returning empty...

[docs] switch lmdb url for manual install, tweak formatting

Merge pull request #2224 from small-yellow-duck/master

[build] check if CPU_ONLY is set when determining CUDA version

Merge pull request #2231 from tnarihi/fix-travis-miniconda

Fix Travis: no need to remove libm in new Miniconda

Fix: libm.* doesn not exist

Check if CPU_ONLY is set when determining CUDA version

Previously, CUDA_VERSION would appear to be < 7 if there was no CUDA
installed, and that would generate the wrong C++ flags for compiling on
recent OSX versions. Instead, skip the CUDA version check if CPU_ONLY is
set. This change only affects CPU_ONLY installations.

Merge pull request #2192 from lukeyeager/remove-scikit-learn

Remove scikit-learn dependency -- the need is noted in the relevant example

Merge pull request #2199 from lukeyeager/downgrade-pillow

Downgrade Pillow pip requirement

Merge pull request #2211 from nsubtil/fix-cudnn-algo

Fallback to different cuDNN algorithm when under memory pressure; fix #2197

Fallback to different cuDNN algorithm when under memory pressure

CUDNN_CONVOLUTION_FWD_PREFER_FASTEST requires a lot of GPU memory, which may
not always be available. Add a fallback path that uses
CUDNN_CONVOLUTION_FWD_ALGO_IMPLICIT_GEMM when the allocation fails.

Downgrade Pillow pip requirement

2.7.0 isn't really necessary - 2.3.0 is sufficient. This is the version
available on Ubuntu 14.04 via apt-get, and seems to be a reasonable lowest
common denominator in general.

http://pillow.readthedocs.org/installation.html#old-versions

Merge pull request #2160 from TorosFanny/master

change resorce to resource

Add note in example about installing scikit-learn

Remove scikit-learn dependency

Merge pull request #2038 from shelhamer/cudnn-r2

cuDNN v2

note cuDNN v2 convolutional TODOs

cuDNN pooling can pad now