Cite Adam paper in solver.hpp

Adam solver

This commit implements the Adam solver by Kingma et. al for CPU and
GPU. All solver parameters are defined in the caffe.proto. This also
adds an example for the MNIST dataset.

Merge pull request #2903 from ronghanghu/multi_gpu

Multi-GPU Data Parallelism

Apply mutex only to shared layers and fix NVCC warning

Data Layers Parallel for Multi-GPU

Allow data layers (and also PythonLayer when used as data layer) to be shared
among worker solver's training net, and also test net for future-proof if one
wants to do Multi-GPU testing. Data layers are locked during forward to ensure
sequential forward.

Merge pull request #2909 from jeffdonahue/learnable-param-id-fix

learnable_param_ids_ fix

Merge pull request #2891 from fyu/fix-caffenetpy

fix examples/pycaffe/caffenet.py import

fix for learnable_param_ids_

Merge pull request #2782 from matthiasplappert/adadelta

AdaDelta Solver (v3)

Merge pull request #2873 from gut/master

Fix gist download model and binary scripts

Merge pull request #2897 from Russell91/patch-1

Update net_spec.py

Update net_spec.py

Clean up and modernize AdaDelta code; add learning rate support; add additional test cases

Updated AdaDelta for modern Caffe; reduced iterations on multi-iter tests

Implement AdaDelta; add test cases; add mnist examples

[docs] add multi-gpu usage note to interfaces

Detect topology corner cases and improve broadcast order

- Start with distant nodes in broadcast
- Fix outside loop to loop for full tree depth

Multi-GPU

- Parallelize batches among GPUs and tree-reduce the gradients
- The effective batch size scales with the number of devices
- Batch size is multiplied by the number of devices
- Split batches between GPUs, and tree-reduce the gradients
- Detect machine topology (twin-GPU boards, P2P connectivity)
- Track device in syncedmem (thanks @thatguymike)
- Insert a callback in the solver for minimal code change
- Accept list for gpu flag of caffe tool, e.g. '-gpu 0,1' or '-gpu all'.
  Run on default GPU if no ID given.
- Add multi-GPU solver test
- Deterministic architecture for reproducible runs

Allocate host memory through cudaMallocHost

thanks to discussion by @thatguymike and @flx42

Add DataReader for parallel training with one DB session

- Make sure each solver accesses a different subset of the data
- Sequential reading of DB for performance
- Prefetch a configurable amount of data to host memory
- Distribute data to solvers in round-robin way for determinism

Persistent prefetch thread

Change the way threads are started and stopped

- Interrupt the thread before waiting on join
- Provide a method for looping threads to exit on demand
- CHECK if start and stop succeed instead of returning an error

Thread-local Caffe

Add BlockingQueue for inter-thread communication

from __future__ imports must occur at the beginning of the file

Merge pull request #2887 from shelhamer/solver-test-data

Test solvers on fixed hdf5 data

Use net_->learnable_params() instead of net_->params() in RMSprop

In RMSProp solver, use const vector<Blob<Dtype>*>& net_params = this->net_->learnable_params(); instead of const vector<shared_ptr<Blob<Dtype> > >& net_params = this->net_->params();

Merge pull request #2888 from ronghanghu/rms-prop-fix-tests

Encapsulate kRMSDecay in solver tests

Encapsulate kRMSDecay in solver tests

Instead of introducing another argument kRMSDecay and setting it for every test, this param could be set by the RMSProp test class for encapsulation.

Merge pull request #2867 from ronghanghu/rms-prop

RMSProp clean up and rebase

Implement RMSProp Solver

Implement RMSProp solver and cleaned up to adjust to new solver interface that uses
accumulated gradients and refactored regularization.

TestGradientBasedSolver: replace dummy data with hdf5

Rely on fixed hdf5 data for determinism of solver tests.

- draw random Gaussian data and targets for test and save to hdf5
- use the same data for all tests without constant / gaussian condition
  previously needed for accumulation
- avoid test artifacts due to order of random draws in dummy data

TestGradientBasedSolver: drop doubled seed inititialization

Merge pull request #2813 from longjon/net-spec-imp

Python net spec cleanups and top-less layers

Merge pull request #2886 from jeffdonahue/master

temporarily switch the snapshot_format default back to BINARYPROTO

temporarily switch the snapshot_format default back to BINARYPROTO

out of anticipation for user issues due to issue #2885, which causes
Caffe to crash when it attempts to snapshot nets with duplicate layer
names

Merge pull request #2877 from jeffdonahue/pycaffe-shape-accessor

[pycaffe] add Blob shape accessor

Merge pull request #2866 from jeffdonahue/fix-weight-sharing

Fix weight sharing

Net: add learnable_params_ used by solvers to correctly handle shared params

-Params now share diffs as well as data (works due to layers
accumulating gradients into param diffs, rather than overwriting)
-It's now required that any shared params with specified lr_mult's,
decay_mult's match
-TestGradientBasedSolver checks that behavior remains correct with
shared weights

TestGradientBasedSolver: make tests across solver types more consistent

TestGradientBasedSolver: restore Gaussian filler to all tests except
accumulation one

Merge pull request #2836 from erictzeng/hdf5_snapshot

Snapshot model weights/solver state to HDF5 files

Update example bash scripts to expect .h5, new extensions in .gitignore

TestSnapshot expects .h5 snapshots, explicitly checks history.

Snapshot model weights/solver state to HDF5 files.

Summary of changes:
- HDF5 helper functions were moved into a separate file util/hdf5.cpp
- hdf5_save_nd_dataset now saves n-d blobs, can save diffs instead of
  data
- Minor fix for memory leak in HDF5 functions (delete instead of
  delete[])
- Extra methods have been added to both Net/Solver enabling
  snapshotting and restoring from HDF5 files
- snapshot_format was added to SolverParameters, with possible values
  HDF5 or BINARYPROTO (default HDF5)
- kMaxBlobAxes was reduced to 32 to match the limitations of HDF5

pycaffe: add shape accessor

Merge pull request #2884 from tianzhi0549/patch-1

add [] to "delete pixels".

TestGradientBasedSolver: add TestSnapshot to verify behavior when
restoring net/solver from snapshot

add double_data, double_diff to BlobProto for weights/snapshots saved
when using Dtype == double

Merge pull request #2634 from mlopezantequera/patch-2

Update parse_log.py

add [] to "delete pixels".

see https://isocpp.org/wiki/faq/freestore-mgmt#delete-array-built-ins.

Merge pull request #2880 from koki0702/typo

[docs] Fix layer typo

Fix typo

Merge pull request #2871 from shelhamer/python-layer-arg

[pycaffe] PythonLayer takes parameters by string

PythonLayer takes parameters by string

Merge pull request #2876 from shelhamer/fix-py-include

[pycaffe,build] include Python first in caffe tool

[pytest] open exception file with mode for python3

[pycaffe,build] include Python first in caffe tool

Fix download model binary script to get correct lines on parsing table

The base reference of "bottom" variable was relative to the "top+1" and
not to the whole readlines output. It ended up without all the lines.

That could work for some gists however for the model I was looking for (see
below) the sha1 key was not being parsed, as it was missing the last line.

tested with the following gist:
longjon/1bf3aa1e0b8e788d7e1d

Fix download model script to use zip archive

Currently GitHub is not using tarballs as archive for downloading gists
therefore the script was broken as actually a zip archive was being downloaded.

Merge pull request #2462 from longjon/correct-python-exceptions

Handle Python layer exceptions correctly

Merge pull request #2859 from philkr/image_data

ImageData layer default batch size of 1, and check for zero batch size

ImageData layer default batch size of 1, and check for zero batch size

Merge pull request #2583 from lukeyeager/fix-log-levels

Change log levels in upgrade_proto

Change log levels in upgrade_proto

It's not an error if the upgrade succeeds

Merge pull request #2837 from longjon/contributing-file

Add a CONTRIBUTING.md file, to appear on new Issue/PR pages

[docs] add CONTRIBUTING.md which will appear on GitHub new Issue/PR pages

[docs] fix contrastive loss eq

make documented equation match the correct implementation of the
`max(margin - d, 0)^2` term in the loss. see #2321

[docs] fix lmdb fetch url and path

[docs] clear up PYTHONPATH confusion

Use the same language as the installation page to explain the Python
module path.

reported by @sdemyanov

[pytest] simple test of top-less layers

[pycaffe] net spec layers can have ntop=0

In this case, the Function is returned instead of a Top, which can be
assigned a name if desired.

Thanks @philkr for an earlier implementation of this.

[pycaffe] allow layers to have names different from their first tops

Previously, net spec only allowed names to be assigned to Tops, giving
layers the names of their first tops. Now, names can be assigned to
Functions, which become layer names in serialization. Unnamed Functions
still get named after their first top, if present, or autogenerated, if
not. (This will allow top-less layers in a natural way.)

[pycaffe] add Top._to_proto convenience function

This makes it possible to serialize Functions or Tops with a uniform
interface.

[pycaffe] use a Counter instead of a dict for counting net spec names

[pycaffe] remove dead code

Merge pull request #2807 from Franck-Dernoncourt/patch-1

Fix path to mnist_autoencoder.prototxt

Fix path to mnist_autoencoder.prototxt

[docs] set lmdb url to github mirror

[docs] matlab 2015a compatible

Merge pull request #2740 from philkr/travis_python3

[build] Travis scripts for python3 and pytest for cmake.

Travis scripts for python3 and pytest for cmake. Also fixes CUDA CMake build issue #2722.

[examples] fix link to point to new tutorial notebook

Merge pull request #2762 from kashefy/fix_method_doc

tiny fix in Layer::Backward documentation

tiny fix in Layer::Backward documentation

Merge pull request #2739 from AdamStelmaszczyk/patch-2

One command less in CIFAR10 documentation

Merge pull request #2748 from glebm/patch-1

examples/imagenet: fix broken link

Merge pull request #2750 from yosssi/patch-1

Update net_layer_blob.md

Update net_layer_blob.md

examples/imagenet: fix broken link

Merge pull request #2742 from philkr/absval_warning

Removes a unused variable warning

Removes a unused variable warning

One command less

Also more readable and compatible with format of instructions for MNIST https://github.com/BVLC/caffe/tree/master/examples/mnist

Merge pull request #2712 from semitrivial/master

List protobuf-compiler dependency in the correct place (it is in the …

Merge pull request #2714 from philkr/python3_netspec

Making the net_spec python3 compatible

Making the net_spec python3 compatible

Merge pull request #2716 from lukeyeager/cmake-typos

[build] fix CMake typos

Fix CMake typos

No functional changes, just fixing whitespace errors and typos in
comments

List protobuf-compiler dependency in the correct place (it is in the package managers for both 14.04 and 12.04)

Merge pull request #2676 from lukeyeager/update-docs-boost

[docs] install boost without recommends to avoid conflicts -- close #2454