Allocate host memory through cudaMallocHost

thanks to discussion by @thatguymike and @flx42

Add DataReader for parallel training with one DB session

- Make sure each solver accesses a different subset of the data
- Sequential reading of DB for performance
- Prefetch a configurable amount of data to host memory
- Distribute data to solvers in round-robin way for determinism

Persistent prefetch thread

Change the way threads are started and stopped

- Interrupt the thread before waiting on join
- Provide a method for looping threads to exit on demand
- CHECK if start and stop succeed instead of returning an error

Thread-local Caffe

Add BlockingQueue for inter-thread communication

Merge pull request #2887 from shelhamer/solver-test-data

Test solvers on fixed hdf5 data

Use net_->learnable_params() instead of net_->params() in RMSprop

In RMSProp solver, use const vector<Blob<Dtype>*>& net_params = this->net_->learnable_params(); instead of const vector<shared_ptr<Blob<Dtype> > >& net_params = this->net_->params();

Merge pull request #2888 from ronghanghu/rms-prop-fix-tests

Encapsulate kRMSDecay in solver tests

Encapsulate kRMSDecay in solver tests

Instead of introducing another argument kRMSDecay and setting it for every test, this param could be set by the RMSProp test class for encapsulation.

Merge pull request #2867 from ronghanghu/rms-prop

RMSProp clean up and rebase

Implement RMSProp Solver

Implement RMSProp solver and cleaned up to adjust to new solver interface that uses
accumulated gradients and refactored regularization.

TestGradientBasedSolver: replace dummy data with hdf5

Rely on fixed hdf5 data for determinism of solver tests.

- draw random Gaussian data and targets for test and save to hdf5
- use the same data for all tests without constant / gaussian condition
  previously needed for accumulation
- avoid test artifacts due to order of random draws in dummy data

TestGradientBasedSolver: drop doubled seed inititialization

Merge pull request #2813 from longjon/net-spec-imp

Python net spec cleanups and top-less layers

Merge pull request #2886 from jeffdonahue/master

temporarily switch the snapshot_format default back to BINARYPROTO

temporarily switch the snapshot_format default back to BINARYPROTO

out of anticipation for user issues due to issue #2885, which causes
Caffe to crash when it attempts to snapshot nets with duplicate layer
names

Merge pull request #2877 from jeffdonahue/pycaffe-shape-accessor

[pycaffe] add Blob shape accessor

Merge pull request #2866 from jeffdonahue/fix-weight-sharing

Fix weight sharing

Net: add learnable_params_ used by solvers to correctly handle shared params

-Params now share diffs as well as data (works due to layers
accumulating gradients into param diffs, rather than overwriting)
-It's now required that any shared params with specified lr_mult's,
decay_mult's match
-TestGradientBasedSolver checks that behavior remains correct with
shared weights

TestGradientBasedSolver: make tests across solver types more consistent

TestGradientBasedSolver: restore Gaussian filler to all tests except
accumulation one

Merge pull request #2836 from erictzeng/hdf5_snapshot

Snapshot model weights/solver state to HDF5 files

Update example bash scripts to expect .h5, new extensions in .gitignore

TestSnapshot expects .h5 snapshots, explicitly checks history.

Snapshot model weights/solver state to HDF5 files.

Summary of changes:
- HDF5 helper functions were moved into a separate file util/hdf5.cpp
- hdf5_save_nd_dataset now saves n-d blobs, can save diffs instead of
  data
- Minor fix for memory leak in HDF5 functions (delete instead of
  delete[])
- Extra methods have been added to both Net/Solver enabling
  snapshotting and restoring from HDF5 files
- snapshot_format was added to SolverParameters, with possible values
  HDF5 or BINARYPROTO (default HDF5)
- kMaxBlobAxes was reduced to 32 to match the limitations of HDF5

pycaffe: add shape accessor

Merge pull request #2884 from tianzhi0549/patch-1

add [] to "delete pixels".

TestGradientBasedSolver: add TestSnapshot to verify behavior when
restoring net/solver from snapshot

add double_data, double_diff to BlobProto for weights/snapshots saved
when using Dtype == double

Merge pull request #2634 from mlopezantequera/patch-2

Update parse_log.py

add [] to "delete pixels".

see https://isocpp.org/wiki/faq/freestore-mgmt#delete-array-built-ins.

Merge pull request #2880 from koki0702/typo

[docs] Fix layer typo

Fix typo

Merge pull request #2871 from shelhamer/python-layer-arg

[pycaffe] PythonLayer takes parameters by string

PythonLayer takes parameters by string

Merge pull request #2876 from shelhamer/fix-py-include

[pycaffe,build] include Python first in caffe tool

[pytest] open exception file with mode for python3

[pycaffe,build] include Python first in caffe tool

Merge pull request #2462 from longjon/correct-python-exceptions

Handle Python layer exceptions correctly

Merge pull request #2859 from philkr/image_data

ImageData layer default batch size of 1, and check for zero batch size

ImageData layer default batch size of 1, and check for zero batch size

Merge pull request #2583 from lukeyeager/fix-log-levels

Change log levels in upgrade_proto

Change log levels in upgrade_proto

It's not an error if the upgrade succeeds

Merge pull request #2837 from longjon/contributing-file

Add a CONTRIBUTING.md file, to appear on new Issue/PR pages

[docs] add CONTRIBUTING.md which will appear on GitHub new Issue/PR pages

[docs] fix contrastive loss eq

make documented equation match the correct implementation of the
`max(margin - d, 0)^2` term in the loss. see #2321

[docs] fix lmdb fetch url and path

[docs] clear up PYTHONPATH confusion

Use the same language as the installation page to explain the Python
module path.

reported by @sdemyanov

[pytest] simple test of top-less layers

[pycaffe] net spec layers can have ntop=0

In this case, the Function is returned instead of a Top, which can be
assigned a name if desired.

Thanks @philkr for an earlier implementation of this.

[pycaffe] allow layers to have names different from their first tops

Previously, net spec only allowed names to be assigned to Tops, giving
layers the names of their first tops. Now, names can be assigned to
Functions, which become layer names in serialization. Unnamed Functions
still get named after their first top, if present, or autogenerated, if
not. (This will allow top-less layers in a natural way.)

[pycaffe] add Top._to_proto convenience function

This makes it possible to serialize Functions or Tops with a uniform
interface.

[pycaffe] use a Counter instead of a dict for counting net spec names

[pycaffe] remove dead code

Merge pull request #2807 from Franck-Dernoncourt/patch-1

Fix path to mnist_autoencoder.prototxt

Fix path to mnist_autoencoder.prototxt

[docs] set lmdb url to github mirror

[docs] matlab 2015a compatible

Merge pull request #2740 from philkr/travis_python3

[build] Travis scripts for python3 and pytest for cmake.

Travis scripts for python3 and pytest for cmake. Also fixes CUDA CMake build issue #2722.

[examples] fix link to point to new tutorial notebook

Merge pull request #2762 from kashefy/fix_method_doc

tiny fix in Layer::Backward documentation

tiny fix in Layer::Backward documentation

Merge pull request #2739 from AdamStelmaszczyk/patch-2

One command less in CIFAR10 documentation

Merge pull request #2748 from glebm/patch-1

examples/imagenet: fix broken link

Merge pull request #2750 from yosssi/patch-1

Update net_layer_blob.md

Update net_layer_blob.md

examples/imagenet: fix broken link

Merge pull request #2742 from philkr/absval_warning

Removes a unused variable warning

Removes a unused variable warning

One command less

Also more readable and compatible with format of instructions for MNIST https://github.com/BVLC/caffe/tree/master/examples/mnist

Merge pull request #2712 from semitrivial/master

List protobuf-compiler dependency in the correct place (it is in the …

Merge pull request #2714 from philkr/python3_netspec

Making the net_spec python3 compatible

Making the net_spec python3 compatible

Merge pull request #2716 from lukeyeager/cmake-typos

[build] fix CMake typos

Fix CMake typos

No functional changes, just fixing whitespace errors and typos in
comments

List protobuf-compiler dependency in the correct place (it is in the package managers for both 14.04 and 12.04)

Merge pull request #2676 from lukeyeager/update-docs-boost

[docs] install boost without recommends to avoid conflicts -- close #2454

Update installation docs for boost - close #2454

Merge pull request #2213 from tnarihi/bilinear-upsampling-filler

add bilinear interpolation filler

bilinear filler -- useful for interpolation with DeconvolutionLayer

This filler is a convenience for interpolating with DeconvolutionLayer
or smoothing + downsampling with ConvolutionLayer for stride > 1.

Merge pull request #2667 from BVLC/tutorial

bundle CVPR15 tutorial notebooks

[examples] add Euclidean loss PythonLayer

[examples] sequence and revise notebooks

- combine classification + filter visualization
- order by classification, learning LeNet, brewing logreg, and
  fine-tuning to flickr style
- improve flow of content in classification + filter visualization
- include solver needed for learning LeNet
- edit notebook descriptions for site catalogue

[examples] flickr fine-tuning notebook

[examples] draft Python solving example

Merge pull request #2086 from longjon/python-net-spec

Python net specification

[pytest] minimal testing of net specification

[examples] caffenet python spec

[pycaffe] basic net specification

Merge pull request #2611 from dpaiton/test_net_bugfix

[compatibility] fix syntax for old protobuf

copyright 2015

Merge pull request #2579 from lukeyeager/draw-fix

small platform-specific bugfix for draw.py

Merge pull request #2636 from berleon/master

fixed _force_color check, fixes #2635

fixed _force_color check, fixes #2635

Update parse_log.py

Correct parsing (exponential notation learning rates were not being interpreted correctly)

Merge pull request #2609 from lukeyeager/doc-fixes

[docs] fix "the life of a branch" formatting

fixed two bugs with prototext format

The first bug was in InitUnsharedWeightsNet. Proto var was of type
ostringstream, which converted the bool bias_term into an int. I
wrote an inline conditional to convert the term into a string.
This allows backwards compatibility with earlier prototext
versions (e.g. version 2.3.0 on Redhat was failing without this).

The second bug was in the syntax for repeated bool parameters,
assigned to the propagate_down parameter. The style used for e.g.
propagate_down: [true,true] does not work with earlier prototext
versions (failed with version 2.3.0 on Redhat). New syntax works
for all versions.

Fix HTML display for docs

Doesn't change display in Markdown