[examples] add Euclidean loss PythonLayer

[examples] sequence and revise notebooks

- combine classification + filter visualization
- order by classification, learning LeNet, brewing logreg, and
  fine-tuning to flickr style
- improve flow of content in classification + filter visualization
- include solver needed for learning LeNet
- edit notebook descriptions for site catalogue

[examples] flickr fine-tuning notebook

[examples] draft Python solving example

Merge pull request #2086 from longjon/python-net-spec

Python net specification

[pytest] minimal testing of net specification

[examples] caffenet python spec

[pycaffe] basic net specification

Merge pull request #2611 from dpaiton/test_net_bugfix

[compatibility] fix syntax for old protobuf

copyright 2015

Merge pull request #2579 from lukeyeager/draw-fix

small platform-specific bugfix for draw.py

Merge pull request #2636 from berleon/master

fixed _force_color check, fixes #2635

fixed _force_color check, fixes #2635

Merge pull request #2609 from lukeyeager/doc-fixes

[docs] fix "the life of a branch" formatting

fixed two bugs with prototext format

The first bug was in InitUnsharedWeightsNet. Proto var was of type
ostringstream, which converted the bool bias_term into an int. I
wrote an inline conditional to convert the term into a string.
This allows backwards compatibility with earlier prototext
versions (e.g. version 2.3.0 on Redhat was failing without this).

The second bug was in the syntax for repeated bool parameters,
assigned to the propagate_down parameter. The style used for e.g.
propagate_down: [true,true] does not work with earlier prototext
versions (failed with version 2.3.0 on Redhat). New syntax works
for all versions.

Fix HTML display for docs

Doesn't change display in Markdown

Merge pull request #2605 from ajschumacher/patch-2

typo: "a fixed steps" to "at fixed steps"

typo: "a fixed steps" to "at fixed steps"

fixing in the correct place as per @shelhamer's advice from #2602

Merge pull request #2278 from sguada/db_split

Db split

[docs] drop out-of-date reference to dev branch

Small platform-specific bugfix for draw.py

Close #2376

On Gentoo and CentOS (and others?), you get this error:
    Warning: /tmp/tmpjqPQBC:6: string ran past end of line

Split db.hpp into leveldb_db.hpp and lmdb_db.hpp

Merge pull request #2551 from ShaggO/loglayer

LogLayer gpu functionality moved to .cu file

LogLayer gpu functionality moved to .cu file

[bug] fix double instantiation of GPU methods in LogLayer

Merge pull request #2089 from jeffdonahue/reduction-layer

ReductionLayer

Add ReductionLayer to reduce any number of "tail" axes to a scalar value

Currently implements operations SUM, MEAN, ASUM (sum of absolute
values), and SUMSQ (sum of squares)

Merge pull request #2082 from jeffdonahue/flatten-layer-axis

FlattenLayer gets a FlattenParameter with an axis, end_axis

FlattenLayer gets a FlattenParameter with an axis, end_axis

Merge pull request #2090 from jeffdonahue/log-layer

LogLayer

Add LogLayer

Merge pull request #2054 from mtamburrano/filter_layer_rebased

FilterLayer cleanup and bugfix for GPU backward

-caffe_set -> caffe_gpu_set (backward was segfaulting before)
-remove uses of 'offset' (to support >4D blobs)
-change var++ -> ++var (per Google style guide)
-cleanup comments/whitespace

Filter Layer implemented

Merge pull request #2532 from shelhamer/accum-prelu

PReLU accumulates grad

Merge pull request #2536 from kibum14/master

Remove unnecessary filler parameter in the sample model

Remove unnecessary filler parameter in the sample model

In bvlc_googlenet model, unnecessary filler parameters, 'std', were used
for Xavier weight fillers.

PReLU accumulates grad

Merge pull request #2245 from dwt/add_homebrew_comments_to_makefile_config_example

[build] add commented out helpers for homebrew users

Merge pull request #2064 from drohit92/patch-1

[docs] fix solverstate filename in ImageNet example

Merge pull request #2163 from jeffdonahue/slice-concat-kernels

CUDA kernels for {Slice,Concat}Layer

Merge pull request #2107 from 5kg/fix_mac_doc

[docs] fix OS X homebrew commands

Merge pull request #2400 from cnDelbert/master

Correct the REPO_DIRNAME in `examples/web_demo/app.py`

Merge pull request #2350 from drdan14/log-parser-python-improved

Python log parser improvements

Merge pull request #2522 from MartinThoma/moose

[pycaffe] groom caffe.draw and draw_net.py

Merge pull request #2498 from flx42/cpp_classification_example

Add a simple C++ classification example

Merge pull request #2528 from shelhamer/travis-lmdb-git

Fix lmdb install for travis

Merge pull request #2527 from ronghanghu/matcaffe-update-mean-format

switch ilsvrc_2012_mean.mat to W x H x C, update demo and add comments

[travis] install lmdb through git mirror

switch to github mirror of latest tag as tarball to fix stale url.

Update ilsvrc_2012_mean.mat to W x H x C, update demo and add comments

Update previously ilsvrc_2012_mean.mat stores 'image_mean' variable in
H x W x C with BGR channels, which is inconsistent with Caffe's data format
and inconsistent with caffe.io.read_mean(..). Replace 'image_mean' with
'mean_data' variable in W x H x C and update classification_demo.m. Also add
some comments.

Merge pull request #2511 from flx42/fix_illegal_mode_changes

Fix invalid mode changes during tests

Merge pull request #1977 from shelhamer/accum-grad

Decouple the computational batch size and minibatch size by accumulating gradients

Add a simple C++ classification example

Closes #2487

Example usage:
./build/examples/cpp_classification/classification.bin \
  models/bvlc_reference_caffenet/deploy.prototxt \
  models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel \
  data/ilsvrc12/imagenet_mean.binaryproto \
  data/ilsvrc12/synset_words.txt \
  examples/images/cat.jpg

Merge pull request #2410 from sguada/datum_transform

Datum transform

 Merge pull request #2294 from TorosFanny/master

  [example] fix path for diff in net surgery

[example] fix path for diff in net surgery

Merge pull request #2240 from nsubtil/cmake-build-dependencies

Wrangle (some) Caffe dependencies through CMake

Merge pull request #2468 from Nerei/feature/minor_fix_in_cmake_config_generation

[build] minor Cmake fix to clear python / numpy in CaffeConfig.cmake generation

Merge pull request #2493 from longjon/sketchy-cuda-kernel-loop

Fix dangerous state in pooling and LRN CUDA kernels -- thanks @gustavla for the report in #2145

Merge pull request #2514 from norouzi/master

[bug] fix extract_features: zero pad keys + fix multi-feature dbtype bug

Merge pull request #2505 from ronghanghu/matcaffe3

MatCaffe: overhaul and improve the MATLAB interface

More tests for Blob, Layer, copy_from and step, fix some typos

More testes are added into test_net.m and test_solver.m

Fix automatic header file dependency for MatCaffe

Automatic header file dependency was introduced in #1472, but
not correctly applied to matcaffe. Fix it by moving ./caffe_.d
to build/matlab/+caffe/private/caffe_.d and add it to DEPS

Move demo to demo/ and check weights file existence

Move all Matlab demo to caffe/matlab/demo. Since we want the user to add
caffe/matlab to Matlab search PATH, we don't want to mess it up with too
many files

Check if CaffeNet is already downloaded in classification demo.

Clean up old matcaffe wrapper and rename caffe.reset to caffe.reset_all

Remove old matlab wrapper but keep the classification demo and hdf5 demo

Change 'caffe.reset()' to 'caffe.reset_all()' to avoid potential name conflict.
Otherwise, Matlab R2015a complains:
Warning: Function reset has the same name as a MATLAB builtin. We suggest you rename the
function to avoid a potential name conflict.

Add MatCaffe docs to docs/tutorial/interfaces.md

Aesthetic changes on code style and some minor fix

Fix matlab tailing dimension 1 issue for shape match

Matlab cannot have tailing dimension 1 for ndim > 2, so you
cannot create 20 x 10 x 1 x 1 array in matlab as it becomes 20 x 10.
Extend matlab arrays to have tailing dimension 1 during shape match.

MatCaffe3 : a powerful matlab interface for caffe

Added matcaffe3, a powerful matlab interface. To test it, run 'make mattest'

directly normalize accumulated gradients

`SGDSolver::Normalize()` normalizes accumulated gradients by scaling
inversely to the accumulation as `1 / iter_size`.

This fixes accumulation for AdaGrad and is more obvious than fooling
with rates and decays in 55585f5.

test equivalence of solving with accumulating gradients

Compare the parameters after solving with a given batch size and the
halved batch size + two iter accumulation of gradients equivalent.

Note: the test net dummy data layer now makes constant data and random
gaussian targets. This assures the standard and gradient accumulation
cases check the same data. Otherwise the difference in batch sizes
causes different orders of random number draws.

python/draw_net.py and python/caffe/draw.py: Simplified code; added more docstrings; adjusted code according to PEP8

adjust local learning rate and decay according to gradient accumulation

Divide local rate by `iter_size` to normalize the gradient according to
the full minibatch size and not only the computational batch size.

Multiply the local decay by `iter_size` to counter the division of the
local learning rate since the decay is multiplied by the rate in the
update equation.

accumulate gradients in cudnn conv layer

accumulate gradients in (de)conv layers

accumulate gradients in inner product layer

zero-init param diffs in gradient checker

zero-init param diffs and accumulate gradients

(With layers whose backward accumulates gradients), this effectively
decouples the computational batch from the SGD minibatch. Each
iteration accumulates gradients over iter_size batches, then parameters
are updated.

Merge pull request #2518 from shelhamer/dedup_solvers

Deduplicate solver regularization, logging, and local rates and decays

Solver::MakeUpdate() -> Solver::ApplyUpdate

Designate `Solver::ApplyUpdate()` as the core method to compute
and apply parameter updates given the current state of the Net.

Make `Solver::ComputeUpdateValue()` a subordinate call overloaded by the
`SGDSolver`s to take care of optimization algorithm details.

fix the bug with db_type when the number of features to be extracted is larger than 1

deduplicate decay and local rate in solver updates

Refactor solvers regularization and logging code

add leading zeros to keys in feature DB files

Make class MultinomialLogisticLossLayerTest derive from CPUDeviceTest

Make class CuDNNSoftmaxLayerTest derive from GPUDeviceTest

Make class DummyDataLayerTest derive from CPUDeviceTest

Make class CuDNNPoolingLayerTest derive from GPUDeviceTest

Make class CuDNNConvolutionLayerTest derive from GPUDeviceTest

Make class ArgMaxLayerTest derive from CPUDeviceTest

Make class CuDNNNeuronLayerTest derive from GPUDeviceTest

Make class AccuracyLayerTest derive from CPUDeviceTest

Make class Im2colKernelTest derive from GPUDeviceTest

Add classes GPUDeviceTest and CPUDeviceTest.

These new classes can be used to implement test cases that are only
running on the GPU or the CPU. The goal is to move all calls to
Caffe::set_mode() inside the test framework, to discourage any test to
change the mode halfway through the execution, which is documented to
be illegal.

Split class StochasticPoolingLayerTest into CPUStochasticPoolingLayerTest and GPUStochasticPoolingLayerTest

Merge pull request #1946 from nickcarlevaris/msra_init

  Add MSRAFiller, an Xavier-like filler designed for use with ReLUs

include comment on Saxe and sqrt(2) scaling factor

although different and independent, the derivation of Saxe et
al. with regards to the scaling factor might be of interest.

Added MSRAFiller, an Xavier-like filler designed for use with ReLUs

...instead of tanh. Based on paper: He et al, "Delving Deep into
Rectifiers: Surpassing Human-Level Performance on ImageNet
Classification," 2015.

- add VarianceNorm option to FillerParameters which allows one to
  normalize by fan_in, fan_out or their average.
- update XavierFiller to use the VarianceNorm option (default behavior
  unchanged).
- add tests for MSRAFiller and XavierFiller.

Split class MathFunctionsTest into CPUMathFunctionsTest and GPUMathFunctionsTest

Refactor types FloatCPU and DoubleCPU into a new type CPUDevice<T>

Similarly, FloatGPU and DoubleGPU are replaced by a new type GPUDevice<T>.