[pytest] simple test of top-less layers

[pycaffe] net spec layers can have ntop=0

In this case, the Function is returned instead of a Top, which can be
assigned a name if desired.

Thanks @philkr for an earlier implementation of this.

[pycaffe] allow layers to have names different from their first tops

Previously, net spec only allowed names to be assigned to Tops, giving
layers the names of their first tops. Now, names can be assigned to
Functions, which become layer names in serialization. Unnamed Functions
still get named after their first top, if present, or autogenerated, if
not. (This will allow top-less layers in a natural way.)

[pycaffe] add Top._to_proto convenience function

This makes it possible to serialize Functions or Tops with a uniform
interface.

[pycaffe] use a Counter instead of a dict for counting net spec names

[pycaffe] remove dead code

Merge pull request #2748 from glebm/patch-1

examples/imagenet: fix broken link

Merge pull request #2750 from yosssi/patch-1

Update net_layer_blob.md

Update net_layer_blob.md

examples/imagenet: fix broken link

Merge pull request #2742 from philkr/absval_warning

Removes a unused variable warning

Removes a unused variable warning

Merge pull request #2712 from semitrivial/master

List protobuf-compiler dependency in the correct place (it is in the …

Merge pull request #2714 from philkr/python3_netspec

Making the net_spec python3 compatible

Making the net_spec python3 compatible

Merge pull request #2716 from lukeyeager/cmake-typos

[build] fix CMake typos

Fix CMake typos

No functional changes, just fixing whitespace errors and typos in
comments

List protobuf-compiler dependency in the correct place (it is in the package managers for both 14.04 and 12.04)

Merge pull request #2676 from lukeyeager/update-docs-boost

[docs] install boost without recommends to avoid conflicts -- close #2454

Update installation docs for boost - close #2454

Merge pull request #2213 from tnarihi/bilinear-upsampling-filler

add bilinear interpolation filler

bilinear filler -- useful for interpolation with DeconvolutionLayer

This filler is a convenience for interpolating with DeconvolutionLayer
or smoothing + downsampling with ConvolutionLayer for stride > 1.

Merge pull request #2667 from BVLC/tutorial

bundle CVPR15 tutorial notebooks

[examples] add Euclidean loss PythonLayer

[examples] sequence and revise notebooks

- combine classification + filter visualization
- order by classification, learning LeNet, brewing logreg, and
  fine-tuning to flickr style
- improve flow of content in classification + filter visualization
- include solver needed for learning LeNet
- edit notebook descriptions for site catalogue

[examples] flickr fine-tuning notebook

[examples] draft Python solving example

Merge pull request #2086 from longjon/python-net-spec

Python net specification

[pytest] minimal testing of net specification

[examples] caffenet python spec

[pycaffe] basic net specification

Merge pull request #2611 from dpaiton/test_net_bugfix

[compatibility] fix syntax for old protobuf

copyright 2015

Merge pull request #2579 from lukeyeager/draw-fix

small platform-specific bugfix for draw.py

Merge pull request #2636 from berleon/master

fixed _force_color check, fixes #2635

fixed _force_color check, fixes #2635

Merge pull request #2609 from lukeyeager/doc-fixes

[docs] fix "the life of a branch" formatting

fixed two bugs with prototext format

The first bug was in InitUnsharedWeightsNet. Proto var was of type
ostringstream, which converted the bool bias_term into an int. I
wrote an inline conditional to convert the term into a string.
This allows backwards compatibility with earlier prototext
versions (e.g. version 2.3.0 on Redhat was failing without this).

The second bug was in the syntax for repeated bool parameters,
assigned to the propagate_down parameter. The style used for e.g.
propagate_down: [true,true] does not work with earlier prototext
versions (failed with version 2.3.0 on Redhat). New syntax works
for all versions.

Fix HTML display for docs

Doesn't change display in Markdown

Merge pull request #2605 from ajschumacher/patch-2

typo: "a fixed steps" to "at fixed steps"

typo: "a fixed steps" to "at fixed steps"

fixing in the correct place as per @shelhamer's advice from #2602

Merge pull request #2278 from sguada/db_split

Db split

[docs] drop out-of-date reference to dev branch

Small platform-specific bugfix for draw.py

Close #2376

On Gentoo and CentOS (and others?), you get this error:
    Warning: /tmp/tmpjqPQBC:6: string ran past end of line

Split db.hpp into leveldb_db.hpp and lmdb_db.hpp

Merge pull request #2551 from ShaggO/loglayer

LogLayer gpu functionality moved to .cu file

LogLayer gpu functionality moved to .cu file

[bug] fix double instantiation of GPU methods in LogLayer

Merge pull request #2089 from jeffdonahue/reduction-layer

ReductionLayer

Add ReductionLayer to reduce any number of "tail" axes to a scalar value

Currently implements operations SUM, MEAN, ASUM (sum of absolute
values), and SUMSQ (sum of squares)

Merge pull request #2082 from jeffdonahue/flatten-layer-axis

FlattenLayer gets a FlattenParameter with an axis, end_axis

FlattenLayer gets a FlattenParameter with an axis, end_axis

Merge pull request #2090 from jeffdonahue/log-layer

LogLayer

Add LogLayer

Merge pull request #2054 from mtamburrano/filter_layer_rebased

FilterLayer cleanup and bugfix for GPU backward

-caffe_set -> caffe_gpu_set (backward was segfaulting before)
-remove uses of 'offset' (to support >4D blobs)
-change var++ -> ++var (per Google style guide)
-cleanup comments/whitespace

Filter Layer implemented

Merge pull request #2532 from shelhamer/accum-prelu

PReLU accumulates grad

Merge pull request #2536 from kibum14/master

Remove unnecessary filler parameter in the sample model

Remove unnecessary filler parameter in the sample model

In bvlc_googlenet model, unnecessary filler parameters, 'std', were used
for Xavier weight fillers.

PReLU accumulates grad

Merge pull request #2245 from dwt/add_homebrew_comments_to_makefile_config_example

[build] add commented out helpers for homebrew users

Merge pull request #2064 from drohit92/patch-1

[docs] fix solverstate filename in ImageNet example

Merge pull request #2163 from jeffdonahue/slice-concat-kernels

CUDA kernels for {Slice,Concat}Layer

Merge pull request #2107 from 5kg/fix_mac_doc

[docs] fix OS X homebrew commands

Merge pull request #2400 from cnDelbert/master

Correct the REPO_DIRNAME in `examples/web_demo/app.py`

Merge pull request #2350 from drdan14/log-parser-python-improved

Python log parser improvements

Merge pull request #2522 from MartinThoma/moose

[pycaffe] groom caffe.draw and draw_net.py

Merge pull request #2498 from flx42/cpp_classification_example

Add a simple C++ classification example

Merge pull request #2528 from shelhamer/travis-lmdb-git

Fix lmdb install for travis

Merge pull request #2527 from ronghanghu/matcaffe-update-mean-format

switch ilsvrc_2012_mean.mat to W x H x C, update demo and add comments

[travis] install lmdb through git mirror

switch to github mirror of latest tag as tarball to fix stale url.

Update ilsvrc_2012_mean.mat to W x H x C, update demo and add comments

Update previously ilsvrc_2012_mean.mat stores 'image_mean' variable in
H x W x C with BGR channels, which is inconsistent with Caffe's data format
and inconsistent with caffe.io.read_mean(..). Replace 'image_mean' with
'mean_data' variable in W x H x C and update classification_demo.m. Also add
some comments.

Merge pull request #2511 from flx42/fix_illegal_mode_changes

Fix invalid mode changes during tests

Merge pull request #1977 from shelhamer/accum-grad

Decouple the computational batch size and minibatch size by accumulating gradients

Add a simple C++ classification example

Closes #2487

Example usage:
./build/examples/cpp_classification/classification.bin \
  models/bvlc_reference_caffenet/deploy.prototxt \
  models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel \
  data/ilsvrc12/imagenet_mean.binaryproto \
  data/ilsvrc12/synset_words.txt \
  examples/images/cat.jpg

Merge pull request #2410 from sguada/datum_transform

Datum transform

 Merge pull request #2294 from TorosFanny/master

  [example] fix path for diff in net surgery

[example] fix path for diff in net surgery

Merge pull request #2240 from nsubtil/cmake-build-dependencies

Wrangle (some) Caffe dependencies through CMake

Merge pull request #2468 from Nerei/feature/minor_fix_in_cmake_config_generation

[build] minor Cmake fix to clear python / numpy in CaffeConfig.cmake generation

Merge pull request #2493 from longjon/sketchy-cuda-kernel-loop

Fix dangerous state in pooling and LRN CUDA kernels -- thanks @gustavla for the report in #2145

Merge pull request #2514 from norouzi/master

[bug] fix extract_features: zero pad keys + fix multi-feature dbtype bug

Merge pull request #2505 from ronghanghu/matcaffe3

MatCaffe: overhaul and improve the MATLAB interface

More tests for Blob, Layer, copy_from and step, fix some typos

More testes are added into test_net.m and test_solver.m

Fix automatic header file dependency for MatCaffe

Automatic header file dependency was introduced in #1472, but
not correctly applied to matcaffe. Fix it by moving ./caffe_.d
to build/matlab/+caffe/private/caffe_.d and add it to DEPS

Move demo to demo/ and check weights file existence

Move all Matlab demo to caffe/matlab/demo. Since we want the user to add
caffe/matlab to Matlab search PATH, we don't want to mess it up with too
many files

Check if CaffeNet is already downloaded in classification demo.

Clean up old matcaffe wrapper and rename caffe.reset to caffe.reset_all

Remove old matlab wrapper but keep the classification demo and hdf5 demo

Change 'caffe.reset()' to 'caffe.reset_all()' to avoid potential name conflict.
Otherwise, Matlab R2015a complains:
Warning: Function reset has the same name as a MATLAB builtin. We suggest you rename the
function to avoid a potential name conflict.

Add MatCaffe docs to docs/tutorial/interfaces.md

Aesthetic changes on code style and some minor fix

Fix matlab tailing dimension 1 issue for shape match

Matlab cannot have tailing dimension 1 for ndim > 2, so you
cannot create 20 x 10 x 1 x 1 array in matlab as it becomes 20 x 10.
Extend matlab arrays to have tailing dimension 1 during shape match.

MatCaffe3 : a powerful matlab interface for caffe

Added matcaffe3, a powerful matlab interface. To test it, run 'make mattest'

directly normalize accumulated gradients

`SGDSolver::Normalize()` normalizes accumulated gradients by scaling
inversely to the accumulation as `1 / iter_size`.

This fixes accumulation for AdaGrad and is more obvious than fooling
with rates and decays in 55585f5.

test equivalence of solving with accumulating gradients

Compare the parameters after solving with a given batch size and the
halved batch size + two iter accumulation of gradients equivalent.

Note: the test net dummy data layer now makes constant data and random
gaussian targets. This assures the standard and gradient accumulation
cases check the same data. Otherwise the difference in batch sizes
causes different orders of random number draws.

python/draw_net.py and python/caffe/draw.py: Simplified code; added more docstrings; adjusted code according to PEP8

adjust local learning rate and decay according to gradient accumulation

Divide local rate by `iter_size` to normalize the gradient according to
the full minibatch size and not only the computational batch size.

Multiply the local decay by `iter_size` to counter the division of the
local learning rate since the decay is multiplied by the rate in the
update equation.

accumulate gradients in cudnn conv layer

accumulate gradients in (de)conv layers

accumulate gradients in inner product layer

zero-init param diffs in gradient checker