Update inner_product_layer.cpp

Merge pull request #6238 from mitar/manual-sgd

[pycaffe] expose interface for manual, step-by-step optimization

[pycaffe] test solver update

[pycaffe] expose mutable solver parameter, base lr, and effective lr

`solver.lr` is the effective learning rate in use while `solver.base_lr`
is the configured learning rate at initialization. the solver parameter
is now editable for setting fields that are in use throughout the
lifetime of the solver, such as the maximum iteration.

increment iteration during update, not step

with update exposed it is important to increment the iteration when an
update is made, whether by step or update alone. more fundementally,
it's the update that defines an iterationa, so this is a natural place
for the increment.

[pycaffe] expose solver update to do manual solving

a sketch of `solver.step()` done out manually:

1. `solver.net.forward()`
2. `solver.net.backward()`
3. `solver.net.apply_update()`
4. `solver.net.clear_param_diffs()`

Merge pull request #6390 from open-cv/fix-6389

drop unnecessary cast

fix issue #6389

fix issue #6389

Merge pull request #6388 from open-cv/fix-6387

fix missing syncedmem constness

fix issue #6387

Merge pull request #6219 from uhfband/fix-caffe_pb2-module

Fix incorrect namespace for pycaffe submodule caffe_pb2

fix issue #6387.

Merge pull request #6342 from Noiredd/gauss-fill-test-fix

Gaussian filler tests adjustments

tweaked Gaussian filler tests for less false fails

Revised guidelines for GitHub issues (#6327)

revised guidelines for GitHub issues and caffe-users posts

Fix cmake < v3.7 compatibility in Cuda.cmake (#6338)

Fix for compatibility with CMake <3.7 (related conversation under 37e4289)

* Fix cmake < v3.7 compatibility in Cuda.cmake

* Fix version test variable naming in Cuda.cmake

Merge pull request #6336 from Coderx7/master

Minor correction concerning compilation compatibility with CUDA 9.0 (see #6237)

Minor correction concerning compilation compatibility with CUDA 9.0

Since CUDA 9.0 doesn't support sm_20 and sm_21 anymore. This PR allows Caffe to compile with CUDA 9.0 and newer versions successfully.
This addresses the discussion concerning [#6237](https://github.com/BVLC/caffe/pull/6237) in [master (#6237)](https://github.com/BVLC/caffe/commit/cb150eca6d593ddb85e53acd05b8dcf709ea8337#diff-2004a3d3e6b4ed2e2812bb0b4b998f18)

Merge pull request #6237 from jasjuang/master

Make caffe compile through cmake with CUDA 9.1

Merge pull request #6277 from twmht/dev_issue_6268

check Embed index in debug mode

Added Swish layer (#6002)

* added swish layer (cpu)

* swish layer: added tests

* swish layer: optimized backpropogation

* swish layer: added cuda implementation

* swish layer: added beta parameter

* swish layer: incorporated sigmoid layer

* swish layer: fix comment of last added parameter

* swish layer: added REGISTER_LAYER_CLASS

Merge pull request #6286 from Noiredd/bilinear-filler-fix

BilinearFiller tests refactored

bilinear filter test refactor

Merge pull request #6278 from Noiredd/filler-fix

1D blob handling in MSRA/Xavier fillers + new filler tests

Filler testing overhaul

Add lr_mult label to the network graph in draw_net.py (#6273)

draw_net.py refactoring and optional LR visualization

* refactoring `get_layer_label`

rewrote the function body to make it more streamlined.
does not affect inputs and outputs

* optionally visualize LR when drawing the network

adds an option to `python/draw_net.py` that allows to visualize information
about the learning rate multiplier (if relevant) when drawing the network's
graph.

1D blob handling in MSRA/Xavier fillers

check embed index in debug mode

Merge pull request #6249 from Noiredd/legacy-tools

Remove legacy tools

Remove legacy tools

Merge pull request #6104 from YaYaB/master_bvlc

Check solver gamma and stepsize to avoid unexplained core dump

Merge pull request #5149 from yanchen036/master

fix extension extraction in matchExt

Merge pull request #6176 from qu1j0t3/simplify-pip-cmd

Simplify pip requirements installation

Merge pull request #6240 from knsong/master

Fix filler compatibility for ND convolution

Fix compatibility for ND convolution

bug fix: ext should not include the '.'

fix cuda 9.1 compilation

Merge pull request #6123 from IlyaOvodov/master

"weights" added to solver parameters, "snapshot_prefix" field default initialization

replacement of snapshot_prefix parameter if it is empty or points to a directory. See issue #6110 proposed improvement No.2

Weight parameter in solver is used in caffe.exe

Loading weights is moved from caffe.exe to solver class, so new "weights" solver parameter is used not only from command line but when caffe is used as library (including python)

corrected formatting

fixed line length

more formatting corrected

Fix incorrect namespace for pycaffe submodule caffe_pb2 generated by protobuf

Merge pull request #5598 from ZoroDerVonCodier/patch-1

Update euclidean_loss_layer.hpp with corrected reference in comment

Merge pull request #6210 from mzsanford/classfier_deprecation_warning

Update Classifier and Detector to avoid deprecation warning

Update Classifier and Detector to avoid deprecation warning

Merge pull request #5545 from brunobowden/shape_mismatch_checks

Shape mismatch CHECK logging improvements

corrected description of set_transpose in io.py

Merge pull request #5865 from cheshirekow/fix/caffe_rpath

Fix cmake RPATH

Merge pull request #6202 from shelhamer/fix-scratch-bottom-diff

Clear Scratch Diffs to Prevent Contaminating Backward through Splits

explain use of scratch diffs in comments

a few layers make use of otherwise unused diffs to accumulate results,
but unless the diffs are cleared in forward this contaminates the
gradients when these layers share a bottom and their backward is
skipped.

clear scratch use of accuracy bottom diff

clear scratch use of loss bottom diffs

Merge pull request #5924 from bowang/cudnn_deconv

speed-up: add cuDNN deconvolution layer and test

Merge pull request #6201 from shelhamer/official-aws-ami

installation: switch pointer to official AWS AMI

docs: switch to official AWS AMI

Simplify pip invocation.

Merge pull request #6048 from sclarkson/master

Fix Makefile parallel builds missing protobuf header

Merge pull request #6121 from xerus/typo

Cuda.cmake: Fix a typo in a comment

Cuda.cmake: Fix a typo in a comment

Add check values of gamma and stepsize to avoid unexplained core dump

Merge pull request #6084 from Noiredd/accuracy-count-fix

Added count==0 safeguard to CPU accuracy calculation

Added count==0 safeguard to CPU accuracy calculation

Merge pull request #6079 from Noiredd/cuda9-makefile

Makefile example comments for CUDA 9.0 compatibility

Makefile example comments for CUDA 9.0 compatibility

Fix Makefile parallel builds missing protobuf header

Merge pull request #5972 from icyblade/icyblade-patch-1

add support for cuDNN v7

Merge pull request #5719 from leemgs/upstream-issue5718

Fix: mean shape incompatible with input shape

Fix: mean shape in compatible with input shape

This commit is to fix issue #5718.

* reference:
1. https://groups.google.com/forum/#!topic/caffe-users/nBpWJCcJoCU
2. https://stackoverflow.com/questions/28692209/using-gpu-despite-setting-cpu-only-yielding-unexpected-keyword-argument

Signed-off-by: Geunsik Lim <geunsik.lim@samsung.com>

Merge pull request #5813 from jqueguiner/patch-1

fix web demo install instruction link

Merge pull request #5704 from ArneSuppe/dupDistDirFix

Fixed bug where make distribute duplicates python files

Merge pull request #5969 from developius/fix-default-mode-warning

Fix default mode warning in io.resize_image

Merge pull request #5866 from cijianzy/update_link_to_google_style_guide

Update link to google style guide.

Merge pull request #5973 from Noiredd/pytest

Add absolute tolerance to test_net.py to prevent random Travis fails

infogain loss: fix bottom blobs description

Merge pull request #5925 from BVLC/williford-install-ubuntu-16.04-patch-1

[docs] packages needed by Ubuntu 16.04, not just Ubuntu 14.04

Add absolute tolerance to test_net.py to prevent random Travis fails

add supports for cuDNN v7

upgrading Accuracy layer: (1) efficient CPU implementation O(L) for top_k, no need for fancy priority_queue etc. (2) GPU implementation

Fix default mode warning in io.resize_image

Signed-off-by: Finnian Anderson <get@finnian.io>

[docs] fix link to `AbsVal` layer

Merge pull request #5713 from Noiredd/filler

fix bilinear filler (and make constant filler more strict, as it should be)

Fixed bilinear filler, added tests

Merge pull request #5904 from longjon/gpu-ptr

Expose GPU pointers to Python

Packages needed by Ubuntu 16.04 also

This line is needed for Ubuntu 16.04:

    sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

For reference:

* https://github.com/BVLC/caffe/wiki/Ubuntu-16.04-or-15.10-Installation-Guide
* https://youtu.be/DnIs4DRjNL4

Fix format

Implement CuDNN-based deconvolution layer and test

Expose GPU pointers to Python

The pointers could be used by CUDA wrapper libraries in Python such as
PyCUDA, gnumpy, Theano etc.

Merge pull request #5900 from wasnot/fix/py3-division-compat

Fix division operator for Compatibility of python 3 in classifier.py

modified division operator for compatibility of python 3

Update link to google style guide.

Fix caffe rpath

The logic for setting the library RPATH checks whether or not
${CMAKE_INSTALL_PREFIX}/lib is a system directory, and if not
adds it to the library RPATH. However, caffe does not install
to ${CMAKE_INSTALL_PREFIX}/lib, it installs to
${CMAKE_INSTALL_PREFIX}/${CMAKE_INSTALL_LIBDIR} (from
GNUInstallDirs). CMAKE_INSTALL_LIBDIR may be something like
"lib/x86_64-linux-gnu"

Update README.md

Mention SKX support

Merge pull request #5824 from ek9852/master

[cmake] fix hardcode xcode path

Fix hardcode xcode path

User may not install xcoder into default directory
especially if there are two different versions of xcoder installed.

Merge pull request #5753 from CDLuminate/docs-update-deb-ub

[docs] update apt installation guide for Debian and Ubuntu

Merge pull request #5760 from Lydorn/patch-1

[docs] fix spelling for LRN

Merge pull request #5770 from skylarjhdownes/master

API updates in Logistic Regression example

[DOC][FIX] fix web demo install instruction link

update deprecated pandas call

pd.scatter_matrix -> pd.plotting.scatter_matrix

update sklearn calls to use latest API

Version 0.18 moved cross-validation to sklearn.model_selection - see http://scikit-learn.org/stable/whats_new.html#version-0-18
Version 0.17 deprecated class_weight="auto" in favor of class_weight="balanced"

Update lrn.md

Fixed typo "locaitons " -> "location" in line 17

docs: add Ubuntu package tracker link in Ubuntu guide