Added MSRAFiller, an Xavier-like filler designed for use with ReLUs
authorNick Carlevaris-Bianco <carlevar@umich.edu>
Mon, 16 Feb 2015 05:19:43 +0000 (15:49 +1030)
committerEvan Shelhamer <shelhamer@imaginarynumber.net>
Tue, 26 May 2015 19:23:04 +0000 (12:23 -0700)
commit65af68d8914b6f509f776a9ffae785127c477fa7
treee27e3d2b25e78bc805cffed763be8ead10e4ddb4
parentcb1f4d61e10539f0e93f30351fb43299c9cf5f0b
Added MSRAFiller, an Xavier-like filler designed for use with ReLUs

...instead of tanh. Based on paper: He et al, "Delving Deep into
Rectifiers: Surpassing Human-Level Performance on ImageNet
Classification," 2015.

- add VarianceNorm option to FillerParameters which allows one to
  normalize by fan_in, fan_out or their average.
- update XavierFiller to use the VarianceNorm option (default behavior
  unchanged).
- add tests for MSRAFiller and XavierFiller.
include/caffe/filler.hpp
src/caffe/proto/caffe.proto
src/caffe/test/test_filler.cpp