To add RMSProp algorithm documentation (#63721)
authorIlqar Ramazanli <iramazanli@fb.com>
Sat, 28 Aug 2021 22:54:53 +0000 (15:54 -0700)
committerFacebook GitHub Bot <facebook-github-bot@users.noreply.github.com>
Sat, 28 Aug 2021 22:55:56 +0000 (15:55 -0700)
commitaefa2f3e643ab50fe4d8238ccdeb980143b6b454
tree4fadfa255f4e5c3fece8196c934c3ec6215d0b97
parent8b6266fe4f2986f4707bcd884e16d50728191214
To add RMSProp algorithm documentation (#63721)

Summary:
It has been discussed before that adding description of Optimization algorithms to PyTorch Core documentation may result in a nice Optimization research tutorial. In the following tracking issue we mentioned about all the necessary algorithms and links to the originally published paper  https://github.com/pytorch/pytorch/issues/63236.

In this PR we are adding description of RMSProp to the documentation.  For more details, we refer to the paper   https://www.cs.toronto.edu/~tijmen/csc321/slides/lecture_slides_lec6.pdf

<img width="464" alt="RMSProp" src="https://user-images.githubusercontent.com/73658284/131179226-3fb6fe5a-5301-4948-afbe-f38bf57f24ff.png">

Pull Request resolved: https://github.com/pytorch/pytorch/pull/63721

Reviewed By: albanD

Differential Revision: D30612426

Pulled By: iramazanli

fbshipit-source-id: c3ac630a9658d1282866b53c86023ac10cf95398
torch/optim/rmsprop.py