To add Rectified Adam Description to Documentation (#63772)
authorIlqar Ramazanli <iramazanli@fb.com>
Thu, 9 Sep 2021 14:04:57 +0000 (07:04 -0700)
committerFacebook GitHub Bot <facebook-github-bot@users.noreply.github.com>
Thu, 9 Sep 2021 14:10:36 +0000 (07:10 -0700)
commit239366c9c227ffbe98d28cd67596f1c5ba37ac5a
tree796ae73e08b5d01bc732590254adbf0a920304f1
parent5b21f172a4ecba1712ae5338e2c8095af48e19a3
To add Rectified Adam Description to Documentation (#63772)

Summary:
It has been discussed before that adding description of Optimization algorithms to PyTorch Core documentation may result in a nice Optimization research tutorial. In the following tracking issue we mentioned about all the necessary algorithms and links to the originally published paper  https://github.com/pytorch/pytorch/issues/63236.

In this PR we are adding description of Rectified Adam Algorithm to the documentation.  For more details, we refer to the paper  https://arxiv.org/abs/1908.03265

<img width="446" alt="RadamAlgo" src="https://user-images.githubusercontent.com/73658284/132587815-4764b642-df53-4e41-975f-72e0f40fdc48.png">

Pull Request resolved: https://github.com/pytorch/pytorch/pull/63772

Reviewed By: datumbox

Differential Revision: D30839694

Pulled By: iramazanli

fbshipit-source-id: 6f5629ce56e10c66a451433334b587b99eda1610
torch/optim/radam.py