[doc][hackathon] To add Adagrad Optimizer to the documentation (#63254)
authorIlqar Ramazanli <iramazanli@fb.com>
Thu, 9 Sep 2021 22:37:44 +0000 (15:37 -0700)
committerFacebook GitHub Bot <facebook-github-bot@users.noreply.github.com>
Thu, 9 Sep 2021 22:41:29 +0000 (15:41 -0700)
commitd4b09dbab3cc9842b917ed5e74d8b901406502c3
tree3325b892ac0f54ff3131080b7256a2a22d5b7820
parent9ad75281f6dc55ed022ad61fca9fc91a3f76f0a8
[doc][hackathon] To add Adagrad Optimizer to the documentation (#63254)

Summary:
It has been discussed before that adding description of Optimization algorithms to PyTorch Core documentation may result in a nice Optimization research tutorial. In the following tracking issue we mentioned about all the necessary algorithms and links to the originally published paper  https://github.com/pytorch/pytorch/issues/63236.

In this PR we are adding description of Adagrad to the documentation.  For more details, we refer to the paper
http://jmlr.org/papers/v12/duchi11a.html

<img width="658" alt="AdaGradAlgo" src="https://user-images.githubusercontent.com/73658284/132743276-a52ea3fb-70a5-4788-94b7-f99367907a26.png">

Pull Request resolved: https://github.com/pytorch/pytorch/pull/63254

Reviewed By: albanD

Differential Revision: D30852139

Pulled By: iramazanli

fbshipit-source-id: 9e496560a97e92be8386585b01d9bd3bba4b0c66
torch/optim/adagrad.py