[doc][hackathon] To add AdamW Optimizer to the documentation (#63252)
authorIlqar Ramazanli <iramazanli@fb.com>
Thu, 9 Sep 2021 14:03:49 +0000 (07:03 -0700)
committerFacebook GitHub Bot <facebook-github-bot@users.noreply.github.com>
Thu, 9 Sep 2021 14:05:31 +0000 (07:05 -0700)
commit5b21f172a4ecba1712ae5338e2c8095af48e19a3
treeb529965dce1ff0974d1468aa4d9d29ba62bc75bd
parent39ce801d1f5cd0e73d6d3e62986f1ccbee6f6942
[doc][hackathon] To add AdamW Optimizer to the documentation (#63252)

Summary:
It has been discussed before that adding description of Optimization algorithms to PyTorch Core documentation may result in a nice Optimization research tutorial. In the following tracking issue we mentioned about all the necessary algorithms and links to the originally published paper  https://github.com/pytorch/pytorch/issues/63236.

In this PR we are adding description of AdamW Algorithm to the documentation.  For more details, we refer to the paper  here https://arxiv.org/abs/1711.05101

<img width="442" alt="AdamWalgo" src="https://user-images.githubusercontent.com/73658284/132589957-6d381e96-cb62-40d0-990f-82a32ec455be.png">

Pull Request resolved: https://github.com/pytorch/pytorch/pull/63252

Reviewed By: datumbox

Differential Revision: D30839685

Pulled By: iramazanli

fbshipit-source-id: 1a426c874ab86408d286a34f41aefcf5b21167c0
torch/optim/adamw.py