pytorch-optimizer - коллекция готовых к использованию нестандартных оптимайзеров для pytorch

Коллекция включает AccSGD, AdaBound, AdaMod, AdamP, AggMo, DiffGrad, Lamb, Lookahead, NovoGrad, PID, QHAdam, QHM, RAdam, Ranger, RangerQH, RangerVA, SGDW, SGDP, Shampoo, Yogi.