发布时间:2024-06-10 07:17:43 人气:
optimizer=SGD + Learning Rate scheduler
机器之心:Adagrad & 优化器发展历程
Paper: An overview of gradient descent optimization algorithms
简书:Adam
知乎:文本分类问题常见的性能&效果Tricks
引用:
1.在文本分类任务中,有哪些论文中很少提及却对性能有重要影响的tricks?https://www.zhihu.com/question/265357659
2.正则项相关:
https://www.zhihu.com/question/30231749
L1、L2正则化 https://zhuanlan.zhihu.com/p/35893078
知乎L2 https://www.zhihu.com/question/30231749
L0,L1,L2范数定义 https://zhuanlan.zhihu.com/p/28023308
3.fast ai 注意力和transformer课程
https://www.fast.ai/2019/07/08/fastai-nlp/
4.Adam家族
https://blog.csdn.net/u012535605/article/details/83579214
admw: https://zhuanlan.zhihu.co