一篇发表于2015年的论文,在十年后,于国际机器学习大会(ICML)2025上,被授予了“时间检验奖”(Test of Time Award)。 这篇论文就是深度学习领域无人不晓的《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》。 它的出现,从根本上改变了 ...
ICML2025年时间检验奖(Test of Time)颁给了Batch Normalization。在这篇发表于2015年的论文中,作者提出深度神经网络训练中的“内部协变量偏移”问题。直观理解,就是隐藏层的数据分布会随着训练的进行而变化,而前一层的变化又会影响下一层的学习。这种层与层 ...
A new technical paper titled “LightNorm: Area and Energy-Efficient Batch Normalization Hardware for On-Device DNN Training” was published by researchers at DGIST (Daegu Gyeongbuk Institute of Science ...