在神经网络中容易出现梯度爆炸的问题，有的地方说是可以用 relu 激活函数来解决，用起来也确实有效果，有点想不通这里面的原理是什么呢？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2228 天前的主题，其中的信息可能已经有所发展或是发生改变。

2 条回复

66450146

2018-10-23 18:04:49 +08:00

f'(x) = 1 就不会有 vanishing gradient 了😂

alixali

2018-10-23 22:29:54 +08:00

这个问题在输入数据维度高的时候，和网络层数多的时候出现了，更像是和网络的节点数有关系。