他称，爱因斯坦花了很多年时间才推导出了重力理论的方程。如果有人认为随机梯度下降(SGD)+ 反向传播仅凭输入输出对就能理解一切，并在模型训练中解决问题，那这个人对于机器学习的理解是有问题的，对机器学习的工作方式了解也不够。

爱因斯坦在理论推导中对现实做出了很多假设，比如光速恒定、时空是灵活的结构，然后推导出了微分方程，其解揭示了黑洞、引力波等重大发现。可以说，爱因斯坦利用因果推理将不同的概念连接了起来。

但是，SGD + 反向传播并不是这样，它们只是将信息压缩到模型权重中，并不进行推理，只是更新并转向实现具有最低误差的参数配置。

他认为，机器学习(ML)中的统计学习过程可能会显然低误差「盆地」，即无法探索不同的概念， 因为一旦陷入这些低误差「盆地」或者局部最小值就无法重新开始。

因此，SGD + 反向传播发现了看似有效但却很容易崩溃的、脆弱的解决方案捷径。这就是为什么深度学习系统不可靠并且实际训练起来很难，你必须在现实中不断更新和训练它们，这就很麻烦。

梯度下降的工作原理就像一只苍蝇寻找气味源一样，即苍蝇跟随空气中的化学浓度向下移动，从而引导它导向气味源。但如果仅依赖这种方式，则很容易迷路或陷入困境。

上一页 [1] [2] [3] [4] [5] [6] [7] 下一页 在本页阅读全文