【神经网络本质是多项式回归】Jeff Dean等论文发现逻辑回归和深度学习一样好

起因是以色列理工学院工业工程与管理学院的助理教授 Uri Shalit 在 Twitter 上发文，指出这篇论文的补充材料里，有一处结果非常值得注意：标准化逻辑回归实质上与深度神经网络一样好。

Uri Shalit 的研究方向是将机器学习应用于医疗领域，尤其是在向医生提供基于大型健康数据的决策支持工具方面。其次，他也研究机器学习和因果推断的交集，重点是使用深度学习方法进行因果推断。在加入以色列理工学院以前，他先后在 David Sontag 教授在纽约大学和在 MIT 的临床机器学习实验室当博士后。 Uri Shalit 说的补充材料中的结果是指这个：

其中，基线 aEWS（augmented Early Warning Score）是一个有 28 个因子的逻辑回归模型，在论文作者对预测患者死亡率的传统方法 EWS 进行的扩展。而 Full feature simple baseline 则是 Uri Shalit 说的标准化逻辑回归。

注意到基线模型（红框标识）和深度模型在 AUCs 置信区间的重叠了吗？

Uri Shalit 表示，他由此得出的结论是，在电子病例分析这类任务中，应该选择使用逻辑回归，而不是深度学习，因为前者更加简单，更具可解释性，这些优点要远远胜过深度学习带来的微小的精度提升。