深度学习的历史可以追溯到几十年前，但直到大约5年前才得到了较多的关注。其中2012年是关键的一年，几乎很多东西都发生了改变，包括大神大神Krizhevsky、Sutskever以及Hinton三人基于ImageNet做的识别图像的深度卷积神经网AlexNet的发布。而随着深度学习的发展，它曾一度占据了各大媒体的头版头条，还迅速成为了人工智能领域有名的技术术语。

如今，不管是在语音识别、图像识别，还是语言翻译等领域，深度学习的研究已经取得了很多最先进的结果，并在当前大量的人工智能应用程序中发挥作用。为了抓住这一发展机会，许多企业也开始投入大量资金，进行深度学习人才的培养。然而，遗憾的是，再好的发展也会进入瓶颈期，深度学习也是一样。在未来的发展中，深度学习不太可能会消失，也不应该消失，但在该技术复苏后的5年里，现在似乎到了对其进行批判性反思的好时机。

深度学习和相关的机器学习的进步，在人工智能最近所取得的成就中发挥了关键作用，二者使得计算机不再需要明确的编程，而是通过“吸收和分析”大量数据就能完成自我训练。在过去的两年里，谷歌以深度学习为基础的AlphaGo击败了世界顶级的围棋玩家，震惊了大多数人工智能专家，因为在他们的认知力，这一里程碑的实现至少还需要5到10年的时间。

就像其他的主要技术成就一样，深度学习已迅速攀升至Gartner炒作周期的顶峰，但当所有的兴奋和宣传都伴随着对新兴的、有前景的技术期待时，往往会导致过高的期望，也就是说，当技术无法实现的时候，人们产生严重的幻灭感。在过去的几十年里，人工智能已经经历了一些这样的炒作周期，包括20世纪80年代所谓的人工智能寒冬，差点“埋葬”了这个领域。

在最近的一篇名为《Deep Learning: A Critical Appraisal》的文章中，来自纽约大学的加里·马库斯（Gary Marcus）教授对深度学习进行了认真的评估。他认为，尽管在过去五年取得了相当大的成就，但深度学习可能正在走向终点，多伦多大学教授杰弗里·希尔顿（Geoffrey Hinton），被称为“深度学习之父”的他，显然也持这种观点。

深度学习虽前卫，但仍面临四大问题

深度学习是一种强大的统计技术，可以使用大型训练数据集和多层AI神经网络对模式进行分类。从本质上讲，这是一种机器从数据中展开学习的方法，而这些数据将按照生物大脑学习解决问题的方式进行建模。每个人工神经单元都会连接到许多其他类似的单元上，并且可以根据用于训练系统的数据在统计上增加或减少这样的连接。同时，多层网络中的每个连续层都会使用前一层的输出作为输入。

对此，马库斯表示，“这项技术在解决封闭式分类问题方面表现出色。鉴于有足够的数据可用，而且测试集与训练集非常相似，所以必须把各种各样的潜在信号映射到有限的类别当中。”不过，需要注意的是，偏离这些假设可能会导致一些问题。深度学习只是一种统计技术，而所有的统计技术都有偏离假设的情况出现。所以，与早期阶段的所有技术一样，深度学习必须克服很多严峻的挑战，其中主要问题存在四个方面。

问题一：深度学习面临数据匮乏

对深度学习而言，数据方面实际上是很缺乏的，因为深度学习的数据要求与很多维度的其他分析方法有本质上的区别。随着数据集大小的增加，传统分析的性能趋于稳定。而对深度学习技术来说，数据集的逐渐增大，再加上正确的训练，将有助于其性能的提高。目前，深度学习技术已经在从复杂的非结构化数据（包括音频，语音，图像和视频）中提取模式方面变得特别有价值。要做到这一点，他们需要成千上万的数据记录，以便模型能够在分类任务中做的更好，并且有数百万的数据记录可以在人类的水平上执行。

“人类可以在几次试验中学习抽象关系……而深度学习目前缺乏一种通过明确的语言定义来学习抽象的机制，当有成千上万甚至数十亿的训练例子时，它的效果最好。”马库斯表示，“当通过明确的定义学习时，人们依赖于一种能表达代数变量之间抽象关系的能力。事实上，即使是7个月大的婴儿也可以做到这一点，只需两分钟即可从少数未标记的例子中获得学习抽象语言的规则。“

在最近的一次人工智能会议上，麻省理工学院大脑认知科学教授乔希·特南鲍姆（Josh Tenenbaum）对我们目前的人工智能状态与人类智力水平长期追求之间的差异发表了看法。人类智能具有超越数据和机器学习算法的能力。也就是说，人类能够在感知世界时建立模型，包括实用的常识，然后使用这些模型来解释他们的行为和决策。根据特南鲍姆的说法，三个月大的婴儿对周围世界的了解比任何人工智能应用都要多。具体而言，人工智能应用程序是从空白开始，然后从所分析的数据中进行学习，而婴儿则从一开始就有基因和大脑结构，因此他们能够比程序学到更多的东西。

像麻省理工学院人类动力学实验室（MIT Human Dynamics Lab）和艾伦研究所（Allen Institute）进行的研究工作正试图通过模拟人类常识推理和/或以基于逻辑的编程工具来补充以统计为导向的AI方法来克服深度学习的局限性。只不过这些研究工作仍处于早期阶段。

问题二：深度学习其实很肤浅

深度学习实际上很浅薄。这项技术的“深度”是指其高度复杂的多层统计特性。但是，虽然能够取得一些惊人的成果，但在目前的情况下，深度学习实际上是非常浅薄和脆弱的。 “通过深度学习的提取模式甚至比最初出现时更肤浅。”

目前的人工智能应用程序通过大量数据和深度学习算法的训练可以很好地完成一件事，只不过每个应用程序必须使用自己的数据集进行单独训练，即使对于与以前类似的用例也是如此。到目前为止，还没有一个好的办法可以将训练从一种情况转移到另一种情况。而人工智能在应用程序和测试集方面做得最好，但在试图泛化或推断其训练数据集之外，它的效果要差得多。

问题三：深度学习不够透明

深度学习不够透明。典型的深度学习系统在其复杂的神经网络中具有大量参数。用人们理解的方式评估各个节点对决策的贡献是非常困难的。

在透明度尚未解决的情况下，深度学习在金融交易或医疗诊断等问题领域的使用，可能会产生责任的问题，也就是说，这种不透明会导致严重的偏见问题。

问题四：深度学习很难达到预期效果

到目前为止，深度学习是很难做到的。其主要挑战之一是任何复杂的前沿IT系统固有的工程风险，特别是在医疗、汽车与飞机，金融和政府等高风险应用中的使用。虽然这些风险一般适用于日益复杂的人工智能系统，但鉴于其统计特性、不透明性以及区分因果关系与相关性时存在的困难，它们在深度学习中可能存在很大的问题。

与此同时，我们还必须确保复杂的人工智能系统可以完成我们希望他们完成的任务，并按照我们希望的行为方式行事，这是深度学习算法里一个特别棘手的问题，即让这些算法在没有明确编程的情况下接受数据训练和学习。

当然，对深度学习的发展，我们也不用持悲观的态度。目前，为了解决这些以及其他人工智能和深度学习面临的挑战，人们已经制定了多个相关计划及举措来解决问题，包括斯坦福大学的人工智能百年研究（One Hundred Year Study of AI）以及麻省理工学院的智能探索（Quest for Intelligence）。希望，就像以前强大的技术一样，这些努力将有助于确保相关问题得到妥善解决，同时让日益强大的人工智能系统将对未来的经济、社会和个人生活产生重大的积极影响。

转载请注明：徐自远的乱七八糟小站 » 深度学习再现发展拐点，四大问题预示其已近终点？