人类群星闪耀时 | Facebook人工智能负责人Yann LeCun：让深度学习摆脱束缚

【编者按】最近AlphaGo对李世乭的世纪大战让深度学习再次备受关注。雷锋网也选取了一些AI相关文章进行推送，本文是作者Lee Gomes于2015年原载IEEE，由机器之心翻译，也是雷锋网对人工智能领域做出接触贡献的先行者们致敬的《人类群星闪耀时》的第二篇。。虽然是旧文，但是文中大量关于深度学习的探讨依旧值得我们再次翻阅。读完文章，你也许就能明白，为什么Facebook人工智能负责人Yann LeCun不喜欢人们把深度学习描述为“它像大脑一样工作”。

人工智能经历了几次低潮时期，这些灰暗时光被称作“AI寒冬”。这里说的不是那段时期，事实上，人工智能如今变得异常火热，以至于科技巨头谷歌、Facebook、苹果、百度和微软正在争抢该领域的领袖人物。当前人工智能之所以引起大家的兴奋，在很大程度上是源于“卷积神经网络”的研究进展。这项机器学习技术为计算机视觉、语音识别和自然语言处理带来了巨大的、激动人心的进步。你可能已经听过它另一个更加通俗友好的名字——深度学习。

几乎没有人比54岁的Yann LeCun更能与深度学习紧密地联系在一起。早在20世纪80年代末，LeCun就作为贝尔实验室的研究员开发出了卷积网络技术，并展示如何使用它来大幅度提高手写识别能力；目前美国许多手写支票依然是用他的方法在进行处理。上世纪末本世纪初，当神经网络失宠，LeCun是少数几名一直坚持研究的科学家之一。他于2003年成为纽约大学教授，并从此引领了深度学习的发展。

最近，深度学习及其相关领域已然成为最活跃的计算机研究领域之一。这就是LeCun在2013年底加入Facebook负责新成立的人工智能实验室的原因之一，尽管他依然保持着在纽约大学的职务。

LeCun出生在法国，保留了一些本国的“公共知识分子”角色所发挥的重要性。他的写作和演讲主要是集中在他的技术领域，当然，当涉及到其他领域，包括当今时事时，他也不会退让。

IEEE Spectrum的Lee Gomes与LeCun在他纽约的Facebook办公室里进行了一次深度谈话，共有九部分。

IEEE Spectrum：这些天我们看到了许多关于深度学习的新闻。在这些对深度学习的众多描述中，你最不喜欢哪一种？

Yann LeCun：我最不喜欢的描述是“它像大脑一样工作”，我不喜欢人们这样说的原因是，虽然深度学习从生命的生物机理中获得灵感，但它与大脑的实际工作原理差别非常非常巨大。将它与大脑进行类比给它赋予了一些神奇的光环，这种描述是危险的，这将导致天花乱坠的宣传，大家在要求一些不切实际的事情。人工智能之前经历了几次寒冬就是因为人们要求了一些人工智能无法给与的东西。

Spectrum：因此，如果你是一名关注深度学习的记者，而且像所有新闻记者所做的那样，只用八个单词去描述它，你会说什么？

LeCun：我需要考虑一下。我想将会是“学着描绘世界的机器”（machines that learn to represent the world）。可能另外一种描述是“端对端的机器学习”（end-to-end machine learning）。这种理念是：在一个能够学习的机器中，每一个组件、每一个阶段都能进行训练。

Spectrum：你的编辑可能不大喜欢这样。

LeCun：是的，公众将无法理解我所表达的意思。好吧，有另外一种方法。你可以把深度学习看作是，通过整合大量能够基于相同方式训练的模块和组件来构建拥有学习能力的机器，比如说模式识别系统等。因此，需要一个能够训练每个事物的单一原则。但这又超过了八个字。

Spectrum：有哪些事情是深度学习系统可以做，而机器学习无法做到的？

LeCun：这是个更好的问题。之前的系统，我想我们可以称之为“肤浅的学习系统”，会受系统能计算的函数的复杂度的限制。因此，如果你使用一个类似于“线性分类器”的肤浅学习算法来识别图像，你将需要从图像中提取出足够多的参数特征来提供给它。但手动设计一个特征提取器非常困难，而且很耗时。

或者使用一个更加灵活的分类器，比如说“支持向量机”或者两层神经网络，直接将图片的像素提供给它们。而问题是这不会提高物体识别的准确性。

Spectrum：这听起来不像是一个简单易懂的解释，或许这就是为什么那些记者会尝试着把深度学习描述成……

LeCun：像我们的大脑。

Spectrum：其中有一个问题是，机器学习是一个非专业人士极其难以接近的研究领域。一些经过教育的外行能够理解一些半技术性的计算问题，比如说谷歌使用的PageRank算法，但我敢打赌只有教授才能对线性分类器和向量机了若指掌，这是因为该领域从本质上就很复杂难懂吗？

LeCun：事实上，我认为机器学习的基础原理非常简单易懂。我曾经向高中的老师和学生解释过这一主题，并没有让其中的许多人觉得枯燥乏味。

模式识别系统就像一个黑盒子，背面装有摄像头，顶上有一个红灯和一个绿灯，前面装有一连串开关。比如说一种尝试着调节开关的学习算法，当一条狗出现在摄像头中时控制开关使红灯亮起；当一辆车出现在摄像头中时控制开关使绿灯亮起。为了训练该算法，你将一条狗放在机器面前，如果红灯亮起，什么都不做。如果光线模糊，扭动旋钮使灯变亮。如果绿灯亮起，扭动旋钮使灯光变暗；接下来换成汽车，扭动旋钮使红灯变暗或绿灯变亮。如果你进行多次尝试，并且保持每次都对旋钮进行逐渐微调，最终，机器每次都能得出正确答案。

有趣的是它能正确的区分开它从未见过的汽车和狗。窍门在于要计算出每次扭动旋钮的方向和幅度，而不是乱动一气。这包含对“梯度”的计算，旋钮的每次扭动代表着灯光的相应改变。

现在想象一下，有个盒子拥有5亿个旋钮、1000个灯泡，用1000万张图来训练它，这就是一个典型的深度学习系统。

Spectrum：我认为你用“肤浅的学习”这个词好像有些不太严谨；我不认为那些使用线性分类器的人会认为他们的工作很“肤浅”。之所以用“深度学习”这个表述难道就没有媒体宣传的因素在里面？因为这看起来好像它学到的东西很有深度，但实际上，“深度”仅仅是指这个系统的级数？

LeCun：是的，是有点儿滑稽，但这反映了真实情况：肤浅学习系统有一层或两层，而深度学习系统一般有5-20层。肤浅还是深度指的并不是学习行为本身，而是指被训练的结构。

Spectrum：Yann LeCun的标准简历里提到，在他们都对神经网络失去兴趣时，你依然坚持着探索神经网络的新方法。是什么使你能够无视世俗认知并一直坚持下去？

LeCun：自始至终，我都一直深深沉迷于能够训练出一套完整的“端对端”系统。你将未经加工的数据输入系统，因为系统具有多层结构，每一层都将知道如何对上一层产生的表征进行转化，直到最后一层输出结果。该理念——从头到尾你都应该把学习融合进来，以便机器能够学习到好的数据表征——这就是我在过去三十年终所着迷的东西。

Spectrum：你的工作是符合黑客原则，还是科学原则？你是一直尝试到它们可以运行为止？还是会从洞悉理论开始？

LeCun：直觉洞察、理论模型、实际执行、实证研究与科学分析之间存在很多相互影响。洞察力是一种创造性思维；模型基于数学；实际执行涉及工程学和纯粹的黑客行为；实证研究和分析属于实实在在的科学。其中我最喜欢的是那些能够在实施中成功运行的简洁优美的理论。

有些人倾向使用某种理论的原因仅仅是因为它简单，或者他们不理会那些真正有用的理论的原因是它们太难了，我对这样的研究人员完全没有耐心。在机器学习领域存在一些这样的现象。事实上，从某种程度上来说，上世纪末本世纪初的“神经网络寒冬”就是那种“研究原则”所导致的。看似拥有坚不可摧的理论依据，但实证结果却没有价值，这非常不利于解决接下来的工程问题。

但采用纯粹的实证研究方法也有许多隐患。例如，语音识别领域一直保持实证研究的传统，只有当你的结果由于基准线时，才能得到本行业的关注。这扼杀了创造力，因为如果你想在测试结果上击败其他研究团队，而他们对此已经做了多年研究，那你首先应该潜心研究4-5年，建造自己的基本架构，这非常困难，且极具风险，因此没人这么做。所以对于整个语音识别领域，虽然研究进展连续不断，但都属于渐进式。

Spectrum：你看起来一直在竭尽全力的将你的工作与神经科学和生物学拉开距离。例如，你提到了“卷积网络”，而不是“卷积神经网络”。你在你的算法里提到了“单位/个体”（units），而非“神经元”。

LeCun：的确如此。我们模型中的一些部分从神经科学中获得了灵感，但还有相当多部分与神经科学毫不相干，相反，它们是来源于理论、直觉和经验探索。我们的模型不希望变成大脑的模型，我们也没有宣称神经科学方面的相关性。但同时，如果说卷积网络的灵感来源于一些关于视觉皮质的基础知识，我也可以接受。有些人间接从神经科学获得灵感，但他却不肯承认这一点，我承认，这（神经科学）很有帮助。但我会小心翼翼的不去触碰那些会引发大肆宣传的词语，因为这个领域已经出现了疯狂炒作，这非常危险。

Spectrum：炒作毫无疑问是有害的，但你为什么说这是“危险的”？

LeCun：因为这给基金会、公众、潜在客户、创业公司和投资者带来了预期，他们会因此相信我们正处在风口浪尖——我们正在建造一些像大脑一样强大的系统，但实际上我们离这个目标还差的很远。这很容易导致另一次的“寒冬周期”。

这里会出现一些“草包族科学”（cargo cult science），这是理查·费曼的表达，指描述某些事物貌似科学，但实际上不是（译者注：这出自理查·费曼1974年在加州理工学院的一场毕业典礼演说，描述某些事物貌似科学，却遗漏了“科学的品德，也就是进行科学思考时必须遵守的诚实原则”）。

Spectrum：能举几个例子吗？

LeCun：在“草包族科学”下，你往往是复制了机器的表象，却没有深入理解机器背后的原理。或者，在航空领域，你制造飞机时会完全复制鸟类的样子，它的羽毛、翅膀等等。19世纪的人们很喜欢这么做，但取得的成就非常有限。

（编辑：PHP编程网 - 湛江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!