新智元报道
编辑：张佳
10月31日，北京智源人工智能研究院在国家会议中心召开北京智源大会，会议汇集几十位国际顶尖AI学者和专家，共同探讨AI最新的学术进展和产业趋势，并展示AI科研、产业的最新成果。会上，周伯文博士与ChristopherManning教授就人工智能前沿技术发展、NLP领域的产业融合等内容展开尖峰对话。快来新智元AI朋友圈与周伯文等AI大咖讨论吧～
年10月31日，北京智源人工智能研究院在国家会议中心召开北京智源大会（BAAIConference），会议汇集几十位国际顶尖AI学者和专家，共同探讨AI最新的学术进展和产业趋势，并展示AI科研、产业的最新成果。科技部副部长李萌、北京市副市长殷勇出席开幕式并致辞。北京市科学技术委员会、北京市经济和信息化局、海淀区政府、朝阳区政府等部门相关领导出席了大会。
科技部副部长李萌
北京市副市长殷勇
本次大会群星闪耀，汇聚全球顶尖AI专家。包括中国科学院院士、智源研究院学术委员会主席张钹，图灵奖获得者、智源研究院学术委员会委员JohnE.Hopcroft，中国工程院院士、智源研究院学术委员会委员高文，加州大学伯克利分校教授、智源研究院学术委员会委员MichaelI.Jordan，京东集团副总裁兼京东人工智能事业部总裁，京东人工智能研究院院长，智源-京东联合实验室主任周伯文博士，加州大学洛杉矶分校教授、智源研究院学术委员会委员朱松纯，斯坦福人工智能实验室（SAIL）负责人ChristopherManning，中国工程院院士戴琼海，清华大学类脑计算研究中心主任施路平，香港科技大学教授、IEEEFellow杨强，伊利诺伊大学香槟分校（UIUC）计算机系教授翟成祥，哈佛大学统计系教授、美国国家科学院院士、现任清华大学丘成桐数学科学中心教授DonaldB.Rubin，以及康奈尔大学计算机科学系及信息科学系教授、SVM-Light、SVM-Rank作者ThorstenJoachims等专家学者出席大会。
周伯文博士与ChristopherManning教授展开尖峰对话
京东人工智能事业部作为此次大会的合作伙伴，邀请到全球深度学习自然语言处理（NLP）领军人、斯坦福人工智能实验室（SAIL）负责人、斯坦福教授ChristopherManning参加，并与京东集团副总裁兼京东人工智能事业部总裁，京东人工智能研究院院长，智源-京东联合实验室主任周伯文博士在开幕式上就人工智能前沿技术发展、NLP领域的产业融合等内容展开尖峰对话。现场ChristopherManning教授还受聘成为北京智源-京东跨媒体对话智能联合实验室的专家顾问。
ChristopherManning教授受聘成为北京智源-京东跨媒体对话智能联合实验室专家顾问
以下为摘取的对话实录(翻译自现场英文对话实录)：
周伯文：我们对话的第一部分会谈语义、语境和知识。我选择这三个词是因为它是来自于Christopher年在《科学》杂志发表的文章。
第一个问题，Chris，在您的论文结论部分，你写到“如果语义学、语境和知识方面真正的难题、难点得到解决的话，需要在语言学和在推理方面有一些新的突破“。现在四年多已经过去了，根据我们已知的最近的NLP进展，您对四年前的阐述，现在是否要做一些调整？
ChristopherManning：这是一个非常好的问题。我的答案是确实已经出现了一些变化，但有些没有变化。一方面，关于人工智能我的看法是，并没有取得那么大的进展，目前还没有办法使人工智能像人类那样去建模去利用知识和语境。另外一方面，要承认在过去几年当中取得了一定的进展，思维方式有了一些变化，在过去几年中我们看到，去建立新的深度学习神经网络系统，可以更好地去系统建模，这增强了我们的一些能力和知识，确实在这些方面有一些进展。
其中有一个例子，有一些传统AI人士，他们曾表示可以通过对知识和语境来建模来解决一些指代消解的问题。有一个好的关于理解语境和知识测试任务是类似于在一个行李箱当中有一个小的雕像，然后系统去推断出语言中的“它”指的是小雕像，而不是行李箱。现在基于深度学习系统已经在诸如此类任务上取得了一些突破，并且效果非常显著，我也相信在接下来的五年当中，深度学习还有很多提升空间，以及更多重大的发现。
周伯文：今天早上我和ChristopherManning在聊天时，我们都觉得-年是自然语言处理领域和深度学习结合的一个转折点。/年我在IBMResearch工作，从纽约去Montreal拜访YoshuaBengio，Yoshua和MILA的研究者们和我们交流最新的一些研究。Yoshua和他的博士后KyunghyunCho(他目前是NYU的教授)特别向我介绍了他们在神经机器翻译方面的一些最新的进展，第一次用最直接的编码器-解码器做翻译。我一开始的反应是，这个机器翻译模型有缺陷，因为没有明确学习对齐（alignment）词语的重排序(reordering)问题。我和他们讲了我们在统计机器翻译中，如何利用无监督学习到的SCFG去解决这个问题。Cho当时确实说他注意到他的模型在长句翻译上有很多问题，他会重新考虑重排序问题。他最后确实是找到了一个非常聪明的方法，是一个注意力模型。这个模型就是大家今天非常熟知的注意力机制，最终帮助神经机器翻译达到了业界最领先的水平(state-of-the-art)。
当我们回过头来看，注意力机制其实是一个巨大的进步。今天注意力机制不仅可以用于机器翻译来对对齐模型建模，可以用于句法分析的结构建模，还可以用于NLP中的上下文建模，等等，可以用于很多任务中，以至于Google的Transformer论文的标题都是”AttentionIsAllYouNeed”（这篇论文的第一作者Ashish曾经作为我的实习生和我在IBMResearch一起工作过一个夏天，非常聪明的一个年轻人）。但是回到我们的话题语义、语境和知识，您是否同意”AttentionIsAllYouNeed”?我个人认为注意力机制是过于复杂的，为了获得有效的注意点，需要大量的计算能力，在不同的layer，计算multi-headedattention。对于这个问题您是怎么看的？是否只需要注意力机制就足够了？还是要考虑其他的方法？
ChristopherManning：我觉得我们应该开放地探寻其他的方法。注意力机制在大量语言任务中确实被证实非常有效，所以我不会投反对票。即便在我过去的一些工作中，也充分利用了注意力机制并且获得了很好的效果。但是我不赞同只需要注意力机制，我们需要一些更复杂的计算，例如大规模的记忆力，大规模的知识，以便我们能更好的理解语言。而现有的注意力机制在这些方面做的还不够，例如BERT只能局限于长度为或者更短的句子长度，我们需要规模更大的记忆力机制去建模语言。除此之外，结合句子结构以及语言学的层次化语义合成性也是我们需要考虑的问题，我在过去几年也有过类似的工作，例如利用树状结构来学习句子语义合成性表征等。这些都是值得尝试的不同的方向。
周伯文：如果回顾一下，您会觉得我们自然语言处理在过去十年当中最大的成果是什么？最知名的成果是什么？
ChristopherManning：在过去十年，基于深度神经网络技术，我们在自然语言处理领域取得了很多举世瞩目的成就，可以
转载请注明：http://www.daxingxinga.com/dwjj/9247.html
当前位置： 大猩猩 > 大猩猩的习性 > NLP尖峰对话京东AI总裁周伯文对话斯坦
