深度学习下一个大的突破会是机器阅读吗?

机器阅读将是深度学习的下一个重大进展

深度学习下一个大的突破会是机器阅读吗?

回顾2016年,深度学习在应用领域取得了三个重大进展。

1. Google DeepMind 的 AlphaGo,战胜了人类顶级围棋高手。

2. Google Translate 上线,达到了与人类媲美的精度。

3. Tesla 的 AutoPilot 投入使用,让自动导航成为大众使用的日常工具。

展望2017年,深度学习在应用领域将会有新的突破,其中一大看点,就是机器阅读。

书籍是人类文明的主要传承工具。让机器掌握自动阅读的能力,将会颠覆性地降低知识传承和使用的难度。

机器阅读之所以可能在2017年取得突破性进展,原因是机器翻译的工作原理,可以拓展到机器阅读领域。

文本摘要的研究,在2016年取得的进展,已经昭示了机器阅读的前进方向。

所谓文本摘要,就是把整篇文章,输入给电脑,电脑自动输出文章的中心思想。

文本摘要的工作原理,与机器翻译的工作原理,一脉相承。

机器翻译的原理,编码及解码

机器翻译的工作原理,说来简单,先编码,后解码 [1]。

编码的任务,是把输入的文章,转换成一连串数字向量,数字向量包含文章每一词的语义和语法信息,如同基因DNA。

解码的任务,是把数字向量,逐个转换成其它语言的词语,完成翻译。

任务明确后,接下去谈如何实现。

如何提炼文章中每一个词的语义信息?机器翻译用了两个办法,

1. 词向量,词向量包含这一个词的语义信息。词向量的实现方式,用的是神经网络与语言模型的组合,稍后介绍。

2. 语义向量,语义向量包含了从文章开头到当前词的主要语义,也包含了从当前词到文章末尾的主要语义,所以语义向量又称为前后文向量。语义向量的实现方式,用的是 LSTM 的隐状态,稍后介绍。

除了语义信息,编码是否需要容纳语法和统计信息?

文本摘要的研究者们,提议在编码中也容纳语法词性标注(POS tagging)、实体标注(NER)、信息挖掘统计值(TF-IDF)等等信息 [2]。

悬念是,还有哪些其它有用的信息,也应该被容纳进编码中?

更大的悬念是,如何提高编码的正确性,精准地全面地表达原文的语义和语法信息?

编码的实现原理

编码的实现,依赖于词向量和语义向量。

词向量的实现方式,用的是神经网络与语言模型的组合 [3]。

先说语言模型(Language Model),语言模型的任务,是根据前文,预测下一个词,最可能是什么?

有时候听众会打断对方的发言,说,“你不用再说了,你下面想说什么,我已经猜到了”。这样的听众,脑子里拥有出色的语言模型。

人类语言有缺陷,“版图” 与 “疆界”,无一字相同,但是语义相同。

语言模型把每一个人类词汇,对应到一个词向量。词向量是数字向量,数字向量的好处在于,容易计算数字向量之间的距离。同义词的词向量之间的距离为零,近义词的词向量之间的距离较短。

人类词汇,有一词多义的情况。词向量的技术难题,在于如何给多义词配置多个词向量。

[3] 用神经网络,来根据前文,预测下一个出现的词。

所谓预测,其实是估算词库中所有词汇,哪一个词汇在下一个出现的概率最大。神经网络发挥的作用,是概率模拟器。

预测很准的时候,神经网络中的诸多参数就不需要调整。预测不准的时候,就调整这些参数,提高后续预测的精准度。这就是语言模型训练的过程。

因为要估算词库中所有词出现的概率,所以训练语言模型的计算量,往往大得惊人。

解决的办法,是尽可能缩小候选词汇的数量。办法很多,譬如 beam search。

语义向量的实现,依赖 LSTM(Long Short Term Memory)。LSTM 也是一种神经网络,特色有二 [4]。

1. 循环:神经网络前一次的输出,将作为同一个神经网络下一次的输入。所以,LSTM 是处理序列的利器,语句就是序列的一种,序列的例子还包括,股票价格波动,心电图脑电图,音频视频等等。

2. 遗忘:语句中每个词汇的重要性不同,记住重要的词汇,忘记冗词。人类记忆有限,听演讲往往要做笔记,记住要点。电脑的记忆无限,但是也要取舍,避免噪音淹没了要点。

人类听演讲时,把要点写在笔记本里。LSTM 处理序列时,把要点存储在隐状态里。

隐状态(Hidden State)也是数字向量,隐状态数字向量的维度,往往比词向量的维度高。就像笔记本里能够写下很多词汇。

但是隐状态向量并非词向量的简单积累。隐状态向量是前后文词向量的剪接,如同基因剪接一样。

LSTM 的隐状态向量,胜任前后文语义向量的职能。但是隐状态向量的软肋,在于含义晦涩,如同基因不易读解。

好的隐状态向量,容易识别。如果用 Autoencoder [5] 把隐状态向量复原成原文,复原后的原文,与真正的原文越相近,说明隐状态向量的质量越好。

但是坏的隐状态向量,坏在哪里,很难甄别。因为,隐状态向量的含义晦涩难懂。这是需要研究解决的难题。

除了提炼前后文语义,LSTM 还可以做很多事情,譬如给文章中每个词汇标注词性,识别文章中地址名称等等词组。

作为神经网络的一种,LSTM 也需要训练,训练就需要语料。不同的任务,譬如词性标注,词组识别,需要不同的训练语料。

获得大量语料,也是难题。譬如有人提议,收集文章及其标题,作为文本摘要的训练语料。但是遇到标题党,这个办法就失效。

解码的实现原理

解码的理想境界,与翻译的理想境界相似,

1. “信”:语义要正确,不要曲解。

2. “达”:措辞要恰当,即便语义相同,如果措辞不同,那么语气迥异。

3. “雅”:行文要流畅。

解码器的实现原理,与词向量的实现原理相似,依赖语言模型,根据前文,预测下一个词,最可能是词库中的哪一个词汇?

不要忘记,估算词库中所有词出现的概率,计算量往往大得惊人。

要达到“信”的境界,对于机器翻译而言,难度较低,因为翻译基本上是逐个词汇一对一翻译。

对于文本摘要而言,“信”的难度较高。如何摘录重点?人类做摘要,往往摘录论点,不摘录论据,往往摘录故事结局,不摘录故事过程。

如何让电脑辨别论点与论据,结局与过程?这是需要研究的难题。

所以,对于机器翻译而言,解码器的输入,只需要原文中的词向量和语义向量,就可以翻译得相当精准。

但是,对于文本摘要而已,除了词向量和语义向量,还需要词性标注、词组识别、TF-IDF,信息越丰富,摘要越简洁。

简单暴力的办法,是摘录原文中每个段落的起首一两句,遇到两个段落的起首句的语义相同,就忽略其中一个。

要达到“达”的境界,对于机器翻译而言,难度较高,每种语言都有同义词,但是同义词之间的语气差别,往往难以界定。

对于文本摘要而言,“达”的难度较低,简单粗暴但是行之有效的办法,是直接引用原文中的词汇。

引用原文词汇,还有一个好处,是大大降低了计算量。说得学术点,这叫 LVT,Large Vocabulary Tricks [6]。

麻烦在于,原文中出现的词汇很多,下一个词应该引用原文中的哪一个词汇?

解决办法是先用语言模型,根据当前的词向量、语义向量,预测下一个词的词向量。然后再去原文中,寻找最贴切的词汇。

寻找的办法,说得学术点,叫 Attention [1]。

大意是根据原文中每一个词汇本身的语义、语法词性、词组标注、TF-IDF 统计信息,以及前后文的语义等等尽可能多的信息,评估原文中的每一个词汇,与下一个词的词向量的相关性。

但是 Attention 的办法,也会导致巨大的计算量。[2] 提议了一个减少计算量的办法,先评估每个语句的相关性,找到相关语句后,再评估这个语句中每个词汇的相关性。

要达到“雅”的境界,无论机器翻译还是文本摘要,都必须做到下一个词的选择,必须与前文词汇保持流畅。

对于文本摘要而言,下一个词的选择,不能全部选用原文中词汇。实现方式有两个要素。

1. 预先从训练语料中,构建摘要的词库。

2. 实现一个开关函数,决定从词库中选词,还是从原文词汇中摘录。

开关函数可以用 sigmoid 函数,输入有三项,前文的词汇、预测出的下一个词的词向量、Attention 找到的原文中最贴切的词汇。

未来有待解决的问题

除了进一步降低语言模型的计算量,除了识别原文中各个语句及词汇的重要性,未来最大的挑战,可能是如何引用外援知识。

人类阅读的时候,经常需要查字典,查参考文献。

引用外援知识的目的,是扩大读者现有的知识结构,消除现有知识结构与文章内容之间的落差。

阅读结束后,进一步扩大现有知识结构。这就是人类通过阅读,不断学习知识的过程。

知识结构的表达方式有多种,“一图胜千言”,自然语言似乎不是最高效的表达方式。

知识图谱由点和边组成,点表达概念,边表达一个概念与另一个概念之间的关系。

譬如 “发烧” 和 “炎症” 是两个概念,在知识图谱中用两个点来表达。“炎症”导致“发烧”,在知识图谱中用有向边来表达。

当阅读一篇文章时,如果文章中出现的概念,没有出现在现有知识图谱中,那么阅读就会出现困难,这就是知识的落差。

消除知识落差的办法,是查字典,查参考文献,扩大阅读,直到文章中出现的新概念,与现有知识图谱相连接。

如何把文章转换为知识图谱?不妨沿用机器翻译和文本摘要的工作原理,把文章从自然语言,转换成知识图谱。

换而言之,机器阅读其实就是自然文本的结构化。

参考文献

[1] Neural Machine Translation by Jointly Learning to Align and Translate

https://arxiv.org/abs/1409.0473

[2] Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond

https://arxiv.org/abs/1602.06023

[3] Distributed Representations of Words and Phrases and their Compositionality

https://arxiv.org/abs/1310.4546

[4] Understanding LSTM Networks

http://colah.github.io/posts/2015-08-Understanding-LSTMs/

[5] Autoencoders tutorial

http://ufldl.stanford.edu/tutorial/unsupervised/Autoencoders/

相关推荐