《NLP 中的Mask全解》 不同的mask方式,也对应了一篇篇的paper,这里选取典型的几个。对应的各mask值为: 可以看到 mask_decoder 的第三列为0 ,对应padding mask,上三角为0,对应sequence mask。编辑于昨天 10:54 yyy0 2020-05-12 12:47:09
Google 开源最新 NLP 模型,能处理整本《罪与罚》 2018 年,Google 开源了基于 Transformer 的 BERT 模型,在 NLP 领域大火。近日,Google 又推出了 Transformer 的“升级版”——Reformer。所以这会是 Google 未来主要关注的方向。 yyy0 2020-01-18 14:39:43
自然语言处理(NLP) - 数学基础(1) - 总述 正如我在<2019年总结>里说提到的, 我将开始一系列自然语言处理(NLP)的笔记. 很多人都说, AI并不难啊, 调现有库和云的API就可以啦. 然而实际上并不是这样的. 首先, AI这个领域十分十分大, 而且从1950年图灵提出图灵测试 yyy0 2019-12-12 00:57:32
NLP 语义相似度计算 整理总结 feeds场景下Doc和Doc的语义相似度;在各种分类任务,翻译场景下,都会涉及到语义相似度语义相似度的计算。问题:表示方向上的差异,但对距离不敏感。关心距离上的差异时,会对计算出的每个(相似度)值都减去一个它们的均值,称为调整余弦相似度。 yyy0 2019-12-02 16:30:04
技惊四座的BERT全靠数据集?大模型霸榜或许是学界的灾难 技惊四座的BERT全靠数据集?排行榜有什么错?技惊四座的BERT全靠数据集?问题在于:这些模型都很大。单单只是微调模型也非常昂贵。为什么「大模型+排行榜=灾难」?BERT 在这样的对抗数据集只能获得如下效果: 技惊四座的BERT全靠数据集? yyy0 2019-07-22 13:23:54
德国研究者用1.7万篇arXiv论文预测机器学习和NLP研究趋势 德国研究者用1.7万篇arXiv论文预测机器学习和NLP研究趋势 图 1:cs.CL 领域 top-100 论文的任务分布情况。预测研究趋势一直是科学家的梦想。这些属性回答了论文研究什么、如何研究、为什么研究这几个问题。 yyy0 2019-03-19 09:44:00
BERT、GPT-2这些顶尖工具到底该怎么用到我的模型里? BERT、GPT-2这些顶尖工具到底该怎么用到我的模型里?BERT、GPT-2这些顶尖工具到底该怎么用到我的模型里?BERT、GPT-2这些顶尖工具到底该怎么用到我的模型里?BERT、GPT-2这些顶尖工具到底该怎么用到我的模型里? yyy0 2019-02-22 12:45:40
用可视化解构BERT,我们从上亿参数中提取出了6种直观模式 可视化BERT之一 在BERT错综复杂的注意力网络中,出现了一些直观的模式。BERT 同时也要经过预训练。BERT 到底学了什么?这个模式不像上一个那样显著。右:所选词的注意力(“## berries”) 这个模式并不像其他模式那样显著。 yyy0 2019-01-21 12:35:37
期待已久!邓力、刘洋等合著的这本NLP书你确定不想看? NLP 的发展经历了三次浪潮:理性主义、经验主义和深度学习。语音识别是深度学习深刻影响的第一个工业 NLP 应用。深度学习在 NLP 领域的另一个成功应用是机器翻译。如今,深度学习是应用于几乎所有 NLP 任务的主导方法。期待已久! yyy0 2018-11-07 13:40:19
128 块 Tesla V100 4 小时训练 40G 文本,这篇论文果然很英伟达 然而,由于在大型数据集上训练大型语言模型非常耗时,因此上述情况下的迁移学习非常困难。由于基于 RNN 的语言模型具有序列性,这些模型在数值上很难训练,且并行性差。为了保证有效的训练和迁移大型语言模型,我们使用多 GPU 并行化训练。 yyy0 2018-08-09 09:53:27
专访iDST NLP负责人——淘宝内容搜索、评价归纳的幕后英雄 作为阿里iDST大团队的一部分,iDST NLP主要为阿里大生态系统提供自然语言处理相关的基础技术,以及垂直应用的技术支持。司罗:刚才谈到iDST NLP团队主要为整个阿里大生态提供自然语言处理技术,同时也会对外赋能、处理相关的垂直应用。 yyy0 2017-09-19 12:25:04
斯坦福大学《语音与语言处理》第三版:NLP必读书籍 它不仅可以帮助语言学研究者深入了解语言处理的计算模型和技术,而且还能帮助计算机语言应用开发人员了解更多语言学基础,并帮助语音处理的专业人员了解语言理解和语义学知识。斯坦福大学《语音与语言处理》第三版:NLP必读书籍 yyy0 2017-08-29 16:55:14