如何拥抱 embedding ?从词向量到句向量的技术详解

初商 2019-08-16

阿里机器智能

小叽导读:13年 Word2vev 横空出世,开启了基于 word embedding pre-trained 的 NLP 技术浪潮,6年过去了,embedding 技术已经成为了 nn4nlp 的标配,从不同层面得到了提升和改进。今天,我们一起回顾 embedding 的理论基础,发现它的技术演进,考察主流 embedding 的技术细节,最后再学习一些实操案例。

从实战角度而言,现在一般把 fastText 作为 word embedding 的首选,如果需要进一步的上下文信息,可以使用 ELMo 等 contextual embeddings。从18年开始,类似 ULMFiT、Bert 这样基于 pre-trained language model 的新范式越来越流行。

Sentence embedding 方面,从15年的 S

登录 后评论
下一篇
云攻略小攻
1531人浏览
2019-10-11
相关推荐
Tensorboard详解(下篇)
718人浏览
2018-05-18 19:45:21
DL应用:query生成和query推荐
11115人浏览
2018-02-12 17:25:53
神经网络嵌入详解
966人浏览
2018-10-09 22:47:07
0
1
0
824