问:word embedding的所谓word analogy特性是有一定的应用性还是只是个玩具?

word embedding的所谓word analogy特性是有一定的应用性还是只是个玩具?

答:word embedding的所谓word analogy特性是有一定的应用性还是只是个玩具?

Yanran LiFasannsile Shalira:谢邀。简单说一点点大家的看法和个人理解。1. 最初 word embedding 火起来,可以说 Word Analogy 功不可没(开源和速度快是另外最大的原因)。因为 Mikolov 在论文[1] 中的著名例子:King - Man + Woman = Queen,大家觉得很有趣便纷纷使用了这个开源,然后开源代码又很快,之后就口碑效应快速传播了。2. 直到 ACL 2015 上,Word Analogy 的身影还是很多的。EMNLP 2015 上很明显消退。这两点是个人的感受。3. 其实除了 Word Analogy,单纯用 Word Similarity/Word Relatedness 的 testset 作为 word representation 的评价,也开始被人质疑。4. 因为人们发现,尽管每个人在发 paper 的时候,都 claim 自己的方法,在 Word Analogy/Word Similarity 等这种人造的测试集上,表现有所提升(而且提升很多时候不大)。但是当把学出来的 word embedding 都放在 NLP 任务上(比如 classification/prediction/input for NN)上时,几乎没有差别(见论文[2])。5. 与此同时,也有人开始发现 Word Analogy/Word Similarity 这些人造的测试集的根本缺陷:一方面,既然是人造的,是人为给两个词打分,给出一个相似度大小,那么人为的依据是什么?每个人看法一样么?直接综合好么?关于这个讨论,就有了论文[3]。另一方面,因为大家都在做很小的提升,和更细化的改进,比如学出来的 word embedding 对于拼写错误的容错性更高,或者对于一词多义的区分度更好,那么这些过去被开发出来的测试集,就不能满足需求了。所以人们开始用 KNN 这种更“朴素”的方式展现自己的结果。6. 继续说第4点的问题,人们一方面发现 word similarity benchmark 刷分然并卵了,一方面也开始把注意力转移到了 sentence representation 等更 high-level 的 representation modeling/learning 上了。所以,研究 evaluation for word embedding 本身的人少了,自然 Word Analogy 也少了。7. 不过这个东西现在在 multi-modal/image representation 中开始火起来了:7.1. 有人叫 Multimodal linguistic regularities,
(来自 Prof. Ruslan Salakhutdinov 最近的 Deep Learning Tutorial Slides. [4])7.2. 也有人叫 Vector arithmetic for visual concepts
(来自论文[5])8. 最后总结一下,个人认为,这个东西单纯作为 word embedding evaluation 没什么用,但它的思想可以用做很多事情,8.1. 比如聚类。作为一种思想,去设计实验和改进模型,我认为它是很不错的。8.2. 这种 regularity 可以认为是一种“维度”,一种“方向”,一种 axis。也因此有人会试图找一个名叫 gender 的维度——从而相当于我们 decompose 了语义,从这个角度来讲,compositional NLP 的工作中有很多正在 follow 这种思想或者受其启发。8.3. 这种 axis 还可以作为 latent space 中的一种 search direction,这个说起来有点很复杂,只是我个人的一种设想,还没看到工作。[1] Linguistic Regularities in Continuous Space Word Representations. 2013.[2] Improving Distributional Similaritywith Lessons Learned from Word Embeddings. 2015.[3] Phrase similarity in humans and machines. 2015.[4] : Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks. 2015.

刘知远自然语言处理、:深度学习(Deep Learning)、:机器学习 :话题:的:优秀回答者::这种特性应该还是有很多用武之地的,例如2014年发表在ACL上的Learning Semantic Hierarchies via Word Embeddings,就是利用该特性自动检测词语之间的上下位关系,这对构建WordNet、HowNet等词汇知识库具有重要意义。还有很多方向值得进一步探索。
更重要的是,而面向知识图谱的表示学习算法TransE,正是受到这种类比现象的启发而提出来的。未来如何有效融合无结构文本库和有结构知识库,实现对人类知识的表示和利用,这种现象会是重要的思想来源和依据。

李韶华研究者:个人认为这种特性尽管似乎在实践中没什么卵用,但它间接支持了使用word embedding作为 NLP 任务的 feature。我无法给出严格的证明,只能在直觉上解释一下。feature 的线性模型是机器学习里一个基本组件,在文本分类、情感分析、NER 等 NLP 任务里也是如此。即使非线性模型里也往往有线性的成分,比如 NN、CRF、logistic regression,一个 node 的多个输入,仍然是求线性加权和然后做非线性变换。这样的话,word embedding 体现出的“语义线性关系”就可能在模型的线性成分中,capture 一些用 one-hot encoding 所不能 capture 的信息。随便举个例子,比如一个文档里出现了 capital、England, 但没出现 London(好吧,这种场景的可能性很小),另一个文档里出现了 London, 那么由于v(capital) + v(England) ≈ v(London), 两个文档有更大的机会被正确的归为一类。以上的例子也适用于类似 paragraph vector 之类的 sentence/document embedding 模型,因为它们往往是先算词的 embedding 的加权和,再做某种变换来得到的。

张馨宇机器学习民科|篮球举重爱好者|偏左你要说直接的拿来用,那的确是没有什么应用性。但是这个特性可以表明embedding是有用的,或者说,有这个的特性的embedding可能会比较有用,因为毕竟embedding的初衷就是搞出这种特性来。但是在工业界肯定是有用就行,哪怕你没有这个特性的embedding,能解决好我的任务就行……

Qian WangIT领域最稀缺的技能zero-shot visual recognition里会用到

匿名用户:It is just another evaluation of word similarity.

相关推荐:www.599829.net www.126926.com www.rg6899.com www.126926.net www.rg6899.com 打浆机 湿地 皮草
以上word embedding的所谓word analogy特性是有一定的应用性还是只是个玩具?来源于知乎,如需具体信息可以点击word embedding的所谓word analogy特性是有一定的应用性还是只是个玩具?_知乎.
问题:word embedding的所谓word analogy特性是有一定的应用性还是只是个玩具?
链接:http://www.17toy.cn/zhihu/547.html
隔壁家的熊孩子总是来抢我家宝宝的玩具,这类行为家长该不该出手干
没有了