<bdo></bdo>
        <bdo></bdo>

        今天是: 欢迎访问玩具官网!

        当前位置: 玩具 > 知乎 >

        word embedding的所谓word analogy特性是有一定的应用性还是只是个玩具?

        时间:2018-08-27 20:08:08   来源:玩具     字号:    点击数:107 次
        打印 小米社区怎样签到赢积分

        word embedding的所谓word analogy特性是有一定的应用性还是只是个玩具?
          
        问:word embedding的所谓word analogy特性是有一定的应用性还是只是个玩具?

        word embedding的所谓word analogy特性是有一定的应用性还是只是个玩具?

        答:word embedding的所谓word analogy特性是有一定的应用性还是只是个玩具?

        Yanran LiFasannsile Shalira:谢邀。简单说一点点大家的看法和个人理解。1. 最初 word embedding 火起来,可以说 Word Analogy 功不可没(开源和速度快是另外最大的原因)。因为 Mikolov 在论文[1] 中的著名例子:King - Man + Woman = Queen,大家觉得很有趣便纷纷使用了这个开源,然后开源代码又很快,之后就口碑效应快速传播了。2. 直到 ACL 2015 上,Word Analogy 的身影还是很多的。EMNLP 2015 上很明显消退。这两点是个人的感受。3. 其实除了 Word Analogy,单纯用 Word Similarity/Word Relatedness 的 testset 作为 word representation 的评价,也开始被人质疑。4. 因为人们发现,尽管每个人在发 paper 的时候,都 claim 自己的方法,在 Word Analogy/Word Similarity 等这种人造的测试集上,表现有所提升(而且提升很多时候不大)。但是当把学出来的 word embedding 都放在 NLP 任务上(比如 classification/prediction/input for NN)上时,几乎没有差别(见论文[2])。5. 与此同时,也有人开始发现 Word Analogy/Word Similarity 这些人造的测试集的根本缺陷:一方面,既然是人造的,是人为给两个词打分,给出一个相似度大小,那么人为的依据是什么?每个人看法一样么?直接综合好么?关于这个讨论,就有了论文[3]。另一方面,因为大家都在做很小的提升,和更细化的改进,比如学出来的 word embedding 对于拼写错误的容错性更高,或者对于一词多义的区分度更好,那么这些过去被开发出来的测试集,就不能满足需求了。所以人们开始用 KNN 这种更“朴素”的方式展现自己的结果。6. 继续说第4点的问题,人们一方面发现 word similarity benchmark 刷分然并卵了,一方面也开始把注意力转移到了 sentence representation 等更 high-level 的 representation modeling/learning 上了。所以,研究 evaluation for word embedding 本身的人少了,自然 Word Analogy 也少了。7. 不过这个东西现在在 multi-modal/image representation 中开始火起来了:7.1. 有人叫 Multimodal linguistic regularities,
        (来自 Prof. Ruslan Salakhutdinov 最近的 Deep Learning Tutorial Slides. [4])7.2. 也有人叫 Vector arithmetic for visual concepts,
        (来自论文[5])8. 最后总结一下,个人认为,这个东西单纯作为 word embedding evaluation 没什么用,但它的思想可以用做很多事情,8.1. 比如聚类。作为一种思想,去设计实验和改进模型,我认为它是很不错的。8.2. 这种 regularity 可以认为是一种“维度”,一种“方向”,一种 axis。也因此有人会试图找一个名叫 gender 的维度——从而相当于我们 decompose 了语义,从这个角度来讲,compositional NLP 的工作中有很多正在 follow 这种思想或者受其启发。8.3. 这种 axis 还可以作为 latent space 中的一种 search direction,这个说起来有点很复杂,只是我个人的一种设想,还没看到工作。[1] Linguistic Regularities in Continuous Space Word Representations. 2013.[2] Improving Distributional Similaritywith Lessons Learned from Word Embeddings. 2015.[3] Phrase similarity in humans and machines. 2015.[4] : Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks. 2015.

        刘知远自然语言处理、:深度学习(Deep Learning)、:机器学习 :话题:的:优秀回答者::这种特性应该还是有很多用武之地的,例如2014年发表在ACL上的Learning Semantic Hierarchies via Word Embeddings,就是利用该特性自动检测词语之间的上下位关系,这对构建WordNet、HowNet等词汇知识库具有重要意义。还有很多方向值得进一步探索。
        更重要的是,而面向知识图谱的表示学习算法TransE,正是受到这种类比现象的启发而提出来的。未来如何有效融合无结构文本库和有结构知识库,实现对人类知识的表示和利用,这种现象会是重要的思想来源和依据。

        李韶华研究者:个人认为这种特性尽管似乎在实践中没什么卵用,但它间接支持了使用word embedding作为 NLP 任务的 feature。我无法给出严格的证明,只能在直觉上解释一下。feature 的线性模型是机器学习里一个基本组件,在文本分类、情感分析、NER 等 NLP 任务里也是如此。即使非线性模型里也往往有线性的成分,比如 NN、CRF、logistic regression,一个 node 的多个输入,仍然是求线性加权和然后做非线性变换。这样的话,word embedding 体现出的“语义线性关系”就可能在模型的线性成分中,capture 一些用 one-hot encoding 所不能 capture 的信息。随便举个例子,比如一个文档里出现了 capital、England.. 但没出现 London(好吧,这种场景的可能性很小),另一个文档里出现了 London.. 那么由于v(capital) + v(England) ≈ v(London).. 两个文档有更大的机会被正确的归为一类。以上的例子也适用于类似 paragraph vector 之类的 sentence/document embedding 模型,因为它们往往是先算词的 embedding 的加权和,再做某种变换来得到的。

        张馨宇机器学习民科|篮球举重爱好者|偏左你要说直接的拿来用,那的确是没有什么应用性。但是这个特性可以表明embedding是有用的,或者说,有这个的特性的embedding可能会比较有用,因为毕竟embedding的初衷就是搞出这种特性来。但是在工业界肯定是有用就行,哪怕你没有这个特性的embedding,能解决好我的任务就行……

        Qian WangIT领域最稀缺的技能zero-shot visual recognition里会用到

        匿名用户:It is just another evaluation of word similarity.
        怎样使用小米手机遥控小米盒子?米4遥控盒子
            • <bdo></bdo>
                • 关键词:玩具  玩具批发  玩具厂家  儿童玩具

                  版权所有 :玩具     未经书面授权禁止使用

                  Copyright © 2002-2018 遥控飞机 幼儿益智玩具

                  Copyright © 1997-2018 by http://www.17toy.cn/ all rights reserved 备案号:

                  欢迎登录玩具网站 您是本站的第581002位访客