词向量最强面经,面试稳了
共 1190字,需浏览 3分钟
·
2022-02-10 08:09
之前总结过一个关于词向量的面试题,基本把词向量该问的都问到了。
我也根据这个词向量面试题写了一个答案解析,把 Word2Vec,FastText,Glove等模型细节都讲的很清楚。
对这个感兴趣的,有我微信直接找我要一下,没我微信的,搜【dasoucv】或者扫描下面二维码找我要一下。【我也希望大家能相互尊重】
整个面试题如下:
有没有使用自己的数据训练过Word2vec,详细说一下过程。包括但是不限于:语料如何获取,清理以及语料的大小,超参数的选择及其原因,词表以及维度大小,训练时长等等细节点。
Word2vec模型是如何获得词向量的?聊一聊你对词嵌入的理解?如何理解分布式假设?
如何评估训练出来的词向量的好坏
Word2vec模型如何做到增量训练
大致聊一下 word2vec这个模型的细节,包括但不限于:两种模型以及两种优化方法(大致聊一下就可以,下面会详细问)
解释一下 hierarchical softmax 的流程(CBOW and Skip-gram)
基于6,可以展开问一下模型如何获取输入层,有没有隐层,输出层是什么情况。
基于6,可以展开问输出层为何选择霍夫曼树,它有什么优点,为何不选择其他的二叉树
基于6,可以问该模型的复杂度是多少,目标函数分别是什么,如何做到更新梯度(尤其是如何更新输入向量的梯度)
基于6,可以展开问一下 hierarchical softmax 这个模型 有什么缺点
聊一下负采样模型优点(为什么使用负采样技术)
如何对输入进行负采样(负采样的具体实施细节是什么)
负采样模型对应的目标函数分别是什么(CBOW and Skip-gram)
CBOW和skip-gram相较而言,彼此相对适合哪些场景
有没有使用Word2vec计算过句子的相似度,效果如何,有什么细节可以分享出来
详细聊一下Glove细节,它是如何进行训练的?有什么优点?什么场景下适合使用?与Word2vec相比,有什么区别(比如损失函数)?
详细聊一下Fasttext细节,每一层都代表了什么?它与Wod2vec的区别在哪里?什么情况下适合使用Fasttext这个模型?
ELMO的原理是什么?以及它的两个阶段分别如何应用?(第一阶段如何预训练,第二阶段如何在下游任务使用)
ELMO的损失函数是什么?它是一个双向语言模型吗?为什么?
ELMO的优缺点分别是什么?为什么可以做到一词多义的效果?
答案解析PDF大概这样:
等等吧......
还是上面说的,对这个感兴趣的,有我微信直接找我要一下,没我微信的,搜【dasoucv】或者扫描下面二维码找我要一下。