关于作者：张正，坐标巴黎，上班NLP，下班词嵌入。
从词嵌入到句嵌入到底什么是fastText？先说结论，fastText在不同语境中至少有两个含义：1.在文章BagofTricksforEfficientTextClassification[1]中，fastText是作者提出的文本分类器的名字。与sub-word无关！也不是新的词嵌入训练模型！是wordvec中CBOW模型的简单变种。.作为Facebook开源包，fastText[6]是用来训练词嵌入或句嵌入的，其不仅包括1中论文的代码实现，还包括EnrichingWordVectorswithSubwordInformation[]及FastText.zip:Compressingtextclassificationmodels[3]两文的代码实现。本来觉得这些含义区别不重要，直到连我自己都被弄迷糊了。在写这篇解读前，我心中的fastText一直是第三种含义：用sub-word信息加强词嵌入训练，解决OOV（Out-Of-Vocabulary）表征的方法。结果带着这个预先的理解读BagofTricksforEfficientTextClassification，越读越迷惑。为理清思路，第一小节我们就先讲讲BagofTricksforEfficientTextClassification中的fastText，第二小节则围绕EnrichingWordVectorswithSubwordInformation。1.1Abstract“本文探索了一种简单有效的文本分类基准（方法）。我们的实验表明，我们的快速文本分类器fastText在准确性方面与深度学习分类器平分秋色，其训练和评估速度（相比深度学习模型更是）要快许多个数量级。我们可以使用标准的多核CPU在不到10分钟的时间内用fastText训练超过10亿个单词，并在一分钟之内将50万个句子在31万千个类中做分类。”作者中又出现了托老师，不知道是不是受他影响，这篇文章在表述上也很有wordvec的味道，更不用说模型本身。fastText和wordvec的卖点都是简单高效（快）。1.一句话介绍fastTextwordvec的CBOW模型中将中心词替换为类别标签就得到了fastText。具体到一些小区别：CBOW中词袋的大小由window_size决定，而fastText中就是整个要分类的文本。
CBOW实际运行中用Hierarchicalsoftmax，fastText用softmax或Hierarchicalsoftmax，具体试类的数量决定。这就是一个标配版且可以实际应用的fastText了，我要再强调三点它和CBOW无区别的地方，因为在别的讲该论文的文章中看到了一些错误的理解：CBOW和fastText都是用平均值来预测的。（CBOW不是求和，是求平均）
N-gram对于CBOW和fastText都是锦上添花的元素，不是标配。
词向量初始化都是随机的，fastText并没有在wordvec预训练词嵌入的基础上再训练。1.3对N-gram的理解如果没有重新读这篇文章，我也会下意识地往character级别想，但是必须要在此强调：这篇文章和character没有任何关系！文章中的n-gram出自Character-levelConvolutionalNetworksforTextClassification[4]，是word级别的。与我在wordvec中提到的phrases类似。在此梳理几个概念：BOW(Bag-Of-Words)：给你一个句子，统计每个词在其中出现的次数，这种表征方法就是BOW。CBOW(ContinuousBOW)：托老师在BOW前加了个C，就是因为wordvec并没有基于词频，而是连续的分布式的表征（continuousdistributedrepresentation）。
n-gram(orwordn-gram)：“我写知乎”，bi-gram就是“我写”，“写知”和“知乎”。
character-leveln-gram：中文不太好讲word和character的区别，深入到字母级别，把一个词拆成字母串。EnrichingWordVectorswithSubwordInformation中是character-leveln-gram，这里不是。作者的实验证明，引入wordn-gram可以提升一些任务的表现，原因是标配版中只用word级别求平均值完全忽略了词序，而n-gram保留了小范围的部分词序，对于文本表征是有意义的，从这个角度也可以判断此处的n-gram应当是词级别而不是character级别的。这篇文章可以看作是wordvec的一个延伸，并不是fastText出名的原因。1.4“假装看过代码”我要坦白：我确实没仔细看过fastText的源码。因此从代码角度来解释n-gram在不同fastText版本中的区别我直接引用评论keepfighting同学的内容，非常感谢！不同于wordvec，fastText源码和论文是相互匹配的，可以交叉验证我们对n-gram的理解。1.5创新性有限的fastText.zip同wordvec一样，softmax给模型的计算量、内存占用都带来了很大的负担。对fastText而言，随着文本数量和词典规模增大，内存占用会极大地攀升。针对该问题，FastText.zip:Compressingtextclassificationmodels[5]研究了如何在对模型效果影响不大的情况下节省内存。按照惯例，我们还是简单翻一下abstract：“我们考虑生成用于文本分类的紧凑架构的问题，从而使整个模型适配有限的内存。在考虑了受hashing相关文献启发的不同解决方案后，我们提出了一种基于PQ算法（ProductQuantization）来存储词嵌入的方法。虽然原始技术会导致准确性下降，但我们将此方法改编为规避量化伪像。虽然原版方法会导致准确性下降，但我们将此方法改进为可以规避quantizationartefacts的（我尽力了，但我真的不知道这里怎么翻译，求大神指导）。在几个基准测试上的实验结果表明，我们的方法通常仅需要比fastText少两个数量级的内存，而在准确性方面仅稍差一些。就内存使用率和准确性之间的平衡而言，它比现有技术高出许多。”如OpenReview所说，这篇文章是用已经存在的模型压缩方法（如PQ算法、用hashing来缩小词典内存占用等），创新性有限。何况ICLR更