TensorFlow中的候選采樣
在從事深度學習過程中, 如果我們想訓練一個類別非常多的分類器 (比如一個擁有巨大詞匯庫的語言模型), 正常的訓練過程將非常緩慢。這是由于在訓練過程中，所有的類別都需要進行評估。為了解決這個問題，人們發明了候選采樣的技巧，每次只評估所有類別的一個很小的子集。深度學習庫 TensorFlow (TF) 實現了候選采樣技巧, 并提供了一些 API。
1. 候選采樣函數
候選采樣函數，從巨大的類別庫中，按照一定原則，隨機采樣出類別子集。TF 提供下面幾個候選采樣函數, 其中前面三個的參數和返回值是一致的，第四個也很類似。具體參數和返回值可以移步 TF 文檔。
(1) tf.nn.uniform_candidate_sampler
均勻地采樣出類別子集。
(2) tf.nn.log_uniform_candidate_sampler
按照 log-uniform (Zipfian) 分布采樣。
這個函數主要用于處理詞作類別的情況。在語言學中，詞按照出現頻率從大到小排序之后，服從 Zipfian 分布。在使用這個函數之前，需要對類別按照出現頻率從大到小排序。
(3) tf.nn.learned_unigram_candidate_sampler
按照訓練數據中類別出現分布進行采樣。具體實現方式:1)初始化一個 [0, range_max] 的數組, 數組元素初始為1; 2) 在訓練過程中碰到一個類別，就將相應數組元素加 1;3) 每次按照數組歸一化得到的概率進行采樣。
(4) tf.nn.fixed_unigram_candidate_sampler
按照用戶提供的概率分布進行采樣。
如果類別服從均勻分布，我們就用uniform_candidate_sampler;如果詞作類別，我們知道詞服從 Zipfian, 我們就用 log_uniform_candidate_sampler; 如果我們能夠通過統計或者其他渠道知道類別滿足某些分布，我們就用 nn.fixed_unigram_candidate_sampler; 如果我們實在不知道類別分布，我們還可以用 tf.nn.learned_unigram_candidate_sampler。
其實我蠻好奇 tf 內部怎么實現快速采樣的，特別是
tf.nn.learned_unigram_candidate_sampler 概率分布在變的情況下，我知道最快的采樣算法也是 O(n) 的。不知道 tf 有沒有更快的算法。
2. 候選采樣損失函數
候選采樣函數生成類別子集。類別子集需要送給候選采樣損失函數計算損失，最小化候選采樣損失便能訓練模型。TF 提供下面兩個候選采樣損失函數。這兩個采樣損失函數的參數和返回值是一致的, 具體參數和返回值可以移步 TF 文檔。
(1) tf.nn.sampled_softmax_loss
這個函數通過 模型的交叉熵損失。候選類別子集由采樣類別 和真實類別 組成，即 。模型***一層輸出是 , 經過 softmax 激活函數轉成模型輸出的概率 , 得 。
因為只有候選類別子集 , 沒有類別全集 L，我們無法計算 ，進而計算交叉熵損失。通過候選類別子集，我們只能計算 。那么怎么優化 相關的損失函數，得到 呢?我們有。
其中 K 是和 y 無關的數。我們得到概率計算公式和交叉熵損失。
最小化 J 訓練模型。
(2) tf.nn.nce_loss
NCE Loss 和 Sampled Softmax Loss 的出發點是一致, 都是想使得模型輸出 。它們的不同點在于 Sampled Softmax Loss 只支持 Single-Label 分類，而 NCE 支持 Multi-Label 分類。候選類別子集 由采樣類別 和真實類別 組成，即 。對于候選類別子集中的每一個類別，都建立一個 Logistic 二分類問題，其損失函數為
最小化 J 訓練模型。
3. 候選采樣限制
很多時候, 負類別由問題給定。比如我們訓練分類器玩斗地主撲克, 下面幾個性質:
- 斗地主中所有可能的出牌動作非常多;
- 對于一副牌局, 所有可選動作至多只有幾百個;
- 對于一副牌局, 我們選擇人類高手出牌動作為正類別,我們將人類高手沒有選擇的出牌動作作為負樣本;
- 按照當前牌局構建出的訓練樣本, 正類別只有一個, 負類別至多幾百個而且由當前牌局決定。
在上述問題中, 不同牌局的候選動作的個數不一樣, 我們無法使用候選采樣的方法進行訓練。候選采樣只能采樣出相同個數的類別。一方面 TF 的基本單元是 Tensor, 要求各個維度一致。另一方面是由于候選采樣為了 Word2Vec 中的 Negative sampling 等場景設計, 這些場景只需要挑選一些負類別反映非正類別的特性。
4. 總結
候選采樣加速了類別數量巨大的訓練過程。TF 提供了候選采樣相關 API，方便人們使用。
【本文為51CTO專欄作者“李立”的原創稿件，轉載請通過51CTO獲取聯系和授權】
