目录

一、随机负采样

二、Real-Negative Subsampling

三、加权随机负采样

四、拒绝接受采样

五、Metropolis-Hastings ( MH ) 采样

六、吉布斯采样

七、蒙特卡洛采样

八、重要性采样（Importance Sampling）

九、有偏重要性采样

十、NCE采样

十一、混合负采样

十二、DFN模型：三类样本

推荐系统存在的数据问题：

1、训练数据跟线上数据分布不一致；

2、曝光未点击的item应该是偏正样本，而不是正样本or负样本；

3、数据稀疏问题，正负样本数量差距大；

4、长尾分布问题；

一、随机负采样

1、实现：在物料池中，随机选择负样本；

2、问题：头部效应很重，热门item有大量的正样本，而冷物品有大量负样本，难以均衡化；

3、改进方式：热门物品作正样本时，降采样；作负样本时，过采样；

二、Real-Negative Subsampling

1、实现：训练集中具有较高曝光频率的item的负样本三元组，以这个概率丢弃：

三、加权随机负采样

1、实现：根据广的曝光频次对item进行分组，将大于阈值的记为A_high, 小于阈值的为A_low, f(a)为item a的曝光频次，生成一个（0，1）之间的随机数p，若p小于P_l，则从A_low中使用均匀采样的方法得到一个item，否则从A_high中基于unigram distribution分布采样得到一个item。P_I的定义为：

四、拒绝接受采样

1、定义：均匀分布会使得一些低概率样本出现过多，所以可以通过拒绝部分样本的方式来获取所需分布。假设需要的分布为p(x)，其他分布样本为q(x)，二者关系为p(x) = c q(θ) α(x)，为使得q(x) >= p(x)，采样过程为：

​

五、Metropolis-Hastings ( MH ) 采样

1、定义：通过拒绝接受样本在计算过程中有大量计算是无用的。因此选取合适的分布 q 是十分必要的。但这通常都很难获得，所以产生了MH采样，通过构造符合细致平稳条件的转移矩阵Q来实现：

六、吉布斯采样

1、定义：Gibbs采样时特殊的MH采样。Gibbs抽样是马尔科夫链（MCMC）的一个特例，它交替的固定某一维度，然后通过其他维度的值来抽样该维度的值。特别地，gibbs采样只对z是高维（2维以上）情况有效。

详见吉布斯采样（Gibbs采样） - emanlee - 博客园

七、蒙特卡洛采样

1、思路：把和或者积分视作某分布下的期望，然后通过估计对应的平均值来近似这个期望：

 本质就是就是加权求和，其权重为随机变量 x 的概率分布（求和时）或者概率密度函数（求积分时）。概率越高的地方，该变量被采样的几率越大，对应函数值的权重越大，故通过采样数据的经验平均可以近似整体的和或积分。

八、重要性采样（Importance Sampling）

1、思路：在蒙特卡洛采样的公式 E[f(x)] = ∑p(x) f(x) 的基础上，构造分解：

 这样就可以把q(x)视为采样概率，估计 pf/q 在此分布下的期望。相当于在新的采样函数下，函数值 f(x) 被乘上了一个采样权重 p/q。

详见重要性采样（Importance Sampling） - 知乎

九、有偏重要性采样

1、思路：对于重要性采样，q分布的好坏可以显著影响蒙特卡洛估计的效率，所以目标是找到最优采样函数q。最优采样函数并不一定是适合采样的那个，只是方差最小的一个而已，其他能降低方差的 q 其实都可以。这种方法有一个优势，即不需要归一化的 p 或 q 分布。在处理离散变量时，有偏重要采样估计可以表示为：

十、NCE采样

详见噪声对比估计 Noise Contrastive Estimation

十一、混合负采样

详见【reco|负采样】Mixed Negative Sampling for Learning Two-tower Neural Networks in Recommendations - 七克-7ke

十二、DFN模型：三类样本

1、定义：

• 正样本（用户点击）
• easy 负样本（随机筛选，模型很容易区分出）
• hard负样本（能够增加模型训练难度，可提升模型关注细节的能力）

2、方式：

用其他样本的点击作为负样本；

取上一版本的召回排在101~500的样本作为负样本；

参考：

1. [mixed negative sampling] Mixed Negative Sampling for Learning Two-tower Neural Networks in Recommendations（2020）
2. [Youtube] Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations（2019）
3. [NCE采样] A fast and simple algorithm for training neural probabilistic language models（2012）
4. [importance sampling] Quick Training of Probabilistic Neural Nets by Importance Sampling（2003）
5. 推荐系统的负采样_qq_39125106的博客-CSDN博客_推荐系统负采样
6. 采样算法简述 - 知乎
7. PR Sampling Ⅰ: 蒙特卡洛采样、重要性采样及python实现 - 知乎
8. 推荐系统论文阅读（三十三)-百度：谈谈召回任务中负样本的选取优化 - 简书

多分类问题处理为二分类问题，需要能够正确地对正例和负例进行分类。

如果以所有的负例为对象，词汇量将增加许多，无法处理。作为一种近似方法，将只使用少数负例。

负采样方法：求正例作为目标词时的损失，同时采样(选出)若干个负例，对这些负例求损失。然后，将正例和采样出来的负例的损失加起来，作为最终的损失。例子如下图所示。

负采样的采样方法：

抽取负例：让语料库中常出现的单词易被抽到，不常出现的单词难被抽到。

基于频率的采样方法：计算语料库中各个单词的出现次数，并将其表示为概率分布，然后使用这个概率分布对单词进行采样。

通过给np.random.choice函数参数p，指定表示概率分布的列表，将进行基于概率分布的采样。

import numpy as np
words = ['you', 'say', 'goodbye', 'I', 'hello', '.']
a = np.random.choice(words)
b = np.random.choice(words, size=5)
c = np.random.choice(words, size=5, replace=False)
p = [0.5, 0.1, 0.05, 0.2, 0.05, 0.1]
d = np.random.choice(words, p=p)
print(a)
print(b)
print(c)
print(d)

输出：

hello
['.' 'hello' 'hello' 'goodbye' 'goodbye']
['hello' '.' 'goodbye' 'you' 'I']
you

word2vec中的负采样：对原来的概率分布取0.75次方。分子表示第i个单词的概率。分母是变换后的概率分布的总和。(使变换后的概率总和仍为1)，通过取0.75次方，低频单词的概率将稍微变高。作为一种补救措施，使得变换后低频单词比变换前抽到的几率增加。

以1个连续单词(unigram)为对象创建概率分布，进行负例抽取的函数如下。corpus是是单词ID列表；power是概率分布取的次方值；sample_size是负例的采样个数。

如果是bigram，则以(you,say)、(you,goodbye)这样的2个单词的组合为对象创建概率分布。

class UnigramSampler:
    def __init__(self, corpus, power, sample_size):
        self.sample_size = sample_size
        self.vocab_size = None
        self.word_p = None

        counts = collections.Counter()
        for word_id in corpus:
            counts[word_id] += 1

        vocab_size = len(counts)
        self.vocab_size = vocab_size

        self.word_p = np.zeros(vocab_size)
        for i in range(vocab_size):
            self.word_p[i] = counts[i]

        self.word_p = np.power(self.word_p, power)
        self.word_p /= np.sum(self.word_p)

    def get_negative_sample(self, target):
        batch_size = target.shape[0]

        if not GPU:
            negative_sample = np.zeros((batch_size, self.sample_size), dtype=np.int32)

            for i in range(batch_size):
                p = self.word_p.copy()
                target_idx = target[i]
                p[target_idx] = 0
                p /= p.sum()
                negative_sample[i, :] = np.random.choice(self.vocab_size, size=self.sample_size, replace=False, p=p)
        else:
            # 在用GPU(cupy）计算时，优先速度
            # 有时目标词存在于负例中
            negative_sample = np.random.choice(self.vocab_size, size=(batch_size, self.sample_size),
                                               replace=True, p=self.word_p)

        return negative_sample

使用这个类：[1, 3, 0]这3个数据的mini-batch作为正例，对各个数据采样2个负例。

import numpy as np
from negative_sampling_layer import UnigramSampler
corpus = np.array([0, 1, 2, 3, 4, 1, 2, 3])
power = 0.75
sample_size = 2
sampler = UnigramSampler(corpus, power, sample_size)
target = np.array([1, 3, 0])
negative_sample = sampler.get_negative_sample(target)
print(negative_sample)

输出：可以看到每个数据的负例。

[[2 4]
 [2 0]
 [2 1]]

实现负采样层：

参数：输出侧权重W，单词ID列表corpus，概率分布的次方值power，负例的采样数sample_size， sampler保存UnigramSampler生成的采样负例。

loss_layers 和 embed_dot_layers 中以列表格式保存了必要的层，生成sample_size + 1 个层，意味着生成一个正例用的层和 sample_size 个负例用的层。loss_layers[0] 和 embed_dot_layers[0] 是处理正例的层。

正向传播：通过 Embedding Dot 层的 forward 输出得分，再将得分和标签一起输入 Sigmoid with Loss 层来计算损失和。

反向传播：以与正向传播相反的顺序调用各层的 backward() 函数，将多份梯度累加起来。

class NegativeSamplingLoss:
    def __init__(self, W, corpus, power=0.75, sample_size=5):
        self.sample_size = sample_size
        self.sampler = UnigramSampler(corpus, power, sample_size)
        self.loss_layers = [SigmoidWithLoss() for _ in range(sample_size + 1)]
        self.embed_dot_layers = [EmbeddingDot(W) for _ in range(sample_size + 1)]

        self.params, self.grads = [], []
        for layer in self.embed_dot_layers:
            self.params += layer.params
            self.grads += layer.grads

    def forward(self, h, target):
        batch_size = target.shape[0]
        negative_sample = self.sampler.get_negative_sample(target)

        # 正例的正向传播
        score = self.embed_dot_layers[0].forward(h, target)
        correct_label = np.ones(batch_size, dtype=np.int32)
        loss = self.loss_layers[0].forward(score, correct_label)

        # 负例的正向传播
        negative_label = np.zeros(batch_size, dtype=np.int32)
        for i in range(self.sample_size):
            negative_target = negative_sample[:, i]
            score = self.embed_dot_layers[1 + i].forward(h, negative_target)
            loss += self.loss_layers[1 + i].forward(score, negative_label)

        return loss

    def backward(self, dout=1):
        dh = 0
        for l0, l1 in zip(self.loss_layers, self.embed_dot_layers):
            dscore = l0.backward(dout)
            dh += l1.backward(dscore)

        return dh