此算法的基础是以用户对某种抉择的二项性为基础，每条可记录的数据都是“0-1”的独立事件，符合泊松分布，于是该类数据很容易归类于二项分布里。二项分布计算置信区间有多种计算公式，最常见的是“正太区间”（Normal approximation interval），但它只适用于样本较多的情况（np > 5 且 n(1 − p) > 5），对于小样本，它的准确性很差。Wilson算法正是解决了小样本的准确性问题，Wilson算法的输入是置信度，输出是置信区间，如果要做数据排序对比，则可以选择置信区间的下限数据。

S为威尔逊置信区间算法公式，其中n为样本总数，u为正例数，v为反例数，z表示对应某个置信水平的统计量，一般情况下，在95%的置信水平下，z统计量的值为1.96。举个简单例子，给某个人投票，80票赞成，20票反对，则n为100，u为80，v为20。

正态分布的分位数表：

算法性质：

1. 性质：得分S的范围是[0,1)，效果：已经归一化，适合排序
2. 性质：当正例数u为0时，p为0，得分S为0；效果：没有好评，分数最低；
3. 性质：当负例数v为0时，p为1，退化为1/(1 + z^2 / n)，得分S永远小于1；效果：分数具有永久可比性；
4. 性质：当p不变时，n越大，分子减少速度小于分母减少速度，得分S越多，反之亦然；效果：好评率p相同，实例总数n越多，得分S越多；
5. 性质：当n趋于无穷大时，退化为p，得分S由p决定；效果：当评论总数n越多时，好评率p带给得分S的提升越明显；
6. 性质：当分位数z越大时，总数n越重要，好评率p越不重要，反之亦然；效果：z越大，评论总数n越重要，区分度低；z越小，好评率p越重要；

Python代码实现：

def wilson_score(pos, total, p_z=0.8):
    """
    威尔逊得分计算函数
    :param pos: 正例数
    :param total: 总数
    :param p_z: 正太分布的分位数
    :return: 威尔逊得分
    """
    pos_rat = pos * 1. / total * 1.  # 正例比率
    score = (pos_rat + (np.square(p_z) / (2. * total))
             - ((p_z / (2. * total)) * np.sqrt(4. * total * (1. - pos_rat) * pos_rat + np.square(p_z)))) / \
    (1. + np.square(p_z) / total)
    return score

应用测试：

一、正态分布
标准正态分布
标准正态分布就是均值为0，标准差为1的分布，如下图

一般正态分布
一般正态分布n，假设其均值是 μ，标准差为σ ，即服从 n~N(μ,σ)
经过变换可以转换成标准正态分布：另X = (N - μ)/ σ，则X就是服从标准的正态分布了X~N(0,1)
 

二、置信区间
上图中的面积就是标准正态分布的概率，而置信区间就是变量的区间估计，例如图中的-1到1就是一个置信区间：标准正态分布的变量X ，有68.27%的概率 X属于[-1,1]这个区间。
最常用的是95%的分布区间，就是[-1.96,1.96]这个区间。方便公式化，我们另区间为[-z,z]，那么 -z<=X<=z。
进而可以推导一般正态分布的置信区间:

3 置信区间

用户投票问题

假设知乎里的两条回答，分别有3个赞成1个反对、30个赞成10个反对，两条回答的赞成率都是75%，哪个答案应该排在前面？

虽然赞成率都一样，但直觉告诉我们，30个赞的那条回答会更可信，毕竟样本更多会更有统计意义。

实际上这类小样本问题非常常见，例如电商搜索业务中，排名靠后的商品的点击率、转化率、作弊率等比率型指标，分子分母都很小时，得到的数据是不可信的。

以下中间章节需要一点统计学的知识，懒得看可直接跳到最后一节看结论。

置信区间

统计学中有个“置信区间”的概念，很多人对它有种似曾相识的感觉，但又说不上来它到底是个什么。首先它也是个随机变量，给定一组样本，它的置信区间是个固定值。设总体随机变量（区别于样本）的一个参数为Θ（例如均值、方差），我们根据给定样本估计出了一个参数Θ’，那么它的95%置信区间表示真实的Θ在这个区间的概率为95%。

The confidence level is the frequency (i.e., the proportion) of possible confidence intervals that contain the true value of their corresponding parameter.

——Wikipedia

直观来讲，同分布的两组样本，根据数量多的样本得到的95%置信区间要比样本数量小的窄一些。这表明样本越大，对于我们估计出来的参数值越自信。

定义：设 θ 是总体的一个未知参数，若存在随机区间[θ1,θ2]，对于给定的0<α<1，若满足p{θ1≤θ≤θ2}=1−α，则称区间[θ1,θ2]是θ的置信水平（置信度）为1−α的置信区间。θ1和θ2分别称为置信下限和置信上限。其中1−α为置信度，α为显著水平。

中心极限定理告诉我们，当样本足够大时，任何分布都渐近于正态分布。因此我们一般都讲正态近似置信区间（Normal Approximation Interval）。其中的α意义如下图所示，是指标准正态分布密度曲线两侧阴影部分面积之和，置信度等于非阴影部分的面积。

然鹅，使用正态区间近似毕竟依赖于中心极限定理，只适用于样本较多的情况，对于小样本而言，它的误差比较大。

威尔逊置信区间

由于正态区间对于小样本并不可靠，因而，1927年，美国数学家 Edwin Bidwell Wilson提出了一个修正公式，被称为“威尔逊区间”，很好地解决了小样本的准确性问题。

在上面的公式中，^p表示样本的”赞成票比例”，n表示样本的大小，z表示对应某个置信水平的z统计量，这是一个常数，可以通过查前文表得到。一般情况下，在95%的置信水平下，z统计量的值为1.96。
威尔逊置信区间的均值为

下限为：

可以看到：当n的值足够大时，这个下限值会趋向^p。如果n非常小（投票人很少），这个下限值会大大小于p，实际上，起到了降低”赞成票比例”的作用，使得该项目的得分变小、排名下降。
根据离散型随机变量的均值和方差定义：
μ=E(X)=0*(1-p)+1*p=p
σ=D(X)=(0-E(X))2(1-p)+(1-E(X))2p=p2(1-p)+(1-p)2p=p2-p3+p3-2p2+p=p-p2=p(1-p)
因此上面的威尔逊区间公式可以写成：

就是对正态区间的均值和标准差进行了修正。
相关问题的思考：

1.这个修正公式是仅仅适用于伯努利分布（好差评），还是也适用于其他分布（如5星评价）？这个问题本人也没搞清，望高人指点。

2.商品点击率中，是否可以采用威尔逊进行修正？
 

其中p是伯努利实验的成功率，n是样本数量或实验次数，z就是“z分数”或“标准分数”，是和指定的置信度相关的一个常数。

这里是指标准正态分布的满足置信度的区间端点值。

取置信度95%，对应的z为1.96。p值从0到1，n值从0到100。可见，当n较小时，会对最终的值做一个修正，在n较大时，函数值接近于p值。

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
p=np.arange(0,1,0.01)
n=np.arange(1, 100, 1)
z=1.96
n,p=np.meshgrid(n,p)
y=(p+z**2/(2*n)-z*np.sqrt(p*(1-p)/n + z**2/(4*n**2)))/(1+z/n)
fig = plt.figure()
ax = Axes3D(fig)
ax.plot_surface(n,p,y,cmap='rainbow')
plt.show()

def wilson_score(pos, total, p_z=2.):
    """
    威尔逊得分计算函数
    参考：https://en.wikipedia.org/wiki/Binomial_proportion_confidence_interval
    :param pos: 正例数
    :param total: 总数
    :param p_z: 正太分布的分位数
    :return: 威尔逊得分
    """
    pos_rat = pos * 1. / total * 1.  # 正例比率
    score = (pos_rat + (np.square(p_z) / (2. * total))
             - ((p_z / (2. * total)) * np.sqrt(4. * total * (1. - pos_rat) * pos_rat + np.square(p_z)))) / \
            (1. + np.square(p_z) / total)
    return score

相关参考：

http://typename.net/statistics/wilson-confidence-interval/

https://blog.csdn.net/weixin_40901056/article/details/89531263

tips：对于5星评价问题，可以参考 http://www.evanmiller.org/ranking-items-with-star-ratings.html

一、正态分布

1. 标准正态分布
   标准正态分布就是均值为0，标准差为1的分布，如下图
   
2. 一般正态分布
   一般正态分布n，假设其均值是 μ，标准差为σ ，即服从 n~N(μ,σ)
   经过变换可以转换成标准正态分布：另X = (N - μ)/ σ，则X就是服从标准的正态分布了X~N(0,1)

二、置信区间

1. 上图中的面积就是标准正态分布的概率，而置信区间就是变量的区间估计，例如图中的-1到1就是一个置信区间：标准正态分布的变量X ，有68.27%的概率 X属于[-1,1]这个区间。
   最常用的是95%的分布区间，就是[-1.96,1.96]这个区间。方便公式化，我们另区间为[-z,z]，那么 -z<=X<=z。
   进而可以推导一般正态分布的置信区间:
   -z<=X<=z
   -z<=(N - μ)/ σ<=z
   μ-zσ<=N<=μ+zσ
   因此，一般正态分布n~N(μ,σ)的置信区间是 [μ-zσ, μ+zσ]，其中z根据置信水平而定。置信水平与区间对应关系如下：
2. 性质分析
   置信区间与置信水平、样本量等因素均有关系，其中样本量对置信区间的影响为：在置信水平固定的情况下，样本量越多，置信区间越窄。其次，在样本量相同的情况下，置信水平越高，置信区间越宽。
   因此：如果样本多，就说明比较可信，不需要很大的修正，所以置信区间会比较窄，下限值会比较大；但是如果样本少，就说明不一定可信，必须进行较大的修正，置信区间会比较宽，下限值会比较小。
   由此得出结论：上述正态区间只适用于样本较多的情况，对于小样本，它的准确性很差。

三、威尔逊区间(Wilson score interval)

• 由于正态区间对于小样本并不可靠，因而，1927年，美国数学家 Edwin Bidwell Wilson提出了一个修正公式，被称为“威尔逊区间”，很好地解决了小样本的准确性问题。
  
  在上面的公式中，^p表示样本的”赞成票比例”，n表示样本的大小，z表示对应某个置信水平的z统计量，这是一个常数，可以通过查前文表得到。一般情况下，在95%的置信水平下，z统计量的值为1.96。
• 威尔逊置信区间的均值为
  
  下限为：
  
  可以看到：当n的值足够大时，这个下限值会趋向^p。如果n非常小（投票人很少），这个下限值会大大小于p，实际上，起到了降低”赞成票比例”的作用，使得该项目的得分变小、排名下降。
• 根据离散型随机变量的均值和方差定义：
  μ=E(X)=0*(1-p)+1*p=p
  σ=D(X)=(0-E(X))2(1-p)+(1-E(X))2p=p2(1-p)+(1-p)2p=p2-p3+p3-2p2+p=p-p2=p(1-p)
  因此上面的威尔逊区间公式可以写成：
  
  就是对正态区间的均值和标准差进行了修正。
  但是有个问题：这个修正公式是仅仅适用于伯努利分布（好差评），还是也适用于其他分布（如5星评价）？这个问题本人也没搞清，望高人指点。

计算程序如下：

def wilson_score(pos, total, p_z=2.):
    """
    威尔逊得分计算函数
    参考：https://en.wikipedia.org/wiki/Binomial_proportion_confidence_interval
    :param pos: 正例数
    :param total: 总数
    :param p_z: 正太分布的分位数
    :return: 威尔逊得分
    """
    pos_rat = pos * 1. / total * 1.  # 正例比率
    score = (pos_rat + (np.square(p_z) / (2. * total))
             - ((p_z / (2. * total)) * np.sqrt(4. * total * (1. - pos_rat) * pos_rat + np.square(p_z)))) / \
            (1. + np.square(p_z) / total)
    return score

tips：对于5星评价问题，可以参考 http://www.evanmiller.org/ranking-items-with-star-ratings.html