您可以使用内置函数来获取聚合统计信息。以下是如何获得均值和标准偏差。
from pyspark.sql.functions import mean as _mean, stddev as _stddev, col
df_stats = df.select(
_mean(col('columnName')).alias('mean'),
_stddev(col('columnName')).alias('std')
).collect()
mean = df_stats[0]['mean']
std = df_stats[0]['std']
请注意，有三种不同的标准偏差功能。从文档中我使用的文档(stddev)返回以下内容：
聚合函数：返回无偏样本标准差
组中的表达
您也可以使用describe()方法：
df.describe().show()
更新：这是您处理嵌套数据的方法。
使用explode将值提取到单独的行中，然后调用mean和stddev，如上所示。
这是一个MWE：
from pyspark.sql.types import IntegerType
from pyspark.sql.functions import explode, col, udf, mean as _mean, stddev as _stddev
# mock up sample dataframe
df = sqlCtx.createDataFrame(
[(680, [[691,1], [692,5]]), (685, [[691,2], [692,2]]), (684, [[691,1], [692,3]])],
["product_PK", "products"]
)
# udf to get the "score" value - returns the item at index 1
get_score = udf(lambda x: x[1], IntegerType())
# explode column and get stats
df_stats = df.withColumn('exploded', explode(col('products')))\
.withColumn('score', get_score(col('exploded')))\
.select(
_mean(col('score')).alias('mean'),
_stddev(col('score')).alias('std')
)\
.collect()
mean = df_stats[0]['mean']
std = df_stats[0]['std']
print([mean, std])
哪个输出：
[2.3333333333333335, 1.505545305418162]
您可以使用numpy验证这些值是否正确：
vals = [1,5,2,2,1,3]
print([np.mean(vals), np.std(vals, ddof=1)])
说明：您的"products"列是list的{​​{1}}。调用list将为外部explode的每个元素创建一个新行。然后从每个展开的行中获取list值，这些行已定义为2元素"score"中的第二个元素。最后，在这个新列上调用聚合函数。

你在问如何。最直接可用的是以统计信息库的形式构建到Python中。但是，你似乎想知道怎么做。下面的代码展示了基本的，我已经有50年没有必要这么做了。在
首先，修改您的代码，使其捕获向量中的样本。在我的代码中，它被称为sample。在
代码的第一部分只是练习Python库。没有汗。在
代码的第二部分说明了如何累积样本中的值的和，以及它们与平均值的偏差的平方和。我交给你们来解决如何计算样本方差，样本标准差和在这些统计数据的通常假设下的置信区间。对样本进行排序和重命名后，我计算出最大值和最小值(对于某些分布的估计很有用)。最后，我从分类的样本中计算中位数。我把中位数的计算留给你。在import random
def coin_tossing_game():
random_numbers = [random.randint(0, 1) for x in range(500)] #generate 500 random numbers
for x in random_numbers:
if x == 0: #if we get heads
return 20 #we win $20
elif x == 1: #if we get tails
return -19 #we lose $19
sample = []
for a in range(1, 28): #for each day of the month
#~ print(coin_tossing_game())
sample.append(coin_tossing_game())
## the easy way
import statistics
print (statistics.mean(sample))
print (statistics.median(sample))
print (statistics.mode(sample))
print (statistics.stdev(sample))
print (statistics.variance(sample))
## the hard way
sample.sort()
orderedSample = sample
N = len(sample)
minSample = orderedSample[0]
maxSample = orderedSample[-1]
sumX = 0
for x in sample:
sumX += x
mean = sumX / N
sumDeviates2 = 0
for x in sample:
sumDeviates2 += ( x-mean )**2
k = N//2
if N%2==0:
mode = 0.5* (orderedSample[k]+orderedSample[k-1])
else:
mode = orderedSample[k]

指数加权平均的偏差修正（Bias correction in exponentially weighted averages）

你学过了如何计算指数加权平均数，有一个技术名词叫做偏差修正，可以让平均数运算更加准确，来看看它是怎么运行的。


v_t=βv_(t-1)+(1-β)θ_t
在上一个笔记中，这个（红色）曲线对应β的值为0.9，这个（绿色）曲线对应的β=0.98，如果你执行写在这里的公式，在β等于0.98的时候，得到的并不是绿色曲线，而是紫色曲线，你可以注意到紫色曲线的起点较低，我们来看看怎么处理。
计算移动平均数的时候，初始化v_0=0，v_1=0.98v_0+0.02θ_1，
但是v_0=0，所以这部分没有了（0.98v_0），所以v_1=0.02θ_1，
所以如果一天温度是40华氏度，那么v_1=0.02θ_1=0.02×40=8，因此得到的值会小很多，所以第一天温度的估测不准。
v_2=0.98v_1+0.02θ_2，如果代入v_1，然后相乘，所以
v_2=0.98×0.02θ_1+0.02θ_2=0.0196θ_1+0.02θ_2，假设θ_1和θ_2都是正数，计算后v_2要远小于θ_1和θ_2，所以v_2不能很好估测出这一年前两天的温度。


有个办法可以修改这一估测，让估测变得更好，更准确，特别是在估测初期，也就是不用v_t，而是用v_t/(1-β^t )，t就是现在的天数。
举个具体例子，当t=2时，1-βt=1-〖0.98〗2=0.0396，因此对第二天温度的估测变成了v_2/0.0396=(0.0196θ_1+0.02θ_2)/0.0396，也就是θ_1和θ_2的加权平均数，并去除了偏差。
你会发现随着t增加，β^t接近于0，所以当t很大的时候，偏差修正几乎没有作用，因此当t较大的时候，紫线基本和绿线重合了。不过在开始学习阶段，你才开始预测热身练习，偏差修正可以帮助你更好预测温度，偏差修正可以帮助你使结果从紫线变成绿线。
在机器学习中，在计算指数加权平均数的大部分时候，大家不在乎执行偏差修正，因为大部分人宁愿熬过初始时期，拿到具有偏差的估测，然后继续计算下去。如果你关心初始时期的偏差，在刚开始计算指数加权移动平均数的时候，偏差修正能帮助你在早期获取更好的估测。
所以你学会了计算指数加权移动平均数，我们接着用它来构建更好的优化算法吧!

SD的计算方法？
1.计算每个值与样本平均值之间差值的平方。
2.将这些值相加。
3.将总和除以N - 1。将其称为方差。
4.开平方根，获得标准偏差。
为什么选择n - 1？
为什么在上述第三步中除以n - 1（而非N）？在第1步中，计算每个值和这些值的平均值之差。您不知道群体的实际平均值；您所知道的是样本的平均值。除样本平均值恰好等于群体平均值的罕见情况外，数据将更接近样本平均值，而非实际群体平均值。因此，您在第2步中计算的值可能会比在第1步中使用实际群体平均值时的值小一点（且无法更大）。为弥补这一不足，我们除以n - 1而非n。
但是，为什么使用n - 1？如果您知道样本平均值，以及除了一个值之外的所有值，则您可以计算最后一个值必须是什么。统计学家称存在n - 1 自由度。
关于n与n - 1的更多信息。
但我看到方程的分母中是n，而非n - 1！
n - 1方程用于分析数据样本，并希望得到更一般结论的常见情况。以此方式计算的SD（分母中为N - 1）是您对总群体SD值的最佳猜测。
如果您只是想要量化一组特定数据的变化，而不打算外推以得到更广泛的结论，则在分母中使用N计算SD。由此产生的SD是这些特定值的SD，但很可能低估这些数值点提取群体的SD。
科学的目标始终是普遍化，因此在分析科学数据时，不应在方程的分母中使用n。我能想到的唯一一个在分母中使用n（而非n - 1）可能有意义的示例是量化检测评分之间的差异。但更好的方法是显示每个评分的散点图，或者频率分布直方图。
Prism始终使用n - 1计算SD。
计算SD需要多少个值？
SD量化离散度，因此显然需要不止一个值！两个值是否足够？许多人认为仅有两个值无法计算SD。但这是错误观点。当您仅有重复（n = 2）数据时，计算SD的方程正常工作。
结果是否有效？从数学角度来看，我们没有理由不这么想，但我用模拟回答了该问题。我模拟了一万个n = 2的数据集，并且每个数据点均从高斯分布中随机选取。由于所有统计检验实际上均以方差（SD的平方）为基础，因此我比较了根据重复数据计算的方差和真正方差。模拟数据的10,000个方差的平均值与模拟数据来源真正方差的差异不超过1%。这意味着根据重复数据计算的SD是对数据离散度的有效评估。其同样可能过高或过低，但也可能 距离真SD非常远。
使用Excel计算SD
Excel可以使用STDEV（）函数，根据一系列值计算SD。例如，如果您想知道单元格B1 - B10中值的SD，则在Excel中使用以下公式：
= STDEV（B1:B10）
该函数在分母中使用n - 1，计算SD。如果您想在分母中使用N以计算SD（见上文），则使用Excel的STDEVP（）函数。
SE和SEM是否相同？
不相同！
标准偏差（SD）与平均值标准误差（SEM）之间的差值很容易混淆。以下是主要差异：
• SD量化了分散 - 值之间的差值有多大。
• SEM量化了您对总体实际平均值的了解程度。其考虑了SD的值和样本量。
• SD和SEM均在相同单位内--数据的单位。
• 根据定义，SEM始终小于SD。
•随着您的样本变大，SEM变小。这有意义，因为大样本的平均值可能比小样本的平均值更接近真实的总体平均值。在一个巨大样本的情况下，即使数据非常分散，但您也能非常精确地知道平均值的值。
•随着您获得更多的数据，SD不会发生可预测的变化。您从样本中计算出的SD是对总体SD的最佳估计。随着您收集更多的数据，您将更精确地评估总体的SD。但您不能预测来自大样本的SD是否会大于或小于来自小样本的SD。（严格来说，这并不正确。其为方差--SD平方--不会发生可预测的变化，但SD的变化微不足道，且比SEM中的变化小得多。）
请注意，对于您几乎可根据数据计算出任何参数，您可计算标准误差，而不仅仅是平均值。“标准误差”一词有些许模棱两可。上述各点仅指平均值的标准误差。
购买 GraphPad Prism 9
自2020年10月30日起，GraphPad Prism 9正式上线中国官网开放购买，欢迎访问中国官网：http://www.graphpad-prism.cn
中国官网所有标价均为人民币价格，支持：支付宝、银联卡、对公转账，可在线申请增值税发票。
目前 GraphPad Prism 9 只支持英文版，中文版的 Prism 9 即将发布，购买成功的用户届时可以登录中国官网下载使用。
请大家持续关注GraphPad的知乎专栏，后续将持续推出更多带着大家快速上手使用GraphPad Prism的系列内容，千万不要错过哦！
往期精选专栏：
GraphPad Prism 绘图教程​zhuanlan.zhihu.com