精华内容
下载资源
问答
  • 网络延迟的统计方法

    千次阅读 2019-06-20 11:15:59
    网络延迟的统计方法网络延迟的统计方法延迟种类一般的统计方法最终采取的统计方法 网络延迟的统计方法 为了解决目前我们统计网络延迟的问题,我们需要一个量化的测试方法,来测试我们每个包的延迟情况。 延迟种类 ...

    网络延迟的统计方法

    为了解决目前我们统计网络延迟的问题,我们需要一个量化的测试方法,来测试我们每个包的延迟情况。

    延迟种类

    延迟分成计算机网络中的四种延迟分别是:节点处理延迟 、排队延迟、发送延迟、传播延迟。
    1、节点处理延迟 :

    路由器A检查该分组的头部,以确定把它导向哪个链路所需的时间。

    节点处理延迟还可能包含其他因素,如在该分组的数据位从上游节点往路由器A的传送过程中,路由器A 可能在同步检查其中是否有位错发生,这种检查位错所造成的延迟。高速路由器中的处理延迟一般在微秒数量级或以下。

    2、排队延迟:

    排队延迟是指分组在所排队列中等待被发送到出链路的时间;某个特定分组的排队延迟取决于等待通过同一个出链路转发出去的分组的数目。

    分组的排队延迟取决于相应队列的分组到达强度和分布特性。排队延迟是分组交换网中的主要延迟,它指的是PDU(协议数据单元) 在传输路径上每交换一次所引起的缓冲延迟的集合。若分组交换临时过载, 每一个 PDU 的目的输出端口上可能有许多分组排队。

    队列中位于 PDU 前的每一个分组都会产生一个等于传送延迟的附加延迟。在先进先出( FIFO) 队列机制的交换中,新到达的分组的排队延迟等于已在该输出端口上排队的所有分组传送延迟的总和。所以排队延迟既与队列前面的分组数量有关,也与输出端口的传送速度有关。

    作为主要延迟的排队延迟受当前网络负载影响, 它也是分组交换网中延迟变化的主要因素。由 Internet 主干网上每个路由器都有大 量的数据包排队,排队延迟也成为Internet上的主要延迟。如若经过 10个路由器,每个路由器平均有10个IP数据包排队,在这条路径上的排队延迟能够达到上百毫秒。

    3、发送延迟:

    是主机或路由器发送数据帧所需要的时间,也就是从发送数据帧的第一个比特算起,到该帧的最后一个比特发送完毕所需的时间,发送时延 = 数据帧长度(b) / 信道带宽(b/s)。

    L/R,实际的发送延迟一般在微秒数量级或以下。

    4、传播延迟 :

    是电磁波在信道中传播一定的距离需要花费的时间,传播时延 = 信道长度(m) / 电磁波在信道上的传播速率(m/s)。

    一般的统计方法

    简单的统计方法是通过ping一个网址来计算网络延迟,该方法存在两个问题,第一,ping的结果不能真实反映锁需要数据的包的真实情况,如果ping的速度过快,则会影响到数据的传输效率,ping太慢,又不能反映时时刻刻的情况;第二,无法对每个数据包进行量化统计。

    第二个方式是采用心跳包的方式吗,这个和ping的方式大同小异,没有什么区别。

    最终采取的统计方法

    由于延迟分为4种延迟,最特殊的延迟为排队延迟,其跟发送的数据量相关联,而其他的延迟主要跟链路有关(单个包的字节数相同),那么就可以将延迟分成两个部分来进行处理。
    为了统计A机器发送给B机器的每个包的网络延迟情况,我们首先将A机器的包打印一个A机器的时间戳,B机器接收到后,打印B的时间戳,得到一个包的发送和接受时间。
    但是这两个时间戳为不同机器的时间记录的时间,那么这两个时间一定是没有对齐的,我们首先将接收时间-发送时间,得到伪延迟,然后用柱状图查看延迟分布情况。
    延迟分布形状
    发现延迟随着时间增加而定向增长,经过推测是由于晶振差导致的延迟会朝一个特定的方向增长(减少)。也就是该延迟会呈现一个一元一次函数形式,我们需要做线性回归y=kx+b,将初始误差b和增长误差k进行排除,得到计算后的延迟情况。

    但是这个问题在于,机器A到B存在一个最低穿透延迟(非排队延迟),关于这个延迟,我们采用心跳包来进行测试最低穿透延迟,然后将这个值加到前面计算的延迟上,从而得到初步的每个包的传输延迟情况。

    展开全文
  • pandas 常用统计方法

    万次阅读 2017-05-11 14:01:08
    统计方法 pandas 对象有一些统计方法。它们大部分都属于约简和汇总统计,用于从 Series 中提取单个值,或从 DataFrame 的行或列中提取一个 Series。 比如 DataFrame.mean(axis=0,skipna=True) 方法,当数据...

    统计方法

    pandas 对象有一些统计方法。它们大部分都属于约简和汇总统计,用于从 Series 中提取单个值,或从 DataFrame 的行或列中提取一个 Series。

    比如 DataFrame.mean(axis=0,skipna=True) 方法,当数据集中存在 NA 值时,这些值会被简单跳过,除非整个切片(行或列)全是 NA,如果不想这样,则可以通过 skipna=False 来禁用此功能:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    >>> df
        one  two
    1.40  NaN
    7.10 -4.5
    c   NaN  NaN
    0.75 -1.3
     
    [4 rows x 2 columns]
    >>> df.mean()
    one    3.083333
    two   -2.900000
    dtype: float64
    >>> df.mean(axis=1)
    a    1.400
    b    1.300
    c      NaN
    d   -0.275
    dtype: float64
    >>> df.mean(axis=1,skipna=False)
    a      NaN
    b    1.300
    c      NaN
    d   -0.275
    dtype: float64

    其他常用的统计方法有:

    ######################## ******************************************
    count 非 NA 值的数量
    describe 针对 Series 或 DF 的列计算汇总统计
    min , max 最小值和最大值
    argmin , argmax 最小值和最大值的索引位置(整数)
    idxmin , idxmax 最小值和最大值的索引值
    quantile 样本分位数(0 到 1)
    sum 求和
    mean 均值
    median 中位数
    mad 根据均值计算平均绝对离差
    var 方差
    std 标准差
    skew 样本值的偏度(三阶矩)
    kurt 样本值的峰度(四阶矩)
    cumsum 样本值的累计和
    cummin , cummax 样本值的累计最大值和累计最小值
    cumprod 样本值的累计积
    diff 计算一阶差分(对时间序列很有用)
    pct_change 计算百分数变化
    展开全文
  • 统计方法的选择

    千次阅读 2017-03-23 13:58:28
    统计方法的选择,应该考虑的问题以及应该如何考虑

    有的时候会有人问我“这个问题怎么用线性回归做?”遇到这样的问题往往有些无奈, 因为使用统计方法去解决一个问题,最重要的第一步是选择正确的方法。

    • 为什么要选择统计方法?

    当我们面临一个实际统计预测或推断问题时,往往有许多方法可以选择,这时我们面临一个很关键的问题:选择哪种统计方法是最有效最经济的?为什么这么选择?

    1. 补充一些基本概念

    • 预测与推断的区别 :预测是在现有数据的基础上,预测可能的结果,对每个特征参数对结果的影响并不关心。推断关心各个特征变化时对结果会有什么影响。
    • 参数方法与非参数方法 :基于模型的方法统称为参数方法 ,即首先假设一个参数模型,然后用数据训练或拟合模型中的各个参数。非参数方法不需要对模型事先做出假设,因此可以和各个数据点尽可能拟合。
    • 灵活性,光滑度或柔性水平:这三个词的含义是接近的,用来形容一个模型对数据点的拟合情况。灵活性或柔性水平较高的模型能够尽可能拟合每一个数据点。但同时,高柔性水平一般也意味着过度拟合。

    2. 选择统计方法需要考虑哪些关键问题?

    2.1 预测精度和模型解释性

    模型解释性是指模型能够说明每一个参数是如何对结果施加影响的。一般来说,预测精度越高的模型,其解释性就越低。下图列出几种统计方法在柔性和解释性之间的权衡。

    2.2 指导学习或无指导学习

    指导学习处理“对每一个观测变量都有相应的响应变量”这类问题。许多统计方法归于此类,例如回归分析,支持向量机等。无指导学习是应对“只有观测变量,没有相应变量”的问题,比如聚类分析。

    2.3 回归和分类

    首先明确一个概念,定性变量(又称分类变量)和定量变量。当问题中响应变量是定量变量时,我们称之为回归分析,当问题中响应变量为定性变量时,我们称之为分类。

    3. 那么,我们到底应该选择什么模型?

    考虑清楚以上三个关键问题,确定是有指导的或无指导的又或者是半指导的,变量是定性还是定量,最后考虑是目的是预测还是推断。

    例如,我们想根据受教育程度、年龄来估计一个人的预期薪水时,我们就面临一个有响应变量,且响应变量是定量变量的问题。那么我们感兴趣的如果是这两个变量是如何影响薪水的,那么可以选择解释性较高的线性回归方法。

    选择一个恰当的统计方法,是解决问题的第一步,也是最重要的一步。选对方向往往比走得快要重要

    展开全文
  • java中统计方法耗时的几种常用方法

    千次阅读 2020-02-06 20:22:34
  • 概率统计方法 简介 Python 中常用的统计工具有 Numpy, Pandas, PyMC, StatsModels 等。 Scipy 中的子库 scipy.stats 中包含很多统计上的方法。 导入 numpy 和 matplotlib: %pylab inline Populating the ...
  • 【ArcGIS风暴】ArcGIS栅格数据(分区)统计方法总结

    万次阅读 多人点赞 2015-12-28 15:48:33
    【问题描述】如图所示,如何根据中国植被区划分区,统计各个区域内NDVI的平均值?分区统计及根据统计区域或赋值栅格为每个区域计算统计数据。...2、Zonal Statistics as Table (1)方法:Spatial Analyst Tool
  • 基于图像的人数统计方法

    万次阅读 2017-08-09 18:23:35
    基于图像的人数统计方法大致分为3类: 1、基于个体统计的方法。 2、基于统计特征 3、基于卷积神经网络的特征
  • 三种EXCEL去重统计方法

    万次阅读 2019-05-31 14:41:52
    方法一:先去重,再统计 先使用“删除重复项”功能按要统计的字段去重,如下图所示 然后再用透视表进行统计,此处省略100字。 温馨提醒:这种方法需要备份一份再进行操作。 那么有没有不用备份的方法,有...
  • bug统计分析 基于SQL的Bug统计方法
  • ArcEngine 统计方法

    千次阅读 2009-06-25 15:16:00
    ArcEngine 统计方法 概述 一般常用的统计功能例如:唯一字段统计、数据行数统计、数据值求和统计等。 1、基础统计(BaseStatistics)组件用来生成和报告统计结果。 2、IFrequencyStatistics接口提供对用来报告...
  • 1.pandas描述性统计方法 pandas提供了更加便利的方法来计算均值 ,如 detail['amounts'].mean() pandas还提供了一个方法叫作 describe,能够一次性得出数据框所有数值型特征的非空值数目、均值、 四分位数、标准差...
  • 大家好!今天给大家带来一个非常简单、实用的统计方法——因子分析,这个方法适用面非常广,无论商科、工科、理科都能用来研究分析。一起来看看吧!
  • pandas 常用的数学统计方法 idxmax()

    千次阅读 2020-02-27 21:36:19
    pandas 常用的数学统计方法 idxmax() 1、定义:计算能够获取到最大值的索引位置(整数)。 2、示例: import pandas as pd student_info = pd.read_csv("F:/人工智能/科学计算库/files/student_info.csv") .....
  • Pandas 常用的数学统计方法如下表: 方法 说明 count 计算非NA值的数量 describe 针对Series 或DataFrame 列计算总的统计值 min/max 计算最大值/最小值 idxmin/idxmax 计算能够获取到最大值/最小值的...
  • pandas 常用的数学统计方法 mad()

    千次阅读 2020-03-02 08:50:27
    pandas 常用的数学统计方法 mad() 1、定义:根据平均值计算平均绝对距离差。 2、示例: import pandas as pd student_info = pd.read_csv("F:/人工智能/科学计算库/files/student_info.csv") pri...
  • 相关历史文章(阅读本文之前,您可能需要先看下...「字节码插桩」统计方法耗时(第一篇:初出茅庐)-第311篇 师傅:今天我们就扒开JavaAgent来看看,到底是何方神圣。 徒儿:师傅扒的好。 师傅:恩赫….徒儿...
  • R语言实战笔记–第六&七章 统计图形介绍及基本统计方法标签(空格分隔): R语言 箱线图 直方图 t检验 Kruskal-Wallis检验 Friedman检验 R语言实战的第六章和第七章介绍了一些基本的统计图形(直方图、条形图、饼图...
  • SQL DISTINCT去掉重复的数据统计方法

    千次阅读 2016-09-01 22:54:17
    SQL DISTINCT重复的数据统计方法 group by 重复数据的个数统计 删除重复的数据2008-09-10 16:30DISTINCT 关键字可从 SELECT 语句的结果中除去重复的行。如果没有指定 DISTINCT,那么将返回所有行,包括重复的行。 ...
  • 特征选择方法-统计方法

    千次阅读 2018-04-15 19:19:53
    信息熵:在信息论与概率统计中,熵是表示随机变量不确定性的度量。对于离散型随机变量集合X,其概率分布为则随机变量X的熵为熵越大,表示随机变量的不确定性就越大。例如,当随机变量X的集合取值只有0和1时,其概率...
  • 「字节码插桩」统计方法耗时(第一篇:初出茅庐)- 第311篇 「字节码插桩」统计方法耗时(第二篇:崭露头角)- 第311篇 师傅:上一节,我们对于javaagent有了一个简单的认知,但是对于如何修改修改字节码,我们还....
  • 基本的R包已经实现了传统多元统计的很多功能,然而CRNA的许多其它包提供了更深入的多元统计方法,下面要综述的包主要分为以下几个部分:  1) 多元数据可视化(Visualising multivariate data):  绘图方法:  ...
  • 一种基于linux系统的精准流量统计方法

    千次阅读 多人点赞 2019-06-25 10:53:50
    前言: ...如果要在自己代码中实现流量的统计,可以有下面几种方法统计应用层流量;使用tcpdump抓取每一包数据进行统计;使用Iptables命令来实现。下面就这几种方法进行对比: (1)应用层计算流量 ...
  • 数据挖掘的统计方法有哪些?

    千次阅读 2013-07-04 10:00:47
    数据挖掘中常用的统计方法一共有以下几种:传统的统计方法包括回归分析、主成分分析、聚类分析;非机器学习方法:模糊集、粗糙集、支持向量机  数据堂免费提供数据挖掘数据集下载:www.datatang.com  数据...
  • 将各个手册单元多维度的信息,使用统计方法简化成一维的数值,是为倾向值,然后据之进行匹配,匹配的目的就是要找寻实验组和对照组样本中拥有相同(或者相似)倾向值的样本,它们之间的差异,就是因果效用。...
  • 审稿:张耀文上节课程中,我们讲解了两个变量的相关性分析时,应该如何选择统计方法(详见:要做相关性分析,该如何选择正确的统计方法?),今天我们接着讲解,涉及到三个及以上变量的相关性分析,该如何选择统计方法...
  • 网络流量统计方法

    千次阅读 2018-05-21 10:28:15
    从WiFi固件统计 cat /sys/kernel/debug/ieee80211/phy0/ath10k/fw_stats ath10k PDEV stats ================= Channel noise floor -100 Channel T...
  • 在线人数统计方法

    千次阅读 2005-12-22 16:52:00
    /*******author:fibona 熊祥众********date:2004-7-30********功能:在线人数统计方法:*/这只是一种通过数据库与session组合来实现的在线人数统计方法,做法通常是:先在数据库中用户表中增加一个字段,用户最后活动...
  • Lost RAM的统计方法

    千次阅读 2018-06-11 16:53:54
    最近遇到一个Lost RAM占用内存达到1.5GB的问题,所以先统计一下Lost RAM的计算方法:根据计算公式: long lostRAM = memInfo.getTotalSizeKb() - (totalPss - totalSwapPss) - memInfo.getFreeSizeKb() - memInfo....
  • 图像的统计方法

    千次阅读 2018-01-06 10:01:58
    前面我们提到,用均值滤波器、中值滤波器、高斯滤波器等可以降低图像中的噪声,其副作用是带来了...对于不同的特定问题,就需要不同的图像增强方法,其增强后的图像质量当然评价标准也不一样。因此,并不存在“通用”的

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 73,772
精华内容 29,508
关键字:

统计方法