数据的误差分为两类：
1.抽样误差
是一种随机性误差；

引起：抽样的随机性；

只出现在概率抽样中；

只要采用概率抽样，抽样误差就是不可避免的；

抽样误差是可计算的；

抽样误差是可控制的，主要通过改变样本量来控制；
2.非抽样误差
出现在概率抽样、非概率抽样、全面调查中；

可控制，但不可计算；

非抽样误差可分为：

抽样框误差

只出现在概率抽样中（因为只有概率抽样需要抽样框）。
回答误差

主要有理解误差、记忆误差、有意识误差。

记忆误差，是一种随机误差，最终结果是具有趋中的倾向；

有意识误差，是一种系统误差，偏向一个方向；
无回答误差

有时是随机的，有时是系统的。

不因调查内容的无回答是随机的，可通过增大样本量来解决；

因调查内容的无回答是系统性误差。
调查员误差
测量误差

众所周知，C和C++中，经常用到的浮点数类型无论是float类型还是double类型都存在一定的精度与误差，关于float与double所表示的范围如下： 

 

double的精度足够日常使用，但是浮点数在计算机内部存储的时候存在的误差值是不可避免的，比如说数字5在计算机中存储的数据根据运算方式的不同，结果可能是4.99999999998，也可能是5.0000000001，这在我们需要对浮点数进行一些特定的操作的时候，非常容易出现不必要的麻烦，比如我们需要对浮点数double n=3.8进行如下操作的时候：

取n的整数部分可以用：int a = int(n); 

得到n的小数部分:  double b = n - a; 

对小数部分进行操作：b *= 10; 

取b的整数部分可以用：  int c = int(b);

对于以上操作，按照正确的逻辑，取3.8的整数部分3，再用3.8 - 3 = 0.8，然后0.8 * 10 = 8，取8的整数部分得8.但是程序的输出结果显然不想我们想象的那么简单：



int main()
{
    double n;
    while(cin>>n)
    {
        double ans = n - int(n);
        ans *= 10;
        int ans1 = int(ans);
        printf("       ans = %d\n", ans1);
    }
    return 0;
 }


对于以上代码，如果输入3.8，输出结果为： 



很显然结果为7，下面添加几句代码来验证一下：



int main()
{
    double n;
    while(cin>>n)
    {
            double ans = n - int(n);
            printf("       ans = %.20lf\n", ans);
            ans *= 10;
            printf("       ans = %.20lf\n", ans);
            int ans1 = int(ans);
            printf("       ans1 = %d\n", ans1);
    }
    return 0;
 }

 

很容易发现，第一个ans取得是3.8的小数部分，结果是0.79999999999999982000，正确的结果显然应该是0.8，但是由于浮点数在计算机中存储的特性，计算机认为0.79999999999999982000就是0.8，显然这给后续的运算已经产生了不必要的影响，那么如何处理呢？下面来介绍eps的处理方法：

eps处理浮点数误差的问题:

何为eps？ 

        eps可以看成是epsilon的缩写，可以用来表示一个无穷小的量，通常取eps的值为：1e-10~1e-8 之间。 

可以做什么？ 

    对于数字5，如果计算机存储的数据为5.000000000000001，显然对这种情况不需要用到eps进行补偿，而对于有缺省的类似于4.9999999999999998的数据，eps可以进行对它的缺省值进行一定的补偿，使其在计算机中的存储值变成5.00000000000000或者5.000000000000001，这样在后续的计算中就会解决因为存储的误差造成的不必要后果。下面同样用代码验证一下：



#define eps 1e-10 //宏定义eps为1e-10
int main()
{
    double n;
    while(cin>>n)
    {
        double ans = n - int(n);
        ans *= 10;
        int ans1 = int(ans + eps);
        printf("       ans1 = %d\n", ans1);
    }
    return 0;
 }

输出结果为： 



结果一面了然。另外，对于负数的情况，只需要把ans + eps改为ans - eps即可，下面附上完整代码：



#include<iostream>
#include<cstdio>
#define eps 1e-10
using namespace std;
int main()
{
    double n;
    while(cin>>n)
    {
        double ans = n - int(n);
        ans *= 10;
        int ans1;
        if(ans > 0)
            ans1 = int(ans + eps);
        else
            ans1 = int(ans - eps);//如果ans < 0, 要用ans - eps;
        printf("       ans1 = %d\n", ans1);
    }
    return 0;
}


输出结果： 

 

总结： 

以上内容部分参考网上资料，以及结合平时的做题经历，如有不妥，欢迎批评指正。

前几天用到flume的日志收集，基于公司的业务对flume本身自带的hbase插件做了些改造，测试的时候却出现了丢数据和多数据的问题……
1.首先查看collector的event数，是与原数据量相符的。所以在agent与collector的交互过程是没有问题的
2.查看开发插件业务处理过程，看了好几遍感觉也没问题。
3.于是问题只有可能出现在hbase的数据处理上了。本来是基于flume自带的hbase插件做的改造，在数据提交那块上没动脑子，后来才发现问题就是出在数据提交这块。

丢数据
为什么会出现丢数据的情况呢？

大家都知道HTable的put操作是支持本地缓存的，如果设置了buffer，HBase不会每次put操作都提交到后台，而是等client端的数据量达到指定的buffer时才向后台提交数据。
本来在flume这种模式下，数据的提交速度本身就很快，如果不设置buffer，性能上会严重出现问题。但由于HTable本身没有提供定时提交buffer的机制，所以数据量未达到buffer时，client端的数据是不会提交到后台的。所以此时会出现丢数据的假象。于是就想独立启用一个线程定时去提交buffer中的数据，不管buffer有没有达到指定数据量。这时可以在出现异常的情况下尽量避免丢失buffer中的数据（但是不能完全避免）。

此时因为是多线程处理HTable的数据，就要考虑到HTable的线程安全，通过HTable的介绍可知，HTable并非是线程安全的。
This class is not thread safe for updates; the underlying write buffer can be corrupted if  multiple threads contend over a single HTable instance. 
所以得控制好多线程操作HTable这块。

多数据
为什么会出现多数据的情况呢？

首先是没有正确操作flume，在flume的agent端，如果采用DFO（Store on failure）的方式，在collector不可抵达时，agent端的event事件会存储在本地磁盘，如果第一次启动agent的时候已经存储了数据在本地磁盘而未删除，在第二次启动agent时，本地磁盘的数据会被重新发送给collector，这个时候就会出现多数据的情况。所以在重启agent的时候，记得处理本地磁盘的数据。
另外一种情况请参考Flume agent端event重复发送（数据暴增不一致）的问题

 

前言

这是Python数据可视化的系列短篇，针对初级和中级用户，将理论和示例代码相结合，使用matplotlib, seaborn, plotly等工具创建不同主题的图表。

本文主题是如何在图表中显示误差。

import os

import warnings
import requests
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from statsmodels.tsa.arima_model import ARIMA

%matplotlib inline
plt.style.use("fivethirtyeight")

warnings.filterwarnings("ignore")

PS：如有需要Python学习资料的小伙伴可以加下方的群去找免费管理员领取



 

可以免费领取源码、项目实战视频、PDF文件等



 

1. 显示测量误差

科学测量往往存在误差，准确的报告误差跟报告测量结果同样重要。

测量误差（也称为观察误差）是测量值和真实值之间的差异，包括随机误差（任何实验中都会自然发生的误差）和系统误差（由影响所有测量的错误校准的仪器引起）。

举一个例子，假设您正在测量100个学生的体重，有的学生穿较多的衣服，导致重500克，有的学生可能脱水导致轻200克，这些都是测量误差。事实上所有收集的样本都会存在误差，大多数情况下它们不可避免。所以在数据可视化中，有效显示这些错误可以传达更完整的信息。

在matplotlib中通过调用ax.errorbar()创建误差图(errorbar)。误差图由一个点和穿过这个点的线段组成，点对应测量结果，线段代表测量误差。

# 设置随机数种子
np.random.seed(123)

# 观测值的数量
n_observations = 30
x = np.arange(n_observations)

# 虚拟测量值
y = np.sin(x) + np.random.randn(n_observations)

# 测量误差，假设误差服从均匀分布
errors = np.random.randint(1, 3, n_observations)

# 调用ax.errorbar接口，提供3个数组，x, y, yerr
# fmt控制点和线段的样式，跟ax.plot的fmt相同
# color: 控制点的颜色
# ecolor: 代表误差的线段的颜色
# elinewidth: 代表误差的线段的大小
fig, ax = plt.subplots(figsize=(10, 7))
ax.errorbar(x, y, yerr=errors, fmt="o", color="black",
            ecolor="lightgray", elinewidth=3)



 

2. 显示预测误差

在机器学习领域，回归模型和时间序列模型用于预测，模型会同时生成预测误差（所谓置信区间），在可视化预测结果时，通常要求显示预测值和预测区间，这可以通过ax.plot()和ax.fill_between()实现。

接下来使用一个真实的案例说明，先从蜂鸟数据获取黄金价格，然后用ARIMA（自回归整合移动平均）预测未来30天的价格，可视化预测结果。

# 从蜂鸟数据下载黄金价格
params = {
    "symbol": "XAUUSD",  # 现货黄金ID
    "start_date": "2010-01-01",
    "end_date": "2020-08-05",
    "apikey": os.getenv("TROCHIL_API")  # 在蜂鸟数据官网注册获取API密钥
}
resp = requests.get("https://api.trochil.cn/v1/forex/history", params)
data = pd.DataFrame.from_records(resp.json()["data"])
data["datetime"] = pd.to_datetime(data["datetime"])
data.set_index("datetime", inplace=True)

# 创建ARMIA模型，预测未来30天价格走势
model = ARIMA(data.close, order=(1, 1, 1))
results = model.fit()
fc, errors, conf = results.forecast(steps=30, alpha=0.05)
fc_df = pd.DataFrame({
    "forecast": fc,
    "lower": conf[:, 0],
    "upper": conf[:, 1]
}, index=pd.date_range("2020-08-06", periods=30))

# 可视化预测结果，包括点预测值和预测区间
# 预测区间包括置信下限和上限，代表真实值可能落入的范围
# 调用ax.plot显示点预测值，ax.fill_between显示预测区间
data_since_2020 = data["2020":]
fig, ax = plt.subplots(figsize=(12, 7))
data_since_2020.close.plot(ax=ax, label="Historical Prices")
ax.plot(fc_df.index, fc_df.forecast, label="Forecast Prices")
ax.fill_between(fc_df.index, fc_df.lower, fc_df.upper, color="gray", alpha=0.3, label="Forecast Interval")
ax.set_title("Plot Forecast Errors")
ax.legend(loc="upper left")
<matplotlib.legend.Legend at 0x7fbfa348d9a0>



 

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

作者：蜂鸟数据Trochil