数据清洗(Data cleaning)– 对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。

数据清洗从名字上也看的出就是把"脏"的"洗掉"，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为"脏数据"。我们要按照一定的规则把"脏数据""洗掉"，这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。

主要类型

残缺数据

这一类数据主要是一些应该有的信息缺失，如供应商的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来，按缺失的内容分别写入不同Excel文件向客户提交，要求在规定的时间内补全。补全后才写入数据仓库。

错误数据

这一类错误产生的原因是业务系统不够健全，在接收输入后没有进行判断直接写入后台数据库造成的，比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。这一类数据也要分类，对于类似于全角字符、数据前后有不可见字符的问题，只能通过写SQL语句的方式找出来，然后要求客户在业务系统修正之后抽取。日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败，这一类错误需要去业务系统数据库用SQL的方式挑出来，交给业务主管部门要求限期修正，修正之后再抽取。

重复数据

对于这一类数据--特别是维表中会出现这种情况--将重复数据记录的所有字段导出来，让客户确认并整理。

数据清洗是一个反复的过程，不可能在几天内完成，只有不断的发现问题，解决问题。对于是否过滤，是否修正一般要求客户确认，对于过滤掉的数据，写入Excel文件或者将过滤数据写入数据表，在ETL开发的初期可以每天向业务单位发送过滤数据的邮件，促使他们尽快地修正错误,同时也可以做为将来验证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉，对于每个过滤规则认真进行验证，并要用户确认。

以上是百度百科的答案，以下才是我的理解。

总之：

数据清洗ETL是指对过来的数据进行处理成干净的数据。

主要的步骤有以下几个：

首先是需要接收数据

然后还有可能涉及到数据格式的转换，logstash是将结构化的数据转换成json格式的数据的一种方式

另外如果是进行离线数据处理的话还需要存储过来的脏数据，脏数据一般是存储在HDFS上的。离线一般使用MapReduce进行数据的清洗工作

如果是流式处理框架的话需要接收数据，去进行处理的。我们一般在流式处理框架中是使用kafka进行数据的接收，然后用sparkstreaming充当消费者进行数据的处理的。同时在这个sparkstreaming中进行数据清洗工作。

数据清洗之后就是干净的数据了，需要进行存储，由于数据的量比较大，因此又需要进行存储，一般会选择hdfs进行数据的存储处理。

之后数据就算是入库了，需要进行分析或者进行可视化或者进行AI模型训练等。

这就是数据处理过程的大概流程。

其中数据清洗阶段需要做的工作就是将这些脏数据进行处理，弄成干净的数据。具体怎么做呢？那么何为脏数据呢？

脏数据包括：

1、重复数据

2、残缺不全的数据，也就是数据中有一部分段或者该字段的一部分丢失了

3、错误数据，就是某一些字段或者一些字段对应的值明显是错误的。

那么针对于这些值应该怎么处理呢？

不同的数据，用途不同，处理的方式也是不一样的。一般的处理方式式删除掉，过滤掉，就是下一次存入数据库的时候不进行存车这些数据；还有就是将残缺的数据进行补齐，当然在补齐的时候是需要有一定的规则的，常见的方式式进行对这个值及其前后值去请均值；

如果是重复数据的话，那么使用distinct进行去重；

如果是不太全的数据，后期还需要进行做机器学习模型训练，那么就需要非常大量的数据，而当数据量又不太大的时候需要进行处理加工的，常见的方式就是进行前后值取平均值、和它前边的数据保持一致，和后边的数据进项保持一致等。

如果是错误数据是需要进行纠正错误的，比如将错误的值进行纠正等。

如果数据只是单纯的进行可视化，那么就是不让数据在前端展示就好了，这个时候错误数据处理的方式就有以下几种：

一个是在接口去库里进行查询的时候，做个判断，如果是不符合要求的数据，那么就不要查询这个字段的数据，这个是最后的最笨的办法，其实还有比较聪明的办法，就是在数据第二次入库之前，进行etl数据清洗，将脏数据处理就好了。这个就是ETL做的工作了。

前言
在了解什么叫模块化之前，我们先了解一下在没有模块化之前所遇到的问题。

遇到的问题：

1，变量名冲突。当我们在做项目时可能会出现同时引许多不同的js文件，那不可避免的就会出现变量名重复，前面的会被后面的覆盖，造成一系列错误。

2，js文件依赖顺序。多个文件之间存在着依赖关系，要保证程序不出错，就必须捋清加载顺序。
什么是模块化？
模块化的本质：一个实现特定功能的js文件

模块化开发：是一个管理方法，一种生产方式，解决上述问题的方案。更方便我们使用已写好的代码，想要实现什么功能，就加载什么模块，如积木，需要什么形状，就是用什么样的积木。
模块化的优点

各个文件之间避免了变量名冲突
减少了全局变量
模块化的外部无法修改闭包内部变量，增加程序的稳定性
明确依赖关系

**

ES6模块化
ES6之前无模块化，ES6第一次支持了模块化。

ES6模块化有三种方式：
1，闭包+自执行函数；
  利用闭包和自执行函数

var 模块名 = (function(){
    return {
      变量1,
      变量2
    }
})
变量名.变量;

此方法是所有模块化的基础,

2，extport导出与import导入
基础导出
再引入模块js文件时，需要在script标签中加入type=“module”

export   变量的声明与赋值
export default {
  fn(){
    console.log("昨夜星辰昨夜风，画楼西畔桂堂东");
  },
  age:15
}

import  {变量名} from “模块路径”
import ss from "./a.js";
ss.fn();
console.log(ss.age);

输出结果为



如果需要抛出多个变量名，则可以将这些变量包装成对象输出。

如过不想暴露模块中的变量可以用as来操作
var aNum = 10;
var aStr = "a";
export {
  aNum as num,
  aStr as str
}

import {num,str} from "./a.js";

console.log(num,str);


默认导出
一个模块只能有一个默认导出。对于默认导出，导入的名称可以不一样。
export default function(){
  console.log("此去泉台招旧部，旌旗十万斩阎罗");
}

import ss from "./a.js";
ss();

可以导出对象
export default {
  fn(){
    console.log("此去泉台招旧部，旌旗十万斩阎罗");
  },
  age:18
}


import ss from "./a.js";
ss.fn();
console.log(ss.age);

基础导出与默认导出（混合使用）
export default {
  fn(){
    console.log("此去泉台招旧部，旌旗十万斩阎罗");
  },
  age:18
}

export let userName = "zhangsan"


import ss,{userName} from "./a.js";
ss.fn();
console.log(ss.age);
console.log(userName);

3，引入第三方类库
如：sea.js 与 require.js

C语言函数笔记
笔记内容为自学郝斌老师C语言课程时所作

如果对于基础知识点有遗忘可以借鉴下

作者：
辽宁工业大学 电子202 宋家盛

如有错误， 可通过jff_16@163.com联系

函数:（C语言的基本单位）

为什么需要函数？
避免大量重复操作
有利于程序的模块化，将功能进行分类（面向过程思想的表现）
函数不是为某个数据设计的而是为过程设计的工具
（面向过程的思想）

什么叫函数？
 逻辑上：能够完成特定功能的独立的代码块
 物理上：1.能够接收数据[可以不接收]
 				 2.能够对接收的数据进行处理
 				 3.能够对数据处理的结果返回[可以不返回任何值]
 总结：函数是个工具，它是为了解决大量类似问题而设计的
 			 函数可以当作一个黑匣子（不需要理解内部处理操作，只需要会使用）			 

如何定义函数？
	函数的返回值 函数的名字(函数的形参列表)
	{
		函数的执行体
	}
	1.函数定义的本质是详细描述函数之所以能够实现某个特定功能的具体实现方法
	2.return表达式的含义
	return 和 break 的区别：
	break 用来终止循环或者 switch
	return 用来着终止被调函数，向主调函数返回表达式的值（表达式为空则不返回值）
	3.函数返回值的类型也称为函数的类型，如果函数名前的返回值类型
	  和函数执行体中return返回的值不同，则以前者为准
例如：
void max(int i, int j)				 //max是函数的名字，i和j是形式参数（形参）
{											//void表示函数无返回值
	if (i > j)
		printf("%d\n", i);
		else
			printf("%d\n", j);
	}

函数的分类
	有参函数 和 无参函数
	有返回值函数 和 无返回值函数
	库函数 和 用户自定函数
	值传递函数 和 地址传递函数（严格意义上这种说法不正确）
	普通函数 和 主函数（main）
	一个程序必须有且只能有一个主函数 
	主函数可以调用普通函数，普通函数不能调用主函数
	普通函数可以相互调用
	主函数是程序的入口也是程序的出口

如何调用函数？
max(a, b);
其中max是函数名，a和b为函数的实际参数（实参）
调用时将a发送给i，将b发送给j
多次调用时不能够保证每次分配的空间相同
当max函数调用完毕后，其占用的内存空间会被全部释放
（调用函数时，两个函数内部变量名不冲突）

函数的声明
void f(void); //函数声明，分号不能丢掉
函数声明的作用是使编译时知道f是个函数（无形参，无返回值）

如何在软件开发中合理的设计函数来解决实际问题：
1.注意代码的利用率，一个函数的功能尽量单一
2.多学习，多模仿牛人的代码

常用的系统函数：
double sqrt(double x); //求x的平方更
int abs(int x); //求x的绝对值
double fabs(double x) //求x的绝对值

递归：（专题 数据结构）[对于初学者不必须]
栈：所有可以实现先进后出的存储结构都是栈
压栈/出栈

变量的作用域和存储方式：
	按作用域分：
		全局变量：
			在全部函数外部定义的变量统称为全局变量
			使用范围：从定义位置开始到整个程序结束		
		局部变量：
			在一个函数内部定义的变量或函数的形参都统称为局部变量
			void f(int i)
			{
				int j;
				}
			//i和j都属于局部变量	
			使用范围：只能在本函数内部使用
	注意问题：
		全局变量和局部变量命名冲突问题
			在一个函数内部如果定义的局部变量的名字和全局变量名字相同
			则局部变量会屏蔽掉全局变量		
	按变量的储存方式分：
		静态变量
		自动变量
		寄存器变量	
使用函数应注意的问题：
1.函数的定义应在函数调用语句之前（函数之前的相互调用也遵循此原则）
	如果函数调用写在了函数定义之前，则必须加函数前置声明
	函数前置声明的作用：
		1.告诉编译器可能出现的若干个字母时一个函数
		2.告诉编译器可能出现的若干个字母代表的函数返回值和形参的具体情况
		3.函数声明时一个语句，末尾必须加;
		4.对库函数的声明是通过# include <库函数所在的文件名.h>来实现
2.形参和实参
	形参和实参个数相同，位置一一对应，类型必须相互兼容	
	```