RNA-seq：转录组数据分析处理（上）

一、流程概括

• RNA-seq的原始数据（raw data）的质量评估
• linux环境和R语言环境
• raw data的过滤和清除不可信数据（clean reads）
• reads回帖基因组和转录组（alignment）
• 计数（count ）
• 基因差异分析（Gene DE）
• 数据的下游分析

二、准备工作

• 学习illumina公司测序原理
• 测序得到的fastq文件
• 注释文件和基因组文件的准备

1. fastq测序文件

在illumina的测序文件中，采用双端测序（paired-end），一个样本得到的是seq_1.fastq.gz和seq_2.fastq.gz两个文件，每个文件存放一段测序文件。在illumina的测序的cDNA短链被修饰为以下形式（图源见水印）：

两端的序列是保护碱基（terminal sequence）、接头序列（adapter）、索引序列（index）、引物结合位点（Primer Binding Site）：其中 adapter是和flowcell上的接头互补配对结合的；index是一段特异序列，加入index是为了提高illumina测序仪的使用率，因为同一个泳道可能会测序多个样品，样品间的区分就是通过index区分。参考：illumina 双端测序（pair end）、双端测序中read1和read2的关系。

在illumina公司测得的序列文件经过处理以fastq文件协议存储为*.fastq格式文件。在fastq文件中每4行存储一个read。
第一行：以@开头接ReadID和其他信息，分别介绍了
第二行：read测序信息
第三行：规定必须以“+”开头，后面跟着可选的ID标识符和可选的描述内容，如果“+”后面有内容，该内容必须与第一行“@”后的内容相同
第四行：每个碱基的质量得分。记分方法是利用ERROR P经过对数和运算分为40个级别分别与ASCII码的第33号!和第73号I对应。用ASCII码表示碱基质量是为了减少文件空间占据和防止移码导致的数据损失。fastq文件预览如下：

2.注释文件和基因组文件的获取

• 基因组获取方式：可以从NCBI、NCSC、Ensembl网站或者检索关键词“hg38 ftp UCSC” 人类基因组hg38.fa.gz大概是938MB左右。文件获取可以点击网站下载。可以通过云盘的离线下载来加速下载进程
• 基因组的选择：以Ensembl网站提供的基因组为例，比对用基因组应该选择Homo_sapiens.GRCh38.dna.primary_assembly.fa
• Ensembl基因组的不同版本详见README和高通量测序数据处理学习记录（零）：NGS分析如何选择合适的参考基因组和注释文件

三、软件安装

• 安装方式：软件安装可以通过例如apt-get、miniconda等方式来安装。由于miniconda的便捷行，使用conda进行如下软件的安装。
• 软件列举
  质控：fastqc ,multiqc , trimmomatic, cutadapt, trim-galore
  比对：star , hisat2 , tophat , bowtie2 , bwa , subread
  计数：htseq , bedtools, salmon, featurecount
• miniconda的安装：

1. 可以通过点击清华大学开源软件站或者检索“清华大学 conda”访问镜像网站（清华镜像站因为服务器在中国访问速度比较快），点击Anoconda界面，选择Miniconda下载安装，windows在安装好需要设置环境变量。
2. linux测试Miniconda的安装：conda -v
3. 创建名为rna的环境变量：conda create -n rna python=2（许多软件依赖python2环境）环境退出：conda deactivate
4. 配置conda，添加镜像源头：输入如下命令（更新：2019年05月06日）

conda config --add channels https://mirrors.cloud.tencent.com/anaconda/pkgs/free/
conda config --add channels https://mirrors.cloud.tencent.com/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.cloud.tencent.com/anaconda/cloud/msys2/
conda config --add channels https://mirrors.cloud.tencent.com/anaconda/cloud/menpo/
conda config --add channels https://mirrors.cloud.tencent.com/anaconda/cloud/peterjc123/
conda config --add channels https://mirrors.cloud.tencent.com/anaconda/pkgs/main/
conda config --add channels https://mirrors.cloud.tencent.com/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.cloud.tencent.com/anaconda/cloud/pytorch/

• 软件安装：conda install <software>会自动安装软件和软件环境。值得注意的是需要在rna的环境变量下安装以上软件。激活rna环境变量的代码：

source activate rna

四、质量汇报生成与读取

1.fastq质量汇报

使用命令fastqc -o <output dir> <seqfile1,seqfile2..>来进行质量报告。每个fastqc文件会获得一个质量分析报告，来描述此次RNA-seq的测序质量。
获取质量报告如图：

Basic Statistics

从read水平来总览，判断测序质量。
Encoding ：测序平台的版本，因为不同版本的 error p的计算方法不一样。
Total sequence：测序深度。一共测序的read数。是质量分析的主要参数。
Sequence length：测序长度。
%GC：GC碱基含量比，一般是物种特异性，比如人类是42%左右。

Perbase sequence quality

横坐标： 第1-100个测序得到的碱基
纵坐标： 测序质量评估。这里的Q=-10*lg10(error P),即20%代表1%的错误读取率，30%代表0.1%的错误读取率
箱型图： 红色线，是某个顺序下测序碱基所有测序质量的中位数。黄色块，是测序质量在25%-75%区域。蓝色线，平均数。
一般要求： 测序箱型图10%的线大于Q=20。Q20过滤法。

per tail sequence quality

横坐标：同上。
纵坐标：tail的index编号。
目的：防止测序过程中某些tail受不可控因素测序质量低。
标准：蓝色表示质量高，浅色或暖色表示质量低，后续的分析可以去除低质量tail。

Per sequence quality scores

从read的总体测序质量分布来判定此次的测序质量，是质量分析的重要标准之一。
横坐标：表示read的测序质量Q=-10*lg10(error P)。
纵坐标：表示在该Q值下的read 的数量
标准：需要集中在高分区

Per base sequence content

横坐标：1-100的测序碱基位置
纵坐标：碱基百分比
标准：理论上，ATCG碱基的分布应该差别不大，即四条线应该大致平行状态。如果AT或CG差异超过10%，此项检测是危险的。一般是测序机器前几个碱基测序时候因为状态调整导致测序略有偏差，如果前几个碱基偏差较大，可以在后期将前几个碱基切掉。

Sequence Length Distribution

统计read的碱基长度，本例理论上测序应该全是100bp。
横坐标：是read的碱基长度
纵坐标：是该长度下的read数量

Per sequence GC content

横坐标：每个read的平局GC含量占比
纵坐标：一定GC比下的read数
标准：蓝色是理论值，红色是真实值。两者接近是比较好的状态。如果有双峰，可能混有了其他物种的DNA序列。

Adapter Content

一般测序在初步生成fastq文件时候，adapter会被去除，但是有的会没有去除或者遗漏部分adapter。所以这一步是检测RNA-seq测序过程中adapter是否去除。如果没有去除会严重影响后续的比对工作。没有去除的adapter在质量处理环节会被处理掉。

2. multiqc质量报告

multiqc可以对几个fastqc报告文件进行总结并汇总到一个报告文件中，以更直观到防止展示。使用方法

multiqc <analysis directory> 

五、数据处理

数据处理内容：fiter the bad quality reads and remove adaptors.
处理软件：数据到处理可以使用多款软件，trim_galore在各文献中表现良好。

1.trim_galore 的使用方法

trim_galore：可以处理illumina，nextera3，smallRNA测序平台的双端和单端数据，包括去除adapter和低质量reads。
trim_galore的参数： trim_galore的参数在处理过程比较重要：

trim_galore [options] <filename>
--quality<int>  #设定phred quality阈值。默认20（99%的read质量），如果测序深度较深，可以设定25
--phred33       #设定记分方式，代表Q+33=ASCII码的方式来记分方式。这是默认值。
--paired          # 对于双端结果，一对reads中若一个read因为质量或其他原因被抛弃，则对应的另一个read也抛弃。
--output_dir   #输出目录，需确保路径存在并可以访问
--length        #设定长度阈值，小于此长度会被抛弃。这里测序长度是100我设定来75，感觉有点浪费
--strency     #设定可以忍受的前后adapter重叠的碱基数，默认是1。不是很明白这个参数的意义
-e<ERROR rate>  #设定默认质量控制数，默认是0.1，即ERROR rate大于10%的read 会被舍弃，如果添加来--paired参数则会舍弃一对reads
<filename>  #如果是采用illumina双端测序的测序文件，应该同时输入两个文件。

构建命令：

trim_galore -output_dir clean --paired --length 75 --quality 25 --stringency 5 seq_1.fasq.gz seq_2.fastq.gz

处理需要花上一定时间和磁盘空间。得到处理后数据

2. 整理后数据的质量分析。

对过滤后对文件进行质量分析。观察过滤结果。同样使用fastqc和multiqc两个软件进行质量分析。得到结果如下：

ENCFF108UVC_val_1_fastqc的质量报告

观察到总read数减小和总体read的质量变高，小部分adapter也被去除。更具体过滤和trim_galore的数据处理情况可以在seq_trimming_report.txt中查看。

SUMMARISING RUN PARAMETERS
==========================
Input filename: ENCFF108UVC.fastq.gz
Trimming mode: paired-end
Trim Galore version: 0.5.0
Cutadapt version: 1.18
Quality Phred score cutoff: 25
Quality encoding type selected: ASCII+33
Adapter sequence: 'AGATCGGAAGAGC' (Illumina TruSeq, Sanger iPCR; auto-detected)
Maximum trimming error rate: 0.1 (default)
Minimum required adapter overlap (stringency): 5 bp
Minimum required sequence length for both reads before a sequence pair gets removed: 75 bp
Output file will be GZIP compressed


This is cutadapt 1.18 with Python 2.7.6
Command line parameters: -f fastq -e 0.1 -q 25 -O 5 -a AGATCGGAAGAGC ENCFF108UVC.fastq.gz
Processing reads on 1 core in single-end mode ...
Finished in 1038.93 s (40 us/read; 1.50 M reads/minute).
=== Summary ===

Total reads processed:              26,038,229
Reads with adapters:                   714,205 (2.7%)
Reads written (passing filters):    26,038,229 (100.0%)

Total basepairs processed: 2,603,822,900 bp
Quality-trimmed:              82,577,636 bp (3.2%)
Total written (filtered):  2,513,138,030 bp (96.5%)

由报告可以知道处理的具体详情。

六、比对回帖

概况：使用处理后的fastq文件和基因组与转录组比对，确定在转录组或者基因组中的关系。在转录组和基因组的比对采取的方案不同。分别是ungapped alignment to transcriptome和Gapped aligenment to genome。
软件：hisat2和STAR在比对回帖上都有比较好的表现。有文献显示，hisat2在纳伪较少但是弃真较多，但是速度比较快。STAR就比对而言综合质量比较好，在长短reads回帖上都有良好发挥。由于hisat2的速度优势，选择hisat2作为本次比对的软件。
在比对之前首先要先进行索引文件的获取或者制作。

1. 索引文件的获取

• 不同的比对软件构建索引方式不同，所用的索引也不尽相同
• 索引文件可以去网站下载也可以自己构建。但是索引构建会比较费时间。建立索引文件需要大约一个小时（MAC: 2.6 GHz Intel Core i5/ 8 GB 1600 MHz DDR3） 。
• 网站下载hisat2基因组索引：http://ccb.jhu.edu/software/hisat2/index.shtml
• 本地索引文件构建参考了CSDN@ Richard_Jolin的构建过程
• 索引文件的格式如下，是由多个文件构成，要保证索引文件的格式和名称部分一致。
  

2. hisat2的比对回帖

使用hisat2回帖

公式构建根据hisat2 的使用说明书构建了以下公式：

hisat2  -p 6    -x <dir of index of genome>  -1  seq_val_1.fq.gz   -2  seq_val_2.fq.gz  -S  tem.hisat2.sam

参数说明：

-p #多线程数
-x #参考基因组索引文件目录和前缀
-1 #双端测序中一端测序文件
-2 #同上
-S #输出的sam文件

说明：在比对过程中，hisat会自动将双端测序匹配同一reads并在基因组中比对，最后两个双端测序生成一个sam文件。比对回帖过程需要消耗大量时间和电脑运行速度和硬盘存储空间。5G左右fastq文件比对回帖过程消耗大概一个小时，生成了17G的sam格式文件。回帖完成会生成一个回帖报告。

samtools 软件进行格式转换

SAM文件和BAM文件
samtools 是针对比对回帖的结果——sam和bam格式文件的进一步分析使用的软件。sam格式文件由于体量过大，一般都是使用bam文件来进行存储。由于bam文件是二进制存储所以文件大小比sam格式文件小许多，大约是sam格式体积的1/6 。
samtools将sam转换bam文件

samtools view -S seq.sam -b > seq.bam  #文件格式转换
samtools sort seq.bam -0 seq_sorted.bam  ##将bam文件排序
samtools index seq_sorted.bam  #对排序后对bam文件索引生成bai格式文件，用于快速随机处理。

至此一个回帖到基因组对RNA-seq文件构建完成。这个seq_sourted.bam文件可以通过samtools或者IGV( Integrative Genomics Viewer)独立软件进行查看。在IGV软件中载入seq_sourted.bam文件。
可以很直观清晰地观察到reads在基因组中的回帖情况和外显子与内含子的关系。

3.对回帖bam文件进行质量评估。

**samtools falgstate **：统计bam文件中比对flag信息，然后输出比对结果。
公式：

samtools flagstate seq_sorted.bam > seq_sorted.flagstate

结果如下

47335812 + 0 in total (QC-passed reads + QC-failed reads)
3734708 + 0 secondary
0 + 0 supplementary
0 + 0 duplicates
46714923 + 0 mapped (98.69% : N/A)
43601104 + 0 paired in sequencing
21800552 + 0 read1
21800552 + 0 read2
42216752 + 0 properly paired (96.82% : N/A)
42879780 + 0 with itself and mate mapped
100435 + 0 singletons (0.23% : N/A)
337412 + 0 with mate mapped to a different chr
308168 + 0 with mate mapped to a different chr (mapQ>=5)

七、count

计算RNA-seq测序reads对在基因组中对比对深度。
计数工具：feature counts
公式构建：

feature counts -T 6 -t exon -g gene_id -a <gencode.gtf> -o seq_featurecount.txt <seq.bam>

参数：

-g # 注释文件中提取对Meta-feature 默认是gene_id
-t # 提取注释文件中的Meta-feature 默认是 exon
-p #参数是针对paired-end 数据
-a #输入GTF/GFF 注释文件
-o #输出文件

接下来是表达矩阵构建。在R语言环境下分析。

共勉！欢迎大家踊跃交流，讨论，质疑，批评。

另外请允许鄙人推广一下，因为我的笔记分布CSDN、简书、知乎专栏等比较零散，管理起来比较麻烦，因此鄙人前几天终于思考再三申请了一个 微信公众号，会更加方便地发布更多有关生信息、统计方面内容，如果你觉得有需要欢迎关注。公众号如下：

我的微信公众号：进击的大肠杆菌

我想建立并管理一个高质量的生信&统计相关的微信讨论群，如果你想参与讨论，可以添加微信：veryqun 。我会拉你进群，当然有问题也可以微信咨询我。

大家早上好，本人姓吴，如果觉得文章写得还行的话也可以叫我吴老师。欢迎大家跟我一起走进数据分析的世界，一起学习！

感兴趣的朋友可以关注我或者我的数据分析专栏，里面有许多优质的文章跟大家分享哦。

---

今天给大家分享一个数据分析案例：线下连锁水果店销售数据分析案例，分析过程我也会以类动图的方式呈现给大家，真正意义上做到收藏即学会。

1 案例背景

果多吃水果连锁超市是华北地区的热门线下水果超市。该超市覆盖华北5个省份，且在京津冀地区门店超过90家；与其他动辄SKU过百的水果连锁超市相比，公司专供60种热门水果，其中由果多吃自建供应链的具有自主商标的高品质产品在数量上逐年增加，为企业提供了丰厚利润。自2015至2018年，其年净利润涨幅保持在10%以上，其中2018年的净利润额达7835万。

作为一家线下连锁水果超市，果多吃通过直营+加盟的模式铺开连锁网络。通过标准化的储存方式、仓库的创新设计、高效能的设备以及与供应商的同步数据来确保物美价廉。

其长期的稳定盈利，一方面得益于有针对性的店面规划和商品规划，另一方面得益于完备的会员制度和有效的会员激励方案。公司设计了一套商品分配系统，能够依据各个地区的商品销售特点自动划分该地区的水果供应配比，而总公司一般只需要按照整体需求安排水果采购即可；

2019年，公司发现季度利润有下降趋势，下图是近年来的企业季度利润表现。从图中可以看出，2019年Q1和Q2的利润同比都为负数。连续两个季度无法维持利润增长，如果保持现有利润增幅，将无法满足公司董事会设定的利润目标，企业领导十分着急。

所以现在，老板该咱定了个目标：对比去年达到5%的年净利润增长。

按照前几年的Q1Q2季度利润占比和近年的实际利润情况，估计全年利润为7600万左右，如果需要对去年保持5%的利润增长，则需要达到约8200万利润（7835万 * （1+5%）），还需要填补600万的利润缺口。按去年的季度利润占比，第三季度的利润平均占全年的28%，第四季度占全年的18%，我们预估第四季度的利润提高难度要大于第三季度。所以我们给第三季度分配400万利润提高额，给第四季度分配200万利润提高额。

2 问题确认与指标拆解题

已知利润=收入-成本，那我们可以主要从增加收入和减少成本两大方面入手，具体如下。

3 问题解决思路

**方案1：**未盈利店铺Q3承担100万毛利额增长额

我们通过店铺的盈利状况，发现接近有23家店铺未盈利（约占92家店面的25%）。我们将25%的毛利额增长任务分配至这25%的未盈利店铺，利用部分商品打折促销的营销推广方式，让店铺增加客流量，提高打折水果销量，同时也提高非打折水果的销售概率。以这个方式来达到店铺毛利额增长的目标；

通过25%的毛利额增长任务拆解单店的日均毛利额增长任务：

• 亏损店铺本季度承担毛利额增长总额为：400万 * 25% = 100万
• 每店铺平均每日承担的毛利额增长额为：100万 / 90天 / 23店铺数 = 483元
• 为了将目标设置得稍微高一些，我们将目标从483元 提高到了 500元

**方案2：**利用高销量高利润商品带来300万毛利额增长额

我们将75%的毛利额增长任务分配至所有店铺，分析热销水果，预测水果的销量变动趋势，改变不同水果的进货配比，从而达到增加毛利额的目标；

通过75%的毛利额增长任务拆解单店的日均毛利额增长任务：

• 所有店铺本季度承担毛利额增长总额为：400万 * 75% = 300万
• 每店铺平均每日承担的毛利额增长额为：300万 / 90天 / 92店铺数 = 360元

4 案例实操

4.1 利用分组分析找到亏损店铺做营销优化，实验验证结论

我们在本阶段完成以下几个任务：

1.拆分出亏损店铺

其中亏损店铺的划分为：日毛利额小于4000的店铺；

关于我们日毛利额4000的标准，我们的计算标准如下：

• 租金成本：我们水果店铺单店的面积在80㎡左右，按每平米8元的日租金，每日租金为：640元
• 人员成本：水果店单店的员工数平均8人，每人每月平均工资4000元，折合每日工资为：1067元
• 税：水果店的单店税收平均到每天约为：1000元
• 水电及其他成本，每日约为：300元
• 装修及设备分摊成本，每日约为：1000元

2.从亏损店铺中抽取部分店铺做精细化销售方案实验

其中精细化销售方案指线下店铺常用的部分商品打折促销的活动

3.分析实验效果，前后对比，确定是否将该方案推广到其他亏损店铺

数据介绍

92家店铺 店铺ID 日均销量等4个维度（每个字段的介绍）

分组分析介绍

分析结果

三店平均日均净利润增长额：1176元

23号店铺：净利润增额205元（未达目标）

39号店铺：净利润增额2262元

64号店铺：净利润增额1061元

数据处理： 统计（excel 工具实现）

1. 对店铺亏损程度排序，查看大致亏损情况–按日均毛利升序排序

2. 找出日均毛利小于4000元（亏损店铺）–筛选出日均毛利小于4000的店铺

3. 抽取3个样例店铺（id 为23 ，39， 64） 进行推广实验并与之对比，数据如下

4. 计算推广前后的利润对比
   1. 对比日均毛利额是否增长
   2. 每日每斤平均利润 = 日均毛利额度/日均销量

5. 23号店是否关店决策

按现有日均毛利额增长速度，23号店预计未来3个月都无法达成盈利的状态，可以考虑关店；
3个月后预估的毛利 = 日均毛利*(1 + 增长幅度)

4.2 运用对比分析法解决哪类产品销售好的问题？

• 拆分出不同销量的水果，尝试对水果做销量对比
• 使用对比分析方法完成任务

数据介绍

数据为一具体店铺17天抽样的507条销售记录，数据维度包括销售日期 产品ID 折扣 数量等10个维度。

对比分析介绍

分析结果
通过对比销量分析，发现葡萄和荔枝的销量明显高于其他品类；

为了进一步分析销量和利润的综合效果，需要结合利润维度做矩阵关联分析；

同时为了决策进货量，需要进一步进行趋势分析。

数据处理：统计（excel 工具实现）

1. 【数据】–>【高级筛选】–>选择“将筛选结果复制到其他位置”，列表区域选中D列，指定复制到的位置，勾选“选择不重复记录”。

2. 统计各品类的总销售量（sumif(范围，条件，求和项）

3. 设施统计表格格式（字体，背景色等）

数据分析： 对比分析（图表更直接----可视化）

1. 选中左侧所有数据 -->【插入】–> 图表区域选择柱形图。

2. 选中图表右键添加数据标签（Excel 右侧可以设置图标样式）。

4.3 利用矩阵关联法找到销量好和利润高的品类

拆分出不同销量和利润的水果，为接下来的进货量调整做准备。（使用矩阵关联分析方法完成任务）

1. 利润高 ：平均利润高（因为水果每次进价不一样，售价也不一样）
2. 平均利润 = 总利润/总销量
3. 总销量 = 数量的总和
4. 总利润 = 利润的总和
5. 求利润 = 销售额 - 成本 * 数量
6. 销售额 = 单价 * 数量 * 折扣

矩阵分析法

是指将事物的两个重要指标作为分析的依据，进行分类关联分析，找出解决问题的一种分析方法，也称为矩阵关联分析法，简称矩阵分析法。

只要两个指标之间线性无关且放在一起有意义都可以用象限分析 。如：转化率和客单价， 售罄率和单款产出 ， 单款库存深度(数量）和 上新款数。

1. 每次营销活动的点击率和转化率

2. 各类服装库存与销量

3. 用户对产品重要性与满意度

作用：将有相同特征的事件进行归因分析，总结其中的共性原因；建立分组优化策略。

销量高和平均利润都高：重点对待

销量高但是平均利润少：一般保持

销量低但是平均利润高：重点发展

销量和平均利润双低：需要查明原因或减少进货量的品类

分析结果

1. 处在重点对待象限的品类是荔枝，可以增加进货量
2. 处于需要查明原因或减少进货量的品类是芒果，可以减少进货量

数据处理： 统计（excel 工具实现）

1. excel 去重筛选所有品类 数据菜单–高级筛选
2. 统计销量（sumif)

3. 统计总利润(sumif)

4. 统计总销量（sumif)

5. 计算平均利润

数据分析： 象限分析（图表更直接----可视化）

知识点：象限图（散点图改进）

1. 选中销量和平均利润数据绘制散点图

2. 计算销量与平均利润的平均值

3. 调整散点图的X,Y轴交叉点为销量和利润的均值，之变为矩阵图

4. 去掉散点图的X,Y轴刻度

5. 选中横纵网格线，按下“del”键删除网格
6. 添加坐标轴的标题，便于区分各象限的含义

7. 设置数据标签
   a. 选中图表右键"添加数据标签"
   b. 选中标签右键“数据标签选项”–选中单元格的值并框选所有产品类目，去掉Y值

8. 最终展现结果如下

9. 可以看出芒果的销量、利润都不高，可以将精力放到其他水果的销量上

4.4 运用趋势分析法分析水果总需求如何？

• 挑选出毛利额较高的品类和毛利额较低的品类，预测两者的后续销量趋势

  • 使用趋势分析法预测销量趋势

• 根据预测的销量趋势判断是否需要增加进货量或者减少进货量，并判断为了完成利润目标需要增加多少进货量

• 趋势分析法
  趋势是市场表现的方向，趋势分析可以帮助我们把握市场大方向，不犯原则性错误。
  趋势有三种方式：上升，下降和平稳
  纵向分析:不同时间的段指标进行比较

分析结果

荔枝的趋势预测小幅上升，说明顾客对于荔枝的需求正在增长，可以提高荔枝进货量。

同样，利润较低的芒果趋势预测小幅下降，说明顾客对于芒果需求正在降低，可以减少芒果进货量。

数据处理

1. 数据量少的情况下，我们选择时间粒度为日。excel 去重筛选所有时间段
   【数据】–>【高级筛选】–> 列表区域选择日期列

2. 统计每天荔枝的销售量并设置表格式 （sumifs(求和项,范围1，条件1，,范围2，条件2，…)）

数据分析： 趋势分析（图表更直接----可视化）-- 时间段趋势用折线图表示

1. 【插入】–>【图表区】–> 选择“带数据标记折线图”（时间段少时用）

2. 选中图表对象，增加趋势线并对图表进行美化

3. 设置标记点

4. 以同样的方式绘制芒果销量趋势图

#pic_center

5 结论分析报告

1.各店的精细化销售方案能将亏损店铺日均毛利额提高1176元

• 通过三店的精细化销售推广，23号店日均毛利额提升205元，提升幅度达23.85%；39号店铺日均毛利额提升2262元，提升幅度68.17%；64号店铺日均毛利额提升1061元，提升幅度30.07%；三店铺日均毛利额提高1176元
• 按三店的最低提升幅度23.85%估计23家亏损店铺的整体日均利润提升额为1.6万，平均每个店铺712元，大于目标500元
• 后续可以对24个亏损店铺推广，按每个店铺712元的毛利提升，预计整体一个季度可以提升143万利润。可完成36.8%毛利额增长目标

2.调整水果进货后能将店铺的日均毛利额提高

• 通过矩阵关联法，分析出荔枝属于高销量高利润商品、芒果属于低销量低利润商品；
• 通过预测两者销量趋势，可以预测到荔枝销量呈上升趋势，芒果销量呈下降趋势。我们决定增加荔枝进货量，减少芒果进货量。结合矩阵关联法，可以看出，这种调整组合可以有效提高店面整体毛利额；
• 假设我们的进货调整方案为：
  $$荔枝调整进货量=(目标利润+(芒果利润\ast 芒果下降销量)）/荔枝利润$$

可以计算得出需要增加荔枝量在230斤到330斤之间

• 后续可按相同方式预测其他水果销量，可以综合地提高其他品类的进货量，而非单一提高一个品类的进货量，从而使我们达到目标的策略更加稳妥可行

推荐关注的专栏

👨‍👩‍👦‍👦 机器学习：分享机器学习理论基础和常用模型讲解
👨‍👩‍👦‍👦 数据分析：分享数据分析实战项目和常用技能整理

关注我，了解更多相关知识！

CSDN@报告，今天也有好好学习

思维导图

1. 数据分析概述

1.1 简介

数据分析：对大量有序或无序的数据进行信息的集中整合、运算提取、展示等操作，通过这些操作找出研究对象的内在规律。
目的：揭示事物运动、变化、发展的规律。
意义：提高系统运行效率、优化系统作业流程、预测未来发展趋势。

1.2 发展历程

数据分析的发展历程的三个阶段：

1.0 商业智能（BI）

通过商业智能，将数据分析人员从大量、简陋的数据图表分析中解放出来，通过数据仓库整合企业数据，采用商业智能（BI, Business Intelligence）报表工具实现美观清晰、模块化、动态更新的数据可视化展示，让管理层或决策者能够基于事实结果做决策。

2.0 大数据分析

随着互联网的发展，全世界2020年产生的数据约为50ZB，而且每年都在增长，传统的商业智能数据分析已经满足不了企业对如此大量、复杂的数据进行处理分析。
企业需要更加强大的数据分析工具，比如大数据开发框架，它能支持企业海量数据运行和分析，结合商业智能报表工具，可以实现对数据的实时监控和展示，并且能够通过对历史数据分析建立相应的预测模型，对未来趋势进行预测。

3.0 数据中台

由于企业不同部门业务不同等的差异，采用的数据处理系统或框架也可能不一样。这样导致企业各部门或不同的系统数据相互独立、隔离，不能实现企业数据真正的互通、互融，使得数据的整体价值难以更好的体现。
互联网行业的人一般都听说过前端和后端（或称前台、后台），中台是什么？前端是直达用户的系统，如门户网站、手机APP、公众号等；后端是业务管理的系统集合，如财务系统、ERP系统及基础设施、存储计算平台等；而中台是与前台、后台对应的概念，中台可以让数据在数据平台和业务系统之间形成一个良性的闭环。
数据中台 是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径，是一个数据管理体系，内容涉及全局数据仓库规划、规范定义、建模研发、连接萃取、运维监控等。数据中台作为一个整体，输出统一、规范、标准的大数据资产，为企业或客户提供高效服务。
以下是前台、数据中台、后台之间的关系图：

1.3 应用领域

数据分析早已渗透各行业各业，主要包含：互联网、电子商务、金融保险、在线教育、生产制造、生物医疗、交通物流、餐饮外卖、能源、城市管理、体育娱乐等行业。

1.4 开发流程

数据分析开发流程一般分为下面5个阶段，主要包含：数据采集、数据处理、数据建模、数据分析、数据可视化。

数据采集： 数据通常来自于企业内部或外部，企业内部数据可以直接从系统获得，外部数据则需要购买，或者通过爬虫等数据采集工具采集；
数据处理： 获取到的数据往往会包含一些干扰数据、不完整数据，因此一般需要对数据做相应的处理；
数据建模： 不同的业务对数据的需求不同，根据相关业务或战略需求建立相应的数据模型，有针对性进行主题分析；
数据分析： 根据模型中要分析或计算的指标，采用相应的分析方法进行数据分析，得出目标分析结果；
数据可视化： 将数据分析结果进行可视化展示，使其更加方便业务人员或决策者理解。

2. 数据类型

2.1 结构化与非结构化数据

结构化数据： 指以行、列等数据结构模型存储，有严格维度划分或属性标注的数据，如实验表数据、关系型数据库的表记录等都是结构化数据。
非结构化数据： 与结构化数据相对应，比如软件系统产生的日志、一封邮件、HTML网页、一张图片、一段微信聊天记录等。
显然结构化数据更易于做数据分析，很多数据分析模型都只能使用结构化数据，因此遇到非结构化数据时，我们一般会先将非结构化数据转化成结构化数据，再进行数据分析。

2.2 定性与定量数据

定性数据： 指描述事物的属性、类别、特征的数据，不能进行加减乘除等数学计算，一般是字符型，包含汉字、字母、数字、符号等；
定量数据： 指描述事物的数量、大小或多少的数据，可以进行加减乘除等数学计算，一般是数值型，包含整数、浮点数等；

2.3 截面数据与时间序列数据

截面数据（cross section data）： 是在同一时间（时期或时点）截面上搜集的数据。横截面数据不要求统计对象及其范围相同，但要求统计的时间相同，也就是说必须是同一时间截面上的数据。
时间序列数据（time series data）： 是在多个不同时间点上搜集的数据。这类数据反映了某一事物、现象等随时间的变化状态或程度。
面板数据（Panel Data）： 也叫“平行数据”，是指在时间序列上取多个截面，这些截面的样本数据称为面板数据。面板数据是一个m*n的数据矩阵，记载的是n个时间节点上，m个对象的某一数据指标。

3. 数据来源

数据的来源主要分为两大类，企业 外部来源 和 内部来源。

外部来源 ：外包购买、网路爬取、免费开源数据等；
内部来源：销售数据、社交通信数据、考勤数据、财务数据、服务器日志数据等；

常见购买平台：

东湖大数据：提供气象数据、车辆数据、企业数据、征信数据、电商数据、旅游数据等行业数据服务。http://www.chinadatatrading.com/datacustom.html

数据堂：提供智能家居、驾驶、文娱等数据服务。https://www.datatang.com/

IT桔子：提供互联网创业投资项目信息数据库和商业信息服务的公司。https://www.itjuzi.com/

常见开源数据平台：

互联网上的“开放数据”来源，如政府机构、非营利组织和企业免费提供的数据。以下是一些常用的开发数据平台，包括金融财经数据、互联网数据、政府数据等。
开源数据平台网站资源地址：https://blog.csdn.net/Artificial_idiots/article/details/107878782

4. 数据预处理方法

数据预处理方法主要有： 数据清洗、数据集成、数据规约和数据变换。

4.1 数据清洗

数据清洗(data cleaning) ：是通过填补缺失值、光滑噪声数据，平滑或删除离群点，纠正数据的不一致来达到清洗的目的。

1. 缺失值处理

实际开发获取信息和数据的过程中，会存在各类的原因导致数据丢失和空缺。针对这些缺失值的处理方法，主要是基于变量的分布特性和变量的重要性采用不同的方法。主要分为以下几种：
删除变量： 若变量的缺失率较高（大于80%），覆盖率较低，且重要性较低，可以直接将变量删除；
统计量填充： 若缺失率较低（小于95%）且重要性较低，则根据数据分布的情况用基本统计量填充（最大值、最小值、均值、中位数、众数）进行填充；
插值法填充： 包括随机插值、多重差补法、热平台插补、拉格朗日插值、牛顿插值等；
模型填充： 使用回归、贝叶斯、随机森林、决策树等模型对缺失数据进行预测；
哑变量（虚拟变量）填充： 若变量是离散型，且不同值较少，可转换成哑变量（通常取值0或1）；
总结来看，常用的做法是：先用Python中的pandas.isnull.sum() 检测出变量的缺失比例，考虑删除或者填充，若需要填充的变量是连续型，一般采用均值法和随机差值进行填充，若变量是离散型，通常采用中位数或哑变量进行填充。

2. 噪声处理

噪声（noise） 是被测量变量的随机误差或方差，是观测点和真实点之间的误差。
通常的处理办法：
分箱法： 对数据进行分箱操作，等频或等宽分箱，然后用每个箱的平均数，中位数或者边界值（不同数据分布，处理方法不同）代替箱中所有的数，起到平滑数据的作用；
回归法： 建立该变量和预测变量的回归模型，根据回归系数和预测变量，反解出自变量的近似值。

3. 离群点处理

异常值（离群点）是数据分布的常态，处于特定分布区域或范围之外的数据通常被定义为异常或噪声。异常分为两种：“伪异常”，由于特定的业务运营动作产生，是正常反应业务的状态，而不是数据本身的异常；“真异常”，不是由于特定的业务运营动作产生，而是数据本身分布异常，即离群点。主要有以下检测离群点的方法：
简单统计分析：根据箱线图、各分位点判断是否存在异常，例如Python中pandas的describe函数可以快速发现异常值。
基于绝对离差中位数（MAD）：这是一种稳健对抗离群数据的距离值方法，采用计算各观测值与平均值的距离总和的方法。放大了离群值的影响。
基于距离： 通过定义对象之间的临近性度量，根据距离判断异常对象是否远离其他对象，缺点是计算复杂度较高，不适用于大数据集和存在不同密度区域的数据集
基于密度： 离群点的局部密度显著低于大部分近邻点，适用于非均匀的数据集
基于聚类： 利用聚类算法，丢弃远离其他簇的小簇。

4. 不一致数据处理

实际数据生产过程中，由于一些人为因素或者其他原因，记录的数据可能存在不一致的情况，需要对这些不一致数据在分析前需要进行清理。例如，数据输入时的错误可通过和原始记录对比进行更正，知识工程工具也可以用来检测违反规则的数据。
数据清洗是一项繁重的任务，需要根据数据的准确性、完整性、一致性、时效性、可信性和解释性来考察数据，从而得到标准的、干净的、连续的数据。

4.2 数据集成

多个数据源集成时会遇到的问题：实体识别问题、冗余问题、数据值的冲突和处理。
1. 实体识别问题
匹配来自多个不同信息源的现实世界实体，数据分析者或计算机如何将两个不同数据库中的不同字段名指向同一实体，通常会通过数据库或数据仓库中的元数据（关于数据的数据）来解决这个问题，避免模式集成时产生的错误。
2. 冗余问题
如果一个属性能由另一个或另一组属性“导出”，则此属性可能是冗余的。属性或维度命名的不一致也可能导致数据集中的冗余。 常用的冗余相关分析方法有皮尔逊积距系数、卡方检验、数值属性的协方差等。
3. 数据值的冲突和处理
不同数据源，在统一合并时，保持规范化，去重。

4.3 数据规约

随着数据量的增加，基于传统的数据分析变得非常耗时和复杂，往往使得分析不可行。数据归约技术是用来得到数据集的规约表示，在接近或保持原始数据完整性的同时将数据集规模大大减小。对规约后的数据集分析将更有效，并可产生几乎相同的分析结果。常见方法有：维度规约、维度变换、数值规约等。

1. 维度规约

用于数据分析的数据可能包含数以百计的属性，其中大部分属性与挖掘任务不相关，是冗余的。维度归约通过删除不相关的属性，来减少数据量，并保证信息的损失最小。
属性子集选择： 目标是找出最小属性集，使得数据类的概率分布尽可能地接近使用所有属性的原分布。在压缩的属性集上挖掘还有其它的优点，它减少了出现在发现模式上的属性的数目，使得模式更易于理解。
单变量重要性： 分析单变量和目标变量的相关性，删除预测能力较低的变量。这种方法不同于属性子集选择，通常从统计学和信息的角度去分析。
如，通过pearson相关系数和卡方检验，分析目标变量和单变量的相关性。

2. 维度变换

维度变换是将现有数据降低到更小的维度，尽量保证数据信息的完整性，提高实践中建模的效率。
若维度变换后的数据只能重新构造原始数据的近似表示，则该维度变换是有损的，若可以构造出原始数据而不丢失任何信息，则是无损的。常见有损维度变换方法：主成分分析、因子分析、奇异值分解、聚类、线性组合。
主成分分析（PCA）和因子分析（FA）： PCA通过空间映射的方式，将当前维度映射到更低的维度，使得每个变量在新空间的方差最大。FA则是找到当前特征向量的公因子（维度更小），用公因子的线性组合来描述当前的特征向量。
奇异值分解（SVD）： SVD的降维可解释性较低，且计算量比PCA大，一般用在稀疏矩阵上降维，例如图片压缩，推荐系统。
聚类： 将某一类具有相似性的特征聚到单个变量，从而大大降低维度。
线性组合： 将多个变量做线性回归，根据每个变量的表决系数，赋予变量权重，可将该类变量根据权重组合成一个变量。

3. 数值规约

数值规约通过选择替代的数据表示形式来减少数据量。即用较小的数据表示替换或估计数据。
数值规约技术可以是有参的，也可以是无参的。如参数模型（只需要存放模型参数，而不是实际数据）或非参数方法，如聚类、抽样和直方图。

4.4 数据变换

数据变换包括对数据进行规范化，离散化，稀疏化处理，达到适用于挖掘的目的。

1. 规范化处理
数据中不同特征的量纲可能不一致，数值间的差别可能很大，不进行处理可能会影响到数据分析的结果，因此，需要对数据按照一定比例进行缩放，使之落在一个特定的区域，如[-1，1]区间，或[0，1]区间，便于进行综合分析。
2. 离散化处理
数据离散化是指将连续的数据进行分段，使其变为一段段离散化的区间。分段的原则有基于等距离、等频率或优化的方法。
3. 稀疏化处理
针对离散型且标称变量，无法进行有序的LabelEncoder时，通常考虑将变量做0，1哑变量的稀疏化处理，稀疏化处理既有利于模型快速收敛，又能提升模型的抗噪能力。

5. 数据分析模型

常用数据分析模型，主要包括：对比分析、漏斗分析、留存分析、A/B测试、用户行为路径分析、用户分群、用户画像分析等。

5.1 对比分析

对比分析 主要是指将两个相互联系的指标数据进行比较，从数量上展示和说明研究对象的规模大小，水平高低，速度快慢等相对数值， 通过相同维度下的指标对比，可以发现，找出业务在不同阶段的问题。
常见的对比方法包括：时间对比，空间对比，标准对比。
时间对比： 包含同比、环比、定基比，时间不同其他条件相同。
例如： 本周和上周进行对比就是环比；本月第一周和上月第一周对比就是同比；所有数据同今年的第一周对比则为定基比。通过三种方式，可以分析业务增长水平，速度等信息。
空间对比： 就是同类现象或指标在同一时间不同空间的指标数值进行对比。
例如：6月份淘宝成交额与天猫成交额对比就是空间对比。
标准对比： 对某指标设定标准值，该指标所有数据与标准值对比。
例如：学生成绩及格设定在60，大于等于60的为及格，小于的60则为不及格，这就是标准对比。

5.2 漏斗分析

漏斗分析模型是一套流程式数据分析，它能够科学反映用户行为状态以及从起点到终点各阶段用户转化率情况的重要分析模型。
漏斗分析模型已经广泛应用于流量监控、产品目标转化等日常数据运营与数据分析的工作中。

5.3 留存分析

留存分析是一种用来分析用户参与情况/活跃程度的分析模型，考察进行初始行为的用户中，有多少人会进行后续行为。这是用来衡量产品对用户价值高低的重要方法。

留存分析可以帮助回答以下问题：

1. 一个新客户在未来的一段时间内是否完成了您期许用户完成的行为？如支付订单等。
2. 某个社交产品改进了新注册用户的引导流程，期待改善用户注册后的参与程度，如何验证？

5.4 A/B测试

A/B测试是指将产品的两个或多个版本，在同一时间维度，分别让类似访客群组来访问，收集各群组的用户体验数据和业务数据，最后分析评估出最好版本正式采用。

比如： 你发现漏斗转化中间有漏洞，假设一定是商品价格问题导致了流失，你看到了问题-漏斗，也想出了主意-改变定价。但主意是否正确，要看真实的用户反应，于是采用AB测试，一部分用户还是看到老价格，一部分用户看到新价格，若你的主意真的管用，新价格就应该有更好的转化，若真如此，新价格就应该确定下来，如此反复优化。

5.5 用户行为路径分析

用户路径分析即用户在APP或网站中的访问路径。
用户路径的分析结果通常以桑基图形式展现，以目标事件为起点／终点，详细查看后续／前置路径，可以详细查看某个节点事件的流向。用户路径分析能够可视化用户流，全面了解用户整体行为路径，定位影响转化的主次因素，方便产品设计的优化与改进。

5.6 用户分群

用户分群即用户信息标签化，通过用户的历史行为路径、行为特征、偏好等属性将具有相同属性的用户划分为一个群体，并进行后续分析。因为群体特征不同，行为会有很大差别，因此可以根据历史数据将用户进行划分，进而再次观察该群体的具体行为。
用户分群关注群体差异，帮助企业打破数据孤岛并真实了解用户，让企业定位营销目标群体，帮助企业实现精准、高效营销。

5.7 用户画像

用户画像分析是基于自动标签系统将用户完整的画像描绘清晰。
常用的画像标签类别有：基本属性、心理特征、兴趣爱好、购买能力、行为特征、社交网络等。

6. 数据分析方法

常用数据分析方法：描述统计、假设检验、信度分析、相关分析、方差分析、回归分析、聚类分析、判别分析、主成分分析、因子分析、时间序列分析等。

6.1 描述性统计分析

描述性统计分析是通过图表或数学方法，对数据资料进行整理、分析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析。
集中趋势分析：主要靠平均数、中数、众数等统计指标来表示数据的集中趋势。
离中趋势分析：主要靠全距、四分差、平均差、方差（协方差：用来度量两个随机变量关系的统计量）、标准差等统计指标来研究数据的离中趋势。

6.2 假设检验

假设检验简单来说先凭借自己的直觉，经验，知识的储备做出合理的假设，再通过数据进行验证假设是否正确。主要包含：参数检验和非参数检验。

1. 参数检验

参数检验是在已知总体分布的条件下（一般要求总体服从正态分布）对一些主要的参数(如均值、百分数、方差、相关系数等）进行的检验 ，常用参数检验方法有：U检验法、T检验法

2. 非参数检验

非参数检验则不考虑总体分布是否已知，常常也不是针对总体参数，而是针对总体的某些一股性假设（如总体分布的位罝是否相同，总体分布是否正态）进行检验。常用非参数检验方法包括：卡方检验、秩和检验、二项检验、游程检验、K-量检验等。

6.3 信度分析

信度（Reliability） ：即可靠性，它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。一般多用于性格测试、问卷调查等。
信度指标多以相关系数表示，大致可分为三类：稳定系数（跨时间的一致性），等值系数（跨形式的一致性）和内在一致性系数（跨项目的一致性）。信度分析的方法主要有以下四种：重测信度法、复本信度法、折半信度法、α信度系数法。

重测信度法： 用同样的问卷对同一组被调查者间隔一定时间重复施测，计算两次施测结果的相关系数。显然，重测信度属于稳定系数。重测信度法特别适用于事实式问卷，如性别、出生年月等在两次施测中不应有任何差异，大多数被调查者的兴趣、爱好、习惯等在短时间内也不会有十分明显的变化。如果没有突发事件导致被调查者的态度、意见突变，这种方法也适用于态度、意见式问卷。由于重测信度法需要对同一样本试测两次，被调查者容易受到各种事件、活动和他人的影响，而且间隔时间长短也有一定限制，因此在实施中有一定困难。

复本信度法： 让同一组被调查者一次填答两份问卷复本，计算两个复本的相关系数。复本信度属于等值系数。复本信度法要求两个复本除表述方式不同外，在内容、格式、难度和对应题项的提问方向等方面要完全一致，而在实际调查中，很难使调查问卷达到这种要求，因此采用这种方法者较少。

折半信度法： 是将调查项目分为两半，计算两半得分的相关系数，进而估计整个量表的信度。折半信度属于内在一致性系数，测量的是两半题项得分间的一致性。

这种方法一般不适用于事实式问卷（如年龄与性别无法相比），常用于态度、意见式问卷的信度分析。在问卷调查中，态度测量最常见的形式是5级李克特（Likert）量表。进行折半信度分析时，如果量表中含有反意题项，应先将反意题项的得分作逆向处理，以保证各题项得分方向的一致性，然后将全部题项按奇偶或前后分为尽可能相等的两半，计算二者的相关系数（rhh，即半个量表的信度系数），最后用斯皮尔曼-布朗（Spearman-Brown）公式求出整个量表的信度系数（ru）。

α信度系数法： 是目前最常用的信度系数，其公式为：α=(k/(k-1))*(1-(∑Si^2)/ST2)

其中，K为量表中题项的总数， Si^2为第i题得分的题内方差， ST^2为全部题项总得分的方差。从公式中可以看出，α系数评价的是量表中各题项得分间的一致性，属于内在一致性系数。这种方法适用于态度、意见式问卷（量表）的信度分析。

总量表的信度系数最好在0.8以上，0.7-0.8之间可以接受；分量表的信度系数最好在0.7以上，0.6-0.7还可以接受。Cronbach 's alpha系数如果在0.6以下就要考虑重新编问卷。

6.4 方差分析

方差分析其实就是假设检验中的F-检验，主要针对的是两个及以上样本均值差别的显著检验。通过分析研究中不同来源的变异对总变异的贡献大小，从而确定可控因素对研究结果影响力的大小。
使用条件：各样本须是相互独立的随机样本；各样本来自正态分布总体；各总体方差相等。
单因素方差分析：一项试验只有一个影响因素，或者存在多个影响因素时，只分析一个因素与响应变量的关系；
多因素有交互方差分析：一顼实验有多个影响因素，分析多个影响因素与响应变量的关系，同时考虑多个影响因素之间的关系；
多因素无交互方差分析：分析多个影响因素与响应变量的关系，但是影响因素之间没有影响关系或忽略影响关系；
协方差分祈：传统的方差分析存在明显的弊端，无法控制分析中存在的某些随机因素，使之影响了分祈结果的准确度。协方差分析主要是在排除了协变量的影响后再对修正后的主效应进行方差分析，是将线性回归与方差分析结合起来的一种分析方法。

6.5 相关分析

相关分析：研究现象之间是否存在某种依存关系，对具体有依存关系的现象探讨相关方向及相关程度。
例如，人的身高和体重之间；空气中的相对湿度与降雨量之间是否存在依存关系，都是相关分析研究的问题。

相关分析的方法很多，初级的方法可以快速发现数据之间的关系，如正相关，负相关或不相关。中级的方法可以对数据间关系的强弱进行度量，如完全相关，不完全相关等。高级的方法可以将数据间的关系转化为模型，并通过模型对未来的业务发展进行预测。
例如：以下是每日广告曝光量和费用成本的数据，每一行代表一天中的花费和获得的广告曝光数量。凭经验判断，这两组数据间应该存在联系，但仅通过这两组数据我们无法证明这种关系真实存在，也无法对这种关系的强度进行度量。因此我们希望通过相关分析来找出这两组数据之间的关系，并对这种关系进度度量。

单纯从数据的角度很难发现其中的趋势和联系，而将数据点绘制成图表后趋势和联系就会变的清晰起来。对于有明显时间维度的数据，我们选择使用折线图和散点图分别进行分析。

1. 通过折线图

为了更清晰的对比这两组数据的变化和趋势，我们使用双坐标轴折线图，其中主坐标轴用来绘制广告曝光量数据，次坐标轴用来绘制费用成本的数据。通过折线图可以发现，费用成本和广告曝光量两组数据的变化和趋势大致相同，从整体的大趋势来看，费用成本和广告曝光量两组数据都呈现增长趋势。从规律性来看费用成本和广告曝光量数据每次的最低点都出现在同一天。从细节来看，两组数据的短期趋势的变化也基本一致。
经过以上这些对比，我们可以说广告曝光量和费用成本之间有一些相关关系，但这种方法在整个分析过程和解释上过于复杂，如果换成复杂一点的数据或者相关度较低的数据就会出现很多问题。

2. 通过散点图

比折线图更直观的是散点图。散点图去除了时间维度的影响，只关注广告曝光量和费用成本这里两组数据间的关系。在绘制散点图之前，我们将费用成本标识为X，也就是自变量，将广告曝光量标识为y，也就是因变量。下面是一张根据每一天中广告曝光量和费用成本数据绘制的散点图，X轴是自变量费用成本数据，Y轴是因变量广告曝光量数据。从数据点的分布情况可以发现，自变量x和因变量y有着相同的变化趋势，当费用成本的增加后，广告曝光量也随之增加。

折线图和散点图都清晰的表示了广告曝光量和费用成本两组数据间的相关关系，优点是对相关关系的展现清晰，缺点是无法对相关关系进行准确的度量，缺乏说服力。并且当数据超过两组时也无法完成各组数据间的相关分析。若要通过具体数字来度量两组或两组以上数据间的相关关系，需要使用第二种方法：协方差。
具体参考：https://blog.csdn.net/longxibendi/article/details/82558801

6.6 回归分析

回归分析研究的是因变量和自变量之间的定量关系，运用十分广泛，可以用于房价预测、销售额度预测、贷款额度预测等。常见的回归分析有线性回归、非线性回归、有序回归、岭回归、加权回归等。
线性回归(Linear regression) ：是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。
一元线性回归分析： 只有一个自变量X与因变量Y有关，X与Y都必须是连续型变量，因变量y或其残差必须服从正态分布。
多元线性回归分析：分析多个自变量与因变量Y的关系，X与Y都必须是连续型变量，因变量y或其残差必须服从正态分布 。
Logistic回归分析：Logistic回归模型对因变量的分布没有要求，一般用于因变量是离散时的情况。
Logistic回归分为条件Logistic回归和非条件Logistic回归，条件Logistic回归模型和非条件Logistic回归模型的区别在于参数的估计是否用到了条件概率。

回归分析与相关分析的联系：

1. 相关分析是回归分析的基础和前提。假若对所研究的客观现象不进行相关分析，直接作回归分析，则这样建立的回归方程往往没有实际意义。只有通过相关分析，确定客观现象之间确实存在数量上的依存关系，而且其关系值又不确定的条件下，再进行回归分析，在此基础上建立回归方程才有实际意义。
2. 回归分析是相关分析的深入和继续。对所研究现象只作相关分析，仅说明现象之间具有密切的相关关系是不够的，统计上研究现象之间具有相关关系的目的，就是要通过回归分析，将具有依存关系的变量间的不确定的数量关系加以确定，然后由已知自变量值推算未知因变量的值，只有这样，相关分析才具有实际意义。
3. 回归分析侧重于研究随机变量间的依赖关系，以便用一个变量去预测另一个变量；相关分析侧重于发现随机变量间的种种相关特性。

6.7 聚类分析

聚类分析是指样本个体或指标变量按其具有的特性进行分类，寻找合理的度量事物相似性的统计量。
通常，我们遇到的很多数据都没有很明确或具体的分类标签，我们利用聚类分析将看似无序的对象进行分组、归类，以达到更好地理解研究对象的目的。聚类结果要求组内对象相似性较高，组间对象相似性较低。

在用户研究中，很多问题可以借助聚类分析来解决，比如，网站的信息分类问题、网页的点击行为关联性问题以及用户分类问题等等。其中，用户分类是最常见的情况。常见的聚类方法有不少，比如K均值（K-Means），谱聚类（Spectral Clustering），层次聚类（Hierarchical Clustering） 等。
聚类分析是一种缺乏分类标签的分类方法，当我们对数据进行聚类并得到簇后，一般会单独对每个类进行深入分析，从而得到更加细致的结果。

以最为常见的K-means为例，K-means聚类步骤图解如下：

1、随机设置K个特征空间内的点作为初始的聚类中心，比如图2中的红蓝黄三个点作为聚类中心（图1–>图2）；
2、对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别（图3–>图4）；
3、接着对着标记的聚类中心，重新计算出每个聚类的新中心点（平均值）（（图5–>图6））；
4、如果计算得出的新中心点与原中心点一样，那么结束，否则重新进行第二步过程；

6.8 判别分析

判别分析：根据已掌握的一批分类明确的样品建立判别函数，使产生错判的事例最少，进而对给定的一个新样品，判断它来自哪个总体

Fisher判别分析法 ：
以距离为判别准则来分类，即样本与哪个类的距离最短就分到哪一类， 适用于两类判别；以概率为判别准则来分类，即样本属于哪一类的概率较大就分到哪一类，适用于适用于多类判别。

BAYES判别分析法 ：
BAYES判别分析法比FISHER判别分析法更加完善和先进，它不仅能解决多类判别分析，而且分析时考虑了数据的分布状态，所以一般较多使用。

6.9 主成分分析与因子分析

主成分分析（PCA）： 主要是利用降维的思想，将K维数据映射到N维上，N维是全新的正交特征。

因子分析： 用少数的几个因子去描述因素之间的关系，把冗余，杂乱的变量归结于几个主要的不相关的因子。类似于初中学因式分解。具体的方法有很多，如重心法、影像分析法，最大似然解、最小平*方法、阿尔发抽因法、拉奥典型抽因法等等。

主成分分析与因子分析的区别：

主成分分析做的仅为变量变换，将原始变量进行线性组合得到互相正交的新变量。因子分析需要构造因子模型，用潜在的假想变量（不可观测的潜在变量）和随机影响变量的线性组合表示原始变量。

6.10 时间序列分析

数据序列分析：是动态数据处理的统计方法，研究随机数据序列所遵从的统计规律，以用于解决实际问题。

时间序列通常由4种要素组成：趋势、季节变动、循环波动和不规则波动；

主要方法：移动平均滤波与指数平滑法、ARIMA横型、量ARIMA横型、ARIMAX模型、向呈自回归横型、ARCH族模型。

7. 数据可视化

7.1 常见数据可视化图表

常见数据可视化图表有：柱状图、折线图、饼图、散点图、雷达图、箱型图、气泡图、词频图、桑基图、热力图、关系图、漏斗图等。

7.2 常用数据可视化工具

常见数据可视化工具有：Excel、BI工具（PowerBI、Tableau、FineBI）、Python 等。

1. Excel

如下图：PowerView是Excel里面数据可视化功能区，PowerMap是Excel的三维地图可视化区域。

2. BI工具

PowerBI、Tableau、FineBI等都是常用BI可视化工具，功能大同小异，以PowerBI简单介绍一下。
PowerBI 其实相当于PowerQuery(数据清洗)+PowerPivot(数据透视)+PowerView+PowerMap，他集成了这些功能组成一个新的软件叫PowerBI，属于微软做的一个专门用来做数据分析的商业智能软件。

PowerBI界面：

B站上PowerBI基础入门的学习视频地址：
https://www.bilibili.com/video/BV1YE411E7p3/?spm_id_from=333.788.b_636f6d6d656e74.17
B站上PowerBI进阶的学习视频地址：
https://www.bilibili.com/video/BV18C4y1H7b9?spm_id_from=333.788.b_636f6d6d656e74.18

3. Python

Python中常用的数据可视化的库：Matplotlib、Seaborn。

————————————————————————————————
参考地址：
https://blog.csdn.net/longxibendi/article/details/82558801
https://www.cnblogs.com/caochucheng/p/10539282.html
https://www.cnblogs.com/HuZihu/p/11274171.html
https://www.cnblogs.com/bigmonkey/p/11820614.html
https://blog.csdn.net/weixin_43913968/article/details/84778833
https://www.zhihu.com/collection/275297497
http://www.woshipm.com/data-analysis/1035908.html
https://www.sensorsdata.cn/blog/20180512/
http://meia.me/act/1/schedule/112?lang=
http://www.360doc.com/content/20/0718/00/144930_924966974.shtml
https://zhuanlan.zhihu.com/p/51658537
https://www.cnblogs.com/ljt1412451704/p/9937833.html
https://www.cnblogs.com/peter-lau/p/12419989.html
https://zhuanlan.zhihu.com/p/138671551
https://zhuanlan.zhihu.com/p/83403033
https://blog.csdn.net/qq_33457248/article/details/79596384?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase
https://blog.csdn.net/YYIverson/article/details/100068865?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase
https://blog.csdn.net/weixin_30487317/article/details/101566492?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase