-
2017-04-04 16:16:33
经常会有朋友问到一个朋友,数据分析常用的分析方法有哪些,我需要学习哪个等等之类的问题,今天数据分析精选给大家整理了十六种常用的数据分析方法,供大家参考学习。
一、描述统计
描述性统计是指运用制表和分类,图形以及计筠概括性数据来描述数据的集中趋势、离散趋势、偏度、峰度。
1、缺失值填充:常用方法:剔除法、均值法、最小邻居法、比率回归法、决策树法。
2、正态性检验:很多统计方法都要求数值服从或近似服从正态分布,所以之前需要进行正态性检验。常用方法:非参数检验的K-量检验、P-P图、Q-Q图、W检验、动差法。
二、假设检验
1、参数检验
参数检验是在已知总体分布的条件下(一股要求总体服从正态分布)对一些主要的参数(如均值、百分数、方差、相关系数等)进行的检验 。
1)U验 使用条件:当样本含量n较大时,样本值符合正态分布
2)T检验 使用条件:当样本含量n较小时,样本值符合正态分布
A 单样本t检验:推断该样本来自的总体均数μ与已知的某一总体均数μ0 (常为理论值或标准值)有无差别;
B 配对样本t检验:当总体均数未知时,且两个样本可以配对,同对中的两者在可能会影响处理效果的各种条件方面扱为相似;
C 两独立样本t检验:无法找到在各方面极为相似的两样本作配对比较时使用。
2、非参数检验
非参数检验则不考虑总体分布是否已知,常常也不是针对总体参数,而是针对总体的某些一股性假设(如总体分布的位罝是否相同,总体分布是否正态)进行检验。
适用情况:顺序类型的数据资料,这类数据的分布形态一般是未知的。
A 虽然是连续数据,但总体分布形态未知或者非正态;
B 体分布虽然正态,数据也是连续类型,但样本容量极小,如10以下;
主要方法包括:卡方检验、秩和检验、二项检验、游程检验、K-量检验等。
三、信度分析
检査测量的可信度,例如调查问卷的真实性。
分类:
1、外在信度:不同时间测量时量表的一致性程度,常用方法重测信度
2、内在信度;每个量表是否测量到单一的概念,同时组成两表的内在体项一致性如何,常用方法分半信度。
四、列联表分析
用于分析离散变量或定型变量之间是否存在相关。
对于二维表,可进行卡方检验,对于三维表,可作Mentel-Hanszel分层分析。
列联表分析还包括配对计数资料的卡方检验、行列均为顺序变量的相关检验。
五、相关分析
研究现象之间是否存在某种依存关系,对具体有依存关系的现象探讨相关方向及相关程度。
1、单相关: 两个因素之间的相关关系叫单相关,即研究时只涉及一个自变量和一个因变量;
2、复相关 :三个或三个以上因素的相关关系叫复相关,即研究时涉及两个或两个以上的自变量和因变量相关;
3、偏相关:在某一现象与多种现象相关的场合,当假定其他变量不变时,其中两个变量之间的相关关系称为偏相关。
六、方差分析
使用条件:各样本须是相互独立的随机样本;各样本来自正态分布总体;各总体方差相等。
分类
1、单因素方差分析:一项试验只有一个影响因素,或者存在多个影响因素时,只分析一个因素与响应变量的关系
2、多因素有交互方差分析:一顼实验有多个影响因素,分析多个影响因素与响应变量的关系,同时考虑多个影响因素之间的关系
3、多因素无交互方差分析:分析多个影响因素与响应变量的关系,但是影响因素之间没有影响关系或忽略影响关系
4、协方差分祈:传统的方差分析存在明显的弊端,无法控制分析中存在的某些随机因素,使之影响了分祈结果的准确度。协方差分析主要是在排除了协变量的影响后再对修正后的主效应进行方差分析,是将线性回归与方差分析结合起来的一种分析方法,
七、回归分析
分类:
1、一元线性回归分析:只有一个自变量X与因变量Y有关,X与Y都必须是连续型变量,因变量y或其残差必须服从正态分布。
2、多元线性回归分析
使用条件:分析多个自变量与因变量Y的关系,X与Y都必须是连续型变量,因变量y或其残差必须服从正态分布 。
1)变呈筛选方式:选择最优回归方程的变里筛选法包括全横型法(CP法)、逐步回归法,向前引入法和向后剔除法
2)横型诊断方法:
A 残差检验: 观测值与估计值的差值要艰从正态分布
B 强影响点判断:寻找方式一般分为标准误差法、Mahalanobis距离法
C 共线性诊断:
- 诊断方式:容忍度、方差扩大因子法(又称膨胀系数VIF)、特征根判定法、条件指针CI、方差比例
- 处理方法:增加样本容量或选取另外的回归如主成分回归、岭回归等
3、Logistic回归分析
线性回归模型要求因变量是连续的正态分布变里,且自变量和因变量呈线性关系,而Logistic回归模型对因变量的分布没有要求,一般用于因变量是离散时的情况
分类:
Logistic回归模型有条件与非条件之分,条件Logistic回归模型和非条件Logistic回归模型的区别在于参数的估计是否用到了条件概率。
4、其他回归方法 非线性回归、有序回归、Probit回归、加权回归等
八、聚类分析
样本个体或指标变量按其具有的特性进行分类,寻找合理的度量事物相似性的统计量。
1、性质分类:
Q型聚类分析:对样本进行分类处理,又称样本聚类分祈 使用距离系数作为统计量衡量相似度,如欧式距离、极端距离、绝对距离等
R型聚类分析:对指标进行分类处理,又称指标聚类分析 使用相似系数作为统计量衡量相似度,相关系数、列联系数等
2、方法分类:
1)系统聚类法: 适用于小样本的样本聚类或指标聚类,一般用系统聚类法来聚类指标,又称分层聚类
2)逐步聚类法 :适用于大样本的样本聚类
3)其他聚类法 :两步聚类、K均值聚类等
九、判别分析
1、判别分析:根据已掌握的一批分类明确的样品建立判别函数,使产生错判的事例最少,进而对给定的一个新样品,判断它来自哪个总体
2、与聚类分析区别
1)聚类分析可以对样本逬行分类,也可以对指标进行分类;而判别分析只能对样本
2)聚类分析事先不知道事物的类别,也不知道分几类;而判别分析必须事先知道事物的类别,也知道分几类
3)聚类分析不需要分类的历史资料,而直接对样本进行分类;而判别分析需要分类历史资料去建立判别函数,然后才能对样本进行分类
3、进行分类 :
1)Fisher判别分析法 :
以距离为判别准则来分类,即样本与哪个类的距离最短就分到哪一类, 适用于两类判别;
以概率为判别准则来分类,即样本属于哪一类的概率最大就分到哪一类,适用于
适用于多类判别。
2)BAYES判别分析法 :
BAYES判别分析法比FISHER判别分析法更加完善和先进,它不仅能解决多类判别分析,而且分析时考虑了数据的分布状态,所以一般较多使用;
十、主成分分析
将彼此梠关的一组指标变适转化为彼此独立的一组新的指标变量,并用其中较少的几个新指标变量就能综合反应原多个指标变量中所包含的主要信息 。
十一、因子分析
一种旨在寻找隐藏在多变量数据中、无法直接观察到却影响或支配可测变量的潜在因子、并估计潜在因子对可测变量的影响程度以及潜在因子之间的相关性的一种多元统计分析方法
与主成分分析比较:
相同:都能够起到済理多个原始变量内在结构关系的作用
不同:主成分分析重在综合原始变适的信息.而因子分析重在解释原始变量间的关系,是比主成分分析更深入的一种多元统计方法
用途:
1)减少分析变量个数
2)通过对变量间相关关系探测,将原始变量进行分类
十二、时间序列分析
动态数据处理的统计方法,研究随机数据序列所遵从的统计规律,以用于解决实际问题;时间序列通常由4种要素组成:趋势、季节变动、循环波动和不规则波动。
主要方法:移动平均滤波与指数平滑法、ARIMA横型、量ARIMA横型、ARIMAX模型、向呈自回归横型、ARCH族模型
十三、生存分析
用来研究生存时间的分布规律以及生存时间和相关因索之间关系的一种统计分析方法
1、包含内容:
1)描述生存过程,即研究生存时间的分布规律
2)比较生存过程,即研究两组或多组生存时间的分布规律,并进行比较
3)分析危险因素,即研究危险因素对生存过程的影响
4)建立数学模型,即将生存时间与相关危险因素的依存关系用一个数学式子表示出来。
2、方法:
1)统计描述:包括求生存时间的分位数、中数生存期、平均数、生存函数的估计、判断生存时间的图示法,不对所分析的数据作出任何统计推断结论
2)非参数检验:检验分组变量各水平所对应的生存曲线是否一致,对生存时间的分布没有要求,并且检验危险因素对生存时间的影响。
A 乘积极限法(PL法)
B 寿命表法(LT法)
3)半参数横型回归分析:在特定的假设之下,建立生存时间随多个危险因素变化的回归方程,这种方法的代表是Cox比例风险回归分析法
4)参数模型回归分析:已知生存时间服从特定的参数横型时,拟合相应的参数模型,更准确地分析确定变量之间的变化规律
十四、典型相关分析
相关分析一般分析两个变里之间的关系,而典型相关分析是分析两组变里(如3个学术能力指标与5个在校成绩表现指标)之间相关性的一种统计分析方法。
典型相关分析的基本思想和主成分分析的基本思想相似,它将一组变量与另一组变量之间单变量的多重线性相关性研究转化为对少数几对综合变量之间的简单线性相关性的研究,并且这少数几对变量所包含的线性相关性的信息几乎覆盖了原变量组所包含的全部相应信息。
十五、R0C分析
R0C曲线是根据一系列不同的二分类方式(分界值或决定阈).以真阳性率(灵敏度)为纵坐标,假阳性率(1-特异度)为横坐标绘制的曲线
用途:
1、R0C曲线能很容易地査出任意界限值时的对疾病的识别能力
用途 ;
2、选择最佳的诊断界限值。R0C曲线越靠近左上角,试验的准确性就越高;
3、两种或两种以上不同诊断试验对疾病识别能力的比较,一股用R0C曲线下面积反映诊断系统的准确性。
十六、其他分析方法
多重响应分析、距离分祈、项目分祈、对应分祈、决策树分析、神经网络、系统方程、蒙特卡洛模拟等。
更多相关内容 -
10种常用数据分析方法
2018-12-07 16:15:57道家强调四个字,叫“道、法、术、器”。 层次区别: “器”是指物品或工具,在数据分析...“法”是指选择的方法,有句话说“选择比努力重要”; “道”是指方向,是指导思想,是战略。 在数...道家强调四个字,叫“道、法、术、器”。
层次区别:
“器”是指物品或工具,在数据分析领域指的就是数据分析的产品或工具,“工欲善其事,必先利其器”;
“术”是指操作技术,是技能的高低、效率的高下,如对分析工具使用的技术(比如用Excel进行数据分析的水平);
“法”是指选择的方法,有句话说“选择比努力重要”;
“道”是指方向,是指导思想,是战略。
在数据分析和产品、运营优化方面,数据分析方法是其核心,属于“法”和“术”的层次。
那么如何做好数据分析呢,今天我们来讲讲互联网运营中的十大数据分析方法。
01 细分分析
细分分析是分析的基础,单一维度下的指标数据的信息价值很低。
细分方法可以分为两类, 一类逐步分析, 比如:来北京市的访客可分为朝阳,海淀等区; 另一类是维度交叉, 如:来自付费SEM的新访客。
细分用于解决所有问题。
比如漏斗转化,实际上就是把转化过程按照步骤进行细分,流量渠道的分析和评估也需要大量用到细分的方法。
02 对比分析
对比分析主要是指将两个相互联系的指标数据进行比较,从数量上展示和说明研究对象的规模大小,水平高低,速度快慢等相对数值, 通过相同维度下的指标对比,可以发现,找出业务在不同阶段的问题。
常见的对比方法包括: 时间对比,空间对比,标准对比。
时间对比有三种: 同比,环比,定基比。
例如: 本周和上周进行对比就是环比;本月第一周和上月第一周对比就是同比;所有数据同今年的第一周对比则为定基比。通过三种方式,可以分析业务增长水平,速度等信息。
03 漏斗分析
转化漏斗分析是业务分析的基本模型, 最常见的是把最终的转化设置为某种目的的实现,最典型的就是完成交易。但也可以是其他任何目的的实现,比如一次使用app的时间超过10分钟。
漏斗帮助我们解决两方面的问题:
在一个过程中是否发生泄漏,如果有泄漏,我们能在漏斗中看到,并且能够通过进一步的分析堵住这个泄漏点。
在一个过程中是否出现了其他不应该出现的过程,造成转化主进程收到损害。
04 同期群分析
同期群(cohort)分析在数据运营领域十分重要,互联网运营特别需要仔细洞察留存情况。 通过对性质完全一样的可对比群体的留存情况的比较,来分析哪些因素影响用户的留存。
同期群分析深受欢迎的重要原因是十分简单,但却十分直观。 同期群只用简单的一个图表,直接描述了用户在一段时间周期(甚至是整个LTV)的留存或流失变化情况。
以前留存分析只要用户有回访即定义为留存,这会导致留存指标虚高。
05 聚类分析
聚类分析具有简单,直观的特征, 网站分析中的聚类主要分为:用户,页面或内容,来源。
用户聚类主要体现为用户分群,用户标签法;页面聚类则主要是相似,相关页面分组法;来源聚类主要包括渠道,关键词等。
例如: 在页面分析中,经常存在带?参数的页面。 比如: 资讯详情页面,商品页面等,都属于同一类页面。简单的分析容易造成跳出率,退出率等指标不准确的问题,通过聚类分析可以获取同类页面的准确数据用于分析场景。
06 AB测试
增长黑客的一个主要思想之一,是不要做一个大而全的东西,而是不断做出能够快速验证的小而精的东西。 快速验证,那如何验证呢?主要方法就是AB测试。
比如: 你发现漏斗转化中中间有漏洞,假设一定是商品价格问题导致了流失,你看到了问题-漏斗,也想出了主意-改变定价。但主意是否正确,要看真实的用户反应,于是采用AB测试,一部分用户还是看到老价格,一部分用户看到新价格,若你的主意真的管用,新价格就应该有更好的转化,若真如此,新价格就应该确定下来,如此反复优化。
07 埋点分析
只有采集了足够的基础数据,才能通过各种分析方法得到需要的分析结果。
通过分析用户行为,并细分为:浏览行为,轻度交互,重度交互,交易行为,对于浏览行为和轻度交互行为的点击按钮等事件,因其使用频繁,数据简单,采用无埋点技术实现自助埋点,即可以提高数据分析的实效性,需要的数据可立即提取,又大量减少技术人员的工作量,需要采集更丰富信息的行为。
如: 重度交互(注册,邀请好友等)和交易事件(加购物车,下订单等)则通过SDK批量埋点的方式来实施。
08 来源分析
流量红利消失,我们对获客来源的重视度极高,如何有效的标注用户来源,至关重要。
传统分析工具,渠道分析仅有单一维度,要深入分析不同渠道不同阶段效果,SEM付费搜索等来源渠道和用户所在地区进行交叉分析,得出不同区域的获客详细信息,维度越细,分析结果也越有价值。
09 用户分析
用户分析是互联网运营的核心, 常用的分析方法包括:活跃分析,留存分析,用户分群,用户画像,用户细查等。
可将用户活跃细分为浏览活跃,互动活跃,交易活跃等,通过活跃行为的细分,掌握关键行为指标;通过用户行为事件序列,用户属性进行分群,观察分群用户的访问,浏览,注册,互动,交易等行为,从而真正把握不同用户类型的特点,提供有针对性的产品和服务。
用户画像基于自动标签系统将用户完整的画像描绘清晰,更有力的支撑运营决策。
10 表单分析
填写表单是每个平台与用户交互的必备环节,优秀的表单设计,对转化率的提升起到重要作用。
用户从进入表单页面之时起,就产生了微漏斗,从进入总人数到最终完成并成功提交表单人数,这个过程之中,有多少人开始填写表单,填写表单时,遇到了什么困难导致无法完成表单,都影响最终的转化效果。
以上是常见的数据分析方法,更多应用方法需要根据业务场景灵活应用。
-
9种常用的数据分析方法
2020-08-17 11:09:23我们知道孤立的数据没有意义,有对比才有差异。比如在时间维度上的同比和环比、增长率、定基比,与竞争对手的对比、类别之间的对比、特征和属性对比等。对比法可以发现数据变化规律,使用频繁,经常和其他方法搭配...一、公式拆解
所谓公式拆解法就是针对某个指标,用公式层层分解该指标的影响因素。
举例:分析某产品的销售额较低的原因,用公式法分解图片.png
二、对比分析
对比法就是用两组或两组以上的数据进行比较,是最通用的方法。
我们知道孤立的数据没有意义,有对比才有差异。比如在时间维度上的同比和环比、增长率、定基比,与竞争对手的对比、类别之间的对比、特征和属性对比等。对比法可以发现数据变化规律,使用频繁,经常和其他方法搭配使用。
下图的AB公司销售额对比,虽然A公司销售额总体上涨且高于B公司,但是B公司的增速迅猛,高于A公司,即使后期增速下降了,最后的销售额还是赶超。
图片.png
三、A/Btest
A/Btest,是将Web或App界面或流程的两个或多个版本,在同一时间维度,分别让类似访客群组来访问,收集各群组的用户体验数据和业务数据,最后分析评估出最好版本正式采用。A/Btest的流程如下:
(1)现状分析并建立假设:分析业务数据,确定当前最关键的改进点,作出优化改进的假设,提出优化建议;比如说我们发现用户的转化率不高,我们假设是因为推广的着陆页面带来的转化率太低,下面就要想办法来进行改进了
(2)设定目标,制定方案:设置主要目标,用来衡量各优化版本的优劣;设置辅助目标,用来评估优化版本对其他方面的影响。
(3)设计与开发:制作2个或多个优化版本的设计原型并完成技术实现。
(4)分配流量:确定每个线上测试版本的分流比例,初始阶段,优化方案的流量设置可以较小,根据情况逐渐增加流量。
(5)采集并分析数据:收集实验数据,进行有效性和效果判断:统计显著性达到95%或以上并且维持一段时间,实验可以结束;如果在95%以下,则可能需要延长测试时间;如果很长时间统计显著性不能达到95%甚至90%,则需要决定是否中止试验。
(6)最后:根据试验结果确定发布新版本、调整分流比例继续测试或者在试验效果未达成的情况下继续优化迭代方案重新开发上线试验。
流程图如下:image.png
四、象限分析
通过对两种及以上维度的划分,运用坐标的方式表达出想要的价值。由价值直接转变为策略,从而进行一些落地的推动。象限法是一种策略驱动的思维,常与产品分析、市场分析、客户管理、商品管理等。比如,下图是一个广告点击的四象限分布,X轴从左到右表示从低到高,Y轴从下到上表示从低到高。
image.png
高点击率高转化的广告,说明人群相对精准,是一个高效率的广告。高点击率低转化的广告,说明点击进来的人大多被广告吸引了,转化低说明广告内容针对的人群和产品实际受众有些不符。高转化低点击的广告,说明广告内容针对的人群和产品实际受众符合程度较高,但需要优化广告内容,吸引更多人点击。低点击率低转化的广告,可以放弃了。还有经典的RFM模型,把客户按最近一次消费(Recency)、消费频率(Frequency)、消费金额 (Monetary)三个维度分成八个象限。
image.png
象限法的优势:
(1)找到问题的共性原因通过象限分析法,将有相同特征的事件进行归因分析,总结其中的共性原因。例如上面广告的案例中,第一象限的事件可以提炼出有效的推广渠道与推广策略,第三和第四象限可以排除一些无效的推广渠道;
(2)建立分组优化策略
针对投放的象限分析法可以针对不同象限建立优化策略,例如RFM客户管理模型中按照象限将客户分为重点发展客户、重点保持客户、一般发展客户、一般保持客户等不同类型。给重点发展客户倾斜更多的资源,比如VIP服务、个性化服务、附加销售等。给潜力客户销售价值更高的产品,或一些优惠措施来吸引他们回归。五、帕累托分析
帕累托法则,源于经典的二八法则。比如在个人财富上可以说世界上20%的人掌握着80%的财富。而在数据分析中,则可以理解为20%的数据产生了80%的效果需要围绕这20%的数据进行挖掘。往往在使用二八法则的时候和排名有关系,排在前20%的才算是有效数据。二八法是抓重点分析,适用于任何行业。找到重点,发现其特征,然后可以思考如何让其余的80%向这20%转化,提高效果。
一般地,会用在产品分类上,去测量并构建ABC模型。比如某零售企业有500个SKU以及这些SKU对应的销售额,那么哪些SKU是重要的呢,这就是在业务运营中分清主次的问题。
常见的做法是将产品SKU作为维度,并将对应的销售额作为基础度量指标,将这些销售额指标从大到小排列,并计算截止当前产品SKU的销售额累计合计占总销售额的百分比。
百分比在 70%(含)以内,划分为 A 类。百分比在 70~90%(含)以内,划分为 B 类。百分比在 90~100%(含)以内,划分为 C 类。以上百分比也可以根据自己的实际情况调整。
ABC分析模型,不光可以用来划分产品和销售额,还可以划分客户及客户交易额等。比如给企业贡献80%利润的客户是哪些,占比多少。假设有20%,那么在资源有限的情况下,就知道要重点维护这20%类客户。
image.png
六、漏斗分析
漏斗法即是漏斗图,有点像倒金字塔,是一个流程化的思考方式,常用于像新用户的开发、购物转化率这些有变化和一定流程的分析中。
image.png
上图是经典的营销漏斗,形象展示了从获取用户到最终转化成购买这整个流程中的一个个子环节。相邻环节的转化率则就是指用数据指标来量化每一个步骤的表现。所以整个漏斗模型就是先将整个购买流程拆分成一个个步骤,然后用转化率来衡量每一个步骤的表现,最后通过异常的数据指标找出有问题的环节,从而解决问题,优化该步骤,最终达到提升整体购买转化率的目的。
整体漏斗模型的核心思想其实可以归为分解和量化。比如分析电商的转化,我们要做的就是监控每个层级上的用户转化,寻找每个层级的可优化点。对于没有按照流程操作的用户,专门绘制他们的转化模型,缩短路径提升用户体验。
还有经典的黑客增长模型,AARRR模型,指Acquisition、Activation、Retention、Revenue、Referral,即用户获取、用户激活、用户留存、用户收益以及用户传播。这是产品运营中比较常见的一个模型,结合产品本身的特点以及产品的生命周期位置,来关注不同的数据指标,最终制定不同的运营策略。
从下面这幅AARRR模型图中,能够比较明显的看出来整个用户的生命周期是呈现逐渐递减趋势的。通过拆解和量化整个用户生命周期各环节,可以进行数据的横向和纵向对比,从而发现对应的问题,最终进行不断的优化迭代。
image.png
七、路径分析
用户路径分析追踪用户从某个开始事件直到结束事件的行为路径,即对用户流向进行监测,可以用来衡量网站优化的效果或营销推广的效果,以及了解用户行为偏好,其最终目的是达成业务目标,引导用户更高效地完成产品的最优路径,最终促使用户付费。如何进行用户行为路径分析?
(1)计算用户使用网站或APP时的每个第一步,然后依次计算每一步的流向和转化,通过数据,真实地再现用户从打开APP到离开的整个过程。
(2)查看用户在使用产品时的路径分布情况。例如:在访问了某个电商产品首页的用户后,有多大比例的用户进行了搜索,有多大比例的用户访问了分类页,有多大比例的用户直接访问的商品详情页。
(3)进行路径优化分析。例如:哪条路径是用户最多访问的;走到哪一步时,用户最容易流失。
(4)通过路径识别用户行为特征。例如:分析用户是用完即走的目标导向型,还是无目的浏览型。
(5)对用户进行细分。通常按照APP的使用目的来对用户进行分类。如汽车APP的用户可以细分为关注型、意向型、购买型用户,并对每类用户进行不同访问任务的路径分析,比如意向型的用户,他进行不同车型的比较都有哪些路径,存在什么问题。还有一种方法是利用算法,基于用户所有访问路径进行聚类分析,依据访问路径的相似性对用户进行分类,再对每类用户进行分析。以电商为例,买家从登录网站/APP到支付成功要经过首页浏览、搜索商品、加入购物车、提交订单、支付订单等过程。而在用户真实的选购过程是一个交缠反复的过程,例如提交订单后,用户可能会返回首页继续搜索商品,也可能去取消订单,每一个路径背后都有不同的动机。与其他分析模型配合进行深入分析后,能为找到快速用户动机,从而引领用户走向最优路径或者期望中的路径。
用户行为路径图示例:image.png
八、留存分析
用户留存指的是新会员/用户在经过一定时间之后,仍然具有访问、登录、使用或转化等特定属性和行为,留存用户占当时新用户的比例就是留存率。留存率按照不同的周期分为三类,以登录行为认定的留存为例:
第一种 日留存,日留存又可以细分为以下几种:
(1)次日留存率:(当天新增的用户中,第2天还登录的用户数)/第一天新增总用户数
(2)第3日留存率:(第一天新增用户中,第3天还有登录的用户数)/第一天新增总用户数
(3)第7日留存率:(第一天新增用户中,第7天还有登录的用户数)/第一天新增总用户数
(4)第14日留存率:(第一天新增用户中,第14天还有登录的用户数)/第一天新增总用户数
(5)第30日留存率:(第一天新增用户中,第30天还有登录的用户数)/第一天新增总用户数第二种 周留存,以周度为单位的留存率,指的是每个周相对于第一个周的新增用户中,仍然还有登录的用户数。
第三种 月留存,以月度为单位的留存率,指的是每个月相对于第一个周的新增用户中,仍然还有登录的用户数。留存率是针对新用户的,其结果是一个矩阵式半面报告(只有一半有数据),每个数据记录行是日期、列为对应的不同时间周期下的留存率。正常情况下,留存率会随着时间周期的推移而逐渐降低。下面以月留存为例生成的月用户留存曲线:
image.png
九、聚类分析
聚类分析属于探索性的数据分析方法。通常,我们利用聚类分析将看似无序的对象进行分组、归类,以达到更好地理解研究对象的目的。聚类结果要求组内对象相似性较高,组间对象相似性较低。在用户研究中,很多问题可以借助聚类分析来解决,比如,网站的信息分类问题、网页的点击行为关联性问题以及用户分类问题等等。其中,用户分类是最常见的情况。
常见的聚类方法有不少,比如K均值(K-Means),谱聚类(Spectral Clustering),层次聚类(Hierarchical Clustering)。以最为常见的K-means为例,如下图:
image.png
可以看到,数据可以被分到红蓝绿三个不同的簇(cluster)中,每个簇应有其特有的性质。显然,聚类分析是一种无监督学习,是在缺乏标签的前提下的一种分类模型。当我们对数据进行聚类后并得到簇后,一般会单独对每个簇进行深入分析,从而得到更加细致的结果。
作者:数据蝉
链接:https://www.jianshu.com/p/d27563e492a0
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 -
常用的统计分析方法总结(聚类分析、主成分分析、因子分析)
2020-11-20 13:30:281.2聚类分析按研究方法分类 1.系统聚类法:由N类–1类 2.分解法:由1类—N类 3.K-均值法:事先在聚类过程中确定在K类,适用于数据量大的数据 4.有序样品的聚类:N个样品排序,次序相邻的样品聚成一类 5.模糊聚类法:...一.聚类分析
- 聚类的目的
1.间隔尺度:变量用连续的量来表示【常用】
2.有序尺度:有次序关系,指标有有序的等级来表示
3.名义尺度:指标用一些类来表示,这些没有等级和数量的关系
1.1聚类分析的类型
- Q型聚类:对样品的聚类
- R型聚类:对变量的聚类
1.2聚类分析按研究方法分类
1.系统聚类法:由N类–1类
2.分解法:由1类—N类
3.K-均值法:事先在聚类过程中确定在K类,适用于数据量大的数据
4.有序样品的聚类:N个样品排序,次序相邻的样品聚成一类
5.模糊聚类法:模糊数学的方法,多用于定性变量
6.加入法:样品依次加入,全部加入完得到聚类图。1.4相似性度量
1.4.1 样品相似性的度量【Q】
1.4.2 变量相似性的度量【R】
a.夹角余弦
b.相关系数1.4.3类间距离
a.常用的类间距离定义有8种之多,与之相应的系统聚类法 也有8种,分别为
a.中间距离法
b.最短距离法:类与类之间的距离最近两个样品的距离。
c.最长距离法:类与类之间的距离最远两个样品的距离。【先距离最短,后距离最远合并】
d.类平均法:两类元素中任两个样品距离的平均。
e.重心法:两个重心xp 和xq 的距离。
f.可变类平均法
e.离差平方和法(Ward法): 该方法的基本思想来自于方差分析,如果分类正确,同 类样品的离差平方和应当较小,类与类的离差平方和较大。 具体做法是先将 n 个样品各自成一类,然后每次缩小一类,每 缩小一类,离差平方和就要增大,选择使方差增加最小的两 类合并,直到所有的样品归为一类为止。1.5最短距离法vs最长聚类法
a. 最短距离法的主要缺点是它有链接聚合的趋势,容易形 成一个比较大的类,大部分样品都被聚在一类中,所以最短 距离法的聚类效果并不好,实际中不提倡使用。
b. 最长距离法克服了最短距离法链接聚合的缺陷,两类合 并以后与其他类的距离是原来两个类中的距离最大者,加大 了合并后的类与其他类的距离。二.主成分分析
2.1.主成分分析的基本思想
a. 定义:主成分分析(Principal Component Analysis,简记 PCA)是将多个指标化为少数几个综合指标的一种统计分析方法,通常我们把转化成的综合指标称为主成分。
b. 本质:降维
c. 表达:主成分为原始变量的线性组合
d. 即信息量在空间降维以后信息量没有发生改变,所有主成分的方差之和与原始的方差之和e. 多个变量之间有一定的相关性,利用原始变量 的线性组合形成几个综合指标(主成分),在保留原始变量主要信息的前提下起到降维与简化问题的作用。
f. 累积贡献率一般是**85%**以上
2.2主成分与原始变量之间有如下基本关系:
(1)每一个主成分都是各原始变量的线性组合
(2)主成分的数目大大少于原始变量的数目
(3)主成分保留了原始变量绝大多数信息
(4)各主成分之间互不相关- 变量的变异性越大,说明它提供的信息量就越大
- 主成分分析将按照变量方差的大小顺序挑选几个主成分。
三.因子分析
3.1 因子分析的基础理念
a. 基本目的:用少数几个综合因子去描述多个随机变量之间的相关关系。
b. 定义:多个变量————少数综合因子(不存在的因子)
c. 显在变量:原始变量X;潜在变量:因子F
d. X=AF+e【公共因子+特殊因子】
e. 应用:因子分析主要用于相关性很强的多指标数据的降维处理。
f. 通过研究原始变量相关矩阵内部 的依赖关系,把一些具有错综复杂关系的变量归结为少数几个综合因子的一种多变量统计分析方法。
g. 定义:原始的变量是可观测的显在变量,而综合的因子是不可观测的潜在变量,称为因子。3.2 因子分析的基本思想
i. 根据相关性大小把原始变量分组,使得同组内的变量之间相关性较高,而不同组的变量间的相关性则较低。
ii. 公共因子:每组变量代表一个基本结构,并用一个不可观测的综合变量表示。
iii. 对于所研究的某一具体问题,原始变量分解成两部分:- 一部分是少数几个不可测的所谓公共因子的线性函数。
- 另一部分是与公共因子无关的特殊因子。
3.2.1因子分析的研究关系
i. R 型因子分析——研究变量之间的相关关系
ii. Q 型因子分析——研究样品之间的相关关系3.3统计意义
#####3.3.1因子载荷aij的统计意义
a. 因子载荷 是第i个变量与第j个公共因子的相关系数,绝对值越大,相关的密切程度越高。
b.3.3.2 变量共同度hi的统计意义【横着求和】
a. 变量 Xi 的共同度是因子载荷矩阵的第i行的元素的平方和。记为
b. 所有的公共因子与特殊因子对变量 Xi 的贡献和为1。
3.3.3 公共因子FJ方法贡献gi2的统计意义【竖着求和】
3.4因子分析三个步骤
a. 确定因子载荷
b. 因子旋转
c. 计算因子得分3.5因子旋转
3.5.1旋转的目的
a. 寻找简单结构的载荷矩阵:载荷矩阵A的所有元素都接 近0或±1,则模型的公共因子就易于解释。
b. 如果各主因子的典型代表变量不突出,就需要进行旋转使因子载荷矩阵中载荷的绝对值向0和1两个方向分化。3.5.2旋转的方法
a.意义:对公共因子作正交旋转相当于对载荷矩阵 A 作一正交变换 ,右乘正交矩阵 T ,使 A* = AT 能有更鲜明的实际意义。
b.几何意义:是在 m 维空间上对原因子轴作一刚性旋转。 因子旋转不改变公共因子的共同度,这是因为 AA’=ATT’A’=AA’
c. 旋转方法有:正交旋转和斜交旋转
d. 最普遍的是:最大方差旋转法3.5.3最大方差旋转法:
a. 定义:通过坐标变换使各个因子载荷的方差之和最大。
b. 任何一个变量只在一个因子上有高贡献率,而在 其它因子上的载荷几乎为0;
c. 任何一个因子只在少数变量上有高载荷,而在其 它变量上的载荷几乎为0。3.5.4因子分析的逻辑图:
因子分析和主成分分析的区别和联系
1.联系
思想相同:降维
前提条件:各变量间必须有相关性,否则各变量之间没有共享信息2.区别
-
主成分分析:将主成分表示成原始变量的的线性组合
-
因子分析:将原始变量表示成公共因子与特殊因子的线性组合,且公共因子不可观测。
-
主成分分析:主成分个数与变量个数相同(实际中取前面若干几个)
-
因子分析:公因子个数少于变量个数
- 聚类的目的
-
16种常用的数据统计分析方法汇总
2019-04-24 16:43:00经常会有朋友问到一个朋友,数据分析常用的分析方法有哪些,我需要学习哪个等等之类的问题,今天数据分析精选给大家整理了十六种常用的数据分析方法,供大家参考学习。 (注:这些统计分析方法基本都是统计学的方法... -
数据分析方法论(6种方法,8个思路)
2020-02-26 17:23:05在介绍数据分析方法论和思路之前,我们还是先不厌其烦地看一下数据分析的流程,简单来说分为以下六个步骤: 1、明确分析的目的,提出问题。只有弄清楚了分析的目的是什么,才能准确定位分析因子,提出有价值的问题... -
数据分析中应该了解的几种常用预测方法
2019-07-25 08:00:00中文“预测”的含义在“英语”情境下则有两种含义:evaluate,“估算”,前文归因的方法中,是从因变量Y发现自变量X,也就是Y-->X,“估算”则是“归因”的逆操... -
浅谈《软件工程》常用的几种软件开发方法
2020-10-06 21:27:12目前常用的开发方法有四种,分别是结构化方法、原型法和面向对象方法。接下来我们会一一叙述这些软件开发方法的实现过程和其中的特点以及优缺点。 结构化方法 结构化方法:结构化方法是应用最为广泛的一种开发... -
数据仓库常用几种建模方法
2019-02-18 14:43:31数据模型是抽象描述现实世界的一种工具和方法,是通过抽象的实体及实体之间联系的形式,来表示现实世界中事务的相互关系的一种映射。在这里,数据模型表现的抽象的是实体和实体之间的关系,通过... -
软件工程需求分析方法
2019-11-28 17:12:02详细介绍软件工程需求分析方法,转载自别处, -
相关分析-5种常用相关分析方法
2016-11-02 10:57:26相关分析(Analysis of Correlation)是网站分析中经常使用的分析方法之一。通过对不同特征或数据间的...本篇文章将介绍5种常用的分析方法。在开始介绍相关分析之前,需要特别说明的是相关关系不等于因果关系。 -
统计学常用的数据分析方法总结
2019-10-31 15:54:45描述统计是通过图表或数学方法,对数据资料进行整理、分析,并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。 集中趋势分析 ... -
统计学 常用的数据分析方法大总结,推荐收藏
2019-09-10 11:35:29作者:阿平@zhihu来源:知乎一、描述统计描述统计是通过图表或数学方法,对数据资料进行整理、分析,并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描... -
黑盒测试9种常用方法
2020-10-29 10:01:40包括:等价类划分、边界值分析(BVA)、因果图、判定(决策)表、组合覆盖(pairwise)、正交表法(OATS)、功能图法、场景设计法、错误推测法。 其中易考:等价类划分、BVA和场景法。 其中同时属于白盒测试的有:BVA,功能... -
数据分析常用的16种方法
2018-09-11 20:24:431、缺失值填充:常用方法:剔除法、均值法、最小邻居法、比率回归法、决策树法。 2、正态性检验:很多统计方法都要求数值服从或近似服从正态分布,所以之前需要进行正态性检验。常用方法:非参数检验的K-量检验、P-... -
语音的识别过程主要分为哪几步,主要的识别方法有哪几种?
2018-02-06 16:19:23语音识别是完成语音到文字的转换。自然语言理解是完成文字到语义的转换。语音合成是用语音方式输出用户想要的信息...而语音识别系统的输入是语音,其复杂度要大得多,特别是口语 有很多的不确定性。人与人交流时,往... -
数据分析常用6种分析思路
2019-03-19 14:20:57文章发布于公号【数智物语】 (ID:decision_engine),关注公号不错过每一篇干货。 转自 | CrossHands 作者 | Ahong 作为数据分析师,你是否常因为缺乏分析思路,而被以下问题影响到幸福感(甚至怀疑人生... -
几种常用容器的分析与比较
2016-04-27 22:15:37ArrayList是动态数组,它不包括通过Key或者Value快速访问的算法,所以实际上调用IndexOf、Contains等方法是执行的简单的循环来查找元素,所以频繁的调用此类方法并不比你自己写循环并且稍作优化来的快,如果有这方面... -
什么是聚类分析?聚类的方法有哪些?列举一种说说原理和步骤?
2020-09-24 14:10:33聚类的方法有:K-means聚类、均值漂移聚类、基于密度的聚类方法。 K-means:K-means聚类算法是一种迭代求解的聚类分析算法,其步骤是随机选取K个对象作为初始的聚类中心,然后计算每个对象与各个种子聚类中心之间的... -
常用的数据分析方法(聚类、因子、相关、对应、回归、方差)简述【转】
2020-10-16 16:14:34常用的数据分析方法有:聚类分析、因子分析、相关分析、对应分析、回归分析、方差分析。 1、聚类分析(Cluster Analysis) 聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。聚类是将... -
R语言实现常用的5种分析方法(主成分+因子+多维标度+判别+聚类
2019-07-21 11:45:00来源 | R友舍R语言多元分析系列之一:主成分分析主成分分析(principal components analysis,PCA)是一种分析、简化数据集的技术。它把原... -
常用的4种黑盒测试方法
2021-10-22 18:09:17等价类划分的方法作为继边界值分析方法之后补充的测试用例设计试用的一种方法。划分等价类、确定测试用例。 等价类划分是一种典型的黑盒测试方法,使用这一方法时,完全不考虑程序的内部结构,只依据程序的规格说明... -
【数据分析】最常用的数据分析方法(干货)
2018-09-25 11:51:54数据分析方法论 1、PEST分析法 2、SWOT分析法 3、5W2H分析法 4、4P理论 5、AARRR 数据分析的七个方法 1、趋势分析 2、多维分解 3、用户分群 4、用户细查 5、漏斗分析 6、留存分析 7、A/B测试与A/A测试 ... -
统计学常用的数据分析方法大总结
2020-05-13 09:07:40来源:知乎作者:阿平一、描述统计描述统计是通过图表或数学方法,对数据资料进行整理、分析,并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中... -
常见的需求分析方法(产品篇)
2020-06-06 14:47:11结构化的分析方法是传统的分析法,它的好处是在需求阶段可以不需要精确地定义系统,只需要根据业务框架确定系统的功能范围,以及每个功能的处理逻辑和业务规则,功能需求规格书等。 因为不需要精确描述,因此描述... -
常见的图像分割方法有以下几种
2018-04-19 18:33:08常见的图像分割方法有以下几种:1.基于阈值的分割方法 灰度阈值分割法是一种最常用的并行区域技术,它是图像分割中应用数量最多的一类。阈值分割方法实际上是输入图像f到输出图像g的如下变换: 其中,T为阈值;... -
你应该知道的建模的几种方法
2019-12-23 23:27:46携手ZRobot CEO乔杨为大家带来“企业级信用评分模型”系列课的第二课,...下面我们对常用的建模方法做一下简单的分析: 一、主成分分析、因子分析、变量类聚分析 在实际建模过程中,主成分分析、因子分析、变量类... -
数据降维的几种常见方法(PCA;FA;LDA;ICA等)
2020-10-23 20:39:12在学习ICA算法的过程中,了解到常常需要对数据进行降维,如PCA,FA等,以达到数据预处理的效果,因此查阅相关资料,在这里对数据降维的几种常见方法进行归纳、梳理。 数据降维就是降低数据的维度,达到增加样本密度... -
【有限元分析】螺栓连接的几种分析方法
2019-03-28 21:17:40螺栓连接的五种分析方法