目录：前言
偏相关或复相关
意义与用途
分析方法：
1、 样本相关系数矩阵、相关系数检验
2、 复相关分析
3、 决定系数
 （RMSE的介绍）
小结
一、前言：
继上一篇文章，继续探讨相关性分析，这次不再是两个变量，而是3个或者以上的变量之间的相关关系分析。
没读过上篇文章请先仔细阅读再过来，因为多变量本质上是基于双变量的TzeSing Kong：相关性分析(两变量)​zhuanlan.zhihu.com
二、偏相关或复相关
简单相关：研究两变量之间的关系
偏相关或复相关：研究三个或者以上变量与的关系
在这里仍然是选择最简单的线性相关来解释：
三、意义与用途：
有些情况下，我们只想了解两个变量之间是否有线性相关关系，并不想拟合建立它们的回归模型，也不需要区分自变量和因变量，这时可用相关性分析。
四、分析方法：
1、样本相关阵
设
 来自正态总体 
 容量为 
 的样本，其中每个样本 
 有 
 个观测
分别计算两两样本之间的简单相关系数
 ，它们构成的矩阵就是：

由于每个变量跟自己的相关系数就是
 ，即：

其中，
 就是两个变量的简单相关系数。

例子：
> X <- read.table("clipboard", header = T)
> cor(X) # 相关系数矩阵
y x1 x2 x3 x4
y 1.0000000 0.9871498 0.9994718 0.9912053 0.6956619
x1 0.9871498 1.0000000 0.9907018 0.9867664 0.7818066
x2 0.9994718 0.9907018 1.0000000 0.9917094 0.7154297
x3 0.9912053 0.9867664 0.9917094 1.0000000 0.7073820
x4 0.6956619 0.7818066 0.7154297 0.7073820 1.0000000
再看看矩阵散点图：
> pairs(X, ...) # 多元数据散点图
相关系数检验：
> install.package('psych') # 先安装一个'psych'的包
> library(psych)
> corr.test(X)
Call:corr.test(x = yX)
Correlation matrix
y x1 x2 x3 x4
y 1.00 0.99 1.00 0.99 0.70
x1 0.99 1.00 0.99 0.99 0.78
x2 1.00 0.99 1.00 0.99 0.72
x3 0.99 0.99 0.99 1.00 0.71
x4 0.70 0.78 0.72 0.71 1.00
Sample Size
[1] 31
Probability values (Entries above the diagonal are adjusted for multiple tests.)
y x1 x2 x3 x4
y 0 0 0 0 0
x1 0 0 0 0 0
x2 0 0 0 0 0
x3 0 0 0 0 0
x4 0 0 0 0 0
To see confidence intervals of the correlations, print with the short=FALSE option
上面矩阵是相关系数的
 值矩阵，下面矩阵是 
 值矩阵
可以看出
 与 
 的关系都十分密切
相关系数
 且置信度 

2、复相关分析
实际分析中，一个变量(
 )往往要受到多种变量( 
 )的综合影响，
所谓复相关，就是研究多个变量同时与某个变量的相关关系，
度量复相关程度的指标是复相关系数
多个变量同时与某个变量的相关关系不能直接测算，只能通过间接测算
复相关系数的计算：
设因变量
 ，自变量为 
 ，构造一个线性模型为：


对
 与 
 作相关分析，就是对 
 与 
 做简单相关分析
记： 为 
 与 
 的复相关系数，
 为 
 与 
 的简单相关系数
 的计算公式：

复相关系数常用于多元线性回归分析中，我们希望知道因变量与一组自变量之间的相关程度，即复相关，复相关系数反映了一个变量与另一组变量的密切程度。
假设检验：
与多元回归的方差分析一样，所以我留在下篇文章阐述回归分析与方差分析的时候会继续详细说明
综上：

至于
 和 
 还有 
 是什么？
就由下篇文章阐述回归分析的时候会详细说明。TzeSing Kong：线性回归——描述变量间预测关系最简单的回归模型​zhuanlan.zhihu.com
3、决定系数
 （coefficient of determination）
在复相关系数中，根号里面的比值
 ，
其实说明了回归平方和与总离差平方和的比值，反应了回归贡献的百分比
把复相关系数两边平方一下就能得到决定系数

决定系数用于评价多元回归方程、变量选择、曲线回归方程拟合的好坏程度中，常常用到。
【注意】 是相关性的度量，并不是准确性的度量！！！
 依赖于 
 的波动程度（样本方差），这会使得我们看待模型的好坏有着巨大影响，例如，假设测试集 
 的方差是 
 ，如果一个模型的 
 ， 
 大致为 
 ，但是另一个测试集 
 的方差是 
 (分母小了， 
 小了)， 
 则变为 
 。变成了模型好坏取决于测试集的波动程度，所以这个十分不靠谱
不明白上面的话，可以再看一个例子，如果我们建立了一个模型预测广州房价，如果测试集中广州房屋售价的波动范围较大——方差较大（40万-几千万），因为方差大，所以很可能导致
 也比较大（假设 
 ），但 
 可能十万，这对于广州房价预测来说是一个很糟糕的预测范围。
具体用法，留在回归分析中详细阐述。TzeSing Kong：线性回归——描述变量间预测关系最简单的回归模型​zhuanlan.zhihu.com
在 线性回归 中的 3.4 决定系数
# 先建立多元线性回归模型
> fm = lm(y~x1+x2+x3+x4,data = X)
计算多元线性回归模型决定系数
> R2 = summary(fm)$r.sq
> R2
[1] 0.9997162
计算复相关系数
> R = sqrt(R2)
> R
[1] 0.9998581
【补】
什么是RMSE？
RMSE是回归问题的性能指标，衡量的是 预测值
 与 真实值 
 间的差距
是测量预测误差的标准差

举例子：RMSE 等于 50000，根据【
 准则】意味着：
大约 68% 的预测值位于真实值的 50000元（
 ）以内，
大约 95% 的预测值位于真实值的 100000元 （
 ）以内，
大约 99.7% 的预测值位于真实值的 150000元内 （
 ）以内
五、小结：
可以看出多变量相关分析跟回归分析的关系很密切，多变量相关分析能为回归分析服务，因为要具有相关性才有做线性回归拟合的价值

SPSS处理工具：SPSS25.0 准备好数据
 
1.分析多自变量对某一个因变量的显著性
 
在分析里找到，General linear model,然后选择Univariate, 分别把两个自变量TIssue and  Speed 输入到Fixed Factor，然后设置Option里的描述,如果需要其他的设置可以自己添加
 
 
2.选择OK
 
 
标黄的这几个是比较常用的指标。这里的数据可以说明TIssue is significant(p<0.05)
 
3.同时为了更好的显示Description的具体不同的Tissue对应的平均值，可以在原来的Description使用
 
 
4.可以得到相应的Description，通过复制到Excel进行数据的格式（如保留两位小数）
 
 
5.然后可以作图或者做表
 
 
完成最后的数据作图，后面分析
 
参考：张文彤的SPSS基础或者高级教程
 
另外一个更复杂的Mixed linear model ,我再研究研究来更好做分析。
 
 

TF之NN之回归预测：利用NN算法(RelU)实现根据三个自变量预测一个因变量的回归问题
 
 
 
 
 
目录
 
实验数据
 
设计思路
 
输出结果
 
实现代码
 

 
 
 
 
 
 
实验数据
 
TF之NN之回归预测：利用NN算法(RelU)实现基于30行样本(每个样本含有18列参数包括label)预测一个新样本值
 
 
说明：利用前四年的数据建立回归模型，并对第五年进行预测。
 
 
 
 
 
设计思路
 
 
 
 
输出结果
 
loss is: 913.6623
loss is: 781206160000.0
loss is: 9006693000.0
loss is: 103840136.0
loss is: 1197209.2
loss is: 13816.644
loss is: 173.0564
loss is: 15.756571
loss is: 13.9430275
loss is: 13.922119
loss is: 13.921878
loss is: 13.921875
loss is: 13.921875
loss is: 13.921875
loss is: 13.921875
input is:[120, 5, 85]
output is:15.375002
 
y_list is [[65.0], [64.0], [64.0], [61.0], [59.0], [61.0], [62.0], [60.0], [61.0], [61.0], [59.0], [61.0], [61.0], [60.0], [60.0], [60.0], [59.0], [61.0], [60.0], [59.0], [60.0], [60.0], [59.0], [60.0], [60.0], [60.0], [64.0], [61.0], [59.0], [59.0]]
x_pred is [[6.0, 30.0, 0.5, 3.12, 3.13, 364.0, 452.0, 473.0, 1858.0, 1996.0, 2036.0, 0.23, 0.47, 0.5, 0.0, 146.0, 149.0]]

loss is: 747890.9
loss is: 6.603946e+26
loss is: 7.613832e+24
loss is: 8.778148e+22
loss is: 1.0120521e+21
loss is: 1.1668169e+19
loss is: 1.3452473e+17
loss is: 1550963400000000.0
loss is: 17881387000000.0
loss is: 206158180000.0
loss is: 2376841700.0
loss is: 27403098.0
loss is: 315938.72
loss is: 3645.1162
loss is: 44.61735
loss is: 3.1063914
loss is: 2.627804
loss is: 2.6222868
loss is: 2.622223
loss is: 2.6222224
input is:[6.0, 30.0, 0.5, 3.12, 3.13, 364.0, 452.0, 473.0, 1858.0, 1996.0, 2036.0, 0.23, 0.47, 0.5, 0.0, 146.0, 149.0]
output is:60.66666
 
 
 
实现代码
 
import numpy as np
import tensorflow as tf

x = [[80,3,50],[90,8,70],[180,20,120],[140,16,90]]
y = [[11],[12.5],[20],[18]]
# y = [11,12.5,20,18]
x_pred = [[120,5,85]]

# dataset = np.loadtxt("data/20181127test04.csv", delimiter=",")
# # split into input (X) and output (Y) variables
# x = dataset[0:7,0:17]
# print(x)
# y = dataset[0:7,17]
# print(y)
# x_pred = dataset[7,0:17]
# print(x_pred)
 
tf_x = tf.placeholder(tf.float32, [None,3])     # input x
tf_y = tf.placeholder(tf.float32, [None,1])     # input y
 
print(tf_x)
 
# neural network layers
l1 = tf.layers.dense(tf_x, 100, tf.nn.relu)          # hidden layer  18*8
output = tf.layers.dense(l1, 1)                      # output layer
 
loss = tf.losses.mean_squared_error(tf_y, output)   # compute cost
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.1)
train_op = optimizer.minimize(loss)
 
sess = tf.Session()                                 # control training and others
sess.run(tf.global_variables_initializer())         # initialize var in graph
 
 
for step in range(150):
    # train and net output
    _, l, pred = sess.run([train_op, loss, output], {tf_x: x, tf_y: y})
    if step % 10 == 0:
        print('loss is: ' + str(l))
        # print('prediction is:' + str(pred))
 
output_pred = sess.run(output,{tf_x:x_pred})
print('input is:' + str(x_pred[0][:]))
print('output is:' + str(output_pred[0][0]))
 
 

本案例是IBM SPSS数据分析与挖掘实战案例精粹----第七章的学习记录
 
案例背景或目标：激素水平是否在对照组和实验组之间存在差异
 
分析方法：Bootstrap抽样，秩和检验，秩变换方法，cox回归
 
字段包括：性别，年龄，萎缩程度，胃粘膜细胞肠化生程度
 
基本思路：控制变量法，首先排除性别，年龄，萎缩程度，胃粘膜细胞肠化生程度的影响；
 
探索性数据分析：观察样本量，样本的分布，是否存在偏态分不等；
 
样本分布：分析-表
 
 
 
性别
萎缩
肠化
年龄分组
 
 
男
女
轻度
中度
重度
无
轻度
中度
重度
青年组
中年组
老年组
 
 
Count
Count
Count
Count
Count
Count
Count
Count
Count
Count
Count
Count
组别
试验组
25
12
14
16
7
10
12
13
2
15
12
10
对照组
20
11
0
0
0
0
0
0
0
10
11
10
查看激素水平分布：图形--图表构建程序
 
 
 
 激素水平呈明显的正偏态分布，必须考虑假设检验方法对数据的分布要求；
 
采用Bootstrap抽样进行分析：常用经典统计学的分析方法，无一例外的需要对变量的分布进行假定，然后才能进行相应的计算；ootstrap抽样的基本思想是在全部样本未知的情况下，借助部分样本的有放回多次抽样，构建某个估计的置信区间，抽象地说，通过样本得到的估计并没有榨干样本中的信息，bootstrap利用重采样，把剩余价值发挥在构建置信区间上。
 
bootstrap抽样方法：分析--比较均值--均值--因变量列表（激素水平），自变量列表（组别，性别，年龄），选项--中位数--加入“单元格统计量”，bootstrap子对话框中“执行bootstrap”
 
 
 可以观察各个统计量95%区间差异，对某因素的影响进行分析；中位数并不重叠，可能存在统计学差异（初步分析）；可以采用采用秩和检验进行更精确的分析：
 
对因变量变量变换后的建模分析：
 
常见的变量变换方法：1，对数转换；2，平方根转换；3，平方根正弦转换sin(开方)；4：平方转化；5，倒数转换；6，Box-Cox变换；
 
对于正偏态分布，一般常用的是对数变换：分析----描述统计----P-P图（数据符合指定分布时，P-P图中各点近似呈一条直线。）
 
 
将字段进行转换后，使用：
 
1）分析----一般线性模型----单变量
 
2）将Injisu选入“因变量”列表框
 
3）将组别，性别选入“固定因子”列表框，年龄选入“协变量”列表框
 
4）“模型”子对话框，将组别，性别，年龄的主效应选入“模型”列表框
 
5）“选项”子对话框，选择“残差图”和“缺乏拟合优度检验”
 
6)确定。
 
 
上图，总模型p值为0.003，说明整个模型对injisu的预测是有统计学意义的（变量之间相关的），分项来看，只有组别具有统计学意义；
 
秩变换分析：
 
当变量转换无法解决问题时，可以使用秩变换：转换----个案排序-----将激素水平放入“变量”列表框；
 
将字段进行转换后，使用：
 
1）分析----一般线性模型----单变量
 
2）将Rjisu选入“因变量”列表框
 
3）将组别，性别选入“固定因子”列表框，年龄选入“协变量”列表框
 
4）“模型”子对话框，将组别，性别，年龄的主效应选入“模型”列表框
 
5）“选项”子对话框，选择“残差图”和“缺乏拟合优度检验”
 
6)确定。
 
利用Cox模型进行分析：秩变换分析会损失一些信息，除了非参数方法外，还可以利用生存分析中的COX回归模型进行分析
 
总结：性别，年龄对激素水平未发现有影响，试验组和对照组之间的激素水平存在明显差异；对于同一个统计问题，可以使用多种模型进行解决，没有正确的模型，只有更加适合的模型；当结论不一样时，应根据模型的特点以及真实情况，判断那种情况更接近真实；也可以使用投票策略进行确定（类似与随机森林，选择多数模型结果）