import pandas 
 
# 读取数据，指定日期为索引列
 
data = pandas.read_csv(
    'D:\\DATA\\pycase\\number2\\9.3\\Data.csv' ,
    index_col='日期'
)
 
# 绘图过程中
 
import  matplotlib.pyplot as plt
 
# 用来正常显示中文标签
 
plt.rcParams['font.sans-serif']=['SimHei']
 
# 用来正常显示负号
 
plt.rcParams['axes.unicode_minus'] = False 
 
# 查看趋势图
data.plot() #有增长趋势，不平稳
 
 
# 附加：查看自相关系数合片自相关系数（查分之后），可以用于平稳性的检测，也可用于定阶系数预估
 
#自相关图（）
 
from statsmodels.graphics.tsaplots import plot_acf
 
plot_acf(data).show() #自相关图既不是拖尾也不是截尾。以上的图的自相关是一个三角对称的形式，这种趋势是单调趋势的典型图形，说明这个序列不是平稳序列
 
 
 
 
 
# 1 平稳性检测
 
from statsmodels.tsa.stattools import adfuller as ADF
 
 
def tagADF(t):
    result = pandas.DataFrame(index=[
            "Test Statistic Value", "p-value", "Lags Used", 
            "Number of Observations Used", 
            "Critical Value(1%)", "Critical Value(5%)", "Critical Value(10%)"
        ], columns=['销量']
    );
    result['销量']['Test Statistic Value'] = t[0]
    result['销量']['p-value'] = t[1]
    result['销量']['Lags Used'] = t[2]
    result['销量']['Number of Observations Used'] = t[3]
    result['销量']['Critical Value(1%)'] = t[4]['1%']
    result['销量']['Critical Value(5%)'] = t[4]['5%']
    result['销量']['Critical Value(10%)'] = t[4]['10%']
    return result;
 
 
print('原始序列的ADF检验结果为:',tagADF(ADF(data[u'销量'])))  # 添加标签后展现
 
# 平稳判断：得到统计量大于三个置信度(1%,5%,10%)临界统计值，p值显著大于0.05，该序列为非平稳序列。
# 备注：得到的统计量显著小于3个置信度（1%，5%，10%）的临界统计值时，为平稳 此时p值接近于0 此处不为0，尝试增加数据量，原数据太少
 
# 2 进行数据差分，一般一阶差分就可以
 
D_data = data.diff(1).dropna()
D_data.columns = [u'销量差分']
 
#差分图趋势查看
 
D_data.plot() 
plt.show()
 
# 附加：查看自相关系数合片自相关系数（查分之后），可以用于平稳性的检测，也可用于定阶系数预估
 
#自相关图
 
plot_acf(D_data).show()
 
plt.show()
 
#偏自相关图
 
from statsmodels.graphics.tsaplots import plot_pacf
 
plot_pacf(D_data).show()
 
# 3 平稳性检测
 
print(u'差分序列的ADF检验结果为：', tagADF(ADF(D_data[u'销量差分']))) 
 
# 解释：Test Statistic Value值小于两个水平值，p值显著小于0.05，一阶差分后序列为平稳序列。
 
# 4 白噪声检验
from statsmodels.stats.diagnostic import acorr_ljungbox
 
#返回统计量和p值
 
print(u'差分序列的白噪声检验结果为：', acorr_ljungbox(D_data, lags=1))  # 分别为stat值（统计量）和P值
 
# P值小于0.05，所以一阶差分后的序列为平稳非白噪声序列。
 
 
# 5 p，q定阶
 
from statsmodels.tsa.arima_model import ARIMA
 
#一般阶数不超过length/10
 
pmax = int(len(D_data)/10) 
 
 
#一般阶数不超过length/10
 
qmax = int(len(D_data)/10) 
 
#bic矩阵
 
bic_matrix = [] 
for p in range(pmax+1):
  tmp = []
  for q in range(qmax+1):
#存在部分报错，所以用try来跳过报错。
    try: 
      tmp.append(ARIMA(data, (p,1,q)).fit().bic)
    except:
      tmp.append(None)
  bic_matrix.append(tmp)
 
#从中可以找出最小值
 
bic_matrix = pandas.DataFrame(bic_matrix) 
 
#先用stack展平，然后用idxmin找出最小值位置。
 
p,q = bic_matrix.stack().idxmin() 
 
 
 
print(u'BIC最小的p值和q值为：%s、%s' %(p,q))
# 取BIC信息量达到最小的模型阶数，结果p为0，q为1，定阶完成。
 
# 6 建立模型和预测
 
model = ARIMA(data, (p,1,q)).fit() 
 
#给出一份模型报告
 
model.summary2() 
 
#作为期5天的预测，返回预测结果、标准误差、置信区间。
 
model.forecast(5)
 

from __future__ import print_function
import pandas as pd
import matplotlib.pyplot as plt
import statsmodels.api as sm
from statsmodels.tsa.arima_model import ARIMA

"""
ARIMA模型Python实现

ARIMA模型基本假设：
    1.数据平稳性
    2.白噪声同方差
    3.数据无周期性

参考文献：
    https://www.cnblogs.com/junge-mike/p/9335054.html
    https://support.minitab.com/zh-cn/minitab/18/help-and-how-to/modeling-statistics/time-series/how-to/partial-autocorrelation/interpret-the-results/partial-autocorrelation-function-pacf/
    https://support.minitab.com/zh-cn/minitab/18/help-and-how-to/modeling-statistics/time-series/how-to/autocorrelation/interpret-the-results/autocorrelation-function-acf/
"""

####1.载入数据
#载入为dataframe格式,data列为序列值，sdate列为日期
df = pd.read_csv(r"C:\Users\ld\Desktop\yc18\train1.csv",encoding="cp936")
dta=pd.Series(df["data"])
dta.index = pd.Index(df["sdate"])


####2.差分
#对原始数据进行差分,并绘制差分后的折线图观察平稳性
fig = plt.figure(figsize=(12,8))
ax2= fig.add_subplot(111)
diffs = dta.diff(3)
diffs.plot(ax=ax2)
diffs = diffs.dropna()
plt.show()

####3.ADF单位根检验
#观察差分图像判断数据平稳性的方式有一定主观性，因此进一步采用.ADF单位根检验；确定d值（差分阶数）
from statsmodels.tsa.stattools import adfuller
result = adfuller(diffs)
print(u'差分序列的ADF平稳性检验结果为：',result)

####4.自相关图和偏自相关图
#在差分满足数据平稳性要求后,通过绘制相关图和偏自相关图确定最优p,q值
#判断方法见：https://mp.csdn.net/mp_blog/creation/editor/122997522
fig = plt.figure(figsize=(12,8))
ax1=fig.add_subplot(211)
fig = sm.graphics.tsa.plot_acf(diffs,lags=30,ax=ax1)
ax2 = fig.add_subplot(212)
fig = sm.graphics.tsa.plot_pacf(diffs,lags=30,ax=ax2)
plt.show()


####5.对p,q进行定阶
#同样，通过偏/自相关图判断最优p,q值的方式有些主观,下面采样bic方式获取最优p,q值
pmax = int(len(diffs) / 10)    #一般阶数不超过 length /10
qmax = int(len(diffs) / 10)
bic = []
for i in range(pmax +1):
    item= []
    for j in range(qmax+1):
        try:
            item.append(int(ARIMA(diffs, (i, 1, j)).fit().bic))
        except:
            item.append(None)
        bic .append(item)

bic = pd.DataFrame(bic ) 
bic .fillna(bic .max(),inplace=True)
print("bic :",bic )
p,q = bic .stack().idxmin()
print('best p = %s , q = %s' %(i,j))  


####6.白噪声检验
#对白噪声的平稳性进行检验
from statsmodels.stats.diagnostic import acorr_ljungbox
print(u'白噪声检验：', acorr_ljungbox( diffs, lags=1))


####7.周期性检验
#对数据的趋势性周期性进行检验
import statsmodels.api as sm
dfs = pd.read_csv(r"C:\Users\ld\Desktop\yc18\train1.csv",encoding="cp936")[["sdate","data"]]
dfs['sdate'] = pd.to_datetime(dfs['sdate'])
dfs = dfs.set_index(["sdate"])
#data指你自己的时序数据，model='additive'代表是加法模式，multiplicative乘法模型
#extrapolate_trend='freq'表示trend 、resid频率会从最近点开始，并且会对最近点的缺失值进行填充
#更多参数设置请参考官方文档：https://www.statsmodels.org/stable/generated/statsmodels.tsa.seasonal.seasonal_decompose.html
decomposition = sm.tsa.seasonal_decompose(dfs, model='additive', extrapolate_trend='freq')
plt.rc('figure',figsize=(12,8))
fig = decomposition.plot()
plt.show()

####8.拟合ARIMA模型
#在确保三个基本假设都满足后，即可开始建模，其中ARIMA的三个参数（p,d,q）选用步骤3和5的最优结果
model = ARIMA(diffs, (p,0,q)).fit()
model.summary2()

####9.预测
#forecast（）中填入预测期数，开始预测
pre = model.forecast(1)[0]
print("pre:",pre)

 
import pandas 
 
# 读取数据，指定日期为索引列
 
data = pandas.read_csv(
    'D:\\DATA\\pycase\\number2\\9.3\\Data.csv' ,
    index_col='日期'
)
 
# 绘图过程中
 
import  matplotlib.pyplot as plt
 
# 用来正常显示中文标签
 
plt.rcParams['font.sans-serif']=['SimHei']
 
# 用来正常显示负号
 
plt.rcParams['axes.unicode_minus'] = False 
 
# 查看趋势图
data.plot() #有增长趋势，不平稳
 
 
# 附加：查看自相关系数合片自相关系数（查分之后），可以用于平稳性的检测，也可用于定阶系数预估
 
#自相关图（）
 
from statsmodels.graphics.tsaplots import plot_acf
 
plot_acf(data).show() #自相关图既不是拖尾也不是截尾。以上的图的自相关是一个三角对称的形式，这种趋势是单调趋势的典型图形，说明这个序列不是平稳序列
 
 
 
 
 
# 1 平稳性检测
 
from statsmodels.tsa.stattools import adfuller as ADF
 
 
def tagADF(t):
    result = pandas.DataFrame(index=[
            "Test Statistic Value", "p-value", "Lags Used", 
            "Number of Observations Used", 
            "Critical Value(1%)", "Critical Value(5%)", "Critical Value(10%)"
        ], columns=['销量']
    );
    result['销量']['Test Statistic Value'] = t[0]
    result['销量']['p-value'] = t[1]
    result['销量']['Lags Used'] = t[2]
    result['销量']['Number of Observations Used'] = t[3]
    result['销量']['Critical Value(1%)'] = t[4]['1%']
    result['销量']['Critical Value(5%)'] = t[4]['5%']
    result['销量']['Critical Value(10%)'] = t[4]['10%']
    return result;
 
 
print('原始序列的ADF检验结果为:',tagADF(ADF(data[u'销量'])))  # 添加标签后展现
 
# 平稳判断：得到统计量大于三个置信度(1%,5%,10%)临界统计值，p值显著大于0.05，该序列为非平稳序列。
# 备注：得到的统计量显著小于3个置信度（1%，5%，10%）的临界统计值时，为平稳 此时p值接近于0 此处不为0，尝试增加数据量，原数据太少
 
# 2 进行数据差分，一般一阶差分就可以
 
D_data = data.diff(1).dropna()
D_data.columns = [u'销量差分']
 
#差分图趋势查看
 
D_data.plot() 
plt.show()
 
# 附加：查看自相关系数合片自相关系数（查分之后），可以用于平稳性的检测，也可用于定阶系数预估
 
#自相关图
 
plot_acf(D_data).show()
 
plt.show()
 
#偏自相关图
 
from statsmodels.graphics.tsaplots import plot_pacf
 
plot_pacf(D_data).show()
 
# 3 平稳性检测
 
print(u'差分序列的ADF检验结果为：', tagADF(ADF(D_data[u'销量差分']))) 
 
# 解释：Test Statistic Value值小于两个水平值，p值显著小于0.05，一阶差分后序列为平稳序列。
 
# 4 白噪声检验
from statsmodels.stats.diagnostic import acorr_ljungbox
 
#返回统计量和p值
 
print(u'差分序列的白噪声检验结果为：', acorr_ljungbox(D_data, lags=1))  # 分别为stat值（统计量）和P值
 
# P值小于0.05，所以一阶差分后的序列为平稳非白噪声序列。
 
 
# 5 p，q定阶
 
from statsmodels.tsa.arima_model import ARIMA
 
#一般阶数不超过length/10
 
pmax = int(len(D_data)/10) 
 
 
#一般阶数不超过length/10
 
qmax = int(len(D_data)/10) 
 
#bic矩阵
 
bic_matrix = [] 
for p in range(pmax+1):
  tmp = []
  for q in range(qmax+1):
#存在部分报错，所以用try来跳过报错。
    try: 
      tmp.append(ARIMA(data, (p,1,q)).fit().bic)
    except:
      tmp.append(None)
  bic_matrix.append(tmp)
 
#从中可以找出最小值
 
bic_matrix = pandas.DataFrame(bic_matrix) 
 
#先用stack展平，然后用idxmin找出最小值位置。
 
p,q = bic_matrix.stack().idxmin() 
 
 
 
print(u'BIC最小的p值和q值为：%s、%s' %(p,q))
# 取BIC信息量达到最小的模型阶数，结果p为0，q为1，定阶完成。
 
# 6 建立模型和预测
 
model = ARIMA(data, (p,1,q)).fit() 
 
#给出一份模型报告
 
model.summary2() 
 
#作为期5天的预测，返回预测结果、标准误差、置信区间。
 
model.forecast(5)