目的：数据文件data.csv是某股票从1997-2017的20年来各季度红利数据，找出时序数据的构成因素，并分别通过指数平滑法和自回归ARIMA模型方法，建立时序数据的预测模型，并预测下两年的红利(bonus)。
data.csv

❌注意：本文仅用于学习Python对时间序列数据的处理，不建议用于炒股决策！！！

1. 加载包

import pandas as pd
import numpy as np
from statsmodels.tsa import holtwinters as hw
from statsmodels.tsa.stattools import adfuller
from statsmodels.graphics.tsaplots import plot_acf
from statsmodels.graphics.tsaplots import plot_pacf
from statsmodels.graphics.gofplots import qqplot
import matplotlib.pyplot as plt
from statsmodels.tsa import arima_model
import warnings

2. 导入数据

f = open('实验4数据.csv')
mydata = pd.read_csv(f)
# print(mydata)
print(mydata.head())

3. 创建时序数据并绘图

ts = pd.period_range('1997/01', periods=len(mydata), freq='Q')
# 创建DF结构的数据，以ts为索引，以bonus为列名
bonus_data = pd.DataFrame(mydata['bonus'].values, index=ts, columns=['bonus'])
print(bonus_data.head())

# 显示所有的点
bonus_data.plot(style=['+-'], figsize=(16, 9))

4. 数据预处理

1. 长期趋势：bonus（股票红利）随着时间变动呈上升趋势
2. 季节变动：bonus（股票红利）在第四、一、二季度上升，在第三季度数值下降，并随着时间变化，呈现放大情况

# 数据对数化
bonus_log = np.log(bonus_data)
bonus_log.plot(style='+-', figsize=(16, 9))

5. 建立模型–三次指数平滑法

一次指数平滑：适用于序列没有趋势和季节性特征

二次指数平滑：适用于序列有趋势特征但无季节性特征

三次指数平滑：适用于序列有趋势特征且有季节性特征

5.1 创建模型

# 长期趋势、季节趋势：add
# 季节周期：季度
# seasonal_periods：季度数据为4，月度数据的为12，周周期数据为7
# trend、seasonal为add，任取一个时间段，数据增量为0
bonus_hw = hw.ExponentialSmoothing(bonus_log, trend='add', seasonal='add', seasonal_periods=4)
hw_fit = bonus_hw.fit()
hw_fit.summary()

bonus_data.plot()
np.exp(hw_fit.fittedvalues).plot(label='fitted_values', legend=True)

5.2 残差图

plot_acf(hw_fit.resid)

5.3 残差（预测误差）的平稳性检验（单位根检验）

如果存在单位根，那么就是非平稳时间序列，会使回归分析中存在伪回归

第二项为p值，小于0.05。可以判定残差为平稳序列

adfuller(hw_fit.resid)

5.4 直方图+核密度图

核密度曲线类似于概率密度曲线，其曲线下的面积是1，因此其y轴上的单位通常是小于1的核密度分布值。
实质是一种对直方图的抽象。类似统计学中的频数分布图和概率密度函数的区别。

plt.figure()
# 需要注意的是：在直方图的基础上添加核密度图，必须将直方图的频数更改为频率，即density参数设置为True。
plt.hist(hw_fit.resid, density=True, label = '直方图')
hw_fit.resid.plot(kind='kde', label = '核密度图')

plt.rcParams['font.sans-serif'] = ['Microsoft YaHei']#处理中文乱码

plt.legend()# 显示图例
plt.show()

5.5 正态qq图

qqplot(hw_fit.resid, line='s')

根据qq图可知，残差服从正态分布，峰度小于3

5.6 预测

bonus_forecast = np.exp(hw_fit.predict(start='2018/1', end='2019/12'))
print(bonus_forecast)

bonus_data.plot()
bonus_forecast.plot(label='forecast', legend=True)

6. 自回归移动平均法

差分整合移动平均自回归模型(ARIMA) 是指将非平稳时间序列转化为平稳时间序列，然后将因变量仅对它的滞后值以及随机误差项的现值和滞后值进行回归所建立的模型。

ARIMA(p，d，q)中，AR是”自回归”，p为自回归项数；MA为”滑动平均”，q为滑动平均项数，d为使之成为平稳序列所做的差分次数（阶数）。

处理思路：

1. 绘制数据随时间变化趋势，判断为平稳序列还是非平稳序列
2. 若为非平稳序列，使用差分转化为平稳序列，得到参数d的取值
3. 根据ACF、PACF寻找最优参数p、q

平稳序列：
基本上不存在趋势的序列，各观察值基本上在某个固定的水平上波动；或虽有波动，但并不存在某种规律，而其波动可以看成是随机的。

6.1 差分

差分,简单来说就是后一时间点的值减去当前时间点，也就是$y_t-y_{t-1}$, 每做一次差分就少一个数据。

差分理解

# 一阶差分并去除空值
bonus_log_diff1 = bonus_log.diff().dropna()
bonus_log_diff1.plot()

# 可以看到通过 1 次差分数据已经平稳
adfuller(bonus_log_diff1['bonus'])

6.2 自相关图、偏自相关图

# 自相关图  拖尾 
plot_acf(bonus_log_diff1, lags=30)

# 偏自相关图  拖尾
plot_pacf(bonus_log_diff1, lags=30)

6.3 确定模型参数

aic_values = []
find_index = ()
warnings.filterwarnings('ignore')
for p in range(8):
    for q in range(8):
        try:
            myfit = arima_model.ARIMA(bonus_log, (p,1,q)).fit()
            aic_values.append(myfit.aic)
            print('(%d:%d,1,%d), AIC:%d' %(find_index, p, q, myfit.aic))
            find_index += 1
        except:
            pass

print(aic_values.index(min(aic_values)), min(aic_values))

arima_fit = arima_model.ARIMA(bonus_log, (3,1,2)).fit()
arima_fit.summary()

6.4 单位根检验

# 平稳性检验
# plot_acf(arima_fit.resid)
adfuller(arima_fit.resid)

6.5 QQ图

qqplot(arima_fit.resid, line='s')
plt.figure()
plt.hist(arima_fit.resid, density=True)
arima_fit.resid.plot(kind='kde')
plt.show()
# 残差符合正态分布

6.6 预测

bonus_forecast = np.exp(arima_fit.forecast(8)[0])
print(bonus_forecast)

plt.figure()
plt.plot(range(len(bonus_data)), bonus_data['bonus'], label='bonus')
plt.plot(range(len(bonus_data), len(bonus_data)+len(bonus_forecast)),
         bonus_forecast, label='forecast', color='r')
plt.xlim(0, 100)
plt.ylim(0, 25)
plt.legend()
plt.show()

7. 比较两种模型的优劣

print('指数平滑法：AIC=%d, SSE=%.2f \n ARIMA模型：AIC=%d, SSE=%.2f' %(hw_fit.aic, sum(hw_fit.resid**2), arima_fit.aic, sum(arima_fit.resid**2)))

Python --相似K线匹配–实现股票走势预测 Tushare

前言

同花顺和东方财富都提供了一个免费的功能可以查找相似走势的K线，提供参考。差不多，东方财富可以选择分析的周期，同花顺是固定120日的分析周期。我们可以通过tushare的数据源获取历史交易数据自己实现一个类似功能。

得到的K线匹配效果如下：

一、获取历史交易数据

1.引入库，读取历史交易数据

Tushare是一个免费、开源的python财经数据接口包。注册用户后到个人中心改一下名字获取积分，基本的功能都可以用了。大家可以用我的邀请码注册
①首先要安装tushare库
pip install tushare --upgrade
②注册Tushare大数据社区的账号，在个人中心获取你的token
③Tushare官网接口使用手册，可以查看如何调用各个接口。

import tushare as ts
# 个人账号tushareToken
ts.set_token('dce74e113985d5da2a8dffe05cccdba7c72aa1e0c34601dbb8d2cbc0')
pro = ts.pro_api()
#调用000001.sz的的历史日线数据
df = pro.daily(ts_code='000001.SZ', start_date='20180701', end_date='20180718')
print(df)

至此我们实现了某只股票的交易数据获取。

接下来，我们需要获取当前所有正常上市交易的股票列表，然后获取他们的的历史走势与我们选取的对象做比较。

import tushare as ts
# 个人账号tushareToken
ts.set_token('dce74e113985d5da2a8dffe05cccdba7c72aa1e0c34601dbb8d2cbc0')
pro = ts.pro_api()
#  获取当前所有正常上市交易的股票列表
stock_all = pro.stock_basic(exchange='', list_status='L', fields='ts_code,symbol,name,area,industry,list_date')

for eachCode in stock_all.iterrows():  
#   获取历史交易数据
    stock_history=ts.get_hist_data(eachCode[1]['symbol'])
#     打印调试
    print(eachCode[1]['symbol'],eachCode[1]['name'])
    print(stock_history)
    

2.认识K线，如何分析走势

当我们描述股票的一根K线组成，会用开盘价open、收盘价close、最高价high、最低价low，因为周期不同，会使得K线表现形式产生差异，因此我们往往在讲K线时，在K线前指明周期，比如：日级K线、60分钟K线、15分钟K线等等。

均线指标是反映价格运行趋势的重要指标，其运行趋势一旦形成，将在一段时间内继续保持。五日均线指的是近5天内收盘价的加权平均价，是均线系统中的短期均线，反映股价或指数的短期运行趋势。如图所示，黑色的是5日均线，黄色为10日均线，粉色为20日均线。

那么我们如何定义一根K线相似，对于单根K线其开盘价、收盘价、最高价、最低价越相似那么它就越相似。同理我们如何定义短期趋势的相似，计算Ma5的相关系数。

在统计学中，皮尔逊相关系数( Pearson correlation coefficient），又称皮尔逊积矩相关系数，是用于度量两个变量X和Y之间的相关（线性相关），其值介于-1与1之间。我们可以利用numpy.corrcoef()函数，来计算两个矩阵之间的相关性。那么我们定义两段K线的相似度K=（开盘价相关系数+收盘价相关系数+最低价相关系数+最高价相关系数+5日均线的相似度）/5。

 stock_compare=ts.get_hist_data(code)[0:day_range] #获取选取范围的分析对象的交易数据
        
    compare_open=stock_compare['open']
    compare_close=stock_compare['close']
    compare_high=stock_compare['high']
    compare_low=stock_compare['low']
    compare_ma5=stock_compare['ma5']
stock_all = pro.stock_basic(exchange='', list_status='L', fields='ts_code,symbol,name,area,industry,list_date')
    stock_all = stock_all[0:100]
#    逐一获取A股上市股票的历史走势做比较
    for eachCode in stock_all.iterrows():  
        
        stock_history=ts.get_hist_data(eachCode[1]['symbol']) # 旧接口获取历史数据，因为就接口直接提供ma5数据
        trade_days = len(stock_history) #获取的历史交易数据长度

        k_list=[]
        x_list=[]
#         /**截取30_days的长度，滑动窗口为5*/
        for i in range(5,trade_days, 5):
            # 截取判空，滑动数据不满足range后跳出            
            if(i+day_range>=trade_days):
                break
            stock_offer=stock_history[i:i+day_range] #截取后的数据
                       
            open_o     =stock_offer['open']
            close_o    =stock_offer['close']
            high_o     =stock_offer['high']
            low_o      =stock_offer['low']
            ma5_o       =stock_offer['ma5']

            open_k =np.corrcoef(compare_open,open_o)[0][1]
            #/**-------------计算相关系数-------------------*/
            close_k=np.corrcoef(compare_close,close_o)[0][1]
            high_k =np.corrcoef(compare_high,high_o)[0][1]
            low_k =np.corrcoef(compare_low,low_o)[0][1]
            ma5_k =np.corrcoef(compare_ma5,ma5_o)[0][1]
            ave_k = (open_k+close_k+high_k+low_k+ma5_k)/5

总结

例如：
本文仅仅简单介绍了如何通过tushare数据源获取A股的历史交易数据，通过皮尔逊相关系数实现一种查找相似K线的算法。
资本市场没有新鲜事，历史总是重演但不是简单重复，该方法提供一种实现方法，并不构成投资建议。

enjoy🥰！

本文参考了以下博主的文章
如何用Python量化“相似K线”实现形态选股？