信息率失真函数
 
       在实际问题中，信号有一定得失真是可以容忍的。但是当失真大于某一个限度时，信息质量就会有严重损伤。要规定失真限度，必须有一个定量的失真测度。为此，可以引入失真函数。
 
       失真函数：
 
       假若一个数据处理系统，输入样值为xi，xi∈{a1,...,an}，输出yj，yj∈{b1,...,bm}。此时定义失真函数：
 
 
 
 
将所有的d(xi,yj)排列起来，用矩阵表示：
 
 
 
通常情况下，失真函数d(xi,yj)都是人为设定的。常用的失真函数如下：
 
均方失真：d(xi,yj)=(xi-yj)2
 
绝对失真：d(xi,yj)=| xi-yj|
 
相对失真：d(xi,yj)=| xi-yj|/|xi|
 
误码失真： 
 
平均失真：
 
定义失真的数学期望为平均失真：
 
 
 
 
其中p(ai,bj)是联合分布概率。平均失真是对于信源编码器产生失真后的总体度量。对于长度为L的序列编码情况，平均失真为：
 
 
信息率失真函数R(D)：
 
信源X经过有失真的信源编码器输出Y，将这样的编码器看作存在干扰的假象信道，Y作为接收端信号。信源编码器的目的是使所需的信息传输率R尽量小，但R越小，引起的平均失真就越大。给出一个失真的限制值D，在满足平均失真的条件下，选择一种编码使时，信息率R尽可能小。信息率R就是所需输出的有关信源X的信息量。而信息率R其实就是互信息I(X,Y)。
 
可知，当信源的分布概率已知时，互信息I是关于转移概率p(yj|xi)的∪型凸函数，存在极小值。因此定义率失真函数R(D)：
 
 
 
对于离散无记忆信源，R(D)可以写成：
 
 
 
率失真函数的性质：
 
定义Dmin=0对应着无失真情况，相当于无噪声信道，此时：
 
R(Dmin)=R(0)=H(X)
 
定义 ，即R(Dmax)=0。
 
可知R(D)的定义域为[0,Dmax]。R(D)=0的情况就是I(X,Y)=0，这时候信道的输入和输出相互独立，所以条件概率pij与xi无关，即：pij=p(yj|xi)=p(yj)=pj
 
此时平均失真为： 。
 
现在要记住： 。要求的 。在这个式子中，当某项∑pidij最小，而该j所对应的pj=1时，Dmax达到最小。此时上式可以简化为： 。
 
R(D)的重要性质：下凸性、连续性、单调递减性(就是JPEG2000那条著名的曲线)。

实现平台：BigQuant—人工智能量化投资平台
可在文末前往原文一键克隆代码进行进一步研究
 
 
主动投资管理——信息率
 
前面文章为大家介绍了许多AI量化投资理念，这篇教程的主要目的是介绍主动投资组合管理的一些重要概念，帮助不熟悉这一领域的读者能够了解这个方法论的核心思想和价值。我们先介绍主动投资的概念，然后引入主动投资里最重要的概念——信息率。
 
接着我们分别从主动投资组合最优化框架，以及收益、风险的权衡展开，最后我们通过一个实际的主动投资组合的案例实验来结束讨论。
 
主动投资概念定义
 
之前我们已经介绍了经典的MPT，它的核心思想是市场是均衡的，不存在套利机会，投资者应该投资市场指数，从而分散股票的非特异风险并使得交易成本最低化。
 
但是，金融市场的从业人员、投资者一般都很难相信市场是完全有效的，甚至对于技术分析派的交易者，也会否认市场的弱势有效性。但是MPT确实有很多概念和工具值得我们借鉴，
 于是，以Grinold为代表的主动投资理论便蓬勃发展起来，并且继承了MPT的诸多思想。
 
所谓主动投资是相对于被动投资而言的，假设有一家私募基金，投资者并且私募管理者以基金相对于沪深300指数的相对收益作为评估基金的标准，那么我们便认为沪深300指数期间的成分股权重作为这个资金投资组合的被动权重或者基准权重，
 而基金任何偏离基准权重的情况都是基金的主动投资行为，因为基金管理者认为这些偏离能给组合带来相对于基准更高的风险调准后收益，也就是我们所谓的alpha收益或者风险调整后alpha。如果一个基金在整个投资期间没有任何主动权重，
 那么它就是一只指数基金，因为它复制了指数组合，并且也获得了相同的指数收益。如果是一家对冲基金，它以绝对收益作为衡量自己业绩的标准，那么它的被动权重就是现金或者无风险资产，任何风险资产头寸都成为它的主动头寸。
 
一个基金管理者或者投资者采取主动投资，便是他认为他的主动行为上（如选股）相对于基准，能够提供额外的alpha收益，也就是说他相信自己在某些方面的投资能力能够创造alpha。主动投资组合管理便是一个系统的方法论和流程，
 用以帮助相信具有alpha能力的投资者或者基金管理者来寻找和管理alpha。
 
主动投资组合
 
为简介易懂，我以下面的表格作为例子。我们的基准组合是一个包含四个股票的全额投资等权组合，在表格的第二列是我们的基准权重。然后在一个假设场景中，基金经理认为风险资产配置太高，于是降低到90%，无风险资产权重提升至10%。
 基金经理根据自己的独特信息来源以及选股能力，给出了下一个投资期的股票预期收益。并基于预期收益信息，基金经理进一步调整了风险资产权重，对应的是表格中的基金权重，作为验证，我们可以计算得到基金权重的总和是100%。
 在上面我们也说过了，主动投资的定义是于基准的偏离，也就是实际资产组合与基准组合的偏差，于是我们把基金权重减去基准权重得到了主动权重，在我们表格中的第三列。主动权重是相对偏离，所以它的权重是可以为负的，但是我们还
 看到了一个有趣的现象，那就是主动权重的和为0，也就是说主动组合是一个现金中性组合。最后，我们还计算了组合的实际收益率为31.7%，基准为14.5%，也就是说我们实现了17%的alpha，或者说主动收益率。
 
基准组合
基准权重
主动权重
基金权重
预期收益
期末收益
期末资本收益
现金
0%
10%
10%
5%
5%
0.5%
股票1
25%
-15%
15%
10%
8%
1.2%
股票2
25%
15%
60%
50%
40%
24%
股票3
25%
-10%
-10%
-20%
-10%
1%
股票4
25%
0%
25%
15%
20%
5%
合计
100%
0%
100%
N/A
N/A
31.7%
预期收益率的构成
 
我们可以将预期收益率分解为四部分，分别是无风险收益（时间溢价）、业绩基准部分（风险溢价）、基准择时部分（超额业绩基准收益率）、alpha部分（预期残差收益率），即：
 
\begin{align*}
 \mathbb{E}[r_i] = r_f + \beta_i \mu_b + \beta_i \Delta f_b + \alpha_i
 \end{align*}
 
时间溢价 $r_f$
 
时间溢价表示投资者放弃当前资产的投资转而投资无风险资产所获得的收益。称之为时间溢价代表对时间的补偿。一般我们可以采取银行间拆借利率作为无风险资产收益率，比如shibor。
 
风险溢价 ${\beta }_i{\mu }_b$
 
这里采用了CAPM的概念，基准收益${\mu }_b$一般指长期的基准超额收益。低beta资产具有较低的风险溢价，高beta具有较高的风险溢价。
 
超常业绩基准收益率 ${\beta }_i\Delta f_b$
 
如果你相信在未来相对短周期的投资期内（如下一季度、下一年），预期业绩基准收益率不同于${\mu }_b$，那么$\Delta f_b$就衡量了业绩基准在临近的未来时期上的预期超额收益率与长期预期超额收益率的差，也就是我们常说的大盘择时。
 而Grinold认为，大多数投资机构经理都不使用业绩基准择时，而忽略它也将大大降低学习主动管理的学习曲线，所以如无特别说明，我们下面以及以后的教程都会假设没有基准业绩择时，也就是$\Delta f_b=0$。我会在专门的教程里讨论基准择时。
 
Alpha
 
${\alpha }_i$即股票预期残差收益率，也就是我们最感兴趣的一部分，衡量投资者的投资能力，如预测能力、选股能力。
 
主动收益率与残差收益率
 
残差收益率和风险为：
 
\begin{align*}
 \theta_p &= r_p - \beta_p r_b\
 \omega_p &= std(\theta_p)
 \end{align*}
 
主动收益率和风险为:
 
\begin{align*}
 r_{pa} &= r_p - r_b = \theta_p - \beta_{pa} r_b\
 \psi_p &= std(r_{pa}) = \sqrt{\omega_p^2 + \beta_{pa}^2 \sigma_b^2}
 \end{align*}
 
投资经理在避免基准择时的情况下，并设置${\beta }_p=1$，那么主动收益率就是残差收益率。如果投资经理进行基准择时，从上述公式可以看到，主动收益率等于残差收益率与业绩基准择时收益率的和。
 
信息率
 
这里，我们将介绍衡量主动投资成功的标准，那就是信息率。不过在谈信息率之前，我们先要谈谈alpha。
 
定义alpha
 
向未来看，即先验alpha是对残差收益率的预测。向过去看，即后验alpha是实现的残差收益率的平均值。
 
alpha类似beta，是利用线性回归将组合收益率分解为与基准相关的部分（线性相关)，以及与基准不相关的残差部分（非线性相关）。于是：
 
\begin{align*}
 r_{p}(t) &= \alpha_p + \beta_p r_b(t) + \epsilon_p(t)
 \end{align*}
 
上面的${\alpha }_p$和${\beta }_p$分别是我们的后验alpha与后验beta。马上，我们可以推导出组合的残差收益率：
 
\begin{align*}
 \theta_{p}(t) &= \alpha_p + \epsilon_p(t)
 \end{align*}
 
${\alpha }_p$便是平均残差收益率，${ϵ}_p(t)$是残差收益率的随机项（均值为0）。
 
当我们向未来看，我们的先验alpha就是对残差收益率的预测。令${\theta }_i$表示股票i的残差收益率，于是有：
 
\begin{align*}
 \alpha_i &= \mathbb{E}[\theta_i]
 \end{align*}
 
组合alpha为：
 
\begin{align*}
 \alpha_p &= \boldsymbol{w^{\prime} \alpha}
 \end{align*}
 
根据定义，基准的残差收益率总是为0，无风险资产的残差收益率也是0，因此任何有业绩基准和现金构成的投资租着的alpha也必然为0，即被动投资的alpha为0。
 
后验信息率——对业绩的衡量
 
信息率用IR来表示，定义为年化残差收益率与年化残差风险的比值:
 
\begin{align*}
 IR_p = \frac{\bar{\theta}_p}{\omega_p} = \frac{\bar{\alpha_p}}{std(\alpha_p)}
 \end{align*}
 
若不存在基准择时，那么${\beta }_p=1$：
 
\begin{align*}
 IR_p = \frac{\bar{\alpha_p}}{std(\alpha_p)} = \frac{r_p-r_b}{std(r_p-r_b)}
 \end{align*}
 
上面这个公式我们是不是觉得有点眼熟，是的，很像夏普比率：
 
\begin{align*}
 SR = \frac{r_p-r_f}{std(r_p)}
 \end{align*}
 
SR代表单位总风险所蕴含的超额回报，IR在这个基础上，引入了相对性，它衡量了主动头寸组合的单位风险所蕴含的主动收益，换言之，即风险调整后的alpha。
 如果我们将基准设为无风险资产，那么IR就是SR，之前我们也讨论过，SR用来衡量追求绝对收益的对冲基金更加合适，对于追求相对收益的投资基金或者投资策略，
 就不那么合适了。
 
在《主动投资组合管理》，grinold给出了衡量IR的参考分布：
 
分位数
信息率
10
1
25
0.5
50
0
75
-0.5
90
-1
Grinold认为整体而言，投资经理的费前信息率非常接近上表，是一个对称分布，所以主动管理是一个零和博弈游戏。在实践中，信息率高于1是卓越，高于0.5的信息率算是优秀了。
 
残差前沿
 
在被动投资里，我们的投资机会集就是与有效前沿相切的CML，所有投资经理、投资者都一样。而在主动投资中，IR绝对了投资经理、投资者的能力水平，并且只有在相同的业绩基准下，投资经理的IR才有对比的合理性。
 信息率为主动投资经理定义了一条“预算约束”，即残差前沿：
 
\begin{align*}
 \alpha_p = IR \cdot \omega_p
 \end{align*}
 
在最优的情形下，投资经理只能通过增加相应程度的残差风险来增加预期残差收益率。下面我们画出了主动投资的机会集，IR是图中的斜率，x/y轴分别代表残差收益率和残差风险。
 
import matplotlib.pyplot as plt
omegas = np.linspace(0, 0.15,50)
IR1,IR2,IR3 = [1,0.75,0.5]
alphas_1 = IR1*omegas
alphas_2 = IR2*omegas
alphas_3 = IR3*omegas
plt.plot(omegas, alphas_1, 'b-',label='IR1')
plt.plot(omegas, alphas_2, 'b--',label='IR2')
plt.plot(omegas, alphas_3, 'b-.',label='IR3')
plt.title("Active opportunity sets")
plt.xlabel("$\omega$")
plt.ylabel("alpha")
plt.legend()
plt.show()
 
 
主动投资目标函数
 
首先，让我们重温下MPT里的最优组合问题阐述，其中f是超额收益：
 
\begin{align*}
 Minimize \qquad & \boldsymbol{w^{\prime} f} - \lambda \boldsymbol{w^{\prime} \Sigma w}\
 s.t \qquad & \boldsymbol{w^{\prime}} \boldsymbol{1} = 1
 \end{align*}
 
在主动投资组合管理中，我们关注的目标不再是我们的组合头寸，而是主动头寸，还记得我们的组合头寸总是等于基准头寸加上主动头寸么？
 
那么，在没有基准择时的情况下，我们的问题便转化为寻找最优无主动beta、现金中性的主动头寸：
 
\begin{align*}
 Maximize \qquad & \boldsymbol{w_a^{\prime} \alpha} - \lambda \boldsymbol{w_a^{\prime} (\Sigma - \beta \beta^{\prime} \sigma_b^2) w_a}
 = \alpha_p - \lambda \omega_p^2\
 s.t \qquad & \boldsymbol{w_a^{\prime}} \boldsymbol{1} = 0\
 \qquad & \boldsymbol{\beta^{\prime} w_a} = 1
 \end{align*}
 
给定无差异曲线下的最优解
 
我们有两个函数，分别是无差异曲线族和残差前沿：
 
\begin{align*}
 U &= \alpha - \lambda \omega^2, \quad \lambda \in \mathbb{R^{+}}\
 \alpha & = IR \cdot \omega
 \end{align*}
 
为了找到两条曲线的焦点，把残差前沿带入无差异效用曲线：
 
\begin{align*}
 \lambda \omega^2 - IR \cdot \omega + U = 0
 \end{align*}
 
因为相切，所以上述曲线只有一个交点，最终得到：
 
\begin{align*}
 U^{\ast} &= \frac{IR^2}{4\lambda}\
 \alpha^{\ast} &= \frac{IR^2}{2 \lambda}\
 \omega^{\ast} &= \frac{IR}{2 \lambda}
 \end{align*}
 
下面我们用python代码画出了无差异效用曲线和残差前沿，并且得到了最优组合。
 
omegas = np.linspace(0, 0.15,50)
IR = 0.75
lam = 5
alphas = IR*omegas
opt_va = IR**2/(4*lam)
opt_alpha = IR**2/(2*lam)
opt_omega = IR/(2*lam)

plt.plot(omegas, alphas, 'b-')
plt.plot(opt_omega, opt_alpha, 'ko')
# 无差异效用曲线
U = opt_va + lam * omegas**2
plt.plot(omegas, U, 'r-')
plt.plot(omegas, U+0.02, 'r-')
plt.plot(omegas, U-0.02, 'r-')
plt.title("Optimal decision under utility functions")
plt.xlabel("$\omega$")
plt.ylabel("alpha")
plt.show()
 
 
主动投资组合案例
 
下面我们用一个toy example作为这篇教程的结尾。这个案例实验取自于《Alpha系列——从均值方差到有效前沿》，我们随机选取了五个股票，并重抽样还原至月收益数据，选取时间范围为2012年处到2017年底，同时以等权投资组合作为我们的基准业绩组合。
 无风险资产收益率我们去一年期chibor利率，回测区间为2014年到2017年底，预留两年的数据用以计算必要的参数。
 
下面我们给出了实际可运行的python代码，其中get_active_mv_weight函数用以计算主动投资下的组合权重，plot_wealth_path函数画出我们最终的净值曲线，我们分别设置对残差风险厌恶系数分别为5、1、0.2情况下的净值曲线。从图中我们可以很明显地
 看到残差风险厌恶系数对我们组合地残差风险的影响（与基准变动程度的偏离），同时我们的净值曲线大多在基准上面，说明了我们的主动头寸贡献了alpha，回忆一下，我们组合中的基准头寸beta为1，alpha为0。
 
 
源码地址：《Alpha系列——主动投资管理之信息率》
 
 
本文由BigQuant人工智能量化投资平台原创推出，版权归BigQuant所有，转载请注明出处。

信息率失真函数：找到信源压缩的最大限度（即最大化H(X|Y))，使编码后所需的信息传输率R尽量小（即最小化I(X;Y)）
 
信道容量：平均互信息的最大值，即信道传送信息的最大能力
 
 
 
 
 

第4章　信息率失真函数
 
主要内容 ：
 
4.1  平均失真和信息率失真函数
 
4.2  离散信源和连续信源的R(D)的计算
 
 
 
 
 
4.1  平均失真和信息率失真函数
 
4.1.1  失真函数
 
假如某一信源X，输出样值为xi，xi{a1,…an}，经过有失真的信源编码器，输出Y，样值为yj，yj {b1,…bm}。如果xi＝yj，则认为没有失真；如果xi  yj，那么就产生了失真。失真的大小，用一个量来表示，即失真函数d(xi，yj)，以衡量用yj代替xi所引起的失真程度。一般失真函数定义为
 

 
 
失真矩阵
 
单个符号的失真度的全体构成的矩阵，称为失真矩阵
 

 
 
最常用的失真函数
 

 
 
前三种失真函数适用于连续信源，后一种适用于离散信源。   
 
序列失真函数
 
推广到序列编码
 
如果假定离散信源输出符号序列X=(X1X2…Xl…XL)，其中L长符号序列样值xi＝(xi1xi2…xil…xiL)，经信源编码后，输出符号序列Y=(Y 1Y 2…Y l…Y L)，其中L长符号序列样值yj＝(yj1yj2…yjl…yjL)，则失真函数定义为：  
 

 
 
其中d(xil，yjl)是信源输出L长符号样值xi中的第l个符号xil时，编码输出L长符号样值yj中的第l个符号yjl的失真函数。
 
4.1.2  平均失真                   
 
xi和yj都是随机变量，失真函数d(xi，yj)也是随机变量
 
限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真，记为  
 

 
 
对于连续随机变量同样可以定义平均失真
 

 
 
对于L长序列编码情况，平均失真为
 

 
 
4.1.3  信息率失真函数R(D)
 

 
 
信源编码器的目的
 
使编码后所需的信息传输率R尽量小
 
R越小，引起的平均失真就越大
 
给出一个失真的限制值D，在满足平均失真 D的条件下，选择一种编码方法使信息率R尽可能小。
 
信息率R就是所需输出的有关信源X的信息量。
 
将此问题对应到信道，
 
接收端Y需要获得的有关X的信息量，也就是互信息I(X;Y)。
 
这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率p(yj/xi)就对应信道转移概率。
 
1、 D允许试验信道
 
平均失真由信源分布p(xi)、假想信道的转移概率p(yj/xi)和失真函数d(xi，yj)决定，若p(xi)和d(xi，yj)已定，则可给出满足x下式条件的所有转移概率分布pij，它们构成了一个信道集合PD
 

 
 
称为D允许试验信道。
 
 
 
l  满足保真度准则下，寻找再现信源消息所必须获得的最低平均信息量
 
l  接收端获得的平均信息量可用平均互信息I(X;Y)来表示
 
l  问题转化成：满足保真度准则的条件下，寻找平均互信息I(X;Y)的最小值
 
l  在D失真许可的所有试验信道集合PD中，寻找一个信道p(yj/xi)，使I(X;Y)取极小值
 
2、  信息率失真函数R(D)
 
互信息取决于信源分布和信道转移概率分布
 
当p(xi)一定时，互信息I是关于p(yj/xi) 的U型凸函数，存在极小值。
 
在上述允许信道PD中，可以寻找一种信道pij，使给定的信源p(xi)经过此信道传输后，互信息I(X；Y)达到最小。
 
该最小的互信息就称为信息率失真函数R(D)，即
 

 
 
单位：bit/信源符号
 
对于离散无记忆信源，R(D)函数可写成
 

 
 
p(ai)，i＝1，2，…，n     是信源符号概率分布；
 
p(bj/ai)，i＝1，2，…，n，j＝1，2，…，m  是转移概率分布；
 
p(bj)，j＝1，2，…，m    是接收端收到符号概率分布。
 
信息率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系
 
 
 
4.1.4  信息率失真函数的性质
 
R(D)函数的定义域和值域
 
    ⑴  定义域
 
     [0, Dmax]
 
     Dmin和R(Dmin)
 
         Dmin＝0   
 

 
 
          对于连续信源
 

 
 
   (2)  Dmax和R(Dmax)
 
选择所有满足R(D)＝0中D的最小值，定义为R(D)定义域的上限Dmax，即
 

 
 
因此可以得到R(D)的定义域为
 

 
 

 
 
2、R(D)函数的下凸性和连续性 
 
 
3、R(D)函数的单调递减性
 
    容许的失真度越大，所要求的信息率越小。反之亦然。 
 
结论：
 
l  R(D)是非负的实数，即R(D)  0。
 
l  定义域为0～Dmax，其值为0～H(X)。
 
l  当D>Dmax时，R(D)  0。
 
l  R(D)是关于D的下凸函数，因而也是关于D的连续函数。
 
l  R(D)是关于D的严格递减函数。
 
对一般R(D)曲线的形态可以画出来：