精华内容
下载资源
问答
  • 评分卡模型

    2021-05-18 12:55:30
    玩转逻辑回归之金融评分卡模型【技术方法】 LR制作评分卡【kaggle】 构建风控评分卡模型介绍(WOE/KS/ROC)【技术方法】 三种评分卡模型到底是什么?【技术方法】 评分卡模型的评估方法论【技术方法、代码】 ...

     

    玩转逻辑回归之金融评分卡模型

     

    文章链接:

    玩转逻辑回归之金融评分卡模型【技术方法】

    LR制作评分卡【kaggle】

    构建风控评分卡模型介绍(WOE/KS/ROC)【技术方法】

    三种评分卡模型到底是什么?【技术方法】

    评分卡模型的评估方法论【技术方法、代码】

    评分卡模型构建介绍【构建流程】

    信用评分卡模型浅析【总结的不错】

     

    信用风险计量体系包括主体评级模型和债项评级两部分。主体评级和债项评级均有一系列评级模型组成,其中:

    主体评级模型可用“四张卡”来表示,分别是A卡、B卡、C卡和F卡;

    债项评级模型通常按照主体的融资用途,分为企业融资模型、现金流融资模型和项目融资模型等。

    在互金公司等各种贷款业务机构中,普遍使用信用评分,对客户实行打分制,以期对客户有一个优质与否的评判。主要有反欺诈评分模型信用评分卡模型(千元左右的小额短期贷款风控业务的重点工作是信用评分方面):

    针对已知用户的每个特征进行打分,最后求和与阈值分数对比,以此做出判断,生成的不同变量的不同特征的分数体系即打分卡模型。

    信用评分卡:
    A卡,Application scorecard。即申请评分卡,用于贷前审批阶段对借款申请人的量化评估;
    B卡,Behavior scorecard。即行为评分卡,用于贷后管理,通过借款人的还款及交易行为,结合其他维度的数据预测借款人未来的还款能力和意愿,推测用户是否会逾期;例如用户在某银行贷款后,又去其他多家银行申请了贷款,那可以认为此人资金短缺,可能还不上钱,如果再申请银行贷款,就要慎重放款。
    C卡,Collection scorecard。催收评分卡,用于催收管理,在借款人当前还款状态为逾期的情况下,预测未来该笔贷款变为坏账的概率。
    三种评分卡使用的时间不同,分别侧重贷前、贷中、贷后(已经逾期之后);另外数据要求不同,A卡一般可做贷款0-1年的信用分析,B卡则是在申请人有了一定行为后,有了较大数据进行的分析,一般为3-5年,C卡则对数据要求更大,需加入催收后客户反应等属性数据。现金贷行业通过率10%至30%,首逾15%至40%,坏帐4%至15%不等,相关指标根据不同时期市场环境和企业风控水平浮动。另外,风控不是风险越低越好,而是要控制在一个合理水平,根据不同风险对客户(额度,期限,费率)进行定价,风险管理是手段,盈利最大化才是目的。
    不同的评分卡,对数据的要求和所应用的建模方法会不一样。

    展开全文
  • 评分卡模型搭建流程

    2018-08-31 10:34:44
    讲述了评分卡模型整个搭建流程,包括IV和woe转换的概念
  • 信用评分卡模型

    2021-06-19 22:54:31
    信用评分卡模型是最常见的金融风控手段之一,它是指根据客户的各种属性和行为数据,利用一定的信用评分模型,对客户进行信用评分,据此决定是否给予授信以及授信的额度和利率,从而识别和减少在金融交易中存在的交易...

    1、评分卡简介

    信用评分卡模型是最常见的金融风控手段之一,它是指根据客户的各种属性和行为数据,利用一定的信用评分模型,对客户进行信用评分,据此决定是否给予授信以及授信的额度和利率,从而识别和减少在金融交易中存在的交易风险。

    评分卡模型在不同的业务阶段体现的方式和功能也不一样。按照借贷用户的借贷时间,评分卡模型可以划分为以下三种:

    • 贷前:申请评分卡(Application score card),又称为A卡

    • 贷中:行为评分卡(Behavior score card),又称为B卡

    • 贷后:催收评分卡(Collection score card),又称为C卡

    标准评分卡模型是当前业界使用最多的风控模型,建模后得到的评分卡模型如下:

    变量名称 变量范围 得分
    基准分 223
    年龄 18≤年龄<25 -2
    年龄 25≤年龄<35 8
    年龄 35≤年龄<55 10
    年龄 55≤年龄 5
    性别 4
    性别 2
    婚姻状况 已婚 8
    婚姻状况 未婚 -2
    学历 硕士,博士 10
    学历 本科 8
    学历 大专 5
    学历 中专,技校,高中 1
    学历 初中,小学 -2
    月收入 月收入<3000 -8
    月收入 3000≤月收入<5000 0
    月收入 5000≤月收入<8000 5
    月收入 8000≤月收入<12000 13
    月收入 12000≤月收入 20

    评分卡模型如何对用户进行评分呢?一个用户的总评分等于基准分加上对客户各个属性的评分。以上面的评分卡为例:
    =+++++ 客户评分=基准分+年龄评分+性别评分+婚姻状况评分+学历评分+月收入评分
    如果某客户年龄为27岁,性别为男,婚姻状况为已婚,学历为本科,月收入为10000,那么他的评分为:
    223+8+4+8+8+13=264 223(基准分)+8(年龄评分)+4(性别评分)+8(婚姻状况评分)+8(学历评分)+13(月收入评分)= 264

    2、评分卡的开发流程

    信用评分卡的开发有一套科学的、严密的流程,包括数据获取,EDA,数据预处理,变量筛选,LR模型的开发和评估,生成评分卡模型以及布置上线和模型监测。典型的开发流程如下图所示:

    在这里插入图片描述

    3、探索性数据分析

    有些时候建模人员一拿到数据就直接开始上手建模,事实并非如此。第一步应该是分析数据,并把数据转化为可用的信息。分析数据就是通常所说的EDA,转化数据包括在数据预处理部分。

    EDA操作主要是分析样本总体的大概情况,描述样本总体情况的指标主要有直方图、箱形图等。单变量的分布要大致呈正态分布,才能够满足后续分析的条件。多变量之间的相关性要尽可能低。检查完后切分数据集,将训练数据切分,用于检验。

    探索性数据分析工具:DataPrep、Pandas Profiling、SweetViz、AutoViz。

    4、数据预处理

    该环节主要是为了将获取的原始数据转化为可用作模型开发的数据。数据处理可以概括为:缺失值处理、数据类型转换、去除逻辑错误和去除业务无关变量几部分:

    Ÿ 缺失值处理:处理方式可以分为填补和删除。填补缺失值需根据实际字段的业务含义,通常可以用0、均值、众数和KNN算法填充。但是,在金融风控场景下,缺失值可能本身就是一种有业务含义的字段,可以考虑单独作为一个类别。当一个字段缺失值超过一半或更多的时候,一般考虑删除。

    Ÿ 数据类型转换:一般指的是本应该是数值型的却被存成了字符型,或者日期格式不正确等,可以按照实际需求进行转换。

    Ÿ 去除逻辑错误:一般是指去除异常值,比如一个借款客户的年龄为168岁,这显然是不合理的。对于违反常识或者严重离群的数据点,结合字段的实际含义去除异常值。

    Ÿ 去除业务无关变量:最常见的一些会被去掉的字段,就是在一些客户资质比较差的场景下,用户手动填写的数据。如:收入、家庭人数、学历等。因为这些很可能是用户随便填写的,噪声很大。

    5、特征分箱

    (1)Split分箱:决策树分箱

    Split分箱是一种自上而下(即基于分裂)的数据分段方法。如下图所示,Split分箱和决策树比较相似,切分点的选择指标主要有 entropy,gini 指数和 IV值等。

    在这里插入图片描述

    (2)Merge分箱:卡方分箱

    Merge分箱是一种自底向上(即基于合并)的数据离散化方法。如图4.3所示,Merge分箱常见的类型为卡方分箱。

    在这里插入图片描述

    (3)特征分箱的优势

    • 特征分箱可以有效处理特征中的缺失值和异常值。

    • 特征分箱后,数据和模型会更稳定。

    • 特征分箱可以简化逻辑回归模型,降低模型过拟合的风险,提高模型的泛化能力。

    • 将所有特征统一变换为类别型变量。

    • 分箱后变量才可以使用标准的评分卡格式,即对不同的分段进行评分。

    6、WOE编码

    (1)WOE编码

    分箱之后我们便得到了一系列的离散变量,下面需要对变量进行编码,将离散变量转化为连续变量。WOE编码是评分卡模型常用的编码方式。

    WOE 称为证据权重(weight of evidence),是一种有监督的编码方式,将预测类别的集中度的属性作为编码的数值。对于自变量第i箱的WOE值为:

    在这里插入图片描述

    其中, pi1p_{i1}是第i箱中坏客户占所有坏客户的比例;

    pi0p_{i0}是第i箱中好客户占所有好客户的比例;

    #Bi\#B_i是第i箱中坏客户的人数;

    #Gi\#G_i是第i箱中好客户的人数;

    #BT\#B_T是所有坏客户的人数;

    #GT\#G_T是所有好客户的人数;

    变换以后可以看出,WOE也可以理解为当前分箱中坏客户和好客户的比值,和所有样本中这个比值的差异 (也就是我们随机的坏客户和好客户的比例)。WOE越大,这种差异越大,当前分组里的坏客户的可能性就越大,WOE越小,差异越小,这个分组里的样本响应的可能性就越小。当分箱中坏客户和好客户的比例等于随机坏客户和好客户的比值时,说明这个分箱没有预测能力,即WOE=0。

    • WOE是正值,相对于未分组,能识别更多的违约。

    • WOE是负值,相对于未分组,能识别更多的不违约。

    因此,WOE的符号代表分组在违约还是不违约情况下有相对优势,而WOE的绝对值越大优势就越明显。

    WOE具体计算过程如下表所示:

    在这里插入图片描述

    (2)WOE编码的优势

    • 可提升模型的预测效果

    • 将自变量规范到同一尺度上

    • WOE能反映自变量取值的贡献情况

    • 有利于对变量的每个分箱进行评分

    • 转化为连续变量之后,便于分析变量与变量之间的相关性

    • 与独热向量编码相比,可以保证变量的完整性,同时避免稀疏矩阵和维度灾难。

    7、特征筛选

    7.1 预测能力

    在筛选变量时,特征对目标变量的预测能力是首要考虑的内容,模型的效果主要取决于变量的预测力。这里总结几种常用的筛选变量的方法:

    7.1.1 IV值筛选

    IV称为信息价值(information value),是目前评分卡模型中筛选变量最常用的指标之一,自变量的IV值越大,表示自变量的预测能力越强。类似的指标还有信息增益、基尼(gini)系数等。常用判断标准如下表:

    IV范围 预测能力
    <0.02 无效
    0.02-0.10 弱预测能力
    0.10-0.20 中预测能力
    >0.20 强预测能力

    计算变量中第i个分箱对应的 IV 值的计算公式为:

    在这里插入图片描述

    变量对应的IV值为所有分箱对应的 IV 值之和:

    在这里插入图片描述

    从上式我们可以看出变量的 IV 值实际上是变量各个分箱的加权求和。且和交叉熵的计算过程有异曲同工之妙。以下为交叉熵公式:

    在这里插入图片描述

    IV值的具体计算流程如下表:

    在这里插入图片描述

    7.1.2 stepwise筛选

    基于stepwise的变量筛选方法也是评分卡中变量筛选最常用的方法之一。具体包括三种筛选变量的方式:

    • 前向选择forward:逐步将变量一个一个放入模型,并计算相应的指标,如果指标值符合条件,则保留,然后再放入下一个变量,直到没有符合条件的变量纳入或者所有的变量都可纳入模型。

    • 后向选择backward:一开始将所有变量纳入模型,然后挨个移除不符合条件的变量,持续此过程,直到留下所有最优的变量为止。

    • 逐步选择stepwise:该算法是向前选择和向后选择的结合,逐步放入最优的变量、移除最差的变量。

    基于stepwise的筛选方法进行特征选择时,可以使用AIC、BIC、KS或AUC作为选择标准。其中,AIC和BIC准则可以在模型复杂度和模型对数据集描述能力之间寻求最佳平衡,通过加入模型复杂度的惩罚项来避免过拟合问题。下面介绍这两种模型选择方法。

    (1)赤池信息准则AIC

    AIC是衡量统计模型拟合优良性的一种准则,它是建立熵的概念上,提供了权衡估计模型复杂度和拟合数据优良性的标准。

    通常情况下,AIC定义为:
    AIC=2k2lnLAIC=2k-2lnL
    其中,k是模型参数个数,L是似然函数。从一组可供选择的模型中选择最佳模型时,通常选择AIC最小的模型。

    当两个模型之间存在较大差异时,差异主要体现在似然函数项,当似然函数差异不显著时,式中第一项,即模型复杂度会起作用,从而表明参数个数少的模型是较好的选择。

    一般而言,当模型复杂度提高(k增大)时,似然函数L也会增大,从而使AIC变小,但是k过大时,似然函数增速减缓,导致AIC增大。模型过于复杂容易造成过拟合现象。

    所以目标就是选取AIC最小的模型,AIC不仅要提高模型拟合度(极大似然),而且要引入惩罚项,使模型参数尽可能少,从而降低过拟合的可能性。

    (2)贝叶斯信息准则BIC

    BIC与AIC相似,更多地用于模型选择。训练模型时,增加参数数量,也就是增加模型复杂度,会增大似然函数,但是也会导致过拟合现象,针对该问题,AIC和BIC均引入了与模型参数个数相关的惩罚项,BIC的惩罚项比AIC的大。同时要考虑样本数量,样本数量过多时,可有效防止模型精度过高造成的模型复杂度过高。
    BIC=klnn2lnLBIC=klnn-2lnL
    其中,k为模型参数个数,n为样本数量,L为似然函数。 惩罚项在维度过大且训练样本数量相对较少的情况下,可以有效避免出现维度灾难现象。

    7.1.3 特征重要度筛选

    随机森林计算特征重要度的步骤:

    • 对每一颗决策树,选择相应的袋外数据(OOB)计算袋外数据误差,记为errOOB1err_{OOB1}

    • 随机对袋外数据OOB所有样本的特征加入噪声干扰(随机的改变样本在该特征的值),再次计算袋外数据误差,记为errOOB2err_{OOB2}

    • 特征的重要度=1N(errOOB2errOOB1){1\over N}\sum(err_{OOB2}-err_{OOB1}),N 表示随机森林中决策树的个数。

    当改变样本在该特征的值,若袋外数据准确率大幅度下降,则该特征对于样本的预测结果有很大影响,说明特征的重要度比较高。

    GBDT计算特征重要度的原理:

    特征 j 在单颗树中的重要度的如下:

    J^j2(T)=t=1L1i^t21(vt=j)\hat J^2_{j}(T)= \sum\limits_{t=1}^{L-1}{\hat i^2_{t}1(v_{t}=j)}

    其中,L 为树的叶子节点数量;L-1 为树的非叶子节点数量;vtv_t是和节点 t 相关联的特征;it2i_t^2是节点 t 分裂之后平方误差的减少值。

    特征j的全局重要度为特征j在单颗树中的重要度的平均值:

    J^j2(T)=1Mm=1MJ^j2(Tm)\hat J^2_{j}(T)= {1\over M}\sum\limits_{m=1}^{M}{\hat J^2_{j}(T_m)}

    其中,M是树的数量。

    7.1.4 LASSO正则化筛选

    L1正则化通常称为Lasso正则化,它是在代价函数上增加了一个L1范数:

    J(θ)=i=1M(y(i)log(hθ(x{i}))+(1y(i))log(1hθ(x{i})))+λmj=1nθjJ(\theta)=-\sum\limits_{i=1}^{M}(y^{(i)}log(h_{\theta}(x^{\{i\}}))+(1-y^{(i)})log(1-h_{\theta}(x^{\{i\}})))+{\lambda\over{m}}\sum\limits_{j=1}^{n}|\theta_j|

    L1正则化能起到使参数更加稀疏的作用,稀疏化的结果使优化后的参数一部分为0,另一部分为非零实值。非零实值的那部分参数可起到选择重要参数或特征维度的作用,同时可起到去除噪声的效果。

    7.1.5 两两相关性分析

    对于自变量X1,X2X_1,X_2,如果存在常数c0,c1,c2c_0,c_1,c_2使得以下线性等式近似成立:

    c1X1+c2X2c0c_1X_1 + c_2X_2 \approx c_0

    称自变量X1,X2X_1,X_2具有较强的线性相关性。

    两变量间的线性相关性可以利用皮尔森相关系数来衡量。系数的取值为[-1,1],相关系数越接近0的说明两变量线性相关性越弱,越接近1或-1两变量线性相关性越强。

    在这里插入图片描述

    当两变量间的相关系数大于阈值时(一般阈值设为 0.7),剔除IV值较低的变量,或分箱严重不均衡的变量。

    7.1.6 多重共线性分析

    对于自变量X1,X2,...,XnX_1,X_2,...,X_n,如果存在常数c0,c1,c2,...,cnc_0,c_1,c_2,...,c_n使得以下线性等式近似成立:

    c1X1+c2X2+...+cnXn=c0c_1X_1+c_2X_2+...+c_nX_n=c_0

    称自变量X1,X2,...,XnX_1,X_2,...,X_n具有较强的多重共线性。

    通常用VIF值来衡量一个变量和其他变量的多重共线性:

    VIFi=11Ri2VIF_i={1\over{1-R^2_i}}

    其中,RiR_iXiX_i与其他自变量的复相关系数。

    在这里插入图片描述

    其中, 为其他变量的线性表示。

    在这里插入图片描述

    X^i\hat X_i为变量XiX_i的均值。

    当某个变量的VIF大于阈值时(一般阈值设为10 或 7),需要逐一剔除解释变量。当剔除掉XkX_k时发现VIF低于阈值,则从XkX_kXiX_i中剔除IV值较低的一个。

    为什么要进行相关性分析?

    设想建立一个具有两变量X1X_1X2X_2的线性模型,真实模型是Y=X1+X2Y=X_1+X_2。如果X1X_1X2X_2线性相关(比如说 X12X2X_1 \approx 2X_2),那么拟合模型Y=3X2Y=3X_2, Y=2X1X2Y=2X_1-X_2Y=51X199X2Y=51X_1-99X_2的效果都一样好,理想状态下,系数权重会有无数种取法,使系数权重变得无法解释,导致变量的每个分段的得分也有无数种取法(后面我们会发现变量中不同分段的评分会用到变量的系数)。

    即使不进行线性相关性分析也不会影响模型的整体性能,进行相关性分析只是为了让我们的模型更易于解释,保证不同的分箱的得分正确。

    决策树、随机森林的多重共线性问题:

    多重共线性的特征不会对决策树、随机森林的预测能力有影响,但是数据的解释性会被多重共线性影响。随机森林可以返回特征的重要性(importantce),当有多重共线性时,importance会被影响。一些具体多重共线性的特征的重要性会被相互抵消,从而影响我们解释和理解特征。比如说,特征A和B完全一样,我们在用随机森林时,它们的重要性应该非常接近(考虑到随机性)。如果我们在训练前删除特征B,那么特征A的重要性就会翻番。这一下子就影响了我们对特征、数据的理解。。

    7.2 稳定性

    在模型中使用不稳定的变量,可能会影响样本人群的代表性和评分的稳定性。通常通过计算变量在开发样本和跨时间样本上的群体稳定性指标(PopulationStability Index,即PSI)对变量的稳定性进行评估。PSI的计算公式如下:

    在这里插入图片描述

    其中:PSI是对两个日期的特征数据进行计算,可以任选其一作为base集,另一则是test集(也可称为expected集和actual集),用字母i表示第i个分段区间。

    特征的PSI计算过程如下:

    (1) 特征取值等频分段:对这个特征在base集的取值进行等频划分(通常等频分10份即可)。

    (2) 计算pbaseip^i_{base}:统计落在每个分段区间内的目标数量,进一步得到数量占比,表示该特征在base集中第i个取值分段中的数量占比。

    (3) 计算ptestip^i_{test}:按照(2)中的方式计算test集的ptestip^i_{test}。需要注意的是,分段还是采用第1步得到的分段(依据base集的分段)。

    (4) 根据公式即可计算得到该特征基于这两个日期的PSI。

    通常,如果一个特征跨度6个月的PSI取值小于0.1,那么这个特征被认为是稳定的(当然,也可以根据具体情况适当放宽0.1的标准)。

    注意:并非所有PSI值很高的特征都不能用于建模,如果一个特征区分度很好但PSI值不满足预期(比如跨度6个月的PSI大于0.1),但同时,该特征的取值波动性从业务的角度可以解释得通,那么这样的特征用于建模也是可以的。

    7.3 单调性

    通常情况下,单个变量在模型中的作用必须具有单调性。变量好坏分布的单调性越强,定量模型的性能将越好。在现实数据中,完全单调的情况是很少出现的,更多的情况是在总体趋势保持单调的同时,存在一定波动。模型开发一般采用将坏帐率接近、业务同质性高的群体合并来对变量分箱(classing),以帮助业务人员理解总体趋势。

    在特征分箱后,一般通过可视化的方式度量变量的单调性,如果分箱方式不满足单调性的要求,可调整分箱。如下图所示为某变量分箱后,训练集和测试集下每一箱对应的坏样本率,可以看到图中的第一箱和第二箱的bad_rate存在倒挂,说明bad_rate不单调,需要进行调整。可以尝试将第一箱和第二箱进行合并。

    在这里插入图片描述

    调整分箱后的bad_rate如下图2所示,bad_rate单调:

    在这里插入图片描述

    绘制该变量每一箱的样本比例和bad_rate,如下图所示:

    在这里插入图片描述

    7.4 业务合理性

    定量评分模型需要注重模型变量的业务合理性和解释性,鉴于风险控制的严谨性,在风险建模中更要特别慎重。然而,出于种种已知或未知的原因,统计上显著的变量,其在定量模型中的作用不一定与常识和业务经验一致。为了避免由此可能导致的错误决策,模型开发需参考业务部门的意见和建议,确保变量在不同取值下,好坏分布的总体趋势与业务经验一致。

    7.5 特征筛选的作用

    建模之前的特征筛选通常会进行两次,第一次会在特征分箱之前进行粗筛选,排除没有预测能力的变量;第二次会在特征分箱后进行细筛选,筛选出预测能力强,具有单调性,且业务上可解释的变量。特征筛选在建模过程中非常重要,一般来说具有如下好处:

    • 剔除跟目标变量不太相关的特征

    • 消除由于线性相关的变量,避免特征冗余

    • 减轻后期验证、部署、监控的负担

    • 保证变量的可解释性

    8、逻辑回归模型

    构建初步的逻辑回归模型,根据p-value进行变量筛选,根据各个变量的系数符号进行筛选,得到最终的逻辑回归模型。

    由于逻辑回归模型具有简单、稳定、可解释性强,技术成熟和易于检测和部署等优势,逻辑回归是标准评分卡所使用的算法。

    8.1 变量系数符号筛选

    检查逻辑回归模型中各个变量的系数,如果所有变量的系数均为正数,模型有效。假如有一些变量的系数出现了负数,说明有一些自变量的线性相关性较强,需要进一步进行变量筛选。通常的做法是:

    (1) 综合考虑变量的IV值和业务建议,按照变量的优先级进行降序排列;

    (2) 选择优先级最高的4-5个基本变量;

    (3) 按优先级从高到低逐渐添加变量,当新添加的变量之后,出现系数为负的情况,舍弃该变量;

    (4) 直到添加最后一个变量。

    8.2 变量p-value筛选

    p-value是假设检验的里面的概念。模型假设某自变量与因变量线性无关,p-value可以理解为该假设成立的可能性 (便于理解,不太准确)。一般,当p-value大于阈值时,表示假设显著,即自变量与因变量线性无关;当p-value小于阈值时,表示假设不显著,即自变量与因变量线性相关。阈值又称为显著性水平,通常取0.05。

    因此,当某个字段的p-value大于0.05时,应该删除此变量。

    9 生成标准评分卡

    9.1 评分转换

    我们将客户违约的概率表示为p,则正常的概率为1-p。由逻辑回归的基本原理可得:

    在这里插入图片描述

    整理以上公式:

    在这里插入图片描述

    我们可以定义比率来表示客户违约的相对概率:
    在这里插入图片描述

    将odds带入可得:
    在这里插入图片描述

    评分卡的分值可以定义为比率对数的线性表达来,即:

    在这里插入图片描述

    其中,A与B是常数,B前面的负号可以使得违约概率越低,得分越高。通常情况下,即高分值代表低风险,低分值代表高风险。

    A、B的值可以通过将两个已知或假设的分值带入计算得到。通常情况下,需要设定两个假设:

    • 某个特定的违约概率下的预期评分,即比率odds为 时的分数为 ;

    • 该违约概率翻倍的评分(PDO);

    根据以上的分析,则odds为 时的分数为 ,代入以上线性表达式,可得:

    在这里插入图片描述

    解该方程组,可得:

    在这里插入图片描述

    在实际的应用中,我们会计算出每个变量的各分箱对应的分值。新用户产生时,对应到每个分箱的值,将这些值相加,最后加上初始基础分,得到最终的结果。
    在这里插入图片描述

    式中:变量 是出现在最终模型的入模变量。由于所有的入模变量都进行了WOE编码,可以将这些自变量中的每一个都写作 的形式:

    在这里插入图片描述

    其中, 为基础分数; 为逻辑回归中第 个自变量的系数; 为第 个变量的第 个分箱的WOE值, 是0,1逻辑变量,当 代表自变量 取第 个分箱,当 代表自变量 不取第 个分箱。最终得到下表所示的评分卡模型的评分表:
    在这里插入图片描述

    从以上公式中,我们发现每个分箱的评分都可以表示为B(θiωij)-B(\theta_i\omega_{ij}),也就是说影响每个分箱的因素包括三部分,分别为参数B,变量系数θi\theta_i,和对应分箱的WOE编码ωij\omega_{ij}

    9.2 评分卡生成

    在进行评分映射的时候,通常采用如下公式:

    在这里插入图片描述

    其中,当Odds=10时,基础分score=600,PDO=20。

    一个用户的总评分等于基准分加上对客户各个属性的评分。以表中的评分卡为例,某客户年龄为27岁,性别为男,婚姻状况为已婚,学历为本科,月收入为10000,那么他的评分为:

    223+8+4+8+8+13=264223(基准分)+8(年龄评分)+4(性别评分)+8(婚姻状况评分)+8(学历评分)+13(月收入评分)= 264

    在这里插入图片描述

    10 模型评估

    (1)回归结果检查

    由于WOE与违约概率之间存在着某种反向趋势,在此基础上,我们可以预料到模型拟合出来的自变量系数应该都是正数,如果结果中出现了负数,应当考虑是否是来自自变量多重共线性的影响。

    为了检测定量模型的预测变量间是否存在严重的多重共线性,通常运用线性回归过程计算方差膨胀系数(Variance Inflation Factor)。VIF表示的是某个自变量能被其它自变量解释的程度,VIF值越高,多重共线性越严重。一般设定VIF值不高于10。若存在严重的多重共线性,则根据P值(显著性检验p值>0.05)将最不显著的变量予以删除。

    若各个变量的VIF值都远远小于10,则说明上述模型中的变量都未出现显著的多重共线性。

    (2)模型评估指标及应用场景

    一般采用准确率、召回率、KS值、AUC值、Gini系数、提升(lift)指数来评价模型的区分能力/预测能力。

    • 准确率

    对于二分类任务,准确率是最常用的评价指标,介绍评价指标之前需要先了解“混淆矩阵”,如下表所示:

    在这里插入图片描述

    其中:TP (真正例):将正类预测为正类数;TN (真负例):将负类预测为负类数;FP (假正例):将负类预测为正类数;FN (假负例):将正类预测为负类数;

    精确率(precision)的计算公式为:

    p=TPTP+FNp={TP\over{TP+FN}}

    精确率是针对预测结果而言的,表示模型预测为正的样本中有多少比例是真正的正样本。

    • 召回率

    召回率(recall)计算公式为:

    P=TPTP+FNP={TP\over {TP+FN}}

    召回率是针对原来的样本而言的,表示样本中的正例有多少比例被预测正确。

    • KS值

    KS是使用同一评分标尺下,累计好客户百分比与坏客户百分比的最大差距,如图5所示KS值为0.37。通常评分越低客户表现越坏,而评分越高客户的表现越好。如果评分区分好坏客户的能力越高,KS就会越高。理论上KS的取值在0-100%之间,常见的评分卡KS的取值范围多在25%-75%之间。KS值达到28%以上,认为模型有效。KS值常用于风控模型评估。

    在这里插入图片描述

    • AUC

    ROC曲线是评价风控模型好坏的重要手段。它是通过在0到1之间改变混合矩阵的临界值,绘制分类准确的违约记录比例(TPR)与分类错误的正常记录比例(FPR)而得到的,如图5所示。

    在这里插入图片描述

    鉴于ROC曲线的定义,对角线以上的图形越高,模型就越好。ROC曲线之下的面积被称为AUC统计量,AUC值越大,建立的评分卡越可靠。AUC值达到0.70,认为模型有效。

    • Gini系数

    Gini系数是以累计的好客户和坏客户为坐标的曲线下面积(0和0.5之间)与0.5的比值。Gini系数越高,说明评分卡的区分能力越强。Gini系数等于0说明评分卡没有任何区分能力,Gini系数等于100%则是理论上完美的评分卡。Gini系数用作风控模型评价指标。

    • 提升指数

    提升指数常用作营销模型的评价指标,衡量的是,与不利用模型相比,模型的预测能力变好了多少。不利用模型时,营销成功概率可用样本的营销成功比例来做估计值。建立营销模型的目的是提高营销成功的概率,减少营销成本。因此常将模型预测概率降序排列取出top10%的样本作为营销对象,统计这些营销对象中实际营销成功的比例,若top10%的样本中有60%的营销成功样例,而建模样本中的营销成功样例仅有20%,则提升指数=3,lift越大,模型效果越好。

    (3)模型排序能力

    模型的排序能力是指将人群按评分从低到高分组排序后,高分段组别的坏帐率应小于底分段组别。评分与坏帐率之间应存在单调递减的关系。一个较好的评分卡很少发生低分段组别的坏帐率低于高分段组别坏帐率的现象,即排序能力的跳动。如果这种跳动在很多组别发生,说明评分卡的排序能力存在问题。

    如图所示,随着分数的上升,人群的坏账率呈现逐渐下降趋势,模型具有较好的排序能力。

    在这里插入图片描述

    (4)跨时间验证

    模型建立完成后,可按期对最新时点的数据进行监控,具体包括以下内容:

    • 评分分布的稳定性检验

    • 评分变量的稳定性检验

    稳定性指数(PSI)用于测量评分或变量在开发时点和验证时点群体的分布是否保持基本一致。明显的分布变动可能导致建模时点的评分或变量对当前的人群已经不再适用。

    群体稳定性系数PSI用于显示,与开发样本比较,当前群体是否有时间上的变更。若评分分布和评分变量的稳定性发生较大变化,则需考虑调整更新模型,避免模型预测效果降低。

    (5)BCR和解释性

    在贷中评分卡设计之中,我们考虑到的不仅仅是贷款笔数的逾期水平,同样更重要的要考虑到最终贷款金额逾期的情况。这种观察指标主要是BCR(Balance Control Ratio),这个指标在常见的消费金融领域、信用卡领域都十分重要。特别是在贷中评分卡的运用上,一定要认识到贷中评分卡的使用会导致BCR发生如何的变动,以及分数调整对BCR的敏感程度。假设分数调整虽然能够降低今后贷款笔数的逾期率,但会导致BCR的显著提升,最终导致金额逾期率的上涨,那么这种分数的调整就需要进行重新斟酌。

    同样另外一个需要值得关注的是贷中评分卡的可解释性,这是因为,贷中评分卡主要涉及的是已经成熟在金融机构有过多笔还款的客户,这部分客户已经和金融机构有着一定的合作关系,如果贸然直接使用不可解释的模型进行风控,则会导致已有客户的大量投诉和反馈。如果客户将这种反馈意见反映至银监会、互联网等机构,会导致金融机构声誉的下降,同时也会对现有客户造成一定的负面影响,从而导致逾期率的提升,所以贷中评分卡的可解释性也是十分关键的。

    11 评分应用策略

    客户需求随时间改变,很可能会要求更高额度。这种现象很正常,刚开始给予客户的初始额度偏保守,维持客户关系一段时间后,账户表现会显示一个较为明确的发展方向,贷款机构也逐渐更接受客户,授予更高的额度,这时贷中评分卡就会发挥作用。

    有些贷款机构通过设置一些简单的规则来进行调额,但是结合客户使用率和贷中评分卡的风险评分进行决策更加科学,这种决策方式的表现如图7所示:

    在这里插入图片描述

    注:低使用率、高风险的客户不太可能出现,这里不在考虑范围内。

    按照风险(评分)和使用情况的不同表现,可以将客户分为三个类别:重要保持客户、重要发展客户和风险客户,针对不同的表现可以采取不同的应对策略。

    • 重要保持客户:图中低风险、高收益的目标客户。这类客户是最为理想的客户类型,对贷款机构贡献最大,应当优先投放资源,比如提高额度,开展免息、还款容时容差等优惠政策。尽量提高这类客户的忠诚度和满意度,尽可能延长这类客户的高水平消费。

    • 重要发展客户:图中低风险、低收益的激励客户。这类客户的当前价值虽然不是很高,但却有很大的发展潜力。贷款机构要尽量激励这类客户的消费,通过提升客户的行内等级,加强这类客户的满意度,通过增加餐饮、旅游优惠券、积分奖励等措施,提高这类客户的消费水平。

    • 风险客户:图中高风险、高收益的避免客户。这类客户虽然对贷款机构的贡献较大,但风险也很高,应尽量避免这类客户的违约风险,比如采取降低额度、限制现金分期等其他产品的行为,避免贷款机构出现较大损失。

    展开全文
  • 介绍完分箱算法后,就不得不介绍一下评分卡模型了。评分卡模型由于在业务层面具有良好的解释性,对数据挖掘方面(如风控)仍深受欢迎。 目前,主流的评分卡模型仍以逻辑回归模型为主要模型。假设客户违约的概率为ppp...

    信用评分模型详解(上)之 评分卡模型
    信用评分模型详解(下)之 信用评分系统搭建

    介绍完分箱算法后,就不得不介绍一下评分卡模型了。评分卡模型由于在业务层面具有良好的解释性,在数据挖掘方面(如风控)仍深受欢迎。

    前提假设

    目前,主流的评分卡模型仍以逻辑回归模型为主要模型。假设客户违约的概率为pp,则正常的概率为1p1-p。由此可以得到违约几率:

    Odds=p1pOdds = \frac{p} {1-p}

    此时,客户的违约概率pp可以表示为:

    p=Odds1+Oddsp = \frac{Odds}{1+Odds}

    评分卡设定的分值刻度可以通过将分值表示为几率对数的线性表达式来定义,即:

    Score=A±Blog(Odds)Score = A \pm B*log(Odds)

    其中,A和B都是常数且(a>=0, b>=0)。当希望违约几率越低,得分越高时,取负号。通常情况下,这是分值的理想变动方向,即高分值代表低风险,低分值代表高风险。 所以,后面均讨论这种情况。

    逻辑回归模型

    对于逻辑回归模型,其目标函数为:

    p=hθ(x)=g(x)=11+e(θTX)p = h_\theta(x) = g(x) = \frac{1}{1+e^{(-\theta^TX)}}

    则计算几率的表达式如下:

    ln(Odds)=ln(p1p)=θ0+θ1x1+...+θnxnln(Odds) = ln(\frac{p}{1-p}) = \theta_0 + \theta_1*x_1 + ...+ \theta_n*x_n

    其中,模型参数θ0,θ1,...,θn\theta_0, \theta_1, ..., \theta_n可以通过逻辑回归模型参数拟合模型得到。

    评分卡构建

    式中的常数A、B的值可以通过将两个已知或假设的分值计算得到。通常情况下,需要设定两个假设:
    (1) 给定某个指定的几率β0\beta_0,其对应的分值为基础分值P0P_0
    (2)确定几率翻倍分值PDOPDO。即当几率β0\beta_0翻倍时,其对应的预期分值为P0+PDOP_0+PDO
    根据上面的假设,可以将这两组点(β0,P0(\beta_0, P_0),(2β0,P0+PDO)(2\beta_0, P_0+PDO)带入方程中,可以得到如下两个等式:

    P0=ABln(β0)P_0 = A - Bln(\beta_0)
    P0+PDO=ABln(2β0)P_0+PDO = A - Bln(2*\beta_0)

    解方程可得:

    A=P0+Bln(β0)A = P_0 + B*ln(\beta_0)
    B=PDO/ln2B = -PDO/ln2

    确定了评分卡刻度参数A和B以后,就可以计算比率和违约概率,以及对应的分值。
    由上面的公式可知,评分卡的分值可表达为:

    Score=AB(θ0+θ1x1+...+θnxn)Score = A - B*(\theta_0 + \theta_1*x_1 + ...+ \theta_n*x_n)

    式中,变量θ0...θn\theta_0 ... \theta_n是出现在最终模型中的自变量,即为入模指标。

    由于评分卡模型要求所有特征都经过WOE编码,所以,此时可以将自变量中的每一个值都写成如下形式:
    Score=(ABθ0)(Bθ1WOE11)...(Bθ2WOE21)...Score = (A-B*\theta_0) - (B*\theta_1*WOE_{11}) - ... (B*\theta_2*WOE_{21}) - ...

    此式即为最终的评分卡公式。如果x1...xnx_1 ... x_n取不同的值并计算WOE值,式中表示的标准评分卡格式如下表所示:

    变量 WOE值 分值
    基础分值 ...... (ABθ0)(A-B*\theta_0)
    x1x_1 1 (Bθ1WOE11)-(B*\theta_1*WOE_{11})
    x1x_1 2 (Bθ1WOE12)-(B*\theta_1*WOE_{12})
    x1x_1 ...... ......
    x1x_1 k1k_1 (Bθ1WOE1k1)-(B*\theta_1*WOE_{1k_1})
    x2x_2 1 (Bθ2WOE21)-(B*\theta_2*WOE_{21})
    x2x_2 2 (Bθ2WOE22)-(B*\theta_2*WOE_{22})
    x2x_2 ...... ......
    x2x_2 k2k_2 (Bθ2WOE2k2)-(B*\theta_2*WOE_{2k_2})
    ...... ...... ......
    xnx_n 1 (BθnWOEn1)-(B*\theta_n*WOE_{n1})
    xnx_n 2 (BθnWOEn2)-(B*\theta_n*WOE_{n2})
    xnx_n ...... ......
    xnx_n knk_n (BθnWOEnkn)-(B*\theta_n*WOE_{nk_n})

    由此构建的评分卡系统如下所示:
    在这里插入图片描述

    展开全文
  • 信贷评分卡模型所需要的数据源,3000调数据,里面不涉及任何个人隐私
  • 评分卡模型理论推导,草稿版。
  • 行为评分卡模型的特征构造
  • 评分卡模型介绍

    2020-11-13 09:01:22
    评分卡模型包括申请评分卡、行为评分卡、催收评分卡。 其中,申请评分卡是最重要的评分卡,因为平台风险管理的主要风 险均来自于申请阶段。 除此之外还有反欺诈模型、营销评分卡和客户流失评分卡等,它们在风控系统...


    个人信贷中,信用风险评估的关键是:

    • 通过分析借款人的信用信息,评估借款人的偿还能力和意愿量化违约风险

    信用评分卡模式是个人信贷风险管理中的重要手段,是一种结合专家经验的数据驱动方式

    评分卡模型包括申请评分卡行为评分卡催收评分卡

    其中,申请评分卡是最重要的评分卡,因为平台风险管理的主要风
    险均来自于申请阶段

    除此之外还有反欺诈模型、营销评分卡和客户流失评分卡等,它们在风控系统中的先后顺序如图 1-2 所示

    在这里插入图片描述

    申请评分卡

    申请评分卡是平台风险管理中最重要的部分,其目的是对借款人的信用状态进行评估,以预测其在未来产生违约的概率

    申请评分卡的意义在于将可能产生违约的客户拒之门外,尽量在借贷源头及时规避风险。

    申请评分卡是风险与收益的博弈,过高的审批门槛虽然可以显著降低平台的运行风险,但是较少的业务量会直接影响平台的利润与收益。

    注意:逾期与违约的含义不同,违约是严重的逾期行为,所
    以违约用户一定是从轻度逾期发展而来的
    

    行为评分卡

    行为评分卡对通过审核的借款人进行行为风险评估,利用借款人的历史数据与行为特征,预测借款人在未来一段时间内发生违约的概率

    由于不同借贷产品的借贷周期不同,对于中长期的借贷产品,借款人通常会以 12 期、18 期、24 期或 36 期的还款周期进行还款。这就产生了信用风险的时效性问题,即在借贷初期
    已经通过申请评分卡的借款人,随着还款计划的执行,出现其他不可预测的问题(如失业或疾病等),造成短期内资金短缺而不能正常还款。

    行为评分卡是申请评分卡在时间上的有效补充,对还款中的借款人进行信用状态评估,以提前发现潜在的违约客群,并及时向风险管理部门反馈以及准备具体的催收工作,如使用短信提醒、电话提醒等方式与借贷人沟通以免逾期状态进一步恶化

    催收评分卡

    催收评分卡预测已出现逾期的借款人从轻度逾期转为重度逾期的概率

    不同于申请评分卡与行为评分卡的预测对象均为正常还款的借款人,催收评分卡是针对已经出现拖欠的借款人。由于借款平台没有资格对违约的借款人采取必要的惩罚(如在征信报
    告中添加对失信人的惩罚),只能在共有平台公布借款未还的借款人信息,借款人的违约成本较低。而且,平台可采用的催收方法有限,如短信、信函、电话、上门催收与诉讼等,而上门催收与采用法律手段的成本较高,并且具有一定的舆论压力,所以借款人一旦发生逾期,如果不在早期进行有效催收,则很容易转为严重违约,而借款人发展为严重违约后一般会处于失联状态,用户一旦失联,做失联修复的成本较高。因此,使用催收评分卡判断借款人从轻度逾期到重度逾期的概率,提前进行信息收集以防止用户失联,可以有效减少平台损失

    反欺诈模型

    反欺诈模型一般不以评分卡的形式实现。评分卡模型试图在已有的历史数据中找到一种普适的规律来检验新数据,但是欺诈行为往往因人而异,并随时间不断变化

    欺诈行为分为个人欺诈与团伙欺诈,个人欺诈往往形式各异很难对其形成普适的规则,只能通过不断积累和总结规则库的形式进行甄别;对于团伙欺诈,往往需要借助知识图谱技术发现欺诈团伙潜在的关系网,找到异常状态进行甄别。因此,反欺诈模型一般采用基于规则与策略的方法,如借款人的身份验证、IP识别、借款人是否与平台积累的黑名单存在潜在的关联等。另外,对于第三方支付类、消费金融类的互联网金融行业还会有交易反欺诈,以识别用户是否存在恶意欺诈的行为

    展开全文
  • 构建风控评分卡模型介绍(WOE/KS/ROC)

    万次阅读 多人点赞 2018-03-26 15:52:03
    什么是评分卡(信贷场景中) 以分数的形式来衡量风险几率的一种手段 对未来一段时间内违约/逾期/失联概率的预测 通常评分越高越安全 ...评分卡开发的常用模型 逻辑回归 决策树 基于逻辑回归的评分卡理...
  • 上一篇文章基于Python的信用评分卡模型分析(一)已经介绍了信用评分卡模型的数据预处理、探索性数据分析、变量分箱和变量选择等。接下来我们将继续讨论信用评分卡的模型实现和分析,信用评分的方法和自动评分系统。...
  • 评分卡模型学习

    2021-05-15 11:14:40
    用途评分卡模型是常用的金融风控手段之一分类如何评分分箱WOE,IV计算Odds Ratio(OR)基于评分卡的风控模型开发 背景&原理&用途 评分卡模型是常用的金融风控手段之一 风控,就是风险控制,我们采取各种...
  • 一、评分卡模型 PS:核心点在于我们需要一个判别指标来对数据进行打标签分类 1、项目简介: 信用评分技术是一种应用统计模型,其作用是对贷款申请人做风险评估分值的方法。在互金公司等各种贷款业务机构中,...
  • 基于R语言的信用风险标准评分卡模型的开发及代码实现,适用于互联网金融行业的评分卡模型开发。
  • 基于python的申请评分卡模型,训练,测试数据集 application.csv
  • 互金行业风控策略和评分卡模型
  • 【风控建模】融合模型Boosting构建信用评分卡模型
  • 评分卡模型工作流程

    2019-01-28 22:44:14
    评分卡模型的工作流程主要分为以下几个步骤: 一、模型构建 假设模型训练集的观察点(即客户的申请时间段)为2016-01到2016-03,那么这个模型的观察期(这里我们假定为三年)为2013-01到2016-01,模型的表现期(这里...
  • 1.评分卡模型解释 2.评分卡模型一般开发流程 3.探索性数据分析 4.数据预处理 5.特征选择 6.构建逻辑回归模型 7.模型评价 8.转化为评分卡 9.SEM评分卡 数据集:本文所使用的数据来源于美国P2P公司Lending ...
  • 详细申请评分卡模型

    2019-12-23 22:51:54
    信用风险和评分卡模型的基本概念 申请评分卡在互联网金融业的重要性和特性 贷款申请环节的数据介绍和描述 非平衡样本问题的定义和解决方法 信用风险和评分卡模型的基本概念 什么是信用风险 交易对手未能履行...
  • (信贷风控八)行为评分卡模型(B卡)的介绍

    万次阅读 多人点赞 2019-02-24 22:45:56
    (八)行为评分卡模型(B卡)的介绍 在信贷业务中,评分卡分为三种: 申请评分卡(A卡) 行为评分卡(B卡) 催收评分卡(C卡) 本篇我们来学习一下行为评分卡(B卡),首先什么是行为评分卡呢,行为评分卡的使用场景以及...
  • 8月20日,央行发布了《2020年第二季度支付体系运行总体情况》,数据显示,截至第二季度末,...评分卡模型又叫做信用评分卡模型,最早由美国信用评分巨头FICO公司于20世纪60年代推出,在信用风险评估以及金融风险控制

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 9,005
精华内容 3,602
关键字:

评分卡模型