精华内容
下载资源
问答
  • 保险行业数据分析案例

    千次阅读 2019-10-13 14:25:19
  • 行业数据报告

    2019-09-13 00:01:04
    以前写ppt需要很多各行业的数据报告,导出找很麻烦。 于是搜集了2018年-2019年的各行业数据报告,不定时更新 https://www.vicsdf.com/ 可以在线阅读 或者 下载 ...

    以前写ppt需要很多各行业的数据报告,导出找很麻烦。

    于是搜集了2018年-2019年的各行业数据报告,不定时更新

    https://www.vicsdf.com/

    可以在线阅读 或者 下载

    转载于:https://my.oschina.net/u/3761104/blog/3074464

    展开全文
  • 证券期货行业数据模型设计

    千次阅读 2020-04-12 06:57:12
    证券期货行业数据模型(以下简称“SDOM”)是以证券期货行业相关法律法规、业务规则、制度及流程等为依据,提取市场全业务流程与数据共性,形成具有通用性、稳定性和扩展性的数据模型。 行业数据模型是以“交易”、...

    证券期货行业数据模型(以下简称“SDOM”)是以证券期货行业相关法律法规、业务规则、制度及流程等为依据,提取市场全业务流程与数据共性,形成具有通用性、稳定性和扩展性的数据模型。

    行业数据模型是以“交易”、“监管”、“披露”三大业务线条为切入点,完成对行业各业务的全面遍历。通过对市场中的证券、基金、期货、债券、回购等主要交易行为的梳理形成行业交易模型;通过对已上线及待上线的信息披露项目的逆向梳理形成行业信息披露模型;通过配合中央监管信息平台建设完成监管模型,最终形成真正意义上统一、完备的资本市场多层次数据模型。

    数据模型“1+3+N”设计架构:

    数据模型的设计遵循“1+3+N”的设计架构,其中:

    “1”是指数据模型以品种、主体、财务三大主题形成公共部分。这些模型可以被“交易”、“监管”、“披露”中至少两条业务线条复用,“1”中的模型需要保持语法、语义一致。

    3”是指以“交易”、“监管”、“披露”三大业务线条分别梳理形成三大组数据模型,每组数据模型根据某一业务线条的特点提取出来,三大组模型彼此耦合度不高,组间个性化部分允许出现同名不同义的冲突情况,不要求在语法语义上保持一致。对于每组数据模型再分为该业务范畴内的公共部分和覆盖其下应用系统的全部数据和表。其中公共部分可在该业务范畴内共用,需要在组内保持语义、语法一致。

    N”是指在每个业务线条的大组数据模型中,覆盖该应用全部数据、表,用于指导该线条下特定应用系统的专用数据模型,该部分的数据和表为某一应用特有的,只在该应用中被使用,与业务线条中其他应用的模型不复用。每个“N”中涉及的数据、表在语法、语义上不要求一致。

    在逻辑模型的设计过程中, 数据域的划分和定义、 数据域和数据域之间关联关系的构建是模型编制的基础, 在此基础之上, 结合证券公司等各视角业务系统的分析, 通过筛选的方式完成各数据域中核心实体和主键的补充, 以及实体与实体之间关系的定义, 形成逻辑模型框架结构, 最后对该逻辑模型进行细分处理, 补充该逻辑模型中可扩展的实体和非键值属性, 实现满足各视角的逻辑模型编制。

    通过分类、 归并之后形成的数据域分别为: 主体、 账户、 品种、 交易、 资产、 合同、 渠道和营销。下图为以普通股票的行为过程归纳得到的数据共性示例。

    数据域

    1、主体数据域

    主体是证券公司所关注的对象, 主体数据域是证券公司开展客户关系管理、 进行客户画像和标签管理, 建设以客户为中心的重要基础性模型。 作为核心数据域, 主体数据域与账户、 交易、 资产和合同等其他数据域之间存在着密切的关联关系。

    主体数据域的设计首先采用 IBR 方法, 从核心业务条线着手, 进行提炼分析, 通过理清业务条线建立关键实体, 最终实现全业务覆盖; 其次结合证券市场结构和业务场景, 进行实体补充, 通过梳理证券市场参与者的关联关系, 建立重要关系, 确定主体框架; 最后借鉴行业积累的经验, 引入专家论证, 进行完善和合理性验证, 以确保主体数据域的完整性、 扩展性、 个性化的要求。

    2、账户数据域

    账户数据域是描述相关主体因业务需求在相关机构登记的各类账户信息, 账户数据域按照账户类型划分三大类, 包括交易账户、 资金账户、 银行账户。

    账户数据域中不仅包括了以客户为主体的账户(证券账户、 资金账户、 银行账户等) , 还包括了证券公司内部记录的所有实际投资账户与虚拟投资账户。

    账户数据域包含了账户从申请、 开立到销户过程中需要的完整信息, 与主体、 合同、 交易、 资产数据域有密切联系。

    交易账户是指证券登记结算机构、 基金公司等机构为投资者设立的, 用于准确记载投资者所持的证券种类、 名称、 数量及相应权益和变动情况的账册。 按照交易的类型有证券账户、 基金账户、 基金交易账户、 中债登账户、 资管账户、 资管交易账户、 贵金属交易账户、 一码通证券账户等。 此外, 证券账户分类下因为某些特定账户存在一些特殊属性, 对衍生品合约账户、 股票质押出借人账户以及转融通证券出借人账户进行了单独的补充描述。证券资金账户是指证券公司为客户开立的专门用于证券交易用途的账户, 通过该账户对客户的证券买卖交易进行前端控制, 进行清算交收和计付利息等。 证券资金账户可按币种维度进行扩展。 银行账户是指银行为客户开立的, 用于存放和管理客户证券买卖用途的交易结算资金。

    3、品种数据域

    品种数据域的设计参照了国家标准: 《证券及相关金融工具 金融工具分类(CFI编码) 》 (GB/T35964-2018) 和国外成熟的金融数据模型, 结合国内现有金融工具品种, 构建符合国际规范且适应国内资本市场现状的品种分类及定义。 其中: 品种分类的一、 二级沿用GB/T 35964-2018标准分类, 一级分类包括权益、 集合投资工具、 债务工具、 权利、 上市期权、 非上市期权和复合上市期权、 期货、 互换、现货产品、 远期产品、 交易策略、 融资、 参考性金融工具、 其他类(混合型) ; 二级分类代表每个品种类别下的细分品种; 三级及以下级别分类为结合国内品种现状的自定义分类。

    4、交易数据域

    交易数据域记录了各种与证券公司相关的活动的详细情况。这些活动通常指证券公司与客户等主体的交互活动, 它记录了详细的交易和行为数据, 还包括导致主体、 账户、 合同等其他数据域数据变化的非交易行为数据。 交易数据域可划分为交易事件和非交易事件。

    交易事件按交易的过程划分为委托、 成交、 清算、 待交收、 股份变动、 资金变动、 其他交易流水七个子数据域。 交易事件主要按“交易过程+品种” 进行层次划分, 即先按交易过程进行分类, 再在每个交易过程中按品种进行分类, 这样既可以保证交易数据域的高稳定性, 又保证了良好的可扩展性, 证券公司新增业务时, 只需在委托等交易过程的子数据域下增加对应品种的交易事件实体。

    非交易事件是指除上述交易事件外, 证券公司与客户等主体的交互以及证券公司内部的业务交互,分为管理类事件、 操作类事件、 服务类事件及其他类非交易事件四个子类的数据划分。 非交易事件主要围绕“经营管理领域+经营管理活动” 进行层次划分, 即先按经营管理领域进行分类, 再在每个经营管理领域中按经营管理活动进行分类, 这样不仅保证高稳定性和可扩展性, 同时同一经营管理领域具有相近的管理属性, 这样划分会使四个子类的数据划分信息更内聚, 便于模型维护管理。

    5、资产数据域

    资产数据域重点关注主体的资产, 包括资金的余额、 证券的持有、 在途资金及证券、 客户的抵质押、 负债, 还包括一些具体场景下的修正。 同时, 将虚拟资产也一并纳入, 以完整描述主体的拥有。

    证券公司逻辑模型资产数据域不仅涵盖了客户的资产, 还包括了证券公司自营的资产部分。

    资产数据域按照资产的表现形式, 可以分为: 市值部分、 资金部分、 资产的修正、 虚拟资产及负债, 其中市值部分包括了持仓、 在途份额及代销产品份额持有; 资金部分包括了资金余额、 在途资金及其他应收; 虚拟资产包括了客户的积分; 负债包括了应还的回购证券款、 应还的融资本金、 利息、 罚息及应还的融券市值等。

    资产数据域的特点是, 既反映了客户的历史资产状态, 也代表了未来的经济价值, 同时又与其他数据域密切相关。

    6、合同数据域

    合同是证券公司根据相关法律法规、 规章制度以及交易所的交易规则制定的协议。 合同数据域的数据范围以线上为主, 涵盖证券公司与交易对手方线上签署的电子化合同, 客户与证券公司签署的开展某种业务或购买某种产品的协议, 以及客户在进行证券交易时产生的交易合约。 所以合同数据域既包括了签订的格式合同, 也包括了交易中涉及的各项合约。

    合同分类包括: 理财产品合同、 融资融券授信合同、 融资融券信用客户合同、 转融通参与人合同、证券收益互换合同。 合约分类包括: 场内合约、 场外合约、 银行间合约。 其中场内合约是指股票交易市场内标准化的合约交易, 包括: 融资融券、 转融通、 股票质押、 债券回购、 报价回购、 约定购回合约;场外合约指证券收益互换合约; 银行间合约包括: 利率互换合约、 利率远期合约、 债券远期合约、 同业拆借合约、 证券借贷合约、 协议存款合约、 外汇远期合约、 外汇掉期合约、 信用违约掉期合约。

    7、渠道数据域

    渠道用于表述业务发生的地点、 通道或路径, 通常与业务事件关联。 渠道数据域由电话、 呼叫中心、柜台、 银行、 客户交易软件终端、 合作方渠道及其他渠道组成。

    8、营销数据域

    营销表达了一个主体在意图开展营销活动的领域进行营销活动的行为方式, 营销数据域的主要实体有: 营销活动、 营销任务等。

    营销活动的步骤为: 确定营销目 标, 包括交付目 标、 预算等, 记录在营销活动里; 制定营销策略和方案, 记录在营销活动和营销任务中; 根据营销方案制定营销任务包括资源计划和时间计划等, 记录在营销任务中; 根据营销任务执行营销活动, 记录在营销任务中; 最后是营销结果分析和改进。 营销数据域涵盖了营销活动全流程, 记录营销过程中有价值的数据。

     

    主题域关系图

     

    证券期货业逻辑模型的产出物, 按照数据、 数据表、 代码表、 代码取值属性及代码映射关系进行组织, 清晰定义了行业数据、 表以及相互之间的关系。 经过数据域的划分、 形成核心关系及架构、 筛选实体、 补充属性、 规范代码等一系列梳理工作, 最终形成证券公司逻辑模型, 提取数据表438张, 数据项4500个, 定义行业英文词根972个, 形成行业属性代码及映射关系5682个, 建立了证券公司的实体关系图谱。

    随着证券期货业务的不断发展与演进, 该产出物也会不断调整与完善, 具体详见附录A。 这些产出物通过专门的数据模型管理平台进行存储及管理, 并提供了浏览、 查询、 修改、 删除、 评审等功能,以便模型建设人员、 评审人员、 管理人员、 普通用户等按权限对数据模型产出物进行查找使用和科学管理。

     

    Datablau模型设计器全面支持SDOM模型

    可以快速由SDOM逻辑模型派生出具体的数仓物理模型。并将模型组件化,高效复用于日常的数据建模过程中。


    Datablau Data Modeler简介

    DDM(Datablau Data Modeler)是国内首创的专业建模工具,是数据治理体系的重要组成部分。数据模型是“所有系统、文档和流程中包含的所有数据的语境。是生数据的知识。”换句话说,如果没有数据模型,组织IT系统中收集和存储的所有数据都会失去意义,也就没有业务价值。


    Datablau简介

    北京数语科技有限公司(以下简称“数语科技”)成立于2016年,是专注于数据治理领域的国内自主知识产权的专业软件产品提供商,主要业务是数据治理软件产品的研发与销售。数语科技的创始团队全部来自CA erwin,天然具有世界级水准的软件产品开发能力。

    创始人兼CEO王琤:曾任职erwin全球研发总监,拥有超过十年以上数据建模和数据管理的从业经验。

    CTO朱金宝:曾任职erwin首席架构师,先后服务多家全球知名企业,并曾全程参与中国建设银行数据治理项目,目前全面负责Datablau软件平台的研发工作和关键项目的实施工作。

    数语科技根据DAMA理论和中国国情独立研发Datablau新一代数据治理平台,平台由Datablau DDM数据建模产品和Datablau DAM数据资产管理平台两大部分组成,全部拥有软件著作权和知识产权,一站式全面满足中国企业的数据治理需求。其中数据建模产品DDM是Datablau填补国内空白的重量级产品,帮助中国客户摆脱国外产品的垄断现状。2018年,Datablau数据治理平台通过了中国信息通信研究院严格苛刻的产品评测并获得的“最佳大数据产品”奖。

    更多渠道了解我们
    官网www.datablau.cn
    关注我们,及时了解数据治理干货

     

    展开全文
  • 近些年来,随着金融行业虚拟化和网络化程度...对此,美创科技基于金融行业数据安全建设经验,提出以下建议: 1 加强制度规范 首先,建立整体的数据权限管理制度,基于国家、区域和行业的法规要求,结合组织前期的数据安

    近些年来,随着金融行业虚拟化和网络化程度不断提升,以及个人金融信息数据的高商业价值,金融数据安全面临着前所未有的挑战。金融数据泄漏要么因黑客攻击,要么来自内部人员违规操作。行业岗位人员,违规查询和使用客户个人信息的事件更是频繁曝光。

    当前,监管部门对个人隐私信息日益重视,强监管态势下,金融行业如何保障数据安全及合规使用,已成为当前亟需解决的问题。对此,美创科技基于金融行业数据安全建设经验,提出以下建议:

    1 加强制度规范

    首先,建立整体的数据权限管理制度,基于国家、区域和行业的法规要求,结合组织前期的数据安全治理、数据分类分级,建立不同类别、不同级别的数据访问授权规则和授权流程,明确谁申请、谁授权、谁审批、谁使用、谁监管的责任要求,确保所有的数据使用过程都是经过授权和审批的。

    其次,建立数据使用者的安全责任制度,确保数据使用者在申请和声明的范围内进行数据开发和数据使用。出现问题后,明确到责任人,明确违规处罚措施。

    2 加强组织意识

    谈到组织意识,首先要讲组织建设。无论是金融机构或者社会企业,涉及数据使用的单位,首先应当建立本单位的数据安全组织架构,设立相关的岗位或人员,负责数据正当使用的管理、评估和风险控制。

    完成组织建设后,应加强组织数据安全意识,通过开展数据正当使用的培训和宣贯,从正反两个角度宣传数据安全及数据正当使用的必要性,让相关人员充分理解,安全意识扎根于心,保障操作规范。

    3 加强权限管控

    权限管控方面,组织可以通过统一的身份及访问管理平台,实现对数据访问人员的身份管理、认证、授权、审计,确保上文所提的数据权限管理制度能够有效落地。

    尤其对于各种信贷数据、征信查询等业务数据存储的载体——数据库做全方位的防护,运用访问控制、数据脱敏、全流程审计等技术手段,避免在业务开发测试环节个人敏感信息泄漏。而在数据合理使用这个专题,或者可以简单理解为“字段级”“表单级”授权。美创技术专家曾在参与某数据共享平台建设项目中看到:外包厂商十几个人共用一个超级管理员账号,试想一旦出现问题,基本就无法追责。

    关于权限管控的最后一点,可以借鉴“零信任模型”, 默认情况下不信任网络内部和外部的任何人、设备、系统和应用,从资产防护角度、根据安全风险评估,进行身份及授权。

    4 加强监管审计

    传统意义上的监管审计,一方面是偏向事后,有点类似亡羊补牢,另一方面则是侧重发现问题。

    那么,在大数据时代下,如何保障数据的正当使用?首先组织应建立“全流程监管”,建立包括从数据的采集、归集、存储、交换、应用到销毁的全生命周期监控,确保每一条数据来龙去脉清晰,流向合规,相关人员能够严格履行安全责任和义务,发现异常情况实施阻断并告警,保障数据资产安全。

    另一方面监管工作本身,应当具备数据综合分析能力,结合各类监管的业务日志或系统数据,提炼业务的数据交叉关系,进而促进业务发展。在之前某金融机构的数据库审计项目中,美创技术团队就是通过发现审计日志的异常,进而发现业务SQL缺陷,最终协助用户改进。

    5 业务流程升级转型

    做好以上四点,可以极大的促进金融行业数据安全及数据合规使用,此外,进行合理的业务流程升级转型也至关重要。

    金融行业数字化转型始终走在其他行业前列,而保障数据安全及正当使用,是金融数据发展利用的前提和底线,也是金融科技健康发展的必经之路。

    加强制度规范、加强组织数据安全意识、加强权限管理,加强业务系统改造、加强监管审计,数据安全和数据正当使用永远无止境。

    目前,美创科技已经为数百家金融机构提供数据脱敏、数据库安全审计、数据库防火墙、EAST数据质量校验平台、容灾备份等产品和服务。这里是引用

    **

    展开全文
  • 关键字:互联网、大数据、数据...先大概列一下互联网行业数据仓库、数据平台的用途:整合公司所有业务数据,建立统一的数据中心;提供各种报表,有给高层的,有给各个业务的;为网站运营提供运营上的数据支持,就...
  • 简介:36kr研究院全新出炉《2020年中国服装行业数据中台研究报告》显示:数据中台赋能企业数字化转型,成为降本增效新引擎。-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 和关注官方...
  • 行业数据来源

    千次阅读 2019-05-03 16:11:34
    自己部分了解到的数据
  • (本文原创,源自微信公众号:世平信息,转载请注明来源“杭州世平信息科技有限公司”)金融行业数据治理与防护现状在金融业各类涉及商业秘密和敏感数据的信息在处理、共享和使用过程中面临违规越权使用或被用于非法...
  • 上次写的《大数据环境下互联网行业数据仓库/数据平台的架构之漫谈》一文,已是一年前的事了,经过一年的沉淀与公司业务的发展,大数据平台的架构也有所演进,本文简单介绍了架构更新的部分。 整体架构 数据采集 ...
  • 2017年7个主要的金融行业数据趋势

    千次阅读 2017-05-18 15:12:47
    2017年金融行业数据趋势 使用这些趋势来指导人们投资,作为消费者的选择,以及组织在金融行业的整体方向: 1.实时金融数据 股票价格不断地上下波动,但实时捕获和分析金融数据可能开始影响更多的利基
  • 行业数据挖掘标准流程

    千次阅读 2011-03-07 23:44:00
    行业数据挖掘标准流程(Cross-Industry Standard Process for Data Mining,Crisp-DM)
  • CRISP-DM(跨行业数据挖掘标准流程…

    千次阅读 2017-04-14 10:04:24
    行业数据挖掘标准流程(CRISP-DM):(cross-industry standard process for data mining)。 此KDD过程模型于1999年欧盟机构联合起草.通过近几年的发展,CRISP-DM模型在各种KDD过程模型中占据领先位置,采用量达到近60%....
  • 关于支付卡行业数据安全标准pci dss 与 oracle database
  • 双十一电商行业数据分析

    千次阅读 2019-10-28 17:20:04
    距离2018年的双十一已经过去了快一年的时间,即将赢来的是2019年的又一个双十一,这是一个商家、买家都期待的电商购物节,对于电商而言是推动也是挑战,都知道每年双十一营销结果都是令人满意的,统计出来的数据总是...
  • 保险行业数据分析(案例)

    万次阅读 2019-10-11 11:53:21
    保险行业2018年保费规模为38万亿,同比增长不足4%,过去“短平快“的发展模式已经不能适应新 时代的行业发展需求,行业及用户长期存在难以解决的痛点,限制了行业发展。 社会 互联网经济的发展,为保险行业带来了...
  • 多渠道智能化营销服务机构webpower于近日发布中国地区《2014年邮件营销行业数据报告》,数据显示,2014年全年国内全行业EDM平均送达率为95.82%,平均独立打开率为7.13%,平均独立点击打开率为16.81%,平均独立点击...
  • 2013移动行业数据分析报告(终端篇) 腾讯云 发表于 2014.2.27  2014.2.27 ,腾讯移动分析发布2013年移动行业数据分析报告,报告第一部分是关于硬件终端市场,未来将有更多的用户选择安卓手机,且现...
  • 通过提供对企业访问和企业数据的可见性和监控,IS Decisions软件解决方案可以帮助公司达到支付卡行业数据安全标准 (简称PCI DSS)。 在本文中我们将探讨IS Decisions安全软件是如何满足PCI DSS标准的。
  • 酒类行业数据分析

    千次阅读 2015-02-26 11:10:54
    http://b2b.tjkx.com/act/top10/
  •  大数据不是海市蜃楼,万丈高楼平地起只是意淫,大数据发展还要从点滴做起,基于大数据构建国家级、行业数据中心的项目会越来越多,大数据只是技术,而非解决方案,同样面临数据组织模式,数据逻辑模式的问题。...
  • 一、产品介绍 针对65岁以上的人群推出的医疗附加险,销售渠道为直邮。...···了解数据样本和特征个数、数据类型、基本信息等 df.shape df.dtypes # 将ID转换成object df['KBM_INDV_ID'] = df['KBM_IND...
  • 数据挖掘的价值:寿险行业数据挖掘应用分析北京理工大学 刘勇 张丽平2003-12-9 14:47:04 寿险是保险行业的一个重要分支,具有巨大的市场发展空间,因此,随着寿险市场的开放、外资公司的介入,竞争逐步升级,群雄...
  • 寿险行业数据挖掘应用分析

    千次阅读 2004-10-03 18:32:00
    寿险行业数据挖掘应用分析 寿险是保险行业的一个重要分支,具有巨大的市场发展空间,因此,随着寿险市场的开放、外资公司的介入,竞争逐步升级,群雄逐鹿已成定局。如何保持自身的核心竞争力,使自己始终立于...
  • 大家下午好,首先非常感谢大家能够在百忙之中抽出时间来参加这次的活动,今天要和大家分享的是该如何从观念层面,技术层面以及应用层面出发,对零售行业数据分析。 零售行业数据的灵活性,时效性和及时性的要求...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 59,068
精华内容 23,627
关键字:

行业数据