精华内容
下载资源
问答
  • 滴滴大数据安全权限实践

    千次阅读 2020-12-17 21:12:09
    桔妹导读:在滴滴,数据是非常重要的资产,基于数据的数仓建设,数据分析、数据挖掘、数据科学等构建了滴滴的数据体系,支撑着滴滴的业务快速发展。在这个背景下,如何保障用户获取数据的易用性的同时...

    桔妹导读:在滴滴,数据是非常重要的资产,基于数据的数仓建设,数据分析、数据挖掘、数据科学等构建了滴滴的数据体系,支撑着滴滴的业务快速发展。在这个背景下,如何保障用户获取数据的易用性的同时可以更加安全,是对我们大数据平台提出来的非常大的挑战,本文将介绍下我们在面对挑战下,在大数据权限安全建设上实践。

    1. 

    用户认证 - 自研账号密码机制

    提到安全,首先要面对的就是用户认证,Hadoop 社区版本是没有安全认证的,因此只要随意 export HADOOP_USER_NAME=Anyone,就可以伪装为任意用户操作集群上的数据了,存在非常大的安全隐患。为了解决用户安全认证的问题,Hadoop 社区方案主要是基于 Kerberos,Kerberos 提供了比较完善安全认证的能力,但是运维成本比较高,而且 KDC 容易成为性能瓶颈,综合考虑下,我们基于 Hadoop 自研了一套易于运维管理的账号密码认证机制,流程交互大致如下图:

    下面将具体讲下各个模块是如何实现的。

    1. 客户端

    1.1 普通客户端

    • Hadoop 客户端,Spark 客户端,Hive 客户端,启动时都需要请求 Namenode,因此我们统一在 Namenode 做了密码校验

    • 如何传密码:我们在 hadoop 的IpcConnectionContext.proto里增加了 password 字段,而其他客户端(spark,hive)只需要基于 hadoop 客户端进行编译既可使用。

    • 如何设置密码:通过 export HADOOP_USER_PASSWORD=123456 或者System.setProperty("HADOOP_USER_PASSWORD", "123456");

    1.2 Beeline/JDBC:

    • 这种方式是通过Hive Serer2访问大数据的,我们在Hive Server2 做了密码验证

    • 如何设置密码:beeline -u jdbc:hive2://xxxxxx  -n test   -p 123456

    2. 服务端

    2.1 Namenode 验证:

    密码验证  我们在 Server.java 增加了密码校验功能,代码如下:

    密码更新 密码配置是以本地文件存在 Namenode 本地,然后定时进行刷新到 namenode 内存中

    2.2 Hive Server 验证:


    使用了 hive 提供的用户自定义安全验证,其中密码校验模块是我们自己实现的类似上述 Namenode 机制,具体如下配置:

    3. 用户管理模块

    这里主要是基于滴滴的数梦用户管理平台,主要是用来管理多租户的,维护着用户的数据资产信息,包括密码信息管理;涉及到密码管理,主要提供了3个功能,密码生成,密码维护,密码同步到服务端(Namenode和Hive server)。

    通过上面的各模块落地,当前我们是建设了一套相对比较完善的账号认证机制,通过账号和密码实现了用户身份的安全认证,但是仅有用户认证是不够的,同时最复杂的其实是权限鉴权体系,下面我将介绍下我们的权限鉴权是怎么做的。

    2. 

    权限认证 - 列级别鉴权体系

    说起滴滴的大数据权限机制,我们其实是经历了从0到1,又从1到2的过程,最早我们是基于 Hive SQL Standard-based+ HDFS UGO 机制构建了一套基于 hive 表粒度的权限体系,但是随着业务的发展和数据安全的诉求,我们在2018年对权限体系进行了重构 ,基于 Ranger 建设了基于列级别鉴权的数据权限体系,下面将具体说下,我会先讲下滴滴的数据权限的模型,以及我们是怎么实现的。

    1. 权限模型

    我们是设计了一套基于字段策略的 RBCA 的权限体系,下面具体展开说下。

    1.1 数据分级

    首先需要说下滴滴的数据分级,为了保障数据安全,在滴滴数据是做了非常严格的安全级别划分,依据数据的价值和敏感程度,从低到高划分为4个安全级别:公开数据(C1)、内部数据(C2)、秘密数据(C3)、机密数据(C4),基于安全等级不同,也指定了不同数据的访问权限审批模型,比如 C3及以下降低一些审核门槛;C4则需要更加严格审批流程才能使用。

    1.2 RBAC 模型

    我们是基于 RBCA 权限模型设计的权限体系,因此我们主要涉及到用户,角色,权限三个实体

    • 用户对应到 Ranger 的 User

    • 角色对应到 Ranger 的 Group

    • 权限对应到 Ranger 的 Policy

    1.3 基于字段的策略

    为什么要做基于字段的权限控制呢,主要是因为数据分级是按照具体数据内容来定义的,即是按照具体字段的数据来定义数据的安全等级,而不是按照表级别,很多情况下一张 Hive 表往往包括了好多字段数据,安全等级也是不一样,如果不支持字段级别鉴权,往往会有大量的表成为 C4表,这样一来一方面对安全的挑战是比较大的,另一方面也提高了用户使用数据的门槛,因为用户往往的需求是访问这个表的非 C4字段就够了。因此支持字段级别鉴权是势在必行,为了把权限细化到字段,我们在ranger里面配置的权限策略也细化到了字段级别,比如策略会配置为  db.db.table.$column.c4。

    为了提升易用性,降低大家使用数据的门槛,我们通过不同的安全等级分成了不同的角色包,比如对于 C1,C2 的字段可高效低门槛访问,这样对用户来说易用性大大的增强,对于我们来说也做到了字段级别的权限控制,保障了 C3,C4 数据的安全性,大致如下:

    2.权限的实现

    谈到实现,先给给大家展示下我们目前权限体系大致系统交互流程,如下图:

    是不是有点小复杂,下面具体介绍各自模块的作用以及权限体系是怎么工作起来的!

    2.1 数据分析模块

    主要是由滴滴安全部门负责进行对数据进行打标签,通过实时订阅 Kakfa 中的 DDL 事件获取到数据的元数据信息和数据内容,通过安全算法,定义出数据的具体安全等级,将具体到表的字段级别,再把分级好的数据发送到 DDMQ(滴滴自研的消息队列)。

    2.2 数据地图

    元数据管理服务

    面向用户提供统一的元数据查询管理服务,同时将实时订阅 DDMQ 中的数据分级信息,及时更新数据的分级信。

    人工标记服务

    用于人工进行表数据的分级设定或者修正,经过审核,系统也将也将实时更新发布到 DDMQ 中。

    表数据抽样

    用于提供表的样例数据查询,目前是基于 presto 随机查询10条样例数据。

    2.3 数据权限平台

    权限申请管理系统

    为用户提供可视化的管理和申请权限的平台,如下图:

    权限申请流程

    权限申请主要分为 Hive 表权限的申请和 HDFS 权限的申请,大概如下图:

    SQL 鉴权服务

    用于为数据查询平台类似数易报表,提取工具等服务提供基于 Restfull API 的 SQL 鉴权功能。值得说明的是,SQL 鉴权服务是独立于 ranger 体系的,数梦平台申请和维护权限的同时也将权限信息维护在数梦平台的 mysql 中,独立的提供了一套面向数据产品权限的鉴权服务。

     

    权限策略管理模块

    基于数据分级信息,生成对应的 ranger 权限策略,并通过 Ranger admin 的 api 更新策略数据,关于 api  可以参考: 

    https://cwiki.apache.org/confluence/display/RANGER/REST+APIs+for+Service+Definition%2C+Service+and+Policy+Management

    2.4 引擎层

    引擎层的鉴权流程大致如下图:

    接下来详细介绍一下:

    1.Ranger Admin (社区版本

    1. 作用:用于维护着所有的权限策略,可以通过 Ranger Admin 进行权限的增删改查,我们当前用的社区的0.6版本,更多信息可以参考

      https://cwiki.apache.org/confluence/display/RANGER/0.6+Release+-+Apache+Ranger

    2. 高可用:目前我们是基于 LVS 做的负载均衡,后面部署着多台 Ranger Admin 服务

    2.Ranger Metastore(自研)

    1. 作用:用于提供权限的查询的 Thrift Server。需要说明的是 Ranger 原生鉴权架构是客户端插件定时从 Ranger Admin 拉取所有的策略到本地,然后在本地进行的权限校验,这个机制会导致3个问题:1,在策略很多的时候,会造成拉取变慢,影响 SQL 执行引擎的整体性能;2.客户端比较多的情况下,客户端插件同时拉取的时候,对 Ranger Admin 的压力也会很大,机器带宽也会成为瓶颈;3,无法进行实时鉴权,比如用户申请权限后还需要等几分钟才可以生效,体验非常不好。因此为了解决上述痛点,我们基于 hive metastore 自研了中心化的实时鉴权方式。 

    2. 架构:

    1. 拓展 Hive Metastore 的 thrift 接口,定义鉴权请求的各个参数

    2. 将 Ranger 插件的功能移植到 Metastore 上

    3. 实现 thrift 客户端,增加 check_privilege 的 RPC

    4. 取消周期性的全量策略拉取,将创建 Evaluator 的逻辑从 Refresher 移到了 RangerHiveAuthorizer 调用 checkPrivileges 地方,从而直接从 Ranger Admin获取策略,这样实现了实时的鉴权

    Ranger Plugin(自研)

    引擎客户端鉴权插件,用于查询 Ranger metastore 的权限策略信息,并判断用户是否拥有权限。我们也是基于 Ranger metastore 自研了一套,具体实现方式如下:

    1.引擎依赖配置包含 ranger 鉴权接口的 hive 版本依赖

    2.然后配置文件中增加如下的配置:

    3.引擎侧构造 RangerMetastoreClient,请求 checkPrivilege 方法即可。如果能够正常的返回 true,说明鉴权通过,否则会收到异常信息。

    大账号机制(自研)

    前面说的基于 ranger 的鉴权,主要是针对 hive 元数据层面,然后涉及到 HDFS 权限,我们提供了一种基于大账户的机制,即当元数据权限鉴权通过后,将不进行 HDFS 鉴权,这样可以屏蔽掉 HDFS 权限,从而实现 hive 权限和 hdfs 权限的解耦,同时也可以比较好的支持视图权限:

    1.用户涉及到 hive 表操作,只要 ranger 权限校验通过,HDFS 将直接不鉴权

    2.涉及到直接 HDFS 路径操作(非 SQL 查询),将基于 HDFS UGO 权限机制进行鉴权通过上面介绍这些模块和组件,我们实现了比较成熟的基于字段级别的权限体系,目前已经落地并且运行俩年的时间,已经支持了超过数百万的安全权限策略,极大的提升了滴滴数据数据权限的安全性。

    3. 

    总结

    本文总结了我们在滴滴大数据安全权限方面的工作,从用户认证讲到了权限鉴权模块的实现,其实在安全权限实际推动落地的过程中远远要比文章写的要复杂,有兴趣的同学欢迎一起讨论,也欢迎大家加入我们,解决世界级的技术难题。

    本文作者

    团队招聘

    滴滴大数据架构离线引擎&HBase 团队主要负责滴滴集团大数据离线存储、离线计算、NoSQL 等引擎的开发与运维工作,通过持续应用和研发新一代大数据技术,构建稳定可靠、低成本、高性能的大数据基础设施,更多赋能业务,创造更多价值。

     

    团队持续招聘 HDFS,YARN,Spark,HBase 等领域专家,参与滴滴大数据架构的建设工作,欢迎加入。

     

    可投递简历到 diditech@didiglobal.com,邮件主题请命名为「姓名-应聘部门-应聘方向」。

    扫码了解更多岗位

    延伸阅读

    内容编辑 | Teeo

    联系我们 | DiDiTech@didiglobal.com

    
    
    展开全文
  • 大数据安全规范

    万次阅读 2016-04-23 23:31:30
    大数据的安全体系分为五个层次:周边安全、数据安全、访问安全(认证 - authentication和授权 - authorization)、访问行为可见、错误处理和异常管理

    大数据安全规范

       

    一、概述

    大数据的安全体系分为五个层次:周边安全、数据安全、访问安全(认证 - authentication和授权 - authorization)、访问行为可见、错误处理和异常管理。下面依次说明:

    1.周边安全技术即传统意义上提到的网络安全技术,如防火墙等;

     

    2.数据安全包括对数据的加解密,又可细分为存储加密和传输加密;还包括对数据的脱敏;

     

    3.访问安全主要是对用户的认证和授权两个方面:

    用户认证(Authentication)
    即是对用户身份进行核对, 确认用户即是其声明的身份, 这里包括用户和服务的认证

    用户授权(Authorization)

    即是权限控制,对特定资源, 特定访问用户进行授权或拒绝访问。用户授权是建立再用户认证的基础上,没有可靠的用户认证谈不上用户授权。

    访问安全还包括数据验证(data validation)

    1> type.   int string等
    2> format. phone
    email
    3> length.
    4> range.
    5> precense or absence.
    6> match in lookup tables.
    7> other bussiness rules 

    4.访问行为可见多指记录用户对系统的访问行为(审计和日志):如查看哪个文件;运行了哪些查询;访问行为监控一方面为了进行实时报警,迅速处置危险的访问行为;另一方面为了事后调查取证,从长期的数据访问行为中分析定位特定的目的。


     5.错误处理和异常管理

    这个主要是针对错误发现,一般做法是建立并逐步完善的监控系统,对可能发生或已发生的情况进行预警或者告警。还包括异常攻击事件监测,目前发现的针对攻击的办法有:

    1>攻击链分析,按照威胁检测的时间进行分析,描述攻击链条

    2>相同类型的攻击事件进行合并统计

    3>异常流量学习正常访问流量,流量异常时进行告警


    在这五个层次中,第三层(访问安全)同业务的关系最为直接:应用程序的多租户,分权限访问控制都直接依赖这一层的技术实现,那么我们的重点也将放在这一层上。众所周知的是, hadoop本身提供的认证(主要是kerberos)不易维护,授权(主要是ACL)又很粗粒度,为此我们通过对两个重量级公司(Cloudera和Hortonworks)开源的关于安全的服务进行对比(参见博文)后决定使用Hortonworks开源的Ranger。 Ranger为企业级hadoop生态服务提供了许多安全套件,通过集中化权限管理为用户/组提供文件、文件夹、数据库、表及列的认证、授权控制,还可以提供审计(通过solr进行查询),新推出的RangerKMS还支持对hdfs数据加密等

    二、大数据平台安全规范之访问安全


    2.1用户身份认证

    通过Ranger提供的用户/组同步功能实现认证,Ranger可以整合Unix或者LDAP进行用户认证管理


    2.2 用户权限管理


    2.2.1 账号管理

    帐号分为运维帐号和开发用户帐号。

     

    运维帐号按服务拆为多个账号,不同的账号操作不同的服务,具体如下:

     

    服务

    用户

    Flume

    flume

    HDFS

    hdfs

    MapReduce

    mapred

    HBase

    hbase

    Hive

    hive

    Kafka

    kafka

    Oozie

    oozie

    Ranger

    ranger

    Spark

    spark

    Sqoop

    sqoop

    Storm

    storm

    YARN

    yarn

    ZooKeeper

    zookeeper

    Ambari Metrics

    ams

      

    开发用户账号,每个用户一个帐号,按团队分组,不同的账号或组操作不同的文件或表,如果需要操作别人的数据,需要运维进行授权

     

    2.2.2 目录和文件规范

    目录

    规则

    /source

    主要存储原始采集的日志,存储规则如下: /source/{业务名称}/{日期},其中:

        业务名称: 比如发送记录等

        日期:    格式统一为yyyyMMdd

    /data

    存储的规范和source一样, 数据仓库之前的文件临时目录

    清理时间待定

    /workspace

    工作空间,存储规则如下:/workspace/{团队名称}/{业务名称|产品名称}

     对方

    /user

    用户空间,存储用户私有数据,仅用户自己可以访问。按照开发人员

    自己的习惯组织存储文件,用于存储用户的测试数据,

    清理时间待定
    当员工离职账户注销,空间存储回收。

    /user/hive/warehouse

    存储hive仓库,按照团队创建库;公共日志按照业务名进行创建,

    每个团队可以创建一个属于团队的hive库

    /temp

    用来存储一些临时文件

     

    每月清理一次

     





    2.2.3 用户权限管理

    权限管理有2种方案,ACL方案(粗粒度)和 ranger方案(细粒度),基于我们的数据需求,先考虑使用ranger提供的细粒度权限控制

     

    使用Ranger UI界面进行权限的管理,目前各个服务提供的权限如下:

    服务

    服务详情

    权限

    HDFS

    hdfs path

    Read、Write、Execute

    HBase

    table、column family、column

    Read、Write、Create、Admin

    Hive

    database、table|function、column

    Select、Update、Create、Drop、Alter、Index、Lock、All

    YARN

    queue

    Submit-job、Admin-queue

    Kafka

    topic

    Publish、Consume、Configure、Describe、Kafka Admin





    团队权限分配


    团队

    团队成员组

    服务

    权限

    dp(数据平台)

    dp

    HDFS

    Read、Write、Execute

    HBase

    Read、Write

    Hive

    Select

    YARN

    Submit-job

    Kafka

    Publish、Consume、Configure、Describe

    dm(数据挖掘)

    dm

    HDFS

    Read、Write、Execute

    HBase

    Read、Write

    Hive

    Select

    YARN

    Submit-job

    da(数据应用)

    da

    HDFS

    Read、Write、Execute

    HBase

    Read、Write

    Hive

    Select

    YARN

    Submit-job

    op(运维)

    hadoop管理员

    HDFS、HBase、Hive、YARN、Kafka

    All

     

     




    个人帐号:在线上操作要精确到个人

       

    申请权限流程:

         每个团队的leader向管理员提出申请,经过评审通过后方可授予相应的权限

    展开全文
  • 等级保护2.0-大数据安全要求梳理

    千次阅读 2020-05-24 09:35:14
    GB/T 37988-2019 信息安全技术 数据安全能力成熟度模型 其中,等级保护2.0特指22239。22239对各种应用形态提出了不同的要求,包括通用、云计算应用、移动应用、物联网应用、工业控制系统应用。从低到高分别为一

    一、等级保护2.0简介

    等级保护2.0的相关国标包括:

    GB/T 22239-2019 信息安全技术 网络安全等级保护基本要求

    GB/T 25070-2019 信息安全技术 网络安全等级保护安全设计技术要求

    GB/T 37973-2019 信息安全技术 大数据安全管理指南

    GB/T 37988-2019 信息安全技术 数据安全能力成熟度模型

    其中,等级保护2.0特指22239。22239对各种应用形态提出了不同的要求,包括通用、云计算应用、移动应用、物联网应用、工业控制系统应用。从低到高分别为一级到五级。通常,企业的信息系统的等级保护等级大多数为二级,部分为三级。

     

    二、数据安全要求

    主要从二级、三级等保要求进行描述。级别通常针对外界对系统造成的损害程度进行定义。

    第二级安全保护能力指的是:应能够防护系统免受来自外部小型组织的、拥有少量资源的威胁源发起的恶意攻击、一般的自然灾难、以及其他相当危害程度的威胁所造成的重要资源损害,能够发现重要的安全漏洞和处置安全事件,在自身遭到损害后,能够在一段时间内恢复部分功能。

    第三级安全保护能力指的是:应能够在统一安全策略下防护系统免受来自外部有组织的团体、拥有较为丰富资源的威胁源发起的恶意攻击、较为严重的自然灾难、以及其他相当危害程度的威胁所造成的主要资源损害,能够发现、监测攻击行为和处置安全事件,在自身遭到损害后,能够较快恢复绝大部分功能。

     

    等保要求的基本思想是:一个中心三重防护。

    一个中心指的是安全管理中心

    三重防护指的是安全通信网络、安全区域边界、安全计算环境

     

    二级要求:

    通信网络包括:网络架构、通信传输、可信验证

    区域边界包括:边界防护、访问控制、入侵防范、恶意代码防范、安全审计、可信验证

    安全计算环境包括:身份鉴别、访问控制、安全审计、入侵防范、恶意代码防范、可信验证、数据完整性、数据备份恢复、剩余信息保护、个人信息保护

    安全管理中心包括:系统管理、审计管理

     

    三级要求:

    (粗体为二级基础上增加的要求)

    通信网络

    网络架构:

    a)应保证网络设备的业务处理能力满足业务高峰期需要;
    b)应保证网络各个部分的带宽满足业务高峰期需要;
    c)应划分不同的网络区域,并按照方便管理和控制的原则为各网络区域分配地址;
    d)应避免将重要网络区域部署在边界处,重要网络区域与其他网络区域之间应采取可靠的技术隔离手段;
    e)应提供通信线路、关键网络设备和关键计算设备的硬件冗余,保证系统的可用性。

    通信传输:

    a)应采用校验技术或密码技术保证通信过程中数据的完整性;
    b)应采用密码技术保证通信过程中数据的保密性。

    可信验证:
    可基于可信根对通信设备的系统引导程序、系统程序、重要配置参数和通信应用程序等
    进行可信验证,并在应用程序的关键执行环节进行动态可信验证,在检测到其可信性受到破
    坏后进行报警,并将验证结果形成审计记录送至安全管理中心。

    区域边界

    边界防护:

    a)应保证跨越边界的访问和数据流通过边界设备提供的受控接口进行通信;
    b)应能够对非授权设备私自联到内部网络的行为进行检查或限制;

    c)应能够对内部用户非授权联到外部网络的行为进行检查或限制;
    d)应限制无线网络的使用,保证无线网络通过受控的边界设备接入内部网络。

    访问控制:

    a)应在网络边界或区域之间根据访问控制策略设置访问控制规则,默认情况下除允许通信外受控接口拒绝所有通信;
    b)应删除多余或无效的访问控制规则,优化访问控制列表,并保证访问控制规则数量最小化;
    c)应对源地址、目的地址、源端口、目的端口和协议等进行检查,以允许/拒绝数据包进出;
    d)应能根据会话状态信息为进出数据流提供明确的允许/拒绝访问的能力;
    e)应对进出网络的数据流实现基于应用协议和应用内容的访问控制。

    入侵防范:

    a)应在关键网络节点处检测、防止或限制从外部发起的网络攻击行为;
    b)应在关键网络节点处检测、防止或限制从内部发起的网络攻击行为;
    c)应采取技术措施对网络行为进行分析,实现对网络攻击特别是新型网络攻击行为的分析;
    d)当检测到攻击行为时,记录攻击源IP、攻击类型、攻击目标、攻击时间,在发生严重入侵事件时应提供报警。

    恶意代码与垃圾邮件防范:

    a)应在关键网络节点处对恶意代码进行检测和清除,并维护恶意代码防护机制的升级和更新;
    b)应在关键网络节点处对垃圾邮件进行检测和防护,并维护垃圾邮件防护机制的升级和更新。

    安全审计:

    a)应在网络边界、重要网络节点进行安全审计,审计覆盖到每个用户,对重要的用户行为和重要安全事件进行审计;
    b)审计记录应包括事件的日期和时间、用户、事件类型、事件是否成功及其他与审计相关的信息;
    c)应对审计记录进行保护,定期备份,避免受到未预期的删除、修改或覆盖等;
    d)应能对远程访问的用户行为、访问互联网的用户行为等单独进行行为审计和数据分析。

    可信验证:

    可基千可信根对边界设备的系统引导程序、系统程序、重要配置参数和边界防护应用程序等进行可
    信验证,并在应用程序的关键执行环节进行动态可信验证,在检测到其可信性受到破坏后进行报警,并
    将验证结果形成审计记录送至安全管理中心。

    安全计算环境

    身份鉴别:

    a) 应对登录的用户进行身份标识和鉴别,身份标识具有唯一性,身份鉴别信息具有复杂度要求并
    定期更换;
    6) 应具有登录失败处理功能,应配置并启用结束会话、限制非法登录次数和当登录连接超时自动
    退出等相关措施;
    c) 当进行远程管理时,应采取必要措施防止鉴别信息在网络传输过程中被窃听;
    d) 应采用口令、密码技术、生物技术等两种或两种以上组合的鉴别技术对用户进行身份鉴别,且
    其中一种鉴别技术至少应使用密码技术来实现。

    访问控制:

    a) 应对登录的用户分配账户和权限;
    b) 应重命名或删除默认账户,修改默认账户的默认口令;
    c) 应及时删除或停用多余的、过期的账户,避免共享账户的存在;
    d) 应授予管理用户所需的最小权限,实现管理用户的权限分离;
    e) 应由授权主体配置访问控制策略,访间控制策略规定主体对客体的访间规则;
    f) 访间控制的粒度应达到主体为用户级或进程级,客体为文件、数据库表级;
    g) 应对重要主体和客体设置安全标记,并控制主体对有安全标记信息资源的访问。

    安全审计:

    a) 应启用安全审计功能,审计覆盖到每个用户,对重要的用户行为和重要安全事件进行审计;
    b) 审计记录应包括事件的H期和时间、用户、事件类型、事件是否成功及其他与审计相关的信息;
    c) 应对审计记录进行保护,定期备份,避免受到未预期的删除、修改或覆盖等;
    d) 应对审计进程进行保护,防止未经授权的中断。

    入侵防范:

    a) 应遵循最小安装的原则,仅安装需要的组件和应用程序;
    b) 应关闭不需要的系统服务、默认共享和高危端口;
    c) 应通过设定终端接入方式或网络地址范围对通过网络进行管理的管理终端进行限制;
    d) 应提供数据有效性检验功能,保证通过人机接口输入或通过通信接口输入的内容符合系统设
    定要求;
    e) 应能发现可能存在的已知浦洞,并在经过充分测试评估后,及时修补漏洞;
    f) 应能够检测到对重要节点进行入侵的行为,并在发生严重入侵事件时提供报警。

    恶意代码防范:

    应采用免受恶意代码攻击的技术措施或主动免疫可信验证机制及时识别入侵和病毒行为,并将其
    有效阻断。

    可信验证:

    可基于可信根对计算设备的系统引导程序、系统程序、重要配置参数和应用程序等进行可信验证,
    并在应用程序的关键执行环节进行动态可信验证,在检测到其可信性受到破坏后进行报警,并将验证结果形成审计记录送至安全管理中心。

    数据完整性:

    a) 应采用校验技术或密码技术保证重要数据在传输过程中的完整性,包括但不限千鉴别数据、重
    要业务数据、重要审计数据、重要配置数据、重要视频数据和重要个人信息等;
    b) 应采用校验技术或密码技术保证重要数据在存储过程中的完整性,包括但不限于鉴别数据、重
    要业务数据、重要审计数据、重要配置数据、重要视频数据和重要个人信息等。

    数据保密性:

    a) 应采用密码技术保证重要数据在传输过程中的保密性,包括但不限于鉴别数据、重要业务数据
    和重要个人信息等;
    b) 应采用密码技术保证重要数据在存储过程中的保密性,包括但不限千鉴别数据、重要业务数据
    和重要个人信息等。

    数据备份恢复:

    a) 应提供重要数据的本地数据备份与恢复功能;
    b) 应提供异地实时备份功能,利用通信网络将重要数据实时备份至备份场地;
    c) 应提供重要数据处理系统的热冗余,保证系统的高可用性。

    剩余信息保护:

    a) 应保证鉴别信息所在的存储空间被释放或重新分配前得到完全清除;
    b) 应保证存有敏感数据的存储空间被释放或重新分配前得到完全清除。

    个人信息保护:
    a) 应仅采集和保存业务必需的用户个人信息;
    b) 应禁止未授权访问和非法使用用户个人信息。

    安全管理中心

    系统管理:

    a) 应对系统管理员进行身份鉴别,只允许其通过特定的命令或操作界面进行系统管理操作,并对
    这些操作进行审计;
    b) 应通过系统管理员对系统的资源和运行进行配置、控制和管理,包括用户身份、系统资源配置、
    系统加载和启动、系统运行的异常处理、数据和设备的备份与恢复等。

    审计管理:

    a) 应对审计管理员进行身份鉴别,只允许其通过特定的命令或操作界面进行安全审计操作,并对
    这些操作进行审计;
    b) 应通过审计管理员对审计记录应进行分析,并根据分析结果进行处理,包括根据安全审计策略
    对审计记录进行存储、管理和查询等。

    安全管理:

    a) 应对安全管理员进行身份鉴别,只允许其通过特定的命令或操作界面进行安全管理操作,并对
    这些操作进行审计;
    b) 应通过安全管理员对系统中的安全策略进行配置,包括安全参数的设置,主体、客体进行统一
    安全标记,对主体进行授权,配置可信验证策略等。

    集中管控:

    a) 应划分出特定的管理区域,对分布在网络中的安全设备或安全组件进行管控;
    b) 应能够建立一条安全的信息传输路径,对网络中的安全设备或安全组件进行管理;
    c) 应对网络链路、安全设备、网络设备和服务器等的运行状况进行集中监测;
    d) 应对分散在各个设备上的审计数据进行收集汇总和集中分析,并保证审计记录的留存时间符
    合法律法规要求;
    e) 应对安全策略、恶意代码、补丁升级等安全相关事项进行集中管理;
    f) 应能对网络中发生的各类安全事件进行识别、报警和分析。

     

    大数据应用场景说明

    大数据应用是基于大数据平台对数据的处理过程,通常包括数据采集、数据存储、数据应用、数据交换和数据销毁等环节,上述各个环节均需要对数据进行保护,通常需考虑的安全控制措施包括数据采集授权、数据真实可信、数据分类标识存储、数据交换完整性、敏感数据保密性、数据备份和恢复、数据输出脱敏处理、敏感数据输出控制以及数据的分级分类销毁机制等。大数据平台是为大数据应用提供资源和服务的支撑集成环境,包括基础设施层、数据平台层和计算分析层。大数据系统除按照22239标准的要求进行保护外,还需要考虑其特点。


    第三级可参考安全控制措施
    安全物理环境
    应保证承载大数据存储、处理和分析的设备机房位于中国境内。

    安全通信网络
    本方面控制措施包括:
    a) 应保证大数据平台不承载高于其安全保护等级的大数据应用;
    b) 应保证大数据平台的管理流量与系统业务流量分离。
    安全计算环境
    本方面控制措施包括:
    a) 大数据平台应对数据采集终端、数据导入服务组件、数据导出终端、数据导出服务组件的使用实施身份鉴别;
    b) 大数据平台应能对不同客户的大数据应用实施标识和鉴别;
    c) 大数据平台应为大数据应用提供集中管控其计算和存储资源使用状况的能力;
    d) 大数据平台应对其提供的辅助工具或服务组件,实施有效管理;
    e) 大数据平台应屏蔽计算、内存、存储资源故障,保障业务正常运行;
    f) 大数据平台应提供静态脱敏和去标识化的工具或服务组件技术;
    g) 对外提供服务的大数据平台,平台或第三方只有在大数据应用授权下才可以对大数据应用的数据资源进行访问、使用和管理;
    h) 大数据平台应提供数据分类分级安全管理功能,供大数据应用针对不同类别级别的数据采取不同的安全保护措施;
    i) 大数据平台应提供设置数据安全标记功能,基于安全标记的授权和访问控制措施,满足细粒度授权访问控制管理能力要求;
    j) 大数据平台应在数据采集、存储、处理、分析等各个环节,支持对数据进行分类分级处置,并保证安全保护策略保持一致;
    k) 涉及重要数据接口、重要服务接口的调用,应实施访问控制,包括但不限千数据处理、使用、分析、导出、共享、交换等相关操作;
    1) 应在数据清洗和转换过程中对重要数据进行保护,以保证重要数据清洗和转换后的一致性,避免数据失真,并在产生问题时能有效还原和恢复;
    m) 应跟踪和记录数据采集、处理、分析和挖掘等过程,保证溯源数据能重现相应过程,溯源数据满足合规审计要求;
    n) 大数据平台应保证不同客户大数据应用的审计数据隔离存放,并提供不同客户审计数据收集汇总和集中分析的能力。


    安全建设管理
    本方面控制措施包括:
    a) 应选择安全合规的大数据平台,其所提供的大数据平台服务应为其所承载的大数据应用提供相应等级的安全保护能力;
    b) 应以书面方式约定大数据平台提供者的权限与责任、各项服务内容和具体技术指标等,尤其是安全服务内容;
    c) 应明确约束数据交换、共享的接收方对数据的保护责任,并确保接收方有足够或相当的安全防护能力。

    安全运维管理
    本方面控制措施包括:
    a) 应建立数字资产安全管理策略,对数据全生命周期的操作规范、保护措施、管理人员职责等进行规定,包括并不限于数据采集、存储、处理、应用、流动、销毁等过程;
    b) 应制定并执行数据分类分级保护策略,针对不同类别级别的数据制定不同的安全保护措施;
    c) 应在数据分类分级的基础上,划分重要数字资产范削,明确重要数据进行自动脱敏或去标识的使用场景和业务处理流程;
    d) 应定期评审数据的类别和级别,如需要变更数据的类别或级别,应依据变更审批流程执行变更。

     

     

     

     

    展开全文
  • 来源:中国信息安全本文多图,建议阅读10分钟。本报告探讨了大数据安全的特殊内涵,梳理了发展情况,并基于现状提出了未来发展方向与建议。点击“阅读原文”下载完整版白皮书 ...
  • 随着安全行业信息化向“整合、高共享、深应用”快速发展,安全信息资源种类和数据激增,信息集中度和敏感度明显增加,信息应用和共享方式日趋复杂,数据盗取、越权访问等造成安全敏感信息泄露、侵犯公民隐私的现象...
  • 1212大数据安全分论坛

    千次下载 2015-12-30 17:34:03
    2015 BDTC大会讲师公开PPT-大数据安全分论坛
  • 当今,企业”上云”节奏正在加速,特别是在以人工智能技术为代表的新一波技术浪潮推动下,企业一方面通过云技术增强了自身的数据存储连接、计算以及智能应用能力;另一方面,利用基于云计算之上的大数据、人工智能等...
  • 《2018年大数据安全白皮书》首先从大数据带来的变革出发,探讨了大数据安全区别于传统安全的特殊内涵;然后聚焦技术领域,给出大数据安全技术总体视图,分别从平台安全、数据安全和个人隐私安全三个方面梳理了大数据...
  • 在宏观角度上看,设立专门的法律,加强信息数据安全是非常有必要的。因为传统的措施已经保护不了信息数据的安全了,加强技术水平虽然很重要,但单靠这一方面的防护,是无法满足日益发展的大数据的要求的,所以法律的...
  • WHAT何为数据安全? 数据安全指的是用技术手段识别网络上的文件、数据库、帐户信息等各类数据集的相对重要性、敏感性、合规性等,并采取适当的安全控制措施对其实施保护等过程。 与边界安全、文件安全、用户行为安全...
  • 随着关于保护机密数据和...然而,除了加扰数据之外,它还提供了更的优势。   在满足企业的多个与安全相关的信息要求时,健康的加密技术可以轻松地作为可靠的安全工具。只使用加密技术,您永远无法获得最佳效益...
  • 【BDTC 2015】大数据安全分论坛:数据驱动安全 大数据云计算BDTCBDTC2015阿里巴巴腾讯奇虎360明略数美 摘要:12月10-12日,2015中国大数据技术大会在京盛大开幕,在12日上午的大数据安全分论坛上,来自...
  • 数据安全治理方法导论

    千次阅读 多人点赞 2020-11-25 22:30:38
    1.3 数据安全按相关法律和标准爆发 1.4 数据安全建设需要有系统化思维和建设框架 第二章 数据安全治理基本理念 2.1 Gartner 数据安全治理理念 2.2 数据安全治理系统理论设计 第三章 数据安全治理-组织建设 ...
  • 该法共七章55条,分为总则、数据安全与发展、数据安全制度、数据安全保护义务、政务数据安全与开放、法律责任和附则等章节。《数据安全法》统筹发展与安全,以安全保发展,助推数字中国建设。 数据风险治理路径 1、...
  • 数据安全与隐私保护

    千次阅读 2020-01-11 17:28:05
    小论文 大数据安全与隐私保护 ...摘要: 本篇论文讲述了上课所学习到的大数据的机遇和网络安全的挑战、大数据带来的网络...本篇论文第一部分第一节讲述了大数据分析挖掘的价值与机遇,同时提及了大数据安全的现状与挑战...
  • 大数据应用安全研究报告

    千次阅读 2019-03-04 11:23:33
    一、阿里云大数据安全实践 阿里云数加大数据平台提供从数据采集,加工、数据分析、机器学习到最后数据应用的全链路技术和服务。 基于阿里云数加大数据平台,除了可以打造智能可视化透明工厂、智能交通实时预测和...
  • 大数据的安全理解及应对策略研究

    千次阅读 2018-01-12 20:44:58
    大数据的安全理解及应对策略研究 大数据的产生使数据分析与应用更加复杂,...数据的增多使数据安全和隐私保护问题日渐突出,各类安全事件给企业和用户敲醒了警钟。在整个数据生命周期里,企业需要遵守更严格的安全
  • WHAT何为数据安全? 数据安全指的是用技术手段识别网络上的文件、数据库、帐户信息等各类数据集的相对重要性、敏感性、合规性等,并采取适当的安全控制措施对其实施保护等过程。 与边界安全、文件安全、用户行为...
  • 《中华人民共和国数据安全法》解读(1)背景解读第一章 总则第二章 数据安全与发展 背景   《中华人民共和国数据安全法》自征求意见至今已经过去很久,最近一段时间滴滴公司的多款APP被强制下架的事件引起了全...
  • 本课程是《数据分析技术应用》系列进阶课程的初级入门课程,学员研修完毕后能够进行较为复杂的描述性统计分析、推断性统计分析、数据可视化分析、预测分析等常用数据分析处理,满足商务运营和科学研究所需的常规数据...
  • 推广业务系统防攻击防入侵通用保护技术的普及和应用,引入并推广匿名技术、数据泄露保护模型技术等业已成熟的大数据安全保护专用技术。 二是加强基础保护技术体系的建设和实施。制定并组织实施适用于大数据安全保护...
  • Kali Linux 网络安全渗透测试

    万人学习 2019-06-02 10:28:53
    为什么学网络安全? 1. 市场巨大 每年各安全厂商收入高达400亿左右,随着5G的发展,万物互联时代,市场将进一步扩大。 2. 薪资高 网安人才的匮乏,用人开出招聘薪资往往高于求职者的预期。 3. 靠能力说话 在网络安全...
  • 2018年1月12日下午,江苏省信息网络安全协会2017年协会在南京召开,公安部网络安全保卫局郭启全总工做了《从实战出发,落实重要措施,保卫国家关键信息基础设施和大数据安全》的报告,报告内容干货满满。今天不得不...
  • 为了保障数据安全,促进数据开发利用,保护公民、组织的合法权益,维护国家主权、安全和发展利益,制定本法。 【解读】 本条规定了《数据安全法(草案)》的立法目的。 第二条 在中华人民共和国境内开展数据活动...
  • 谈谈数据安全和数据隐私

    千次阅读 2018-01-06 10:44:20
    数据安全:数据被非法访问,窃取或操纵 现状 数百亿的产品已经或即将成为物联网的一部分。这就意味着有大量能够生成数据的设备和连接需要保护。从产品设计之初,你就需要考虑数据安全和数据隐私问题,并且是从...
  • 数据治理系列6:数据安全治理之道

    千次阅读 2019-08-17 10:37:07
    本文原创地址:https://mp.weixin.qq.com/s/5Ci4K2JvT9QGeJpCF93lTw,请手机扫描文章末尾的二维码,关注我们。...说到数据安全,不由得想起那些年做军工企业项目时的一些人和一些事。那是10年前——20...
  • 第一章、绪论1.1.大数据概述1.2.大数据安全与隐私保护需求1.3....大数据并不仅仅是“大量的数据”(Gartner如是定义:Big data is high-volume, high-velocity and high-variety information as...
  • HOW如何实现数据安全? 数据安全模型vs用户安全模型 设想一种场景,某企业客服部的一个员工将包含大量客户个人身份隐私信息(如身份证号、电话号码等)的Excel文件放在了一个公司所有人均有权访问的共享文件夹中...
  • 政务是个市场,阿里、腾讯、电信、华为都在赔本赚吆喝。本文作者宇同学是资深从业人士,研发总监,他会写一系列文章来阐述政务云全景。 前面七篇分别深入阐述:政务大数据的本质:《 浅谈政务大数据的本质》 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,848,209
精华内容 739,283
关键字:

大数据安全