精华内容
下载资源
问答
  • 8.1 云数据中心面临的安全挑战 因为云化和SDN化的网络特点(网元出现的位置随意性更大,出现和消失的时间不定): 首先会导致安全业务开通周期长; 其次SDN的自动化能力是现在安全业务所不能达到的,很多安全业务...

    8.1 云数据中心面临的安全挑战

    因为云化和SDN化的网络特点(网元出现的位置随意性更大,出现和消失的时间不定):
    首先会导致安全业务开通周期长;
    其次SDN的自动化能力是现在安全业务所不能达到的,很多安全业务需要手动配置;
    最后,为了应对突发流量,数据中心部署了大量冗余的安全设备,造成资源浪费。
    安全边界变得模糊:
    基于边界的安全防护无法有效工作
    可能会出现数据中心内部虚拟机被劫持后发动的攻击
    无法防范APT(高级持续性威胁)
    安全管理和安全运维复杂化
    无法感知应用
    安全策略数量庞大,且执行分区域,无法宏观防护
    日志格式不统一,安全威胁调查响应速度慢

    8.2 云数据中心的安全架构

    8.2.1 安全架构全景

    云数据中心对安全的新要求:

    • 对安全隔离提出了更高的要求
    • 云内外访问资源需要更严格的控制访问
    • 更加宏观的安全防护体系
    • 以服务形式交付,满足按需部署和弹性扩缩

    在架构中我们着重讲解一下红框中的内容,包括:
    虚拟化安全中的安全组( Security Group)
    网络安全
    高级威胁检测防御
    安全管理
    在这里插入图片描述

    8.2.2 安全组件架构

    在这里插入图片描述
    应用层
    安全应用统一编排,按需动态发放安全服务,安全应用再将该服务发送给控制器,最终由控制器下发给网络设备。
    安全应用可以利用遥测数据,结合大数据和人工智能进行高级威胁检测,达到了全网防御和主动防御
    控制层
    即SDN控制器。可能采用网络控制器和安全控制器分开部署的方式。
    网络控制器:除了提供网络业务编排和发放之外,还可以提供微分段和业务链的编排和发放,用户可以利用业务链将流量引导到安全设备,协同安全业务发放
    安全控制器:提供IPSec,安全策略,Anti-DDoS,安全内容检测,地址转换等安全业务的编排,同时还可以和网络控制器协同全面感知威胁
    转发层
    网络设备提供诸如ACL,安全组,微分段等网络安全功能,结合安全设备,两者可以实现数据中心边界安全防护,租户边界和租户内的安全防护

    8.3 云数据中心的安全方案价值

    1.安全资源池化,配置全面自动化

    创建东西向业务的防火墙资源池
    创建南北向业务的防火墙资源池
    防火墙资源池可以弹性伸缩,高效可靠部署
    租户间的安全业务可以相互隔离,并实现自动化配置

    2.丰富安全能力,按层次联防

    **各类防火墙安全能力:**安全策略,IPSec VPN加密,NAT策略,IPS,AV,URL过滤,DDoS攻防,ASPF(Application Specific Packet Filter,针对应用层的包过滤)
    微分段:东西向流量安全管控
    业务链:引流到多个安全业务功能节点,并安排引流的先后顺序
    虚拟化层面的虚拟机隔离(利用安全组)
    网络层面

    • 边界部署专业Anti-DDos,针对应用层
    • 边界部署IPS/IDS,APT攻击检测
    • 多引擎虚拟检测技术,Hypervisor行为捕获。检测位置威胁
    • 利用大数据和AI实现安全威胁的自学习检测

    安全检测闭环:网络是安全分析的数据采集器,也是安全策略的执行器。
    该闭环实现了全网协防,响应并隔离内部威胁,防止威胁扩散

    3.防御智能化,安全可视化,安全运维精简化

    智能化
    利用人工智能检测威胁,主动防御
    可视化
    全网安全态势感知:对各种安全信息进行汇总,然后分析决策
    攻击路径可视:大数据分析关联威胁信息,便于攻击回溯和调查
    统一化,简单化
    多厂商统一,多类安全设备统一
    传统精细化管理和基于业务场景的安全策略分层管理,拥有统一的入口
    安全控制器可进行安全策略调优,简化安全策略运维

    8.4 云数据中心的安全方案

    具体的技术细节

    • 虚拟化安全
    • 网络安全
    • 高级威胁检测防御
    • 边界安全
    • 安全管理

    8.4.1 虚拟化安全

    虚拟机之间通过安全组实现安全控制和隔离

    1.安全组

    实现虚拟机之间的互访控制和隔离,可进行自定义安全隔离
    通过对报文五元组的匹配来进行访问控制和隔离
    安全规则支持随虚拟机动态迁移
    在这里插入图片描述
    从上面的模型来看,安全组具有以下几个特点:

    • 安全组是具有相同安全属性的VM/BM的抽象集合,以及它们的安全策略集合
    • 每个安全组都包含出入方向的动作定义,类似于ACL的控制模型
    • 同一个安全组内的成员默认互通
    • 组内成员主动发起的南北向访问,默认允许互通
    • 组外的主动访问需要白名单匹配

    2.方案实现

    实现分为两种,一种是Network Overlay,另外一种是Hybrid Overlay,
    两种组网的含义请参考我的博客:
    《云数据中心网络架构与技术》读书笔记第六章构建数据中心的逻辑网络(Overlay网络)
    6.3章节

    Network Overlay组网中

    • VM接入场景中,由云平台编排并向OVS发放有状态的IPtable,从而实现安全组
    • BareMetal接入场景中,由云平台编排BM的安全组再通过SDN控制器转换为ACL策略下发到接入交换机上
      在这里插入图片描述

    Hybrid Overlay组网中

    由虚拟交换机替代了OVS

    • VM接入场景中,由云平台接入安全组,再通过SDN向虚拟交换机发放安全组业务
    • BareMetal接入场景中,与Network Overlay相同

    在这里插入图片描述

    8.4.2 网络安全

    8.4.3 高级威胁检测防御

    8.4.4 边界安全

    8.4.5 安全管理

    展开全文
  • 亚马逊云科技云数据仓库Redshift,让您的数据飞起来 随着信息技术的迅速发展,各行各业积累的数据都呈现出爆炸增长的趋势,我们已经进入了大数据的时代。当前企业数据的规模和复杂度不断增长,如何快速低成本的分析...

    #AWS云数据仓库Redshift,让您的数据飞起来

    随着信息技术的迅速发展,各行各业积累的数据都呈现出爆炸增长的趋势,我们已经进入了大数据的时代。当前企业数据的规模和复杂度不断增长,如何快速低成本的分析这些海量数据、挖掘数据的价值、让数据为公司的业务提供支撑,成为困扰企业的一个问题。作为全球最大的公有云提供商,AWS提供了一整套数据分析及挖掘的解决方案,涵盖了数据收集、传输、存储、分析、报表等,其中数据仓库服务是尤为重要的一个环节。AWS 2013年在美国区域发布了云数据仓库Redshift服务,让用户无需任何硬件、低成本、快速的分析企业数据中心或者云中的数据。

    ##什么是Redshift
    AWS Redshift是一个完全托管的云端的大规模并行PB级数据仓库服务,使您能更高效的分析现有数据。使用云端Redshift服务,您无需管理庞大的服务器集群,分析数据的成本不到传统解决方案的十分之一,也能和您现有的BI产品集成。使用Redshift服务有众多的优势。

    ##Redshift的优势
    ###完全托管,快速上手
    使用Redshift云服务,您可以根据业务需要在几分钟内建立几个到几十个节点的数据仓库集群,立刻开始您的数据分析的任务,也能根据需求随时增加或减少集群资源。Redshift是完全托管平台,承担了大量的集群管理、数据库管理、监控、集群健康检查、备份、升级等工作,让您能专注业务分析,无需花大量时间在服务器管理,安全及数据备份等工作上。
    ###为数据仓库而优化的架构
    Amazon Redshift基于企业级PostgreSQL数据库,有大规模并行处理 (MPP) 架构,MPP可以通过将数据分布到各个计算节点来解决海量数据的处理难题。在Redshift中,每个集群有1个管理节点和多个计算节点,集群内部使用私有、高速、 低延时的网络连接。每个计算节点都有单独的CPU,内存和附加存储,并且每个计算节点有多个分区,您的数据被分布保存在计算节点的多个分区内,因此每个分区的数据量大大减少,您的查询会在多个分区并行执行,大大的增加了查询的效率。
    ###高性能
    很多用户使用Redshift获得了几十倍甚至上百倍的查询加速,Redshift能为您提供非常高效的查询性能,除了专为数据仓库而优化的架构外,还有以下优势:
    ####列式存储
    很多数据库使用行式存储,此时如果要基于某个列求和,需要加载整张表的数据,而Redshift列式存储只需要加载一列的数据,磁盘的IO及内存的消耗都显著减少,增加了性能。由于数据仓库中的大部分查询只是扫描整张表中的部分字段,因此Redshift列式存储特别适合数据仓库查询,另外列式存储索引比传统索引能提供5倍以上的压缩效果和10倍以上的性能提升。
    ####数据压缩
    作为一个列式数据仓库,Redshift还支持按列数据压缩,数据压缩减少了磁盘占用空间、减少了读写I/O、减少了内存占用空间,并提高了查询的性能。由于Redshift同列的数据类型相同、有些值也相同,因此Redshift的压缩效率很高。
    ####查询优化
    Redshift提供了针对MPP架构的查询优化引擎,被编译后的SQL分布在多个计算节点的分区内并行执行,并且最大化的利用了列式存储的优势,因此在复杂的多表连接查询的情况下,查询优化器通常能有很大的性能提升。
    ###成本低
    使用Redshift无需昂贵的服务器及管理人员成本,仅按使用量付费,并且可以通过购买预留实例来进一步减少成本,实际成本只有传统数据仓库分析的十分之一。
    ###安全
    创建Redshift集群的时候,可以选择启用加密来保护数据仓库中的数据,启用加密后,所有的数据库、系统表及备份数据都会被加密,保障了数据的安全。连接Redshift的时候,您也可以使用SSL连接,保障网络传输安全。另外AWS也通过身份管理IAM,虚拟网络VPC,防火墙安全组等保护您数据的安全 。
    ###查询分析
    您的应用及工具使用标准的SQL连接Redshift,这意味着开发人员无需为数据分析学习新的技能,您也能使用市场上支持SQL的报表分析工具进行数据的分析。Redshift和很多主流的BI工具的整合已经得到了验证,您可以在AWS的Mmarket Pplace中寻找合适的BI方案,完成您的数据分析及报表工作。
    ###负载性能监控
    Redshift监控让您能了解集群运行的细节,比如您可以随时检查集群节点的CPU、内存、网络、存储的使用状况,了解节点当前负载,确保您使用合适的资源来满足当前的业务需求。Redshift和云监控CloudWatch服务高度集成,CloudWatch能够监测Redshift的各种指标,也可以设置警报,在集群出现故障时第一时间通知您。CloudWatch简单易用,是保障集群健康的重要环节。
    ###数据迁移到Redshift
    不管您的数据是否在云中,都能轻松的使用Redshift分析现有数据,对于传统的没有使用云的用户,只需要先将数据文件上传到AWS中。AWS提供了多种途径将云中的数据加载到Redshift中
    ###从S3中加载数据
    传统的用户可以将数据文件通过上传到AWS的云存储S3上。对于敏感数据,可以在上传前加密数据或者使用S3云端加密功能,因此无需担心数据安全。Redshift提供了命令自动将S3中的数据并行加载到Redshift中。
    ###从Dynamo DB中加载数据
    您也可以将数据加载到AWS的NoSQL数据库(Dynamo DB)中,DynamoDB中的数据可以实时或者批量的导入到Redshift。
    ###从EMR中加载数据
    EMR是AWS基于Hadoop框架的大数据处理服务,通过大数据处理平台加工后的数据,可以使用Redshift命令将HDFS中的数据加载到Redshift中。
    ###通过SSH从远程服务器加载数据
    Redshift也提供了命令从云中或您数据中心主机上通过SSH连接加载数据,但主机必须要能接受SSH连接。

    AWS提供了丰富的功能帮助您将数据中心或云中的数据加载到Redshift中,加载完成后您就可以在Redshift中建立模型,分析数据,使用AWS的QuickSight、Elasticsearch Service等服务显示报表,也可以在AWS的Market Place中寻找行业BI工具分析和显示数据。
    ##总结
    除了上面谈到的Redshift的技术特性外,Redshift给您带来的真正价值在于,它消除了企业构建数据仓库的技术壁垒,消除了数据分析需要使用大量基础设施对企业的拖累,让企业专注于自己的核心竞争力;它也能让您随时执行您想要的任何复杂查询,并能快速得到响应。无需担心ETL过程,无需担心数据存放的成本,您所需要的只是连接Redshift,马上得到您想要的答案!

    展开全文
  • 云数据中心基础原理

    千次阅读 2017-03-27 20:17:42
    传统数据中心的组成 云数据中心的组成 云数据中心与传统数据中心区别

    传统数据中心的组成

    这里写图片描述
    这里写图片描述
    这里写图片描述

    云数据中心的组成

    这里写图片描述
    这里写图片描述
    这里写图片描述

    云数据中心与传统数据中心区别

    这里写图片描述
    这里写图片描述
    这里写图片描述
    这里写图片描述
    这里写图片描述

    展开全文
  • 阿里云数据工厂DataWorks

    千次阅读 2019-04-09 14:23:52
    阿里云数据工厂DataWorks DataWorks(数据工场,原大数据开发套件)是阿里云数加重要的PaaS平台产品,它提供全面托管的工作流服务,一站式开发管理的界面,帮助企业专注于数据价值的挖掘和探索。 DataWorks(数据...

    阿里云数据工厂DataWorks
    DataWorks(数据工场,原大数据开发套件)是阿里云数加重要的PaaS平台产品,它提供全面托管的工作流服务,一站式开发管理的界面,帮助企业专注于数据价值的挖掘和探索。
    DataWorks(数据工场)基于MaxCompute作为核心的计算、存储引擎,提供了海量数据的离线加工分析、数据挖掘的能力。
    DataWorks和MaxCompute关系紧密,DataWorks为MaxCompute提供一站式的数据同步、业务流程设计、数据开发、管理和运维功能。
    使用DataWorks,可对数据进行数据传输、数据转换等相关操作,从不同的数据存储引入数据,对数据进行转化处理,最后将数据提取到其他数据系统。完成整个数据的分析流程,如下图所示:在这里插入图片描述
    功能概述
    全面托管的调度
    提供强大的调度能力,支持按照时间、依赖关系的任务触发机制,支持每日千万级别的任务按照DAG关系准确、准时运行。支持分钟、小时、天、周和月多种调度周期配置。完全托管的服务,无需关心调度服务器资源问题。租户之间提供隔离,保证不同租户之间的任务不会相互影响。

    支持多种任务类型
    支持数据同步、SHELL、MaxCompute SQL、MaxCompute MR等多种任务类型,通过任务之间的相互依赖完成复杂的数据分析处理。
    1.数据转化能力依托MaxCompute强大的能力,保证了大数据的分析处理性能。
    2.数据同步能够依托DataWorks>数据集成的强力支撑,支持多达20+数据源,提供稳定高效的数据传输。

    可视化开发
    提供可视化的代码开发、工作流设计器页面,无需搭配任何开发工具,简单的拖拽和开发就可以完成复杂的数据分析任务。只要有浏览器有网络,便可随时随地进行开发工作。

    监控告警
    运维中心提供可视化的任务监控管理工具,支持以DAG图的形式展示任务运行时的全局情况。可方便地配置短信报警,任务发生错误可及时通知相关同学,保证业务正常运行。

    约束与限制
    仅支持Chrome浏览器54以上版本。
    目前无法支持SQL运行在阿里云云数据库、阿里云分析型数据库等产品,仅支持MaxCompute。

    对大数据产品有需求的用户请加“云特快”微信号:qwe521378,领取阿里云大数据产品优惠券。

    展开全文
  • 阿里云数据及api服务

    千次阅读 2017-01-23 14:11:48
    之前给大家介绍的阿里云的ip地址查询服务,其实是阿里云数据及api服务的一个成员,如图:阿里云数据及api服务的种类繁多,相关用途非常全。包括金融理财:交通地理:生活服务:免费api接口:种类很多,大家有需要的...
  • IaaS私有云数据中心将逐步替代原有形态的企业数据中心,为企业日常IT等业务运营环境提供更加强有力的支持。 IaaS私有云数据中心系统设计 文/罗逸秀 当前云计算产业正在如火如荼的发展,大型互联网运营商如阿里、...
  • 摘要: 12月7日,2017苏州·云栖大会上,阿里云发布全新的混合云数据存储和灾备方案,此次发布的内容包括最新推出的混合云容灾服务HDR和混合云备份服务HBR,以及全面升级的混合云存储阵列CSA2000和CSA3000。...
  • 003云数据中心基础原理笔记

    千次阅读 2017-04-05 22:22:15
    云数据中心
  • 见到热云数据CEO白冬立是秋意正浓的一个下午。在刚刚搬进望京绿地中心国锦大厦40层热云数据明亮宽敞的办公室里,这位看上去就是技术出身的CEO见到老孙的第一句话就是为中午不得不陪客户而将采访时间推后半小时而道歉...
  • 云数据中心备份容灾设计方案

    万次阅读 2018-09-20 15:06:25
    导读:云计算中心 涵盖系统多、类型复杂、关键性...云数据中心备份容灾设计方案   本文主要内容: 数据中心业务分析 灾备技术实现 未来两地三中心规划 灾备方案实施步骤   数据中心业务分析   业务恢...
  • SDN在云数据中心的架构

    万次阅读 2017-05-19 00:35:05
    前言 SDN概念一直如火如荼,若是要谈到概念落地及大规模应用,一定离不开SDN在云计算数据中心的实践应用...本文站在云数据中心网络维护工程师的角度,给大家分享SDN与云数据中心结合的前世今生。 一、云数据中心
  • 宝鸡有座云数据中心

    千次阅读 2018-10-17 09:03:42
    更多精彩,请点击上方蓝字关注我们!10月16日,2018中数盟宝鸡论坛暨水韵川数据中心启动仪式在宝鸡成功举行。在秦岭之侧,渭河之滨,一座现代化的云数据中心将拔地而起。在1...
  • xx大学云数据中心建设方案

    万次阅读 多人点赞 2017-05-20 06:25:26
    xxxxx大学云数据中心建设方案                                 2015/11     目录 第1章 云数据中心总体方案 3 1.1 设计原则 3 1.2 系统...
  • 云数据中心解决方案架构图

    千次阅读 2017-05-18 23:42:32
    展示云数据中心解决方案的整体架构。
  • 阿里云数据盘扩容操作遇险记录

    千次阅读 2017-08-09 16:53:22
    阿里云数据盘扩容操作记录阿里云数据盘40G的容量已经用了37G了,不扩容的话,肯定是不行了。于是开始准备扩容。但是之前没有做过这样的操作。心中有点怕怕的,如果数据丢了可咋整。不管,先创建一个快照,如果不行了...
  • 地理空间数据云下载的数据是以怎样的文件格式呈现的,为什么我下载的是一个波段一幅图,就没有?
  • 云数据中心安全设计要点

    千次阅读 2017-05-18 19:33:28
    安全综述 ...1. 隔离性,云数据中心的各个组成部分都有各自的安全防护措施,当某一个部分出现故障时应尽可能减少对其他部分的影响。 2. 完整性,安全设计必须为整个系统提供全方位的安全防护,云数据
  • 华为云数据复制服务 DRS 正式商用

    千次阅读 2018-10-31 14:54:41
    日前,华为云数据复制服务 DRS 正式商用,支持更大数据量(TB级别)、更长时间(超过一周以上)等多种复杂迁移场景;支持数据库上云和云上业务数据实时回传至云外的混合云架构,数据可灵活流动。此外,DRS 升级预...
  • 近期找我定制按键对接数据库的需求很多, 功能也很类似, 我就想做个平台,每个人都可以通过平台读写云端数据。所有人都用我的服务器,比每个项目都定制更加节约成本。 这个平台比较灵活,存储的数据随便你,例如...
  • 如何构建业务驱动的云数据中心

    千次阅读 2016-02-15 10:17:07
    云数据中心和传统数据中心存在很大差异,运营商在建设云数据中心时将面临诸多挑战,需要一个战略合作伙伴,能够帮助其规划云数据中心的顶层设计,对建设质量和进度负责,同时还可以帮助运营商将现有业务割接、迁移到...
  • 企业之旅的第一步通常是将数据迁移到上。 AWS提供多种数据存储服务,并提供多样的将数据迁移到云端的方法。可能你会想,将数据进行备份还原,收集转移设备数据流,一次性转移大量数据,或者使用专线直连,然后想...
  • 寿阳,花名云生,袋鼠云数据中台解决方案专家。拥有二十年的企业IT管理经验,擅长大型企业信息化规划、项目管理、流程优化及管理变革等领域,曾在用友公司长期担任售前顾问,出任河南天瑞集团CIO(中国民企500强),...
  • 阿里云数据可视化实践

    千人学习 2016-09-08 10:39:42
    本次课程将通过DataV团队在数据产品和数据大屏两个应用场景中的数据可视化实践案例,向大家分享开发过程中的信息设计思考和技术实现细节。
  • 分布式云数据中心、NAAS

    千次阅读 2014-05-07 00:27:48
    分布式云数据中心关注多个dc,多个dc物理分散,逻辑统一; 在业务及数据部署方面; 1、就近接入; 2、
  • 百度地图LBS云数据自定义麻点

    千次阅读 2015-11-18 12:03:38
    使用云数据需要创建“服务端”应用 检验方式选择默认的“IP白名单检验”,如果不想做任何限制直接在输入框里填0.0.0.0/0 提交后创建完成,可以拿到sk了。在引用api的时候通过ak=带入 创建麻点的云数据 与创建应用...
  • 华为云数据中心建设全面复工进行中,预计2021年投入使用(华为云贵州) 推荐2020-04-13 http://3g.donews.com/News/donews_detail/3089566.html 位于贵州省贵安新区华为云数据中心A区项目施工现场,1000余名工人...
  • 袋鼠云数据中台解决方案专家。拥有近10年大数据从业经验,拥有PMP项目管理资格认证,精通数据类项目的开发实施和管理。曾服务过国家工商总局、北京市工商局、北京市财政局、广州开发区大数据局、平湖人社局、海盐人...
  • 摘要: 针对不同数据库间数据实时同步难的问题,日前,阿里云宣布推出混合云数据同步一站式解决方案,便于广大云产品用户实现实时数据同步的混合云支持,更为方便的是,该功能让本地Oracle也能实现与云上数据库的...
  • 摘要:华为云数据管理服务DAS提供的云DBA智能化运维平台于日前发布了空间&元数据分析特性,支持查看实例空间异常列表、实例空间概况、数据库列表信息,帮助用户及时发现数据库中的空间和元数据异常,有效保障...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 83,034
精华内容 33,213
关键字:

云数据