华为云 订阅
华为云成立于2005年,隶属于华为公司 [1]  ,在北京、深圳、南京、美国等多地设立有研发和运营机构,贯彻华为公司“云、管、端”的战略方针,汇集海内外优秀技术人才,专注于云计算中公有云领域的技术研究与生态拓展,致力于为用户提供一站式云计算基础设施服务,目标成为中国最大的公有云服务与解决方案供应商。2017年3月起,华为专门成立了Cloud BU,全力构建并提供可信、开放、全球线上线下服务能力的公有云。截至2017年9月,华为共发布了13大类共85个云服务,除服务于国内企业,还服务于欧洲、美洲等全球多个区域的众多企业。 [2]  华为云立足于互联网领域,依托于华为公司雄厚的资本和强大的云计算研发实力,面向互联网增值服务运营商、大中小型企业、政府、科研院所等广大企事业用户提供包括云主机、云托管、云存储等基础云服务、超算、内容分发与加速、视频托管与发布、企业IT、云电脑、云会议、游戏托管、应用托管等服务和解决方案。 展开全文
华为云成立于2005年,隶属于华为公司 [1]  ,在北京、深圳、南京、美国等多地设立有研发和运营机构,贯彻华为公司“云、管、端”的战略方针,汇集海内外优秀技术人才,专注于云计算中公有云领域的技术研究与生态拓展,致力于为用户提供一站式云计算基础设施服务,目标成为中国最大的公有云服务与解决方案供应商。2017年3月起,华为专门成立了Cloud BU,全力构建并提供可信、开放、全球线上线下服务能力的公有云。截至2017年9月,华为共发布了13大类共85个云服务,除服务于国内企业,还服务于欧洲、美洲等全球多个区域的众多企业。 [2]  华为云立足于互联网领域,依托于华为公司雄厚的资本和强大的云计算研发实力,面向互联网增值服务运营商、大中小型企业、政府、科研院所等广大企事业用户提供包括云主机、云托管、云存储等基础云服务、超算、内容分发与加速、视频托管与发布、企业IT、云电脑、云会议、游戏托管、应用托管等服务和解决方案。
信息
归    属
华为公司
成    立
2005年 [1]
地    址
南京 [1]
中文名
华为云
华为云简介
华为云通过基于浏览器的云管理平台,以互联网线上自助服务的方式,为用户提供云计算IT基础设施服务。云计算的最大优势在于IT基础设施资源能够随用户业务的实际变化而弹性伸缩,用户需要多少资源就用多少资源,使用多少资源就付多少钱,通过这种弹性计算的能力和按需计费的方式有效帮助用户降低运维成本。传统模式下,业务上线前,企业对业务量需要有预估,然而这种预估往往很难准确,业务上线时会出现资源预估过盛或者不足,从而影响业务正常运转,这也是大多数企业所面临的困惑,而弹性云计算的出现,刚好能够帮助企业解决这一难题。有了云计算,企业再也不用提前预估并支付大量资金给不确定的IT基础设施资源,取而代之,企业能够在数分钟内开启成百上千的云计算资源,也能随时快速地缩减掉资源,资源真正地高效灵活配置。
收起全文
精华内容
下载资源
问答
  • 华为云IoT设备接入服务全体验

    千次阅读 2021-06-04 11:43:25
    摘要:华为云IoT设备接入服务,海量设备,一键接入,你值得拥有!

    摘要:华为云IoT设备接入服务,海量设备,一键接入,你值得拥有!

    本文分享自华为云社区《【云驻共创】Huawei Mate 40产线直击之 华为云IoT设备接入服务全体验》,原文作者:启明 。

    前言:

    在开始本文之前,我们先问问自己下面两个问题:

    问题一:物联网慢慢渗入千行百业,其快速发展已成必然,但是在发展的过程中有没有什么挑战呢?

    问题二:目前在智能制造行业很多物联网设备,都是依赖边缘网关的,也即,通过边缘网关来接入物联网,那么为什么要使用边缘网关呢?边缘网关有什么好处呢?

    我们将通过下面的文章,来一一解答。

    一、物联网带来的机遇

    经调查数据显示,目前已经有60%的企业,现在正在使用或者是即将部署IoT业务;有24%的企业IT预算,会用于IoT相关的一些投资;同时,已经有63%的企业,通过IoT的部署,已经收获非常丰厚的回报。物联网在经济中正在发挥着越来越重要的作用。关于物联网的更多的数据可以见下图:

    https://bbs-img.huaweicloud.com/blogs/img/1622520329081062403.png

    同时,我们可以看到,在实际生活当中,也遍布了物联网的身影:智慧抄表、智慧路灯、智慧井盖、车联网、智慧零售、智慧门店……物联网已经深深的渗入到各行各业,并且推动着相关行业的数字化转型,引领着行业做着非常深远的变革。

    回顾历史,我们可以总结发现,在互联网经济中,一共有三波“浪潮”:

    • 第一波:信息服务业数字化,主要是在2000年至2015年。互联网公司的发展,通过互联网软件数字化,已经推动了相关的行业进行物联网转型。而这,已经是过去式了;
    • 第二波:服务产业数字化,集中在2014-2020年,主要是以电信、银行、政府、医疗、出版、零售等等为代表的传统服务+互联网技术进行着数字化。这一阶段已经基本完成;
    • 第三波:实体经济数字化,从2015年至今。其中包括我们最为关注的制造业、能源、交通、农业等等涉及到民生的一些大的行业的变化,这是正在发生变革的一波“浪潮”。

    从国家的十一五/十二五规划到十三五的规划,到近期热议的“新基建”,都在推动制造业产业升级。可目前我国制造业规模庞大、但大而不强,自主创新能力不足,该如何提升呢?数字化转型正是提升制造业竞争力的关键途径。

    https://bbs-img.huaweicloud.com/blogs/img/1622520349307051373.png

    二、物联网带来的挑战

    物联网带来的红利无疑是巨大的,但是同时,也带来也一定的挑战:

    挑战一:让说话

    在让“物”说话的过程中,我们的关键挑战在于:

    • 大量现存设备未被数字化;
    • 多样化设备、各行业协议、各行业通信方式不同;
    • 设备要求低功耗、低成本;
    • 设备安全问题突出。

    我们目前让设备入网的最常用的就是传感器。传统的传感器只是模拟信息量的记录,无法对记录进行分析处理。因此,第一步,需要将传感器所有的感知数字化,用非常客观的数字来表达诸如温度、压力、位置等等信息。同时,我们需要在传感器能够感知的基础上,让它“学会表达”,也就是网络化,通过连接上网,让“物物相连”。先数字化,然后网络化,这是让“物”说话的第一步。

    挑战二:让说一种话

    让“物”说一种话的关键挑战在于:

    • 百万种数据元素,缺乏标准和规范;
    • 多样化数据格式;
    • 各厂商“烟囱式”发展,数据孤岛林立,数据互通困难。

    目前的一些设备,因为行业不同,生产厂家也是不同的,比如路灯、井盖、水表等等,都是不同的厂家生产的。那么,在生产过程中,它们所使用的协议、接入方式有可能都是不一样的,就相当于不同国家的人,没有统一的语言,完全无法沟通。因此,我们需要在各种设备之间,“架起桥梁”,让它们说同一种话,这也就是我们的“物模型”,或者“产品模型” 。让数据标准化,统一物模型,让“物”说同一种话。

    挑战三:让说有价值的话

    让“物”有价值的话的关键挑战在于:

    • 海量数据带来算力、存储问题;
    • 实时流、时序、离线、多维分析复杂;
    • 行业应用场景复杂;
    • 商业闭环、价值变现和分配问题。

    如何让数据变得有价值,是制造业面临的一个巨大挑战。海量的数据出现之后,我们需要从各个方面去分析:时间维度、冷热数据、有价值的数据和没有价值的数据等等,从而得到一个完整的数据分析,进而能够对“物”进行决策,让数据有价值。

    以上即是物联网面临的主要的挑战。可以看到,“万物互联”并不是一件简单的事情。而回归到制造业,在制造业的数字化落地过程中,企业发现,数据的量非常大,流通起来非常困难,数据采集的周期也非常短,基本以秒为单位。同时,数据如何使用,都已经被限制。因此,具体到制造业,数字化的过程中还有如下问题:

    • 无法做个性化定制:全要素采集非常困难;
    • 无法网络化协同:多域数据流打通难;
    • 无法智能化生产:数据大、维度多分析难;
    • 无法服务化延伸:产品智能化服务开发难。

    三、华为云IoT设备接入服务解读

    (一)设备接入服务解决方案架构图:

    互联网的用户,都有一个基本的认知,那就是“数据不会凭空产生”。数据都是通过采集进而上报上来的。华为云IoT设备接入服务,即是进行数据采集工作的一个工具,或者说,平台。以下是华为云IoT的物联网解决方案架构图:

    https://bbs-img.huaweicloud.com/blogs/img/1622520392533074196.png

    华为云IoT云服务,以LiteOS为操作系统,赋能设备以“感知”的能力,同时,通过SDK让设备有网络化的能力;设备网络化之后,通过网关等方式接入华为云IoT的物联网平台(包括设备接入服务、设备发放服务、全球SIM联接以及数据分析服务等等),进行数据上报、命令下发等操作;再通过API方式,连接到物联网应用,打造智慧交通、智慧城市、智慧园区等等各种智慧场景。当然整个框架里面也有很多华为云其他的服务,比如数据库等等,来支撑上层物联网应用的使用。

    其中,设备接入服务,提供海量设备的接入和管理能力,配合华为云其他服务同时使用,帮助客户快速端到端构筑满足要求的物联网解决方案。其包括多网络接入、设备联动规则、产品模型开发等等功能,通过这些微服务,为设备接入提供一个整体服务管理能力。

    (二)华为云IoT设备接入服务通信模型

    https://bbs-img.huaweicloud.com/blogs/img/1622520439944047888.png

    让“物”说话,只是一个拟人的修辞手法,我们实际上要做的,是要让设备使用一种通信方式进行“沟通”。那么我们要如何将一个设备抽象出来进行分析处理呢?

    首先,是属性上报。通过相关的协议解析,属性上报之后,基于模型管理,会把设备的属性分成属性、命令、事件和透明的消息模式,而这些,我们又可以通过schema的形式进行描述;而在上层应用,我们也会按照这样的模型进行相关的处理。

     接下来,我们详细介绍一下设备接入服务的各个能力。

    1、产品模型(Profile):统一的数据&通信模型

    上述这样的一个统一的数据模型是如何形成的呢?这里引入了一个“编解码插件”的概念。具体的方式如下:

    • 定义产品:这里有两种方式进行定义:

    方式1设备厂商通过SP Portal在线编辑Profile;

    方式2设备厂商获取平台提供的样例Profile,根据自身业务进行修改,生成自己业务所需Profile;

    • 快速生成插件

    插件生成:平台提供开发者Portal,通过开发者Portal基于自己定义的Profile,快速生成插件;

    插件部署:对于完成的插件支持一键快速部署;

    • 价值

    对于上层应用价值:降低上层应用对设备管理复杂度,通过在平台规模不同厂家的数据,形成统一的Profile,上层应用无须感知不同设备的差异;

    对设备厂商价值:无须修改设备代码,通过插件适配不同企业的诉求,降低设备厂家的维护复杂度。

    https://bbs-img.huaweicloud.com/blogs/img/1622520458662041035.png

    2、规则引擎:数据流转&设备联动

    我们再来结识一下设备接入的另一个强大的功能:规则引擎。通过规则引擎,我们可以把上报的数据上传到相关的服务(比如数据分析服务等等),引发多设备协同(提醒、告警通知、状态报告等等)。

    https://bbs-img.huaweicloud.com/blogs/img/1622520470161087741.png

    3、构筑边云协同、泛接入、可信的智能IoT边缘服务:

    https://bbs-img.huaweicloud.com/blogs/img/1622520474815016208.png

    IoT边缘,即除了提供云端的能力以外,通过边缘也会构筑大量的能力,包括泛接入能力、本地自治、行业应用等等。特别需要介绍一下,泛接入能力能够满足除了一些相对标准的协议接入以外,还能提供一些私有协议的接入。在边缘之上,也会集成前面说的行业插件能力。通过这种第三方行业插件的能力,能够接入各种各样的设备。

    4、基于规则的设备联动,边云协同实现多场景业务自定义

    https://bbs-img.huaweicloud.com/blogs/img/1622520479526028174.png

    边缘侧的设备联动,可以和云端的IoTDA接入服务做统一的协同。

    5、网络异常时提供本地自治能力,确保业务连续性

    https://bbs-img.huaweicloud.com/blogs/img/1622520483577058951.png

    本地自治的能力很好理解。一般来说,当网络异常的时候,边缘的站点,是贴近设备的。贴近设备的时候,根据自己的管理能力,为接入的设备提供服务,也就是说当网络边缘站点跟云端的网络出现异常情况的时候,可以通过本地自治管理,能够保证业务的连续性。

    四、华为云IoT设备接入服务快速接入&演示

    接下来,结合一个产线的设备来实际演示一下设备是如何接入物联网平台的。我们需要准备的物料有:

    • 边缘网关(Atlas500)
    • 边缘网关集成标准MODBUS协议
    • PLC(镭雕机,含设备网关MODBUS Sever和采集器)接入到边缘网关
    • 边缘网关集成私有设备接入协议(集成对应协议解析的容器/进程服务)
    • PLC(贴片机)采用私有TCP协议介入到边缘网关

    https://bbs-img.huaweicloud.com/blogs/img/1622520490868083254.png

    具体流程:

    1、进入IoTDA服务:https://www.huaweicloud.com/product/iothub.html,点击“立即使用”

    https://bbs-img.huaweicloud.com/blogs/img/1622520498104070081.png

    2、进入设备接入服务页面,创建产品:

    https://bbs-img.huaweicloud.com/blogs/img/1622520508200005161.png

    通过控制台的产品页面,可以预先从属性、服务、设置的命令、事件等等每个维度去定义每一种产品,以下简单介绍比较重要的几个产品模型:

    • IoT边缘:edge_node,创建产品并定义相关产品模型。每个模型的属性,对应一个服务的类型,如edge_access,即是负责MODBUS的设备接入

    https://bbs-img.huaweicloud.com/blogs/img/1622520512808086321.png

    • 镭雕机:LaserMarkingModbus。模型较为简单。通过镭雕机上报雕刻的速度、电流和LED灯等等。

    https://bbs-img.huaweicloud.com/blogs/img/1622520516483024294.png

    • 镭雕机的设备网关:modbus_server。主要用来设置与MODBUS设备对接的相关的参数,比如连接类型、鉴权、IP地址端口等等信息。

    https://bbs-img.huaweicloud.com/blogs/img/1622520521042016153.png

    • 贴片机:Mounter1。较为复杂,里面除了基本的信息,如产品版本、产品名称、加工程序名等等,还包括如加工结果、设备状态、压缩空气气流等等所有涉及到贴片工艺相关的一些参数

    https://bbs-img.huaweicloud.com/blogs/img/1622520525506012923.png

    3、进入设备

    https://bbs-img.huaweicloud.com/blogs/img/1622520532514026493.png

    “设备”里的HDC2021 Training就是本次实验所需的设备

    https://bbs-img.huaweicloud.com/blogs/img/1622520536303031461.png

    在“设备”的概念里,“设备”是分层级的,HDC2021 Training所属产品是我们之前定义的“edge_node”,同时,它又有两个子设备:training_server(镭雕机)和MountDevice0425(贴片机)。

    https://bbs-img.huaweicloud.com/blogs/img/1622520540610022894.png

    4、注册子设备:在HDC2021_Training/training_server下注册Modbus子设备

    • 选择产品:

    https://bbs-img.huaweicloud.com/blogs/img/1622520545064029453.png

    • 进行数据采集配置

    https://bbs-img.huaweicloud.com/blogs/img/1622520548978000453.png

    • 添加子设备,并点击“确定”:

    https://bbs-img.huaweicloud.com/blogs/img/1622520552420029631.png

    • 完成

    https://bbs-img.huaweicloud.com/blogs/img/1622520556798036231.png

    以上就是一个简单的设备接入的演示。华为云IoT平台除了可以使用网关接入,还可以采取直连(MQTT)的方式,对硬件没有特殊的要求,大家有时间可以自行前往进行体验。

    五、华为云IoT设备接入服务小结

    回顾我们在一开始提出的问题,我们在经过这一阶段的讲解之后,可以做出这样的回答:

    问题一:物联网慢慢渗入千行百业,其快速发展已成必然,但是在发展的过程中有没有什么挑战呢?

    答:前面说过的三大挑战:让“物”说话,让“物”说同一种话,让“物”说有价值的话。也即,让设备数据化、网络化、标准化,同时需要有数据分析能力,让数据能够价值最大化。

    问题二:目前在智能制造行业很多物联网设备,都是依赖边缘网关的,也即,通过边缘网关来接入物联网,那么为什么要使用边缘网关呢?边缘网关有什么好处呢?

    答:边缘网关对网络可靠性、安全性的增强,是非常有利的,同时能够增强本地多个单设备的本地闭环也有这明显的好处。

    通过上述的讲解和实验,我们可以看到华为云IoT设备接入服务提供海量设备连接上云、设备和云端双向消息通信、批量设备管理、远程控制和监控、OTA升级、设备联动规则等能力,并可将设备数据灵活流转到华为云其他服务,帮助物联网行业用户快速完成设备联网及行业应用集成。

    一起来体验一下吧~

    本文整理自【华为云社区内容共创者火热招募中】第四弹:耕耘五月,步履不停!查看活动详情:https://bbs.huaweicloud.com/blogs/266530

     

    点击关注,第一时间了解华为云新鲜技术~

    展开全文
  • 摘要:华为智能数据湖MRS服务即将上线ClickHouse高性能引擎集群,用户只需要几分钟,就可以轻松方便地一键式完成集群部署搭建,快速拥有PB级数据的秒级交互查询分析能力,帮助用户带来极致的性能体验。...
    摘要:华为智能数据湖MRS服务即将上线ClickHouse高性能引擎集群,用户只需要几分钟,就可以轻松方便地一键式完成集群部署搭建,快速拥有PB级数据的秒级交互查询分析能力,帮助用户带来极致的性能体验。

    前言

    高性能引擎简介

    ClickHouse是最近这两年非常火的一款开源的分析型数据库,来自俄罗斯的Yandex公司,2016年开源。它独立于Hadoop大数据体系,其最核心的特点是极致压缩率和极速查询性能,能为用户节约大量成本,同时创造更多收益。它提供了兼容标准SQL协议的接口,支持JDBC、ODBC驱动,使用C++语言实现。当然它还有个宏伟的目标:成为世界上最快的分析型数据库,官方测试数据表明,ClickHouse领先Vertica达6倍,领先GreenPlum达到18倍,更是比传统大数据引擎Hive、Spark等快了上百倍!这是它和其他多个开源以及商业数据库的性能比对结果:https://clickhouse.tech/benchmark/dbms。

    典型应用场景

    ClickHouse是Click Stream + Data WareHouse的缩写,它起初应用于一款Web流量分析工具,基于页面的点击事件流,面向数据仓库进行OLAP分析。现在,ClickHouse被广泛的应用于互联网广告、App和Web流量、电信、金融、物联网等众多领域,非常适用于商业智能化应用场景,在国内外有大量的应用和实践:https://clickhouse.tech/docs/en/introduction/adopters/。

    正文

    华为智能数据湖MRS服务即将上线ClickHouse高性能引擎集群,用户只需要几分钟,就可以轻松方便地一键式完成集群部署搭建,快速拥有PB级数据的秒级交互查询分析能力,帮助用户带来极致的性能体验。

    手动挡集群模式升级

    2.1.1模糊的集群

    在介绍之前,我们首先要有个思维转变,ClickHouse集群和通常理解的集群是有差异的。比方说Hadoop集群由2个NameNode和多个DataNode组成的完备且独立的集群,业务可以直接交互访问;而对于多个ClickHouse节点组成的集群,它们是没有中心节点,更多的是一个静态资源池的概念,业务要使用ClickHouse集群模式,需要预先在各个节点的配置文件中定义cluster信息,等所有参与的节点达成共识,业务才可以正确的交互访问,也就是说配置文件中的cluster才是我们通常理解的“集群”概念。

    2.1.2真实的cluster

    常见的数据库系统,隐藏了表级以下的数据分区、副本存储等细节,用户是无感知的,而ClickHouse则要求用户主动来规划和定义数据分片(shard)、分区(partition)、副本(replica)位置等详细配置。它的这种类似“手动挡”的属性,给用户带来及其不友好的体验,所以MRS服务的ClickHouse实例对这些工作做了统一的打包处理,适配成了“自动挡”,实现了统一管理,灵活易用。具体部署形态上,一个ClickHouse实例将包含3个Zookeeper节点和多个ClickHouse节点,采用Dedicated Replica模式,数据双副本高可靠。

    平滑的弹性扩容能力

    随着业务的快速增长,面对集群存储容量或者CPU计算资源接近极限场景,MRS服务提供了平滑的弹性扩容能力,快速的满足客户业务增长的诉求。在用户进行集群扩容新的ClickHouse节点时,MRS提供了一键式数据Balance均衡工具,并把数据均衡的主动权交给用户,由用户根据业务的特点,自由决定数据均衡的方式和时间点,以便保障业务可用性,实现了更加平滑的扩容能力。

    例如:

    • 把负载高的节点从ELB中摘除,让负载(新数据)往新节点倾斜;
    • 使用MRS提供的专业化工具重新均衡数据;
    • 数据双写老化后自动切换;

    多元的鲲鹏算力加持

    面对鲲鹏生态快速发展,华为云也提供包含X86、ARM鲲鹏、昇腾在内的多样计算能力,支持从IOT、大数据、到AI等多种技术,提供最佳的性能、性价比、能效比。得益于华为云鲲鹏处理器多核优势,MRS的ClickHouse集群也支持华为自研ARM鲲鹏服务器,充分利用鲲鹏多核高并发能力,提供了芯片级的全栈自主优化能力,同时使用华为自研的操作系统EulerOS、华为JDK及数据加速层,充分释放底层硬件算力,实现了高性价比。

    灵活易用的配置管理

    MRS服务为用户提供了统一的集群管理页面,并将ClickHouse的实例配置向用户完全开放,用户可以根据自定义需求,灵活方便的通过可视化页面修改集群配置参数,包括增删cluster、macros、storage等信息。和其他MRS服务组件的配置一样,ClickHouse配置也分成集群和节点两个层面,考虑到ClickHouse引擎特殊性,需要注意不要被覆盖。另外,需要引起特别注意是,有些高级配置建议只能由“高级”用户使用,否者可能会导致系统异常。

    高可用HA部署架构

    MRS服务为用户提供了基于ELB的HA部署架构,可以将用户访问流量自动分发到多台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。如下图,客户端应用请求集群时,使用ELB(Elastic Load Balance)来进行流量分发,通过ELB的轮询机制,写不同节点上的本地表(Local Table),读不同节点上的分布式表(Distributed Table),这样,无论集群写入的负载、读的负载以及应用接入的高可用性都具备了有力的保障。

    丰富的监控运维能力

    MRS提供了丰富的ClickHouse集群监控和告警能力,实时发现系统异常,保障业务稳定运行。用户可以通过集群管理Manager的监控页面实时查看ClickHouse集群的运行概况,如健康、配置及角色实例状态统计等指标信息,同时还可以监控具体实例内部运行状态,包括:实时的读、写、数据库连接等多个维度的信息;此外,MRS还可以与华为云消息通知服务(SMN)的消息服务系统对接,将告警信息通过短信或者邮件等形式推送给用户。用户可以自定义配置监控与告警阈值用于关注各指标的健康情况,当监控数据达到告警阈值,系统将自动触发告警,将异常信息以告警形式及时通知到用户。通过以上能力,MRS可以帮助用户轻松运维,实时监控,实时发送告警,操作灵活,让用户更加省心省力。

    可靠的安全防护能力

    MRS提供了VPC网络隔离、专属资源隔离、主机安全等完备的安全保障机制,保障了用户ClickHouse集群数据访问的安全可靠。具体如下:

    • VPC网络隔离:在公有云部署环境中,MRS通过VPC提供隔离的网络环境,保证集群的业务、管理的安全性。用户可以结合虚拟私有云VPC的子网划分、路由控制、安全组等功能,为用户提供高安全、高可靠的网络隔离环境。
    • 专属资源隔离:在面向企业、政府、金融等客户,MRS提供了计算、存储资源池以及网络、管控多级隔离的资源隔离部署方案,为客户打造了安全可靠、便捷的云上“头等舱”。具体模式包括:专属计算资源+共享存储资源、共享计算资源+专属存储资源、专属计算资源+专属存储资源等三种模式。
    • 主机安全服务:MRS支持与云上的安全服务集成,针对主机安全服务,做了兼容性测试,保证功能和性能不受影响的情况下,增强服务的安全能力,如支持漏洞扫描、安全防护、应用防火墙、堡垒机、网页防篡改等能力。

    结尾

    总结展望

    MRS隆重推出的ClickHouse引擎,快速补齐了MRS服务在大数据实时分析领域的能力。同时相对用户自建集群,MRS ClickHouse具备平滑扩容、HA、鲲鹏加持、灵活配置、简单运维、安全可靠等优势能力,将会成为用户在云上构建高性能海量数据分析仓库的首选。

    同时作为一款新的重量级数据库引擎,我们还在持续学习和探索过程中,MRS后面会持续从内核、服务化、生态端多个角度进行优化和改进,包括:鲲鹏指令集加速、安全鉴权、SQL诊断、BI工具集成、AI融合高级特性等。

    案例分享

    • 前段时间我们在华为云MRS服务上测试了ClickHouse官网的Star Schema Benchmark测试套,硬件配置:3台32 vCPU * 128GB的虚机,1TB的数据集,13个查询6个在1秒以内返回,10个在5秒内返回,全部查询10秒以内返回,性能表现非常突出。
    • 海量数据分析的低成本案例:https://altinity.com/blog/2020/1/1/clickhouse-cost-efficiency-in-action-analyzing-500-billion-rows-on-an-intel-nuc

     

     

    点击关注,第一时间了解华为云新鲜技术~

    展开全文
  • 为了让开发者更好的使用这些论文算法,华为云AI在此举办华为云AI论文精读会2021活动。 华为云AI论文精读会2021邀请计算机视觉、迁移学习、自然语言处理等领域专家学者基于华为云ModelArts解读经典论文算法,让更...

    2020年举办的华为云AI经典论文复现活动,不仅受到了参赛者们一致好评,也产出了许多优质的算法成果。这些论文复现的算法描述、源代码以及算法使用指导文档均已发布到了AI Gallery。为了让开发者更好的使用这些论文算法,华为云AI在此举办华为云AI论文精读会2021活动。

    华为云AI论文精读会2021邀请计算机视觉、迁移学习、自然语言处理等领域专家学者基于华为云ModelArts解读经典论文算法,让更多人来低门槛使用经典的算法。

    第一期 · 论文精读会直播

    精读主题:高效语义分割模型Fast-SCNN分享

    嘉宾介绍:历天一,华为云MVP,华为云云享专家,MDG天津大学核心组织者,昇腾HAE,2020年度华为云开发者社区风云人物。研究方向为多模态融合以及深度矩阵分解在情感分析上的应用,包括多模态端云协同部署开发。

    直播内容:

    1.论文的研究背景及成果

    2.模型剖析及算法创新点讲解

    3.代码思路讲解及实操

    欢迎围观华为云AI论文精读会2021。第一期直播主题:高效语义分割模型Fast-SCNN分享 嘉宾:历天一

    论文算法实战赛

    为鼓励大家学习和使用经典的AI论文算法,特别举办了论文算法实战赛

    一、邀友参赛奖励

    邀请方式:活动期间,在本页面点击报名后,点击分享大赛按钮,生成属于自己的专属二维码海报和专属链接,保存并分享海报或链接邀请好友报名。其他选手通过此二维码/链接成功报名并提交作品则视为邀请成功。

    活动规则:参赛选手通过分享专属链接/二维码邀请好友报名参赛,大赛结束后,经后台统计邀友参赛并完成成功提交作品的人数,达到获奖标准,即可获得对应奖品。数量有限,先到先得。

    获奖说明:邀友同时需满足所邀请总人数中60%至少完成一个论文算法实战,方可获得对应的奖品。奖品数量有限,先到先得。奖品颜色随机,如遇奖品库存不足将进行同价位奖品调换。

    二、证书

    华为云AI论文精读会2021“优秀体验官”:完成10个及以上论文算法实战,且按照赛题要求提交成果即可获得。

    三、参赛奖品

    参赛者完成不同数量的论文算法实战,且按照赛题要求提交成果即可获得对应奖品。

    说明:

    1、三合一数据线优先发放快充规格,先到先得。

    2、每种奖品数量设有上限,参赛者提交作品后请主动联系小助手进行兑换奖品,奖品兑完为止。

    3、证书和奖品可重复获得,如完成9个论文算法实战,可直接兑换第4档奖品,也可以兑换1个第1档+1个第2档奖品,其他情况同理。

    无论您是个人、高等院校、企业、科研单位还是创客团队,均可报名参赛!参加论文算法实战赛即有机会获得“优秀体验官”证书以及丰厚的礼品~~

    具体赛题详情请访问链接:https://competition.huaweicloud.com/information/1000041393/introduction

     

    扫码添加小助手

    回复“论文”加入交流群,及时获取直播和赛事的通知。

    点击关注,第一时间了解华为云新鲜技术~

    展开全文
  • 正基于此,华为云Volcano在解决此类问题的基础上,致力于提供一个针对BigData/AI场景的通用、稳定、可扩展、高性能的原生批量计算平台,方便以Kubeflow[1], KubeGene[2], Spark[3] 为代表的上层业务组件集成和使用...

    欢迎添加华为云小助手微信(微信号:HWCloud002 或 HWCloud003),输入关键字“加群”,加入华为云线上技术讨论群;输入关键字“最新活动”,获取华为云最新特惠促销。华为云诸多技术大咖、特惠活动等你来撩!

     

    作者:TommyLike

    序:

    在今年6月上海的KubeCon2019上,作为开源领域的积极贡献者和推进者,华为云开源了面向高性能计算的云原生批量计算平台——Volcano,寄寓助力企业算力像火山一样爆发。该项目是基于华为云容器平台大规模高性能计算应用管理的最佳实践,在原生K8s的基础上,补齐了作业(Job)调度和设备管理等多方面的短板。

    目前,Volcano在华为云上对接了包括一站式AI开发平台ModelArts、云容器实例CCI、云容器引擎CCE在内的多款服务,是整个高性能计算领域不可或缺的基座。在今年5月斯坦福大学发布最新的DAWNBench榜单中,华为云ModelArts就以2分43秒的成绩获得图像识别训练世界第一,其背后就离不开Volcano的助力。

    同时,得益于Volcano的高性能任务处理机制,华为云基因容器服务将基因测序的效率提升了30%,成为基因测序行业的一匹黑马,受到国内多家头部基因测序企业的青睐。自开源以来,华为云Volcano项目已经吸引了来自腾讯、百度、快手以及AWS等多个公司的贡献者。

    背景:

    随着容器化以及容器编排技术的普及,越来越多的上层业务正开始拥抱K8s生态,但无法否认的是,针对人工智能和大数据作业场景,原生K8s的支持度并不高,终端用户如果想要将现有的业务迁移到K8s平台,很有可能会面临以下问题:

    成组调度(Gang Scheduling): 一个BigData/AI的作业通常会包含多个任务,而业务逻辑一般要求Pod要么同时启动要么都不启动。比如一个Tensorflow的作业如果仅单独拉起一种角色的任务(Ps or Worker)是没法正常执行的。

    资源公平调度(Fair-share): 部署的K8s集群会存在多个Namespace,而每个Namespace也可能提交多个作业,怎样调度资源才能避免某个Namespace的资源被无限制压缩,又怎样才能确保作业之间的资源调度公平?

    GPU Topology感知(GPU Topology Awareness): 一个常见的AI训练/推理作业,为了达到更高的性能,往往需要使用多个GPU共同完成,此时 GPU的Topology结构以及设备之间的传输性能会对计算的性能造成很大影响。目前, K8s提供的扩展资源调度机制还无法满足调度时Topology感知的问题。

    集群自动配置(Cluster Configuration): 许多上层工具,在业务启动之前,需要用户配置工具的集群状态,方便系统内部节点互通和识别,以MPI(Message Passing Interface)作业为例,需要用户以命令行参数“—host”配置集群的所有节点信息,并且还依赖节点之间SSH互通,所以,用户还要考虑怎样自动配置和管理业务集群。

    此外,怎么监控整个作业集群的状态?单个Pod失败怎么处理?怎么解决任务依赖的问题?这些都是需要处理的问题。

    正基于此,华为云Volcano在解决此类问题的基础上,致力于提供一个针对BigData/AI场景的通用、稳定、可扩展、高性能的原生批量计算平台,方便以Kubeflow[1], KubeGene[2], Spark[3] 为代表的上层业务组件集成和使用。

    概述:

    图2: Volcano业务全景

    如图2所示,华为云Volcano在K8s之上抽象了一个批量计算的通用基础层,向下弥补K8s调度能力的不足,向上提供灵活通用的Job抽象。目前,项目最重要的2个组件分别是Volcano-Scheduler和Volcano-Controller。

    图3: Kube-Batch介绍

    Volcano-Scheduler: 这个组件最开始来自社区的Scheduling SIG子项目项目Kube-Batch[4], 它是一个可扩展的增强调度器,主要支持的能力主要有:

    Actions:

    ① Allocate: 正常的资源分配动作。

    ② Preempt: 抢占,当系统中存在高优先级作业,且系统资源无法满足请求时,会触发资源抢占操作。

    ③ Reclaim: 资源回收, Kube-Batch会使用队列(queue)将资源按照比例分配,当系统中新增或移除队列时,Reclaim会负责回收和重新分配资源到剩余队列中去。

    Plugins:

    ① DRF: 即Dominant Resource Fairness, 目的是为了确保在多种类型资源共存的环境下,尽可能满足分配的公平原则,其理论最早来自于UC伯克利大学的论文《Dominant Resource Fairness: Fair Allocation of Multiple Resource Types》[5]。

    ② Conformance: 资源一致性,确保系统关键资源不被强制回收使用。

    ③ Gang: 资源成组,确保作业内的成组Pod资源不被强制驱逐。

    而Volcano-Scheduler在Kube-Batch的基础上,又更进一步,引入了更多领域性的动作和插件,包括BinPack,GPUShare,GPUTopoAware等。

    Volcano-Controller: Volcano通过CRD的方式提供了通用灵活的Job抽象Volcano Job (batch.volcano.sh/jobs), Controller则负责跟Scheduler配合,管理Job的整个生命周期。主要功能包括:

    ①: 自定义的Job资源: 跟K8s内置的Job(作业)资源相比,Volcano Job有了更多增强配置,比如:任务配置,提交重试,最小调度资源数,作业优先级, 资源队列等。

    ②: Job生命周期管理: Volcano Controller会监控Job的创建,创建和管理对应的子资源(Pod, ConfigMap, Service),刷新作业的进度概要,提供CLI方便用户查看和管理作业资源等。

    ③: 任务执行策略: 单个Job下面往往会关联多个任务(Task),而且任务之间可能存在相互依赖关系,Volcano Controller支持配置任务策略,方便异常情况下的任务间关联性重试或终止。

    ④: 扩展插件: 在提交作业、创建Pod等多个阶段,Controller支持配置插件用来执行自定义的环境准备和清理的工作,比如常见的MPI作业,在提交前就需要配置SSH插件,用来完成Pod资源的SSH信息配置。

    下面以一个MPI Job作业的YAML片段为例,带大家从整体上了解Job Controller的功能(扩展功能相关字段已添加注释,方便理解)。

    图4: Volcano Job样例(/example/integrations/mpi/mpi-example.yaml)

    有了上面的介绍,回过头来参照图5梳理华为云Volcano一次普通作业的执行流程,也就很容易理解了。

    图5: Volcano组件与调度流程

    1. 用户通过kubectl创建Volcano Job资源。

    2. Volcano Controller监测到Job资源创建,校验资源有效性,依据JobSpec创建依赖的Pod, Service, ConfigMap等资源,执行配置的插件。

    3. Volcano Scheduler监听Pod资源的创建,依据策略,完成Pod资源的调度和绑定。

    4. Kubelet负责Pod资源的创建,业务开始执行。

    5. Volcano Controller负责Job后续的生命周期管理(状态监控,事件响应,资源清理等)。

    调度效率:

    除去易用性和扩展性,在BigData/AI场景下,资源调度的效率(成功率)通常能有效减少业务的运行时间,提高底层硬件设备的使用率,从而降低使用成本。我们以Volcano Scheduler和原生Scheduler在Gang Scheduling的场景下做了一个简单的TF Job 执行时间对比:

    图6: Volcano与Default Scheduler调度作业执行时间对比(Gang Scheduling)

    参考图6发现,单个作业的执行环境,两种执行方式在运行时间上并无明显区别,但是当集群中存在多个作业时,因为原生Scheduler无法保证调度的成组性,直接导致极端的情况出现: 作业之间出现资源竞争,互相等待,上层业务无法正常运行,直至超时,此时调度的效率大打折扣。

    社区和贡献:

    目前,华为云Volcano项目还在不断地发展壮大中,更多特性也在设计和开发阶段,如果您有兴趣,欢迎随时加入我们的Slack讨论[6], 提问题,给意见,贡献代码[7]。另外,9月18至20日,华为全联接大会即将于上海举行,会上将设多场云原生相关的技术论坛,华为云云原生技术大咖和布道师也会亲临现场同开发者进行面对面的交流和互动,期待与你相遇。

    [1]: https://www.kubeflow.org/

    [2]: https://github.com/kubegene/kubegene

    [3]: http://spark.apache.org/

    [4]: https://github.com/kubernetes-sigs/kube-batch

    [5]: https://people.eecs.berkeley.edu/~alig/papers/drf.pdf

    [6]: http://volcano-sh.slack.com

    [7]: http://github.com/volcano-sh/volcano

    展开全文
  • 摘要:华为云FusionInsight MRS新一代的数据湖,让大数据越用越快、越用越易、越用越稳、越用越省!让数据价值近在眼前! 10月30日,以“携手共赢·数创未来”为主题的第二届数据分析技术与应用高峰论坛在深圳举行...
  • 摘要:华为云IoT将聚焦物联网技术和商业基础能力建设,联接万物、联接生态、联接行业,帮助各行各业做好数字化转型。 近日,华为云通过线上专题演讲发布了IoT最新战略。华为云IoT将聚焦物联网基础能力(包括技术和...
  • 本文分享自华为云社区《化蛹成蝶,华为云DevCloud助力互联网+转型,重构钢铁产业链》,原文作者:灰灰哒 。 随着电子商务迅速发展,各个行业巨头纷纷投入互联网+的怀抱,钢铁行业作为典型的传统行业,如何实现华丽...
  • 华为云MVP熊保松表示,华为云IoT是一个非常强大的平台,它具备海量的设备接入、设备及云端的双向通信、OTA升级、设备规则等能力。而且华为云IoT平台可以让云端开发变的极其省心,根据客户的需求,开发者通过图形...
  • DevOps大咖齐聚一堂,其中华为公有云应用运维域产品经理闫硕受邀分享《华为云DevOps立体运维实践》。 华为云作为云原生技术的先行者与普及者,一直致力于云原生产业的推动与发展。在华为云提出的云原生2.0全景图中...
  • 本文分享自华为云社区《【“互联网+”大赛华为云赛道】EI命题攻略:华为云EI的能力超丰富,助你实现AI梦想》,作者:技术火炬手。 随着人工智能、5G、大数据等已经成为数字经济发展中最活跃的技术和产业方向,并且...
  • 华为云OCR文字识别 免费在线体验!

    千次阅读 2019-08-15 10:11:04
    嘿,华为云OCR文字识别了解一下,免费在线体验! 物流行业快速提取运单信息、医疗/保险行业单据快速录入、政务办事人证检验,你知道这些都是如何实现的么? 答案就是:OCR文字识别! 作为AI时代效率倍增器,OCR...
  • 本文分享自华为云社区《华为云PB级数据库GaussDB(for Redis)揭秘第五期:高斯 Redis 在IM场景中的应用》,原文作者:心机胖 。 一、背景 即时通讯(Instant Messaging,简称IM)是一个实时通信系统,允许两人或...
  • 当前,抗击肺炎战役进入攻坚阶段,在家远程办公,将成为未来一段时间人们工作的常态。 产品经理老宋 有一个idea想快速开发上线,但是员工无法到岗,又不想错过这个商业机会,怎么办? ...开发环境和办公设备都在...
  • 华为云EI人脸识别接口初探

    千次阅读 2019-07-19 14:12:56
    0. 准备工作 开户及申请开通人脸识别服务,可以参考... ...
  • 近日,华为云数据库MySQL8.0正式发布商用,这也使得华为云成为国内最先支持MySQL8.0的云厂商之一。MySQL8.0作为最新的MySQL版本,有许多重大更新:默认utf8mb4,全新 Data Dictionary 设计,支持 Atomic DDL,......
  • 不用慌,华为云推出了 《华为云ModelArts-Lab AI实战营》助你跨越AI学习障碍,开启你的AI实践之路。 不同于网上大多AI课程只教理论、欠缺实战,基于业界领先的 AI 开发平ModelArts 所设计的《ModelArts-Lab AI实践...
  • 摘要:华为云新一代金融级分布式数据库GaussDB(for openGauss)正式推出了Ustore存储引擎、基于Paxos协议的DCF高可用组件等多个重大内核新特性。
  • 导语:近期,国外HashiCorp在官网宣布,不允许中国境内使用、部署和安装该企业旗下的企业版产品和软件,其中包括Consul。那么国内企业有没有类似的服务可以提供呢?答案是有!我们一起来看看华为云ServiceStage。...
  • 华为云UGO支持场景: UGO当前支持主流商业数据库迁移至华为云数据库,目标端数据库类型如下: 华为云UGO核心优势: 低风险:在预迁移评估中,会根据用户源库实际业务运行场景,为用户推荐合适目标库选型、规格、...
  • 万物互联智能世界来临,如何帮助物联网厂家尽快完成解决方案构筑并实现快速上线商用,是当前物联网平台面临的关键挑战之一。 那么,伙伴开发者如何基于华为云提供的IoT云服务,快速完成一款解决方案的开发和上线呢?...
  • 本文分享自华为云社区《华为云PB级数据库GaussDB(for Redis)揭秘第六期:Feed流场景中的应用》,原文作者:高斯Redis官方博客。 一、背景 GaussDB(for Redis)(下文简称高斯Redis),是华为自研的强一致、持久化...
  • 本文分享自华为云社区《云小课 | 华为云KYON之私网NAT网关》,原文作者:云小萌。 华为云KYON(Keep Your Own Network)企业级云网络解决方案,打造极简敏捷的上云之路,助力企业极简规划,敏捷迁移,无缝融合,是...
  • 【解决方案】华为云FusionInsight MRS云原生数据湖助力构筑金融大数据平台 工行采用了华为云FusionInsight MRS大数据存算分离方案,实现了大数据平台与OBS对象存储服务的对接,将原有的HDFS数据无缝迁移到OBS上。...
  • 在2019年度中国数据与存储峰会年度颁奖典礼上,华为云BigData Pro大数据解决方案荣获了“2019年度大数据产品金奖”,也再一次展示了华为云在大数据领域的不凡实力。 点击这里,了解更多精彩内容
  • 说到华为云 DevCloud 提供了哪些服务,首先要阐述一下,华为云 DevCloud 服务是怎么来的。华为的研发场景特别复杂,有 to B 和 to C 的产业和商业模式。在华为内部,没有所谓的“研发鄙视链”。有使用瀑布的、敏捷的...
  • 首先, DAYU提供面向客户的方法论,基于华为过去30年管理实践以及将近20年数据方面的实践提炼固化下来的方法论,涵盖了数据体系从规划、实施到运维等全生命周期, 华为云DAYU会将方法论传递赋能给伙伴和客户。...
  • 付健权,华为云MVP,企业上云导师。软通动力,售前解决方案经理,为制造业讲解华为云产品,为客户提供上云和云上解决方案。为企业提供大数据方面解决方案包括数据上云,数据存储,数据分析,结果反馈整个流程。 ...
  • 2019.9.19日,在华为全联接大会的华为云Summit中,华为云CTO宇昕总提出:“企业的应用与数据集成,始终是数字化转型和智能化升级的关键,华为云企业应用与数据集成平台ROMA,打破时间鸿沟和空间鸿沟,有效地解决企业...
  • 华为云KYON(Keep Your Own Network)企业级云网络解决方案,打造极简敏捷的上云之路,助力企业极简规划,敏捷迁移,无缝融合,是企业上云的不二之选。企业业务迁移过程中,存在部分IP硬写入在配置文件而难以修改,...
  • 本文分享自华为云社区《华为云FusionInsight MRS如何实现千余节点滚动升级无业务中断升级》,原文作者:沙漏。 华为开发者大会2021(Cloud)大会期间,由华为技术专家天团打造的《名师大讲堂》系列专题演讲,围绕云...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 14,376
精华内容 5,750
关键字:

华为云