精华内容
下载资源
问答
  • 云数据查询平台
    千次阅读
    2020-09-30 21:58:14
    数据湖的定义:wikipedia 中对于数据湖的定义是: “ A data lake is a system or repository of data stored in its natural/raw format, usually object blobs or files. A data
    

    lake is usually a single store of all enterprise data including raw copies of source system data and transformed data used for tasks such as reporting, visualization, advanced analytics and machine learning.” 可见数据湖是一个通用的数据存储, 通用到可以存储任意类型的数据。

    数据湖要考虑的首要问题:
    从定义看, 一块 u 盘即符合数据湖的定义。 u 盘可以是数据湖, oss 可以是数湖,hdfs、 盘古也可以是数据湖。 它们均严格的符合数据湖的定义。 作为企业的数据湖技术选型第一个需要考虑的问题就是: 采用什么样的存储介质或存储系统作为自己的数据湖解决方案。 众所周知, 不同的存储介质或存储系统有不同的优势和劣势。 比如: 有的存储系统随机读取的响应时间更好、 有的系统批量读取的吞吐量更好、 有的系统存储成本更低、 有的系统扩展性更好、 有的系统结构化数据组织得更高效…相应的, 这些提到的各个指标中有些恰恰是有些存储所不擅长的, 如何享有所有存储系统的优势、 规避所有存储系统的劣势变成了云上数据湖服务要考虑的首要问题。要解决这个矛盾的问题, 在理论上是不可能一劳永逸的。 聪明的做法是对上提供一个逻辑上的存储解决方案, 然后让需要不同访问特点的数据灵活地在各种底层存储系统中迁移。通过便捷的数据迁移( 、 以及数据格式转化) 的能力, 来充分发挥出各个存储系统的优势。结论: 成熟的数据湖一定是一个逻辑上的存储系统, 它的底层是多个各种类型的存储系统所组成。

    数据湖要解决的三大问题

    元 数 据 管理 、 数 据 集 成 、 数据 开 发 是 数 据 湖 需要 解 决 的 三 大 问题 , 阿 里 云 的DataWorks 作为一个通用的大数据平台, 除了很好的解决了数仓场景的各类问题, 也同样解决了数据湖场景中的核心痛点。
    元数据管理
    用户的湖上数据需要有个统一集中的管理能力, 这就成了数据湖的第一个核心能力。DataWorks 的数据治理能力便是用来解决数据湖中的各类存储系统的元数据管理的。 目前它管理了云上 11 中数据源的元数据。 涵盖 OSS、 EMR、 MaxCompute、 Hologres、mysql、 PostgreSQL、 SQL Server、 Oracle、 AnalyticDB for PostgreSQL、AnalyticDB for MySQL 2.0、 AnalyticDB for MySQL 3.0 等云上主要数据源类型的元数据管理。 功能上涵盖元数据采集、 存储检索、 在线元数据服务、 数据预览、 分类打标、数据血缘、 数据探查、 影响分析、 资源优化等能力。技术的宏观架构如图:
    在这里插入图片描述

    数据集成
    数据湖中的数据管理起来之后, 就会面临数据在各个存储系统中迁移和转化的能力。 为此 DataWorks 的数据集成能力可以做到 40 种类常见数据源的导入导出及格式转化的能力, 同时覆盖了离线和实时两大同步场景, 以及可以解决对外对接时的复杂网络场景。

    数据开发
    解决了数据湖的存储管理和数据迁移问题后, 接下来就是如何让数据湖中的数据更好的赋能业务。 这就需要引入各类计算引擎, 计算平台事业部拥有丰富的各类计算引擎, 有开源体系的 spark、 presto、 hive、 flink, 还有自研的 MaxCompute、 Hologres, 这里的挑战在于如何方便的发挥各类引擎的长处, 让湖中的数据能够被各类引擎访问和计算。 为此DataWorks 提供了便捷的数据迁移方式( 方便数据在各类引擎中流转穿梭) 、 提供一站式的数据开发环境, 从即席查询到周期的 etl 开发, DataWorks 提供了各个计算引擎的统一计算任务的开发和运维能力。
    在这里插入图片描述

    更多相关内容
  • 4.1 云数据平台架构规划设计 8 4.2 数据管理体系咨询与设计 8 4.3 云数据平台建设与实施 8 4.4 数据分析展示应用设计开发 9 5 总体方案概述 10 5.1 总体方案架构 10 5.2 总体方案说明 10 6 技术方案 12 6.1 技术方案...
  • 第四代数据平台技术:数据云平台

    千次阅读 2021-04-20 08:43:23
    当前社会已经进入一个企业数据高速膨胀的时代,近几年,每年全球的数据规模平均以40%的速度增长。在云计算、大数据技术并驾齐驱发展几年后,两个...本文就介绍一下基于原生架构的第四代数据平台技术:数据云平台

    当前社会已经进入一个企业数据高速膨胀的时代,近几年,每年全球的数据规模平均以40%的速度增长。在云计算、大数据技术并驾齐驱发展几年后,两个技术逐渐融合,数据平台的技术在云计算的助力下,能够支持更复杂的业务发展需求。本文就介绍一下基于云原生架构的第四代数据平台技术:数据云平台。
    数据平台技术的发展从80年代开始,最早是小型机支持的ORACLE,DB2, 到2000年前后达到技术高峰的大规模并行处理MPP技术的一体机,代表有Greenplum, Teradata; 2000年以后,出现了Hadoop技术为基础的cloudera, Spark。如今,基于云原生架构的第四代数据云平台技术已经逐渐成为主流技术。数据云平台技术的典型代表国外是2020年上市的snowflake公司, 国内是北京偶数科技有限公司。
    本文就数据云平台的趋势和特点做简单分享。
    (1)数据平台的发展趋势;
    数据平台发展趋势

    (2)数据架构的发展演变
    传统数据仓库解决了企业结构化数据的管理和应用需求,数据湖引入了非结构化数据做格式化处理,并继续通过传统数据仓库架构提供服务。
    传统数仓架构数据湖架构

    数据湖的架构有2个显著的缺点:(1)多份数据,浪费存储空间;(2)数据传输可能出现数据质量问题,导致业务受影响。
    数据云平台架构的出现,解决了这些问题。在统一的云平台基础架构基础上,通过计算和存储分离的架构,实现数据管理和服务。
    数据云平台架构

    (3)数据云平台和数据中台有哪些区别?
    在几年前阿里提出中台概念,陆续出现了数据中台,业务中台,算法中台等等。简单来讲,中台就是将底层的资源通过软件管理以服务的方式提供给业务部门使用。
    数据中台从技术角度看是一个业务范畴的名词,数据中台的服务场景涉及到云服务的一些基本特性:服务封装,服务目录,自助服务等。通过资源管理工具将底层资源封装成不同类型不同级别的服务,并通过统一的服务目录为用户提供自助服务,业务部门可以自助的从服务目录中选择自己需要的服务。但是数据中台的底层还是需要数据平台技术的支撑。如果数据平台技术有局限性,例如跑批的性能无法满足业务需求,那么数据中台的服务能力也就无法实现对业务的很好支撑。
    数据云平台从技术角度看是数据平台演变过程中最新的基于云原生技术架构的解决方案。去年在美国上市的snowflake也是基于分布式云数据库的技术,并且提出了datacloud数据云的说法。
    在国内,数据云的代表公司是北京偶数科技有限公司,公司长期致力于云原生的高性能数据仓库产品(OUSHUDB)的研究开发,目前已经成为国内排名前列的国产自主可控技术的大数据公司,在人工智能和图数据库技术方面也有深入研究。2020年下半年偶数科技公司和国内爱分析咨询公司联合编著了《数据平台技术发展白皮书》,在数据平台发展趋势分析中首次提出“数据云平台”的名词解释,对数据云平台从各个角度做了详细的定义,包括技术架构,技术特点,技术优势,业务场景等,为国内各企事业单位和公司在大数据平台技术选型提供了有价值的参考和指引。偶数科技自身也推出了数据云的整体解决方案,并在国内保险,运营商,公安,制造等行业进行了方案的落地实施。
    2021年3月,星环科技在其产品发布会上宣布将于5月推出TDC(星环数据云)产品,并且也提出数据云技术的产品是其未来的发展目标。在偶数科技作为数据云领军企业的推动下,越来越多的大数据企业正在推出数据云的解决方案。
    (4)数据云平台的技术特点和优势
    数据云平台技术特点和优势

    (5)数据云平台由哪些元素组成?
    “数据云平台”是新一代的数据基础设施,它能够依托云原生特性、计算存储分离架构、强ACID特性、强SQL标准支持、Hadoop原生支持、高性能并行执行能力等一系列底层技术的变革,实现高弹性、强扩展性、强共享性、强兼容性、强复杂查询能力、自动化机器学习支持等上层技术能力的变革,最终帮助企业有效应对大规模、强敏态、高时效、智能化等愈发明显的数字化趋势。
    在这里插入图片描述数据云平台的构成主要由云原生数据仓库、数据管理平台、自动化机器学习平台构成整体解决方案。以偶数科技的数据云平台解决方案来说,主要由OUSHUDB云原生数据仓库,LAVA数据管理平台和Littleboy自动化机器学习平台三大产品组成。
    数据云平台解决方案(6)数据云平台的典型应用场景
    某世界五百强企业在实时数仓技术选型的技术选型POC测试后,该企业技术负责人对偶数科技的数据云平台技术赞赏有加。
    该企业当前的实时数仓业务场景中,使用MPP产品实现跑批业务,但是无法满足同时进行500并发明细查询的混合负载的需求。于是,该企业考虑了两种方案:
    (1) 在当前跑批的生产环境,引入支持并发明细查询的实时数仓产品,与MPP产品搭配,在前端获取Kafka流数据后,按照数据类型分别完成跑批和实时查询的工作。
    (2) 寻找一种能同时支持跑批和实时查询的混合负载的数据平台解决方案;
    从上述两个方案来看,第一个方案无法实现数据共享,如果后端的数据分析同时需要批量数据和实时查询的数据,就需要专门开发对接两个不同产品的程序。第二个方案显然是可以解决第一个方案的问题,但是,从市场来看,能够支持第二个方案的技术非数据云平台技术莫属。
    经过POC测试,偶数科技的数据云平台成功达到了客户第二个方案的预期。在下一步的实时数仓的建设中,该企业规划用两个阶段来逐步建设数据云平台集群。
    第一阶段:继续采用传统的MPP技术作为日常跑批业务,同时采用实时数仓作为配套方案支持高并发实时查询的业务处理。第一阶段同时规划一个新业务集群,采用数据云平台技术,以满足与人工智能有关的创新业务。
    第二阶段:将更多的需要混合负载的复杂业务迁移到数据云平台,逐渐将数据云平台发展成为实时数仓的核心处理和服务平台。
    (7)数据云平台的未来发展
    不久的将来,数据云平台的技术很快就会成为各大企业数据平台建设的技术主流技术,在人工智能,物联网,区块链等新技术领域发挥其重要价值。欢迎更多的企业同行研究数据云的技术。

    展开全文
  • CAP与云数据管理

    2021-01-31 00:51:25
    这导致数据服务系统需要在查询和事务功能间(传统数据库系统中的功能)做出权衡,从而有效地支持可扩展性、灵活性和高可用性等特性。本文所讨论的观点源自于我在Yahoo的PNUTS(灵活通用表存储平台——Platform ...
  • 各大云平台对比.doc

    2019-08-19 09:27:42
    国内常见的云计算平台对比,阿里,百度BAE平台,腾讯,华为等等
  • 云平台技术指标

    2018-04-06 23:11:13
    云平台技术指标,包括主机、网络、安全、监控、数据等多方面。
  • 1.编写.wxml 2 .js中设置 user pass的值 3 编写getuser getpass方法 获取其值 ...4. 在开发平台 数据库中创建集合student 4.编写添加数据点击事件add的方法 4.编写查询数据check点击事件的方法 ...

    1.编写.wxml

    2 .js中设置 user pass的值

    3 编写getuser getpass方法 获取其值

    4. 在云开发平台 数据库中创建集合student

     4.编写添加数据点击事件add的方法

     4.编写查询数据check点击事件的方法

     

    展开全文
  • 从阿里IOT云平台获取设备数据 前言: 这篇文档主要讲述的就是当设备的数据发送到物联网套件之后,用户的服务端如何获取设备 的数据。 通过阅读阿里IoT文档,我们了解到队列中消息结构体如下: { ...

    阿里云IOT云平台获取设备数据

    前言:   

    这篇文档主要讲述的就是当设备的数据发送到物联网套件之后,用户的服务端如何获取设备

    的数据。

    通过阅读阿里云IoT文档,我们了解到队列中消息结构体如下:

    {

      "payload": "Base64 Encode的数据",

      "messagetype": "status",

      "messageid": 996000000000000001,

      "topic": "具体的设备Topic",

      "timestamp": 1526450324

    }

    • messageid:IoT套件生成的消息ID
    • messagetype:指的是消息类型:设备状态status和设备上报消息upload
    • topic:表示该消息源自套件中的哪个topic,当messageType=status时,topic为null,当messageType=upload时,topic为具体的设备Topic
    • payload:数据为Base64 Encode的数据。当messageType=status时,数据是设备状态数据;当messageType=upload时,data即为设备发布到Topic中的原始数据。
    • timestamp:队列中消息生成时间戳,并非业务的时间戳

    一,基于HTTP/2通道的服务端订阅-设备状态和数据

    1.服务端订阅

    1.1 服务端订阅流程

    在IoT场景,有时候我们期望业务服务器能接收到设备状态和设备采集的数据,而不是通过云产品中转。这时我们可以开启服务端订阅,IoT平台会把设备产生的消息通过HTTP/2通道推送到业务服务器,以便根据自身业务场景消费。

    服务端可以直接订阅产品下配置的所有类型的消息。

    目前,新版物联网平台通过HTTP/2通道进行消息流转。配置HTTP/2服务端订阅后,物联网平台会将消息通过HTTP/2通道推送至服务端。通过接入HTTP/2 SDK,企业服务器可以直接从物联网平台接收消息。HTTP/2 SDK提供身份认证、Topic订阅、消息发送和消息接收能力,并支持设备接入和云端接入能力。HTTP/2 SDK适用于物联网平台与企业服务器之间的大量消息流转,也支持设备与物联网平台之间的消息收发。

    注:HTTP/2是方便、快捷、低延时,小堆积的消息流转通道,不是队列。目前是只有java8客户端sdk。 如果业务数据流非常大, 需要支持海量消息堆积,建议通过规则引擎流转队列方式处理。

    不论那个方式,消费端还是需要提升自身消费速率才能高效处理业务消息。

    目前服务端订阅是基于uid的,所有产品的消息都会被HTTP/2的client端消费,这时需要我们自己根据topic包含的productKey/deviceName区分

    http://static-aliyun-doc.oss-cn-hangzhou.aliyuncs.com/assets/img/17309/15441768178965_zh-CN.png

    2.服务端订阅SDK使用

    目前仅提供Java8版SDK

    2.1 java sdk依赖

    <!-- Aliyun core --><dependency>&nbsp;&nbsp;&nbsp;     <groupId>com.aliyun</groupId>    <artifactId>aliyun-java-sdk-core</artifactId>    <version>3.7.1</version></dependency><!-- iot message client --><dependency>&nbsp;&nbsp;&nbsp;     <groupId>com.aliyun.openservices</groupId>&nbsp;&nbsp;&nbsp;     <artifactId>iot-client-message</artifactId>&nbsp;&nbsp;&nbsp;     <version>1.1.2</version></dependency>
    

    2.2 消费IoT平台设备消息

    import java.net.UnknownHostException;import java.util.concurrent.ExecutionException;import com.aliyun.openservices.iot.api.Profile;import com.aliyun.openservices.iot.api.message.MessageClientFactory;import com.aliyun.openservices.iot.api.message.api.MessageClient;import com.aliyun.openservices.iot.api.message.callback.MessageCallback;import com.aliyun.openservices.iot.api.message.entity.Message; public class H2Client {     public static void main(String[] args) throws UnknownHostException,                                 ExecutionException, InterruptedException {        // 身份        String accessKey = "[阿里云](https://l.gushuji.site/aliyun)accessKey";        String accessSecret = "[阿里云](https://l.gushuji.site/aliyun)accessSecret";        String regionId = "cn-shanghai";        String uid = "[阿里云](https://l.gushuji.site/aliyun)账号 uid";        String endPoint = "https://" + uid + ".iot-as-http2."                                 + regionId + ".aliyuncs.com";        // 连接配置        Profile profile = Profile.getAccessKeyProfile(endPoint, regionId,                                                     accessKey, accessSecret);         // 构造客户端        MessageClient client = MessageClientFactory.messageClient(profile);        // 数据接收        client.connect(messageToken -> {            Message m = messageToken.getMessage();            System.out.println("\ntopic="+m.getTopic());            System.out.println("payload=" + new String(m.getPayload()));            System.out.println("generateTime=" + m.getGenerateTime());            // 此处标记CommitSuccess已消费,IoT平台会删除当前Message,            // 否则会保留到过期时间            return MessageCallback.Action.CommitSuccess;        });    }}
    

    3,数据解析

    3.1关于数据解析

    由于低配置且资源受限或者对网络流量有要求的设备,不适合直接构造JSON数据和云端通信,因此选择将数据透传到云端,由云端运行转换脚本将透传的数据转换成Alink JSON格式的数据。您可以在创建产品时,选择数据格式为透传/自定义格式,目前转换脚本通过JavaScript语言开发,需要开发者自行开发转换脚本。物联网平台为开发者提供了用于数据解析的在线脚本编辑器,方便您进行在线的编辑和模拟调试。

    3.2数据解析流程:

    https://cdn.nlark.com/yuque/0/2018/png/106007/1539084895427-76b39b46-ad24-472c-b094-f8bfad033bb9.png

    http://static-aliyun-doc.oss-cn-hangzhou.aliyuncs.com/assets/img/7527/15366708437506_zh-CN.png

    4,使用限制

    当您使用服务端订阅时,请注意以下限制。

    限制

    描述

    JDK版本

    仅支持JDK8。

    认证超时

    连接建立之后,需要立刻发送认证请求。如果15秒内没有认证成功,服务器将主动关闭连接。

    数据超时

    连接建立之后,客户端需要定期发送PING包来维持连接。发送PING包的时间间隔可以在客户端设置,默认为30秒,最大60秒。

    若超过60秒发送PING包或数据,服务端会关闭连接。

    若超过设定的时间,客户端没有收到PONG包或数据应答,SDK将主动断开重连,默认时间间隔为60秒。

    推送超时

    推送失败重试消息时,每次批量推送10条。若该批次消息在10秒后,仍未收到客户端回复的ACK,则认为推送超时。

    失败推送重试策略

    每60秒重新推送一次因客户端离线、消息消费慢等原因导致的堆积消息。

    消息保存时长

    QoS0的消息保存1天,QoS1的消息保存7天。

    SDK实例个数

    每个阿里云账号最多可以启动64个SDK实例。

    单租户限流限制

    默认单租户的限流限制为1,000 QPS。如果您有特殊需求,请提交工单。

    二,规则引擎 - 设备数据流转

    1,什么是规则引擎

    当设备基于Topic进行通信时,您可以使用规则引擎,编写SQL对Topic中的数据进行处理,并配置转发规则将处理后的数据转发到阿里云其他服务。例如:

    注意: 如果数据格式为二进制的数据,不支持转发至表格存储、时序时空数据库和云数据库RDS版。

    说明:二进制数据可使用 to_base64(*)将原始数据转换成base64String,同时支持内置函数和条件筛选。

    2,如何使用

    具体使用细节参考: https://www.yuque.com/cloud-dev/iot-tech/wr1bwu非常详细,在页面一顿配置即可,在此不再长篇大论。

    http://static-aliyun-doc.oss-cn-hangzhou.aliyuncs.com/assets/img/7486/15402784632243_zh-CN.png

    3, 使用限制

    • 规则引擎基于Topic对数据进行处理。只有通过Topic进行通信时,才能使用规则引擎。
    • 规则引擎通过SQL对Topic中的数据进行处理。
    • SQL语法目前不支持子查询。
    • 支持部分函数,比如deviceName()获取当前设备名称,具体请参考函数列表。

    描述

    限制

    单账号最多可以设置1000条规则。

    1000

    一条规则中转发数据的操作不能超过10个。

    10

    数据转发性能依赖所转发的云产品实例,在云产品实例性能足够的情况下,规则引擎为单个阿里云账号提供1000QPS的数据转发能力。即,子账号共享主账号配额;消息并发处理,每秒最多允许1000条消息经过规则引擎流转到其他云产品。 如果请求量超出该限制或云产品写入耗时超过1s,数据转发会被限流。

    1000QPS

    数据转发依赖其他云产品,使用时需确保目标云产品实例正常。目标云产品的实例宕机、欠费、参数错误(如授权变更、值非法)、配置错误等异常状况将会导致消息流转失败。

    -

    规则引擎不保证消息只到达一次,在分布式环境下,某些rebalance短暂不一致可能导致一条消息发送多次情况,应用方收到消息后需要去重。

    -

    三,阿里收费规则

    1,阿里收费规则

    案例6:高级版

    高级版的收费项目包括消息传输费用和设备管理费用。

    有一个设备每秒向物联网平台发送0.4 KB大小的消息,然后物联网平台将该消息传输到5个设备,1个应用程序,即5个设备和1个应用程序接收该消息。当月有30天。

    计费项:

    • 消息传输费用

    每条消息大小0.4 KB,小于每条消息的大小限制(0.5 KB),每条消息计为1条消息。

    每月发送消息数:1×60×60×24×30=259.2万。

    每月接收消息数:6×1×60×60×24×30=1555.2万。

    总消息数:259.2万+1555.2万=1814.4万。

    前100万条消息免费,所以,当月需付费的消息数:1814.4万–100万=1714.4万。

    按照3.6元/100万条消息计费,当月消息传输费用:1714.4万x(3.6元/100万)=61.72元。

    • 设备管理费用

    日活设备数量为6个(1个消息发送设备和5个消息接收设备),小于每天每个账号10个免费日活设备赠额,所以设备管理费用为0元。

    当月应付费用:61.72元+0元=61.72元。

    注意:

    您可以免费使用规则引擎转发消息,但是将数据转发至其他云产品中时,其他云产品正常计费。

    展开全文
  • 行业分类-设备装置-一种云平台数据查询方法
  • 华为统一技术架构、统一应用运行运维平台的业务中台技术方案,业务使能平台咨询+框架+平台+工具+生态),一个大平台,四个标准化(基础设施、应用架构、数据集成、交付过程)
  • 这里使用dll动态库获取云平台某个传感器的数据,控制执行器的打开 引用命名空间: using NLECloudSDK; using NLECloudSDK.Model; using Newtonsoft.Json; 定义字段: //定义在程序中要使用变量 #region 私有字段 ...
  • 林祯舜(Eric Lin) 博士 首席数据科学家 江苏先锋信息科技/辰智咨询;专长/经验;大 纲 ;数据来源的根本性变化 -以营销的演进举例;未来是大数据驱动的营销;未来是大数据驱动的营销;数据来源已发生根本性的变化;数据来源...
  • 同时提供MQTT发布订阅功能,支持基于websocket的web数据应用,最终形成区别于组 态软件的HMI及MES系统,很好地填补了工业自动化数据到互联网、IoT架构平台的跨平台数据交换和过渡,为工业大数据平台提供现场基础...
  • 同时从数据 ETL 和数据查询分析处理两方面对数据仓库的可扩展性Hive 数据存储分析、Hive数据前置处理等进行研究设计。通过 Hive数据仓库运行效果进行分析,表明该系统能够很好地支持企业管理层决策。
  • 阿里公共基础服务平台系统备案证明&测评报告、安全产品销售许可证、阿里公共网络安全等级保护2.0合规能力白皮书V1.0
  • 基于访问层、应用层、支撑层架构的云平台。访问层包括PC端门户、移动端APP、微信小程序、微信公众号;应用层实现业务中台、数据中台,整合第三方系统与外部接口扩展平台能力;支撑层实现流程、消息、报表、统一认证...
  • 注册登录阿里云平台,选则物联网平台,创建公共实例,点击进入公共实列(步骤略) 二、 创建产品 根据提示填写对应的信息。 三、添加设备 根据提示自定义填写设备信息 四、添加产品功能定义 切换到功能...
  • 同时提供MQTT发布订阅功能,支持基于websocket的web数据应用,最终形成区别于组态软件的HMI及MES系统,很好地填补了工业自动化数据到互联网、IoT架构平台的跨平台数据交换和过渡,为工业大数据平台提供现场基础...
  • 本篇将介绍星环科技如何基于数据云平台TDC为富国基金建设万能的数据湖,助力其实现数据统一与共享交换。
  • 行业分类-设备装置-一种通过云平台数据中心的查询系统及方法.zip
  • 一、方案背景: 在银行、教育、通讯、医疗、能源等行业中,广泛分布着各种大、中、小型数据中心及...竣达技术动环设备集中监控数据运维云平台为各类型企业机房的动环设备的管理与维护提供了专业的解决方案。用较低.
  • 使用 Amazon EMR 构建您的数据分析平台

    千次阅读 多人点赞 2022-05-23 15:38:32
    Amazon EMR是上的数据分析平台,通过 Amazon EMR 的图形化或命令行接口,用户可以快速搭建和部署基于 Amazon EC2 实例的数据分析系统,并能动态扩展集群。Amazon EMR 也可以读写其他 AWS 数据存储服务,例如 ...
  • 从系统基本组成与构架上来看,该共享平台由7个主要部分组成:历史数据汇总处理系统,上报数据上报系统,实时数据入库系统,交管数据存储系统,交管数据查询分析应用系统,数据管理系统以及系统管理。 在基础设施构架...
  • 云平台下服务资源用户查询提取仿真研究.pdf
  • 阿里云DataWorks数据集成(DataX)架构&实践分享 分享嘉宾:罗海伟阿里云 编辑整理:约理中国科学院大学 目录 阿里云DataWorks数据集成(DataX)架构&...▌阿里云数据集成大事记 ...▌阿里云数据集成Dat..
  • 网址:阿里DataWorkers网址:数据集成概述 - 大数据开发治理平台 DataWorks - 阿里 目录 网址:阿里DataWorkers网址:数据集成概述 - 大数据开发治理平台 DataWorks - 阿里 一、DataWorks工作流程 1、数据...
  • 云端管理包括云平台架构、云数据处理、移动端"掌电宝"APP及小程序、微信公众号、第三方支付等查询充值服务。系统价值:减少人工和投入成本、提高运营工作效率,提升用户体验:为物管(商管)都门提供高效安全的能源数据...
  • BC26 NB-IoT模组将数据发送至阿里物联网平台

    千次阅读 热门讨论 2020-08-04 20:23:44
    利用BC26发送数据到阿里物联网平台 配置阿里设备信息 AT+QMTCFG="aliauth",0,"a1yNENH0K3S","BC26","e7e98498df93e574b9efc06d9a762c75" 第一个参数为固定参数,往后的参数依次是MQTT Socket 标识符(0-5)、产品...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 121,565
精华内容 48,626
关键字:

云数据查询平台