精华内容
下载资源
问答
  • 当前社会已经进入一个企业数据高速膨胀的时代,近几年,每年全球的数据规模平均以40%的速度增长。在云计算、大数据技术并驾齐驱发展几年后,两个...本文就介绍一下基于原生架构的第四代数据平台技术:数据云平台

    当前社会已经进入一个企业数据高速膨胀的时代,近几年,每年全球的数据规模平均以40%的速度增长。在云计算、大数据技术并驾齐驱发展几年后,两个技术逐渐融合,数据平台的技术在云计算的助力下,能够支持更复杂的业务发展需求。本文就介绍一下基于云原生架构的第四代数据平台技术:数据云平台。
    数据平台技术的发展从80年代开始,最早是小型机支持的ORACLE,DB2, 到2000年前后达到技术高峰的大规模并行处理MPP技术的一体机,代表有Greenplum, Teradata; 2000年以后,出现了Hadoop技术为基础的cloudera, Spark。如今,基于云原生架构的第四代数据云平台技术已经逐渐成为主流技术。数据云平台技术的典型代表国外是2020年上市的snowflake公司, 国内是北京偶数科技有限公司。
    本文就数据云平台的趋势和特点做简单分享。
    (1)数据平台的发展趋势;
    数据平台发展趋势

    (2)数据架构的发展演变
    传统数据仓库解决了企业结构化数据的管理和应用需求,数据湖引入了非结构化数据做格式化处理,并继续通过传统数据仓库架构提供服务。
    传统数仓架构数据湖架构

    数据湖的架构有2个显著的缺点:(1)多份数据,浪费存储空间;(2)数据传输可能出现数据质量问题,导致业务受影响。
    数据云平台架构的出现,解决了这些问题。在统一的云平台基础架构基础上,通过计算和存储分离的架构,实现数据管理和服务。
    数据云平台架构

    (3)数据云平台和数据中台有哪些区别?
    在几年前阿里提出中台概念,陆续出现了数据中台,业务中台,算法中台等等。简单来讲,中台就是将底层的资源通过软件管理以服务的方式提供给业务部门使用。
    数据中台从技术角度看是一个业务范畴的名词,数据中台的服务场景涉及到云服务的一些基本特性:服务封装,服务目录,自助服务等。通过资源管理工具将底层资源封装成不同类型不同级别的服务,并通过统一的服务目录为用户提供自助服务,业务部门可以自助的从服务目录中选择自己需要的服务。但是数据中台的底层还是需要数据平台技术的支撑。如果数据平台技术有局限性,例如跑批的性能无法满足业务需求,那么数据中台的服务能力也就无法实现对业务的很好支撑。
    数据云平台从技术角度看是数据平台演变过程中最新的基于云原生技术架构的解决方案。去年在美国上市的snowflake也是基于分布式云数据库的技术,并且提出了datacloud数据云的说法。
    在国内,数据云的代表公司是北京偶数科技有限公司,公司长期致力于云原生的高性能数据仓库产品(OUSHUDB)的研究开发,目前已经成为国内排名前列的国产自主可控技术的大数据公司,在人工智能和图数据库技术方面也有深入研究。2020年下半年偶数科技公司和国内爱分析咨询公司联合编著了《数据平台技术发展白皮书》,在数据平台发展趋势分析中首次提出“数据云平台”的名词解释,对数据云平台从各个角度做了详细的定义,包括技术架构,技术特点,技术优势,业务场景等,为国内各企事业单位和公司在大数据平台技术选型提供了有价值的参考和指引。偶数科技自身也推出了数据云的整体解决方案,并在国内保险,运营商,公安,制造等行业进行了方案的落地实施。
    2021年3月,星环科技在其产品发布会上宣布将于5月推出TDC(星环数据云)产品,并且也提出数据云技术的产品是其未来的发展目标。在偶数科技作为数据云领军企业的推动下,越来越多的大数据企业正在推出数据云的解决方案。
    (4)数据云平台的技术特点和优势
    数据云平台技术特点和优势

    (5)数据云平台由哪些元素组成?
    “数据云平台”是新一代的数据基础设施,它能够依托云原生特性、计算存储分离架构、强ACID特性、强SQL标准支持、Hadoop原生支持、高性能并行执行能力等一系列底层技术的变革,实现高弹性、强扩展性、强共享性、强兼容性、强复杂查询能力、自动化机器学习支持等上层技术能力的变革,最终帮助企业有效应对大规模、强敏态、高时效、智能化等愈发明显的数字化趋势。
    在这里插入图片描述数据云平台的构成主要由云原生数据仓库、数据管理平台、自动化机器学习平台构成整体解决方案。以偶数科技的数据云平台解决方案来说,主要由OUSHUDB云原生数据仓库,LAVA数据管理平台和Littleboy自动化机器学习平台三大产品组成。
    数据云平台解决方案(6)数据云平台的典型应用场景
    某世界五百强企业在实时数仓技术选型的技术选型POC测试后,该企业技术负责人对偶数科技的数据云平台技术赞赏有加。
    该企业当前的实时数仓业务场景中,使用MPP产品实现跑批业务,但是无法满足同时进行500并发明细查询的混合负载的需求。于是,该企业考虑了两种方案:
    (1) 在当前跑批的生产环境,引入支持并发明细查询的实时数仓产品,与MPP产品搭配,在前端获取Kafka流数据后,按照数据类型分别完成跑批和实时查询的工作。
    (2) 寻找一种能同时支持跑批和实时查询的混合负载的数据平台解决方案;
    从上述两个方案来看,第一个方案无法实现数据共享,如果后端的数据分析同时需要批量数据和实时查询的数据,就需要专门开发对接两个不同产品的程序。第二个方案显然是可以解决第一个方案的问题,但是,从市场来看,能够支持第二个方案的技术非数据云平台技术莫属。
    经过POC测试,偶数科技的数据云平台成功达到了客户第二个方案的预期。在下一步的实时数仓的建设中,该企业规划用两个阶段来逐步建设数据云平台集群。
    第一阶段:继续采用传统的MPP技术作为日常跑批业务,同时采用实时数仓作为配套方案支持高并发实时查询的业务处理。第一阶段同时规划一个新业务集群,采用数据云平台技术,以满足与人工智能有关的创新业务。
    第二阶段:将更多的需要混合负载的复杂业务迁移到数据云平台,逐渐将数据云平台发展成为实时数仓的核心处理和服务平台。
    (7)数据云平台的未来发展
    不久的将来,数据云平台的技术很快就会成为各大企业数据平台建设的技术主流技术,在人工智能,物联网,区块链等新技术领域发挥其重要价值。欢迎更多的企业同行研究数据云的技术。

    展开全文
  • 从阿里IOT云平台获取设备数据 前言: 这篇文档主要讲述的就是当设备的数据发送到物联网套件之后,用户的服务端如何获取设备 的数据。 通过阅读阿里IoT文档,我们了解到队列中消息结构体如下: { ...

    阿里云IOT云平台获取设备数据

    前言:   

    这篇文档主要讲述的就是当设备的数据发送到物联网套件之后,用户的服务端如何获取设备

    的数据。

    通过阅读阿里云IoT文档,我们了解到队列中消息结构体如下:

    {

      "payload": "Base64 Encode的数据",

      "messagetype": "status",

      "messageid": 996000000000000001,

      "topic": "具体的设备Topic",

      "timestamp": 1526450324

    }

    • messageid:IoT套件生成的消息ID
    • messagetype:指的是消息类型:设备状态status和设备上报消息upload
    • topic:表示该消息源自套件中的哪个topic,当messageType=status时,topic为null,当messageType=upload时,topic为具体的设备Topic
    • payload:数据为Base64 Encode的数据。当messageType=status时,数据是设备状态数据;当messageType=upload时,data即为设备发布到Topic中的原始数据。
    • timestamp:队列中消息生成时间戳,并非业务的时间戳

    一,基于HTTP/2通道的服务端订阅-设备状态和数据

    1.服务端订阅

    1.1 服务端订阅流程

    在IoT场景,有时候我们期望业务服务器能接收到设备状态和设备采集的数据,而不是通过云产品中转。这时我们可以开启服务端订阅,IoT平台会把设备产生的消息通过HTTP/2通道推送到业务服务器,以便根据自身业务场景消费。

    服务端可以直接订阅产品下配置的所有类型的消息。

    目前,新版物联网平台通过HTTP/2通道进行消息流转。配置HTTP/2服务端订阅后,物联网平台会将消息通过HTTP/2通道推送至服务端。通过接入HTTP/2 SDK,企业服务器可以直接从物联网平台接收消息。HTTP/2 SDK提供身份认证、Topic订阅、消息发送和消息接收能力,并支持设备接入和云端接入能力。HTTP/2 SDK适用于物联网平台与企业服务器之间的大量消息流转,也支持设备与物联网平台之间的消息收发。

    注:HTTP/2是方便、快捷、低延时,小堆积的消息流转通道,不是队列。目前是只有java8客户端sdk。 如果业务数据流非常大, 需要支持海量消息堆积,建议通过规则引擎流转队列方式处理。

    不论那个方式,消费端还是需要提升自身消费速率才能高效处理业务消息。

    目前服务端订阅是基于uid的,所有产品的消息都会被HTTP/2的client端消费,这时需要我们自己根据topic包含的productKey/deviceName区分

    http://static-aliyun-doc.oss-cn-hangzhou.aliyuncs.com/assets/img/17309/15441768178965_zh-CN.png

    2.服务端订阅SDK使用

    目前仅提供Java8版SDK

    2.1 java sdk依赖

    <!-- Aliyun core --><dependency>&nbsp;&nbsp;&nbsp;     <groupId>com.aliyun</groupId>    <artifactId>aliyun-java-sdk-core</artifactId>    <version>3.7.1</version></dependency><!-- iot message client --><dependency>&nbsp;&nbsp;&nbsp;     <groupId>com.aliyun.openservices</groupId>&nbsp;&nbsp;&nbsp;     <artifactId>iot-client-message</artifactId>&nbsp;&nbsp;&nbsp;     <version>1.1.2</version></dependency>
    

    2.2 消费IoT平台设备消息

    import java.net.UnknownHostException;import java.util.concurrent.ExecutionException;import com.aliyun.openservices.iot.api.Profile;import com.aliyun.openservices.iot.api.message.MessageClientFactory;import com.aliyun.openservices.iot.api.message.api.MessageClient;import com.aliyun.openservices.iot.api.message.callback.MessageCallback;import com.aliyun.openservices.iot.api.message.entity.Message; public class H2Client {     public static void main(String[] args) throws UnknownHostException,                                 ExecutionException, InterruptedException {        // 身份        String accessKey = "[阿里云](https://l.gushuji.site/aliyun)accessKey";        String accessSecret = "[阿里云](https://l.gushuji.site/aliyun)accessSecret";        String regionId = "cn-shanghai";        String uid = "[阿里云](https://l.gushuji.site/aliyun)账号 uid";        String endPoint = "https://" + uid + ".iot-as-http2."                                 + regionId + ".aliyuncs.com";        // 连接配置        Profile profile = Profile.getAccessKeyProfile(endPoint, regionId,                                                     accessKey, accessSecret);         // 构造客户端        MessageClient client = MessageClientFactory.messageClient(profile);        // 数据接收        client.connect(messageToken -> {            Message m = messageToken.getMessage();            System.out.println("\ntopic="+m.getTopic());            System.out.println("payload=" + new String(m.getPayload()));            System.out.println("generateTime=" + m.getGenerateTime());            // 此处标记CommitSuccess已消费,IoT平台会删除当前Message,            // 否则会保留到过期时间            return MessageCallback.Action.CommitSuccess;        });    }}
    

    3,数据解析

    3.1关于数据解析

    由于低配置且资源受限或者对网络流量有要求的设备,不适合直接构造JSON数据和云端通信,因此选择将数据透传到云端,由云端运行转换脚本将透传的数据转换成Alink JSON格式的数据。您可以在创建产品时,选择数据格式为透传/自定义格式,目前转换脚本通过JavaScript语言开发,需要开发者自行开发转换脚本。物联网平台为开发者提供了用于数据解析的在线脚本编辑器,方便您进行在线的编辑和模拟调试。

    3.2数据解析流程:

    https://cdn.nlark.com/yuque/0/2018/png/106007/1539084895427-76b39b46-ad24-472c-b094-f8bfad033bb9.png

    http://static-aliyun-doc.oss-cn-hangzhou.aliyuncs.com/assets/img/7527/15366708437506_zh-CN.png

    4,使用限制

    当您使用服务端订阅时,请注意以下限制。

    限制

    描述

    JDK版本

    仅支持JDK8。

    认证超时

    连接建立之后,需要立刻发送认证请求。如果15秒内没有认证成功,服务器将主动关闭连接。

    数据超时

    连接建立之后,客户端需要定期发送PING包来维持连接。发送PING包的时间间隔可以在客户端设置,默认为30秒,最大60秒。

    若超过60秒发送PING包或数据,服务端会关闭连接。

    若超过设定的时间,客户端没有收到PONG包或数据应答,SDK将主动断开重连,默认时间间隔为60秒。

    推送超时

    推送失败重试消息时,每次批量推送10条。若该批次消息在10秒后,仍未收到客户端回复的ACK,则认为推送超时。

    失败推送重试策略

    每60秒重新推送一次因客户端离线、消息消费慢等原因导致的堆积消息。

    消息保存时长

    QoS0的消息保存1天,QoS1的消息保存7天。

    SDK实例个数

    每个阿里云账号最多可以启动64个SDK实例。

    单租户限流限制

    默认单租户的限流限制为1,000 QPS。如果您有特殊需求,请提交工单。

    二,规则引擎 - 设备数据流转

    1,什么是规则引擎

    当设备基于Topic进行通信时,您可以使用规则引擎,编写SQL对Topic中的数据进行处理,并配置转发规则将处理后的数据转发到阿里云其他服务。例如:

    注意: 如果数据格式为二进制的数据,不支持转发至表格存储、时序时空数据库和云数据库RDS版。

    说明:二进制数据可使用 to_base64(*)将原始数据转换成base64String,同时支持内置函数和条件筛选。

    2,如何使用

    具体使用细节参考: https://www.yuque.com/cloud-dev/iot-tech/wr1bwu非常详细,在页面一顿配置即可,在此不再长篇大论。

    http://static-aliyun-doc.oss-cn-hangzhou.aliyuncs.com/assets/img/7486/15402784632243_zh-CN.png

    3, 使用限制

    • 规则引擎基于Topic对数据进行处理。只有通过Topic进行通信时,才能使用规则引擎。
    • 规则引擎通过SQL对Topic中的数据进行处理。
    • SQL语法目前不支持子查询。
    • 支持部分函数,比如deviceName()获取当前设备名称,具体请参考函数列表。

    描述

    限制

    单账号最多可以设置1000条规则。

    1000

    一条规则中转发数据的操作不能超过10个。

    10

    数据转发性能依赖所转发的云产品实例,在云产品实例性能足够的情况下,规则引擎为单个阿里云账号提供1000QPS的数据转发能力。即,子账号共享主账号配额;消息并发处理,每秒最多允许1000条消息经过规则引擎流转到其他云产品。 如果请求量超出该限制或云产品写入耗时超过1s,数据转发会被限流。

    1000QPS

    数据转发依赖其他云产品,使用时需确保目标云产品实例正常。目标云产品的实例宕机、欠费、参数错误(如授权变更、值非法)、配置错误等异常状况将会导致消息流转失败。

    -

    规则引擎不保证消息只到达一次,在分布式环境下,某些rebalance短暂不一致可能导致一条消息发送多次情况,应用方收到消息后需要去重。

    -

    三,阿里收费规则

    1,阿里收费规则

    案例6:高级版

    高级版的收费项目包括消息传输费用和设备管理费用。

    有一个设备每秒向物联网平台发送0.4 KB大小的消息,然后物联网平台将该消息传输到5个设备,1个应用程序,即5个设备和1个应用程序接收该消息。当月有30天。

    计费项:

    • 消息传输费用

    每条消息大小0.4 KB,小于每条消息的大小限制(0.5 KB),每条消息计为1条消息。

    每月发送消息数:1×60×60×24×30=259.2万。

    每月接收消息数:6×1×60×60×24×30=1555.2万。

    总消息数:259.2万+1555.2万=1814.4万。

    前100万条消息免费,所以,当月需付费的消息数:1814.4万–100万=1714.4万。

    按照3.6元/100万条消息计费,当月消息传输费用:1714.4万x(3.6元/100万)=61.72元。

    • 设备管理费用

    日活设备数量为6个(1个消息发送设备和5个消息接收设备),小于每天每个账号10个免费日活设备赠额,所以设备管理费用为0元。

    当月应付费用:61.72元+0元=61.72元。

    注意:

    您可以免费使用规则引擎转发消息,但是将数据转发至其他云产品中时,其他云产品正常计费。

    展开全文
  • 近期找我定制按键对接数据库的需求很多, 功能也很类似, 我就想做个平台,每个人都可以通过平台读写云端数据。所有人都用我的服务器,比每个项目都定制更加节约成本。 这个平台比较灵活,存储的数据随便你,例如...

    近期找我定制按键对接云数据库的需求很多, 功能也很类似, 我就想做个平台,每个人都可以通过平台读写云端数据。所有人都用我的服务器,比每个项目都定制更加节约成本。

    这个平台比较灵活,存储的数据随便你,例如你存储  " 张三,李四,王麻子"     就可以一个格子存大量数据,当然你想存json格式或任意你用得顺手的格式都行,按键也支持  json数据转换table 、table数据转换json  。说到这里思维比较灵活的伙伴就会想:既然什么都能存,那我存按键登录的信息:账号啊 设备号 不就可以做网络验证啦; 我把按键脚本的配置信息存到云端,不就可以做云控啦!!!

    -------------------------------------------------------------------------------------------------------------------------------------------------------------------

    平台用户端大概截图如下↓↓↓↓↓↓

    ↓管理数据的网站↓

    ↓按键调用 就一行↓

    -------------------------------------------------------------------------------------------------------------------------------------------------------------------

    为什么说能做验证 能做云控呢?

    因为它的每一列都支持自定义备注, 你可以备注成 账号、密码、金币、修改日期。。。。等等  

    这么灵活 用来做什么功能还不是随你

    如果你把金币这一列的列名换成了 活跃度,那么按键调用列名那也要改成活跃度,系统才知道你要读写的是哪列

    -------------------------------------------------------------------------------------------------------------------------------------------------------------------

    -------------------------------------------------------------------------------------------------------------------------------------------------------------------

    网站登录地址:***   服务器过期已更换  

    目前暂未开放注册功能,需要使用的↓联系我↓给你注册账号,免费试用一个月

    -------------------------------------------------------------------------------------------------------------------------------------------------------------------

     

    -------------------------------------------------------------------------------------------------------------------------------------------------------------------

    如果对以上功能还不满意,或者是想要用自己服务器的  可以联系我定制一个平台

    加 QQ 463392823 咨询 微信同号搜索

    -------------------------------------------------------------------------------------------------------------------------------------------------------------------

    展开全文
  • IT架构实现化已经是企业IT战略的大势所趋。...从早期的层次型数据库到关系型数据库,从SQL数据库到NoSQL数据库再到处理非结构化数据的Hadoop、图数据库等平台,一直在发展变化,现在可以说是百花齐放,百家争鸣。

    IT架构实现云化已经是企业IT战略的大势所趋。无论是采用私有云技术还是公有云技术,都要求软件具备云环境的适应能力。作为企业最重要的数据资产,依赖于底层的数据管理软件进行有效的管理。为实现从海量数据中得到实用的知识和信息,如何高效组织数据的存储和查找的技术一直在演进。从早期的层次型数据库到关系型数据库,从SQL数据库到NoSQL数据库再到处理非结构化数据的Hadoop、图数据库等平台,一直在发展变化,现在可以说是百花齐放,百家争鸣。

    大数据分析

    云技术的兴起,连数据存储的位置也有了更多的选择,数据可能存储在用户的数据中心,也有可能存储在某公有云供应商平台中。所以对于用户而言,如何在不同的基础架构、不同的数据库存储平台中、云下云上都保持体验的一致性,应用访问、开发、迁移的平滑性以及数据安全性,保护IT技能的投资,变得异常重要。IBM的下一代数据分析平台,为实现以下的蓝图而重新进行设计和研发。

    大数据分析

    对于用户而言,信息可视化工具可能使用流行的例如Cognos或Tableau等产品,数据挖掘可能使用SPSS或R等工具,开发语言可能使用的是Python或Scala等流行语言。数据的存储可能在传统的DB2、Oracle或PDA等关系型数据库中,也有可能在新型的Hbase、Hive或NoSQL数据库中。新兴的互联网客户数据可能天然就存储在云数据库中等等。我们是否可以设计一个通用的引擎,它既可以提供一个统一的接口,屏蔽下面的数据存储异构性,又可能使用一个统一的基于SQL的语言来进行应用的访问和开发呢?答案是肯定的!IBM基于开源的Spark技术开发了下一代的通用数据库引擎Common SQL Analytics Engine和查询访问引擎Fluid Query Engine。

    作为早期的DB2关系型数据库,为了灵活支持zOS,Unix/Risc架构或WinTel架构,同时为满足客户弹性扩展和支持不同的工作负载,从7版本开始就提出的Universal Database的概念,即一个统一的数据库SQL引擎,就可以支撑不同的体系架构。8、9、10版本后,这个体系架构得到了极大的扩展,通过HADR、DPF、PureScale、BLU、GDPC等功能模块的扩展,在统一的SQL引擎之下,就完美的支撑了用户的不同的工作负载。

    大数据分析

    但IT架构在不断地进化,云环境还发展出虚拟化技术、容器技术等为支撑海量访问、多租户访问和快速部署扩展的架构。移动互联网的发展又极大的推动了与用户互动而产生大量的非结构化社交媒体、语音、图像、视频或传感器的数据,因此数据形式有了更多样化的存在。为解决以上的挑战,IBM也通过技术创新或收购等方式,提供了基于开源技术研发的Hadoop产品BigInsights、NoSQL数据库或一体机数据仓库PDA等方案。但是随着客户云化的步伐加快,以上的各种方案之间的架构差别,逐渐成为用户的技术瓶颈。各个方案数据管理的实现不同,导致DBA管理运维、应用开发的难度不断加大。基于移动互联网等云化应用的需求,需要更灵活的体系架构以支撑海量访问、突发用户增长、7*24不间断访问、敏捷开发等的挑战。为此目的,IBM在下一代分析引擎设计中,采用了通用分析引擎的策略,即统一分析引擎,以支撑用户在不同的环境中部署数据应用,不论其将部署在原有数据中心的架构中,亦或私有云甚至是公有云的环境。这种机构将提供给用户极大的灵活性,代码编写一次,可以运行在任何环境中,同时保证DBA的运维体验一致!

    大数据分析

    首先目标是统一IBM自己的数据存储库代码。新发布的云上关系型数据库引擎dashDB、经典的DB2 11版本、适合私有云部署的dashDB on Local、IBM Hadoop BigInsights和未来即将发布的新一代数据仓库一体机设备PDA,都将构建在统一的分析引擎代码上,用户将可以实现代码仅写一次,随处部署运行。对于DBA而言,不论在哪种库进行操作,操作处理模式统一。对于已经部署在某个平台上的用户而言,未来不论是迁移到云上或构建自身的私有云环境,数据以及应用都将平滑迁移。对于工具的开发商而言,仅认证一个平台,就可以平滑支持其它所有的平台。

    大数据分析

    因此,不论用户目前还在使用传统的Power架构,采用DB2支撑其核心交易体统,它可以逐步升级到DB2 11版本,享受到未来过渡到云的通用分析引擎能力。若用户即将部署私有云环境,可以采用dashDB on Local的方案,它基于容器进行部署,可以支撑PB级数据的海量扩展,同时具备通用SQL数据库引擎能力,运维体验、开发接口与其使用核心交易DB2保持一致。或直接采用PDA的方案,它一体化软、硬件实现方式,可以更简化运维管理,但管理体验、开发方式也和核心系统的数据库保持一致。用户若直接基于公有云的服务,开发各种应用,其上的dashDB云数据服务,和云下的数据库管理、开发体验也是保持一致。最后即使用户选择使用Hadoop来存储其非结构化数据,内置的BigSQL引擎,其运维管理、开发接口也和其在使用的核心交易数据库保持一致的体验!看到现在,你是否觉得很Cool!不论是交易负载亦或分析负载,不论是云下使用还是云上开发运维,所有的技能、软件资产都得到了保护,你的云化大计有了充分的保障!

    对于数据已经存放到了不同的数据库中,制定数据统一存放的策略并不现实。因此数据离散化存放,多库存储将是最可能的现实。对用户而言,如何进行统一访问接口,透明访问所有的数据源,或在不同数据源中迁移数据,将成为一个关键的挑战。IBM提供数据访问的通用引擎Fluid Query Engine,它充分考虑客户的数据虚拟化的现实,统一接口,解决客户难题。

    大数据分析

    由此,通过Common Analytics Engine以及Fluid Query Engine,统一基础架构的实现代码,简化应用访问不同数据的接口,从而实现用户的云下云上数据访问体验一致,保护已有开发IT资产,助力用户早日实现云化大计!

    快来体验吧,下载试用IBM Analytics Platform产品!

    慧都控件网年终促销第一波已开启,全场6折起,豪礼抢不停>>>

    截止时间:2016年10月30日

    更多大数据与分析相关行业资讯、解决方案、案例、教程等请点击查看>>>

    详情请咨询在线客服

    客服热线:023-66090381

    展开全文
  • Web端和移动端接入萤石云平台的视频数据

    万次阅读 热门讨论 2019-06-17 15:09:35
    前言 因为项目需要在Web和App...但是最简单的是直接在Web端或App上接入萤石云平台的视频流(不能看历史数据,只能看实时的视频,使用萤石云平台存储功能需要收费)。使用平台提供的服务的前提是要购买萤石或者...
  • 备份是云平台上的一个最基础的应用,我们看到了在基于这些云平台上的数据存储、备份和恢复服务,未来会有越来越多的数据需要在这些云平台上穿梭与迁移,所以我们做了这一个基础服务作为细分领域的切入点。...
  • 基于MQTT的工业物联网数据云平台

    千次阅读 2019-03-28 14:08:09
    -快速开发工业4.0和物联网应用系统的MQTT数据云平台 【应用背景】 伴随世界范围内“工业4.0”革命及“再工业化”战略的兴起,结合“中国制造2025”及“两化融合”战略,新一代信息技术与制造业深度融合,正在引发...
  • 数据湖的定义:wikipedia 中对于数据湖的定义是: “ A data lake is a system or repository of data stored in its natural/raw format, usually object blobs or files. A data lake is usually a single store ...
  • 阿里物联网平台物模型数据解析脚本

    千次阅读 多人点赞 2020-03-27 12:42:54
    将设备上报的原数据直接透传到物联网平台。物联网平台调用您提交的数据解析脚本,将设备上行数据解析为物联网平台定义的标准格式(Alink JSON),再进行业务处理
  • 今天,小白给大家分享一下,如何在机智云平台上创建属于自己的产品,以及设备与机智云平台交互的数据查看过程,欢迎感兴趣的小伙伴一起交流学习。 1 首先进入机智官网; http://www.gizwits.com/ 点击开发者...
  • 亚马逊云科技云数据仓库Redshift,让您的数据飞起来 随着信息技术的迅速发展,各行各业积累的数据都呈现出爆炸增长的趋势,我们已经进入了大数据的时代。当前企业数据的规模和复杂度不断增长,如何快速低成本的分析...
  • 传统框架化迁移到内存数据平台

    千次阅读 2016-03-02 21:22:03
    12306混合成功案例给予最大的启发就是打造一个从下到上都可做弹性扩展的“应用”系统,企业客户可将关键业务的“子系统”部署在资源丰富的云计算数据中心,“化”后的子系统可“按需”获取所需要的服务器虚机...
  • OneNET云平台-EDP协议数据传输

    万次阅读 多人点赞 2018-01-12 09:31:07
    OneNet真是中移动的良心之作,对比阿里和庆科,OneNet不但免费而且功能也足够嵌入式应用,对学生党而言真是大大的福利,感谢中移动!!!。 一、云端创建设备与应用 (1)创建产品:进入开发者中心有个蓝色...
  • 2015年上半年,江苏银行完成了大数据平台选型和建设,选择发布版hadoop进行底层数据存储加工。接着,进行内外部数据整合。三个阶段的完成,意味着大数据基础设施建设工作已完成,如果把大数据建设工作看做一颗大树,...
  • 前言 因为项目需要在Web和App...但是最简单的是直接在Web端或App上接入萤石云平台的视频流(不能看历史数据,只能看实时的视频,使用萤石云平台存储功能需要收费)。使用平台提供的服务的前提是要购买萤石或者...
  • 通过阿里物联网平台,我们可以在不懂前后端开发的基础上,半个小时候左右就可以搭建一个智慧农业的物联网云平台框架。 效果如下: 大数据面板: 设备管理: 设备地图分布: 支持视频监控...
  • 前言: 云数据仓库是构建在云上的新一代数据仓库解决方案,如何选择符合企业需求的...云数据仓库的解决方案改变了我们传统的数据平台构建方法。您可以在没有平台技术专家的指导下在几分钟内创建并开始使用数据...
  • 商业云平台和开源云平台 Google云平台 主要云服务 SaaS:Google文件、Google地图、Google日历、Gmail PaaS:Google App Engine 需求和设想 需求:海量用户和海量数据,需要具备较强的可伸缩性 设想:应用向互联网...
  • 3月5日,记者采访获悉,江门农商银行日前完成自助分析平台的升级换代,由阿里云云原生数据仓库AnalyticDB替代传统DB2数据库,满足银行业务报表、管理会计、风控、营销等多种业务场景需求。江门农商银行扎根于广东省...
  • 云数据中心解决方案 一、概述 达梦云数据中心基于云计算技术,采用物理数据中心和逻辑数据中心相结合的建设模式,整合各类分布式数据资源,提供统一数据管理、分析及服务功能。达梦云数据中心以“数据即服务”...
  • 记录一下今天用ESP8266接入百度天工IOT平台实现温湿度数据可视化的学习过程: 1.项目列表->设备型项目 2.物模型->创建新的物模型->添加属性->创建 3.点击新建物影子->选择物模型->下载连接信息...
  • BC26 NB-IoT模组将数据发送至阿里物联网平台

    千次阅读 热门讨论 2020-08-04 20:23:44
    利用BC26发送数据到阿里物联网平台 配置阿里设备信息 AT+QMTCFG="aliauth",0,"a1yNENH0K3S","BC26","e7e98498df93e574b9efc06d9a762c75" 第一个参数为固定参数,往后的参数依次是MQTT Socket 标识符(0-5)、产品...
  • 物联网平台数据查询操作步骤

    千次阅读 2020-12-02 20:40:26
    平台数据查询操作步骤 1. 进入物联网平台 登录物联网平台(http://o.iot.gdatacloud.com:81/#/user/login) 注册账号后,进入平台,点击右上角问号处进入平台接口文档 2. 数据接口使用 选择IOT项目:设备接入...
  • 12306是如何实现高流量高并发的关键技术,以及深入探讨了12306两地三中心混合架构,今天,他继续为大家带来第三篇:传统框架化迁移到内存数据平台。 以下为正文》》 摘要 12306混合成功案例给予最
  • 函数获取数据库中的值时,想只取得某一列的值返回,代码写成如下所示 let accessToken = db.collection('wxConfig').where({ name: "AccessToken" }).get(); accessToken = accessToken.data[0].value ...
  • 摘要:华为云数据管理服务DAS提供的云DBA智能化运维平台于日前发布了空间&元数据分析特性,支持查看实例空间异常列表、实例空间概况、数据库列表信息,帮助用户及时发现数据库中的空间和元数据异常,有效保障...
  • 网易音乐数据服务之路

    千次阅读 2021-05-24 16:37:26
    数据服务作为统一数据中台建设的最上层,能够将数据...网易音乐数据团队与网易有数进行了数据服务平台共建,并基于实际场景从无到有落地了数据服务在音乐的使用,本文主要对共建进程及数据服务使用情况进行介绍。
  • 2019年9月7日,我们招募的第一批【开发者走进京东云数据中心】活动已圆满落幕。此次活动中,我们特邀了两位行业KOL与开发者们同行,参观的同时,与大家进行技术沟通与交流。 今天,我们特别为大家带来了吴宁川老师...
  • Jindo 是阿里基于 Apache Spark / Apache Hadoop 在上定制的分布式计算和存储引擎。 Jindo 原是阿里 开源大数据团队的内部... JindoFS 完全兼容 Hadoop 文件系统接口, 给客户带来更加灵活、 高效的数据湖加速方

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 90,988
精华内容 36,395
关键字:

云数据查询平台