精华内容
下载资源
问答
  • 2018-04-04 00:00:00



    孙立林在分享中,从更高的角度提到了什么是计算架构的本质,同时,也提出了对于计算架构的三大矛盾:个体隐私和中心监管的矛盾,交易隐私和登记确权的矛盾,以及数据的归属权到底是谁的矛盾。同时,对于一个业内颇为流行的观点,孙立林也提出了自己的不同见解:“区块链等于生产关系,AI等于生产力,我并不完全同意。”



    孙立林简介:

    孙立林,矩阵元创始人,历任中国银联战略发展部高级研究员、市场拓展部高级主管、中国银联旗下第三方支付公司常务副总经理。  

    孙立林先生拥有10余年银行及咨询从业和管理经验,先后担任Chinaledger创始成员及技术委员会副主任、工信部区块链论坛创始成员及理事单位公司、ITU数字货币工作组安全组副主席、中国证券基金业协会金融科技委员会委员、中国互联网金融协会区块链工作组成员、中国支付清算协会区块链工作组成员。


    以下,为孙立林关于计算架构与区块链关系的详细分享,希望对你有所启发。


    感谢CSDN蒋总和孟总邀请我过来。从二十年前看《程序员》,到今天有机会在这里跟大家交流,也是一个机缘,我想给大家介绍下一代计算架构,以及我对整件事情的理解。


    我们所有的治理架构都是一个树状结构,这个树状结构在现实生活当中,尤其是在金融领域里所有的上一级核心节点,意味着报文转发,只有上一级节点才能做报文转发,所有的同一级节点不能直接做通讯,这是金融架构的基本原则。但这会导致数据的流动性不充沛,这会引发很多问题。如果是同一个树下还好,如果是跨域了,金融行业的数据树和医疗行业的数据树要协调的话,可能就要到国务院这个层面。


    我们通常不提去中心,它其实是无中心。在这个点上,数据如果想做交换的话,就只能靠人为成立委员会机制来处理。


    所以,为了极大处理数据的流动充沛性,需要引入新的处理结构来处理这个问题,这是我们对区块链的基本理解。


    并不是所有的机构都适合用区块链。金融行业会优先于互联网,因为金融行业的人天生是算钱的,当数据的流动性变的格外充分的时候,交易如果变化,T1或者T0会带来巨大的交易,其他行业来才会逐渐感受到数据被当做资产来做定价后流动性加速带来的收益,但是这个事情仍然需要一段时间才能实现。


    区块链等于下一代计算架构吗?我认为不等于。



    计算架构的本质


    计算架构本质上就是三件事情,我们所有的手机、电脑、PC、超算本质上都在处理三件事:计算、存储和通讯,区块链就是不断地在这个领域里发现问题,解决问题。


    所以我个人对于很红的一句话:区块链等于生产关系,AI等于生产力,我并不完全同意。大家完全忽视了区块链带来的技术的巨大挑战,无论是工程上还是理论上其实有很多问题要解决,不是大家想的那么简单,只是生产关系或者是说的很悬。


    技术上是有大量工作要做的。


    这是我们的根本问题,什么叫多源异构,就是多数据源和不同的架构,在今天的治理架构下,银行卡的中心节点是银联,他们做的工作本身都是报文的转发。


    有没有可能人类在不断互联互通的过程当中形成一套新的超级清算体制,完全无视于上层的应用?不管是金融医疗还是交通,也不管是票据债券银行卡还是其他服务,都可以通过一套超级清算体制把一套基本的报文转发体系做好?这件事情完全有可能。



    割裂的互联网


    今天我们所有的网络其实只是做了订单的转发和撮合,今天在线支付是假的,实际上订单最后的成交是要进专网完成。


    2013年我第一次看到一篇论文时,觉得很震撼,所有做支付清算的人应该反思。它第一次提出了新的解决方案,没有新的技术,但是解决掉了可以真正做线上支付并且可以真的没有差错。


    在今天真实的交易世界里,每天都有大量的差错发生,因此从对账开始解决问题,这也是割裂的互联网不能解决的问题。


    我们提了一个想法,机器猫小叮当可以从他的肚兜里掏出任意门,所以我们用了这个词,未来可以把不同行业不同领域不同信息不同报文的格式通过这样的超级清算方提供解决方案,协同计算是区块链根本无法解决的。


    关于算法架构的基本理念,关于为什么要用区块链,我也听到过很多人激烈反对区块链的理由,今天我们做的所有的金融交易本身都是代理人机制,无论你是用支付宝微信还是银行卡,无论是买股票还是买别的交易都是通过代理人完成的,因为最终交割双方无论他是咖啡店还是买卖的对手方,无论是中央对手方清算还是其他的清算,本质上他都无法相信这个付钱的人或者是提出交易请求的人,需要经由你背后的交易体系或者是银行或者是有资质的机构提供这样的支付服务。由你在这个机构的请求来传递这个支付,这就是本质上作为交易代理的基本属性,在这个属性下大家因为习惯了,你掏出银行卡或者扫码的时候没有计较商户是否信任你,本质上商户完全不信任你,他只是信任你背后的架构,在下一代所有的机构引入算法后,就是算法即信任,认证即交易,只要你完成了交易,理论上就可以完成所有的事物,所有的事物都可以在上面发生。



    算法世界


    这是我们注册的一个品牌,叫“算法世界”,在此给大家解释一下,CSDN还有其他的朋友提了通证的概念,我也相当认可这个概念,我想稍微解释一下,我们角度不一样的地方。


    我们把它叫做流动性的基本度量衡,无论它是法币还是现在的通证或者叫Token,本质上是数据交换的度量衡,但是这个度量衡怎么出现的,我们总结了几个基本问题,全数字世界会有三大基本矛盾。我们认为所有的算法所有的计算架构都是基于这三大矛盾展开的。


    第一是个体隐私和中心监管。按照央行提出的监管,法币叫前台自愿,后台强实名,在这样的架构下会出现一个问题,一旦流动性得到充沛的管理,意味着给每一个流动性每一个数字货币法定货币打上了一个标识,这个在传统的金融交易里也把它叫做“标记化”,一旦打上了所有的交易是无所遁形的,这个流动性被全程监控,因此个体的隐私在监管下是暴露的,这是个矛盾,是中性词并不是一个负面词,这个矛盾需要有很多的算法解决这个问题。这个矛盾你无法回避,因为我们生活在这个世界里必须遵循这样的监管规则。


    第二个矛盾是隐形的共识。就是交易隐私和登记确权,其中第一个经常说的就是ID你的身份隐私,第二个就是交易隐私,交易包含三大要素,第一是交易的地址,无论你账户还是IP,第二是你的余额,第三是你的流水,这是交易的隐私。今天我们做的所有交易实际上在平台一级做的本质的事情都叫登记和确权,或者叫登记存托,只要你买了任何一笔股票,中债知道,银联知道,购物京东淘宝都知道了,这意味着你在交易平台的账户体系和交易的地址是完全裸奔的,完全被平台所知道的。


    今天人类的解决方案是给这个交易平台发交易许可证,金融是发的,但是互联网公司是没有发的,这意味着我们的交易流水是完全裸奔的。今天不公平的地方在于所有的互联网工业本质上把我们奴役了,我们所有人都是互联网公司的奴役者,第一他没有征得你的确认,第二他赚了钱也没有给你分,这个不公平。处理这个矛盾的唯一方法是对这个交易做密文登记,当然你可以选择裸奔,理论上我们可以提供一种能力,让所有的交易变成密文在平台上出现,这是第二种矛盾,叫隐形的共识;


    第三是数据。一旦你向平台提交了数据或者是开放的API,你的数据就被别人汇集走了,这个矛盾背后的原因来自数据主权,数据的归属权到底是谁,区块链无法解决这个矛盾,原生的区块链根本无法提供隐私保护,所有的加密、MPC是新的算法,不是原生的狭义的区块链。


    这里我们提出数据孤岛的隐性桥梁,所以我们说区块链只是下一代架构的一部分,它很重要,但是只是一部分。


    基于此,我们推出了区块链的开放服务平台,网站的名字叫JUICE,我们全面向开发者开放出来。


    技术方面我不多介绍,区块链公司都大同小异,我们做了大量金融机构的工作,因为保密始终没有披露出来,但是想跟大家解释的是智能合约真的没有那么智能,不能解决所有的问题。智能合约过于复杂,而且对底层的虚拟机构的压力会非常大,因此我们在下一版核心架构里几乎全部重写了,纯粹摄取出来的代码几乎无法在商业领域使用,必须全部重写,这是我们实践的体会。


    我们下一代计算架构叫JUGO,就是多源异构,多数据源和不同的架构,用在多方计算平台。这是我们MPC安全多方计算的架构,它的数据都在本地没有被对方归集走,但是大家可以看到解决,这是我们最想看到的数据化的未来,本质上把所有的合约重新打成了逻辑电路,实际通讯看到的都是逻辑电路,而看不到原生的合约。实现了两个价值,第一个是彻底的隐私计算,第二个是彻底的并行计算,目前为止我们发现只有这一种方法可以实现无视于上层应用把它拆成基本的函数,当然这里会动到很多底层的算法。


    IBM前一段时间公布了同态加密速度提升了75倍,这个很不错但是一点用都没有,全同态要用在商业至少还得提高十万倍,这个需要很重的科研投入才可以解决。再就是硬件加速,我们认为这代技术架构带来的变化远超移动互联网,甚至比上一代的互联网还要伟大,因为它给技术复杂度、通信复杂度带来的挑战是前所未有的,计算复杂度就必须动到整个硬件架构的重构。


    为什么最近AI芯片很火,因为CPU已经无法满足性能了,通用架构已经不够用了,GPU我们认为也不够用,所以现在FPGA非常火,我们认为这个可能是真正的分布式硬件计算的未来,这套东西的出现和前端的算法和整个计算架构的结合才有可能带来真正的变化。


    解决方案我大概介绍一下,其他前面很多朋友都介绍过类似的,我们的思路略有不同,无论是存证、溯源、安全共享,我们所有的思路全部是运营商化。我们的思路是即便是金融机构整个技术架构体系,比起运营商来说仍然是落后的,我个人最看好的运营模型就是电信运营模式,全程全网的计费和超级运营商体系,我们希望在下一代的集成架构以区块链为代表的架构里能够实现这样的全程全网,全部打包成基本的服务作为网关来提供。


    MPC是我们最有热情和投入最重的领域,数据无须归集和共享,完全支持自定义逻辑和共享,我们已经提供了整个编译器,提供了一个语言(Frutta,西班牙语的水果),在三方计算架构里2到3是一个巨大的变化,3方架构里只能做到定制,只能在局部场景定制。一旦做到通用架构,规划至少需要半年以上的时间,算法挑战很大,下一步的计划除了要支持硬件还会彻底支持上层的深度学习。



    案例分享


    这是我们做的一个实际案例——就是征信,为什么要做这个事情,所有的券商花了无数的获客和风控的成本,拿到的合格投资人黑名单白名单是不愿意共享出来的,这是他的核心资产,那怎么办,大家一起计算一个结果,所以我们把它叫做协同计算,计算完的结果可以在区块链上被加密、登记交易,这是大家经常提到的区块链做数据加密共识的结果,但是本身要把共识层和计算层剥离,把计算层剥离出来后交给电离层做计算,经过隐私处理的合约交给区块链做交易。


    前一段时间地方政府提到了让数据多跑路企业少跑腿,很多人提到用区块链解决隐私保护,我个人的观点这是不大可能的,原生的区块链完全无法提供这样的隐私保护能力,在跨部门跨账户体系跨行业跨不同的学习算法之间来做隐私保护区块链目前做不到,只有新的算法来做,必须告诉大家的是,必须在前端对数据做大量的预处理,不然跑不出来。


    接下来分享一个给基因行业做的实际案例,基因对隐私保护要求非常高,而且数据量非常大,一个人生能够产生的基因数据量是200GB,不考虑40岁以后每年产生的突变,基因会变异,但是基本上200GB这个数据量超级大,在数据协同操作下才能解决这个原生的问题,区块链无法解决这个问题。


    这是航空航天的案例,去年虹桥机场发生了两架飞机差点相撞,一个是排序系统出了问题,再是中心化系统导致同一级节点之间无法通信成了数据孤岛,只有在完整的区块链架构下能够做到这样的共识和对账,确保所有的事物——就是飞机和地面所有的通信是完备一致的,不会出问题,如果这套系统真的上了,有大量的问题可以通过这套架构解决。


    我们的口号叫“为了数据的流动”,我们希望大家能看到核心的问题是场景业务化,业务数据化,数据资产化和数字交换货币化,数据一定要流动起来,一定要对数据的流动做定价,区块链也好下一代计算架构也好,如果不能给数据的流动性定价作出贡献,那么它就没有意义。

      

    class="video_iframe" data-vidtype="2" allowfullscreen="" frameborder="0" data-ratio="1.7647058823529411" data-w="480" data-src="http://v.qq.com/iframe/player.html?vid=k06225sujah&width=654&height=367.875&auto=0" style="display: block; width: 654px !important; height: 367.875px !important;" width="654" height="367.875" data-vh="367.875" data-vw="654" src="http://v.qq.com/iframe/player.html?vid=k06225sujah&width=654&height=367.875&auto=0"/>

    孙立林:下一代计算架构



    想跟区块链大咖蒋涛和孟岩一起工作吗?

    快来快来,CSDN区块链大本营招采编 2 名 (待遇不低于行业水平)

    邮件发送:puge@csdn.net(注明:姓名+区块链+采编应聘)


    扫码加入区块链大本营读者群,群满加微信 17600222208 入群

    更多相关内容
  • 【黑客联盟2016年12月06日讯】HPE 宣布成功研制“基于存储的计算架构”(Memory-Driven Computing)。它颠覆了以往 把 CPU 作为计算机核心的惯例,而采取多个处理器共用中央存储集群的运行模式。 虽然 HPE 声称该...

    【黑客联盟2016年12月06日讯】HPE 宣布成功研制“基于存储的计算架构”(Memory-Driven Computing)。它颠覆了以往 把 CPU 作为计算机核心的惯例,而采取多个处理器共用中央存储集群的运行模式。

    虽然 HPE 声称该架构有极广的适用性,但它主要是为大型数据中心所设计,尤其是对物联网大数据的分析、处理。另外,HPE 并没有打算向服务器市场推出基于全新架构的产品,这次的发布会更像是一个广告——为 HPE 使用新技术的的各类企业产品做推广,尤其是 HPE 的持久存储和尚在开发中的非易失性存储产品。将来,新的计算架构是否会颠覆企业服务器市场?我们拭目以待。

    10011140_Htjb.jpg

    众所周知,今天的电脑,是以 CPU 作为核心,内存和硬盘存储作为辅助。这其实是 1940 年代“计算机之父”约翰·冯·诺依曼设计的系统架构,距今已超过 60 年。

    计算机巨头 HPE(惠普企业)认为,革新计算机系统架构的时机正在成熟。

    本月 28 日,(QQ公众号:黑客联盟)了解到HPE 宣布,已成功开发出下一代计算机架构:基于存储的计算。这是一个把存储,而非处理器,作为计算机运算核心的概念。HPE 认为,它能带来数个量级的计算性能和效率提升。

    注:HPE(惠普企业)全称为“Hewlett Packard Enterprise”,为原惠普公司企业业务部,现已独立拆分。

    10011140_CSp7.jpg

    动图演示:从传统以 CPU 为核心的计算架构到基于存储的计算架构

    如图所示,采用传统架构的大型数据中心,大量工作被浪费在系统之间数据的传输。而在基于存储的计算架构中,多个 SoC 共享中央存储集群,极大提高传输数据的效率

    作为对“基于存储的计算”的概念验证,HPE 还展示了采用新一代计算架构的原型机:

    10011141_D6z0.jpg

    研究人员正在组装“the Machine”原型机的核心部件

    10011141_hala.jpg

    “The Machine”原型机组装完成

    原型机的每一个 SoC 有独立 DRAM(系统内存),但通过光子通讯共享 2 到 4TB 的“持久存储”(persistent memory)。所有处理器能通过光纤维,在其他节点(nodes)上连接持久存储。这构成了一个容量巨大、可按字节寻址的中央存储集群。该公司没有透露 CPU 信息,但外媒猜测,它可能使用了 64 位 ARM v8-A 或英特尔 X86 处理器。

    HPE 用这台原型机展示了:

    计算节点与被系统共享的 Fabric-Attached Memory 存储集群连接。

    一个经过优化的、基于 Linus 的操作系统在 SOC 芯片上运转。

    计算机的光通讯设备,包括新的 X1 光子模块能连接上网并正常运转。

    新的软件编程工具,能对富余的持久存储空间加以利用。

    HPE 表示,这个新的计算架构能够按照 HPE 工程师们的设计,让各个基础模块协同运转。

    “The Machine”项目

    据美国高德纳公司预计:到 2020 年,世界物联网设备将达到 208 亿台,这会生成前所未有的海量数据。届时,数据增长的速度,会大大高于现有计算架构对数据进行处理、存储和加密的速度。

    这要求数据中心和服务器,把数据处理性能提高到一个前所未有的新水平。而在摩尔定律已失效的情况下,在现有计算架构上实现这一目标显得不切实际。这便是 HPE “the Machine”项目的初衷:为数据中心和超算系统开发下一代高性能计算架构。

    10011141_O2td.jpg

    “the Machine”的项目 logo

    上文中的原型机,便是诞生于“the Machine”项目。HPE 声明,“基于存储的计算”会颠覆已成为老古董的、以 CPU 为核心的计算机架构。因此,它将成为计算机发展史上的“关键里程碑”。

    HPE 副总经理 Antonio Neri 对(QQ公众号:黑客联盟) 说:“‘The Machine’是 HPE 迄今为止规模最大、最复杂的研究项目。用这个原型机,我们展示了“基于存储的计算”的前景,并为相关创新打开了大门。我们的客户和整个计算行业,都将在这项创新中受益。我们会继续研究能颠覆现有游戏规则的黑科技。”

    在项目的设计阶段,模拟程序就预测,新架构的运行速度将比现有计算系统高“数个数量级。现在,HPE 在现有的计算机硬件上测试了新的软件编程工具,并证明根据在不同工作情况下,理论上能达到最高 8000 倍的运算速度。

    10011141_o4OW.jpg

    基于存储计算架构在不同任务下的运算速度。其中,在内存计算能达到现有技术的 15 倍, 海量图形推理 100 倍,近似物搜索 300 倍,金融模型运算 8000 倍。

    用更多节点和存储扩展原型机的配置之后, HPE 预计仍能达到相似倍数的性能提升。

    “The Machine”项目更多地关注于百万兆级运算(exascale computing)。百万兆级运算是高性能计算(High Performance Computing)一个快速发展的领域,它致力于开发出,性能比现有云计算平台高几个数量级的计算机设备。

    除了传说中的性能,HPE 基于存储的计算架构还拥有极为理想的扩展性从迷你物联网设备到百万兆级运算设备,该架构都可以应用。这使它成为,处理高性能计算和数据密集任务的理想平台,包括大数据分析。

    新架构的商业化

    HPE 已经决定,不会推出采用新架构的完整计算机系统。 这很可能是由于成本的限制。他们推出这台“the Machine”原型机也不是为了打造产品,而是向世界展示该项目的进展。在很长一段时间内,这台原型机会是世界上唯一一台基于存储计算架构的计算机。

    但是,“the Machine”项目开发出的这一系列技术,将会被分拆应用于 HPE 的各项独立产品中。这些技术可被分为四类:1.非易失性存储 (NVM,Non-Volatile Memory) 2. 光纤维 3. 软件生态系统 4. 安全。其中,非易失性存储产品和生态系统尤为重要。

    非易失性存储

    HPE 正努力把可按字节编址的(byte-addressable)非易失性存储产品带到市场,该公司计划最早在 2018/2019 年实现。它的目的是把 DRAM 的性能与传统存储产品大容量、持久的特点相结合。利用“The Machine”的项目成果,HPE 已经开发出了持久内存,这是开发出可按字节编址的非易失性存储产品的关键一步。该公司已经在 ProLiant DL360 和 DL380 Gen9 服务器上发布了 HPE 持久内存。

    以下为 HPE 非易失性存储产品的路线图:

    ·现在:ProLiant设备将引入持久性内存以供各应用程序使用,这部分内存由DRAM及闪存混合构成。

    2016年 – 2017年:采用经过改进的DRAM持久性内存。

    2018年 – 2019年:为软件提供速度低于RAM但成本更为低廉的真正非易失性内存(简称NVM)。

    2020年及之后: NVM技术将被应用于多个产品类别当中。

    生态系统

    HPE 已经为基于存储计算架构的软件开发做了很多工作。今年,HPE 发布了与 Hortonworks 和 Spark 在新架构上软件开发的合作。在今年 6 月,HPE 在 Github 发布了,帮助开发者熟悉新架构软件开发的代码包。该公司准备在明年,把这些代码用于已有的硬件上。HPE 将最早在 2018/2019 年, 开始把下一代分析工具和应用程序整合入新系统。他们计划在未来几年中,把生态系统的技术和标准整合入一整套的产品当中。

    10011142_6yWr.jpg

    该公司对(QQ公众号:黑客联盟) 表示,他们会尽快把基于存储计算架构的各项附属技术商业化,推出各项衍生产品。

    转载于:https://my.oschina.net/u/3579120/blog/1533039

    展开全文
  • 计算机-后端-面向下一代网络架构的移动管理关键技术研究.pdf
  • 以工业互联网为代表的产业互联网的大发展,促进未来网络从以信息...从应用、网络技术、计算技术等的发展趋势分析,推导出未来数据网络需要从计算、网络和存储融合重新设计网络架构,以满足未来新业务和新场景的需求。
  • 计算机网络技术专业1《聚焦下一代交换架构 Aruba推出业界首款分布式服务交换机9》.pdf计算机网络技术专业1《聚焦下一代交换架构 Aruba推出业界首款分布式服务交换机9》.pdf计算机网络技术专业1《聚焦下一代交换架构 ...
  • 计算机网络技术专业1《聚焦下一代交换架构 Aruba推出业界首款分布式服务交换机9》.docx计算机网络技术专业1《聚焦下一代交换架构 Aruba推出业界首款分布式服务交换机9》.docx计算机网络技术专业1《聚焦下一代交换...
  • 此新型微控制器样品计划于2009年第二季度交货,该系列器件将是首款集成有下一代‘RX’CPU架构的32位产品,CPU性能将高达200MHz,具备读取业界最快的单周期闪存的能力(100MHz)。  RX家族是应市场转向对高速、高...
  • 面向下一代移动视觉计算ARM新一代图形架构Bifrost及Mail-G71解析.pdf
  • a、未来的E/E架构,包括其开发过程,都需要进行持续的更新与改变; 图2.自动驾驶与EE架构 b、建立未来的EE架构我们将应对很多问题及挑战,但是有两项最基本的观点: 技术观点:采用越来越多的IT标准,建立一...

    1、引言

     

    1)BMW - Number One>NEXT 战略

    以顾客为中心的四化战略:自动化、互联化、电动化、共享化/服务化

    图1.以顾客为中心的“四化”战略

    2)自动驾驶给EE架构及其开发流程带来的挑战

    a、未来的E/E架构,包括其开发过程,都需要进行持续的更新与改变;

    图2.自动驾驶与EE架构

    b、建立未来的EE架构我们将应对很多问题及挑战,但是有两项最基本的观点:

    • 技术观点:采用越来越多的IT标准,建立一个统一的、节能高效的系统架构;

    • 方法论观点:无国界的系统性思维,相互信赖的协作和敏捷的工作方法。

     

    图2. 建立下一代EE架构面临的问题和挑战

     

    2、如何实现下一代E/E架构

     

    1)下一代E/E需要实现的主要目标

    图3. 下一代EE架构主要目标

    • 可更新/升级

    • 成本优化

    • 客户价值

    • 风险/变更/兼容性

    • 可扩展性

    • 通用构建模块和标准化

    • 能量-效率

    • 可测试性

    • 可靠性和网络信息安全

     

    2)EE架构策略 – 三步方法

    a、公司战略、法律要求和游戏规则改变者是E/E架构愿景的重要输入

    b、根据实际的EE架构,通过经验教训设定起点

    c、下一代EE架构的成长空间由当前的EE架构和未来的愿景决定

     

    3)衍生可持续性数字汽车基础架构所需要的必要构成要素

    图4. 数字化汽车基础架构的构成要素

    1)基于服务和数据的架构:显式无缝API、语义描述、从基于信号到基于IP的更改、通信

    2)计算平台:更新/升级能力、软硬件协同设计、高性能处理器、能量高效计算

    3)网络架构:区域化架构、模块化线束、智能保险丝盒、优化的能量分配

    4)车辆-后台基础实施:数字孪生、互联(5G,C2X)

    5)人工智能:学习架构,基于AI的功能、可验证的AI

    6)碰撞安全与网络信息安全设计:失效-可运行、后量子密码学

    7)通讯架构:基于IP的通信、10Mbit/s以太网、OFDM技术

    8)敏捷车辆系统工程:扩展基于模型的开发、无缝敏捷开发过程、统一的工作流程

     

    3、下一代EE架构 - 未来愿景

    1)计算平台(CP)可产生协同作用,并提供统一系统架构的可能性;

    图5. 产生协同作用的计算平台(CP)

    2)实现这样的计算平台(CP)需要:技术设计和特定的开发过程;

    图6. 技术设计与开发过程

    3)需要新的方法来为汽车开发下一代高性能处理器。

    图7. 开发下一代高性能处理器的新方法

    第一步:技术对比分析

    a、对于基本功能(例如制动和发动机控制),汽车微控制器(µC)是理想的选择;

    b、直接使用CE世界的微处理器(µPs)是没有一点建设性的;

    c、必须采用混合计算架构形式的新方法;

     

    第二步:能量效率混合计算架构

    混合计算架构通过通用处理器(GPP),专用硬件加速器(HWA)和嵌入式现场可编程门阵列(eFPGA)的最佳交互,实现了对所需性能的节能分配。

     

    第三步:软硬件混合设计

    通过软硬件协同设计,可以得到系统级的最优组合;

     

     

    参考资料:

    1. EE architecture as an enabler for connected mobility and automated driving - BMW

     

    展开全文
  • 从上个世纪70年代开始,数据库就成为计算机软件中最重要的“中间件”。有了数据库后,关于数据操作的原语可以从应用代码中分离出来,DBMS(数据库管理系统)承担了数据结构的管理、存取等任务,并维护了数据的可用性...
  • IOTA架构提出背景 大数据3.0时代以前,Lambda数据架构成为大数据公司必备的架构,它解决了大数据离线处理和实时数据处理的需求。典型的Lambda架构如下: Lambda架构的核心思想是: 数据从底层的数据源开始,经过...

    IOTA架构提出背景

    大数据3.0时代以前,Lambda数据架构成为大数据公司必备的架构,它解决了大数据离线处理和实时数据处理的需求。典型的Lambda架构如下:
    Lambda架构
    Lambda架构的核心思想是:
    数据从底层的数据源开始,经过各样的格式进入大数据平台,然后分成两条线进行计算。一条线是进入流式计算平台,去计算实时的一些指标;另一条线进入批量数据处理离线计算平台,去计算T+1的相关业务指标,这些指标需要隔日才能看见。
    Lambda优点是稳定、实时和离线计算高峰错开,但是它有一些致命缺点,其缺点主要有:
    ● 实时与批量计算结果不一致引起的数据口径问题:因为批量和实时计算走的是两个计算框架和计算程序,算出的结果往往不同,经常看到一个数字当天看是一个数据,第二天看昨天的数据反而发生了变化。
    ● 批量计算在计算窗口内无法完成:在IOT时代,数据量级越来越大,经常发现夜间只有4、5个小时的时间窗口,已经无法完成白天20多个小时累计的数据,保证早上上班前准时出数据已成为每个大数据团队头疼的问题。
    ● 数据源变化都要重新开发,开发周期长:每次数据源的格式变化,业务的逻辑变化都需要针对ETL和Streaming做开发修改,整体开发周期很长,业务反应不够迅速。
    ● 服务器存储大:数据仓库的典型设计,会产生大量的中间结果表,造成数据急速膨胀,加大服务器存储压力。

    IOTA架构

    IOT大潮下,智能手机、PC、智能硬件设备的计算能力越来越强,业务要求数据有实时的响应能力,Lambda架构已经不能适应当今大数据分析时代的需求
    IOTA架构
    IOTA架构的核心概念:
    ● Common Data Model:贯穿整体业务始终的数据模型,这个模型是整个业务的核心,要保持SDK、Buffer、历史数据、查询引擎保持一致。对于用户数据分析来讲可以定义为“主-谓-宾”或者“对象-事件”这样的抽象模型来满足各种各样的查询。
    ● Edge SDKs & Edge Servers:这是数据的采集端,不仅仅是过去的简单的SDK,在复杂的计算情况下,会赋予SDK更复杂的计算,在设备端就转化为形成统一的数据模型来进行传送。例如对于智能Wi-Fi采集的数据,从AC端就变为“X用户的MAC 地址-出现- A楼层(2018/4/11 18:00)”这种主-谓-宾结构。对于APP和H5页面来讲,没有计算工作量,只要求埋点格式即可。
    ● Real-Time Data:即实时数据缓存区。这部分是为了达到实时计算的目的,海量数据接收不可能海量实时入历史数据库,会出现建立索引延迟、历史数据碎片文件等问题。因此,有一个实时数据缓存区来存储最近几分钟或者几秒钟的数据。这块可以使用Kudu或HBase等组件来实现。此处的数据模型和SDK端数据模型是保持一致的,都是Common Data Model。
    ● Historical Data:历史数据沉浸区,这部分是保存了大量的历史数据,为了实现Ad-hoc查询,将自动建立相关索引提高整体历史数据查询效率,从而实现秒级复杂查询百亿条数据。例如可以使用HDFS存储历史数据,此处的数据模型依然SDK端数据模型是保持一致的Common Data Model。
    ● Dumper:Dumper的主要工作就是把最近几秒或者几分钟的Realtime Data区的数据,根据汇聚规则、建立索引,存储到历史存储结构Historical Data区中。
    ● Query Engine:查询引擎,提供统一的对外查询接口和协议(例如SQL),把Realtime Data和Historical Data合并到一起查询,从而实现对于数据实时的Ad-hoc查询。例如常见的计算引擎可以使用Presto、Impala、Clickhouse等。
    ● Realtime model feedback:通过Edge computing技术,在边缘端有更多的交互可以做,可以通过在Realtime Data去设定规则来对Edge SDK端进行控制,例如,数据上传的频次降低、语音控制的迅速反馈,某些条件和规则的触发等等。

    整体思路是设定标准数据模型,通过边缘计算技术把所有的计算过程分散在数据产生、计算和查询过程当中,以统一的数据模型贯穿始终,从而提高整体的预算效率,同时满足即时计算的需要,可以使用各种Ad-hoc Query来查询底层数据。

    IOTA整体架构引擎实例

    在这里插入图片描述

    IOTA的特点:

    • 去“ETL”化
    • 高效:时时入库即时分析
    • 稳定:经过易观5.8Pb,5.2亿月活数据锤炼
    • 便捷:支持SQL级别的二次开发和UDAF定义
    • 扩充性强:组件基于Apache开源协议,可支持众多开源存储对接

    IOTA架构 — 数据模型 Common Data Model

    Common Data Model :
    贯穿整体业务始终的核心数据模型,保持SDK、Buffer、历史数据、查询引擎端数据模型一致。
    对于用户行为分析业务来讲:
        可以定义为“主-谓-宾”或者“用户-事件”抽象模型来满足各种各样的查询。
    例如 :
    智能手表:X用户 – 进行了 – 游泳运动
    视频APP: X用户 – 播放 – 影片
    电商网站:X用户 – 购买 – 手机( 2018/12/11 18:00:00 , IP , GPS)”

    IOTA架构 — 数据模型 Common Data Model

    用户-事件模型之事件 (Event)

    事件(Event)

    主要是描述用户做了什么事情,记录用户触发的行为,例如注册、登录、支付事件等等

    事件属性

    更精准的描述用户行为,例如事件发生的位置、方式和内容
    每一条event数据对应用户的一次行为信息, 例如浏览、登录、搜索事件等等。
    在这里插入图片描述
    具体请参考易观方舟文档关于数据模型的说明:https://ark.analysys.cn/docs/integration-data-model.html

    用户-事件模型之用户 (Profile)

    用户这里没有太多要说的,要提醒注意唯一标识这块
    唯一标识

    方舟的事件模型中,数据上报时会有用户这个实体,使用 who 来进行标识,在登录前匿名阶段,who 中会记录一个 匿名 ID ,登录后会记录一个注册 ID。

    1.1 匿名 ID
    匿名 ID 用来在用户主体未登录应用之前标识,当用户打开集成有方舟 SDK 的应用时,SDK 会给其分配一个 UUID 来做为匿名 ID 。
    当然,方舟也提供了给用户主体设置匿名 ID 的方式,比如可以使用设备 ID ( iOS 的 IDFA/IDFV,Web 的 Cookie 等)。

    1.2 注册 ID
    通常是业务数据库里的主键或其它唯一标识,注册 ID 是更加精确的用户 ID,但很多应用不会用注册 ID,或者用户使用一些功能时是在未登录的状态下进行的,此时,就不会有注册 ID。
    另外,在方舟系统中,我们以为用户主体来进行分析,这个用户主体可能是一个人,一个帐号,也可能是一个家电,一辆汽车。具体以什么做为用户主体,要根据用户实际的业务场景来决定。

    1.3 distinct_id
    即使有了who( 注册 ID / 匿名 ID),实际使用中也会存在注册用户匿名访问等情况,所以需要一个唯一标识将用户行为贯穿起来,distinct_id 就是在who 的基础上根据一些规则生成的唯一 ID。

    IOTA架构 — 数据流转过程

    iota数据架构数据流转过程

    IOTA架构 — 数据采集(Ingestion)

    数据采集

    在这里插入图片描述
    数据采集要注意:

    传输加密
    策略控制
    		
    	服务器可以随时更改发发送策略,比如发送频率调整,重试频率
    
    	发送策略优先级: 服务器策略>debug>用户设置>启动、间隔策略
    
    	服务器约束示例 
    

    服务器端返回示意:
    在这里插入图片描述

    IOTA架构 — 数据缓冲区(Real-Time Data)

    Real-Time Data区是数据缓冲区,当从Kafka消费完数据首先落入Buffer区,这样设计主要是因为目前主流存储格式都不支持实时追加(Parquet、ORC)。Buffer区一般采用HBase、Kudu等高性能存储,考虑到成熟度、可控、社区等因素,我们采用HBase。
    在这里插入图片描述

    • HBase的特点:
      – 主键查询速度快
      – Scan性能慢

    • 如何解决Scan性能:-- In-memory
      – Snappy压缩
      – 动态列族
      – 只存一定量的数据
      – Rowkey设计hash
      – hfile数据转换成OrcFile

    IOTA架构 — 历史存储区(Historical data storage)

    当HBase里的数据量达到百万规模时,调度会启动DumpMR(Spark、MR任务)会将HBase数据flush到HDFS中去,因为还要支持数据的实时查询,我们采用R/W表切换方案,即一直写入一张表直到阈值,就写入新表,老表开始转为ORC格式。
    HDFS高效存储:

    	按天分区
    	基于用户ID,事件时间排序
    	冷热分层
    	Orc存储
    	BloomFilter 
    	稀疏索引
    	Snappy压缩
    

    小文件问题:

    	不按事件分区
    	MergerMR定时合并小文件
    

    稀疏索引:
    在这里插入图片描述
    数据有序:
    在这里插入图片描述

    IOTA架构 — 即时查询引擎(Query Engine)

    因为需支持从历史到最近一条数据的即时查询,查询引擎需要同时查HBase缓冲区里和历史存储区的数据,采用View视图的方式进行查询。

    Query Engine基于Presto进行二次开发
    • HBase-Connector定制开发、优化
    • 通过视图View建立热数据与历史数据的联合计算
    • Session,漏斗,留存,智能路径等模型的算法实现
      在这里插入图片描述
      关于olap引擎测评请参考:
      http://geek.analysys.cn/topic/21 开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum)

    IOTA架构 — 调度(EasyScheduler)

    整个数据处理流程都离不开一个组件 – 调度。
    考虑调度易用性、可维护性及方便二次开发等综合原因,我们开发了自己的大数据分布式调度系统EasyScheduler。

    EasyScheduler(易调度) 主要解决数据研发ETL 错综复杂的依赖关系,而不能直观监控任务健康状态等问题。EasyScheduler以DAG流式的方式将Task组装起来,
    可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。
    在这里插入图片描述
    更多关于调度的信息:
    https://blog.csdn.net/oDaiLiDong/article/details/84994247

    IOTA架构 — 优化策略

    在这里插入图片描述

    IOTA架构 — 优化经验

    1、添加布隆过滤器,TPC-DS有50%-80%性能提升

    2、全局 + 局部字典,尽量整型,避免过长字符串,数倍性能提升
    如:事件名称使用id,查询速度提升近1倍

    3、数据缓存Alluxio使用,2~5倍性能提升

    4、SQL优化,耗时sql优化非常重要

    5、Unsafe调用。Presto里开源Slice的使用

    IOTA架构 — 前进方向

    天下武功唯快不破!
    在这里插入图片描述

    1、数据本地化,尽量避免shuffle调用

    2、更合适的索引构建,如bitmap索引

    3、堆外内存的使用,避免GC问题
    在这里插入图片描述

    更多关于IOTA架构的交流请加我微信,加我时请注明公司+职位+IOTA,谢谢:
    在这里插入图片描述

    展开全文
  • 面向广泛的技术和行业,NextArch Foundation 下一代架构基金会将重点关注 CI/CD、云、容器及虚拟化、数据及分析、DevOps、IoT、网络通信及边缘计算、开放硬件、存储、Web和应用开发等技术的演进、应用和商业化,...
  • RISC-V架构开放、灵活、模块化,特别适合AIoT时代场景碎片化、差异化的市场需求,产业界普遍认为它有望成为下一代广泛应用的处理器架构。 开源:平头哥玄铁E902、E906、C906、C910等4款量产处理器IP,还开源了基于...
  • 你是否为下一代大数据架构做好准备? 经过这么多年的发展,已经从大数据1.0的BI/Datawarehouse时代,经过大数据2.0的Web/APP过渡,进入到了IOT的大数据3.0时代,而随之而来的是数据架构的变化。 ▌Lambda架构 ...
  • Arm针对其下一代Armv8.1-M架构推出基于M-Profile Vector Extension (MVE)矢量扩充方案的Arm Helium技术。这一全新技术能够帮助开发者简化软件开发流程,并显着提升未来Cortex-M系列处理器的机器学习能力与信号处理...
  • 云+微服务+新硬件下一代大规模并行数据库架构风格 摘要21世纪数据库技术发展进入了一个百花齐放的新阶段其指导思想仍旧是专业化分工 为每一种数据类型和应用访问类型都有了其针对性的数据库技术本文主要描述其中一个...
  • DataFunSummit2022:大数据计算架构峰会PPT合集(47份)。 Akulaku 智能计算系统及应用 Alluxio 加速下一代大数据业务落地 Alluxio 加速云上深度学习训练 Apache Iceberg 批流一体的实践 Apache Doris 极速1.0...
  • 据媒体报道,NVIDIA下一代主要面向高性能计算、人工智能等Hopper架构,将会采用5nm工艺制程,晶体管多达1400亿个,面积核心达到了900平方毫米,是有史以来最大的GPU。 作为参考,NVIDIA自家旗舰Ampere架构的A100为...
  • 我们相信,这项研究会是一条令人振奋的前进之路,可以进一步探索由 ML 驱动,且适用于跨计算架构设计和协同优化(如编译器、映射和调度)的技术,以发明出能够适用于下一代应用的高效加速器。 致谢 这项研究由 ...
  • 云计算和大数据时代,网络安全边界逐渐瓦解,内外部威胁愈演愈烈,传统的边界安全架构难以应对,零信任安全架构应运而生。 组织机构的网络基础设施日益复杂,安全边界逐渐模糊。数字化转型的时代浪潮推动着信息...
  • 近日在2019网络安全生态峰会上,阿里云智能安全事业部总经理肖力提出,承云之势,云原生安全能力将定义企业下一代安全架构,助力企业打造更可控、更透明、更智能新安全体系。 阿里云智能安全事业部总经理肖力 新...
  • ARM、MIPS、PowerPC 均是基于精简指令集RISC机器处理器的架构 X86是基于复杂指令集的架构,Atom则基于是x86指令集的精简版 ARM架构 ARM架构,过去称作进阶精简指令集机器(Advanced RISC Machine,更早称作:Acorn ...
  • Linux计算环境的三驾马车——新一代安腾2处理器,SGI全局共享内存和NUMAflex计算架构.pdf
  • 从10年前的MapReduce分布式计算开始,几乎每三年就会出现一次新的计算引擎更迭,从开山鼻祖的Hadoop,到后来流式计算的Storm,之后出现了基于内存迭代计算的Spark红极一时,然后到今天Flink又以迅雷不及掩耳之势走入...
  • 在虚拟化、自动化、高性能计算等新的技术趋势,在用户日益增长的新业务与应用需求中,传统的数据中心正在经历一场前所未有的大变革,数据中心内部基础设施的深刻变化在所难免。  H3C基于数据通信领域的长期技术...
  • Facebook在2018年6月...(也有可能是React Native团队感受到了Google Flutter的追赶压力,必须从架构上做出重大革新,未来才有可能和Flutter进行全面的竞争)。从Facebook公布的官方信息来看,这是一次革命性的架...
  • 计算机行业:下一代数据存储技术研究报告(2021年).pdf
  • 附件:Intel下一代处理器架构解析.xmind 1 路线图 1 45nm TOCK: Nehalem2 32nm TICK: Westmere3 32nm TOCK: Sandy Bridge4 22nm TICK: Ivy Bridge5 22nm TOCK: Haswell,功能如下: 1 TSX拓展:细...
  • 下一代微服务架构——Service Mesh

    万次阅读 2017-11-30 16:39:00
    对无服务器计算(例如 Amazon 的 Lambda)的要求直接适用于 Service Mesh 的命名和链接模型,并形成其在云原生生态系统中的角色的自然延伸。 服务标识和访问策略在云原生环境中的作用仍然很新颖,Service Mesh 在...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 69,582
精华内容 27,832
关键字:

下一代计算机架构