精华内容
下载资源
问答
  • 数据交换
    千次阅读
    2020-08-24 21:33:34





    一、数据交换方式



    数据交换方式 :

    ① 电路交换

    ② 报文交换

    ③ 分组交换

    • 数据报方式
    • 虚电路方式




    二、电路交换



    电路交换 过程 :

    ① 建立连接 : 如 呼叫 拨号 ;

    ② 通信 : 通话过程 ;

    ③ 释放连接 : 挂掉电话 ;



    电路交换 优点 :

    ① 通信时延小 : 通信是数据直达的过程 , 中间不会出现任何多余的处理延迟 ; 传输时延 发送时延 很小 ;

    ② 有序传输 : 发送接受都 按照一定的顺序 ;

    ③ 没有冲突 : 独占链路资源 , 数据之间不会产生冲突 ;

    ④ 实时性强 : 链路接通 , 就可以实时通信 ;



    电路交换 缺点 :

    ① 建立连接时间长 : 双方都要等待对方就绪 , 如打电话 , 等待对方接通 ;

    ② 效率低 : 通信双方独占通信线路 , 链路的使用效率低

    ③ 灵活性差 : 如果中途的 交换设备宕机 , 通信双方就无法进行通信 ;

    ④ 没有差错控制能力 : 交换设备不会对数据进行检错纠错 , 只是单纯转发 ;





    三、报文交换



    报文交换 : 发送端 源应用 将信息数据整体发送 , 不管数据有多大 ;


    报文交换 优点 :

    ① 无连接 : 事先不需要建立连接 , 这是与电路交换的主要区别 ;

    ② 动态路径 : 不用规划好路线 , 可以存储转发 , 动态分配线路 , 寻找最佳路径 ;

    ③ 可靠性高 : 如果其中一台交换设备出现问题 , 那么转到另一个交换设备 , 继续向后发送 ;

    ④ 线路使用率高 : 通信双方 不会 全程 占用整条线路 , 而是分时段分别占用一段链路 ;

    ⑤ 多目标服务 : 一个报文 , 可以同时转发给多个接收端 ;



    报文交换 缺点 :

    ① 时延 : 有存储转发时延 , 交换设备收到报文 , 先存储下来 , 等链路空闲了 , 再转发出去 ;

    ② 缓存空间大 : 报文 的大小可能很大 , 网络中的交换设备的缓存 , 要设置的足够大 , 才能缓存下报文数据 ;





    四、分组交换



    分组交换 : 发送数据时 , 以 分组 为单位 ;

    分组 : 将 大数据块 切割成 小数据块 ;


    分组交换 优点 :

    ① 无连接 : 无需建立连接 ;

    ② 存储转发 : 有存储转发 , 动态分配线路 ;

    ③ 可靠性高 : 线路可靠性高 , 分组较小 , 出错几率小 ;

    ④ 利用率高 : 线路利用率高 ;

    ⑤ 存储管理简单 : 分组都是较小的数据 , 相对于报文交换 , 存储管理更简单 ; 报文交换 中 , 交换设备 缓存必须足够大 ;



    分组交换 缺点 :

    ① 时延高 : 有存储转发时延 ;

    ② 额外信息 : 分组有相关分组信息 , 源地址 , 目的地址 , 等额外信息 ;





    五、分组交换、报文交换 对比



    分组交换、报文交换 对比 :

    在这里插入图片描述

    链路速率 : 所有的链路传输速率是 1000 1000 1000 比特 / 秒 ; 源主机 -> 交换设备 , 交换设备 -> 交换设备 , 交换设备 -> 目的主机 , 每个链路的速率都是 1000 比特 / 秒 ;

    报文交换 : 报文长度 10000 10000 10000 比特 ;

    分组交换 : 每个分组 10 10 10 比特 ;

    忽略条件 : 忽略 其它 传播延迟 , 头部开销等问题 ;

    求 从开始发送开始 , 到所有数据传播完毕截止 , 计算传播总时间 ;



    报文交换 :

    • 链路 1 1 1 : 从源主机 发送到 链路上 需要 : 10000 1000 = 10 \cfrac{10000}{1000} = 10 100010000=10 秒 ;
    • 链路 2 2 2 : 从 交换设备 1 1 1 发送到 交换设备 2 2 2 需要 : 10000 1000 = 10 \cfrac{10000}{1000} = 10 100010000=10 秒 ;
    • 链路 3 3 3 : 从交换设备 2 2 2 发送到 目的主机 需要 : 10000 1000 = 10 \cfrac{10000}{1000} = 10 100010000=10 秒 ;
    • 总共花费了 30 秒时间 ;


    分组交换 :

    • 每个分组 大小 10 10 10 比特 , 一个分组发送时延 : 10 1000 = 0.01 \cfrac{10}{1000} = 0.01 100010=0.01 秒 ;
    • 这里只考虑最后一个分组 , 从源主机发送出来 , 到达目的主机的时延 , 即 从 第一个分组开始发送计时, 到最后一个分组传输完毕就是所有分组传输结束 ;
    • 第一个分组开始发送 到 最后一个分组开始发送 的时间 : 10000 1000 = 10 \cfrac{10000}{1000} = 10 100010000=10 秒 ;
    • 最后一个分组 从 交换设备 1 1 1 到 交换设备 2 2 2 用了 0.01 0.01 0.01 秒 ;
    • 最后一个分组 从 交换设备 2 2 2 到 目的主机 用了 0.01 0.01 0.01 秒 ;
    • 分组交换使用的总时间是 10.02 10.02 10.02 秒 ;




    六、电路交换、报文交换、分组交换 对比



    电路交换、报文交换、分组交换 对比 :

    ① 存储转发 : 报文交换 和 分组交换 , 采用 存储转发 ;

    ② 电路交换使用场景 : 传输数据量巨大 , 传送时间远大于呼叫时间 , 此时使用电路交换 , 电路交换的传输时延最小 ;

    ③ 信道利用率 : 报文交换 和 分组交换 的信道利用率 高于 电路交换 ;

    ④ 时延 : 分组交换 > 报文交换 ;

    更多相关内容
  • 数据交换平台系统的设计方案,从事数据采集交换平台类大型系统架构设计时,可参考。
  • 数据交换过程详解

    千次阅读 2020-06-11 08:31:00
    转载本文需注明出处:微信公众号EAWorld,违者必究。前言:本文主要介绍数据交换过程中常用的数据交换方法和方式以及数据交换在新技术下所面对的“挑战”,方便大家深入理解数据交换过程。普元...

    转载本文需注明出处:微信公众号EAWorld,违者必究。

    前言:

    本文主要介绍数据交换过程中常用的数据交换方法和方式以及数据交换在新技术下所面对的“挑战”,方便大家深入理解数据交换过程。普元实施数据交换项目已有多年成功经验,本文也将分享大数据时代数据交换所遇到的问题和应对策略。

    目录:

    1、为什么要进行数据交换

    2、数据交换存在的问题

    3、数据交换面临的挑战

    4、数据交换破解“数据孤岛”

    5、总结

    1.为什么要进行数据交换

    企业大量的IT投资建立了众多的信息系统,但是随着信息系统的增加,各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复劳动。企业急需通过建立底层数据集成平台来联系横贯整个企业的异构系统、应用、数据源等,完成在企业内部的ERP、CRM、SCM、数据库、数据仓库,以及其它重要的内部系统之间无缝的共享和交换数据。

    数据是在流通、应用中创造价值的,这就涉及“数据共享”和“数据交换”。在实施数据交换的过程中,不同的数据内容、数据格式和数据质量千差万别,有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息等棘手问题,严重阻碍了数据在各部门和各应用系统中的流动与共享。因此,对企业内各系统异构底层数据进行有效的整合已成为增强企业商业竞争力的必然选择。

    2.数据交换存在的问题

    企业对数据服务的需求日趋迫切,如何有效的管理数据、高效的提供数据服务是目前企业对所面临的关键挑战。目前集团层面客户信息分散,各子公司之间的客户信息无共享。内部系统获取客户数据来源系统分散,方式多样难以管理,且获取客户数据时效性较低,供数标准不统一,缺乏统一的客户数据服务平台。

    1. 数据平台中数据内容繁多,难以全面掌控。

    通过多年的信息化建设和运营,企业已经建立了完善的业务应用系统,有效的支撑了核心业务的创新和发展,但随着应用系统的增多,数据量和数据应用环境增大,在对这些数据进行使用的过程中逐渐存在不合理、不统一的问题。

    2. 数据平台中数据的流转和逻辑过程复杂,难以追溯数据来源。

    许多企业目前没有统一的数据资产标准,各业务系统中数据质量参差不齐,存在信息孤岛现象,不同部门同一名称数据可能有不同的含义,同一个数据可能又有不同的命名,数据有效交互和共享存在问题。存在部分系统数据更新不及时的问题,核心业务数据无法朔源,数据的准确性和及时性较低,现有报表在建模时几乎每个报表都要重复建模,人为参与工作过多且层次复杂,无法高效的对流程及指标进行精确监控及分析,数据的利用效率和模型重复使用率较低。

    3. 业务部门对数据结构和质量无法管控

    目前数据管控的发展方向和需求是由业务部门提出,但业务人员对公司复杂的系统无法进行全面深入掌握,特别是技术层面。为了使业务部门从数据结构到数据质量上更好的管控,梳理业务系统与数据库结构关系,成为目前急需解决的问题之一。

    3.数据交换面临的挑战

    随着互联网以及大数据等诸多新技术的发展,传统的数据交换面临着许多挑战。

    1. 传统方式一般是以单表数据交换作为单位进行作业开发,随着企业中数据库以及表的增多这种方式的开发效率低下、容易出错。整库数据交换时工作量巨大

    2. 传统方式下开发交换模型只能手工一个一个进行,任务多、易出错。需要一种能够在同一种业务下批量进行开发的模式

    3. 在进行实时数据同步时需要许多额外的操作配合才能完成,过程复杂,对人员技术要求高,

    4. 在进行PB级数据交换时传统交换方式效率较低,需要很长时间才能完成。

    5. 传统的数据交换工具不具备业务化的开发能力,遇到相同的数据交换需求需要重头开发。

    6. 在安全保障上传统的方式是手工编写加密、脱敏的脚本来实现

    7. 进行跨区域数据同步时需要多种技术配合,实现方案复杂。

    4.数据交换破解“数据孤岛”

    4.1 数据标准

    为保证各应用系统中的代码表对同一业务信息定义一致,确保数据消费系统可以根据业务代码辨别数据的确切业务含义,应提供可配置的功能,基于一定的标准对数据供应系统代码进行转换,使数据存储和数据消费系统按照统一标准来理解数据。

    数据交换离不开数据标准,数据未动标准先行是构建优质数据交换的前提。但现实中许多企业没有做好数据标准,导致这些标准是在进行数据交换或数据采集的时候进行,影响了数据的质量。一旦出现数据被篡改、被泄露等安全性问题,轻的影响业务开展,严重的泄露核心机密造成企业重大损失。拷贝的数据难以控制准确性和合规性,拷贝的数据流向哪里也无法控制,是谁拷贝了信息也无法掌控。一旦出现信息泄露,无法追责。

    统一指标数据标准,可以规范业务统计分析语言,帮助企业提升分析应用和监管报送的数据质量,进而提高全行数据质量和数据资产价值。

    4.2 自动采集元数据

    数据交换依托于元数据,数据交换的本质是基于元数据的交换。对半结构化和结构化数据自动采集。

    元数据是关于数据、操纵数据的数据和数据库系统的结构和意义的描述信息,重要目标就是提供数据资源的全面指南。元数据不仅定义了数据交换中的数据模式、来源以及抽取转换规则等,而且整个数据交换系统的运行都应该是基于元数据的,是元数据把数据交换系统中各个松散的组件联系起来,组成了一个有机的整体。

    通过自动化的元数据采集完成部门核心职能的业务梳理及其对应的信息资源梳理,编制部门信息资源目录,摸清信息资源有什么、在哪里,提高信息资源共享程度,建立信息资源共享机制和管理制度。结合企业内部信息系统中的数据现状和企业业务属性、技术属性的要求形成企业数据标准的业务属性和技术属性,制定有效合理的指标数据规范要求。

    4.3 数据交换方式和方法

    4.3.1 不同类型数据交换方式

    新的数据交换平台提供数据、报文文件等多种数据交换服务,能够快速建立跨硬件平台、数据库和操作系统的可交互操作的数据交换与信息共享平台,交换平台提供了一个开放的环境,支持多样的客户机、数据库、网络和通讯协议,通过可视化配置实现与数据库、文件以及web接口的数据交互。使得数据交换与业务逻辑的个性有机结合,快速响应数据集成和外部数据交换的需求。

    数据交换的方式一般是根据数据的类型来进行区分,如结构化或半结构化的数据可通过ETL的数据交换方式进行,非结构化的数据像压缩文件、电影、图片等采用文件传输的方式进行交换,而对于一些实时性较高的交换一般采用接口形式进行。例如:restfull、webservice等。

    结构化数据交换方法

    结构化和半结构化数据交换主要有:时间戳同步、全文比对同步、触发器同步、CDC增量同步、全量同步。

    这里我们对几种做一个比较:

    • 全量同步

    全量抽取一般适用于统计分析或无需进行二次更新的业务需求,通过全量抽取一次或多次将业务系统数据源在不做任何操作的情况下直接抽取过来,全量数据抽取方式虽然较简单、直接、快速。通过系统中的采集组件,无需增加过滤条件,即可对数据库中的全量文件进行一次性采集。全量采集比较适合于数据业务量小的业务需求。这种方式不能增量的进行数据同步,对于大数据量下的同步并不适用。

    • 时间戳同步

    使用这种方式进行增量数据抽取的前提是源数据库与目标数据库都必须有时间戳字段。先读取目标数据库中的最大时间,然后以这个时间作为参数从源数据库中读取大于这个时间的所有数据。

    基于时间戳的方法需要相关应用系统中的每个表中都有一个时间戳字段,以记录每个表的修改时间。这种方法不影响原有应用的运行效率,但如果表中没有时间戳的字段却需要对原有系统做较大的调整,这种方式不能捕获到那些并非通过应用系统引起的操作数据变化。

    优点:处理速度快,数据处理逻辑相对简单。

    缺点:源数据库没有时间戳字段的表需要更改表结构,而且需要源数据库来维护时间戳字段;无法实现数据同步,因为使用时间戳字段无法获取删除后的数据。

    • CDC增量同步

    通过分析数据库日志的信息来捕获复制对象的变化序列。这种方法不仅方便,也不会占用太多额外的系统资源,对任何类型的复制都适合,不但能提高效率和保证数据的完整性,还能在对等式复制时提供详细的控制信息。但由于数据库日志的格式是不公开的,因而不得不基于某一固定的数据库日志分析工具或接口,这给异构数据库复制带来了问题。

    优点:可靠性强,对源系统没有影响。

    缺点:各数据库系统的日志文件绝大部分都是私有的,并且日志格式都不一样,因此捕获这些日志需要有专门有针对性的组件来进行,个别数据库还需要管理员权限进行配合才能实现。对于没有提供日志分析接口的数据源,开发的难度比较大

    • 触发器同步

    在业务数据表中创建相应的触发器,当提取、复制对象进行变更(插入、修改、删除)时,由触发器触发提数程序,将变化写入目标数据库中。这种方案可用于同步复制、增量复制。

    优点:借助数据库本身的机制,可靠性强。

    缺点:对源系统有影响,需要建立触发器以及临时表或临时数据存储文件

    • 全文比对同步

    对前后两个时间点取业务数据表的全量进行数据比对,比对出来有差异的部分就是数据增量的部分。此法可以用于一段时间后进行数据的强制同步,但由于消耗资源较大,因此一般建议用于业务空闲期使用。

    优点:对源系统没有任何影响。

    缺点:面对海量数据(千万级、万万级)进行比对时有一定的性能问题。

    这些同步方式除了全量同步,其他几种都需要业务表有主键。这些同步的方式各有优缺点,在实际使用中应根据企业系统自身实际情况来采取适合的交换方法。网上有许多人推荐使用CDC的方式,CDC这种架构下数据写入主存储后会由主存储再向辅存储进行同步,对应用层是最友好的,只需要与主存储打交道。主存储到辅存储的数据同步,则可以再利用异步队列复制技术来做。不过这种方案对主存储的能力有很高的要求,必须要求主存储能支持CDC技术。另外这种方式在一些数据库中需要有DBA的权限配合才能够完成,所以在进行CDC同步的时候首先就需要考虑数据库的环境是否有条件能够完成CDC的配置。

    触发器、时间戳、全文比对以及方式都能够支持断点续传,所使用的方式各不相同。

    触发器数据同步的过程是先将增量数据同步到临时表中,这个临时表会增加两个字段,一个是所做操作的标识(标识有:insert、update和delete),另一个是自增的列。在进行同步时是查询这张临时表来进行的,再查临时表时会使用自增的列进行排序进行查询,检查寻到的增量数据通过组件到目标库中根据操作标识进行相应的操作,操作完成后如果成功执行则会去临时表把已经同步的增量数据按照自增列的值进行删除。如果这个过程中在向目标同步数据时出现异常,则这张临时表中的数据不会被删除掉。而我们在进行作业触发时一般使用的都是按照频度、计划去定期执行,当前这次同步失败后,在下一次计划触发执行时由于上一次所执行的作业最后并没有将临时表中的作业删除,在这次作业执行时上一次没有同步的数据还在。所以这次执行时就会从断点位置开始再次进行同步。

    时间戳数据同步的过程是首先到目标表去根据时间戳使用数据库中的获取最大值的函数(一般数据库使用MAX函数)来查找时间戳里的最大值,然后使用这个最大值去源表找大于这个值的数据(同时需要根据这个时间戳进行排序),这些查找到的数据就是我们需要同步的增量数据,时间戳这种方式不能区分这些数据是插入还是更新的操作。那么接下来使用的是数据平台提供的插入更新组件,这个组件会在执行操作前先根据主键到数据库中查寻一下数据如果有则执行更新,如果没有则执行插入。这样进行数据同步,如果在执行过程中出现异常那么目标数据库就没有同步这些增量数据。同样我们在进行作业触发时使用的都是按照频度、计划去定期执行,当前这次同步失败后,在下一次计划触发执行时由于上一次所执行的作业没有进入目标表,在这次执行作业时从目标表查找的最大值就没有变化。所以这次执行时就会从断点位置开始再次进行同步。

    全文比对的过程是先从源和目标中将数据按照排序字段先进行排序然后抽取出来,经过比对组件计算得到变化的状态(insert、update和delete),最后根据得到的变化状态将数据同步到目标表。如果在这一过程中发生异常,那么这次同步的数据就没有进入目标表,在下一次计划触发执行时由于上一次所执行的作业没有进入目标表,在这次执行作业时又会重新进行比对得到断点位置又会再次进行数据同步。

    CDC数据同步的执行过程是根据日志记录的偏移来从日志中找出需要同步的增量数据,然后到目标表根据操作标识进行数据同步完成后修改日志记录的偏移,那么作业在执行过程中出现异常时,这个日志的偏移量没有改变。在进行性下一次数据交换时还会从这个偏移量的位置进行,从而实现断点续传。

    非结构化数据交换

    以前的非结构化的数据交换,常常使用网盘或者FTP传输文件时,尤其是大文件,容易出现中断,严重影响工作效率和业务。

    数据交换平台中采用了数字签名、时间戳、报文加密的方式对传输的消息进行完整性验证,防止消息在传输过程中被篡改。通过数据交换平台可以验证消息确实来自于其真正的发送者而非假冒;确保消息的内容没有被修改;防止以插入、删除、调换或修改等方式篡改消息。

    交换平台中的文件传输具有以下特点:

    • 数据包裹传输方式 防止数据被篡改

    采用全新数字包裹数据传输方式,有效防止数据被恶意篡改。

    • 加密传输和存储 保障数据安全性

    提供文件安全交换加密传输和存储。采用私有文件传输协议和SSL安全协议访问。提供文件效期控制,支持文件自动清除销毁。

    • 支持断点续传错误重传 确保数据高效流转

    采用超高速传输协议,支持超大文件和海量文件传输。支持断点续传,错误重传,文件秒传和文件校验。

    下面列举了平台中文件传输中所使用到的技术:

    • 文件校验

    平台采用单向散列算法用于文件的完整性验证,在文件传输之前会使用单向散列算法生成文件唯一摘要信息,在文件传输后会将收到的文件再次使用单向散列算法生成摘要信息和之前的摘要信息进行比较。

    • 断点续传:

    断点续传是在下载或上传时,将下载或上传任务(一个文件或一个压缩包)人为的划分为几个部分,每一个部分采用一个线程进行上传或下载,如果碰到网络故障,可以从已经上传或下载的部分开始继续上传下载未完成的部分,而没有必要从头开始上传下载。用户可以节省时间,提高速度。

    • 压缩传输:

    在文件传输时先将文件进行压缩,然后传送压缩文件到目标,最后进行解压和清除工作,压缩传输能有效减小文件体积节省传输带宽。

    • 文件切片:

    切片传输是将文件进行切片,每一片形成一个传输线程进行传输。采用并行的数据流传输管道,有效地将传输速率最大化。

    4.3.2 实时数据交换

    打破信息壁垒和信息孤岛,实现统一高效、互联互通、安全可靠的数据资源体系,实时数据交换是推动信息跨部门跨层级共享共用数据中心的重要环节。实时数据交换适用于对于数据时效要求快速、高频度、少量数据传输的场景。实时数据交换通过将数据中心库中的数据快速的发布出来提供给外部系统共享调用,同时能够监控外部调用数据的情况提升数据的价值。

    在新的Web服务共享下数据交换平能够自助的、一键式将数据中心库(包括常见的关系型数据库mysql、oracle、sqlserver等,或Hbase、Hive、MongoDB)中的数据通过标准的Web服务发布出来。用户只需要配置发布数据中表和表之间的关系以及发布的字段就能够实现单表、多表或数据实体的发布。发布出的服务带有对输入输出以及调用url的详细描述信息,消费方能够很方便的对这些信息进行查看和订阅。

    服务方能够对订阅的信息进行审批,审批通过后消费方才能根据审批信息,配置服务调用参数调用服务。服务方通过对订阅信息的管理和监控能更好的掌握和发掘数据的价值。

    4.3.3 数据驱动的交换

    变化数据捕获简称CDC,这种方式主要应用于增量数据同步并且实时性要求较高的场景。这种架构下数据写入主存储后会由主存储再向辅存储进行同步,对应用层是最友好的,只需要与主存储打交道。主存储到辅存储的数据同步,则可以再利用异步队列复制技术来做。不过这种方案对主存储的能力有很高的要求,必须要求主存储能支持CDC技术。而目前每种数据库实现CDC的方式和方法各不相同,于是就需要根据数据库类型定制化的进行CDC的开发。

    CDC的数据同步具有低影响、低延迟、高性能等特点。这里以mysql为例采用Canal来说明实现CDC数据同步。canal利用了mysql的slave协议将自己伪装为mysql的一个子服务器,向mysql master发送dump协议mysql master收到dump请求,就会将记录的日志信息给slave(也就是canal),canal解析日志信息获取需要同步的数据,数据交换平台通过Canal组件监听Canal服务获取到变化数据交给之后的增量数据输出组件根据CDC所捕获的操作类型(类型有:insert,update,delete)对目标数据库进行相同的操作来完成数据同步。

    这里Canal通过对日志数据的监听触发。

    4.3.4 指定周期的交换

    数据交换平台作为一个批量数据处理系统,每天都会进行大量的数据处理作业,这些作业之间可能存在复杂的时序关联,因此必须有一个具备一定自动化程度的调度层,来实现作业有序、高效的执行。

    作业在运行前都需要在统一调度系统中注册,注册成功后再由调度系统自身的调度管理根据配置的任务计划决定作业的执行次序进行资源调配。

    调度包含以下内容:

    • 触发方式:在调度管理中定期根据日历、频度进行作业触发。 

    • 作业次序:触发后作业会根据之前设定好的数据性进行作业排序调整作业次序。 

    • 任务计划:任务计划会按照配置好的任务执行周期来进行任务调度。 

    • 资源调配:在执行调度的时候会根据注册的作业服务器的状况进行资源分配执行传输任务。 

    4.3.5 事件驱动的交换

    数据交换平台在与用户的系统进行集成式往往会遇到客户系统需要直接运行交换作业的情况,为此数据交换平台提供了一套基于事件触发的作业运行机制。能够通过文件监听或者http调用来与用户的系统进行集成。

    交换服务能够通过监听文件目录或端口,当目录中有符合作业触发规范的文件时或接口被调用时,对文件中描述的计划按照之前设定好的数据性进行作业排序调整作业次序触发执行,并删除监听到的文件。整个触发执行过程都会进入日志信进行留痕。

    4.4 新方式迎接数据挑战

    4.4.1 批量数据交换

    在进行数据交换时往往遇到的情况是要将整个库中所有的表进行迁移或同步,这些迁移或同步的大体逻辑往往相同,但库中的表非常多,传统的数据交换中是一张源表对一张目标表进行作业任务开发,造成开发人员巨大的工作量,表中的字段和和类型在进行配置时容易出错,效率低下。

    批量数据交换采用作业模板作为业务规格定义,结合资源目录能够通过简单地可视化操作批量数据源,对数据源进行批量的数据交换处理。批量数据交换有以下特性:

    1. 基于作业模板实现业务能力定义

    2. 可批量进行整库的数据交换

    3. 自动控制数据交换中的各种数据转换

    4. 自动进行数据分批次交换传输

    5. 对交换的数据可配置数据脱敏

    通过批量数据交换加强了大数据量的交换能力。配置、部署、运维简单,能够有效提升开发人员的开发效率和质量。

    4.4.2 跨区域数据交换

    跨域的数据交换在实际应用中,每个单位或部门从安全的角度考虑,都会设置前置机和防火墙,以及根据需求双方商定通讯方式编制相应的交换策略。因此,实施难度会加大,实施进度也会拉长。

    以前遇到跨区域数据同步往往是先将数据转换为文件,然后通过p2p文件传输将文件发送到目标节点,最后目标节点拿到文件再将文件通过转换导入到目标数据源中。

    新的模式对下面几个因素都要考虑周全。

    1. 简单。交互的设计要简单,这对调用双方都有好处。

    2. 安全性。如何保证数据在交互过程中出现各种异常的情况下,数据不出错、不丢失。

    3. 性能。在选择的时候,要考虑数据量的大小,以决定一种合适的交换方式(比如:一次调用请求的数据量,请求调用的频率)。

    在新的交换模式下通过对节点的管理和注册,结合了文件传输高效、安全、稳定的特性,在进行跨区域数据同步时只需要配置源和目标的数据库信息按照既定的业务逻辑就能够完成跨节点的数据交换,文件传输的过程自动交由数据交换平台完成,减轻了跨域数据同步的复杂度。

    4.4.3 应对大数据的挑战

    传统 ETL 主要以 SQL 为主要技术手段,把数据经抽取、清洗转换之后加载到数据仓库。但是在如今移动互联网大力发展的场景下,产生大量碎片化和不规则的数据。这中间的数据导入和 SQL ETL 的提取的过程,大量消耗 IO 性能和计算资源,在很多场景下已经是数据处理的瓶颈所在。

    Spark通过在数据处理过程中成本更低的洗牌(Shuffle)方式,将MapReduce提升到一个更高的层次。利用内存数据存储和接近实时的处理能力,Spark比其他的大数据处理技术的性能要快很多倍。

    新的数据交换中我们开发了 FlumeOnYarn 的架构,基于 XML 描述的可编程的函数 ETL 转换方法。这种方式充分利用了Spark对大数据的处理能力,通过XML文件描述源和目标以及中间的转换过程就能够控制Spark对数据进行ETL过程处理,在应对Hadoop、Hive以及Hbase等任务处理时能够充分体现出大数据处理的优势。

    4.5 监控与管理

    4.5.1 监控保证运行的稳定

    交换平台的监控需要获取交换服务器的CPU、内存以及磁盘,在作业运行时首先根据负载算法将收集到的CPU、内存和磁盘信息进行负载运算,判断那台交换服务器的负载较低,将作业分发到负载较低的交换服务器上运行。

    负载均衡解决了单台作业服务器在进行多作业并发时数据ETL过程压力过大的一种多节点负载方案。通过负载均衡将多个作业服务器节点组合,将作业通过负载算法分摊到这些节点上进行ETL过程。使这些作业服务器能以最好的状态对外提供服务,这样系统吞吐量最大,性能更高,对于用户而言处理数据的时间也更小。而且,负载均衡增强了系统的可靠性,最大化降低了单个节点过载、甚至宕机的概率。

    4.5.2 对各个运行环节的监控

    在数据交换过程中,监控管理系统负责监控作业的运行和调度情况,统计交换的过程和数据,形成图形化的报表进行统计的数据展现。能够清晰地体现数据交换过程的各种状态和数据量。

    数据交换平台提供了总揽全局的总体监控和明细型的计划监控以及事件监控;可视化的多维度作业运行监控以及完善的资源监控功能,对作业以及和作业相关的节点进行数据监控和统计。可统计作业交换过程中的调度日志、作业执行日志、历史日志、交换的数据量以及统计数据交换的成功失败次数,可以保证在第一时间发现系统存在的问题,并且及时排除,保证系统的正常运行。

    5.总结

    随着数据交换在企业中越来越受到重视,企业不仅仅局限于只对数据进行简单的交换,更有许多企业通过数据交换打造出了自己的数据中台和数据共享平台,通过对数据的加工、分析和共享提升了数据的价值。创建了在各个业务系统之间的数据高速公路使原先的数据孤岛,变成数据仓库、数据集市有效的对数据进行管理和应用。

    推荐阅读

    数据标准如何驱动企业业务信息数据化

    数据地图关系精细化分析

    数据服务化——打通企业数据应用的最后一公里

    关于作者:光芒,普元项目经理,十多年的IT从业经验,一直专注于企业数据交换和数据管理的工作。曾主持参与了Primeton DI和Primeton ESB的产品研发工作,致力于自服务的数据共享和数据交换研究,在数据治理领域不断探索和研发。

    关于EAWorld:微服务,DevOps,数据治理,移动架构原创技术分享。长按二维码关注!

    课程预告! 6月12日(周五)下午14:30普元Java开发工程师拙言为大家分享《SpringBoot深度实践之自动装配》,敬请期待!

    在看点这里

    展开全文
  • 数据交换平台规范

    2012-06-12 17:17:34
    数据交换平台服务器采用满足J2EE规范的应用服务器实现  数据交换平台包含的数据交换服务使用纯Java接口作为统一的抽象接口描述  数据交换平台包含的数据交换服务可以发布为多种形式,包括:EJB、Servlet、...
  • 目录前言为什么需要进行数据交换?1 电路交换1.1什么是电路交换?过程?1.2 原理与特点1.3 优缺点分析2 报文交换2.1 报文交换的定义、过程2.2 报文交换的原理、优缺点分析3 分组交换3.1 什么是分组交换?3.2 分组...

    书记就

    前言

    为什么需要进行数据交换?

    因为传输线路是大家公用的(节省通信线路,降低费用),所以在传输的时候,需要由交换设备对于数据进行处理,对数据进行集中和传输。
    在这里插入图片描述

    1 电路交换

    1.1什么是电路交换?过程?

    定义:

    电路交换通信网中最早出现的一种交换方式,也是应用最普遍的一种交换方式,主要应用于电话通信网中

    电路交换的时候,整条链路都是你的(独占资源),一直到断开连接。

    在这里插入图片描述

    过程:

    (联想打有线电话的过程~)
    在这里插入图片描述

    1.2 原理与特点

    原理:

    在数据传输期间,源结点与目的结点之间有一条由中间结点构成的专用物理连接线路,在数据传输结束之前,这条线路一直保持

    特点:

    独占资源,用户始终占用端到端的固定传输带宽。适用于远程批处理信息传输或系统间实时性要求高的大量数据传输的情况

    1.3 优缺点分析

    优点缺点
    传输时延小建立连接时间长
    数据顺序传送,无失序问题线路独占
    实时性强灵活性差
    全双工通信,没有冲突无数据存储能力,难以平滑通信量
    适用于模拟信号和数字信号电路交换时,数据直达,不同类型、不同规格、不同速率的终端很难相互进行通信
    控制简单无法发现与纠正传输差错,难以在通信过程中进行差错控制

    2 报文交换

    2.1 报文交换的定义、过程

    报文交换相比于电路交换,线路是大家的,谁想发数据就发~

    报文交换(英文:message switching):
    又称存储转发交换,
    是数据交换的三种方式之一,报文整个地发送,一次一跳。
    报文交换是分组交换的前身,是由莱昂纳多·克莱洛克于1961年提出的。

    在这里插入图片描述

    报文交换的主要特点是:
    存储接收到的报文,判断其目标地址以选择路由,最后,在下一跳路由空闲时,将数据转发给下一跳路由。
    报文交换系统现今都由分组交换或电路交换网络所承载

    2.2 报文交换的原理、优缺点分析

    原理:由存储转发功能;不需要建立专门的链路,线路大家都是公用的,数据传输的是报文,每到一个节点都会暂存报文,等待空闲时传送出去

    优缺点分析:

    优点缺点
    想发就发,无需建立连接实时性差,不适合传送实时或交互式业务的数据
    动态选择最佳路径只适用于数字信号
    提高线路可靠性、利用率每个结点有较大的缓冲区,还有传送时延
    提供多目标服务:一个报文可同时发往多个目的地址\
    存储转发中容易实现代码转换和速率匹配。便于类型、规格和速度不同的计算机之间进行通信\

    3 分组交换

    3.1 什么是分组交换?

    分组交换是将文件拆分成一个个较小的数据包,然后依次发送这些包

    分组交换实质上是在“存储——转发”基础上发展起来的。它兼有电路交换和报文交换的优点。
    分组交换在线路上采用动态复用技术传送按一定长度分割为许多小段的数据——分组,每个分组独立进行传送。到达接受端口,再重新组装为一个完整的数据报文。
    分组交换比电路交换的传输效率高,比报文交换的时延小

    在这里插入图片描述

    3.2 分组交换原理

    分组交换与报文交换的工作方式基本相同,都采用存储转发方式,形式上的主要差别在于,分组交换网中要限制所传输的数据单位的长度,一般选128B

    发送节点首先对从终端设备送来的数据报文进行接收存储,而后将报文划分成一定长度的分组,并以分组为单位进行传输和交换

    接收结点将收到的分组组装成信息或报文

    3.3 分组交换的优缺点分析

    优点解释
    无建立时延无需为通信双方预先建立一条专用通信线路,用户可随时发送分组
    线路利用率高通信双方在不同的时间一段一段地部分占有这条物理通道,多个分组可共享信道
    简化了存储管理因为分组的长度固定,相应的缓冲区的大小也固定,在交换结点中存储器的管理通常被简化为对缓冲区的管理,相对比较容易
    加速传输后一个分组的存储可以和前一个分组的转发并行操作;传输一个分组比一份报文所需缓冲区小减少等待发送时间
    减少出错几率和重发数据量,提高可靠性,减少传输时延\
    分组短小,适用于计算机之间突发式数据通信\
    缺点解释
    仍存在存储转发时延尽管分组交换比报文交换的传输时延少,但仍存在存储转发时延,而且其结点交换机必须具有更强的处理能力
    每个分组都要加控制信息一定程度上降低了通信效率,增加了处理的时间
    采用数据报服务时,可能出现失序、丢失或重复分组,分组到达目的结点时,要对分组按编号进行排序等工作,增加了麻烦\
    采用虚电路服务,虽无失序问题,但有呼叫建立、数据传输和虚电路释放三个过程\

    3.4 三种交换方式的选择

    1.传送数据量大,且传送时间远大于呼叫时,选择电路交换。电路交换传输时延最小

    2.当端到端的通路有很多段的链路组成时采用分组交换传送数据较为合适。

    3从信道利用率上看,报文交换和分组交换优于电路交换,其中分组交换比报文交换的时延小,尤其适合于计算机之间的突发式的数据通信。

    在这里插入图片描述

    4 数据报与虚电路

    4.1 数据报方式流程、特点

    在这里插入图片描述

    第一步:源主机对于报文进行分组,发给节点A (图里只能发给A呀)

    第一步:结点A受到分组之后,发送给相连的其它结点,同时对于每一个分组进行差错检测路由选择

    第三步:结点C受到分组之后,对于分组进行差错检查,确认正确就对A发送确认信息,A收到确认信息,表明发送成功,随即丢弃本地的副本

    【数据报工作方式的特点】:

    1.同一报文的不同分组可以由不同的传输路径通过通信子网;

    2.同一报文的不同分组到达目的结点时可能出现乱序、重复与丢失现象;

    3.每一个分组在传输过程中都必须带有目的地址与源地址

    4.数据报方式报文传输延迟较大,适用于突发性通信,不适用于长报文、会话式通信

    5.数据报为网络层提供无连接服务

    4.2虚电路方式流程、特点

    在这里插入图片描述

    虚电路:结合了电路交换和数据报方式

    在两个节点或应用进程之间建立起一个逻辑上的连接或虚电路后,就可以在两个节点之间依次发送每一个分组,接收端收到分组的顺序必然与发送端的发送顺序一致,因此接收端无须负责在接收分组后重新进行排序。

    虚电路是建立一条逻辑连接,发送方与接收方不需要预先建立连接

    路径上的所有结点,都要维持一张虚电路表
    在这里插入图片描述

    虚电路方式的特点】:

    1虚电路方式为网络层提供连接服务。源节点与目的结点之间建立一条逻辑连接

    2一次通信的所有分组都通过虑电路顺序传送分组不需携带源地址、目的地址等信息包含虚电路号,相对数据报方式开销小,同一报文的不同分组到达目的结点时不会乱序、重复或丢失

    3.分组通过虚电路上的每个节点时,节点只进行差错检测,不需进行路由选择。

    4.每个节点可能与多个节点之间建立多条虚电路,每条虚电路支持特定的两个端系统之间的数据传输,可以对两个数据端点的流量进行控制,两个端系统之间也可以有多条虚电路为不同的进程服务。

    5.致命弱点:所有经过故障结点的虚电路均不能正常工作 |

    4.3 数据报与虚电路的 比较

    对比虚电路数据报
    连接的建立必须有不要
    目的地址仅在建立连接阶段使用,之后每个分组使用长度较短的虚电路号每个分组都有完整的目的地址
    路由选择属于同一条虚电路的分组按照同一路由转发每个分组独立地进行 路由选择和转发
    分组顺序保证分组的有序到达不保证分组的有序到达
    可靠性可靠性由网络保证不保证可靠通信,可靠性由用户主机来保证
    对网络故障的适应性所有经过故障结点的虚电路均不能正常工作出故障的结点丢失分组,其他分组路径选择发生变 化,可正常传输
    差错处理和流量控制可由分组交换网负责,也可由用户主机负责由用户主机进行流量控制,不保证数据报的可靠性
    展开全文
  • 同时提供MQTT发布订阅功能,支持基于websocket的web数据应用,最终形成区别于组 态软件的HMI及MES系统,很好地填补了工业自动化数据到互联网、云IoT架构平台的跨平台数据交换和过渡,为工业大数据平台提供现场基础...
  • 数据交换和共享平台,北京某大型单位的数据中心,实现区和市2级数据共享和交换
  • 数据的共享与交换让交通行业协同效率快速提升。

    近年来,政策环境的持续优化让数据红利在交通行业加速释放,比如:2016年,交通运输部部署了综合交通运输大数据应用中心建设工作,同时也委托交通运输部交科院开展综合交通运输大数据政策标准研究等任务;

    2017年10月,交通运输部认定了5家交通大数据研发中心,2家重点实验室,加大对交通大数据理论研究和技术研发的支持力度。在政策环境方面,交通运输部印发《推进综合交通运输大数据发展行动纲要(2020~2035)》等纲领性文件;

    2019年部级交通运输数据资源共享交换平台建成,且上线运行,全行业数据共享交换框架基本形成。

    以上表明大数据已成为智能交通的重要战略资源,大数据的深度应用不仅有助于智能交通产品精细化,还有利于推动国民经济发展。今天小亿就来为大家从以下几个方面说说交通行业的数据交换与共享:

    1.什么是数据的交换与共享?

    2.交通行业数据交换共享的价值与意义

    3.交通行业交换共享的数据都有哪些?

    4.交通行业如何做好交换共享平台的设计

    一、什么是数据的交换与共享?

    出于各种原因,组织会选择数据交换与共享。例如,内部与内部的数据交换共享,企业与企业之间的数据交换共享,以及政府或企业对个人或服务提供商的数据交换与共享。数据交换共享就是让不同地方使用不同计算机、不同软件的用户能够读取他人数据并进行各种操作运算和分析。

    也就是当数据从一个系统跨授权边界访问或传递到另一个系统时,就需要使用一个或多个协议来指定每个组织的责任、要访问或交换的数据类型和影响界别、如何使用交换数据,以及在交换系统的两端处理、存储或传输数据时如何保证数据安全。

    常见的数据交换/共享场景包括但不限于:在授权用户之间共享数据和信息;提供对数据的自定义访问;合作进行联合项目;提供完整的、短暂的、间歇性的、永久的或临时的数据交换共享活动;通过交换共享减少数据收集工作量和成本;提供在线培训;为关键数据和备份文件提供安全存储。

    二、交通行业数据交换共享的价值与意义

    随着近年来信息化建设的不断深入,各级交通运输业务部门根据自身需求已经建设了相应的信息系统,涉及行业包括公路交通、路网运行、道路运输、水路交通、综合服务管理等

    不过,这些系统的建立只服务于独立的业务部门,且在不同时期完成,缺少统一的管理规划,业务系统各自掌握的数据不能及时有效提供给相关需求单位,影响到了交通运输行业公众服务和政务管理的质量与效率。因此交通行业需要发展对应的高质量高效率交通运输数据资源共享交换体系。

    比如,交通行业数据中心作为整个智慧城市数据中心的交换子节点之一,负责横向疏通运管、公路、港航等部门信息资源交换与共享的渠道,纵向打通与地区智慧城市数据交换平台之间桥梁,实现与其他行业部门之间信息资源的共享和交换,最终汇集形成智慧交通行业数据库群,支撑整个智慧交通各相关系统。

    在应用层面,对于出行者来说,可以提供准确最佳的出行时间,交通路径及交通方式;对城市交通管理者来说,由于能实时获取交通监控数据,能帮助提高管理决策能力。

    三、交通行业的交换共享的数据都有哪些?

    交通行业需要交换与共享的数据有两种,分别是行业间数据和行业内数据。

    1.行业间数据交换

    交通行业间数据交换主要针对的是地区公安局交警大队、建设局、旅游委员会、气象局等跨行业部门单位之间的数据。开发与智慧城市数据交换平台的数据接口,使智慧交通行业数据中心能够共享到公安、旅游、气象等信息资源,同时也能将各类需求数据资源推送至公安局交警大队、建设局、旅游委员会、气象局等跨行业部门。两级交换平台的关系如下图所示:

    2.行业内数据交换

    交通行业内数据交换与共享主要针对的是交通局及其下属各部门之间的数据交换与共享,如公路局、运管局和港航所。通过开发与交通局各个下属部门的数据接口,使智慧交通行业数据中心能够共享到公路局、港航所、运管局的信息资源,同时也能将各类需求数据资源推送至交通局、公路局、运管局和港航所等行业内部门。

    四、交通行业如何做好数据交换共享平台的设计

    数据交换平台是业务应用系统信息共享和数据整合的手段与工具,主要解决因数据库类型、开发运行环境、网络环境各异导致的“信息孤岛”问题,提高数据传输的效率和可靠性。

    与此同时,数据交换平台可以为各级数据中心、各类应用系统的数据交换提供一个统一的、规范化的、方便使用的数据交换系统,主要包括数据交换系统和数据共享系统。

    (1)数据交换系统实现分布式数据库间的数据同步、交换与整合,以及支撑跨区域分散应用间的数据共享;

    (2)数据共享系统能够让各个业务系统之后不再出现网状图的结构,呈现星状结构,连接各类应用和应用所需的信息资源,组织和整合各类数据、组件和服务。

    数据资源交换共享与开发应用平台按数据的流向自下而上分为五层,分别为外部数据资源层数据汇聚层数据融合层服务管理层服务门户层。数据交换共享平台系统架构如图所示。

    △数据交换共享平台系统架构图

    1.外部数据资源层

    外部数据资源层即源数据库,为系统外部数据的来源,其主要包括行业内系统共享数据、行业外系统共享数据及互联网数据。

    2.数据汇聚层

    数据汇聚层主要实现对外部数据源层的数据整合,其主要根据获取数据的特性不同而采用不同的采集方案。对离线批处理数据,实时性要求不高的情况下,采用传统的ETL工具来实现。对数据实时性要求高、采集频度较高的数据(如GPS、传感器、移动终端发送数据等),采用实时数据接入方案。

    3.数据融合层

    数据融合层为工程数据提供持久化存储和访问的场所。通过“一体化数据库+分布式数据库+Hadoop大数据库”的混合架构形成平台的数据融合层。其中核心生产系统结构化数据存储查询等通过一体机数据库提供,实现高并发的数据查询分析能力;非结构化数据通过分布式存储架构的存储节点上部署的数据库提供。

    4.服务管理层

    主要包括目录管理、资源管理、服务管理、交换管理等功能

    目录管理提供目录编制、目录维护、目录变更、目录审核、目录发布等操作功能,能够方便快捷检索到交通行业不同分类信息资源目录情况。

    资源管理部分主要是进行资源注册,根据已编制完成的信息资源目录,在进行了数据接入后进行资源的注册操作,将目录编目时录入的“标准化”信息项与数据接入时的实际信息项建立的匹配信息进行注册以便发布服务使用。

    服务管理提供服务发布,服务启用/停用,服务监控,服务调用日志,统计分析等管理能力,实现服务的全生命周期管理,从开发、测试、发布、调用、注销,到服务监控、安全等的管理。

    交换管理提供资源服务共享申请,交换管理,任务监控等功能,通过接口、数据库、文件等不同方式提供数据服务以满足不同数据需求,对共享任务动态监控告警方便跟踪数据链路的联通性。

    5.服务门户层

    通过服务门户和接口支持,提供标准化服务给应用系统调用,满足各种场景下应用系统对数据的使用和共享交换需求。

    五、交通行业数据共享交换平台建设注意事项

    1.需要有顶层思维

    交通行业数据共享交换项目需要有顶层思维,因为无论从资金上还是规模上都是一个系统性工程,所以前期需要对“为什么建,给谁建,怎么建,怎么用”进行充分研究,结合交通运输部的要求和规范,因地制宜地进行规划与布局。

    2.构建可持续的数据驱动管理的运营环境

    交通行业搭建数据共享交换平台需要考虑可持续发展,而可持续发展需要考虑包括数据源头质量治理、数据安全管理、数据共享管理架构和数据应用模式等。此外,还需要有技术、有能力且有运营经验的团队进行管理。

    3.实现数据深层次的应用

    交通行业的数据共享交换平台不能只追求数据量大,而是要把不同渠道汇聚融合的数据盘活,只有不停地实现数据深层次的应用,挖掘数据背后的关系和价值,才能如滚雪球一般,使数据之间的相互关系更丰富更完善。

    4.做好数据安全管理

    交通行业的数据共享交换过程中,数据安全非常重要,安全不仅仅是存储环境的安全,应该涉及方方面面,涵盖技术安全和管理安全,我们的数据采集、传输,以及数据和系统的管理、对外展示和服务等各个环节都要有安全措施及各种预案。这里亿信华辰数据交换管理平台(EsDataExchange)能帮到你。

    亿信华辰数据交换管理平台可容纳多种多样数据格式,提供丰富数据处理与交换任务设计,提供可视化数据交换监控,满足不同场景下的数据传输交换需求

    例如,四川省运管局综合管理与服务信息平台就是借助亿信华辰数据交换平台搭建,围绕运管局相关业务,建设了一个交换中心,统筹规划厅运管局内部数据的交换共享、厅运管局与部省运政跨省协同业务数据交换共享以及同公安交通违章事故数据、卡口数据、安监事故数据等外部门交换数据。

    最终帮助四川省运管局成功整合了各类道路运输信息资源,构建成为全省统一规划、结构合理、灵活共享的数据中心体系。建立了信息资源目录体系,实现了信息资源注册、发布、分类管理及目录检索、标准管理、共享目录管理等功能。

    六、小结

    国家和交通运输部在“新基建”和“数字交通”建设的相关规划和文件里均提出了加快大数据中心和交通运输“综合大脑”的建设,而其核心就是数据的共享与交换。

    交通行业的数据共享交换是以交通运输管理部门业务应用需求为出发点,以大数据画像为核心,以探究交通问题本质、支撑多交通模式协同应用为目标,最终希望实现海量综合交通数据的共享交换、特征分析和可视化展示,从而能充分挖掘交通数据中的价值。

    从国家层面看,这不仅能够对冲疫情对经济的负面影响,为中国经济转型升级打下坚实基础,从行业发展层面看,这也有主力完善交通行业资源的共享和交换,进而促进交通运输各业务之间的协同,推动数据赋能交通运输行业的快速发展。

    展开全文
  • 计算机网络——数据交换方式

    千次阅读 2021-07-23 00:45:22
    数据交换(Data Switching)是指在多个数据终端设备之间,为任意两个终端设备建立数据通信临时互连通路的过程。通俗来说交换是就通过某些交换中心将数据进行集中和传送,传输线路为各个用户共用,从而大大节省通信...
  • 数据交换方式

    千次阅读 2019-11-02 18:15:27
    为什么要数据交换 第一种 对于每台主机要通信,我们给每个主机都建立线路,那么一共是 n(n-1)/2 条链路 第二种 通过交换设备互联,N 条链路 缺点:如果主机数量大,将会给交换机压力很大,交换机的内部吞吐量...
  • 一、数据交换技术 是什么 数据交换技术是实现网络边缘的主机在大规模网络核心进行数据交换的基础 网络边缘:连接到网络的所有端设备(包含主机) 网络核心:交换节点(如路由器)及传输介质(通信链路)的集合,也称为...
  • 计算机网络三种数据交换方式

    千次阅读 2022-03-18 09:47:56
    三种数据交换方式:电路交换、报文交换、分组交换。 电路交换: 典型应用就是打电话,交换机将两个需要通信的电话申请建立连接(申请占用通道资源)->通话(占用通信资源)->通话后释放连接(释放通信资源)。...
  • 数据交换平台

    万次阅读 2019-05-06 11:36:02
    1.什么是数据交换平台 数据交换平台就是把不同来源、不同特性的数据在逻辑上和物理上有机地集中,从而为企业应用系统提供全面的数据共享。通过数据交换平台解决企业数据一致性和数据可靠传输问题,打破企业信息孤岛...
  • 数据交换 网络核心解决的基本问题:通过数据交换来实现数据从源主机通过网络核心送达目的主机。 为什么需要数据交换?如果两台主机需要通信的话,最直接的方法是使用通信链路连接任意一对主机,这会导致 N2N^2N2 ...
  • 数据交换方式有电路交换、报文交换、分组交换,本文主要学习分组交换。 分组交换(package switching) 分组:报文分拆出来的一系列相对较小的数据包 分组交换需要报文的拆分与重组,会产生额外开销。在发送端对...
  • 文章目录电路交换电路交换的阶段优缺点报文交换分组交换数据报方式的分组交换虚电路方式的分组交换数据报&虚电路 1.报文交换和分组交换都采用存储转发。 2.传送数据量大,且传送时间远大于呼叫时,选择电路交换...
  • 数据交换的三种技术

    千次阅读 2019-09-18 05:30:46
    网络交换技术共经历了四个发展阶段,电路交换技术、报文交换技术、分组交换技术和ATM技术。公众电话网(PSTN网)和移动网(包括GSM网和CDMA网)采用的都是电路交换技术,它的基本特点是采用面向连接的方式,在双方...
  • 常用数据交换格式

    千次阅读 2020-01-03 21:37:32
    什么是数据交换格式?、JSON、XML
  • 内外网数据交换方式有哪些?

    千次阅读 2022-01-13 17:53:33
    传统内外网数据交换遇到的问题: 1、通过网闸进行网间数据摆渡时,没有审批功能,企业很难具体控制哪些文件可以被同步,哪些人有权限进行操作,同步之后的文件应该如何处理等问题,极易造成发送的数据不合规、数据...
  • 数据通信技术基础数据通信的基本概念信息、数据和信号数据通信系统数据通信系统的性能指标数据传输速率(传码速率、传信速率)【例】求传码速率和传信速率信道带宽(模拟信道、数字信道)、误码率【例】求误码率时延...
  • 为什么需要数据交换? 什么是交换? 数据交换的类型 电路交换 报文交换 分组交换 电路交换---资源是独占的 电路交换网络中,每条电路独占其经过的物理链路。(×) 电路交换网络的链路共享? ...
  • 数据交换平台-初步设计

    千次阅读 2018-11-11 22:27:42
    数据交换平台-初步设计V0.1-Bate 初步设计架构图 系统主要分为 数据交换服务(DataCenter)和前置交换系统。 数据交换服务:主要以API接口方式对外提供服务 前置交换系统:主要管理API接口以及系统设置,所有数据...
  • 网络核心主要解决的问题是数据如何从源主机通过网络核心到达目标主机,
  • 常用的数据交换格式

    千次阅读 2018-08-06 14:54:13
    一、什么是数据交换格式 在计算机的不同程序之间,或者不同的编程语言之间进行交换数据,也需要一种大家都能听得懂得‘语言’,这就是数据交换格式,它通过文本以特定的形式来进行描述数据。 二、常用的几种数据...
  • 第一章、数据交换平台的一些基本概念1.1 数据交换与交换平台1.2 什么是物理隔离? 第零章、前言:为什么?做什么?怎么做? 最近带队做了公司的一个项目,叫数据交换平台,旨在物理隔离的情况下对多端业务系统进行...
  • 计算机网络结构与数据交换技术

    万次阅读 热门讨论 2021-03-28 17:24:28
    对于大规模、复杂的网络端系统相距遥远,这些端系统之间的网络连接和通信需要网络核心进行数据中继和转发。通常,网络核心是由运营商等企业运营的ISP网络,不能直接延伸到用户区域,例如:家中,用户就需要借助接入...
  • 什么是数据交换? 在计算机网络中,负责传输数据的是通信子网,通信子网由传输线路和中间的结点组成,当发送方和接收方没有直接相连时,发送方发出的数据先到达与之直接相连的中间结点,然后从中间结点传到下一个...
  • 数据交换技术概述

    千次阅读 2018-07-29 21:49:21
    电路(线路)交换(Circuit Switching) 存储-转发(Store-and-forward) 概述 交换,即是集中和转接。 如果网络分布范围广,用户多,拓扑结构复杂。多个用户间的通信简单地采用点对点来直接连接,显然会导致...
  • 第二步、公共互联网络端将采集数据经网络接口发布至编码处理单元内的双缓冲消息队列缓存处理,对处理后的数据进行编码处理,图像生成单元读取编码后数据生成二维码图像,解码处理单元接收二维码图像进行解码,解码...
  • C++ 四种数据交换的函数

    千次阅读 2018-11-28 18:32:57
    C++ 四种数据交换的函数 //使用异或操作实现原位数据交换 //只对整数有效!! //引用+异或 方法1 void myswap(int &a, int &b){ a = a^b; b = a^b; a = a^b; } //原位...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,065,305
精华内容 426,122
关键字:

数据交换