精华内容
下载资源
问答
  • 数据交换 网络核心解决的基本问题:通过数据交换来实现数据从源主机通过网络核心送达目的主机。 为什么需要数据交换?如果两台主机需要通信的话,最直接的方法是使用通信链路连接任意一对主机,这会导致 N2N^2N2 ...

    数据交换

    网络核心解决的基本问题:通过数据交换来实现数据从源主机通过网络核心送达目的主机。

    为什么需要数据交换?如果两台主机需要通信的话,最直接的方法是使用通信链路连接任意一对主机,这会导致 N 2 N^2 N2 链路问题,在成本和技术方面都是不可行的;如果将每台主机与一台交换设备相连,这样每台主机仅需要一条链路,交换设备可以实现这些主机之间的数据转发,但局限于网络规模及主机间的距离;为了保证连通性并且适应不同的网络规模,于是将交换设备互连在一起形成交换网络,主机与交换网络中的某台交换设备相连,交换网络负责将数据转发至目的主机。
    在这里插入图片描述

    数据交换从技术分类上来看,可以大致分为三大类:电路交换、报文交换、分组交换。

    电路交换

    最典型电路交换网络:电话网络
    在这里插入图片描述

    电路交换的三个阶段:
    (1)建立连接(呼叫、电路建立)
    (2)通信
    (3)释放连接(拆除电路)

    电路交换在通信过程中最显著的特点是资源独占,通信连接通过多路复用技术(Multiplexing)来共享中继线,因此电路交换网络才能够同时进行多路通信。

    多路复用技术

    多路复用(Multiplexing),简称复用,将链路、网络资源(如带宽)划分为“资源片”,将资源片分配给各路通信,每路通信独占其分配到的资源片进行通信。
    也就是说资源独占其实是多路复用技术的特点,电路交换网络由于采用了多路复用技术,所以也具有资源独占的特点。
    在这里插入图片描述

    缺点:由于资源片被独占,当建立的连接不使用该资源传输数据时,这样的资源片被闲置(idle)。

    典型的多路复用技术:频分多路复用、时分多路复用、波分多路复用、码分多路复用。

    频分多路复用 FDM

    频分多路复用(Frequency-division multiplexing,FDM),是指载波带宽被划分为多种不同频带的子信道,每个子信道可以并行传送一路信号的一种多路复用技术(共享时间)
    用户在分配到一定的频带后,在通信过程中始终都占用这个频带,例如下图中四个不同颜色代表四个用户所占用的频带。
    在这里插入图片描述

    时分多路复用 TDM

    时间域被分成周期循环的等长的时分复用帧(TDM 帧),每个用户在每个 TDM 帧中占用固定序号的时隙,每个用户所占用的时隙是周期性出现(其周期就是 TDM 帧的长度)。
    时分多路复用的所有用户是在不同的时间占用相同的频带宽度(共享信道的频率)
    在这里插入图片描述

    波分多路复用 WDM

    波分复用就是光的频分复用,波分复用的实质就是频分复用。

    码分多路复用 CDM

    CDM 与 FDM(频分多路复用)和 TDM(时分多路复用)不同,它划分编码空间,它既共享信道的频率,也共享时间,是一种真正的动态复用技术。码分多路复用广泛应用于无线链路共享,如蜂窝网、卫星通信等。
    每个用户分配一个唯一的 m m m 比特码片序列(chipping sequence),其中 “0” 用 “-1” 表示,“1” 用 “+1” 表示,各用户使用相同频率载波,利用各自码片序列编码数据,编码信号=(原始数据)× (码片序列):

    • 发送比特 1(+1) 时站点就发送码片序列;
    • 发送比特 0(-1) 时就发送码片序列的反码。

    当两个或多个用户同时发送时,各路数据在信道中被线性相加。为了从信道中分离出各路信号,要求各用户的码片序列是相互正交的,即对任意两个用户的码片序列 S i , S j S_i,S_j Si,Sj,应满足:
    1 m S i ⋅ S j = { 1 , i = j 0 , i ≠ j             1 m S i ⋅ S j ‾ = { − 1 , i = j 0 , i ≠ j \frac{1}{m}S_i \cdot S_j = \left\{ \begin{array}{ll} 1, & i=j \\ 0, & i \neq j \end{array} \right. \ \ \ \ \ \ \ \ \ \ \ \frac{1}{m}S_i \cdot \overline{S_j} = \left\{ \begin{array}{ll} -1, & i=j \\ 0, & i \neq j \end{array} \right. m1SiSj={1,0,i=ji=j           m1SiSj={1,0,i=ji=j其中 S j ‾ \overline{S_j} Sj 是码片序列 S j S_j Sj 的反码。

    { d i } \{d_i\} {di} 为发送的原始数据序列,各用户的叠加向量为:
    P = ∑ i = 1 N d i ⋅ S i P=\sum_{i=1}^{N}d_i \cdot S_i P=i=1NdiSi接收用户利用发送用户的码片序列与信道中的叠加向量进行内积运算,就可以得到对应用户发送的数据(解码):
    1 m S i ⋅ P = { 1 , S i ∈ P − 1 S i ‾ ∈ P 0 , S i , S i ‾ ∉ P \frac{1}{m}S_i \cdot P= \left\{ \begin{array}{ll} 1, & S_i \in P \\ -1 & \overline{S_i} \in P \\ 0, & S_i,\overline{S_i} \notin P \end{array} \right. m1SiP=1,10,SiPSiPSi,Si/P举例:
    在这里插入图片描述

    报文交换

    报文指源主机(应用)发送的信息整体,如一个文件,报文整个地发送,一次一跳,报文交换是分组交换的前身

    每一个结点接收整个报文,检查目标结点地址,然后根据网络中的交通情况在适当的时候转发到下一个结点。经过多次的存储——转发,最后到达目标,因而这样的网络叫存储——转发网络。其中的交换结点要有足够大的存储空间(一般是磁盘),用以缓冲收到的长报文
    在这里插入图片描述

    分组交换

    分组:报文分拆出来的一序列相对较小的数据包,在拆分出的原始数据加上头部信息形成一个分组。因此,分组交换需要报文的拆分(源主机处)和重组(目的主机处),也会产生额外开销。

    分组交换采用的是统计多路复用(Statistical Multiplexing)各用户所占用的共享链路带宽并不是事先分配好的,而是采用动态分配带宽的方式:对于分组队列中的每一个分组,都是使用链路的全部带宽进行传输;但从统计角度来说,如果某用户发送的数据多,那么它所占用的共享链路带宽也要多,即按需共享链路
    在这里插入图片描述

    分组交换与报文交换都采用了存储-转发交换方式:

    • 报文交换以完整报文进行“存储-转发”
    • 分组交换以较小的分组进行“存储转发”
    • 分组交换中的交换节点(路由器)大部分时间可以并行地转发分组,而报文交换只能串行转发报文,且分组交换交换节点所需的缓冲空间要小于报文交换,从这点来看,分组交换要优于报文交换。

    分组交换与电路交换

    • 电路交换采用 FDM、TDM 等多路复用技术,而分组交换采用的是统计多路复用。
    • 分组交换允许更多用户同时使用网络,网络资源充分共享,因此分组交换适用于突发数据传输网络。
    • 分组交换无需呼叫建立、拆除,技术相对简单。
    • 分组交换可能产生拥塞:分组延迟和丢失,需要协议处理可靠数据传输和拥塞控制。
    • 电路交换是面向语音实时交互通信提出的,在分组交换网络中实现电路级性能保障还有很多问题需要解决。
    展开全文
  • 数据交换的三种技术

    千次阅读 2019-09-18 05:30:46
    网络交换技术共经历了四个发展阶段,电路交换技术、报文交换技术、分组交换技术和ATM技术。公众电话网(PSTN网)和移动网(包括GSM网和CDMA网)采用的都是电路交换技术,它的基本特点是采用面向连接的方式,在双方...
    1.电路交换技术
    
      网络交换技术共经历了四个发展阶段,电路交换技术、报文交换技术、分组交换技术和ATM技术。公众电话网(PSTN网)和移动网(包括GSM网和CDMA网)采用的都是电路交换技术,它的基本特点是采用面向连接的方式,在双方进行通信之前,需要为通信双方分配一条具有固定带宽的通信电路,通信双方在通信过程中将一直占用所分配的资源,直到通信结束,并且在电路的建立和释放过程中都需要利用相关的信令协议。这种方式的优点是在通信过程中可以保证为用户提供足够的带宽,并且实时性强,时延小,交换设备成本较低,但同时带来的缺点是网络的带宽利用率不高,一旦电路被建立不管通信双方是否处于通话状态,分配的电路都一直被占用。
    
    2.报文交换技术
    
      报文交换技术和分组交换技术类似,也是采用存储转发机制,但报文交换是以报文作为传送单元,由于报文长度差异很大,长报文可能导致很大的时延,并且对每个节点来说缓冲区的分配也比较困难,为了满足各种长度报文的需要并且达到高效的目的,节点需要分配不同大小的缓冲区,否则就有可能造成数据传送的失败。在实际应用中报文交换主要用于传输报文较短、实时性要求较低的通信业务,如公用电报网。报文交换比分组交换出现的要早一些,分组交换是在报文交换的基础上,将报文分割成分组进行传输,在传输时延和传输效率上进行了平衡,从而得到广泛的应用。
    
    3.分组交换技术
    
      电路交换技术主要适用于传送话音相关的业务,这种网络交换方式对于数据业务而言,有着很大的局限性。首先数据通信具有很强的突发性,峰值比特率和平均比特率相差较大,如果采用电路交换技术,若按峰值比特率分配电路带宽则会造成资源的极大浪费,如果按照平均比特率分配带宽,则会造成数据的大量丢失。其次是和语音业务比较起来,数据业务对时延没有严格的要求,但需要进行无差错的传输,而语音信号可以有一定程度的失真但实时性一定要高。分组交换技术就是针对数据通信业务的特点而提出的一种交换方式,它的基本特点是面向无连接而采用存储转发的方式,将需要传送的数据按照一定的长度分割成许多小段数据,并在数据之前增加相应的用于对数据进行选路和校验等功能的头部字段,作为数据传送的基本单元即分组。采用分组交换技术,在通信之前不需要建立连接,每个节点首先将前一节点送来的分组收下并保存在缓冲区中,然后根据分组头部中的地址信息选择适当的链路将其发送至下一个节点,这样在通信过程中可以根据用户的要求和网络的能力来动态分配带宽。分组交换比电路交换的电路利用率高,但时延较大。
    
    分组交换提供的业务
          交换虚电路——指在两个用户之间建立的临时逻辑连接。 永久虚电路——指在两个用户之间建立的永久性的逻辑连接。用户一开机,一条永久虚电路就自动建立起来了。
    
    分组交换网络
    
    数据报网络是一个面向无连接的网络
    
    虚电路网络是一个面向连接的网络为每条连接中的连接维护状态信息.
    
    路、报文、分组交换的特点和比较
    
    (1)电路交换:由于电路交换在通信之前要在通信双方之间建立一条被双方独占的物理通路(由通信双方之间的交换设备和链路逐段连接而成),因而有以下优缺点。
    优点:
    ①由于通信线路为通信双方用户专用,数据直达,所以传输数据的时延非常小。
    ②通信双方之间的物理通路一旦建立,双方可以随时通信,实时性强。
    ③双方通信时按发送顺序传送数据,不存在失序问题。
    ④电路交换既适用于传输模拟信号,也适用于传输数字信号。
    ⑤电路交换的交换的交换设备(交换机等)及控制均较简单。
    缺点:
    ①电路交换的平均连接建立时间对计算机通信来说嫌长。
    ②电路交换连接建立后,物理通路被通信双方独占,即使通信线路空闲,也不能供其他用户使用,因而信道利用低。
    ③电路交换时,数据直达,不同类型、不同规格、不同速率的终端很难相互进行通信,也难以在通信过程中进行差错控制。
    
    (2)报文交换:报文交换是以报文为数据交换的单位,报文携带有目标地址、源地址等信息,在交换结点采用存储转发的传输方式,因而有以下优缺点:
    优点:
    ①报文交换不需要为通信双方预先建立一条专用的通信线路,不存在连接建立时延,用户可随时发送报文。
    ②由于采用存储转发的传输方式,使之具有下列优点:a.在报文交换中便于设置代码检验和数据重发设施,加之交换结点还具有路径选择,就可以做到某条传输路径发生故障时,重新选择另一条路径传输数据,提高了传输的可靠性;b.在存储转发中容易实现代码转换和速率匹配,甚至收发双方可以不同时处于可用状态。这样就便于类型、规格和速度不同的计算机之间进行通信;c.提供多目标服务,即一个报文可以同时发送到多个目的地址,这在电路交换中是很难实现的;d.允许建立数据传输的优先级,使优先级高的报文优先转换。
    ③通信双方不是固定占有一条通信线路,而是在不同的时间一段一段地部分占有这条物理通路,因而大大提高了通信线路的利用率。
    缺点:
    ①由于数据进入交换结点后要经历存储、转发这一过程,从而引起转发时延(包括接收报文、检验正确性、排队、发送时间等),而且网络的通信量愈大,造成的时延就愈大,因此报文交换的实时性差,不适合传送实时或交互式业务的数据。
    ②报文交换只适用于数字信号。
    ③由于报文长度没有限制,而每个中间结点都要完整地接收传来的整个报文,当输出线路不空闲时,还可能要存储几个完整报文等待转发,要求网络中每个结点有较大的缓冲区。为了降低成本,减少结点的缓冲存储器的容量,有时要把等待转发的报文存在磁盘上,进一步增加了传送时延。
    
    (3)分组交换:分组交换仍采用存储转发传输方式,但将一个长报文先分割为若干个较短的分组,然后把这些分组(携带源、目的地址和编号信息)逐个地发送出去,因此分组交换除了具有报文的优点外,与报文交换相比有以下优缺点:
    优点:
    ①加速了数据在网络中的传输。因为分组是逐个传输,可以使后一个分组的存储操作与前一个分组的转发操作并行,这种流水线式传输方式减少了报文的传输时间。此外,传输一个分组所需的缓冲区比传输一份报文所需的缓冲区小得多,这样因缓冲区不足而等待发送的机率及等待的时间也必然少得多。
    ②简化了存储管理。因为分组的长度固定,相应的缓冲区的大小也固定,在交换结点中存储器的管理通常被简化为对缓冲区的管理,相对比较容易。
    ③减少了出错机率和重发数据量。因为分组较短,其出错机率必然减少,每次重发的数据量也就大大减少,这样不仅提高了可靠性,也减少了传输时延。
    ④由于分组短小,更适用于采用优先级策略,便于及时传送一些紧急数据,因此对于计算机之间的突发式的数据通信,分组交换显然更为合适些。
    缺点:
    ①尽管分组交换比报文交换的传输时延少,但仍存在存储转发时延,而且其结点交换机必须具有更强的处理能力。
    ②分组交换与报文交换一样,每个分组都要加上源、目的地址和分组编号等信息,使传送的信息量大约增大5%~10%,一定程度上降低了通信效率,增加了处理的时间,使控制复杂,时延增加。
    ③当分组交换采用数据报服务时,可能出现失序、丢失或重复分组,分组到达目的结点时,要对分组按编号进行排序等工作,增加了麻烦。若采用虚电路服务,虽无失序问题,但有呼叫建立、数据传输和虚电路释放三个过程。
    总之,若要传送的数据量很大,且其传送时间远大于呼叫时间,则采用电路交换较为合适;当端到端的通路有很多段的链路组成时,采用分组交换传送数据较为合适。从提高整个网络的信道利用率上看,报文交换和分组交换优于电路交换,其中分组交换比报文交换的时延小,尤其适合于计算机之间的突发式的数据通信。

    转载于:https://my.oschina.net/stayStand/blog/615864

    展开全文
  • 空间数据共享与交换技术现状

    千次阅读 2013-10-16 16:07:13
     空间数据主要可以分为两大类:GIS数据和CAD制图数据。   GIS数据的现行主要数据格式包括:   (1)ArcGIS平台(美国ESRI公司)的SHP、Coverage、E00格式;   (2)MapInfo平台(美国MapInfo公司)的MIF、...

    来源:北京市信息资源管理中心

    1. 空间数据格式及相互转换 

      1.1现行主要数据格式 

      空间数据主要可以分为两大类:GIS数据和CAD制图数据。 

      GIS数据的现行主要数据格式包括: 

      (1)ArcGIS平台(美国ESRI公司)的SHP、Coverage、E00格式; 

      (2)MapInfo平台(美国MapInfo公司)的MIF、Tab格式; 

      (3)国产GIS平台MapGIS、SuperMap的内部支持数据格式; 

      (4)中国的国家标准:空间数据交换格式(VCT)。 

      其中,只有Coverage格式文件包含空间拓扑关系,而SHP和MIF分别是ESRI公司和MapInfo公司的外部交换格式。 

      CAD制图数据的现行主要数据格式包括: 

      (1)美国Autodesk公司的DWG、DXF格式; 

      (2)美国Bentley公司Microstation平台DGN格式。 

      目前,美国ESRI公司的SHP、Coverage格式已经成为业界默认的数据格式标准。 

      1.2空间数据库引擎 

      空间数据引擎技术提供了海量的、连续的空间数据组织方式,实现了真正的空间数据和属性数据一体化,可以存储于Oracle等多种数据库系统,实现GIS与数据库一体化集成。目前,空间数据引擎的主要产品包括: 

      (1)美国ESRI公司ArcSDE; 

      (2)美国 Oracle公司的Oracle Spatial; 

      (3)美国 Mapinfo公司的Mapinfo SpatialWare; 

      (4)中国超图公司的SuperMap SDX。 

      1.3数据转换 

      (1)国外软件平台之间基本能相互转换。 

      (2)国外软件与国内软件之间,只能由国内软件导入、导出国外软件所支持的数据格式,国外软件基本上不支持国内软件数据格式的导入导出。 

      (3)空间数据包括几何对象数据和空间拓扑数据两个层次。支持空间拓扑的数据格式转到不支持空间拓扑的数据格式时,会丢失空间拓扑关系。DWG、DXF、DGN等制图系统数据格式与GIS系统数据格式所参照的对象模式不一致,因而两者之间的相互转换中信息丢失严重,且自动化程度很低,需要大量人工干预。 

      (4)空间数据库与空间数据文件之间,只能通过空间数据库引擎,进行空间数据库与不同数据格式间的转入转出,不同产品支持的格式范围有所差异,目前ArcSDE支持的格式最为广泛。 

    2.   空间坐标系及相互转换 

      2.1现有空间坐标系 

      现有主要坐标体系包括全球坐标系、国家坐标坐标系和地方坐标系统三类。 

      (1)全球坐标系(WGS-84坐标系) 

      WGS-84坐标系WGS-84坐标系是美国国防部研制确定的大地坐标系,是一种协议地球坐标系,采用的是地心坐标系。 

      WGS-84坐标系的定义是:原点是地球的质心,空间直角坐标系的Z轴指向BIH(1984.0)定义的地极(CTP)方向,即国际协议原点CIO,它由IAU和IUGG共同推荐。X轴指向BIH定义的零度子午面和CTP赤道的交点,Y轴和Z,X轴构成右手坐标系。WGS-84椭球采用国际大地测量与地球物理联合会第17届大会测量常数推荐值,采用的两个常用基本几何参数:长半轴a=6378137m;扁率f=1:298.257223563。 

      该坐标系与投影无关,直接记录经纬度,常用于GPS应用系统。 

      (2)国家坐标系 

      国家坐标系包括北京54和西安80两种坐标系。 

      北京54坐标系是指1954年我国在北京设立了大地坐标原点,采用克拉索夫斯基椭球体,依此计算出来的各大地控制点坐标的大地坐标系,其实质上是由原苏联普尔科沃为原点的1942年坐标系的延伸。 

      西安80坐标系是采用国际地理联合会(IGU)第十六届大会推荐的椭球参数,大地坐标原点在陕西省泾和县永乐镇的大地坐标系,又称西安坐标系 

      (3)地方坐标系 

      地方坐标系是指各地根据测量工作的需要,自行设计的坐标系。如北京有北京地方坐标系,上海有上海地方坐标系。 

      上述三类坐标系统之间的差异主要体现在参考的地球椭球体、坐标原点和基准方向不一样。 

      2.2坐标系转换 

      由于WGS-84、北京54、西安80坐标系统的参数是公开的,因此在各大GIS软件平台上可以进行相互之间的自动转换。而各地地方坐标系与WGS-84、北京54、西安80坐标系统之间的转换,需要各地公开各自坐标系统的参数(为绝密信息),且基本上不能进行自动转换,需要编程实现。 

      目前,针对地方坐标与WGS-84、北京54、西安80坐标系统之间的转换存在的问题,国家测绘总局正在力推CGS 2000坐标系统,希望借此从根本上解决不同坐标系之间的转换问题。可以说,CGS 2000与WGS 84相类似,是中国版的WGS-84。 

    3. GIS平台之间的数据共享与交换 

      3.1现有GIS系统主要的体系架构 

      现有GIS系统主要体系结构可以分为桌面GIS、WebGIS、空间数据库三个层面。桌面GIS主要完成数据编辑、展示与分析;WebGIS支持浏览器在网络上实现GIS操作;空间数据库实现空间数据的数据库存取、检索、版本控制和并发处理。 

      3.2 数据的共享与交换方式 

      GIS平台之间的数据交换包括同构平台之间和异构平台之间这两种数据交换方式。同构平台之间的数据交换和共享方式主要包括数据文件交换、分布式数据库访问和应用功能的集成调度(需少量二次开发)这三种方式。异构平台之间的数据交换方式主要包括:

    1.2 数据的共享与交换方式 

      GIS平台之间的数据交换包括同构平台之间和异构平台之间这两种数据交换方式。同构平台之间的数据交换和共享方式主要包括数据文件交换、分布式数据库访问和应用功能的集成调度(需少量二次开发)这三种方式。异构平台之间的数据交换方式主要包括: 

      (1)异构数据文件的转换交换 

      异构数据文件转换模式需要将数据统一起来,违背了数据分布和独立性的原则,所有的数据仍需要经过格式转换复制到系统中,不能自动同步更新;如果数据来源是多个代理或企业单位,还需要考虑所有权的转让等问题。 

      (2)直接数据访问(共享文件或者数据库) 

      直接数据访问是指在一个GIS软件中实现对其他软件数据格式的直接访问,用户可以使用单个GIS软件存取多种数据格式。直接数据访问不仅避免了繁的数据转换,而且在一个GIS软件中访问某种软件的数据格式不要求用户拥有该数据格式的宿主软件,更不需要该软件运行,是一种更为经济实用的多源数据集成共享模式。 

      目前使用直接数据访问模式实现多源数据集成的GIS软件主要有两个,即:Intergraph 推出的GeoMedia系列软件和国产SuperMap。GeoMedia实现了对大多数GIS/CAD软件数据格式的直接访问,包括:MGE、Arc/Info、Frame、Oracle Spatial、SQL Server、Access MDB等。SuperMap提供的直接访问数据引擎包括:SDB文件引擎、SDX系列空间数据库引擎、MDB引擎、DGN引擎、DWG引擎、SDE引擎等。 

      (3)遵循OGC 组织的数据互操作统一规范 

      OGC规范基于OMG的CORBA、Microsoft的OLE/COM以及SQL等,为实现不同平台间服务器和客户端之间数据请求和服务提供了统一的协议,为数据互操作制定了统一的规范,从而使得一个系统同时支持不同的空间数据格式成为可能。OGC规范正得到OMG和ISO的承认,从而逐渐成为一种国际标准,将被越来越多的GIS软件以及研究者所接受和采纳。但是OGC标准更多考虑到采用了OpenGIS协议的空间数据服务软件和空间数据客户软件,对于那些历史存在的大量非OpenGIS标准的空间数据格式的处理办法还缺乏标准的规范。而从目前来看,非OpenGIS标准的空间数据格式仍然占据已有数据的主体。 

      数据互操作规范为多源数据集成提供了新的模式,但该模式在应用中存在一定局限性:首先,为真正实现各种格式数据之间的互操作,需要每个每种格式的宿主软件都按照统一的规范实现数据访问接口,在一定时期内还不现实;其次,一个软件访问其他软件的数据格式时是通过数据服务器实现的,这个数据服务器实际上就是被访问数据格式的宿主软件,也就是说,用户必须同时拥有这两个GIS软件,并且同时运行,才能完成数据互操作过程。 

      目前,商业化GIS软件支持这一规范的并不多。 ESRI的产品支持OGC的 WMS、WFS接口规范的动态调用。 

      (4)各系统以SOA架构,开放SOAP协议的服务接口,并在UDDI中心注册发布,支持应用服务的集成调度。 

      1.3 数据共享现状 

      对于电子地图和遥感(栅格)数据等空间数据在异构平台之间可以采用上述文件共享交换、直接数据访问和动态服务集成调度等方式实现共享,这几种方式在技术上都具有可实现性和可操作性。 

      目前,在系统建设中,往往采用预留接口与前置共享数据库相结合的方式进行数据交换和共享。但一般都首选前置共享数据库方式;而对老系统和前置共享数据库有困难的系统,则往往采用预留接口的方式。

    展开全文
  • 数据交换过程详解

    千次阅读 2020-06-11 08:31:00
    转载本文需注明出处:微信公众号EAWorld,违者必究。前言:本文主要介绍数据交换过程中常用数据交换方法和方式以及数据交换在新技术下所面对的“挑战”,方便大家深入理解数据交换过程。普元...

    转载本文需注明出处:微信公众号EAWorld,违者必究。

    前言:

    本文主要介绍数据交换过程中常用的数据交换方法和方式以及数据交换在新技术下所面对的“挑战”,方便大家深入理解数据交换过程。普元实施数据交换项目已有多年成功经验,本文也将分享大数据时代数据交换所遇到的问题和应对策略。

    目录:

    1、为什么要进行数据交换

    2、数据交换存在的问题

    3、数据交换面临的挑战

    4、数据交换破解“数据孤岛”

    5、总结

    1.为什么要进行数据交换

    企业大量的IT投资建立了众多的信息系统,但是随着信息系统的增加,各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复劳动。企业急需通过建立底层数据集成平台来联系横贯整个企业的异构系统、应用、数据源等,完成在企业内部的ERP、CRM、SCM、数据库、数据仓库,以及其它重要的内部系统之间无缝的共享和交换数据。

    数据是在流通、应用中创造价值的,这就涉及“数据共享”和“数据交换”。在实施数据交换的过程中,不同的数据内容、数据格式和数据质量千差万别,有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息等棘手问题,严重阻碍了数据在各部门和各应用系统中的流动与共享。因此,对企业内各系统异构底层数据进行有效的整合已成为增强企业商业竞争力的必然选择。

    2.数据交换存在的问题

    企业对数据服务的需求日趋迫切,如何有效的管理数据、高效的提供数据服务是目前企业对所面临的关键挑战。目前集团层面客户信息分散,各子公司之间的客户信息无共享。内部系统获取客户数据来源系统分散,方式多样难以管理,且获取客户数据时效性较低,供数标准不统一,缺乏统一的客户数据服务平台。

    1. 数据平台中数据内容繁多,难以全面掌控。

    通过多年的信息化建设和运营,企业已经建立了完善的业务应用系统,有效的支撑了核心业务的创新和发展,但随着应用系统的增多,数据量和数据应用环境增大,在对这些数据进行使用的过程中逐渐存在不合理、不统一的问题。

    2. 数据平台中数据的流转和逻辑过程复杂,难以追溯数据来源。

    许多企业目前没有统一的数据资产标准,各业务系统中数据质量参差不齐,存在信息孤岛现象,不同部门同一名称数据可能有不同的含义,同一个数据可能又有不同的命名,数据有效交互和共享存在问题。存在部分系统数据更新不及时的问题,核心业务数据无法朔源,数据的准确性和及时性较低,现有报表在建模时几乎每个报表都要重复建模,人为参与工作过多且层次复杂,无法高效的对流程及指标进行精确监控及分析,数据的利用效率和模型重复使用率较低。

    3. 业务部门对数据结构和质量无法管控

    目前数据管控的发展方向和需求是由业务部门提出,但业务人员对公司复杂的系统无法进行全面深入掌握,特别是技术层面。为了使业务部门从数据结构到数据质量上更好的管控,梳理业务系统与数据库结构关系,成为目前急需解决的问题之一。

    3.数据交换面临的挑战

    随着互联网以及大数据等诸多新技术的发展,传统的数据交换面临着许多挑战。

    1. 传统方式一般是以单表数据交换作为单位进行作业开发,随着企业中数据库以及表的增多这种方式的开发效率低下、容易出错。整库数据交换时工作量巨大

    2. 传统方式下开发交换模型只能手工一个一个进行,任务多、易出错。需要一种能够在同一种业务下批量进行开发的模式

    3. 在进行实时数据同步时需要许多额外的操作配合才能完成,过程复杂,对人员技术要求高,

    4. 在进行PB级数据交换时传统交换方式效率较低,需要很长时间才能完成。

    5. 传统的数据交换工具不具备业务化的开发能力,遇到相同的数据交换需求需要重头开发。

    6. 在安全保障上传统的方式是手工编写加密、脱敏的脚本来实现

    7. 进行跨区域数据同步时需要多种技术配合,实现方案复杂。

    4.数据交换破解“数据孤岛”

    4.1 数据标准

    为保证各应用系统中的代码表对同一业务信息定义一致,确保数据消费系统可以根据业务代码辨别数据的确切业务含义,应提供可配置的功能,基于一定的标准对数据供应系统代码进行转换,使数据存储和数据消费系统按照统一标准来理解数据。

    数据交换离不开数据标准,数据未动标准先行是构建优质数据交换的前提。但现实中许多企业没有做好数据标准,导致这些标准是在进行数据交换或数据采集的时候进行,影响了数据的质量。一旦出现数据被篡改、被泄露等安全性问题,轻的影响业务开展,严重的泄露核心机密造成企业重大损失。拷贝的数据难以控制准确性和合规性,拷贝的数据流向哪里也无法控制,是谁拷贝了信息也无法掌控。一旦出现信息泄露,无法追责。

    统一指标数据标准,可以规范业务统计分析语言,帮助企业提升分析应用和监管报送的数据质量,进而提高全行数据质量和数据资产价值。

    4.2 自动采集元数据

    数据交换依托于元数据,数据交换的本质是基于元数据的交换。对半结构化和结构化数据自动采集。

    元数据是关于数据、操纵数据的数据和数据库系统的结构和意义的描述信息,重要目标就是提供数据资源的全面指南。元数据不仅定义了数据交换中的数据模式、来源以及抽取转换规则等,而且整个数据交换系统的运行都应该是基于元数据的,是元数据把数据交换系统中各个松散的组件联系起来,组成了一个有机的整体。

    通过自动化的元数据采集完成部门核心职能的业务梳理及其对应的信息资源梳理,编制部门信息资源目录,摸清信息资源有什么、在哪里,提高信息资源共享程度,建立信息资源共享机制和管理制度。结合企业内部信息系统中的数据现状和企业业务属性、技术属性的要求形成企业数据标准的业务属性和技术属性,制定有效合理的指标数据规范要求。

    4.3 数据交换方式和方法

    4.3.1 不同类型数据交换方式

    新的数据交换平台提供数据、报文文件等多种数据交换服务,能够快速建立跨硬件平台、数据库和操作系统的可交互操作的数据交换与信息共享平台,交换平台提供了一个开放的环境,支持多样的客户机、数据库、网络和通讯协议,通过可视化配置实现与数据库、文件以及web接口的数据交互。使得数据交换与业务逻辑的个性有机结合,快速响应数据集成和外部数据交换的需求。

    数据交换的方式一般是根据数据的类型来进行区分,如结构化或半结构化的数据可通过ETL的数据交换方式进行,非结构化的数据像压缩文件、电影、图片等采用文件传输的方式进行交换,而对于一些实时性较高的交换一般采用接口形式进行。例如:restfull、webservice等。

    结构化数据交换方法

    结构化和半结构化数据交换主要有:时间戳同步、全文比对同步、触发器同步、CDC增量同步、全量同步。

    这里我们对几种做一个比较:

    • 全量同步

    全量抽取一般适用于统计分析或无需进行二次更新的业务需求,通过全量抽取一次或多次将业务系统数据源在不做任何操作的情况下直接抽取过来,全量数据抽取方式虽然较简单、直接、快速。通过系统中的采集组件,无需增加过滤条件,即可对数据库中的全量文件进行一次性采集。全量采集比较适合于数据业务量小的业务需求。这种方式不能增量的进行数据同步,对于大数据量下的同步并不适用。

    • 时间戳同步

    使用这种方式进行增量数据抽取的前提是源数据库与目标数据库都必须有时间戳字段。先读取目标数据库中的最大时间,然后以这个时间作为参数从源数据库中读取大于这个时间的所有数据。

    基于时间戳的方法需要相关应用系统中的每个表中都有一个时间戳字段,以记录每个表的修改时间。这种方法不影响原有应用的运行效率,但如果表中没有时间戳的字段却需要对原有系统做较大的调整,这种方式不能捕获到那些并非通过应用系统引起的操作数据变化。

    优点:处理速度快,数据处理逻辑相对简单。

    缺点:源数据库没有时间戳字段的表需要更改表结构,而且需要源数据库来维护时间戳字段;无法实现数据同步,因为使用时间戳字段无法获取删除后的数据。

    • CDC增量同步

    通过分析数据库日志的信息来捕获复制对象的变化序列。这种方法不仅方便,也不会占用太多额外的系统资源,对任何类型的复制都适合,不但能提高效率和保证数据的完整性,还能在对等式复制时提供详细的控制信息。但由于数据库日志的格式是不公开的,因而不得不基于某一固定的数据库日志分析工具或接口,这给异构数据库复制带来了问题。

    优点:可靠性强,对源系统没有影响。

    缺点:各数据库系统的日志文件绝大部分都是私有的,并且日志格式都不一样,因此捕获这些日志需要有专门有针对性的组件来进行,个别数据库还需要管理员权限进行配合才能实现。对于没有提供日志分析接口的数据源,开发的难度比较大

    • 触发器同步

    在业务数据表中创建相应的触发器,当提取、复制对象进行变更(插入、修改、删除)时,由触发器触发提数程序,将变化写入目标数据库中。这种方案可用于同步复制、增量复制。

    优点:借助数据库本身的机制,可靠性强。

    缺点:对源系统有影响,需要建立触发器以及临时表或临时数据存储文件

    • 全文比对同步

    对前后两个时间点取业务数据表的全量进行数据比对,比对出来有差异的部分就是数据增量的部分。此法可以用于一段时间后进行数据的强制同步,但由于消耗资源较大,因此一般建议用于业务空闲期使用。

    优点:对源系统没有任何影响。

    缺点:面对海量数据(千万级、万万级)进行比对时有一定的性能问题。

    这些同步方式除了全量同步,其他几种都需要业务表有主键。这些同步的方式各有优缺点,在实际使用中应根据企业系统自身实际情况来采取适合的交换方法。网上有许多人推荐使用CDC的方式,CDC这种架构下数据写入主存储后会由主存储再向辅存储进行同步,对应用层是最友好的,只需要与主存储打交道。主存储到辅存储的数据同步,则可以再利用异步队列复制技术来做。不过这种方案对主存储的能力有很高的要求,必须要求主存储能支持CDC技术。另外这种方式在一些数据库中需要有DBA的权限配合才能够完成,所以在进行CDC同步的时候首先就需要考虑数据库的环境是否有条件能够完成CDC的配置。

    触发器、时间戳、全文比对以及方式都能够支持断点续传,所使用的方式各不相同。

    触发器数据同步的过程是先将增量数据同步到临时表中,这个临时表会增加两个字段,一个是所做操作的标识(标识有:insert、update和delete),另一个是自增的列。在进行同步时是查询这张临时表来进行的,再查临时表时会使用自增的列进行排序进行查询,检查寻到的增量数据通过组件到目标库中根据操作标识进行相应的操作,操作完成后如果成功执行则会去临时表把已经同步的增量数据按照自增列的值进行删除。如果这个过程中在向目标同步数据时出现异常,则这张临时表中的数据不会被删除掉。而我们在进行作业触发时一般使用的都是按照频度、计划去定期执行,当前这次同步失败后,在下一次计划触发执行时由于上一次所执行的作业最后并没有将临时表中的作业删除,在这次作业执行时上一次没有同步的数据还在。所以这次执行时就会从断点位置开始再次进行同步。

    时间戳数据同步的过程是首先到目标表去根据时间戳使用数据库中的获取最大值的函数(一般数据库使用MAX函数)来查找时间戳里的最大值,然后使用这个最大值去源表找大于这个值的数据(同时需要根据这个时间戳进行排序),这些查找到的数据就是我们需要同步的增量数据,时间戳这种方式不能区分这些数据是插入还是更新的操作。那么接下来使用的是数据平台提供的插入更新组件,这个组件会在执行操作前先根据主键到数据库中查寻一下数据如果有则执行更新,如果没有则执行插入。这样进行数据同步,如果在执行过程中出现异常那么目标数据库就没有同步这些增量数据。同样我们在进行作业触发时使用的都是按照频度、计划去定期执行,当前这次同步失败后,在下一次计划触发执行时由于上一次所执行的作业没有进入目标表,在这次执行作业时从目标表查找的最大值就没有变化。所以这次执行时就会从断点位置开始再次进行同步。

    全文比对的过程是先从源和目标中将数据按照排序字段先进行排序然后抽取出来,经过比对组件计算得到变化的状态(insert、update和delete),最后根据得到的变化状态将数据同步到目标表。如果在这一过程中发生异常,那么这次同步的数据就没有进入目标表,在下一次计划触发执行时由于上一次所执行的作业没有进入目标表,在这次执行作业时又会重新进行比对得到断点位置又会再次进行数据同步。

    CDC数据同步的执行过程是根据日志记录的偏移来从日志中找出需要同步的增量数据,然后到目标表根据操作标识进行数据同步完成后修改日志记录的偏移,那么作业在执行过程中出现异常时,这个日志的偏移量没有改变。在进行性下一次数据交换时还会从这个偏移量的位置进行,从而实现断点续传。

    非结构化数据交换

    以前的非结构化的数据交换,常常使用网盘或者FTP传输文件时,尤其是大文件,容易出现中断,严重影响工作效率和业务。

    数据交换平台中采用了数字签名、时间戳、报文加密的方式对传输的消息进行完整性验证,防止消息在传输过程中被篡改。通过数据交换平台可以验证消息确实来自于其真正的发送者而非假冒;确保消息的内容没有被修改;防止以插入、删除、调换或修改等方式篡改消息。

    交换平台中的文件传输具有以下特点:

    • 数据包裹传输方式 防止数据被篡改

    采用全新数字包裹数据传输方式,有效防止数据被恶意篡改。

    • 加密传输和存储 保障数据安全性

    提供文件安全交换加密传输和存储。采用私有文件传输协议和SSL安全协议访问。提供文件效期控制,支持文件自动清除销毁。

    • 支持断点续传错误重传 确保数据高效流转

    采用超高速传输协议,支持超大文件和海量文件传输。支持断点续传,错误重传,文件秒传和文件校验。

    下面列举了平台中文件传输中所使用到的技术:

    • 文件校验

    平台采用单向散列算法用于文件的完整性验证,在文件传输之前会使用单向散列算法生成文件唯一摘要信息,在文件传输后会将收到的文件再次使用单向散列算法生成摘要信息和之前的摘要信息进行比较。

    • 断点续传:

    断点续传是在下载或上传时,将下载或上传任务(一个文件或一个压缩包)人为的划分为几个部分,每一个部分采用一个线程进行上传或下载,如果碰到网络故障,可以从已经上传或下载的部分开始继续上传下载未完成的部分,而没有必要从头开始上传下载。用户可以节省时间,提高速度。

    • 压缩传输:

    在文件传输时先将文件进行压缩,然后传送压缩文件到目标,最后进行解压和清除工作,压缩传输能有效减小文件体积节省传输带宽。

    • 文件切片:

    切片传输是将文件进行切片,每一片形成一个传输线程进行传输。采用并行的数据流传输管道,有效地将传输速率最大化。

    4.3.2 实时数据交换

    打破信息壁垒和信息孤岛,实现统一高效、互联互通、安全可靠的数据资源体系,实时数据交换是推动信息跨部门跨层级共享共用数据中心的重要环节。实时数据交换适用于对于数据时效要求快速、高频度、少量数据传输的场景。实时数据交换通过将数据中心库中的数据快速的发布出来提供给外部系统共享调用,同时能够监控外部调用数据的情况提升数据的价值。

    在新的Web服务共享下数据交换平能够自助的、一键式将数据中心库(包括常见的关系型数据库mysql、oracle、sqlserver等,或Hbase、Hive、MongoDB)中的数据通过标准的Web服务发布出来。用户只需要配置发布数据中表和表之间的关系以及发布的字段就能够实现单表、多表或数据实体的发布。发布出的服务带有对输入输出以及调用url的详细描述信息,消费方能够很方便的对这些信息进行查看和订阅。

    服务方能够对订阅的信息进行审批,审批通过后消费方才能根据审批信息,配置服务调用参数调用服务。服务方通过对订阅信息的管理和监控能更好的掌握和发掘数据的价值。

    4.3.3 数据驱动的交换

    变化数据捕获简称CDC,这种方式主要应用于增量数据同步并且实时性要求较高的场景。这种架构下数据写入主存储后会由主存储再向辅存储进行同步,对应用层是最友好的,只需要与主存储打交道。主存储到辅存储的数据同步,则可以再利用异步队列复制技术来做。不过这种方案对主存储的能力有很高的要求,必须要求主存储能支持CDC技术。而目前每种数据库实现CDC的方式和方法各不相同,于是就需要根据数据库类型定制化的进行CDC的开发。

    CDC的数据同步具有低影响、低延迟、高性能等特点。这里以mysql为例采用Canal来说明实现CDC数据同步。canal利用了mysql的slave协议将自己伪装为mysql的一个子服务器,向mysql master发送dump协议mysql master收到dump请求,就会将记录的日志信息给slave(也就是canal),canal解析日志信息获取需要同步的数据,数据交换平台通过Canal组件监听Canal服务获取到变化数据交给之后的增量数据输出组件根据CDC所捕获的操作类型(类型有:insert,update,delete)对目标数据库进行相同的操作来完成数据同步。

    这里Canal通过对日志数据的监听触发。

    4.3.4 指定周期的交换

    数据交换平台作为一个批量数据处理系统,每天都会进行大量的数据处理作业,这些作业之间可能存在复杂的时序关联,因此必须有一个具备一定自动化程度的调度层,来实现作业有序、高效的执行。

    作业在运行前都需要在统一调度系统中注册,注册成功后再由调度系统自身的调度管理根据配置的任务计划决定作业的执行次序进行资源调配。

    调度包含以下内容:

    • 触发方式:在调度管理中定期根据日历、频度进行作业触发。 

    • 作业次序:触发后作业会根据之前设定好的数据性进行作业排序调整作业次序。 

    • 任务计划:任务计划会按照配置好的任务执行周期来进行任务调度。 

    • 资源调配:在执行调度的时候会根据注册的作业服务器的状况进行资源分配执行传输任务。 

    4.3.5 事件驱动的交换

    数据交换平台在与用户的系统进行集成式往往会遇到客户系统需要直接运行交换作业的情况,为此数据交换平台提供了一套基于事件触发的作业运行机制。能够通过文件监听或者http调用来与用户的系统进行集成。

    交换服务能够通过监听文件目录或端口,当目录中有符合作业触发规范的文件时或接口被调用时,对文件中描述的计划按照之前设定好的数据性进行作业排序调整作业次序触发执行,并删除监听到的文件。整个触发执行过程都会进入日志信进行留痕。

    4.4 新方式迎接数据挑战

    4.4.1 批量数据交换

    在进行数据交换时往往遇到的情况是要将整个库中所有的表进行迁移或同步,这些迁移或同步的大体逻辑往往相同,但库中的表非常多,传统的数据交换中是一张源表对一张目标表进行作业任务开发,造成开发人员巨大的工作量,表中的字段和和类型在进行配置时容易出错,效率低下。

    批量数据交换采用作业模板作为业务规格定义,结合资源目录能够通过简单地可视化操作批量数据源,对数据源进行批量的数据交换处理。批量数据交换有以下特性:

    1. 基于作业模板实现业务能力定义

    2. 可批量进行整库的数据交换

    3. 自动控制数据交换中的各种数据转换

    4. 自动进行数据分批次交换传输

    5. 对交换的数据可配置数据脱敏

    通过批量数据交换加强了大数据量的交换能力。配置、部署、运维简单,能够有效提升开发人员的开发效率和质量。

    4.4.2 跨区域数据交换

    跨域的数据交换在实际应用中,每个单位或部门从安全的角度考虑,都会设置前置机和防火墙,以及根据需求双方商定通讯方式编制相应的交换策略。因此,实施难度会加大,实施进度也会拉长。

    以前遇到跨区域数据同步往往是先将数据转换为文件,然后通过p2p文件传输将文件发送到目标节点,最后目标节点拿到文件再将文件通过转换导入到目标数据源中。

    新的模式对下面几个因素都要考虑周全。

    1. 简单。交互的设计要简单,这对调用双方都有好处。

    2. 安全性。如何保证数据在交互过程中出现各种异常的情况下,数据不出错、不丢失。

    3. 性能。在选择的时候,要考虑数据量的大小,以决定一种合适的交换方式(比如:一次调用请求的数据量,请求调用的频率)。

    在新的交换模式下通过对节点的管理和注册,结合了文件传输高效、安全、稳定的特性,在进行跨区域数据同步时只需要配置源和目标的数据库信息按照既定的业务逻辑就能够完成跨节点的数据交换,文件传输的过程自动交由数据交换平台完成,减轻了跨域数据同步的复杂度。

    4.4.3 应对大数据的挑战

    传统 ETL 主要以 SQL 为主要技术手段,把数据经抽取、清洗转换之后加载到数据仓库。但是在如今移动互联网大力发展的场景下,产生大量碎片化和不规则的数据。这中间的数据导入和 SQL ETL 的提取的过程,大量消耗 IO 性能和计算资源,在很多场景下已经是数据处理的瓶颈所在。

    Spark通过在数据处理过程中成本更低的洗牌(Shuffle)方式,将MapReduce提升到一个更高的层次。利用内存数据存储和接近实时的处理能力,Spark比其他的大数据处理技术的性能要快很多倍。

    新的数据交换中我们开发了 FlumeOnYarn 的架构,基于 XML 描述的可编程的函数 ETL 转换方法。这种方式充分利用了Spark对大数据的处理能力,通过XML文件描述源和目标以及中间的转换过程就能够控制Spark对数据进行ETL过程处理,在应对Hadoop、Hive以及Hbase等任务处理时能够充分体现出大数据处理的优势。

    4.5 监控与管理

    4.5.1 监控保证运行的稳定

    交换平台的监控需要获取交换服务器的CPU、内存以及磁盘,在作业运行时首先根据负载算法将收集到的CPU、内存和磁盘信息进行负载运算,判断那台交换服务器的负载较低,将作业分发到负载较低的交换服务器上运行。

    负载均衡解决了单台作业服务器在进行多作业并发时数据ETL过程压力过大的一种多节点负载方案。通过负载均衡将多个作业服务器节点组合,将作业通过负载算法分摊到这些节点上进行ETL过程。使这些作业服务器能以最好的状态对外提供服务,这样系统吞吐量最大,性能更高,对于用户而言处理数据的时间也更小。而且,负载均衡增强了系统的可靠性,最大化降低了单个节点过载、甚至宕机的概率。

    4.5.2 对各个运行环节的监控

    在数据交换过程中,监控管理系统负责监控作业的运行和调度情况,统计交换的过程和数据,形成图形化的报表进行统计的数据展现。能够清晰地体现数据交换过程的各种状态和数据量。

    数据交换平台提供了总揽全局的总体监控和明细型的计划监控以及事件监控;可视化的多维度作业运行监控以及完善的资源监控功能,对作业以及和作业相关的节点进行数据监控和统计。可统计作业交换过程中的调度日志、作业执行日志、历史日志、交换的数据量以及统计数据交换的成功失败次数,可以保证在第一时间发现系统存在的问题,并且及时排除,保证系统的正常运行。

    5.总结

    随着数据交换在企业中越来越受到重视,企业不仅仅局限于只对数据进行简单的交换,更有许多企业通过数据交换打造出了自己的数据中台和数据共享平台,通过对数据的加工、分析和共享提升了数据的价值。创建了在各个业务系统之间的数据高速公路使原先的数据孤岛,变成数据仓库、数据集市有效的对数据进行管理和应用。

    推荐阅读

    数据标准如何驱动企业业务信息数据化

    数据地图关系精细化分析

    数据服务化——打通企业数据应用的最后一公里

    关于作者:光芒,普元项目经理,十多年的IT从业经验,一直专注于企业数据交换和数据管理的工作。曾主持参与了Primeton DI和Primeton ESB的产品研发工作,致力于自服务的数据共享和数据交换研究,在数据治理领域不断探索和研发。

    关于EAWorld:微服务,DevOps,数据治理,移动架构原创技术分享。长按二维码关注!

    课程预告! 6月12日(周五)下午14:30普元Java开发工程师拙言为大家分享《SpringBoot深度实践之自动装配》,敬请期待!

    在看点这里

    展开全文
  • 大多数数据治理项目的指导原则都这一条:一个成功的项目必须结合人员、流程和技术。这种方法在一定程度上会容易让人盲目依赖于使用数据治理工具去实现目标,而它的实际含义是需要关注于建立并清晰定义所需要的角色...
  • matlab与C++数据交换

    万次阅读 2014-05-19 23:21:45
    一组MATLAB和 C++数据交换类的设计 南京航空航天大学 san email : visualsan@yahoo.cn (源代码:http://blog.csdn.net/visualsan/archive/2011/03/05/6226205.aspx) C++数据交换类的设计" title="一组...
  • 数据交换工具Kettle

    万次阅读 热门讨论 2008-05-29 16:43:00
    网上搜集了一些关于开源数据交换工具Kattle的文章,特收藏如下:文章一:ETL和Kettle简介ETL即数据抽取(Extract)、转换(Transform)、装载(Load)的过程。它是构建数据仓库的重要环节。数据仓库是面向主题的、...
  • Web Services 是企业发布的完成其特定商务需求的在线应用服务,其他公司或应用软件能够通过internet来访问并使用这项在线服务二、关键的技术和规则1、WebService时,主要用到以下几个关键的技术和规则:a)、XML:...
  • VC++常用数据类型

    万次阅读 2008-12-31 12:20:00
     VC常用数据类型列表二. 常用数据类型转化2.1数学类型变量与字符串相互转换2.2 CString及string,char *与其他数据类型的转换和操作●CString,string,char*的综合比较●数学类型与CString相互转化●CString与char*...
  • EDI电子数据交换

    千次阅读 2009-12-18 14:01:00
    电子数据交换二.EDI系统的工作过程三.水处理 EDI 四. 32位CPU变址寄存器EDI 一.电子数据交换 何为EDI,EDI是英文Electronic Data Interchange的缩写,中文可译为“电子数据交换”。它是一种在公司之间传输订单、...
  • 数据交换格式之XML和JSON

    千次阅读 2018-03-07 14:44:49
    学习知识点XML和JSON一、什么是数据交换格式客户端与服务器常用数据交换格式xml、json、html二、数据交换格式应用场景移动端(安卓、IOS)通讯方式采用http协议+JSON格式走restful风格。很多互联网项目都采用Http协议+...
  • 摘要:国土资源信大量的是空间地理信息,由于现买中各GIS系统存储、管理GIS数据的格式各不相同,空间数据交换标准是实现GIS数据共享的必要途径,国土资源部制定了VCT矢量数据交换格式来实现各类国土资源空间信息的...
  • 常用数据加密算法

    千次阅读 2019-01-10 14:34:46
    假设两个用户需要使用对称加密方法加密然后交换数据,则用户最少需要2个密钥并交换使用,如果企业内用户n个,则整个企业共需要n×(n-1) 个密钥,密钥的生成和分发将成为企业信息部门的恶梦。 对称加密算法的安全性...
  • 网络核心主要解决的问题是数据如何从源主机通过网络核心到达目标主机,
  • 三种交换技术的简介

    千次阅读 2009-12-19 16:41:00
    1.电路交换技术 网络交换技术共经历了四个发展阶段,电路交换技术、报文交换技术、分组交换技术和ATM技术。公众电话网(PSTN网)和移动网(包括GSM网和CDMA网)采用的都是电路交换技术,它的基本特点是采用面向连接...
  • 奥地利符号计算研究所(Research Institute for Symbolic Computation,简称RISC)的Christoph Koutschan博士在自己的页面上发布了一篇文章,提到他...大数据等最核心的关键技术:32个算法 1、A* 搜索算法——图形搜索...
  • 数据链路层的主要功能

    万次阅读 2016-01-28 22:57:34
    数据链路层的主要功能 1. 成帧(帧同步) 为了向网络层提供服务,数据链路层必须使用物理层提供的服务。...而要采帧格式传输,就必须相应的帧同步技术,这就是数据链路层的”成帧”(也称为”帧同
  • ajax哪些常用的构成技术

    千次阅读 2016-11-07 10:04:29
    这样就可以向再发桌面应用程序只同服务器进行数据层面的交换,而不用每次都刷新界面也不用每次将数据处理的工作提交给服务器来做,这样即减轻了服务器的负担又加快了响应速度、缩短了用户等候时间。  最早应用X
  • 数据结构和常用算法

    万次阅读 多人点赞 2015-10-02 14:04:00
    1. 常见数据结构 人们进行程序设计时通常关注两个重要问题,一是如何将待处理的数据存储到计算机内存中,即数据表示;二是设计算法操作这些数据,即数据处理。数据表示的本质是数据结构设计,数据处理的本质是算法...
  • 各个层使用的是哪个数据交换设备

    千次阅读 2014-02-26 22:41:48
    网络互联设备:集线器...集线器(HUB)是一种工作在物理层的设备,它并不提供数据交换的功能。它相当于一根线缆,把各个网络节点连接起来,而交换机却能够为任意两个网络节点之间提供一条数据通道,防止了冲突的产生,能够满
  • 本文主要介绍五种最常见和最常用的图像格式:BMP,PNG,JPEG,JPEG200,以及GIF。在进行图像处理相关应用之前第一步首先是能够读取这些图像文件,虽然很多开发工具支持库比如OpenCV等已经帮助节省了这些工作的麻烦,...
  • 一组MATLAB和 C++数据交换类的设计

    万次阅读 2011-03-05 20:14:00
    一组MATLAB和 C++数据交换类的设计 san  email:visualsan@yahoo.cn
  • 数据挖掘技术研究现状

    万次阅读 2014-12-17 15:24:31
    数据挖掘技术研究现状 张明奇 摘 要:数据挖掘作为当前国际学术界的一个研究热点,本文对它的研究意义、定义、分类等概念做了深入的阐述,详细介绍了数据挖掘的全过程,数据挖掘方法结合了数据库技术、机器学...
  • 通过针对具有同一服务对象建立业务数据交换平台,实现了政府部门间数据共享互联互通需求,解决电子政务中“信息孤岛”问题。电子政务数据中心经过近几年发展,从存储数据概念演变成为数据加工、数据挖掘和决策
  • 几种常见的网络路由交换协议 1.IGRP(Interior Gateway Routing Protocol)内部网关协议。 IGRP即内部网关协议,是一种动态距离向量路由协议,它由Cisco公司80年代中期设计。使用组合用户配置尺度,包括延迟、...
  •  这些不断增长的服务集群和服务需求要求更高效率和更高服务质量的数据交换技术数据交换技术已经历了过去的那种单纯的电路交换逐渐发展到二层、三层甚至更高层的交换结构的结合。交换的内部机制也从存储转发、直接...
  • 在云计算漫漫之旅上,...笔者结合实际工作经验,与大量用户交流与反馈,阅读了国内外一些书籍、互联网资料,在本文就云计算虚拟化交换网络原理、边缘网络、核心网络和产品与发展趋势等方面给出了业务挑战、技术、经济
  • 数据仓库技术中的MPP

    万次阅读 2016-11-22 14:26:46
    数据仓库世界里面的massively parallel processing 大概定义: MPP 是将任务并行的分散... 这是MySQL 在互联网应用中的主要局限性。   另外MPP 的切分必须在任何时候都是平均的 , 不然某些节点处理的时间就明显多于
  • 深度解析数据缓存技术

    万次阅读 2018-03-21 17:54:39
    ​ 缓存是分布式系统中的重要组件,主要解决高并发,大数据场景下,热点数据访问的性能问题。提供高性能的数据快速访问。 1.1.缓存的原理 将数据写入/读取速度更快的存储(设备); 将数据缓存到离应用最近的...
  • 但是二叉堆也一个缺点,就是二叉堆对存储在内存中的数据操作太过分散,这导致了二叉堆在cpu高速缓存的利用与内存击中率上面表现不是很好,这也是一个二叉堆理想操作时间所需要付出的代价。 1.4:二叉堆的使用...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 102,729
精华内容 41,091
关键字:

常用的数据交换技术主要有