数据交换平台是为校内各部门的管理信息系统提供数据交换，实现数据共享，并建立公共数据库，实现数据积累，为数据统计、分析、挖掘做准备。数据交换平台是一个分布式开放型网络系统，它由一个交换中心，若干个应用软件的适配器，以及保证数据传输可靠、安全，稳定的数据邮局（数据邮局）以及系统运行的辅助单元--管理中心构成，数据交换中的各应用软件以适配器作为接口，通过与交换中心的消息和数据交互实现信息交换。
数据服务交换和服务工具经历三个阶段
数据服务交换和服务工具处于第三个阶段，是统一的数据服务平台。也属于一体化数据治理和共享平台的重要组成部分。
数据服务交换和服务工具发展阶段
第一个阶段是比较原始的，缺少工具阶段。通过写脚本、针对项目的开发实现，工具化程度差，项目实施和运维成本高。
第二个阶段多样化的工具阶段，提供了能解决特定功能的工具产品。如消息中间件、ETL、文件传输等。但对于复杂环境下的大型项目有很大的不足，需要多个工具集成，缺少统一的架构、有孤岛，集成实施成本高，交换过程中面临丢包、系统堵塞等问题，安全稳定性差。
第三个阶段是统一的数据交换和服务平台，提供面向服务的插座式架构，基于统一的规则和元数据、统一架构、统一工具能可视化配置出数据采集、数据交换、数据加工、数据共享等不同的数据服务方案，能满足客户不同项目的数据交换和数据管理需要。提供端对端的数据交换和整合服务，保证了交换过程中的可靠传输，避免了丢包、系统堵塞等问题。
二挑战与解决思路
2.1传统的数据交换工具面临挑战
（1）传统的数据交换解决方案是基于多个模块/产品集成实现跨网段数据交换，当一个环节出现问题时易造成数据不一致。
（2）当采用异步交换方式时，异步的交换机制造成IO等系统资源占用、文件锁死、堵塞挂起等现象。
（3）当采用同步的交换方式时，同步交换机制在交换数据量比较大，需要传输或者装载时间比较长时，易造成通讯挂起、堵塞等现象。
传统数据交换工具示意图
2.2跨网段情况下的大数据量的数据交换与服务思路
（1）基于统一的数据交换服务实现了端对端的数据交换。
（2）通过事务处理机制保证跨网段交换的数据一致性。
（3）状态传感器技术解决了分布式传输过程的状态感知，避免了需要长时间处理情况下的通讯挂起现象，保证了传输的畅通。
一体化数据交换和治理示意图
基于统一的数据交换服务实现了端对端的数据交换。通过事务处理机制保证交换的数据一致性。状态传感器技术解决了分布式传输过程的状态感知，避免了需要长时间处理情况下的通讯挂起现象，保证了传输的畅通，跨网段情况下的大数据量的交换能力强。配置、部署、运维简单。
数据交换平台工具介绍
强大的功能特性
传输节点管理
提供丰富的数据源接口，除支持主流的数据库和大数据外，还支持文本文件、 FTP服务、API接口、Web Service服务等多种形态的数据源。支持从多个异构数据源取数，能直接完成跨数据库的数据关联取数。
图：数据源接口
提供丰富组件
提供了丰富的传输组件、文本解析组件、接口组件、转换组件、流程组件等的可视化组件来保证数据交换功能的完整性，还提供了脚本组件保证数据交换平台的扩展性。
图：内置交换组件
可视化运维与监控
支持拖拽式方式设计流程，通过可视化操作界面自动生成满足业务需要的交换任务。支持定时和事件触发，通过检测执行时间、监听数据库、指定文件变化来触发调度，灵活进行数据抽取和交换。
图：可视化流程示例
安全高效的数据交换
支持数据加密传输、断点续传、各种脱敏算法、数据权限与功能权限双重控制，让数据传输更安全可控；数据分区、并行装载技术让数据传输更高效快速。
图：设置脱敏方式
数据服务交换和服务工具作为一体化数据治理和共享平台一个组件,提供面向服务的插座式架构，基于统一的规则和元数据、统一架构、统一工具能可视化配置出数据采集、数据交换、数据加工、数据共享等不同的数据服务方案，能满足客户不同项目的数据交换和数据管理需要，提供端对端的数据交换和整合服务，保证了交换过程中的可靠传输，避免了丢包、系统堵塞等问题。支持跨组织、跨网段的、上下级单位数据交换、基于前置机的数据交换、物理隔绝的数据交换等多种应用场景。

项目简介
Exchangis是一个轻量级的、高扩展性的数据交换平台，支持对结构化及无结构化的异构数据源之间的数据传输，在应用层上具有数据权限管控、节点服务高可用和多租户资源隔离等业务特性，而在数据层上又具有传输架构多样化、模块插件化和组件低耦合等架构特点。
Exchangis的传输交换能力依赖于其底层聚合的传输引擎，其顶层对各类数据源定义统一的参数模型，每种传输引擎对参数模型进行映射配置，转化为引擎的输入模型。每聚合一种引擎，都将增加Exchangis一类特性，对某类引擎的特性强化，都是对Exchangis特性的完善。默认聚合以及强化Alibaba的DataX传输引擎。
核心特点
数据源管理以绑定项目的方式共享自己的数据源；设置数据源对外权限，控制数据的流入和流出。
多传输引擎支持传输引擎可横向扩展；当前版本完整聚合了离线批量引擎DataX、部分聚合了大数据批量导数引擎SQOOP
近实时任务管控快速抓取传输任务日志以及传输速率等信息，实时关闭任务；可根据带宽状况对任务进行动态限流
支持无结构化传输DataX框架改造，单独构建二进制流快速通道，适用于无数据转换的纯数据同步场景。
任务状态自检监控长时间运行的任务和状态异常任务，及时释放占用的资源并发出告警
与现有的系统的对比
对现有的一些数据交换工具和平台的对比：
整体设计
架构设计
项目开源地址：https://gitee.com/WeBank/Exchangis

随着信息社会的不断发展，信息融合正逐步走向深化。业务系统如何跨越不同安全等级的网络域进行数据传输，是整合各类信息资源、降低各系统间信息壁垒、推动信息融合可持续发展必须要解决的问题。
由于历史和技术方面的原因，我国的信息化建设与国外主要战略对手相比，在资源共享、数据交换等建设上还存在一定的差距，就如何建立统一标准的跨域数据交换系统还没有定论。
跨域数据交换面临的问题
当前跨域数据交换以网闸、光盘摆渡设备为主，但更多的时候是未能根据业务需求建立跨域交换体系，其根本原因主要是不信任来自其他网络域的数据和害怕本域数据被非法导出。
（1）不信任来自其他网络域的数据：其他网络域传入的数据，其来源是否合法、数据是否被伪造篡改、内容是否安全、本网络域是否需要、是否存在非法隐蔽传输通道，这些都是输入数据不被信任的问题。
（2）对本域数据非法输出的担心：业务系统或用户害怕本网络域特有的敏感数据通过跨域交换被非法导出；数据输出的来源是否真实、数据是否允许被输出、数据传输过程中是否被篡改夹带、数据内容是否敏感、是否存在非法隐蔽传输通道等，这些都是对数据非法输出的担心。
因此，如果不能合理有效的解决以上两方面的问题，跨域数据交换系统是不可能被允许建立的。
针对跨域数据交换无法得到有效保障的现状，指出了跨域数据交换面临的核心问题；设计了跨域数据交换模型，提出了模型设计的关键点，给出了数据交换流程。模型涵盖所有关键要素，以数据护照为核心，在数据交换的全生命周期提供了来源可靠、目的可信、真实性完整性保护、安全检查记录等核心能力；模型满足了跨域数据交换的“来源可证、内容审查、数据安全、传输控制、行为审计”核心需求，对跨域数据交换系统建设具有重要意义。
数据交换平台应该有哪些必备功能？
下面就以亿信华辰旗下的数据交换管理平台为例，探讨一下数据交换平台应该所具有的功能特性。该数据交换管理平台是亿信华辰结合多年数据服务经验自主研发的解决企业数据集成应用的平台，除了拥有基本数据交换功能外，还兼容了其他的功能特性。
异构数据源：品提供丰富的数据源接口，除支持主流的数据库和大数据外，还支持文本文件、 FTP服务、API接口、Web Service服务等多种形态的数据源。支持从多个异构数据源取数，能直接完成跨数据库的数据关联取数。
丰富的交换组件：提供了丰富的传输组件、文本解析组件、接口组件、转换组件、流程组件等的可视化组件来保证数据交换功能的完整性，还提供了脚本组件保证数据交换平台的扩展性。
拖拽试流程设计：用户只需在简单拖拽数据资源和加工组件就可以完成复杂的数据交换任务的定义，“零”编码，易操作、易阅读、易维护。
安全高效的数据传输，采用加密传输机制，对数据的传输进行加密，内置大量的数据脱敏算法，支持，对系统和数据的操作行为审计，保证数据的安全性。
全方位监管体系，任务运行监控、系统运行监控、系统审计日志，保障数据交换的监控流程。