精华内容
下载资源
问答
  • 对接会方案
    千次阅读
    2021-03-08 20:18:46

    该方案可对接gb28181平台,例如海康、华为VCN(已验证)。
    在这里插入图片描述

    SIP服务器
    开源地址:https://github.com/648540858/wvp-GB28181-pro/tree/wvp-28181-2.0
    分支:wvp-28181-2.0

    流媒体服务器
    项目地址ZLMediaKit:https://github.com/xia-chu/ZLMediaKit
    由于该项目没有编译最新的包,因此要么自己编译,要么采用docker拉取最新安装包。

    docker地址:https://hub.docker.com/r/panjjo/zlmediakit

    核心要点:
    1. 搭建流媒体服务器
    2. 搭建SIP服务器,并配置流媒体服务相关参数
    3. 启动前端
    4. 界面中注册其他gb28181平台信息
    5. 其他平台,同样需要填写本平台信息,实现双向注册
    6. 系统会自动拉取设备列表,点击通道,选择其中一个进行播放即可。默认采用的是rtp流媒体服务器。

    更多相关内容
  • 上海现代农业技术项目产学研对接会方案.docx
  • 上海现代农业技术项目产学研对接会方案.doc.pdf
  • 从交会对接系统、交轨道、交测量和控制、信息传输、对接与分离、飞行方案,以及试验验证等方面对中国载人交会对接设计的技术特点、所采用的创新技术方法和解决的技术难题进行了介绍,在飞行验证的基础上分析了...
  • IT系统对接方案汇总

    千次阅读 2021-02-07 09:28:46
    如果系统之间存在权限限制或技术限制,可采用接口以保证数据的安全和对接的规范性等等,不同的场景下有不同的对接方案,以下对常用的对接方案做出汇总。 技术方案 接口 接口对接方式是比较常用,且安全规范的传输...

    目录

    概述

    技术方案

    接口

    消息服务传输

    文件共享

    socket传输

    数据库传输

    数据爬取


    概述

    IT系统对接是很多企业、项目必须面对的问题;通常,多个系统之间如果完全企业自主定制开发,且有源代码、服务器的所有权,可以选择数据库直传的方式,方便快捷。如果系统之间存在权限限制或技术限制,可采用接口以保证数据的安全和对接的规范性等等,不同的场景下有不同的对接方案,以下对常用的对接方案做出汇总。

    技术方案

    接口

    接口对接方式是比较常用,且安全规范的传输方式,一般需要根据详细需求开发定制接口,以满足系统间信息的对接。
    一、传统WebService与Restful
    接口一般可分为两种方式实现,一是传统web service接口,二是restful 风格的web service接口,二者区别主要由以下几点:
    1. Restful Web Service的开发是面向资源的,而WebService则是面向方法。
    2. Restful Web Service以Http协议作为应用协议,对资源的操作基于Http协议的几个关键方法“Get,Post,Put,Delete(204),Head,Patch,Options”,而Web Service则将方法信息封装在SOAP信封里经由Http的Post方法发送给服务端。这一区别的结果就是Restful Web Service利于缓冲(符合Web方式,利于GET缓冲),而Web Service在缓冲方面则表现出了极大的短板,因为缓冲服务器根本不知道SOAP里边的方法是不是Get,以及真实的请求资源是什么。
    3.有关安全控制方面,对于基于代理服务器实现的安全控制,一般代理服务器是根据URL以及请求方法来确定该用户是否拥有相关操作权限的,很明显Restful Web Service贴近Web方式满足要求,而基于SOAP的Web Service实际的方法信息无从知晓,不具备实现安全控制的条件。
    总结:WebService比较成熟,在涉及到复杂的业务逻辑,事务例如转账,用户等级划分等业务逻辑的处理上要优于Restful Service。而Restful Web Service由于是无状态的,在构建分布式应用的时候不用考虑用户Session,所以在构建分布式应用时灵活度更高,但在涉及到授权方面则略逊于前者(借助OAuth实现授权)。此外由于Restful Web Service以Http为应用协议其资源状态的转变方法有限(Http的七种方法),如果需要其他的方法只能借助已经实现方法扩展的第三方框架实现复杂操作而Web Service则可以定义自己的方法。总体来看Restful Web Service更易于构建简单的基于资源的分布式应用,而Web Service则适用于业务逻辑复杂,对系统安全性要求更高的大型企业级应用构建。

    二、接口设计-共通

    如果采用SOA体系架构,通过服务总线技术实现数据交换以及实现各业务子系统间、外部业务系统之间的信息共享和集成,因此SOA体系标准可作为采用的接口核心标准。主要包括:
    服务目录标准
    服务目录API接口格式参考国家以及关于服务目录的元数据指导规范,对于W3C UDDI v2 API结构规范,采取UDDI v2 的API的模型,定义UDDI的查询和发布服务接口,定制基于Java和SOAP的访问接口。除了基于SOAP1.2的Web Service接口方式,对于基于消息的接口采用JMS或者MQ的方式。
    交换标准
    基于服务的交换,采用HTTP/HTTPS作为传输协议,而其消息体存放基于SOAP1.2协议的SOAP消息格式。SOAP的消息体包括服务数据以及服务操作,服务数据和服务操作采用WSDL进行描述。
    Web服务标准
    用WSDL描述业务服务,将WSDL发布到UDDI用以设计/创建服务,SOAP/HTTP服务遵循WS-I Basic Profile 1.0,利用J2EE Session EJBs 实现新的业务服务,根据需求提供SOAP/HTTP or JMS and RMI/IIOP接口。
    业务流程标准
    使用没有扩展的标准的BPEL4WS,对于业务流程以SOAP服务形式进行访问,业务流程之间的调用通过SOAP。
    数据交换安全
    与外部系统对接需考虑外部访问的安全性,通过IP白名单、SSL认证等方式保证集成互访的合法性与安全性。
    数据交换标准
    制定适合双方系统统一的数据交换数据标准,支持对增量的数据自动进行数据同步,避免人工重复录入的工作。
    2.1接口规范性设计
    系统平台中的接口众多,依赖关系复杂,通过接口交换的数据与接口调用必须遵循统一的接口模型进行设计。接口模型除了遵循工程统一的数据标准和接口规范标准,实现接口规范定义的功能外,需要从数据管理、完整性管理、接口安全、接口的访问效率、性能以及可扩展性多个方面设计接口规格。

    1)接口定义约定

    客户端与系统平台以及系统平台间的接口消息协议,本次以基于HTTP协议的REST风格接口实现为例,如下图-接口消息协议栈示意图:

    系统在http协议中传输的应用数据采用具有自解释、自包含特征的JSON数据格式,通过配置数据对象的序列化和反序列化的实现组件来实现通信数据包的编码和解码。

    在接口协议中,包含接口的版本信息,通过协议版本约束服务功能规范,支持服务平台间接口协作的升级和扩展。一个服务提供者可通过版本区别同时支持多个版本的客户端,从而使得组件服务的提供者和使用者根据实际的需要,独立演进,降低系统升级的复杂度,保证系统具备灵活的扩展和持续演进的能力。

    2)业务消息约定

    请求消息URI中的参数采用UTF-8编码并经过URLEncode编码。

    请求接口URL格式:{http|https}://{host}:{port}/

    {app name}/{business component name}/{action} ;其中:

    协议:HTTP REST形式接口

    host:应用支撑平台交互通信服务的IP地址或域名

    port:应用支撑平台交互通信服务的端口

    app name:应用支撑平台交互通信服务部署的应用名称

    business component name:业务组件名称

    action:业务操作请求的接口名称,接口名字可配置

    应答的消息体采用JSON数据格式编码,字符编码采用UTF-8。

    应答消息根节点为“response”,每个响应包含固定的两个属性节点:“status”和“message”。它们分别表示操作的返回值和返回消息描述,其他的同级子节点为业务返回对象属性,根据业务类型的不同,有不同的属性名称。

    当客户端支持数据压缩传输时,需要在请求的消息头的“Accept-Encoding”字段中指定压缩方式(gzip),如消息可以被压缩传输则平台将应答的数据报文进行压缩作为应答数据返回,Content-Length为压缩后的数据长度。详细参见HTTP/1.1 RFC2616。

    应答消息根节点为“response”,每个响应包含固定的两个属性节点:“status”和“message”。它们分别表示操作的返回值和返回消息描述,其他的同级子节点为业务返回对象属性,根据业务类型的不同,有不同的属性名称。

    当客户端支持数据压缩传输时,需要在请求的消息头的“Accept-Encoding”字段中指定压缩方式(gzip),如消息可以被压缩传输则平台将应答的数据报文进行压缩作为应答数据返回,Content-Length为压缩后的数据长度。详细参见HTTP/1.1 RFC2616。

    3)响应码规则约定

    响应结果码在响应消息的“status”属性中,相应的解释信息在响应消息的“message”属性中。解释消息为终端用户可读的消息,终端应用不需要解析可直接呈现给最终用户。响应结果码为6位数字串。根据响应类型,包括以下几类响应码。如下表中的定义。

    响应码

    描述

    0

    成功

    1XXXXX

    系统错误

    2XXXXX

    输入参数不合法错误

    3XXXXX

    应用级返回码,定义应用级的异常返回。

    4XXXXX

    正常的应用级返回码,定义特定场景的应用级返回说明。

    4)数据管理

    ①业务数据检查

    接口应提供业务数据检查功能,即对接收的数据进行合法性检查,对非法数据和错误数据则拒绝接收,以防止外来数据非法入侵,减轻应用支撑平台系统主机处理负荷。

    对于接口,其业务数据检查的主要内容有以下几个方面:

    •数据格式的合法性:如接收到非预期格式的数据。包括接收的数据长度,类型,开始结束标志等。

    •数据来源的合法性:如接收到非授权接口的数据。

    •业务类型的合法性:如接收到接口指定业务类型外的接入请求。

    对于业务数据检查中解析出非法数据应提供以下几种处理方式:

    •事件报警:在出现异常情况时自动报警,以便系统管理员及时进行处理。

    •分析原因:在出现异常情况时,可自动分析其出错原因。如是数据来源非法和业务类型非法,本地记录并做后续管理,如是数据格式非法,分析网络传输原因或对端数据处理原因,并做相应处理。

    •统计分析:定期对所有的非法记录做统计分析,分析非法数据的各种来源是否具有恶意,并做相应处理。

    ②数据压缩/解压

    接口根据具体的需求应提供数据压缩/解压功能,以减轻网络传输压力,提高传输效率,从而使整个系统能够快速响应并发请求,高效率运行。

    在使用数据压缩/解压功能时,应具体分析每一类业务的传输过程、处理过程、传输的网络介质、处理的主机系统和该类业务的并发量、峰值及对于所有业务的比例关系等,从而确定该类业务是否需要压缩/解压处理。对于传输文件的业务,必须压缩后传输,以减轻网络压力,提高传输速度。

    在接口中所使用的压缩工具必须基于通用无损压缩技术,压缩算法的模型和编码必须符合标准且高效,压缩算法的工具函数必须是面向流的函数,并且提供校验检查功能。

    5)完整性管理

    根据业务处理和接口服务的特点,应用系统的业务主要为实时请求业务和批量传输业务。两类业务的特点分别如下:

    1.实时请求业务:

    (1)采用基于事务处理机制实现

    (2)业务传输以数据包的方式进行

    (3)对传输和处理的实时性要求很高

    (4)对数据的一致性和完整性有很高的要求

    (5)应保证高效地处理大量并发的请求

    2.批量传输业务:

    (1)业务传输主要是数据文件的形式

    (2)业务接收点可并发处理大量传输,可适应高峰期的传输和处理

    (3)要求传输的可靠性高

    根据上述特点,完整性管理对于实时交易业务,要保证交易的完整性;对于批量传输业务,要保证数据传输的完整性。

    2.2接口双方责任

    1)消息发送方
    遵循本接口规范中规定的验证规则,对接口数据提供相关的验证功能,保证数据的完整性、准确性;
    消息发起的平台支持超时重发机制,重发次数和重发间隔可配置。
    提供接口元数据信息,包括接口数据结构、实体间依赖关系、计算关系、关联关系及接口数据传输过程中的各类管理规则等信息;
    提供对敏感数据的加密功能;
    及时解决接口数据提供过程中数据提供方一侧出现的问题;
    2)消息响应方
    遵循本接口规范中规定的验证规则,对接收的数据进行验证,保证数据的完整性、准确性。
    及时按照消息发送方提供的变更说明进行本系统的相关改造。
    及时响应并解决接口数据接收过程中出现的问题。
    3)异常处理
    对接口流程调用过程中发生的异常情况,如流程异常、数据异常、会话传输异常、重发异常等,进行相应的异常处理,包括:
    ·对产生异常的记录生成异常记录文件。
    ·针对可以回收处理的异常记录,进行自动或者人工的回收处理。
    ·记录有关异常事件的日志,包含异常类别、发生时间、异常描述等信息。
    ·当接口调用异常时,根据预先配置的规则进行相关异常处理,并进行自动告警。

    2.3接口可扩展性规划与设计

    各个系统间的通信接口版本信息限定了各个系统平台间交互的数据协议类型、特定版本发布的系统接口功能特征、特定功能的访问参数等接口规格。通过接口协议的版本划分,为客户端升级、其他被集成系统的升级、以及系统的部署提供了较高的自由度和灵活性。

    系统可根据接口请求中包含的接口协议版本实现对接口的向下兼容。系统平台可根据系统的集群策略,按协议版本分别部署,也可多版本并存部署。由于系统平台可同时支持多版本的外部系统及客户端应用访问系统,特别是新版本客户端发布时,不要求用户强制升级,也可降低强制升级安装包发布的几率。从而支持系统的客户端与系统平台分离的持续演进。

    2.4接口安全性设计

    为了保证系统平台的安全运行,各种集成的外部系统都应该保证其接入的安全性。

    接口的安全是平台系统安全的一个重要组成部分。保证接口的自身安全,通过接口实现技术上的安全控制,做到对安全事件的“可知、可控、可预测”,是实现系统安全的一个重要基础。

    根据接口连接特点与业务特色,制定专门的安全技术实施策略,保证接口的数据传输和数据处理的安全性。

    系统应在接口的接入点的网络边界实施接口安全控制。

    接口的安全控制在逻辑上包括:安全评估、访问控制、入侵检测、口令认证、安全审计、防(毒)恶意代码、加密等内容。

    1)安全评估

    安全管理人员利用网络扫描器定期(每周)/不定期(当发现新的安全漏洞时)地进行接口的漏洞扫描与风险评估。扫描对象包括接口通信服务器本身以及与之关联的交换机、防火墙等,要求通过扫描器的扫描和评估,发现能被入侵者利用的网络漏洞,并给出检测到漏洞的全面信息,包括位置、详细描述和建议改进方案,以便及时完善安全策略,降低安全风险。

    安全管理人员利用系统扫描器对接口通信服务器操作系统定期(每周)/不定期(当发现新的安全漏洞时)地进行安全漏洞扫描和风险评估。在接口通信服务器操作系统上,通过依附于服务器上的扫描器代理侦测服务器内部的漏洞,包括缺少安全补丁、词典中可猜中的口令、不适当的用户权限、不正确的系统登录权限、操作系统内部是否有黑客程序驻留,安全服务配置等。系统扫描器的应用除了实现操作系统级的安全扫描和风险评估之外还需要实现文件基线控制。

    接口的配置文件包括接口服务间相互协调作业的配置文件、系统平台与接口对端系统之间协调作业的配置文件,对接口服务应用的配置文件进行严格控制,并且配置文件中不应出现口令明文,对系统权限配置限制到能满足要求的最小权限,关键配置文件加密保存。为了防止对配置文件的非法修改或删除,要求对配置文件进行文件级的基线控制。

    2)访问控制

    访问控制主要通过防火墙控制接口对端系统与应用支撑平台之间的相互访问,避免系统间非正常访问,保证接口交互信息的可用性、完整性和保密性。访问控制除了保证接口本身的安全之外,还进一步保证应用支撑平台的安全。

    为了有效抵御威胁,应采用异构的双防火墙结构,提高对防火墙安全访问控制机制的破坏难度。双防火墙在选型上采用异构方式,即采用不同生产厂家不同品牌的完全异构防火墙。同时,双防火墙中的至少一个应具有与实时入侵检测系统可进行互动的能力。当发生攻击事件或不正当访问时,实时入侵检测系统检测到相关信息,及时通知防火墙,防火墙能够自动进行动态配置,在定义的时间段内自动阻断源地址的正常访问。

    系统对接口被集成系统只开放应用定义的特定端口。

    采用防火墙的地址翻译功能,隐藏系统内部网络,向代理系统提供翻译后的接口通信服务器地址及端口,禁止接口对端系统对其它地址及端口的访问。

    对通过/未通过防火墙的所有访问记录日志。

    3)入侵检测

    接口安全机制应具有入侵检测(IDS)功能,实时监控可疑连接和非法访问等安全事件。一旦发现对网络或主机的入侵行为,应报警并采取相应安全措施,包括自动阻断通信连接或者执行用户自定义的安全策略。

    实施基于网络和主机的入侵检测。检测攻击行为和非法访问行为,自动中断其连接,并通知防火墙在指定时间段内阻断源地址的访问,记录日志并按不同级别报警,对重要系统文件实施自动恢复策略。

    4)口令认证

    对于需经接口安全控制系统对相关集成系统进行业务操作的请求,实行一次性口令认证。

    为保证接口的自身安全,对接口通信服务器和其它设备的操作和管理要求采用强口令的认证机制,即采用动态的口令认证机制。

    5)安全审计

    为了保证接口的安全,要求对接口通信服务器的系统日志、接口应用服务器的应用日志进行实时收集、整理和统计分析,采用不同的介质存档。

    6)防恶意代码或病毒

    由于Internet为客户提WEB服务,因此,对于Internet接口要在网络分界点建立一个功能强大的防恶意代码系统,该系统能实时地进行基于网络的恶意代码过滤。建立集中的防恶意代码系统控制管理中心。

    7)加密

    为了提高接口通信信息的保密性,同时保证应用支撑平台的安全性,可以对系统平台与接口集成系统间的相关通信实施链路加密、网络加密或应用加密,保证无关人员以及无关应用不能通过网络链路监听获得关键业务信息,充分保证业务信息的安全。

    三、wsdl接口设计

    WSDL是一个用于精确描述Web服务的文档,WSDL文档是一个遵循WSDL-XML模式的XML文档。WSDL 文档将Web服务定义为服务访问点或端口的集合。在 WSDL 中,由于服务访问点和消息的抽象定义已从具体的服务部署或数据格式绑定中分离出来,因此可以对抽象定义进行再次使用。消息,指对交换数据的抽象描述;而端口类型,指操作的抽象集合。用于特定端口类型的具体协议和数据格式规范构成了可以再次使用的绑定。将Web访问地址与可再次使用的绑定相关联,可以定义一个端口,而端口的集合则定义为服务。

    一个WSDL文档通常包含8个重要的元素,即definitions、types、import、message、portType、operation、binding、service元素。这些元素嵌套在definitions元素中,definitions是WSDL文档的根元素。

    WSDL文档外层结构图示:

    WSDL 服务进行交互的基本元素:

    Types(消息类型):数据类型定义的容器,它使用某种类型系统(如 XSD)。

    Message(消息):通信数据的抽象类型化定义,它由一个或者多个 part 组成。

    Part:消息参数

    PortType(端口类型):特定端口类型的具体协议和数据格式规范。,它由一个或者多个 Operation组成。

    Operation(操作):对服务所支持的操作进行抽象描述,WSDL定义了四种操作:

    1.单向(one-way):端点接受信息;

    3.要求-响应(solicit-response):端点发送消息,然后接受相关消息;

    4.通知(notification[2] ):端点发送消息。

    Binding:特定端口类型的具体协议和数据格式规范。

    Port:定义为绑定和网络地址组合的单个端点。

    Service:相关端口的集合,包括其关联的接口、操作、消息等。

    外层结构里面也可能有多层结构。

    四、Restful风格接口设计

    4.1协议

    API与用户的通信协议,通常使用HTTP/HTTPs协议(特别是web)

    4.2域名

    应该尽量将API部署在专用域名之下。

    https://api.example.com

    如果确定API很简单,不会有进一步扩展,可以考虑放在主域名下。

    https://example.org/api/

    4.3版本

    API的版本号放入URL

    https://api.example.com/v1/

    另一种设计方式将版本号放在HTTP头信息中,但不如放入URL方便和直观,Github采用这种做法。

    4.4路径

    路径又称"终点"(endpoint),表示API的具体网址。

    在RESTful架构中,每个网址代表一种资源(resource),所以网址中不能有动词,只能有名词,而且所用的名词往往与数据库的表格名对应。一般来说,数据库中的表都是同种记录的"集合"(collection),所以API中的名词也应该使用复数。

    举例来说,有一个API提供动物园(zoo)的信息,还包括各种动物和雇员的信息,则它的路径应该设计成下面这样。

    • https://api.example.com/v1/zoos
    • https://api.example.com/v1/animals
    • https://api.example.com/v1/employees

    4.5HTTP动词

    对于资源的具体操作类型,由HTTP动词表示,常用的HTTP动词有下面五个(括号里是对应的SQL命令)。

    • GET(SELECT):从服务器取出资源(一项或多项)。
    • POST(CREATE):在服务器新建一个资源。
    • PUT(UPDATE):在服务器更新资源(客户端提供改变后的完整资源)。
    • PATCH(UPDATE):在服务器更新资源(客户端提供改变的属性)。
    • DELETE(DELETE):从服务器删除资源。

    两个不常用的HTTP动词:

    • HEAD:获取资源的元数据。
    • OPTIONS:获取信息,关于资源的哪些属性是客户端可以改变的。

    举例如下:

    • GET /zoos:列出所有动物园
    • POST /zoos:新建一个动物园
    • GET /zoos/ID:获取某个指定动物园的信息
    • PUT /zoos/ID:更新某个指定动物园的信息(提供该动物园的全部信息)
    • PATCH /zoos/ID:更新某个指定动物园的信息(提供该动物园的部分信息)
    • DELETE /zoos/ID:删除某个动物园
    • GET /zoos/ID/animals:列出某个指定动物园的所有动物
    • DELETE /zoos/ID/animals/ID:删除某个指定动物园的指定动物

    4.6过滤信息

    如果记录数量很多,服务器不可能都将它们返回给用户。API应该提供参数,过滤返回结果,常见的参数如下:

    • ?limit=10:指定返回记录的数量
    • ?offset=10:指定返回记录的开始位置。
    • ?page=2&per_page=100:指定第几页,以及每页的记录数。
    • ?sortby=name&order=asc:指定返回结果按照哪个属性排序,以及排序顺序。
    • ?animal_type_id=1:指定筛选条件

    参数设计允许存在冗余,即允许API路径和URL参数偶尔有重复。比如,GET /zoo/ID/animals 与 GET /animals?zoo_id=ID 的含义是相同的。

    4.7状态码

    服务器向用户返回的状态码和提示信息,常见的有以下一些(方括号中是该状态码对应的HTTP动词)。

     200 OK - [GET]:服务器成功返回用户请求的数据,该操作是幂等的(Idempotent)。

    201 CREATED - [POST/PUT/PATCH]:用户新建或修改数据成功。

    202 Accepted - [*]:表示一个请求已经进入后台排队(异步任务)

    204 NO CONTENT - [DELETE]:用户删除数据成功。

    400 INVALID REQUEST - [POST/PUT/PATCH]:用户发出的请求有错误,服务器没有进行新建或修改数据的操作,该操作是幂等的。

    401 Unauthorized - [*]:表示用户没有权限(令牌、用户名、密码错误)。

    403 Forbidden - [*] 表示用户得到授权(与401错误相对),但是访问是被禁止的。

    404 NOT FOUND - [*]:用户发出的请求针对的是不存在的记录,服务器没有进行操作,该操作是幂等的。

    406 Not Acceptable - [GET]:用户请求的格式不可得(比如用户请求JSON格式,但是只有XML格式)。

    410 Gone -[GET]:用户请求的资源被永久删除,且不会再得到的。

    422 Unprocesable entity - [POST/PUT/PATCH] 当创建一个对象时,发生一个验证错误。

    500 INTERNAL SERVER ERROR - [*]:服务器发生错误,用户将无法判断发出的请求是否成功。

    4.8错误处理

    如果状态码是4xx,就应该向用户返回出错信息。一般来说,返回的信息中将error作为键名,出错信息作为键值即可。

    {

        error: "Invalid API key"

    }

    4.9返回结果

    针对不同操作,服务器向用户返回的结果应该符合以下规范:

    GET /collection:返回资源对象的列表(数组)

    GET /collection/resource:返回单个资源对象

    POST /collection:返回新生成的资源对象

    PUT /collection/resource:返回完整的资源对象

    PATCH /collection/resource:返回完整的资源对象

    DELETE /collection/resource:返回一个空文档

    4.10Hypermedia API

    RESTful API最好做到Hypermedia,即返回结果中提供链接,连向其他API方法,使得用户不查文档,也知道下一步应该做什么。

    比如,当用户向api.example.com的根目录发出请求,会得到如下文档:

    {"link": {

          "rel":   "collection https://www.example.com/zoos",

          "href":  "https://api.example.com/zoos",

          "title": "List of zoos",

          "type":  "application/vnd.yourformat+json"

        }}

    文档中有一个link属性,用户读取这个属性就知道下一步该调用什么API了。rel表示这个API与当前网址的关系(collection关系,并给出该collection的网址),href表示API的路径,title表示API的标题,type表示返回类型。

    Hypermedia API的设计被称为HATEOAS。Github的API采用次设计方式,访问api.github.com会得到一个所有可用API的网址列表。

        {

          "current_user_url": "https://api.github.com/user",

          "authorizations_url": "https://api.github.com/authorizations",

          // ...

        }

    如果想获取当前用户的信息,应该去访问api.github.com/user,然后就得到了下面结果:

     

        {

          "message": "Requires authentication",

          "documentation_url": "https://developer.github.com/v3"

        }

    上面代码表示,服务器给出了提示信息,以及文档的网址。

    4.11其它

    1)API的身份认证应该使用OAuth 2.0框架。

    2)服务器返回的数据格式,应该尽量使用JSON,避免使用XML。

    消息服务传输

    Java消息服务(Java Message Service)是message数据传输的典型的实现方式。系统A和系统B通过一个消息服务器进行数据交换。系统A发送消息到消息服务器,如果系统B订 阅系统A发送过来的消息,消息服务器会消息推送给B。双方约定消息格式即可。目前市场上有很多开源的jms消息中间件,比如 kafka,ActiveMQ, OpenJMS。

    一、消息服务设计

    目前需要导入一个大文件到系统A,系统A保存文件信息,而文件里面的明细信息需要导入到系统B进行分析,当系统B分析完成之后,需要把分析结果通知系统A。

    1)系统A先保存文件到文件服务器。

    2)系统A 通过webservice 调用系统B提供的服务器,把需要处理的文件名发送到系统B。由于文件很大,需要处理很长时间,所以B不及时处理文件,而是保存需要处理的文件名到数据库,通过后台定时调度机制去处理。所以B接收请求成功,立刻返回系统A成功。

    3)系统B定时查询数据库记录,通过记录查找文件路径,找到文件进行处理。这个过程很长。

    4)系统B处理完成之后发送消息给系统A,告知系统A文件处理完成。

    5)系统A 接收到系统B请求来的消息,进行展示任务结果。

    二、消息服务优缺点

    消息服务优点

    1)由于jms定义了规范,有很多的开源的消息中间件可以选择,而且比较通用。接入起来相对也比较简单

    2)通过消息方式比较灵活,可以采取同步,异步,可靠性的消息处理,消息中间件也可以独立出来部署。

    消息服务缺点

    1)学习jms相关的基础知识,消息中间件的具体配置,以及实现的细节对于开发人员来说还是有一点学习成本的

    2)在大数据量的情况下,消息可能会产生积压,导致消息延迟,消息丢失,甚至消息中间件崩溃。

    文件共享

    对于大数据量的交互,采用文件的交互方式是最佳方式之一。

    一、文件共享设计

    系统A和系统B约定文件服务器地址,文件命名规则,文件内容格式等内容,通过上传文件到文件服务器进行数据交互。

    最典型的应用场景是批量处理数据:例如系统A把今天12点之前把要处理的数据生成到一个文件,系统B第二天凌晨1点进行处理,处理完成之后,把处理 结果生成到一个文件,系统A 12点在进行结果处理。这种状况经常发生在A是事物处理型系统,对响应要求比较高,不适合做数据分析型的工作,而系统B是后台系统,对处理能力要求比较 高,适合做批量任务系统。

    以上只是说明通过文件方式的数据交互,实际情况B完成任务之后,可能通过socket的方式通知A,不一定是通过文件方式。

    二、文件共享优缺点

    优点:

    1 在数据量大的情况下,可以通过文件传输,不会超时,不占用网络带宽。

    2 方案简单,避免了网络传输,网络协议相关的概念。

    缺点:

    1 不太适合做实时类的业务

    2 必须有共同的文件服务器,文件服务器这里面存在风险。因为文件可能被篡改,删除,或者存在泄密等。

    3 必须约定文件数据的格式,当改变文件格式的时候,需要各个系统都同步做修改。

    socket传输

    Socket方式是最简单的交互方式,适用于c/s 交互模式,一台客户机,一台服务器。

    一、socket传输设计

    服务器提供服务,通过ip地址和端口进行服务访问。而客户机通过连接服务器指定的端口进行消息交互。其中传输协议可以 是tcp/UDP 协议。而服务器和约定了请求报文格式和响应报文格式。如下图所示:

    目前常用的http调用,java远程调用,webserivces 都是采用的这种方式,只不过不同的就是传输协议以及报文格式。

    二、socket传输优缺点

    优点:

    1)易于编程,目前java提供了多种框架,屏蔽了底层通信细节以及数据传输转换细节。

    2)容易控制权限。通过传输层协议https,加密传输的数据,使得安全性提高

    3)通用性比较强,无论客户端是.net架构,java,python 都是可以的。尤其是webservice规范,使得服务变得通用

    缺点:

    1)服务器和客户端必须同时工作,当服务器端不可用的时候,整个数据交互是不可进行。

    2)当传输数据量比较大的时候,严重占用网络带宽,可能导致连接超时。使得在数据量交互的时候,服务变的很不可靠。

    数据库传输

    一、数据库传输设计

    系统A和系统B通过连接同一个数据库服务器的同一张表进行数据交换。当系统A请求系统B处理数据的时候,系统A Insert一条数据,系统B select 系统A插入的数据进行处理。

    二、数据库传输优缺点

    优点:

    1)相比文件方式传输来说,因为使用的同一个数据库,交互更加简单。

    2)由于数据库提供相当做的操作,比如更新,回滚等。交互方式比较灵活,而且通过数据库的事务机制,可以做成可靠性的数据交换。

    缺点:

    1)当连接B的系统越来越多的时候,由于数据库的连接池是有限的,导致每个系统分配到的连接不会很多,当系统越来越多的时候,可能导致无可用的数据库连接

    2)一般情况,来自两个不同公司的系统,不太会开放自己的数据库给对方连接,因为这样会有安全性影响

    数据爬取

    数据爬取可根据不同环境做不同方案,C/S模式可用数据抓包工具进行抓包数据,B/S模式可定制开发网络爬虫实现数据爬取。获取到的数据传输到指定位置,再进行使用处理。不过爬取的数据获取方式比较“非主流”,并且存在安全问题及对服务器的压力,不建议使用此种方式。

    展开全文
  • 多系统对接的实现方案

    千次阅读 2021-07-19 03:35:45
    未来企业不断走向多元化的发展,从生产经营提升到生产服务一体化运营,从单一产品供应提升为总体方案的建设,从局部服务提升为全方位整合。企业应用的信息化系统也越来越多,截至目前没有任何一套软件能够解决...

    随着信息化的发展,以及互联网、万物互联的逐渐普及和大数据时代的来临,数据资产已经成为企业的战略武器,越来越多的企事业单位不断上线了各种软件系统,另外随着移动互联网的发展,又出现了移动端多端应用,既出现了手机、PDA、Pad、移动智慧大屏等多类硬件设备,也出现了向钉钉、企业微信、飞书等分发的微应用,多个系统的同时出现发挥了不同的优势,可是系统平台越多也意味着"信息孤岛"越严重,数据中台和异构系统集成的出现就是为了解决信息孤岛,把多样化的系统整合到一起,让数据一体化、标准化,让所有系统能够贯通,这样既减少了重复的工作量,又大大提高了数据的共享能力,实现了数据资产的高度治理。

    未来企业会不断走向多元化的发展,从生产经营提升到生产服务一体化运营,从单一产品供应提升为总体方案的建设,从局部服务提升为全方位整合。企业应用的信息化系统也越来越多,截至目前没有任何一套软件能够解决企业的所有的问题,每款系统平台都有他的特性,在管理的某些方面,发挥着比其他产品更加优秀的作用。

    未来是一个大融合的时代,大数据时代的信息化建设将单一的系统建设向多系统应用发展,产业互联网的时代将从企业内控管理的内循环会提升为产业协同的外循环异构系统的数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中采集进来,进行规则的映射,再分发到不同的系统,从而为企业提供全面的数据共享

    比如下图的场景中可以将SAP强大的企业资源管理和OA强大的审批流程结合起来,实现ERP业务数据流程的严谨管控的同时可以实现合同、付款等重要节点的评审会签和流程审批,同时也可以将采购端、销售端供销商的自主下单和订单跟踪,物流跟进、款项发票对账分发到钉钉、企业微信、公众号、小程序等多端应用中去。甚至针对一些电商的用户,可以将电商系统和企业内部ERP集成起来形成业务闭环,把企业生产出来的商品即时发布到电商平台,把电商平台的订单、发货、收款数据再取回来,在ERP形成了线上业务数据和线下B端批发业务数据的整合,打通了企业的外循环。

    要实现企事业单位异构系统的集成也不是一件简简单单的小事,企业普遍的做法是找自己的软件服务商去二次开发,最终会发现A软件厂商说我的接口没问题对方系统有问题,或者是双方的系统都会出现二次开发的可能,每个软件供应商尽可能要保障自己系统的稳定、流程顺畅,把一些疑难问题跑给对方软件公司,有很多客户方也不具备全面的整合能力,其实是甲乙双方打比赛缺少了裁判和评委。数据中台的出现就是要把各方系统中不一致、不标准的数据规范统一标准化,不能标准化的通过抽取双方系统的主数据及相关枚举列表数据做映射关系实现标准化,同时分发给各个系统的数据结构经加工后保证符合对方系统接收的要求。

    那么如何实现数据中台多系统的集成呢?我们长期的研发和客户案例中总结出来有以下几种思路可供参考:

    1. 通过BusData企业数据总线实现数据集成  

    BusData数据总线集成是通过在数据中台中间件上统一进行规则制定、采集抽取、映射转换、管道调度和定向分发,它是一个中心辐射型的星型结构或总线结构,因此把它成为BusData数据总线。采用总线架构可以明显减少编写的专用集成代码量,提升了集成接口的可维护性和可管理性。不同连接对象如果连接方式有差异,可以通过总线完全屏蔽掉,做到对连接对象透明,无需各个连接对象关心。通过总线结构,把原来复杂的网状结构变成简单的星形结构,极大提高了硬件的可靠性和可用性。

    BusData数据总线集成可分为:EDI-电子数据交换ESB-企业服务总线

    EDI是按照国际标准消息格式发送信息,接收方也需要按国际统一规范的语法规则,对消息进行处理,并引起其他相关系统的EDI综合治理。标准化的EDI数据交换保证了不同国家、地区、企业的各种商业文件(如单证、回执、载货清单、验收通知、出口许可证、原产地证等)的无障碍电子化交换,促进了国际贸易和交互的发展。

    ESB企业服务总线的使用标志着数据治理的应用集成进入了SOA面向服务集成的时代。其主要特征是基于一系列Web标准或规范来开发接口程序,包括UDDI、SOAP、WSDL、XML、Json,并采用支持这些规范的中间件产品作为集成平台,从而实现了一种开放而富有弹性的应用集成方式。ESB是对web服务(WebService和Web )的注册、调度和管理,WebService/WebAPI是一种跨编程语言、跨操作系统平台的远程调用技术,是web的一种标准。它向外界暴露了一个能通过Web调用的API接口。各个软件的接口说明文件规定本系统有什么服务可以对外调用和回调,提供了什么服务,本服务中有哪些方法,方法入参是什么,返回值是什么,服务的相关参数及调用方式等等。

    2. 通过点对点现实现数据集成  

            点对点数据集成的情况常见于2个系统之间的集成,主要场景有端到端(内网部署的两套系统,C/S系统之间的通信等)、端到云(一端部署在企业内部、另一套软件在云端)、云到云(两套系统均在云端)。有些客户会找2套软件中的一家软件供应商去做二次开发,这种方式软件开发方一般采用在原有系统中做接口获取对方数据或者发送给对方系统数据,这种方式应对2个系统对接也许可以,但是难以应对多个系统复杂的数据流向,同时如果任意乙方系统升级、更换其他系列产品等情况发生后,可能导致对接工作需要重新开展。

    因此我们看出点对点的集成架构不能集中管理和监控接口服务,仅支持一对一的数据交换,如果交换协议不一致,开发则变得困难,另外这种集成是紧耦合的,当一个对双方系统紧密关联的接口变化时,所有与其相关的接口程序都需要重新调试或开发,从企业长期信息化规划发展来看,这种方式反而成本会比较高,可用性和可维护性差。

    3. 批量数据集成

    离线批量数据集成,一般是基于ETL工具的离线数据集成,ETL即数据的提取(Extract)、转换(Transform)和加载(Load),。

    ETL常用的实现有有三种:ETL工具抽取、数据库同步(数据实时单向同步或双向同步)、ETL和SQL混合同步。

    ETL工具抽取,常用到的工具有Talend、DataX、Kettle、Informatic等,借助ETL工具快速建立数据抽取规则定制、调度任务机制,省去了复杂的编程工作,提高了数据治理的效率。

    数据库同步是借用数据库自带的同步、订阅、分发的功能进行,但前提是源数据库表和目标系统数据库表结构和字段属性需要保持基本一致,它一般应用与分布式数据库系统,有中央数据库和各终端对称数据库的场景下,对不同的两个系统来说,要保证数据结构的一致性,这种可能性很小,还得搭建中间库,两个系统还得做一些开发才能实现异构系统的集成,另外有很多云端Saas版的系统以及对安全性要求很高的系统不可能开放数据库供对方系统调用。

    ETL和SQL混合同步综合了前面二种的优点,会极大地提高ETL的部署速度和效率。 

    4.流数据集成

    流数据集成也叫流式数据实时数据采集,通常是采用Kafka、Kinesis、Flume等流式数据处理工具对NoSQL非关系型数据库进行实时监控和复制,根据应用场景做相应的处理(去重、去噪、预处理运算),之后再写入到对应的数据存储中。

    以Kafka为例,它能够通过KafkaConnectAPI实现流数据管道的构建。ConnectAPI利用了Kafka的可扩展性,kafkaconnect是围绕kafka构建的一个可伸缩,可靠的数据流通道,通过kafkaconnect可以快速实现大量数据进出kafka从而和其他源数据源或者目标数据源进行交互构造一个低延时的数据通道。它可通过KafkaStreamsAPI实现数据转换,它用于在Kafka上构建高可分布式、拓展性,容错的应用程序。它建立在流处理的一系列重要功能基础之上,比如正确区分事件事件和处理时间,处理迟到数据以及高效的应用程序状态管理。KafkaStreams包含了ConsumerAPI和ProducerAPI的功能,增强了对数据流的处理能力。使用Kafka作为流处理平台能够消除为每个目标sink、数据存储或系统创建定制化(很可能是重复的)抽取、转换和加载组件的需求。来自数据源的数据经过抽取后可以作为结构化的事件放到平台中,然后可以通过流处理进行数据的转换。

    5.爬虫数据采集

    爬虫数据采集是通过网络爬虫或网站公开API等方式从网站上获取数据信息的过程,它一种按照一定的规则,自动地抓取互联网信息的程序或者脚本,一般分为通用网络爬虫和聚焦网络爬虫两种。网页爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂,需要根据一定的网页分析算法过滤与主题无关的链接,保留有用的链接并将其放入等待抓取的URL队列。常见的网络网页爬虫有Octoparse、WebCopy、HTTrack、Getleft、Scraper等,支持文本文件、图片、音频、视频等非结构化数据、半结构化数据从网页中提取出来,存储在本地的存储系统中。

    1624643963330040.png

    文章来源:http://www.zipyun.cn/vip_doc/20951444.html

    展开全文
  • 山东省助力地方创新驱动发展工程莒县示范区启动仪式暨人才、项目对接会召开.docx
  • 简介请求格式:参数说明:广告主在广点通(e.qq.com)创建转化之后,系统自劢生成该 id;data:为加密的数据结构,字符串,详细描述见本文第 3 部分;
  • 对接思路: 1. 金蝶ERP中用表单插件,通过按钮事件把需要传递钉钉的数据整理成json格式。调用钉钉的接口,发送给钉钉。 2. 钉钉审批结束后,触发回调事件。配置个web网页接收回调数据,并对回调作处理,再调用...

    业务系统使用了金蝶云星空ERP,办公审批考勤等使用钉钉软件,本文介绍如何使两个系统数据互通。

    对接思路:

    1. 金蝶ERP中用表单插件,通过按钮事件把需要传递钉钉的数据整理成json格式。调用钉钉的接口,发送给钉钉。

    2. 钉钉审批结束后,会触发回调事件。配置个web网页接收回调数据,并对回调作处理,再调用金蝶webapi接口,处理单据。

    以下是我们已经实现的插件介绍。

    金蝶&钉钉集成插件实现了,金蝶ERP和钉钉办公软件的互联互通。

    主要应用:

    1. ERP订单流程审批(销售采购订单、领退料、付款申请审批)
    2. ERP消息提醒(收发货通知、领退料通知、收付款通知)
    3. ERP流程办理(销售收款业务员认领,商品到货确认)

    系统亮点:

    1. 金蝶和钉钉都是原生系统接口,兼容性好(金蝶插件,和钉钉API回调)。
    2. 信息实时调用,无第三方监控程序,节省计算资源,系统稳定可靠。
    3. 发送审批未审批支持撤回。
    4. 自定义程序代码,能按照客户需求定制功能。
    5. 不需要单独购买金蝶审批流模块,不增加用户数。

    钉钉插件视频介绍https://zjgkd.oss-cn-shanghai.aliyuncs.com/cloud/%E9%87%91%E8%9D%B6%E9%92%89%E9%92%89%E9%9B%86%E6%88%90%E6%8F%92%E4%BB%B6.mp4

    展开全文
  • 应用系统数据对接几种方案

    万次阅读 2018-03-12 09:21:59
    应用系统之间数据传输的几种方式第一种方案:socket方式 Socket方式是最简单的交互方式。是典型才C/S交互模式。一台客户机,一台服务器。服务器提供服务,通过IP地址和端口进行服务访问。而客户机通过连接服务器...
  • 精准匹配,高效对接——首期“校园建设线上供需对接会”成功举办 2021年12月24日,由SCE校建会主办的首期“校园建设线上供需对接会”圆满结束。 十四五规划提出高质量教育发展要求,校园建设面临场景重构...
  • 主平台对接多个系统,如果按照一般方案,人员信息数据过来后,先查询判断是否存在,如果存在,则更新,如果不存在,则新增,但是如果数据量越来越大,不会判断查询的时候越来越慢,就比较费时或者锁表,其他比较好...
  • 此次以Web应用程序对接支付宝当面付支付为例。本文只提供思路,具体实现没语言都不一样,但是逻辑是一样的,我用Java和Go实现了。 准备 支付宝商家认证并创建一个应用 一个可以公网访问的IP,用于接收支付宝回调...
  • Kubernetes版本对接对象存储几种方案

    千次阅读 2022-04-27 18:33:36
    文章目录Kubernetes版本对接对象存储对象存储社区方案方案1:Object Storage API (COSI)**[方案2:csi-s3](https://github.com/ctrox/csi-s3)**Kubernetes 要求MountFlags为什么要将S3 以文件存储的方式挂载到 ...
  • 与授权服务器的对接方案

    千次阅读 2017-10-23 09:46:21
    授权服务器对接
  • 4G低功耗摄像头,以下简称4G-IPC(IP Camera)。 由于低功耗、带电池、太阳能(可选)...从平台方案上,合宙在Cat.4和Cat.1(合宙4G系列模块)上均支持4G-IPC对接:   合宙4G模块目前已经成功对接了Linux/RTT/Li
  • 数据中台一般具备4个能力:数据采集整合、数据提纯加工、数据服务可视化、数据价值变现。 l 数据采集整合:创建企业数据中台第一步,打破企业内部各个业务系统的数据隔阂,形成统一的数据中心,为后续数据价值的...
  • Doris对接消费kafka数据方案实现

    千次阅读 2022-04-09 11:29:52
    doris对接kafka,消费kafka数据到doris中方案实现
  • Flink对接Kafka常见问题与解决方案

    千次阅读 2021-08-28 22:11:12
    1.Flink对接kafka出现数据倾斜 问题现象 使用FlinkKafkaProducer进行数据生产过程中数据只写到了kafka的部分分区中,其它的分区没有数据写入。 可能原因1:Flink写kafka使用的机制与原生接口的写入方式是有差别的...
  • 使用电脑的人员就可以在最短时间内熟练操作及设置,功能强大满足不同的需求。 2、个性化的虚拟呼叫器,可以实现内部互传即时信息,现显系统信息,查看等候及已完成就诊情况,个性化界面三种模式自由随意转换并可...
  • 2月28日,校园团餐服务线上供需对接会诚邀您参加! 团餐目前还处于相对传统的状态,信息化水平低、供应链难以追溯源头、食安问题没有保障、菜品单一、特色档口少等问题依然困扰着团餐经营。但随着当下整个餐饮行业的...
  • 开放平台设计方案与实践

    千次阅读 热门讨论 2021-05-13 00:29:58
    欢迎大家关注我的微信公众号【老周聊架构】,Java后端主流技术栈的原理、源码分析、架构以及各种互联网高并发、高性能、高可用的解决方案。 一、背景 随着业务的发展,越来越多的系统需要数据往来。那对外提供的...
  • RealTek方案ONU对接不通厂家OLT 配置

    千次阅读 2019-01-05 09:30:22
    1、Realtek芯片方案的ONU 作为HGU时 ,在OLT配置必须指定VEIP 才能使业务通; 2、realtek方案 ONU 设计说明: ONU应根据设备类型使用并在MIB upload时上报VEIP和PPTP的一种。 其中: SFU仅使用和上报PPTP,不应...
  • API对接实战

    千次阅读 多人点赞 2020-09-26 21:23:00
    在平时工作中,经常遇到的一种场景是:A公司要对接B公司的API方法,这时,A公司就要阅读B公司的接口文档,从接口文档中找到自己需要对接的API,并根据接口文档的要求,完成编码工作,最终完成对接工作。...
  • 采供双方不仅可以参加对接会,还可在此次大会上获取新能源与智能网联汽车产业链相关资源,了解和沟通新能源与智能网联汽车技术发展趋势、供应链和技术相关问题的解决方案,学习其它企业的先进和优势之处,推广自己...
  • 动机:从头算蛋白质对接是优化高维空间中嘈杂且昂贵的“黑匣子”功能的一个重大挑战。尽管在这一领域取得了进展,...据我们所知,这项研究代表了第一个蛋白质对接的不确定性量化解决方案,具有严格的理论和全面的评估。
  • 智慧养老的痛点和解决方案对接

    千次阅读 2019-08-20 10:23:45
    中国老龄人口体量大增速快。据测算,我国60岁以上的老龄人口,已达到2.45亿,占全部人口的17%,预计到2050年将达到4.45亿,占全部人口的25%。...其中,社区智慧健康养老解决方案等产业和技术快速发展,形成了新...
  • 数采物联网转为专注为工业物联网数据采集方案的提供商,在这里给大家介绍下modbus与OPC调试对接方案。 OPC工具:kepServer 四种通信模式即可电脑模拟 1、软件是MODBUS通讯协议RTU模式主站软件,当按照MODBUS通讯...
  • 北京医保接入系统设计方案,一个医院必须接入本地的医疗保险,同时还很有可能接入附近多个地区的医疗保险,不同地区的医保政策不同,造成医保接入方案基本不同,当前社会医保正向跨区域医保异地结算方式发展,在可...
  • 电子面单平台JAVA对接方案

    千次阅读 2016-10-13 16:07:09
    电子面单是一种通过热敏纸打印输出纸质...1. 快递电子面单接口:快递公司自己开发的电子面单服务,商家使用必须快递公司上门做系统对接,使用一家快递则需要对接一次。 2.菜鸟电子面单接口:可一次对接15家快递公司,

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 73,984
精华内容 29,593
关键字:

对接会方案