精华内容
下载资源
问答
  • 凯纳实时工业数据解析存储服务中间件可实现海量 实时数据接收、处理与存储服务中间件支持多种 行业通讯协议,支持协议自定义与数据校验,运行 安全稳定,入库效率高,可满足各类数据管理系统 和数据仓库的构建需求...
  • 主要介绍了数据计算中间件技术综述 ,传统企业大数据架构的问题,通过一张图就能看懂,感兴趣的朋友跟随小编一起通过本文学习吧
  • OPC数据交换中间件

    2018-10-23 14:49:14
    KepOPC是经过现场长时间测试,稳定可靠,定位于工业互联网(OPC方式)的跨平台数据交换中间件,非常适合工业企业的控制层往生产执行层和决策支持层的数据交换业务需求。
  • 为您提供Porter数据同步中间件下载,Porter是一款数据同步中间件,主要用于解决同构/异构数据库之间的表级别数据同步问题。Porter始于2017年,提供数据同步功能,但并不仅仅局限于数据同步,在随行付内部广泛使用。...
  • 数据计算中间件介绍.pptx
  • 随着计算机技术和计算机网络的发展,各行各业的数据处于分布式的计算机系统中,为了解决这些网络环境中异构数据库数据共享和协作问题,文章从电子政务交换平台中的数据访问这个角度对数据访问中间件进行探讨,提出了基于...
  • 精维数据访问中间件位于操作系统、数据库系统、网络计算服务之上,提供对底层的透明屏蔽,管理着底层的复杂的计算资源和网络通信,为应用系统访问远程数据库对象或其它网络数据对象提供运行与开发的环境,同时作为...
  • 校园网格环境下基于Web服务数据集成中间件的设计,靳立琼,殷兆麟,分析和研究了校园网格环境中数据访问和集成的需求,结合中间件技术的特点,提出了具有N层应用体系统结构的基于Web服务数据集成��
  • 基于中间件的异构数据检索服务.pdf
  • 将Word表格数据导入Oracle中的数据入库中间件.pdf
  • 利用中间件(Middleware)技术集成各种异构数据时,不用改变原始数据的存储和管理方式,可集中为异构数据源提供一个统一的高层检索服务,是实现异构数据集成的理想解决方案。  异构数据访问中间件系统的就是要解决...
  • 兆祺 数据挖掘中间件系统

    千次阅读 2011-05-31 10:04:00
    功能简介  北京兆祺科技发展有限公司于2010年研发出兆祺数据挖掘中间件系统。兆祺数据挖掘中间件系统是针对新农合和医保领域的数据挖掘工具,具备卓越的分析能力、可视化的操作方式和高度可扩展性。它...

    功能简介

          北京兆祺科技发展有限公司于2010年研发出兆祺数据挖掘中间件系统。兆祺数据挖掘中间件系统是针对新农合和医保领域的数据挖掘工具,具备卓越的分析能力、可视化的操作方式和高度可扩展性。它拥有直观操作界面、自动化数据准备以及成熟的预测分析模型,能快速建立预测性模型,帮助使用者改进决策过程。目前已应用于山东省30多少个县的新农合和医保业务。

    兆祺数据挖掘中间件系统的主要功能有:轻松获取、准备以及整合结构化数据和文本、网页、调查数据;快速建立和评估模型;按照计划把预测模型有效地部署到系统中或者发送给决策者;

     体系结构

           兆祺数据挖掘中间件系统使用Database Server + 数据挖掘服务器 + Client客户端的三层分布式体系结构,数据挖掘服务器能够和一个或多个 Client端程序一起运行: Database Server数据库服务器。

            数据库服务器可以是现有的数据集市(例如,基于大型 UNIX 服务器的 Oracle 服务器),也可以为了降低对其它业务系统的影响而建立的本地或部门服务器中的数据集市。数据挖掘服务器通过网络与数据库相连接,作为服务(在 Windows 中)或进程(在 UNIX )运行,同时等待客户端连接。

           Client 客户端软件安装在最终用户计算机上。客户端软件提供用户界面并显示数据挖掘结果。兆祺数据挖掘中间件系统还提供对SQL 优化和数据库内建模功能的支持,从而在性能和自动化方面带来更多的优势。

           除 Windows 系统以外,兆祺数据挖掘中间件系统可以在 UNIX 上运行,这样在选择安装平台时更具灵活性。在任何平台上,您均可指定快速、大型的服务器计算机来进行数据挖掘。

    展开全文
  • 基于XQuery处理器的异构数据集成中间件.pdf
  • 为了解决企业ERP与MES之间的数据交互,减少作业时间和人为误差,提高录入的效率和数据准确性,最大限度的保持数据的同步,提出了一种基于Web Service技术来实现静态数据的时时更新和动态数据的同步更新的中间件设计...
  • Android_Matlab数据交互中间件架构设计.pdf
  • 一种移动车联网大数据处理中间件.pdf
  • 数据采集中间件技术对比V1.0

    千次阅读 2020-08-05 11:08:24
    大数据_数据采集中间件技术对比


    1 前言

    大数据平台一般包括以下几个步骤:
    数据采集 -> 数据存储 -> 数据分析 -> 数据展示(可视化、报表、监控等)
    其中数据采集是一个十分重要的组成部分。大数据采集的任务也有许多特点,比如:数量大、数据源多样性、变化快、保证数据正确、避免数据重复等。
    这里我们调研了几款常用的大数据采集中间件:datax、flume、sqoop、canal、maxwell、nifi和kettle。
    以下,将从几个方面对比着7款中间件。以便在各种数据采集需求下能选用更加适合的工具。
    另外,这里放几个大厂实践的例子作为参考。

    2 数据采集中间件对比

    具体的安装使用步骤这里不过多赘述,详情请查看对应的技术实践文档。

    2.1 支持的数据源

    数据采集中间件一个比较重要的特征就是所支持的数据源。

    1. flume:flume支持的数据源一般是文件或者目录,比如单点采集时候接收单个文件;TailDIR监控目录;
    2. sqoop:Sqoop支持的数据源一般是RMDB,比如mysql、oracle、hive和hdfs等;
    3. datax:datax支持的也是关系型数据库
    4. canal:Canal由于原理上是伪slave,所以基本只支持开启了binlog的mysql;
    5. maxwell:与canal相同,只支持开启了binlog的mysql;
    6. nifi:Nifi界面化操作,只要是能在processor中搜索的到数据格式都能支持。比如,mysql和kafka。
    7. kettle:在Kettle实践的文档中可以看到Kettle支持的数据源是非常多样化的,比如:文本、数据表、CSV、hbase、msyql、hdfs等等。

    2.2 支持的数据格式

    综合2.1的分析,再看这些中间件支持的数据格式:

    1. flume:支持文件格式。avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy;
    2. sqoop:由于RMDB和HDFS的局限,仅支持SQL表和hdfs中的结构化数据;
    3. Datax:与sqoop一样也是sql或者hdfs文件
    4. canal:输入的数据仅仅支持mysql的binlog,输出的文件可以定制;
    5. maxwell:输入的文件格式也是binlog,但是输出的格式也有限制,是json。详见maxwell的实践文档;
    6. nifi:processor界面可以搜索的到文件格式都支持,比如csv、db、文本、kafka数据等;
    7. kettle:同样,trans中能搜索到的文件格式都支持,比如Habse表,mysql表、 文本、CSV等等。

    2.3 支持的上下游中间件

    说完数据源和文件格式,在对比一下支持的上下游插件,毕竟大数据百花齐放,中间件众多,多支持一个多一份竞争力:

    1. flume:flume上下游支持的中间件常用的有hdfs和hbase;
    2. sqoop:sqoop上下游支持的中间件常用的有mysql、oracle、hdfs;
    3. datax:支持的上下游与sqoop相似
    4. canal:canal上游只支持mysql(MariaDB)、下游支持的中间件可以定制,一般是kafka;
    5. maxwell:与canal一样上游只支持mysql,但是不可定制,只支持kafka等;
    6. nifi:支持的上下游中间件众多,kafka;
    7. kettle:同样支持众多中间件,比如,mysql、hbase、hdfs等等。

    2.4 任务监控

    1. flume:Ganglia第三方插件监控;
    2. sqoop:无;
    3. datax:需要另外部署datax-web。官方自带
    4. canal:无;
    5. maxwell:无;
    6. nifi:自带界面可视化监控;
    7. kettle:自带界面可视化监控。

    3 MYSQL的BINLOG日志工具分析:CANAL、MAXWELL

    参考链接:https://mp.weixin.qq.com/s/ePI5oU0aLElOtxaB7EFUyg
    这篇文章对比了canal、maxwell和其他两种binlog日志分析工具。这里只拣关注的部分看。首先是介绍了canal原理,其实maxwell原理也是一样的:
    在这里插入图片描述
    由于canal和maxwell太多一样的地方,就直接给对比的结果了:
    在这里插入图片描述

    4 有赞大数据:FLUME 数据采集服务最佳实践

    参考链接:https://www.sohu.com/a/300084430_753508
    该文章主要写了有赞大数据Flume采集架构的演变和性能优化:
    在这里插入图片描述
    这是第一个版本的架构,采用的NsqSource和FileChannel到hdfsSink;
    在这里插入图片描述

    在第二个版本,出于对FileChannel故障的考虑,采用了扩展出来的NsqSourceChannel,好处是:
    • 每个消息的传递只需要一次事务,而非两次,性能上更佳。
    • 避免引入了新的 kafka 服务,减少了资源成本的同时保持架构上更简单从而更稳定。

    5 基于NIFI+SPARK STREAMING的流式采集

    参考链接:https://cloud.tencent.com/developer/article/1654949
    本文采用NiFi+Spark Streaming的技术方案设计了一种针对各种外部数据源的通用实时采集处理方法。
    在这里插入图片描述
    本方案采用NiFi进行采集数据,然后经过Spark Streaming流式处理引擎,将采集的数据进行指定的转换,生成新数据发送到Kafka系统,为后续业务或流程提供,如Kylin流式模型构建。

    6 基于OGG和SQOOP的TBDS接入方案系列-SQOOP与腾讯大数据套件TBDS的集成示例介绍

    参考链接:https://cloud.tencent.com/developer/article/1444731
    此案例介绍了一个利用Sqoop将数据从Oracle离线导入到腾讯大数据套件TBDS中Hadoop和Hive组件的场景。
    文章很长,基本就是一些sqoop的常用用法,导入到hdfs和hive。核心的命令就是sqoop import:
    在这里插入图片描述

    7 利用KETTLE进行SQLSERVER与ORACLE之间的数据迁移实践

    参考链接:https://www.cnblogs.com/hans_gis/p/10591174.html
    这个案例介绍了将SQLServer中的数据导出到Oracle中,主要是一些技术实现,任务视图如下:
    在这里插入图片描述
    分别在表输入和表输出中配置SqlServer和oracle的连接信息即可。

    8 总结

    这里简单总结一下这些数据采集中间件的特点。
    按照他们的特征,我把这6款中间件简单分为3类:Canal和Maxwell都是作为Binglog同步工具;Kettle和Nifi都是界面可视化操作;Flume和Sqoop是命令行操作。全部放在一起对比各有特色,但是按照用途来讲的话就很好比较了:
    flume:文件采集;
    sqoop:RMDB到hdfs/hive/hbase的文件采集,或者反向hdfs到RMDB导出;
    canal/maxwell:mysql增量数据的实时监控,有点区别就是maxwell直接输出为json到kafka;canal还得解析,但也多了一分灵活;
    kettle/nifi:都是可视化界面的拖拉拽操作,但是实现的功能侧重是不一样的。Kettle强于ETL操作,Nifi的强项是数据流的采集。
    说到这里,基本上各自的应用场景都很清晰了,只是flume和Nifi好像都是强于文件采集。但是侧重点又有点不一样,Flume没有可视化界面,他的操作都在flume/conf/下的配置文件中,虽然只有source/channel/sink但是采集更加灵活。而Nifi采集的配置在processor中根据选项选出来。
    最后按照对比总结一下6款中间件适用的场景:

    1. flume:适合复杂的文件采集;
    2. sqoop:适合RMDB到大数据平台其他中间件的传输,比如hdfs/hive/hbase;
    3. datax:与sqoop高度相似,又比sqoop各方面要强一点。有替代sqoop的趋势;
    4. canal:适合mymql增量数据的实时同步,可以支持格式,输出的多样化;
    5. maxwell:适合mysql增量数据快速实时同步到kafka;
    6. Nifi:适合简单的文件流传输操作,有简单的可视化界面,学习成本低;
    7. Kettle:适合复杂的ETL操作,并且有可视化界面,操作简单。
    展开全文
  • 针对基于DCOM配置的OPC数据集成方式存在配置复杂、需要更改防火墙或网闸设置等问题,设计了一种基于OPC UA的数据交互中间件,介绍了该中间件的结构及功能。该中间件实现了即插即用,只需通过简单配置,就可以跨越防火墙/...
  • 一个把POST请求数据解析为JSON数据中间件
  • 北航冠新新农合数据挖掘中间件

    千次阅读 2011-05-30 17:32:00
    系统功能 北航冠新新农合数据挖掘中间件系统支持数据挖掘的标准流程。可提供数据挖掘相关的数据理解、数据抽取加载转换、数据分析、建模、评估、部署等全过程的功能。 新农合数据挖掘中间件是一个...

    系统功能

    北航冠新新农合数据挖掘中间件系统支持数据挖掘的标准流程。可提供数据挖掘相关的数据理解、数据抽取加载转换、数据分析、建模、评估、部署等全过程的功能。

    新农合数据挖掘中间件是一个领先的新农合数据挖掘平台。强大的数据挖掘功能将复杂的统计方法和机器学习技术应用到数据当中,帮助揭示了隐藏在数据库和普通文件中的模式和趋势,更好的利用新农合基础数据。

     

    系统特点

    1.        多种文件数据读取

    提供对多种格式数据和文件进行处理的能力,能从多类型文件读取所有格式数据;能与大多数主流数据库(IBM DB2,Oracle,Informix, Sybase, SQL Server等)直接连接。

    2.        快速数据处理

    能对多种数据进行处理,用户可以通过拖拉的方式实现数据的预处理,不需要精通数据库语言。

         对记录的操作有:选择、抽样(随机、聚类、分层)、平衡、汇总、排序、合并、追加、区分;对字段的操作有:过滤、导出新字段、填充、集合字段重新分类、连续字段离散化、分区、重新结构化、转置、时间区间等。

    3.        直观的数据展示

    有多种图形化输出,帮助用户理解数据间的关键性联系,并指导用户以最便捷的途径找到问题的最终解决办法。

     提供了3D、图形和动画等多种可视化技术处理数据,使得数据关联性信息一目了然,有散点图、分布图、直方图、堆积图、多重散点图、网络图、评估图和时间散点图等等。

    4.        先进的数据挖掘工具

    提供多种数据挖掘技术,能满足各种数据挖掘应用。包括数据探索、决策树、神经网络、聚类等数据挖掘工具。

     

    展开全文
  • 应用服务器中间件

    千次阅读 2007-07-27 11:39:00
    应用服务器可以把不同的应用软件作为构件整合到一个协同工作的环境里,并为应用提供了名字、事务、安全、消息、数据访问等服务,此外它还提供应用构件的开发、部署、运行及管理功能。 2.发展历程 传统的 中间件有...
    1.概述 
    


      应用 服务器 中间件又称为“应用服务器软件平台”,是当代软件的基础设施,是最为重要的一类中间件。应用服务器可以把不同的应用软件作为构件整合到一个协同工作的环境里,并为应用提供了名字、事务、安全、消息、数据访问等服务,此外它还提供应用构件的开发、部署、运行及管理功能。

      2.发展历程


       传统 的 中间件有数据访问中间件(ADO)、远程过程调用中间件(COBRA)、消息中间件、联机事务处理中间件等。Internet的出现又催生了早期的Web服务器,用于满足人们基于 Web浏览器进行信息交换的需要。但由于Web服务器并不能为大规模商业应用提供高性能和高可靠性支持,因此使应用的扩展性受到了限制,与此同时软件体系结构也正在经历着从C/S、B/S到三层/多层的深刻变革。

        面向对象技术和构件 技术 的兴起,出现了以Java/EJB、DNA/COM和CORBA为代表的分布式对象/构件计算模型,使用上述技术的应用服务器中间件涵盖了传统中间件的功能,完全支持三层/多层的软件体系结构发展和软件复用,逐渐成为中间件产品的主流。随着构件技术进一步发展,Java/EJB融合了CORBA的优点并演化成为J2EEMicrosoft DNA/COM演化为.NET,CORBA也吸收了 J2EE 的构件/容器思想推出CCM架构。由于.NET是一个封闭的体系,限制了它在其它平台,特别是企业级应用中的推广。J2EE是由SUN发起并由众多重要厂商参与制订的业界规范,为应用服务器的实现提供了一个开放和完整的底层框架,具有开放性、标准化、构件化、互操作和可扩展的特点,它可以使用户在此 标准 下创建的应用程序都能运行于其上。更重要的是,在满足J2EE兼容性的条件下,在不同的应用服务器上的应用构件可以很好地互操作,这样可以降低移植的风险和代价,提高应用的灵活性,有助于保护用户的 投资 ,因此其业界接受程度很高。经过几年的发展,主要的应用服务器厂商都已经转向采用J2EE标准,J2EE成了事实上的应用服务器实现标准。

      3.现状


      J2EE自产生以来就在不断的发展中,应用服务器产品的发展紧紧跟随着J2EE的脚步。当前应用服务器厂商使用最广泛的是J2EE 1.3版本的规范。J2EE 1.4新版本也已在2003年的11月发布,核心架构基本没有改变,增加了一些增值服务并升级了一些原有规范。J2EE 1.4增加的新特性主要包括对Web Service的支持(Web Service、JAX-RPC、SAAJ、JAXR)、消息传递的完善(EJB2.1),部署和管理的增强(JMX、Mgmt),以及使Web应用 开发 变得更加容易(Servlet2.4、JSP2.0)。随着J2EE1.4的发布,已经开始有遵循J2EE1.4的应用服务器产品问世,并且越来越多的厂商开始着手或正在进行从J2EE1.3到J2EE1.4的产品升级。

      横向上,J2EE应用服务器作为衔接任何 网络 客户和各种数据存浅谈应用服务器中间件 - 浅谈应用服务器中间件 - 希赛网软件工程储层的桥梁,内部可以透明地完成业务逻辑、事务管理、消息传递、安全管理等等全面的任务;在纵向上逐渐向上延伸贴近应用,集成应用框架方面的内容,简化应用开发。

     近年来,应用服务器产业的发展呈现百家争鸣的大好形势。不仅国外著名厂商IBM、BEA、Oracle等 纷纷推出了自己的应用服务器,而且随着国内市场需求的扩大,中国中间件厂商也已经开始涉足应用服务器领域并形成了有竞争力的产品。目前,国内的J2EE应 用服务器产品主要有中创软件商用中间件公司的InforWeb应用服务器、金蝶软件的Apusic应用服务器、东方通科技的TongWeb应用服务器。


      4.趋势

      目前各应用服务器产品的基本功能已经趋于同质化,因此各厂商竞争热点将是如何为应用提供更多的增值功能服务和更好的性能。针对这一特点, Gartner提出了应用平台套件(Application Platform Suites,简称APS)的概念。根据Gartner的定义,APS由一批基础软件组装而成,这些基础软件提供了创建企业应用所需的架构,例如企业应用 服务器、门户产品和企业应用集成包等;而且根据Gartner的报告,到2007年绝大多数中大型企业会在其项目中使用APS技术(概率0.8),那时市 场上的绝大多数软件架构产品会是由专业的基础架构构件组成的模块化的集成套件(概率0.8)。另外许多应用服务器产品已经逐渐发展成为支持软件生命周期管 理的平台套件,此类套件提供软件的定义、设计、开发、测试、部署与管理维护一系列的功能,企业通过它可以更快更好地构建应用系统,简化管理并降低系统运营和维护成本,获得最佳投资 回报 。

       因此总的来看,应用服务器正朝着大而全的方向发展,“一个应用服务器,所有的中间件”可能成为下一代应用服务器追求的目标。 

    展开全文
  • 摘要:为了解决大型系统开发过程中数据访问的一致性、实时性以及数据透明性等问题,该文拓展了数据访问中间件的概念,重点介绍了一个能够适应分布式信息系统开发应用需要的数据访问中间件的设计方案以及软件实现技术...
  • 摘要:设计了一种两层的数据访问结构,第一层是介于数据...在设计数据访问中间件时,根据设计模式的概念,对访问数据 层模式进行了比较,指出了各个类的作用、相互的关系以及如何对这个类进行扩展,最后构建出中间件
  • 利用中间件(Middleware)技术集成各种异构数据时,不用改变原始数据的存储和管理方式,可集中为异构数据源提供一个统一的高层检索服务,是实现异构数据集成的理想解决方案。  异构数据访问中间件系统的核心就是要...
  • 主要介绍了koa2 数据api中间件设计模型的实现方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
  • 一种基于MySQL的数据同步中间件研究.pdf
  • 介绍了对象管理组织发布的数据分发服务(DDS)新规范,描述了DDS规范两个层次的接口DCPS和DLRL,阐述了DDS数据分发的基本思想,分析了QoS策略及其特征,探讨了DDS适用的场合和未来的发展。
  • 数据收集中间件,用于基于众包的工业传感智能
  • 基于TCP_IP协议数据传输中间件的设计与实现.pdf
  • 提出了在企业应用集成EAI(Enterprise Application Integration)中基于本体的异构数据集成中间件,通过使用本体描述语 言(OWL)对数据源进行建模,提高了系统集成的灵活性,隔离了数据源模式的变化,使得局部数据源...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 247,023
精华内容 98,809
关键字:

数据服务中间件