精华内容
下载资源
问答
  • 高比例无序RFID事件流的高效复杂事件检测模型
  • Drools-复杂事件处理

    2018-09-30 09:44:30
    drools复杂事件处理,详细说明文档。一些语法的详细解析
  • 复杂事件处理简介

    千次阅读 2018-10-03 12:06:47
    复杂事件处理 Table of Contents 概念 什么是复杂事件处理 什么是事件 Drools Fusion 事件处理的两种模式 概念 什么是复杂事件处理 复杂事件处理(Complex event processing, CEP) 是多事件的事件处理概念...

    在这里插入图片描述

    复杂事件处理

    概念

    什么是复杂事件处理

    复杂事件处理(Complex event processing, CEP) 是多事件的事件处理概念,其目标是在事件集合(事件流、事件云)中识别用户定义的有意义事件。CEP采用诸如检测许多事件的复杂模式,事件关联和抽象以及事件层次结构等技术。此外,CEP 还会检查事件之间的关系,例如因果关系,成员资格和时间安排,以及事件驱动的流程。

    以下是用户可以使用CEP跟踪的有意义事件:

    • 欺诈检测 - 每天交易10 万元可能不代表欺诈行为,但在很短时间内(一个小时内)快速连续交易100万元以上可能代表欺诈行为。

    • 实时物流 - 由 GPRS 监控的物流运送车应遵循交付货物的运送路线。如果路线在很短的时间内发生变化,则可能意味着物流运送车司机采取了捷径。但是,如果此更改持续超过两个小时,则可能意味着异常行为。

    • 业务活动监控 - 在证券交易过程中,可以在 10 分钟内买卖多个公司的 100 万股。 但是,如果一家公司的一百万只股票被市场利率较低的多个交易者买入,则可能代表股价操纵行为。

    • 交通流量控制 - 在 2 小时内通过道路传感器检测到有 100 辆车被认为是正常的。但在 15 分钟内通过传感器检测到有 100 辆车则代表交通堵塞。

    所有以上示例都表示在一个时间范围内的一组事事件中的异常状态变化。通常,要使 CEP 系统正常工作,需要执行以下功能:

    • 事件检测: 来自事件云或来自事件流。

    • 事件关联: 对于时间和非时间相关的事件,以及聚合事件。

    • 事件抽象: 从原子事件中组合复杂事件。

    什么是事件

    一个事件(event)是在特定时间范围内在受监视环境中的特定时间点的事实状态的显著变化。

    在 Drools 中,工作内存中对象的状态可以在规则处理期间更改,如果在一个时间范围内,对象经历了重大变化,则将事件对象插入工作内存区域。因此,事件将被存储为事实(Fact)。一个事件(Event)可以变成事实 Fact,反之则不可以。

    要符合资格作为事件,事实 Fact 应符合以下准则:

    1. 事件是不可变的 - 事件是过去发生的变更记录,因此无法更改。

    2. 事件具有强烈的时间限制 - 规则相关的事件通常要要相对于彼此在不同时间点发生的多个事件的相关性。

    3. 事件管理生命周期 - 因为事件是不可变的并且具有时间约束,所以它们通常仅在指定的时间段内感兴趣。 这意味着引擎可以自动管理事件的生命周期。

    4. 事件使用滑动窗口 - 因为所有事件都有与之关联的时间戳,所以可以在它们上面定义和使用滑动窗口,允许在一段时间内创建值聚合规则,例如特定时间段内事件值的平均值。

    事件可以声明为:

    • 基于时间间隔:基于时间间隔的事件具有持续时间并持久化到工作内存中,直到其持续时间已经过去。

    • 时间点:时间点事件没有持续时间,可以被视为持续时间为零的基于时间间隔的事件。

    为了能够在CEP场景中管理事件需要能够将事实与时间帧相关联,以便检测重大变化,Drools已经对DRL语言实施了几项增强功能,以便管理事件。如下为声明一个事件示例:

    declare MyEventFact
      @role( event)
      @timestamp( ts )
      @duration( life )
      @expires( death )
    end
    • @role( event) - 声明 Fact 对象为一个事件

    • @timestamp( ts ) - 声明事件发生的时间

    • @duration( life ) - 声明事件在规则引擎中持续的时间

    • @expires( death ) - 声明事件在规则引擎中被删除的时间,@expires 与事件流一起使用。

    Drools Fusion

    一个行为建模平台能智能地感知行为和模式,通过区隔任何仅将规则,流程或事件视为主要建模概念的狭隘建模视角来实现。为了有效地实现行为建模的灵活性和功能,平台必须扩展和利用 Drools Fusion 模块中可用的复杂事件处理时间特征。

    CEP 场景具有以下几个共同特征:

    • 通常会有大量的事件,但只有一小部分事件是真正感兴趣的。

    • 事件是不可变的,因为它们是状态变化的记录。

    • 事件的规则和查询必须以反应模式运行,例如对事件模式的检测做出反应。

    • 相关事件之间存在时间关系。

    • 个人活动并不重要。 该系统关注相关事件的模式及其关系。

    • 系统执行事件的组合和聚合。

    基于这些一般共同特征,Drools Fusion 定义了一组目标,以便正确支持复杂事件处理:

    • 优先支持具有适当语义的事件。

    • 检测,关联,汇总和撰写事件。

    • 支持事件流的处理。

    • 支持时间约束来模拟事件之间的时间关系。

    • 支持有特点含义事件的滑动窗口。

    • 支持会话范围的统一时钟。

    事件处理的两种模式

    Drools 提供了两种处理事件的方式:CLOUD,STREAM。

    • CLOUD 处理模式是默认处理模式。在 CLOUD 模式下运行时,规则引擎会查看工作内存中的所有事实(Fact),无论它们是常规事实(Fact)还是事件。虽然事件有时间戳,但没有时间流动的概念。在此模式下,引擎应用其通常的多对多模式匹配算法,使用规则约束来查找匹配的元组,激活和触发规则。

    • 当业务场景是需要处理事件流时,STREAM 处理模式是应选择的模式。相比较常规处理,STREAM 处理模式添加了一些常见要求,但启用这些需求使流事件处理变的更加简单。 使用 STREAM 模式需要添加的主要要求如下:

      • 每个流中的事件必须按时间顺序排列。 例如,在给定流内,首先发生的事件必须首先插入引擎。

      • 引擎使用会话时钟强制流之间的同步。 尽管应用程序不需要在流之间强制执行时间排序,但使用非时间同步流可能会导致意外结果。

    展开全文
  • flink 复杂事件 这篇博客文章试图总结CEP领域中的技术,并介绍它们的主要功能和不足。 有时似乎过度使用了CEP一词(就像'ESB'一样),下面的内容反映了我们对它的理解和理解。 ESPER( http://esper.codehaus.org/ ...

    flink 复杂事件

    这篇博客文章试图总结CEP领域中的技术,并介绍它们的主要功能和不足。 有时似乎过度使用了CEP一词(就像'ESB'一样),下面的内容反映了我们对它的理解和理解。

    ESPER( http://esper.codehaus.org/ )是流行的开源组件,可用于Java的复杂事件处理(CEP)。 它包括对基于滑动时间或长度窗口的模式匹配和流处理的丰富支持。 尽管对“ CEP”一词进行了激烈的讨论( http://www.dbms2.com/2011/08/25/renaming-cep-or-not /),但ESPER似乎非常适合CEP术语,因为借助ESPER的EPL(事件处理语言),它似乎能够从一系列简单事件中真正识别出“复杂事件”。

    最近,在寻找用于实时CEP的开源解决方案时,我们的小组偶然发现了Twitter的Storm项目( https://github.com/nathanmarz/storm )。 它声称与Yahoo的S4最具有可比性,并且与Esper和Streambase等“复杂事件处理”系统处于同一空间。 我不确定Streambase,但是更深入地研究Storm项目使它看起来与CEP和ESPER解决方案大不相同。 与S4同上( http://incubator.apache.org/s4/ )。 尽管S4和Storm似乎擅长于分布式模式下的实时流处理,并且它们看上去(如他们声称的那样)是“实时Hadoop”,但它们似乎没有提供匹配模式的规定(因此表示复杂事件)。
    搜索(我们的研究可能与之相关的)CEP定义导致以下项目符号( http://colinclark.sys-con.com/node/1985400 ),其中包括以下四个作为系统/解决方案的先决条件被称为CEP组件/项目/解决方案:
    • 领域特定语言
    • 连续查询
    • 时间或长度窗口
    • 时间模式匹配
    在当前版本的S4和Storm项目中,似乎缺少完全支持时间/长度窗口和时间模式匹配的连续查询。 可能是由于它们的婴儿期,他们将来会逐渐成熟以包含这些功能。 到目前为止,它们似乎只适合预处理事件流,然后再将其传递给ESPER等CEP引擎。 他们的分布式处理能力(la map-reduce模式)可以帮助加快预处理速度,在此情况下,可以过滤事件,或者通过一些查找/计算等来丰富事件。还进行了一些尝试,将Storm与Esper集成( http://tomdzk.wordpress.com/2011/09/28/storm-esper/ )。

    虽然像S4和Storm这样的处理系统缺少CEP的重要功能,但基于ESPER的系统具有受内存限制的缺点。 事件太多或时间窗口过长可能会导致ESPER内存不足。 如果使用ESPER处理实时流(例如来自社交媒体的实时流),则ESPER内存中将积累大量数据。 总体而言,问题陈述是为大数据发明CEP解决方案。 在更好的层面上,问题陈述包括设计CEP解决方案,以处理机载(批处理)和飞行中(实时)数据。

    用DarkStar的术语( http://www.eventprocessing-communityofpractice.org/EPS-presentations/Clark_EP.pdf ),要求是“实时匹配注册的模式,在数据库中发现类似的模式”。 由于受内存限制是一个限制,因此,如果可以找到某种凝聚内存事件的机制,可能会很有用。 但是,压缩后的数据仍然应该有意义,并保留原始流的上下文。

    DarkStar使用符号聚合近似值( http://www.cs.ucr.edu/~eamonn/SAX.htm )进行此操作,他们声称通过将SAX与AsterData的nCluster一起使用来满足上述要求,nCluster是mpp(大规模并行)使用基于SQL / MapReduce( http://www.asterdata.com/resources/mapreduce.php )的嵌入式分析引擎处理数据库)。

    待续(随着我们的进一步研究)…

    参考:来自我们的JCG合作伙伴 Abhishek Jain 的复杂(事件)世界   NS.Infra博客上。


    翻译自: https://www.javacodegeeks.com/2012/03/complex-event-world.html

    flink 复杂事件

    展开全文
  • 基于NFA-HTBTS的大规模RFID事件流高效复杂事件处理算法
  • 基于多模式共享的大规模制造事件流高效复杂事件处理算法
  • 运输物联网的主动式复杂事件处理
  • 基于复杂事件处理的流程混搭模型
  • 针对复杂事件处理技术在单机的吞吐量瓶颈,而现有通用并行框架不适合复杂事件处理系统的问题,在分析现有并行技术的基础上,设计了14种复杂事件处理操作符,提出了以操作符为单位并行的复杂事件处理系统框架,给出了...
  • 复杂事件处理在交通事件感知的应用,陈杰,刘志晗,随着近年物联网理论和应用的成熟和发展,复杂事件处理(CEP)作为能够实时进行海量数据处理的技术受到了广泛关注。道路交通事件实
  • 斯卡特 基于事件演算形式主义的复杂事件识别引擎 在Scala 2.11.7中实现 包含海事数据的样本数据集(2015年10月第一周)
  • .NET的NEsper复杂事件处理和事件序列分析 NEsper是用于复杂事件处理(CEP)和事件系列分析的组件,可用于Java(如Esper)和.NET(如NEsper)。 NEsper的主页和文档位于 Esper和NEsper是根据GNU通用公共许可证(GPL...
  • 针对多源海量实时数据的复杂事件检测中,原始事件流的分流处理存在事件检测准确率低及效率慢的问题,提出一种基于事件树的复杂事件检测方法。首先给出事件依赖关系的明确定义,然后根据原子事件间存在的多依赖关系...
  • 基于主动复杂事件处理的智能交通控制
  • 摘要:复杂事件描述语言是复杂事件处理研究中的重要组成部分,目前面向无线射频识别(Radio Frequency Identification, RFID)的复杂事件处理技术得到了广泛的关注和研究,但是复杂事件描述语言并没有得到人们的深刻认识...
  • 复杂事件处理探险

    千次阅读 2017-05-09 10:33:29
    但是在技术的世界里,复杂事件处理 (Complex Event Processing,CEP) 仍然是一个具备挑战的新兴领域。事件是什么?事件就是改变。被称为事件监视器的工具被用来检测时间、状态、位置、水平等方面的改变。先设置一个...
    灯光、音乐、白色礼服、领带、高雅的房间。这是什么?
    wedding-19.jpg
    对于人类来讲回答这种问题很简单 - 这是因为我们人类的大脑能够很好地对事件的识别和解释进行适配。但是在技术的世界里,复杂事件处理 (Complex Event Processing,CEP) 仍然是一个具备挑战的新兴领域。
    complex-event-processing-example-30.gif

    事件是什么?

    事件就是改变。被称为事件监视器的工具被用来检测时间、状态、位置、水平等方面的改变。先设置一个临界值 - 突破这些临界值的改变构成了事件。
    complex-event-processing-30.gif
    其它一些常见场景是由诸如业务流程管理 (Business Process Management,BPM) 之类的应用或工具所发出的事件。

    噪声忽略

    复杂事件处理涉及低水平事件处理、过滤掉不重要事件以及对重要事件组合采取行动。(通常是实时的)
    complex-event-processing-architecture-30.gif

    真实世界的例子

    以一个轮胎检测系统为例。如果检测到轮胎压力下降就必须得通过速度、温度以及时间来判断是否存在严重的压力损失。如果存在,就必须得采取行动来警告司机。
    complex-event-processing-architecture-example-30.gif

    强强联合:BPM、CEP 和 SOA

    复杂事件处理常常被用于监听业务流程。事件处理器可能会使用 SOA 服务来处理高级别的事件 (事件驱动型 SOA)。
    event-driven-soa-30.gif

    相关技术

    复杂事件处理技术包括:
    • 事件模式检测
    • 事件层级模型
    • 事件关系检测
    • 抽象事件驱动流程
    • 事件抽象
    原文链接:Adventures In Complex Event Processing,发布日期:2011 年 2 月 11 日。
    作者简介
    Anna Mar
    Anna Mar 是一名拥有 18 年以上金融领域经验的首席架构师,当前就职于东京的一家电信公司。
    展开全文
  • cep复杂事件处理

    2017-02-13 15:55:34
    cep复杂事件处理

    cep复杂事件处理

    展开全文
  • 基于分布式事件分发的复杂事件处理引擎的设计与实现,李敏,程渤,随着物联网大数据时代对实时处理海量数据的迫切需求,人们对复杂事件处理技术越来越重视。但是,传统的基于集中式复杂事件处理结
  • Esper-Java的复杂事件处理,流SQL和事件系列分析 Esper是用于复杂事件处理(CEP),流SQL和事件序列分析的组件,可作为Java用于Esper,对于.NET作为NEsper。 Esper的主页和文档位于 Esper和NEsper是根据GNU通用...
  • 复杂事件处理技术调研

    千次阅读 2018-09-21 12:03:04
    文章目录1. 什么是复杂事件处理2.复杂事件处理引擎2.1 Esper入门 1. 什么是复杂事件处理 https://blog.csdn.net/zhangzhengming/article/details/5708908 2.复杂事件处理引擎 2.1 Esper入门 ...
  • 在CPS的应用背景下,对传感器和控制设备产生的不确定性事件流进行分析和处理得出高层事件,然后在此基础上引入适应性动态贝叶斯网络和并行马尔可夫决策过程模型来支持主动式的复杂事件处理。针对大型CPS中马尔可夫决策...
  • 面向CPS复杂事件流的不确定性研究
  • 基于查询计划的物联网分布式复杂事件处理研究
  • 针对物联网事件云的复杂事件处理面临的海量事件规模、分布式数据处理、上下文相关等挑战, 提出一种分布式的上下文敏感复杂事件处理方法。该方法基于模糊本体进行事件上下文的表示和推理, 通过查询重写支持事件上下文...
  • 实时复杂事件处理系统(CEP系统)用于从原子事件流中检测出复杂事件,需要确保事件处理任务在截止期内完成。确保实时性的关键问题是如何估算系统中复杂事件处理程序(CEP程序)的最坏响应时间.现有针对一般程序的...
  • 复杂事件处理CEP手册

    2011-08-04 16:55:09
    复杂事件处理手册 在金融服务和其他行业中,如何使那些重要且具有战略意义的业务信息以高速数据流 的方式到达企业变得尤其重要,而复杂事件处理(CEP)就是这一过程的代名词。在复杂事 件处理中,数据是不断变化的,...
  • RFID复杂事件处理技术

    2010-06-08 11:07:18
    RFID复杂事件处理技术RFID复杂事件处理技术
  • 首先创建图书馆针对性网络监控系统框架,利用无线传感器网络对图书馆的整体环境进行实时的监控,通过复杂事件处理引擎监控并且检测图书馆的复杂环境,并且还能够发出警告并且执行相应的动作。最后对此系统进行实验...
  • 针对多粒度 RFID数据流复杂事件检测存在的问题,研究多粒度 RFID数据流(如物品级、箱子级、托盘级)上复杂事件检测问题 .提出了不同层次目标间关系的编码方案,并在此编码基础上提出了相应的复杂事件检测算法 .使用编码...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 14,507
精华内容 5,802
关键字:

复杂事件