精华内容
下载资源
问答
  • 意图识别

    2021-01-20 12:44:33
    本质是分类任务,多用在搜索引擎和智能问答中。 解决方法 1、基于词典以及模板的规则...2、基于机器学习模型来对用户的意图进行判别 标注语料应用ML或者DL训练模型进行测试。 应用fasttext进行文本分类。 作者:关平安
  • 一、意图识别应用领域 1、搜索引擎 2、对话系统:基于意图识别了解用户想要什么 业务 或者 闲聊,并采用不用的子模型来处理 1.1 闲聊 技术:闲聊机器人需要有较高的召回率,因此常常用:seq2seq + attention / ...

     一、意图识别应用领域

    1、搜索引擎
    2、对话系统:基于意图识别了解用户想要什么 业务 或者 闲聊,并采用不用的子模型来处理
        1.1 闲聊
                技术:闲聊机器人需要有较高的召回率,因此常常用:seq2seq + attention  / transformer / bert .... 
        1.2 基于业务,例如 电商、买票、查询天气
                技术:基于上述应用场景需要极高的精确率,因此常常用:① 基于业务规则模板、基于语义匹配 ② 
    3、智能物联网
    4、机器人

    二、意图识别的难点

    1、用户输入不规范,输入方式多样化,甚至非标准的自然语言
    2、表意表现出多意图
           仙剑奇侠传
           游戏?--> 游戏软件?……
           电视剧?--> 电视剧下载?相关新闻?……
    3、意图强度,表述不同表现出不同的需求强度
           天气很好啊-->弱意图(心情,闲聊模式)          今天天气怎么样-->强意图(业务模式)
    4、意图存在时效性变化,就是随着时间的推移相同问题的意图会发生变化      ******* 难点
    5、没有固定的评估的标准
    

    三、意图识别的主要方法

       1、意图识别的类别

    (1)导航型 
           将用户导航到相应的领域或相应的流程中
                例:百度 *** 导入到某个网站
    (2)信息型 
           提供给用户想知道的信息
                例:百度 *** 的个人信息    ----- 类似百度百科
    (3)事务型 
           给用户提供流程中的各个实现环节
                例:百度 *** 坏了         ----- 类似百度知道
    

       2、规则模板意图识别

         (1)词表穷举法

                         特点:必须一一命中才行,因此模型的召回率较低,精确率极高 

       (2)规则模板解析    

                    规则模板解析: 需要基于  分词、词性标注、命名实体识别、依存句法分析、语义分析 的前提下 才能完成

                                               而且数据中使用的也是字典形式(key hash 结构),查询速度较快。

    1、适用于查询非常符合规则的类别,通过规则解析的方式来获取查询的意图。
        例:
            北京到上海今天的机票价格,可以转换为:[地点]到[地点][日期][汽车票/机票/火车票]。
                执行过程:
                        第一步:寻找领域,获取子类模板字典
                        第二步:选取模板,这里面命中模板不是所有的内容都全部命中,只需要命中一部分。
                        第三步:采取 反问模板 与用户沟通缺失了模板的那些内容,并补全这些内容(即上述问句没有日期)
                        第四步:给出 完整的模板信息 并 等待用户确认。
            1吨等于多少公斤,可以转换为:[数字][计量单位]等于[数字][计量单位]。
        对规则性较强的query有较好的识别精度,能够较好的提取准确信息。
        缺点:需要人工参与较多,很难自动化实现。
        实用指数:4★
        场景:搜狗通用搜索、小i智能客服、机器人、智能物联网、支付宝分控系统有10000多个模板。
    

                     特点:规则性较强的query精确率较高,召回率也不错 

    •    案例:搜狗搜索 意图识别

                         规则意图识别的一般技术

                                1. 判断领域:采用实体-主域-模板的整体框架来判别识别领域

                                          注意:主题    ------ 大类别 ;主域  ------- 子类别 ; 模板

                                2. 判断意图:命中主域后,模板采用意图动词(下载、查询等)或意图疑问词(怎么样、为什么等)判别意图

                                3. 区分弱意图和强意图,针对性提供解决方案;判断实体强度

                                    搜索引擎意图识别领域判别表:仙剑奇侠传

                     计算过程 

                              第一步:主体(大类)计算

                              第二步:主域(子类)计算 

    •  规则模板解析优化 
    4.  query改写包括:query纠错,query扩展,query删除,query转换。
             a. 进行同义词扩展     eg:我去旅游   我要旅游       ------- 技术:① word2vec ② 
             b. 删除一些修饰,扩大召回                          ------- 技术:① booststriping信息抽取 ② 语义分析(三元组)
             c. 通过近义或同义转化,扩大召回                    ------- 技术:① word2vec ② 
    

        3、深度学习意图识别

    1、机器学习和深度学习方法
        意图识别可以看做是一个分类问题,针对于垂直产品的特点,定义不同的查询意图类别。
        对于用户输入的query,根据统计分类模型计算出每一个意图的概率,最终给出查询的意图。             
        缺点:主要是数据获取和更新较困难,数据的标注也需要较准确才能训练出较好地模型。
        实用指数:4★
        场景:京东JIMI、美团垂直搜索
    
    2、深度学习 意图识别常见 模型:
        ① LSTM + attention
        ② BERT网络 分类意图识别

                       特点:模型召回率很高 

    •     案例:京东JIMI  意图识别

                          一、 大致结构

                       二、模型网络

    京东JIMI意图识别(baseline)
        深度学习CNN模型,可用于求解一个分类问题,将用户的问题映射到一个具体的分类。最终在算法选型上,采用深度学
        习CNN模型,其中模型参数:
            词向量采用100维
            每个样本限定30个字以内,超出30截断,不足30补充随机向量
            单层CNN网络,第一层卷积核大小3*50
    

     

     

    展开全文
  • 意图识别的特征向量的分词没有考虑命名实体识别而是直接拿的结巴分词的特征,比方说,用户语料里面标的实体是“中华人民共和国”,但是结巴分词不能对其做整体命名识别,只能识别“中华”&#...
  • 网络攻击意图识别

    2019-04-28 09:56:49
    1978年,Schmidet在文献中第一次提出规划识别问题(即意图识别,Schmidet不区分规划识别与意图识别),认为“规划识别”是通过观察人的行为去理解他的意图、信念和目标的过程,是心理学和人工智能的交叉问题。意图...

    1978年,Schmidet在文献中第一次提出规划识别问题(即意图识别,Schmidet不区分规划识别与意图识别),认为“规划识别”是通过观察人的行为去理解他的意图、信念和目标的过程,是心理学和人工智能的交叉问题。意图识别的研究最早应用于对自然语言理解、故事理解、语音翻译等,随后逐渐应用到多智能体监测与协作、动态交通监控、冒险游戏、网络入侵检测、机器人、军事等。经过三十多年的发展,出现了很多模型和方法。
    如基于解释的意图识别方法、基于决策理论的意图的识别方法、基于规划图分析的意图识别方法、基于概率推理的意图识别方法等。
    在网络安全领域,多元信息融合领域的态势评估技术和人工智能领域的意图识别技术有强烈的应用需求和良好的发展前景,许多学者开始关注网络安全态势评估和额昂络安全意图识别的研究。Bass提出下一代的入侵检测系统:应用多传感器数据融合理论建立网络空间的态势感知框架,通过推理识别攻击者身份、攻击速度、入侵行为、攻击意图和进行威胁分析等,进而感知网络空间安全态势。
    文献借鉴军事战场意图识别方法开展网络攻防对抗下的入侵意图识别和入侵策略的研究。攻击手段的灵活多变使得通过低层次的系统事件或网络事件分析入侵者的攻击策略变得非常困难,而高层次的意图识别能够提供独立于具体攻击手段的高水平的分析平台。在意图分析的层面上,入侵检测就变成使用各个异构的IDS协同工作去证实或者否定事先定义的各种意图假设。这两篇文献仅仅提出理论和概念的架构,没有提出具体的实现方法,更没有形成实用的原型系统。
    目前国内外对网络攻击意图识别的研究才刚刚开始,还没有见到比较完整的理论方法以及实用的系统。
    国内却有一些非常前沿的安防产品正是利用了这一概念,虽然没有实现完全的自动化的意图识别,但理论引导实践这条路上,云漫又走在了前面。利用攻击意图分析的优势,在安防领域异军突起,迅速占有了大部分的市场。
    当然理论的发展离不开资金的投入,这是一个相辅相成的系统,互相促进,共同发展。
    人工智能为网络攻击意图识别提供思路
    Honeywell实验室的Geib等将人工智能领域的规划识别引入到网络安全的领域中来,并指出网络安全领域中的识别规划与传统得规划识别不同,是一种对抗式的规划识别。因为攻击者总是采取欺骗、隐蔽等手段掩盖自己的行为和意图。该方法将主体所有的 可能的攻击行为作为扩展集。扩展集中概率最大的行为就是主题最可能的攻击规划,但存在一些不足:
    很难构建完备的规划库;为了更新扩展集需要搜索主体所有可能的行为,可能引发搜索空间爆炸。文献在规划识别基础上结合网络攻击的对抗特点提出了基于扩展目标规划图的网络攻击规划识别方法。该方法将观察到的具体动作转化为抽象动作,根据抽象动作之间的关联识别背后蕴藏的攻击规划,这与将报警泛化为超报警的本质是相似的。文献建立了入侵检测的规划识别模型,采用因果告警关联分析和贝叶斯推理网络实现规划识别,以找回因入侵检测自身的检测策略不足和网络覆盖范围脆弱性而丢失的关键告警,重构实际的攻击场景。这三项研究在人工智能了领域中意图识别的经典方法基础上做了相应改进,提出理思路和理论框架。但是这些研究主要还是对已经发生的攻击行为的识别和提炼上,对网络安全领域的复杂特点没有针对性,对不确定的描述和推理攻击者的意图(最终目标)识别以及威胁分析等的研究还没有开展。
    基于攻击行为的报警关联、攻击场景构建
    Cuppens等在MIRADOR项目中通过报警关联分析来提炼攻击者的入侵策略。对攻击行为的前提、后果进行建模,根据后续行为的前提与先前行为的后果是否匹配来对两个行为进行关联。当检测到攻击行为时,搜索满足匹配条件的攻击路径来构造攻击者的规划。当有多条攻击路径对应着不同的攻击目标时,选择最短的攻击路径对应的攻击目标作为攻击者的入侵意图。随着事件数量的增多,关联搜索空间急剧增大,不适合大规模的在线处理。而且,当攻击者的行为对应着多个攻击目标时,选择最短路径显然不能达到最佳效果。Qin等将攻击树转化为因果网络,并关联孤立的攻击场景,利用专家知识给出因果网络的先验概率分布,推理攻击者的意图和攻击行为。该方法需要先验知识来构建因果网络和条件概率。Ning等提出通过报警关联报警自动自动生成攻击策略的方法。攻击策略通过攻击策略图来描述,节点代表攻击行为,边代表攻击的时间顺序,边与节点的约束关系将攻击行为关联起来。该方法将一些形式不同但本质相同的报警泛化成超报警后再经行关联,简化攻击策略分析。

    展开全文
  • 意图识别项目笔记

    千次阅读 2019-02-26 17:53:37
    意图识别分为两个模块:意图分类的识别和当前意图中slot(槽位)的识别。其中槽位的识别可以参考实体的识别,但又与之不同。槽位识别可以看做是对每个意图所需条件的识别,比实体的识别更加多元化。比如有一句话:显示...

    意图识别分为两个模块:意图分类的识别和当前意图中slot(槽位)的识别。其中槽位的识别可以参考实体的识别,但又与之不同。槽位识别可以看做是对每个意图所需条件的识别,比实体的识别更加多元化。比如有一句话:显示从北京到上海的航班。

    意图:航班查询。

    槽位标记:北京(from-city),上海(to-city)

    实体标记:北京(city),上海(city)。

    1.项目流程

    样本格式:采用BIO标记策略,句子+EOS+句子中每个字对应的槽位标签+意图。

    1.数据预处理阶段:。将句子,槽位标签,意图id化并保存至文件中

    2.模型输入:句子的列表,每个句子长度的列表,槽位列表,意图列表。

    3.模型架构:通过模型预测槽位列表、意图列表。

    4.损失计算:通过NLLLoss()函数(只接收log_softmax后的数据)计算槽位、意图和实际的损失。

    5.模型优化:使用Adam函数优化损失。

    2.模型架构

    下面来详细介绍上述流程中的模型架构。

    模型结构图:

     

    该模型是基于seq2seq+attention对齐机制的架构,分为Encoder和Decoder两个阶段。

    Encoder:   加载预训练的语言模型,对输入的数据进行字嵌入得到字向量,通过torch中的pack_padded_sequence将字向量按照句子长度降序、padding、打包作为LSTM的输入,通过双向LSTM进行特征提取。返回每个时刻隐藏层的输出结果hiddens和最后一个时刻隐藏层输出的(h,c)的二元组state。

    Decoder:   该阶段通过Encoder阶段的输出来预测意图和槽位。

    1.将Si-1为decode阶段上一个时刻的输出,将Si-1赋值n份(n为Encoder阶段中的时刻数,也就是句子长度)与hiddens进行加权求和获取Encoder中的权重参数,再与hiddens相乘获取文本向量Ci,并将其添加到一个文本向量列表Cn。

    2.Si为decoder阶段当前时刻的输出状态:Si=Si-1 + yi-1 + Ci。将Si和当前时刻对应Encoder中的时刻的输出ht做拼接,使用单向LSTM提取特征,通过log_softmax提取概率最大的作为yi,并添加值预测槽位列表中。

    3.将文本向量列表Cn与Encoderhiddens拼接,做取均值降维,再使用log_softmax作为输出结果并添加到预测意图列表中。

    展开全文
  • Query意图识别分析

    千次阅读 2019-07-02 15:05:55
    outline 近段时间在研究搜索的相关技术,在工作中主要涉及到资讯搜索功能的实现。...意图识别 query改写 什么是搜索 一个搜索引擎的技术构建主要包含三大部分: (1) 对query的理解 (2) 对内容(文档)...

    outline

    近段时间在研究搜索的相关技术,在工作中主要涉及到资讯搜索功能的实现。我们采用了elasticsearch搜索引擎,es基础es进阶1。由于需要对搜索功能进行迭代,所以笔者继续深入研究搜索原理和性能优化。本文主要研究以下几点:

    什么是搜索
    搜索评价指标
    意图识别
    query改写

    什么是搜索

    一个搜索引擎的技术构建主要包含三大部分:
    (1) 对query的理解
    (2) 对内容(文档)的理解
    (3) 对query和内容(文档)的匹配和排序

    搜索的一般评价指标

    基础指标:
    召回率(Recall)=检出的相关文档数/相关文档数,也称为查全率,R∈[0,1]
    准确率(Precision)=检出的相关文档数/检出文档数,也称为查准率,P∈[0,1]
    F值:召回率R和正确率P的调和平均值
    搜索发展的阶段:

    应用的初期:基于关键字的搜索
    应用的发展期:基于主副标题的全文检索
    应用的成熟期:针对搜索进行排名优化
    LTR
    应用的进化期:个性化的搜索
    意图识别/“千人千面”/搜索建议等

    意图识别

    是什么
    通过分类的办法将句子或者我们常说的query分到相应的意图种类
    属于“对query的理解”部分
    本质上是一个分类问题
    意图识别搜索的一般过程:
    S1. 用户的原始 query 是 “michal jrdan”
    S2. Query Correction 模块进行拼写纠错后的结果为:“Michael Jordan”
    S3. Query Suggestion 模块进行下拉提示的结果为:“Michael Jordan berkley”和 “Michael Jordan NBA”,假设用户选择了“Michael Jordan berkley”
    S4. Query Expansion 模型进行查询扩展后的结果为:“Michael Jordan berkley”和 “Michael I. Jordan berkley”
    S5. Query Classification 模块进行查询分类的结果为:academic
    S6. 最后语义标签(Semantic Tagging)模块进行命名实体识别、属性识别后的结果为:[Michael Jordan: 人名][berkley:location]:academic
    意图识别的前提
    意图的划分问题:技能/领域

    用户查询的需求分类:

    (1) 导航类
    (2) 信息类
    (3) 事务类

    概念介绍:

    用户与搜索引擎的一轮完整交互过程称为一个Search Session,在Session里提供的信息包括:用户查询词(Query),用户所点击的搜索结果的标题(Title),如果用户在Session期间变换了查询词(例如从Query1 -->Query2),则后续的搜索和点击均会被记录,直到用户脱离本次搜索,则Session结束。

    意图识别的方法

    1.词表穷举法/规则解析法
    2.基于查询点击日志 – 一般一条搜索日志记录会包括时间-查询串-点击URL记录-在结果中的位置等信息。
    3.机器学习方法(基于规则挖掘,基于Bayes、LR、SVM等传统分类模型)–分类问题
    query的分类
    eg:识别每个实体词的属性,去索引里面精确匹配对应的字段,从而提高召回的准确率
    4.基于神经网络(深度学习)–FastText

    意图识别的难点

    1、输入不规范,前文中已有介绍,不同的用户对同一诉求的表达是存在差异性的。
    2、多意图,查询词为:”水”,是矿泉水,还是女生用的化妆水。
    3、数据冷启动。当用户行为数据较少时,很难获取准确的意图。
    4、没有固定的评价标准。pv,ipv,ctr,cvr这种可以量化的指标是对搜索系统总体的评价,具体到用户意图的预测上并没有标准的量化指标。
    query改写
    query改写,类目相关,命名实体识别和
    query改写包括:
    query纠错 – 如果搜索引擎返回的是空结果/或者结果过少,此时应该需要增加拼写纠错的处理
    query扩展:
    eg. “Michael Jordan berkley”和 “Michael I. Jordan berkley”
    (1) 同义词扩展表
    (2) 使用词向量进行同义词拓展
    (3) 如果query没有相应返回,则根据用户历史数据拓展原query
    query删除 – 判断丢弃哪个/些词 (实体识别)

    参考资料
    https://www.jianshu.com/p/e46eae028af3
    https://blog.csdn.net/shijing_0214/article/details/71250327
    https://blog.csdn.net/shijing_0214/article/details/71080642

    展开全文
  • 意图识别资料纪录

    2019-11-13 18:50:39
    今天搞意图识别貌似这个资料的介绍很不错 不知道怎么转载,放到这https://blog.csdn.net/zengNLP/article/details/94657099
  • 口语理解是人机对话系统的重要组成部分,而意图识别是口语理解中的一个子任务,而且至关重要。意图识别的准确性直接关系到语义槽填充的性能并且有助于后续对话系统的研究。考虑到人机对话系统中意图识别的困难,传统...
  • 中文自然语言的实体抽取和意图识别(Natural Language Understanding),可选Bi-LSTM CRF 或者 IDCNN CRF
  • 意图识别_总结

    千次阅读 2018-08-06 16:32:06
    【1】意图识别的难点: 输入不规范 多意图。eg:仙剑奇侠传 游戏?电视剧?小说? 结果的可靠性。 实效性: iPhone5 7月1日上市销售  6月30日的查询意图:新闻90%,百科10%  7月1日的查询意图:新闻70%,...
  • 基于规则进化模糊系统的步行方向意图识别.pdf,为了准确识别下肢功能障碍患者自主步行康复训练过程中的方向意图,提出了一种能够兼顾使用者个体差异及安全状态的新型步行方向意图识别方法。首先论述了康复训练机器人...
  • 意图识别-情感分析

    千次阅读 2019-03-17 21:38:05
    今天天气很好,一大早起来把衣服床单鞋子都洗了一遍,做饭,吃完饭之后爬山,爬山已经坚持3周了,...这两天在写关于意图识别的PPT,还没有对意图识别里面的具体算法实现进行总结,只是花了个龊图,见笑了。 ...
  • 查询的意图识别

    千次阅读 2014-05-03 00:33:37
    什么是意图识别
  • 聊天机器人中的意图识别

    千次阅读 2018-12-26 11:43:25
    为什么需要做意图识别: 当用户与聊天机器人进行沟通时,机器人能够根据用户提出的直接或者间接的信息来快速判断用户的真实意图。这是以前的弱人工智能机器人很难做到的,而精准识别出用户的这些消费相关的意图对于...
  • 意图识别置信度问题

    2020-12-05 21:36:14
    用它来测试我的意图识别的效果,发现意图识别的置信度不高,感觉是和"音乐.继续"混淆了,是什么原因,怎么提高置信度? "intent_ranking": [ { "name": &#...
  • 聊天机器人的意图识别

    千次阅读 2019-05-30 14:40:21
    #意图识别 目前聊天机器人的重要一部分就是识别用户的意图。 比如, 帮我预定晚上的餐馆 -> 餐馆预定 明天天气如何 -> 天气查询 但由于语言的复杂性,用户通常会使用各式各样的表达方式,比如 明天天气如何...
  • 意图识别与槽填充

    万次阅读 2017-02-10 21:53:30
    Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling...意图识别通常使用分类的方法将句子分为相应的意图种类。槽填充则可以看做是序列标注问题,即对于给定的句子中的每
  • 近期因为工作上对于大量聊天文本的聚类、解析,对当前意图识别的方法体系进行大致总结,发现这边的工作基本是基于词表进行的汇总,耗费很多人力,工作烦杂,但以此可以换取较为不错的准确率,一定程度上规避了机器...
  • 知识图谱与KBQA——意图识别

    千次阅读 2019-04-01 14:35:20
    意图识别是通过分类的办法将句子或者我们常说的query分到相应的意图种类。 在做这个工作之前,我们首先得想好意图的划分问题,这种划分业界有很多叫法,比如技能。 意图识别的基本方法 1.基于词典以及模版的规则方法...
  • 背景技术:意图识别和槽位识别可以将垂直对话系统中用户输入文本转化为语义表示,为系统采取下一步行动提供支撑,是垂直对话系统自然语言理解模块的关键步骤。意图识别任务侧重于预测输入文本的意图,槽位识别以提取...
  • 对搜索意图识别的认知 对搜索意图识别的认知 这个是一个很宽泛的话题,今天以我购买无线中继的搜索过程来谈一谈我对这个领域的认识。 背景 家里新搬到一个复式的楼层,上面一层的楼房内搜索不到信号,...
  • 意图识别的三篇博文

    千次阅读 2018-09-07 11:53:59
    搜索引擎的查询意图识别(query理解) by 张帆(自然语言处理组@搜狗)  https://blog.csdn.net/zhoubl668/article/details/7857756 如何使用padlepadle 进行意图识别-开篇  ...
  • NLP进化史系列之意图识别

    千次阅读 2019-07-06 00:04:37
    从规则模板到统计方法,再到机器学习方法,最后到深度学习算法,一起回顾NLP之意图识别的历程。 作用 1、在搜索中会用到意图 比如在baidu中搜索“怎么做龙虾馅饺子”,意图是“做饺子”,而不是“做龙虾”,...
  • 意图识别的方法 基于词典以及模版的规则方法 不同的意图会有不同的领域词典 ,比如书名、歌曲名、商品名等。根据用户的意图和词典的匹配程度或者重合程度来进行判断。 基于机器学习模型对用户意图进行判别 通过机器...
  • 再谈意图识别与语义槽填充

    千次阅读 2020-03-25 22:03:57
    其中任务导向型又可以分为pipeline和end to end两类方法,其中pipeline很多情况下都包括三大模块:自然语言理解、对话管理和自然语言生成,之前在自然语言理解的概述中就简单介绍了意图识别(分类)和语义槽填充的...
  • 最近读了“大数据杂谈”公众号上的一篇文章“搜你所想”之用户搜索意图识别,主要讲了搜索意图识别主要的步骤和一些方法,觉得讲得挺详细的所以根据文章内容绘制了脑图,方便以后回顾。
  • 基于意图识别的入侵检测系统,罗俊杰,刘志杰,入侵检测系统作为保护计算机系统安全的重要手段应用越来越广泛,然而随之产生的大量原始报警事件也带来了报警数量巨大、误报警多
  • 基于fastText的问答系统用户意图识别与关键词抽取研究_代令令.caj,讲述如何用fastText来实现问答系统和用户的意图识别

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 802
精华内容 320
关键字:

意图识别