精华内容
下载资源
问答
  • 学习目标 培养AI思维、建模能力; 扎实AI基础,不做调参侠; 解决问题的能力; 通过项目来了解核心技术。 方法 ...应用领域 机器翻译 GPU 深度学习:大量学习才有Google的效果 需要考虑语法、语义、

    学习目标

    1. 培养AI思维、建模能力;
    2. 扎实AI基础,不做调参侠;
    3. 解决问题的能力;
    4. 通过项目来了解核心技术。

    方法

    1. 养成读文章的习惯,延伸资料;
    2. code
    3. 写文章,整理思路,总结;
    4. 项目合作

    问题–>转换为数学优化问题–>找合适的工具解决

    chanllenge

    1. Mutiple ways to express(多种表达方式)
    2. Ambiguity(一词多义)
      注意:需要结合上下文(context)

    应用领域

    机器翻译 GPU

    深度学习:大量学习才有Google的效果
    需要考虑语法、语义、上下文
    基本方法:分词、词直译、所有排列、LM(选出最合适的句子)语言模型

    问答系统

    法律、医疗都有应用

    情感分析

    input、特征工程 model、输出情感值
    也可以用深度学习模型

    • 股票价格预测
    • 舆情监控
    • 产品评论
    • 事件监测

    自动摘要 text summarization(难)

    Chatbot 聊天机器人

    • 闲聊
    • 意图识别(例如:想订一个机票)

    information extraction****应用很多

    从非结构化的信息中抽取感兴趣的点

    • NER 命名实体识别
    • 关系抽取 Relation extraction
    • 事件检测

    核心技术

    自然语言处理四个维度:

    1. semantic语义(上层);
    2. syntax 句法(句子结构):
      1)parsing句法分析:拆为主谓宾(不同语言句法不同),DP(动态规划)、CYK(基于“动态规划”算法设计思想,用于测试串w对于一个上下文无关文法L的成员性的一个算法)用的很多;
      2)依存分析 dependency parsing:词间的关系;
      3) relation extraction(图论);
    3. morphology 词法:词层面(底层),
      1)分词 word segmentation:技术jieba
      2)词性分析(POS,是一种重要特征)part of speech
      3)NER(命名实体识别):技术相对成熟了,很多地方都需要,例如:知识图谱(医药行业)、问答系统等,NLTK比较基础
    4. phonetic 语音

    知识图谱:看具体需求和图谱的价值,多方数据串起来展示分析
    事例知识图谱—比较难(需要按事情的具体时间串起来)。有效的上层应用。例如证券行业:股票、公司、供应链等。

    研究现状:

    1. Easy or mostly solved: Spam detection、part of speech tagging、named entity recognition;
    2. Intermediate or making good progress:Sentiment analysis、coreference resolution(指代消解)、word sense disambiguation(词义消解)、parsing、machine translation、information translation
    3. hard:text summarization(抽取式还好、生成式很难)
      需要了解每个点的state of air

    需要了解的模型和热点

    transformer:全attention的结构代替了lstm
    attention
    Seq2seq
    encoder
    decoder
    BERT
    参考:https://zhuanlan.zhihu.com/p/44121378

    展开全文
  • 自然语言处理:包括语言识别、自然语言理解、自然语言生成、人机交互所涉及的中间节点。是人工智能和计算机科学的子学科 自然语言处理的研究方向: 基础技术:词法分析、句法分析、实体识别、语义分析、篇章分析...

    自然语言处理:包括语言识别、自然语言理解、自然语言生成、人机交互所涉及的中间节点。是人工智能和计算机科学的子学科

    自然语言处理的研究方向:

    1. 基础技术:词法分析、句法分析、实体识别、语义分析、篇章分析、语言模型
    2. 核心技术:机器翻译、自动问答、情感分析、信息抽取、文本摘要、文本蕴含
    3. 应用实践:搜索引擎、推荐系统、智能客服、个人助理、舆情分析、知识图谱 

    文本分类的简介:

    在NLP的很多子任务中,绝大部分可以归纳为文本分类任务,比如:

    • 情感分析(细粒度情感分析)
    • 领域识别
    • 意图识别

    文本分类的定义:

    1. 在给定的分类体系中,将文本分到指定的某个或某几类别当中(分类对象:短文本(句子/标题/商品评论)、长文本(文章))
    2. 分类体系一般由人工构造 ( 新闻分类:政治、体育、军事、社会  ;情感分类:正能量、负能量 ;微博评论分类:好评、中性、差评)
    3. 分类模式  (2分类问题:属于或不属于,positive,negative   ;多分类问题   ;多标签问题:一个文本可以属于多类,多标签分类是文本分类的一大难点)

     文本分类方法:

    1. 人工方法:基于规则的特征匹配,容易理解;依赖专家系统,不同任务需要专门构建特征规则,费时费力。准确率不高。
    2. 机器学习方法:特征工程+算法(svm/lr/knn)
    3. 深度学习方法:词向量+模;FastText;TextCNN;TextRNN;TextRCNN;DPCNN;BERT.

     文本分类流程:

    1. 文本预处理:文本去噪;文本分词;去停用词;文本还原;文本消歧;文本替换;
    2. 特征提取:词频特征;词性特征;语法特征;主题特征;N-Gram;TF-IDF特征;
    3. 文本表示:词袋模型;One-hot;word2vec;Glove;EMLO;Bert;
    4. 分类模型:机器学习;深度学习;CNN;RNN;Attention;GNN; 

    展开全文
  • 可以说,自然语言处理就是要计算机理解自然语言,自然语言处理机制涉及两个流程,包括自然语言理解和自然语言生成。那现在NIP主要应用在哪些领域呢?1、机器翻译机器翻译是指运用机器,通过特定的计算机程序将一种...

    实现人机间的信息交流,是人工智能界、计算机科学和语言学界所共同关注的重要问题。自然语言处理的具体表现形式包括机器翻译、文本摘要、文本分类、文本校对、信息抽取、语音合成、语音识别等。可以说,自然语言处理就是要计算机理解自然语言,自然语言处理机制涉及两个流程,包括自然语言理解和自然语言生成。那现在NIP主要应用在哪些领域呢?

    1、机器翻译

    机器翻译是指运用机器,通过特定的计算机程序将一种书写形式 或声音形式的自然语言,翻译成另一种书写形式或声音形式的自然语言。机器翻译是一门交 叉学科(边缘学科),组成它的三门子学科分别是计算机语言学、人工智能和数理逻辑,各 自建立在语言学、计算机科学和数学的基础之上。

    2、信息检索

    信息检索是从相关文档集合中查找用户所需信息的过程。信息检索的基本原理是将用户输入的检索关键词与数据库 中的标引词进行对比,当二者匹配成功时,检索成功。

    e9b0eaaf6735007e6771809008f1ffee.png

    自然语言处理就是要计算机理解自然语言

    3、自动问答

    自动问答是指利用计算机自动回答用户所提出的问题以满足用户知识需求的任务。自动问答系统在回答用户问题时,首先要正确理解用户所提出的问题,抽取其中关键的信息,在已有的语料库或者知识库中进行检索、匹配,将获取的答案反馈给用户。这一过程 涉及了包括词法句法语义分析的基础技术,以及信息检索、知识工程、文本生成等多项技术。

    除了这几种 NLP 应用,其它如情感分析、自动文本摘要、社会计算和信息抽取也都有广泛的应用。

    展开全文
  • 自然语言处理简介与应用(20201218)自己复习用

    自然语言处理简介与应用(20201218)自己复习用

     

    展开全文
  • 自然语言处理

    2021-06-23 12:34:59
    自然语言处理是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言,特别是如何编程计算机以成功处理大量的自然语言数据。NLP的基本任务包括正则表达式、分词、词法分析、语音识别、文本分类、信息...
  • 【摘 要】自然语言信息处理是人机交互的关键技术,已得到...人工智能一、引言自然语言处理是计算机科学领域与人工智能领域中的一个重要研究方向。它研究的主要内容是能实现人与计算机之间用自然语言进行有效通信的各...
  • 随着元学习理论不断成熟,越来越多的自然语言处理任务开始引入元学习经典模型来攻克领域内的一些难点。 该论文集共收录34篇论文,引用最多的论文为Meta-Learning for Low-Resource Neural Machine Translation,引用...
  • 自然语言处理概述

    2021-09-13 15:59:48
    自然语言处理(Nature Language Processing,NLP)是目前机器学习主要应用的一个方向,其在人机对话,知识图谱,机器翻译等领域普遍应用,涉及到的技术广泛,融合了语言学、统计学、数学、计算机科学的交叉领域,...
  • 自然语言处理领域的数据增广方法

    千次阅读 2021-03-09 18:04:56
    本文介绍自然语言处理领域的数据增广方法。数据增广(Data Augmentation,也有人将Data Augmentation翻译为“数据增强”,然而“数据增强”有将数据进行强化之意,而不仅是数量扩充。因此我们将其翻译为“数据增广”...
  • 1.自然语言处理发展历程 自然语言处理的发展历程经历了兴起阶段、符号主义、连接主义和深度学习阶段。 兴起阶段:自然语言处理的萌芽期,代表人物包括图灵和香农。 符号主义:自然语言处理的发展器,代表任务是...
  • 1.自然语言处理简介 1.1.自然语言处理 1.2.数据源 1.3.应用领域 1.4.课程体系 1.自然语言处理简介 1.1.自然语言处理 为什么需要自然语言处理 人工成本较高,海量数据挖掘困难,人类带有主观色彩 要做一件什么事...
  • 自然语言处理主要应用于机器翻译、舆情监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别、中文OCR等方面。本教程操作环境:windows7系统、Dell G3电脑。自然语言处理( Natural Language ...
  • 人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来...
  • 当前,自然语言处理(Natural Language Processing,NLP)技术的发展可谓日新月异,尤其是近些年来层出不穷的预训练模型及其变体更是让人眼花缭乱。对于想要踏入这一领域并想深入了解的人——比如我——来说,可能会...
  • 自然语言处理简述

    2021-04-06 09:48:16
    自然语言处理 比尔·盖茨曾说过,语言理解是人工智能皇冠上的明珠。在介绍自然语言处理之前,先介绍人工智能。人工智能经过 61 年的发展,起起伏伏,曾经历过两次冬天,随着云计算、大数据、深度学习以及实实在在的...
  • 自然语言处理领域,自动机器学习也有着广泛的应用,研究者们很关注将多任务学习和自动机器学习结合起来应用自然语言处理中。 该论文集共收录24篇论文,引用最多的论文为Neural Architecture Search with ...
  • 文章目录前言一、LSTM凭什么...LSTM在所有涉及时间序列、离散序列和NLP领域问题的应用中都取代了RNN。 一、LSTM凭什么可以替换RNN? LSTM主要解决两个问题:在模型训练的过程中选择记住什么以及学习预测目标标签(学习
  • 来自:python遇见NLP导读通过语言给予智能体指示使其完成通用性的任务是人工智能领域的愿景之一。近年来有越来越多的学者试图通过融合计算机视觉与自然语言处理领域的相关技术以期实...
  • 导读:自然语言处理(NLP)是计算机科学,人工智能,语言学关注计算机和人类(自然)语言之间的相互作用的领域。因此,自然语言处理是与人机交互的领域有关的。在自然语言处理面临很多挑战,包括自然语言理解,因此,...
  • 然而,将因果推断方法应用自然语言处理目前仍然面临着一些困难:什么是自然语言当中的随机变量?如何从表示中找出混杂因子?如何让学习结果更加稳定,避免受训练集中的伪关系影响?其中最大的困难,在于如何定义...
  • ACL、EMNLP、NAACL、COLING等NLP领域的顶级国际会议,想必大家已经耳熟能详。但是对很多学生(即使国外学生)而言,想参加这些会议也并非易事,由于注册费和差旅费很高,一般要有论文发表导师提供经费支持,而且长途...
  • 常见10种自然语言处理技术

    千次阅读 2021-09-02 08:57:33
    自然语言处理(NLP)是一种艺术与科学的结合,旨在从文本数据中提取信息。在它的帮助下,我们从文本中提炼出适用于计算机算法的信息。从自动翻译、文本分类到情绪分析,自然语言处理成为所有数据科学家的必备技能之...
  • No.08智源社区强化学习组强化学习研究观点资源活动关于周刊强化学习作为人工智能领域研究热点之一,它在自然语言处理领域中的应用研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领...
  • 自然语言处理(natural language processing 简称NLP)自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言...
  • 01 课程大纲 第一部分:机器学习基础篇 第1章:自然语言处理概述 | 什么是自然语言处理及现状和前景 | 自然语言处理应用 | 自然语言处理经典任务 | 学习自然语言处理技术 第2章:数据结构与算法基础 | 时间复杂度、...
  • 自然语言处理(NLP)是一门融合了计算机科学、人工智能以及语言学的交叉学科。 一、自然与语言与编程语言 1.词向量 自然语言中的词汇量比编程语言中的关键词丰富。再自然语言中,我们可以使用的词汇量是无穷...
  • 导读:自然语言处理(NLP)是计算机科学,人工智能,语言学关注计算机和人类(自然)语言之间的相互作用的领域。因此,自然语言处理是与人机交互的领域有关的。在自然语言处理面临很多挑战,包括自然语言理解,因此,...
  • 自然语言处理是计算机科学和人工智能领域的一个重要方向。 它研究利用自然语言实现人与计算机之间有效交流的各种理论和方法。 在现有的自然语言处理中,它是基于分词和广泛的语料库。 但实际上,单个单词也可以表达...
  • 3、自然语言处理应用 自然语言处理已经产生了很多实际的应用,如机器翻译、手机中的智能助手、文本校对等等。可以说,只要涉及到文本的智能化处理,都离不开自然语言处理技术。然而,目前这些应用给用户的体验并...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 127,293
精华内容 50,917
关键字:

自然语言处理应用领域