精华内容
下载资源
问答
  • NLP算法工程师能力要求 此处选取了今日头条NLP算法工程师(语音识别,对话机器人,知识图谱方向)的招聘需求: 年薪:72-111万,学历要求硕士及以上,需要3年以上的工作经验。 工作职责要求: 【语音识别方向】 ...

    NLP算法工程师能力要求

    此处选取了今日头条NLP算法工程师(语音识别,对话机器人,知识图谱方向)的招聘需求:

    年薪:72-111万,学历要求硕士及以上,需要有3年以上的工作经验。

    工作职责要求:

    【语音识别方向】

    参与业务相关的文本分类、命名实体识别,文本相似性,语言模型,情感分析,用户行为分析等相关NLP工作;

    跟进NLP领域前沿技术,对现有产品和技术方案进行持续改进,同时探讨和开发新的产品。

    【知识图谱方向】

    负责大规模文本信息挖掘和分类、语义理解、智能问答、信息提取等,并应用于实际场景;

    负责金融、法律等领域知识图谱以及事理图谱的构建;

    探索业界前沿方法,并提升现有NLP能力。

    【对话机器人方向】

    基于机器学习,并结合现有的自然语言处理技术,研发文本近似、信息抽取、关系推断、阅读理解、智能聊天机器人等的解决方案;

    实现产品解决方案,进行效果调优;

    发布相关产品,不断迭代产品效果。

    任职能力要求

    【语音识别方向】

    至少在以下领域有过研究或工程经验:文本分类、知识图谱、文本挖掘、文本相似性、命名实体识别、分词、信息检索、Q&A、机器翻译;

    熟悉常见NLP相关模型,如HMM、EM、LDA等;熟悉深度学习相关技术,如句向量、CNN、RNN、LSTM等模型;

    熟悉Java、C/C++、Python其中一种开发语言,有数据结构与算法的基础。

    【知识图谱方向】

    具备机器学习/数据挖掘理论和技术基础;

    有丰富的中文NLP、QA、知识图谱、事理图谱、机器翻译、阅读理解、信号处理等项目经验,基础扎实,编码能力强;

    为人踏实靠谱,具备较强的团队协作沟通和领导能力,积极主动,勇于探索新技术。

    【对话机器人方向】

    熟悉NLP、机器学习、模式识别等常用算法,熟悉NLP领域当前热点和前沿技术,熟练掌握C/C++编程语言和Python,Shell等脚本语言;

    有相关项目经历,包文本分类、信息抽取、知识图谱、机器学习、自动摘要等,有深度学习背景;

    较强的分析解决问题能力、沟通表达和团队协作。

    人工智能、大数据、云计算和物联网的未来发展值得重视,均为前沿产业,多智时代专注于人工智能和大数据的入门和科谱,在此为你推荐几篇优质好文:
    深度学习、机器学习与NLP,为什么要学习这些新技术
    http://www.duozhishidai.com/article-7893-1.html
    什么是NLP,百度NLP开放的典型技术有哪些?
    http://www.duozhishidai.com/article-1813-1.html

    NLP自然语言处理技术,在人工智能法官中的应用是什么?
    http://www.duozhishidai.com/article-2325-1.html
    从语言学到深度学习NLP,一文概述自然语言处理
    http://www.duozhishidai.com/article-1120-1.html


    多智时代-人工智能大数据学习入门网站|人工智能、大数据、物联网云计算的学习交流网站

    多智时代-人工智能大数据学习入门网站|人工智能、大数据、云计算、物联网的学习服务的好平台
    展开全文
  • NLP与KNN(邻近算法)自然语言处理

    千次阅读 2018-11-14 14:06:18
    import jieba str='我要今天天气' res=''.join(jieba.cut(str)) print(res) ...而自然语言处理是对自然语言处理的一种技术,就是通过我们的语音文字与计算机进行通信,我们称之为“人机交...
    import jieba
    str='我要今天天气'
    res=''.join(jieba.cut(str))
    print(res)
    

    一、首先导入Jieba中文分词
    在这里插入图片描述二、演示
    在这里插入图片描述

    什么是自然语言处理

    自然语言

    我们要对自然语言进行理解,其实就是我们日常使用的语言(书面文字和语音视频等)。简言之,汉语、日语、韩语、英语、法语等语言都属于此范畴。而自然语言处理是对自然语言处理的一种技术,就是通过我们的语音文字与计算机进行通信,我们称之为“人机交互”。

    自然语言处理

    自然语言处理(英语:Natural Language Processing,简称NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

    KNN的案例

    
    # coding=utf-8
    
    import numpy as np
    from numpy import *
    
    #创建数据源 返回数据集和类标签
    def creat_dataset():
        datasets= array([[8,4,2],[7,1,1],[1,4,4],[3,0,5]])#数据集
        labels=['非常热','很热','一般热','热'] #类标签
        return datasets,labels
    
    if __name__ == "__main__":
         datasets,labels=creat_dataset()
         print("数据集:\n",datasets,'\n 类标签\n',labels)
    
    数据集:
     [[8 4 2]
     [7 1 1]
     [1 4 4]
     [3 0 5]] 
     类标签
     ['非常热', '很热', '一般热', '热']
    

    《参考:https://github.com/bainingchao/NLP-ML/blob/master/探讨自然语言处理技术学习与思考.md》

    展开全文
  • 自20世纪10年代初以来,词向量...bshq:NLP免费新书-《自然语言处理中词向量表示算法概述》分享 本书主要讲解自然语言处理中词向量表示相关的技术。这本书首先解释了传统的单词向量空间模型和单词词向量(例如,...

    图片

        自20世纪10年代初以来,词向量一直是自然语言处理领域的主流技术之一。将信息编码成在现代机器学习算法中易于处理的低维向量表示,在自然语言处理技术的发展过程中发挥了核心作用。词向量技术最初集中在单词上,但注意力很快开始转移到其他形式:从图形结构上考虑,如知识库,到其他类型的文本内容,如句子和文档。

        bshq:NLP免费新书-《自然语言处理中词向量表示算法概述》分享

        本书主要讲解自然语言处理中词向量表示相关的技术。这本书首先解释了传统的单词向量空间模型和单词词向量(例如,Word2Vec和Glove),然后转向其他类型的词向量,例如词义、句子和文档以及图形结构的词向量。本书还概述了语境化表征(如ELMo、BERT)的最新发展状况,并解释了它们在自然语言处理中的潜力。在整本书中,读者可以找到从零开始理解词向量表示相关的基本信息,以及对文献中最成功的技术的全面概述。

    本书目录

    图片

    图片

    图片

    内容节选

    图片

    图片

    图片

    图片

    图片

    bshq:NLP免费新书-《自然语言处理中词向量表示算法概述》分享

    往期精品内容推荐

    年薪达不到23.5万全额退款 | 人工智能核心能力培养计划

    MIT人工智能实验室:如何做人工智能相关研究一些建议

    李宏毅-《深度学习人类语言处理2020》中文视频课程及ppt分享

    知识图谱(KG)存储、可视化、公开数据集、图计算、图编程工具分享

    2020年AI计算发展方向前瞻

    中文自然语言处理医疗、法律等公开数据集整理分享

    2020年新书速递-《因果推理原理:基础与学习算法》分享

    斯坦福NLP大佬Chris Manning新课-《信息检索和网页搜索2019》分析

    最新最全最详细中文版-《迁移学习简明手册》pdf分享

    机器学习从入门到进阶所需学习资料-包括书、视频、源码

    自然语言领域中图神经网络模型(GNN)应用现状(论文)

    展开全文
  • 人工智能 之 自然语言处理NLP算法分类总结

    万次阅读 多人点赞 2018-08-29 14:16:37
    一、人工智能学习算法分类 人工智能算法大体上来说可以分类两类:基于统计的机器学习算法(Machine Learning)和深度学习算法(Deep Learning) 总的来说,在sklearn中机器学习算法大概的分类如下: 1. 纯...

    目录

    〇、推荐

    无意中发现了一个巨牛的人工智能教程,忍不住分享一下给大家。教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!觉得太牛了,所以分享给大家。点这里可以跳转到教程。

    一、人工智能学习算法分类

    人工智能算法大体上来说可以分类两类:基于统计的机器学习算法(Machine Learning)和深度学习算法(Deep Learning)

    总的来说,在sklearn中机器学习算法大概的分类如下:

    1. 纯算法类

    (1).回归算法
    (2).分类算法
    (3).聚类算法
    (4)降维算法
    (5)概率图模型算法
    (6)文本挖掘算法
    (7)优化算法
    (8)深度学习算法

    2.建模方面

    (1).模型优化
    (2).数据预处理

    二、详细算法

    1.分类算法

    (1).LR (Logistic Regression,逻辑回归又叫逻辑分类)
    (2).SVM (Support Vector Machine,支持向量机)
    (3).NB (Naive Bayes,朴素贝叶斯)
    (4).DT (Decision Tree,决策树)

    • 1).C4.5
    • 2).ID3
    • 3).CART

    (5).集成算法

    • 1).Bagging
    • 2).Random Forest (随机森林)
    • 3).GB(梯度提升,Gradient boosting)
    • 4).GBDT (Gradient Boosting Decision Tree)
    • 5).AdaBoost
    • 6).Xgboost

    (6).最大熵模型

    2.回归算法

    (1).LR (Linear Regression,线性回归)
    (2).SVR (支持向量机回归)
    (3). RR (Ridge Regression,岭回归)

    3.聚类算法

    (1).K-Means(K均值)聚类
    (2).均值漂移聚类
    (3).基于密度的聚类(DBSCAN)
    (4).高斯混合模型(GMM)的最大期望(EM)聚类
    (5).凝聚层次聚类
    (6).图团体检测(Graph Community Detection)

    4.降维算法

    (1).SGD (随机梯度下降)

    5.概率图模型算法

    (1).贝叶斯网络
    (2).HMM
    (3).CRF (条件随机场)

    6.文本挖掘算法

    (1).模型

    • 1).LDA (主题生成模型,Latent Dirichlet Allocation)
    • 2).最大熵模型

    (2).关键词提取

    • 1).tf-idf
    • 2).bm25
    • 3).textrank
    • 4).pagerank
    • 5).左右熵 :左右熵高的作为关键词
    • 6).互信息:

    (3).词法分析

    • 1).分词
      – ①HMM (因马尔科夫)
      – ②CRF (条件随机场)
    • 2).词性标注
    • 3).命名实体识别

    (4).句法分析

    • 1).句法结构分析
    • 2).依存句法分析

    (5).文本向量化

    • 1).tf-idf
    • 2).word2vec
    • 3).doc2vec
    • 4).cw2vec

    (6).距离计算

    • 1).欧氏距离
    • 2).相似度计算

    7.优化算法

    (1).正则化

    • 1).L1正则化
    • 2).L2正则化

    8.深度学习算法

    (1).BP
    (2).CNN
    (3).DNN
    (3).RNN
    (4).LSTM

    三、建模方面

    1.模型优化·

    • (1).特征选择
    • (2).梯度下降
    • (3).交叉验证
    • (4).参数调优
    • (5).模型评估:准确率、召回率、F1、AUC、ROC、损失函数

    2.数据预处理

    • (1).标准化
    • (2).异常值处理
    • (3).二值化
    • (4).缺失值填充: 支持均值、中位数、特定值补差、多重插补
    展开全文
  • 自然语言处理NLP算法分类总结

    千次阅读 2019-11-05 22:22:23
    文章目录 目录 〇、推荐 一、人工智能学习算法分类 1. 纯算法类 2.建模方面 二、详细算法 1.分类算法 ...异常值处理 (3).二值化 (4).缺失值填充: 支持均值、中位数、特定值补差、多重插补
  • 文章目录前言一、文本数据处理基础1.1、数字特征和分类特征1.2、文本处理步骤1.2.1、分割(Tokenization:文本—>单词/字母)1.2.2、one-hot编码1.2.3、词嵌入(word embedding)1.2.4、使用网络模型学习:二、...
  • 一种用来评价搜索词和文档之间相关性的算法,主要就是计算一个query里面所有词和文档的相关度,然后在把分数做累加操作,而每个词的相关度分数主要还是受到tf/idf的影响。 参考 R(qi,d)是每个词和文档的相关度值,...
  • [NLP自然语言处理]谷歌BERT模型深度解析

    万次阅读 多人点赞 2018-10-15 17:49:18
    我的机器学习教程「美团」算法工程师带你入门机器学习 已经开始更新了,欢迎大家订阅~ 任何关于算法、编程、AI行业知识或博客内容的问题,可以随时扫码关注公众号「图灵的猫」,加入”学习小组“,沙雕博主在线答疑...
  • NLP汉语自然语言处理原理与实践是一本研究汉语自然语言处理方面的基础性、综合性书籍,涉及NLP的语言理论、算法和工程实践的方方面面,内容繁杂。 本书包括NLP的语言理论部分、算法部分、案例部分,涉及汉语的发展...
  • 推荐学习,涂铭等编写的《Python自然语言处理实战:核心技术与算法》,重点探讨中文的自然语言处理,以Python及其相关框架为工具,以实战为导向,详细讲解了自然语言处理的各种核心技术、方法论和经典算法。...
  • 工业界中NLP(自然语言处理)算法工程师的核心竞争力是什么?.pdf
  • 自然语言处理NLP)中一块很重要的部分就是文本挖掘,文本自然语言的一种展现形式,也是目前海量数据的主流展现方式。现在google和百度也会采用主流的分词算法TF-IDF进行文本拆分,当然这是主要的算法之一,不是...
  • 自然语言处理NLP)学习路线总结

    万次阅读 多人点赞 2019-03-20 21:01:53
    目录 自然语言处理概述 ...自然语言处理入门基础 ...自然语言处理的主要技术范畴 ...自然语言处理(Natural Language Processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究人与计算机之间...
  • 在学习过程中,看了《基于深度学习的自然语言处理》电子书和《Python自然语言处理实战核心技术与算法》电子书。 《基于深度学习的自然语言处理》电子书,边看边标注,真是爱不释手,基本是比较新的一些知识和应用,...
  • 如何训练词向量_CBOW_算法_#3.2_(莫烦Python_NLP_自然语言处理教学)
  • 【总结】自然语言处理NLP算法:概述与分类

    万次阅读 多人点赞 2018-07-29 23:51:35
    主要参考自然语言处理NLP)知识结构总结和知乎上的一些问答。 目录 NLP界神级人物 NLP知识结构 1.概述 2.形式语言与自动机 3.语言模型 4.概率图模型,生成模型与判别模型,贝叶斯网络,马尔科夫链与隐...
  • #导入正向最大匹配算法和逆向最大匹配算法 import FMM import BMM #词典元素存储变量 dict_words = [] #初始化函数,载入词典 def init(): with open("dict/dict.txt","r",encoding="utf-8"...
  • 01 课程大纲 第一部分:机器学习基础篇 第一章:自然语言处理概述 自然语言处理的现状与前景 自然语言处理应用 自然语言处理经典任务 第二章:数据结构与算法基础 时间复杂度、空间复杂度 动态规划 贪心算法 各种...
  • 机器学习的一些基本概念:/无监督学习、半监督学习、回归、降维等 机器学习常用分类算法:朴素贝叶斯、支持向量机、逻辑回归等 机器学习的聚类方法:k-means算法 机器学习的应用 9.1 简介 机器学习训练的要素 ...
  • 如何训练词向量_Skip_Gram_算法_#3.3_(莫烦Python_NLP_自然语言处理教学)
  • NLP自然语言处理系列-算法基础-二叉树 二叉树 在计算机科学中,二叉树是一种树数据结构,其中每个节点最多两个子节点,称为左子节点和右子节点。使用集合理论概念的递归定义是(非空)二叉树是元组(L, S, R),其中L...
  • 自然语言处理(NLP)入门

    万次阅读 多人点赞 2017-11-21 20:32:26
    本文简要介绍Python自然语言处理(NLP),使用Python的NLTK库。NLTK是Python的自然语言处理工具包,在NLP领域中,最常使用的一个Python库。什么是NLP?简单来说,自然语言处理(NLP)就是开发能够理解人类语言的应用程序...
  • 自然语言处理NLP原理与实战视频教程完整版下载,课程包含了互联网公司前沿的热门算法的核心原理,以及源码级别的应用操作实战,直接讲解自然语言处理的核心精髓部分,自然语言处理从业者或者转行自然语言处理者必...
  • 深入研究语言的人称为语言学家,而“计算语言学家”这个专有名词适用于应用计算研究语言处理的人。从本质上讲,计算语言学家是深入了解语言的计算机科学家,计算语言学家可以运用计算技能,对语言的不同方面进行建模...
  • 语言技术平台(LTP)是哈工大社会计算与信息检索研究中心开发的一整套中文语言处理系统,采用C++编写。 主要功能包括分词、词性标注、命名实体识别、依存句法分析、语义角色标注、语义依存分析等。 语言云新版API是...
  • 自然语言处理NLP原理与实战视频教程,完整版...课程包含了互联网公司前沿的热门算法的核心原理,以及源码级别的应用操作实战,直接讲解自然语言处理的核心精髓部分,自然语言处理从业者或者转行自然语言处理者必听课。
  • 课程分享——自然语言处理NLP原理与实战视频教程,课程包含了互联网公司前沿的热门算法的核心原理,以及源码级别的应用操作实战,直接讲解自然语言处理的核心精髓部分,自然语言处理从业者或者转行自然语言处理者必...
  • 自然语言处理算法整理

    千次阅读 2019-06-28 16:03:34
    自然语言处理,利用计算机为工具,对书面实行或者口头形式进行各种各样的处理和加工的技术,是研究人与人交际中以及人与计算机交际中的演员问题的一门学科,是人工智能的主要内容。 2.形式语言与自动机 语言:按照...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 205,717
精华内容 82,286
关键字:

nlp算法有哪些