精华内容
下载资源
问答
  • 情感分析论文阅读笔记

    千次阅读 2016-03-02 18:02:58
    与基于主题的文本分类类似,不同之处在于具有主观性的词语更重要 算法: 朴素备叶斯: 利用类别的先验概率和特征分布相对于类别的条件概率来计算未知文档属于某一类别的概率。 ...
    参考资料:
    http://xueshu.baidu.com/s?wd=paperuri%3A%28b6abec56d591d7b37cdc13716932d1ba%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Fwenku.baidu.com%2Fview%2F124e7e2b2af90242a895e542.html&ie=utf-8

    基于情感的文本分类

    研究的实际应用:
    推荐系统,过滤系统

    与基于主题的文本分类类似,不同之处在于具有主观性的词语更重要

    算法:
    朴素备叶斯:
    利用类别的先验概率和特征分布相对于类别的条件概率来计算未知文档属于某一类别的概率。
    采用文本向量空间模型表示文档。


    最大熵:(待补充)
    是在满足系统当前提供的所有条件下寻求分布最均匀的模型, 即熵最大的模型。

    分析:
    文档的情感主要是通过具有情感倾向的词语( 或共现/ 关联词语) 来体现出来的,






    注意:否定词不再作为停用词删除,因为当其否定的对象具有语义倾向的时候,发生反向变化这样的词语主要是有形容词、
    名词、动词、成语和习惯用语。
    有效识别不带感情倾向的客观语句。

    中文分词方法:

    备忘:中文情感词典,sentiment analysis,

    展开全文
  • 主题分析流程概要

    千次阅读 2019-04-25 09:07:46
    此次仅根据论文及网络资料简单整理主题分析流程和一般使用的技术 全部未展开 作为一个初步计划大纲开展后续学习 --写于2.19.4.24晚 主题分析 主题分析定义 主题分析(英语:Thematic analysis)是定性研究中最为常见...


    此次仅根据论文及网络资料简单整理主题分析流程和一般使用的技术 全部未展开 作为一个初步计划大纲开展后续学习 --写于2019.4.24晚

    主题分析

    主题分析定义

    主题分析(英语:Thematic analysis)是定性研究中最为常见的一种形式。它强调在数据中精确定位、检查和记录主题或模式。主题(英语:themes)是跨数据集的模式(英语:patterns),这些模式对于现象的描述很重要,并且与特定的研究问题相关联。

    主题分析流程

      1.数据集准备 2.数据预处理 3.基于用主题模型的主题提取结果分析 4.对比实验 5.主题演变分析
    
    1. 数据集准备:python爬虫 八爪鱼爬虫工具 目标应用,网页

      1.1python爬虫:爬虫:一段自动抓取互联网信息的程序,从互联网上抓取对于我们有价值的信息。Python 爬虫架构主要由五个部分组成,分别是调度器、URL管理器、网页下载器、网页解析器、应用程序(爬取的有价值数据)。

      1.2八爪鱼爬虫工具:八爪鱼爬虫工具:八爪鱼网页数据采集器,是一款使用简单、功能强大的网络爬虫工具,完全可视化操作,无需编写代码,内置海量模板,支持任意网络数据抓取

    2. 数据预处理:1.剔除垃圾数据 2.去除停留词 3.分词(python)

    3. 主题模型(分析):基于概率模型的主题演化方法和基于矩阵分解的主题演化方法 。主要对动态主题在时间上的演化,及话题热度的变化和其关键词云做了分析(主题模型选择 TOT LDA DAM NMF)

      3.1基于概率模型的主题演化方法

      TOT(Topic Over Time)模型最早被提出,它是在LDA模型中引入时间因素构建而成实现简单。TOT将时间也作为可观测变量,然后与文档和单词一起生成主题。DTM( Dynamic Topic Model)先根据时间窗分割文本集合,并假设每个时间 窗口的文本都由K个话题的LDA模型生成。上述模型都是在LDA基础上,扩展改进后得到的。其思路及方法都较为简单,而且在主题个数方面都缺少灵活性。

      3.2基于矩阵分解的主题演化方法

      非负矩阵分解( Nonnegative Matrix Factoriza
      tion,NMF)是一种新的矩阵分解方法。一般的矩 阵分解,如SVD(奇异值分解), PCA(主成分分析)等都会出现分解结果中出现负值的情况。而负值在某些环境下是没有意义的,比如文本中单词的统计,数字图像中的像素等。NMF是另一种有效的提取主题的方法。处理大规模数据更快更便捷,且实现简便、占用存储空间少。

    4. 对比实验:采用不同的主题模型多次试验

    5. 演变分析:对动态主题随时间推移其关键词的分布变化进行分析(KM EM)

      5.1KM距离:KL距离是Kullback-Leibler差异(Kullback-Leibler Divergence)的简称,也叫做相对熵(Relative Entropy)。它衡量的是相同事件空间里的两个概率分布的差异情况。其物理意义是:在相同事件空间里,概率分布P(x)的事件空间,若用概率分布Q(x)编码时,平均每个基本事件(符号)编码长度增加了多少比特。我们用D(P||Q)表示KL距离

      5.2EM算法:最大期望算法(Expectation-maximization algorithm,又译期望最大化算法)在统计中被用于寻找,依赖于不可观察的隐性变量的概率模型中,参数的最大似然估计。在统计计算中,最大期望(EM)算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法,其中概率模型依赖于无法观测的隐变量。最大期望算法经常用在机器学习和计算机视觉的数据聚类(Data Clustering)领域。最大期望算法经过两个步骤交替进行计算,第一步是计算期望(E),利用对隐藏变量的现有估计值,计算其最大似然估计值;第二步是最大化(M),最大化在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一个E步计算中,这个过程不断交替进行。

    参考文献

    《基于主题模型的新疆暴恐舆情分析_张绍武》论文在知网地址
    《面向时间序列的微博话题演化模型研究》论文在知网地址
    《基于MB-LDA模型的微博主题挖掘》论文在知网地址

    展开全文
  • 文本分析论文基本方法论

    千次阅读 2019-11-08 22:16:27
    研究中首先在每篇政策文献中确立 3~4 个主题词,通过词频统计建立高频主题词的共词矩阵,而后进行聚类分析并绘制共词词簇图。 2.府际关系研究 观测指标 :不同政府部门的联合行文 研究方法 :借鉴科技论文中的...

    思路二

    参考论文
    01政策文献量化研究_公共政策研究的新方向_黄萃(2015年4月)

    一、政策文献量化研究的分析方法有两种

    1.政策内容量化(定量与定性相结合的一种语义分析方法,目的是测量政策内容中本质性的事实和趋势,通过对政策文献内在特征分析,解释政策内容所含的隐形信息,并推论政策制定的前因、推断政策实施的效果。)

    2.政策文献计量(一种量化分析政策文献的结构属性的研究方法,更多地关注大样本量、结构化或半结构化政策文本的定量分析)
    文献计量方法在政策文献结构要素上的数据依托:
    时间:时间序列分析、频次分析
    颁布机构:频次分析、网络分析
    文种:频次分析
    主题词:频次分析、共词分析、网络分析
    参照关系:频次分析、共引分析、共被引分析、网络分析

    二.政策文献量化研究的研究范式

    1.政策变迁研究
    描述与呈现政府执政理念的转变过程,通过对长时间周期内大样本量 政策文献进行量化研究,可以定量地、可视化地描 绘和呈现政策主题特点的变化。
    通过对各历史阶段政策文献“主题词” 进行频次分析、共词分析与聚类分析,可以客观、清晰地描述和总结出不同时期的主题热点以及政策主题变迁历程图,实现客观性与可重复性,可以与质性研究相结合,从而避免在政策变迁研究中的主 观性与不确定性缺陷。
    共词分析是通过统计两个主题词同 时出现在同一政府文献中的次数,发现主题词之间的关系。
    聚类分析则进一步将关系密切的主题词聚集起来形成族群,聚类的标准是最大化组间差异,最小化组内差异。
    研究中首先在每篇政策文献中确立 3~4 个主题词,通过词频统计建立高频主题词的共词矩阵,而后进行聚类分析并绘制共词词簇图。

    2.府际关系研究
    观测指标:不同政府部门的联合行文
    研究方法:借鉴科技论文中的合著网络分析,对政策文本的联合行文关系进行分析, 以此描述政府部门间的合作关系,揭示某一政策领域的政府活动规律

    科技政策文献主要来源于我国国家立法机关、中央政府及其科技部、发改委、财政部等主要组成部门颁布的科技相关领域的法律、行政法规、部门规章和规范性政策文件等文献的信息

    科技政策主要颁布部门之间网络结构的指标值及其变化(可供参考的指标)
    节点、连接、子网、单节点子网数、直径、平均路径长度、网络密度

    3.政策关联研究
    解析政策文献之间参照关系与知识扩散
    政策文献之间的关联既可以体现出政策制定的基础和起点,又可以反映出政策意图的继承、发展和进步的脉络,政策文献之间的参照引用实际上是政治价值传递和理念扩散

    参照关联
    可能体现在政策的标题中,也可能存在于正文中
    既包括以政策文献内容形式呈现出的显性关联,又包括以政策意图相似呈现出的隐性关联

    通过语义进行关联引用,目前有特定的10种提示词

    而其结构要素“时间”、“发布主体”、“文种”、 “文献编号”、“主题词”、“参照关系”都具备自身特性信息涵义,这又提供了方法拓展与创新空间

    展开全文
  • 文献计量分析数据搜索导出数据选择导出选择其他文件格式调整选项,进行导出:本文用到的可视化软件或网站CiteSpace的使用软件的下载软件的操作VOSviewer的使用文献计量在线分析平台的使用 数据搜索 主题:PSO算法 ...

    数据搜索

    主题:PSO算法

    数据来源:WOS

    关键字选择(根据自己的需求改写):
    出版社关键字:IEEE Transactions on Evolutionary Computation or IEEE Transactions on Cybernetics or IEEE Transactions on Systems Man and Cybernetics Part B Cybernetics
    标题关键字:particle swarm

    wos的搜索选项
    :最好选择核心数据集,这样搜集的论文更核心在这里插入图片描述
    搜索结果
    在这里插入图片描述

    导出数据

    选择导出

    在这里插入图片描述

    选择其他文件格式

    在这里插入图片描述

    调整选项,进行导出:

    1、记录内容选择全记录与引用的参考文献
    2、文件格式选择:
    (1)文献计量在线分析平台:选择“其他参考文献格式”
    (2)citespace和vosviewer:选用“纯文本”
    :不同软件用到的数据格式不一样,不能弄错
    在这里插入图片描述

    本文用到的可视化软件或网站

    介绍

    1. citespace
      CiteSpace 又翻译为“引文空间”,是一款着眼于分析科学分析中蕴含的潜在知识,是在科学计量学、数据可视化背景下逐渐发展起来的引文可视化分析软件。由于是通过可视化的手段来呈现科学知识的结构、规律和分布情况,因此也将通过此类方法分析得到的可视化图形称为“科学知识图谱”
    2. vosviewer
      VOSviewer是荷兰莱顿大学科技研究中心[1](The Centre for Science and Technology Studies, CWTS)的van Eck 和Waltman[2]于2009年开发的一款基于JAVA的免费软件,至今已更新至1.6.6版本(2017年10月23日发布)[3],主要面向文献数据,适应于一模无向网络的分析,侧重科学知识的可视化。
    3. 文献计量在线分析平台

    CiteSpace的使用

    软件的下载

    下载网址https://sourceforge.net/projects/citespace/files/latest/download
    :一旦出了新版,老版就没有用了,所以必须及时更新软件
    打开网址,下载会自动跳转
    :最好下载后缀是.7z的文件,这样下载后可直接打开,其他的很容易无法安装
    在这里插入图片描述
    下载后,打开所在文件夹,点击.bat后缀的文件即可运行
    在这里插入图片描述

    软件的操作

    1. 打开后,点击agree
      在这里插入图片描述

    2. 选择new,新建一个项目
      在这里插入图片描述

    3. 选择路径,设置Title、project home、data directory:
      :源文件必须改成download前缀(即从wo导出的纯文本文件前缀为download),不然无法识别
      在这里插入图片描述

    4. 新建完项目后,勾选右边的工具框
      (1)Time Slicing 时间选择区:按需选择时间跨度
      (2)Text Processing 文本处理区:一般用默认选项即可
      (3)Node Types 网络配置区
      这部分是最重要的,决定了运行结果是什么类型的图
      ① 合作网络分析:表示作者、机构、国家之间的共同合作
      ② 共现分析:共词分析的基本原理是对一组词两两统计它们在同一组文献中出现的次数,通过这种共现次数来测度他们之间的亲疏关系。
      ③ 共被引分析:共被引分析(Co-Citation analysis)是指两篇文献共同出现在第三篇施引文献的参考文献目录中,则这两篇文献形成共被引关系。
      ④ 耦合分析:指两篇论文同引一篇或多篇相同的文献(Article文献耦合,Grant基金耦合,Cliam联级引文分析)
      (4)Selection Criteria:默认即可
      (5)Pruning剪枝:一般选择第一行的两个选项,用于图片教繁琐的情况,可以进行剪枝。
      在这里插入图片描述

    5. 右边选项选择完毕后,点击绿色按钮go,点击visualization,得到下图界面:
      注:citespace经常崩溃,比如调节节点图片却不变化,这时应该重启
      在这里插入图片描述

    6. 调节界面,获得想要的图片

    VOSviewer的使用

    1. 下载软件并打开

    2. 点击create
      在这里插入图片描述

    3. 选择自己想要的选项
      文献计量分析一般选第二个
      在这里插入图片描述

    4. 选第一个选项,导入数据,
      在这里插入图片描述

    导入的是第二部分导出的数据:
    在这里插入图片描述

    1. 选择自己需要的分析选项,点击next,next之后的界面是选择阈值的,比如你选择节点计量大于5的节点才能显示,之后finish即可画出图。
      在这里插入图片描述

    文献计量在线分析平台的使用

    网址:https://bibliometric.com/

    进入网站,点击立即进入:
    在这里插入图片描述

    点击上传引文数据,将第一部分导出的数据上传:
    :文件格式必须完全正确,否则无法显示
    在这里插入图片描述

    之后就能显示分析后的图表,主要有以下种类:

    在这里插入图片描述

    展开全文
  • 为了开始流量分析和分类的研究课题,先调研相关学术会议论文,调查目前研究现状,从CCF推荐学术会议中搜集到了以下有关流量分类和流量分析的有关会议论文 A1-2019 INFOCOM 2019(IEEE Conference on Computer ...
  • 操作系统小论文主题

    千次阅读 2007-12-30 21:47:00
    这是西安电子科技大学软件学院的王亚平教授给我们提的一些小论文题目。笔者认为很能反映目前IT领域包括操作系统的一些研究方向,很有参考价值。希望对感兴趣的IT人有所启发和帮助。^_^第一部分 软件技术的发展趋势...
  • 大数据,科研论文发表分析

    万次阅读 2013-02-04 14:19:04
    这篇文章准备从论文发表的角度分析,“大数据”为主题论文有什么样的特征,这些内容对于特别是希望在这个领域发表论文的人会有帮助。 不同于前面两篇文章,这次我将会主要以统计信息客观的反应“大数据”在搜索...
  • 1.3你的项目本主题上存在重大问题,但是你充分的利用了这方面的知识,成功开发了你的项目。 2,你具体是怎么做的。 2.1第一句承上启下,说明主题在项目中的应用。 2.2分述没个分论点,先写知识点,在从理论上对改...
  • 系统分析师考试论文写作注意事项

    千次阅读 2013-09-27 23:13:57
    发现部分考生对于论文的把握得不好,并非作者项目经验不足(尽管有些是因为项目经验不足造成的),也不是写作能力差,而是缺乏足够的准备,对于系统分析师考试的论文写作没有基本的概念。因此,我们把一些典型的问题...
  • 系统分析论文12篇

    千次阅读 2005-04-18 14:33:00
    [转]系统分析论文12篇   系分论文1 企业人事信息系统的应用 【摘要】  本文讨论《企业人事信息系统》项目的需求分析方法与工具的选用。该系统的建设目标是帮助该企业管理好企业...
  • 本文论述了 —论文主题 项目背景介绍, 主要功能介绍 实现细节 技术, 方法。。 策略。。。 改进措施,系统特征, https://blog.csdn.net/holandstone/article/details/46819987 开发过程中,作者的角色...
  • 系统分析师考试论文案例集

    千次阅读 2006-02-09 12:11:00
    来 源:中国系统分析师网站&中国IT考试论坛整理时间:2006年1月22-23日整 理 人:dawn论文一 企业人事信息系统的应用广东延国庆 中国系统分析师网站【摘要】本文讨论《企业人事信息系统》项目的需求分析方法与工具的...
  • 对我国一级刊物上的论文进行分析,希望广大程序员掌握学术论文的阅读方法,从中选择对自己工作最有效的方法和理论.
  • 这是《Python数据挖掘课程》系列文章,前面很多文章都讲解了数据挖掘、机器学习,这篇文章主要讲解LDA和pyLDAvis算法,同时讲解如何读取CSV文本内容进行主题挖掘及可视化展示。文章比较基础,希望对你有所帮助,提供...
  • 教你如何写出完美的论文1. 什么是研究性论文为什么说写论很重要?从领域(subject)到主题(topic)如何搭建成你的四步内容?一个好的主题: 1. 什么是研究性论文 研究性论文是: 对一个学术主题(topic)提出...
  • 【自然语言处理入门系列】推荐:NLP Paper - 按主题分类的自然语言处理论文汇总 这是一个很优秀的论文汇总链接,忍不住要通过博客分享给各位NLPer: NLP Paper - 按主题分类的自然语言处理论文汇总 主题十分全面,...
  • 一, 论文要有真实感,而不是背书。 二,紧扣主题。 三,条理清晰。 ============================ 原文节选 -------------------------------------- 第一篇《企业人事信息系统》评注:(1),写得有些特色,观点...
  • [转]系统分析论文12篇

    万次阅读 2005-04-18 12:33:00
    系分论文1 企业人事信息系统的应用 【摘要】 本文讨论《企业人事信息系统》项目的需求分析方法与工具的选用。该系统的建设目标是帮助该企业管理好企业内部的人员和人员的活动,人事信息管理指的是企业员工从招聘面试...
  • 语义分析–文档主题 一、概要 ​ 两篇文档是否相关往往不只决定于字面上的词语重复,还取决于文字背后的语义关联。对语义关联的挖掘,可以让搜索更加智能化。本文着重介绍了一个语义挖掘的利器:主题模型。主题...
  • 主题分析的两篇综述

    千次阅读 2016-03-24 15:02:14
    1、Social sentiment sensor: a visualization system for topic ...该篇论文主要是针对微博数据做热点话题的分析以及对这些热点话题倾向性分析主题分析这块儿分1预处理(过滤掉不足4个gram的多于30个gra
  • 推荐系统论文归类总结 本文主要记录较新的推荐系统论文,并对类似的论文进行总结和整合。 目录 推荐系统论文归类总结 综述 协同过滤理论 矩阵分解 因子分解机 基于内容的推荐 基于DNN的推荐 基于标签的推荐 基于自...
  • 来源:...论文解读汇总:http://bbs.cvmart.net/topics/287/cvpr2019 论文分类照片汇总:HTTP://bbs.cvmart。...CVPR2019论文直播分享计划: cvpr2019接受论文列表:ht...
  • 来源:新智元整理:肖琴本文约6400字,建议阅读10+分钟。谷歌在今年的CVPR上表现强势,有超过200名谷歌员工将在大会上展示论文或被邀请演讲,45篇论文被接收。在计算...
  • 三分钟玩转毕业论文文献引用及文献计量可视化分析(CNKI版) 很多同学经常遇到插入引用文献的痛苦,各种格式,手动改起来十分痛苦,于是大家开始使用endnote,但插入时又会出现对pdf文献识别不清的问题,又需要手动...
  • 作者提出基于词向量的神经网络已经应用于很多NLP任务,比如情感分析sentiment analysis和释义检测paraphrase detection。未来他们要做的是将本文所提技术与Latent Relational Analysis技术或其他技术去比较,从而...
  • 国外论文搜索

    千次阅读 2014-10-19 09:06:31
    国外论文搜索 学术资源搜索google篇:  google的废话也多一些,因为它的功能很强大,尤其对于国外的很多学术资源用它最好。下面我就介绍一下,自己用google搜集文献资料的方法,供大家参考。  1。国外论文搜索  ...
  • 什么是论文文献综述

    千次阅读 2013-12-04 18:13:34
    什么是论文文献综述
  • 前言: 整体上翻译了squeezenet:AlexNet-level accuracy with 50X fewer paramenters and 0.5MB model size.这篇论文,便于英文基础不好的同行进行...论文地址:aqueezenet论文 SQUEEZENET: ALEXNET-级别精度...
  • Python大数据分析系列博客,包括网络爬虫、可视化分析、GIS地图显示、情感分析、舆情分析主题挖掘、威胁情报溯源、知识图谱、预测预警及AI和NLP应用等。前文分享了疫情相关新闻数据爬取,并进行中文分词处理及文本...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 31,835
精华内容 12,734
关键字:

如何分析论文的主题