精华内容
下载资源
问答
  • 数据挖掘案例

    2014-04-28 14:29:33
    中国数据挖掘案例集锦,含6大经典案例,PDF文档,仅供学习之用
  • 银行业数据挖掘案例分析银行业数据挖掘案例分析银行业数据挖掘案例分析银行业数据挖掘案例分析银行业数据挖掘案例分析银行业数据挖掘案例分析银行业数据挖掘案例分析银行业数据挖掘案例分析银行业数据挖掘案例分析...
  • R语言数据挖掘案例

    2018-03-27 08:31:04
    R语言数据挖掘案例,压缩包文件,欢迎下载。,,,,,,
  • 工业大数据资料,及相关数据挖掘案例
  • 数据挖掘案例研究_手机电视经营挖掘.数据挖掘的一个案例分析.
  • 电信数据挖掘案例讲解,资料很不错,详细地讲解了一些例子。
  • 很好的数据挖掘案例,帮助更好理解数据挖掘技术。希望对你们有用呢
  • 数据挖掘案例分析

    2018-12-04 12:45:53
    从三个案例,全面系统地阐述了大数据挖掘的整个过程 包括Jupyter Notebook的Python代码、数据集、和一些简单的解释说明。 教学课件
  • 数据挖掘案例实战:利用LDA主题模型提取京东评论数据 网上购物已经成为大众生活的重要组成部分。人们在电商平台上浏览商品和购物,产生了海量的用户行为数据,其中用户对商品的评论数据对商家具有重要的意义。利用好...

    数据挖掘案例实战:利用LDA主题模型提取京东评论数据

    网上购物已经成为大众生活的重要组成部分。人们在电商平台上浏览商品和购物,产生了海量的用户行为数据,其中用户对商品的评论数据对商家具有重要的意义。利用好这些碎片化、非结构化的数据,将有利于企业在电商平台上的持续发展,对这部分数据进行分析,依据评论数据来优化现有产品也是大数据在企业经营中的实际应用。

    本章主要针对用户在电商平台上留下的评论数据,对其进行分词、词性标注和去除停用词等文本预处理。基于预处理后的数据进行情感分析,并使用LDA主题模型提取评论关键信息,了解用户的需求、意见、购买原因,以及产品的优缺点,最终提出改善产品的建议。

    背景与挖掘目标

    随着电子商务的迅速发展和网络购物的流行,人们对于网络购物的需求变得越来越高,也给电商企业带来巨大的发展机遇,与此同时,这种需求也推动了更多电商企业的崛起,引发了激烈的竞争。而在这种激烈竞争的大背景下,除了提高商品质量、压低价格外,了解更多消费者的心声对电商企业来说也变得越来越有必要。其中非常重要的方式就是对消费者的评论文本数据进行内在信息的分析。

    评论信息中蕴含着消费者对特定产品和服务的主观感受,反应了人们的态度、立场和意见,具有非常宝贵的研究价值。一方面,对企业来说,企业需要根据海量的评论文本数据去更好的了解用户的个人喜好,从而提高产品质量,改善服务,获取市场上的竞争优势。另一方面,消费者需要在没有看到真正的产品实体、做出购买决策之前,根据其他购物者的评论了解产品的质量、性价比等信息,为购物抉择提供参考依据。

    请根据提供的数据实现以下目标。

    (1)对京东商城中美的电热水器的评论进行情感分析。

    (2)从评论文本中挖掘出用户的需求、意见,购买原因以及产品的优缺点。

    (3)根据模型结果给出改善产品的建议。

    分析方法与过程

    图1为电商产品评论数据情感分析流程,主要步骤如下。

    (1)利用Python对京东商城中美的电热水器的评论进行爬取。

    (2)利用Python爬取到的京东商城中美的电热水器的评论数据,对评论文本数据进行数据清洗、分词、停用词过滤等操作。

    (3)对预处理后的数据进行情感分析,将评论文本数据按照情感倾向分为正面评论数据(好评)和负面评论数据(差评)。

    (4)分别对正、负面评价数据进行LDA主题分析,从对应的结果分析文本评论数据中有价值的内容。

    在这里插入图片描述

    图1 电商产品评论数据情感分析流程

    评论预处理

    对京东商城中美的热水器评论数据进行预处理前,需要先对评论数据进行采集。本案例利用Python网络爬虫技术对京东商城中美的热水器评论数据进行采集。由于本案例的重点是对电商产品评论数据情感分析,且网络数据的爬取具有时效性,因此,本案例不再详细介绍数据的采集过程。以下分析所使用的数据与分析结果,仅作为范例参考。

    1.评论去重

    一些电商平台往往为了避免一些客户长时间不进行评论,会设置一道程序,如果用户超过规定的时间仍然没有做出评论,系统会自动替客户做出评论,这类数据显然没有任何分析价值。

    由语言的特点可知,在大多数情况下,不同购买者之间的有价值的评论都不会出现完全重复,如果出现了不同购物者的评论完全重复,这些评论一般都是毫无意义的。这种评论显然只有最早的评论才有意义(即只有第一条有作用)。

    部分评论相似程度极高,可是在某些词语的运用上存在差异。此类评论可归为重复评论,若是删除文字相近评论,则会出现误删的情况。由于相近的评论也存在不少有用的信息,去除这类评论显然不合适。因此,为了存留更多的有用语料,本节针对完全重复的语料下手,仅删除完全重复部分,以确保尽可能保留有用的文本评论信息。评论去重的代码如以下所示。

    import pandas as pd
    import re
    import jieba.posseg as psg
    import numpy as np
    # 去重,去除完全重复的数据
    reviews = pd.read_csv("../tmp/reviews.csv")
    reviews = reviews[['content', 'content_type']].drop_duplicates()
    content = reviews['content']
    

    微信关注泰迪学院,回复美的领取数据和代码

    运行代码清单可知,美的热水器的评论共2000条,经过文本去重,共删除重复评论26条,剩余评论1974条。

    2.数据清洗

    通过人工观察数据发现,评论中夹杂许多数字与字母,对于本案例挖掘目标而言,这类数据本身没有实质性帮助。另外,由于该评论文本数据主要围绕京东商城中美的电热水器进行评价,其中“京东”“京东商城”“美的”“热水器”“电热水器”等词出现的频数很大,但是对分析目标并没有什么作用,因此可以在分词之前将这些词去除,对数据进行清洗,如代码清单以下所示。

    # 去除去除英文、数字等
    # 由于评论主要为京东美的电热水器的评论,因此去除这些词语
    strinfo = re.compile('[0-9a-zA-Z]|京东|美的|电热水器|热水器|')
    content = content.apply(lambda x: strinfo.sub('', x))
    

    微信关注泰迪学院,回复美的领取数据和代码

    评论分词

    1.分词、词性标注、去除停用词。

    (1)对评论数据进行分词

    分词是文本信息处理的基础环节,是将一个单词序列切分成一个一个单词的过程。准确的分词可以极大的提高计算机对文本信息的是被和理解能力。相反,不准确的分词将会产生大量的噪声,严重干扰计算机的识别理解能力,并对这些信息的后续处理工作产生较大的影响。

    汉语的基本单位是字,由字可以组成词,由词可以组成句子,进而由一些句子组成段、节、章、篇。可见,如果需要处理一篇中文语料,从中正确的识别出词是一件非常基础且重要的工作。

    然而,中文以字为基本书写单位,词与词之间没有明显的区分标记。中文分词的任务就是把中文的序列切分成有意义的词,即添加合适的词串使得所形成的词串反映句子的本意,中午分词例子如表1所示。

    表1 中文分词例子
    在这里插入图片描述

    当使用基于词典的中文分词方法进行中文信息处理时不得不考虑未登录词的处理。未登录词指词典中没有登录过的人名、地名、机构名、译名及新词语等。当采用匹配的办法来切分词语时,由于词典中没有登录这些词,会引起自动切分词语的困难。常见的未登陆词有命名实体,如“张三”“北京”“联想集团”“酒井法子”等;专业术语,如“贝叶斯算法”“模态”“万维网”;新词语,如“卡拉OK”“美刀”“啃老族”等。

    另外,中文分词还存在切分歧义问题,如“当结合成分子时”这个句子可以有以下切分方法:“当/结合/成分/子时”,“当/结合/成/分子/时”,“当/结/合成/分子/时”,“当/结/合成分/子时”。

    可以说,中文分词的关键问题为:切分歧义的消解和未登录词的识别。

    词典匹配是分词最为传统也最为常见的一种办法。匹配方式可以为正向(从左到右)或逆向(从右到左)。对于匹配中遇到的多种分段可能性(segmentation ambiguity),通常会选取分隔出来词的数目最少的。

    很明显,这种方式对词表的依赖很大,一旦出现词表中不存在的新词,算法是无法做到正确的切分的。但是词表匹配也有它的优势,比如简单易懂,不依赖训练数据,易于纠错等等。
    还有一类方法是通过语料数据中的一些统计特征(如互信息量)去估计相邻汉字之间的关联性,进而实现词的切分。这类方法不依赖词表,特别是在对生词的发掘方面具有较强的灵活性,但是也经常会有精度方面的问题。

    分词最常用的工作包是jieba分词包,jieba分词是python写成的一个分词开源库,专门用于中文分词,其有三条基本原理,即实现所采用技术。

    ① 基于trie树结构实现高效的词图扫描,生成句子中汉字所有可能成词情况所构成的有向无环图(DAG)。jieba分词自带了一个叫做dict.txt的词典,里面有2万多条词,包含了词条出现的次数(这个次数是作者自己基于人民日报语料等资源训练得出来的)和词性。trie树是有名的前缀树,若一个词语的前面几个字一样,表示该词语具有相同的前缀,可以使用trie树来存储,trie树存储方式具有查找速度快的优势。后一句的“生成句子中汉字所有可能成词情况所构成的有向无环图”意思是给定一个待切分的句子,生成一个如图2所示的有向无环图。

    在这里插入图片描述

    图2“有意见分歧”切分生成的有向无环图

    ② 采用动态规划查找最大概率路径,找出基于词频的最大切分组合。先查找待分词句子中已经切分好的词语,再查找该词语出现的频率,然后根据动态规划查找最大概率路径的方法,对句子从右往左反向计算最大概率(反向是因为汉语句子的重心经常落在右边,从右往左计算,正确率要高于从左往右计算,这个类似于逆向最大匹配),最后得到最大概率的切分组合。

    ③ 对于未登录词,采用HMM模型,使用了Viterbi算法,将中文词汇按照BEMS四个状态来标记。其中B是begin,表示开始位置;E是end,表示结束位置;M是middle,表示中间位置;S是singgle,表示单独成词的位置。HMM模型采用(B,E,M,S)这四种状态来标记中文词语,比如北京可以标注为BE,即北/B京/E,表示北是开始位置,京是结束位置,中华民族可以标注为BMME,就是开始、中间、中间和结束。

    (2)去除停用词

    停用词(Stop Words),词典译为“电脑检索中的虚字、非检索用字”。在SEO搜索引擎中,为节省存储空间和提高搜索效率,搜索引擎在索引页面或处理搜索请求时会自动忽略某些字或词,这些字或词即被称为停用词。

    停用词一定程度上相当于过滤词(Filter Words),区别是过滤词的范围更大一些,包含情色、政治等敏感信息的关键词都会被视做过滤词加以处理,停用词本身则没有这个限制。通常意义上,停用词大致可分为如下两类。

    一类是使用十分广泛,甚至是过于频繁的一些单词。比如英文的“i”“is”“what”,中文的“我”“就”等,这些词几乎在每个文档上均会出现,查询这样的词无法保证搜索引擎能够给出真正相关的搜索结果,因此无法缩小搜索范围来提高搜索结果的准确性,同时还会降低搜索的效率。因此,在搜索的时候,Google和百度等搜索引擎会忽略掉特定的常用词,如果使用了太多的停用词,有可能无法得到精确的结果,甚至可能得到大量毫不相关的搜索结果。

    另一类是文本中出现频率很高,但实际意义又不大的词。这一类词主要包括了语气助词、副词、介词、连词等,通常自身并无明确意义,只有将其放入一个完整的句子中才有一定作用的词语。常见的有“的”“在”“和”“接着”等,例如“泰迪教育研究院是最好的大数据知识传播机构之一”这句话中的“是”“的”就是两个停用词。

    经过分词后,评论由一个字符串的形式变为多个由文字或词语组成的字符串的形式,可判断评论中词语是否为停用词。根据上述停用词的定义整理出停用词库,并根据停用词库去除评论中的停用词,如以下代码清单所示。

    # 分词
    worker = lambda s: [(x.word, x.flag) for x in psg.cut(s)] # 自定义简单分词函数
    seg_word = content.apply(worker) 
    
    # 将词语转为数据框形式,一列是词,一列是词语所在的句子ID,最后一列是词语在该句子的位置
    n_word = seg_word.apply(lambda x: len(x))  # 每一评论中词的个数
    
    n_content = [[x+1]*y for x,y in zip(list(seg_word.index), list(n_word))]
    index_content = sum(n_content, [])  # 将嵌套的列表展开,作为词所在评论的id
    
    seg_word = sum(seg_word, [])
    word = [x[0] for x in seg_word]  # 词
    
    nature = [x[1] for x in seg_word]  # 词性
    
    content_type = [[x]*y for x,y in zip(list(reviews['content_type']), 
                 list(n_word))]
    content_type = sum(content_type, [])  # 评论类型
    
    result = pd.DataFrame({"index_content":index_content, 
                           "word":word,
                           "nature":nature,
                           "content_type":content_type}) 
    
    # 删除标点符号
    result = result[result['nature'] != 'x']  # x表示标点符号
    
    # 删除停用词
    stop_path = open("../data/stoplist.txt", 'r',encoding='UTF-8')
    stop = stop_path.readlines()
    stop = [x.replace('\n', '') for x in stop]
    word = list(set(word) - set(stop))
    result = result[result['word'].isin(word)]
    
    # 构造各词在对应评论的位置列
    n_word = list(result.groupby(by = ['index_content'])['index_content'].count())
    index_word = [list(np.arange(0, y)) for y in n_word]
    index_word = sum(index_word, [])  # 表示词语在改评论的位置
    
    # 合并评论id,评论中词的id,词,词性,评论类型
    result['index_word'] = index_word
    

    微信关注泰迪学院,回复美的领取数据和代码

    2.提取含名词的评论

    由于本案例的目标是对产品特征的优缺点进行分析,类似“不错,很好的产品”,“很不错,继续支持”等评论虽然表达了对产品的情感倾向,但是实际上无法根据这些评论提取出哪些产品特征是用户满意的。评论中只有出现明确的名词,如机构团体及其它专有名词时,评论才有意义,因此需要对分词后的词语进行词性标注。之后再根据词性将含有名词类的评论提取出来。

    jieba关于词典词性标记,采用ICTCLAS的标记方法。ICTCLAS汉语词性标注集如表2所示。

    表2 ICTCLAS 汉语词性标注集
    在这里插入图片描述在这里插入图片描述
    根据得出的词性,提取评论中词性含有“n”的评论,如以下代码清单所示。

    # 提取含有名词类的评论
    ind = result[['n' in x for x in result['nature']]]['index_content'].unique()
    result = result[[x in ind for x in result['index_content']]]
    

    微信关注泰迪学院,回复美的领取数据和代码

    3.绘制词云查看分词效果

    进行数据预处理后,可绘制词云查看分词效果,词云会将文本中出现频率较高的“关键词”予以视觉上的突出。首先需要对词语进行词频统计,将词频按照降序排序,选择前100个词,使用wordcloud模块中的WordCloud绘制词云,查看分词效果,如以下代码清单所示。

    import matplotlib.pyplot as plt
    from wordcloud import WordCloud
    
    frequencies = result.groupby(by = ['word'])['word'].count()
    frequencies = frequencies.sort_values(ascending = False)
    backgroud_Image=plt.imread('../data/pl.jpg')
    wordcloud = WordCloud(font_path="STZHONGS.ttf",
                          max_words=100,
                          background_color='white',
                          mask=backgroud_Image)
    my_wordcloud = wordcloud.fit_words(frequencies)
    plt.imshow(my_wordcloud)
    plt.axis('off') 
    plt.show()
    
    # 将结果写出
    result.to_csv("../tmp/word.csv", index = False, encoding = 'utf-8')
    

    微信关注泰迪学院,回复美的领取数据和代码

    运行代码清单可得到分词后的词云图,如图3所示。

    在这里插入图片描述

    图3 分词后的词云图

    根据图3可以看出,对评论数据进行预处理后,分词效果较为符合预期。其中“安装”“师傅”“售后”“物流”,“服务”等词出现频率较高,因此可以初步判断用户对产品这几个方面比较重视。

    构建模型

    1.评论数据情感倾向分析

    (1)匹配情感词

    情感倾向也称为情感极性。在某商品评论中,可以理解为用户对该商品表达自身观点所持的态度是支持、反对还是中立,即通常所指的正面情感、负面情感、中性情感。由于本案例主要是对产品的优缺点进行分析,因此只要确定用户评论信息中的情感倾向方向分析即可,不需要分析每一评论的情感程度。

    对评论情感倾向进行分析首先对情感词进行匹配,主要采用词典匹配的方法,本案例使用的情感词表是2007年10月22日知网发布“情感分析用词语集(beta版)”,主要使用“中文正面评价”词表、“中文负面评价”“中文正面情感”“中文负面情感”词表。将“中文正面评论”“中文正面情感”两个词表合并,并给每个词语赋予初始权重1,作为本案例的正面评论情感词表。将“中文负面评价”“中文负面情感”两个词表合并,并给每个词语赋予初始权重-1,作为本案例的负面评论情感词表。

    一般基于词表的情感分析方法,分析的效果往往与情感词表内的词语有较强的相关性,如果情感词表内的词语足够全面,并且词语符合该案例场景下所表达情感,那么情感分析的效果会更好。针对本案例场景,需要在知网提供的词表基础上进行优化,例如“好评”“超值”“差评”“五分”等词只有在网络购物评论上出现,就可以根据词语的情感倾向添加至对应的情感词表内。将“满意”“好评”“很快”“还好”“还行”“超值”“给力”“支持”“超好”“感谢”“太棒了”“厉害”“挺舒服”“辛苦”“完美”“喜欢”“值得”“省心”等词添加进正面情感词表。将“差评”“贵”“高”“漏水”等词加入负面情感词表。

    读入正负面评论情感词表,正面词语赋予初始权重1,负面词语赋予初始权重-1。使用merge函数将按照词语将情感词表与分词结果进行匹配,如以下代码清单所示。

    import pandas as pd
    import numpy as np
    word = pd.read_csv("../tmp/word.csv")
    
    # 读入正面、负面情感评价词
    pos_comment = pd.read_csv("../data/正面评价词语(中文).txt", header=None,sep="\n", 
                            encoding = 'utf-8', engine='python')
    neg_comment = pd.read_csv("../data/负面评价词语(中文).txt", header=None,sep="\n", 
                            encoding = 'utf-8', engine='python')
    pos_emotion = pd.read_csv("../data/正面情感词语(中文).txt", header=None,sep="\n", 
                            encoding = 'utf-8', engine='python')
    neg_emotion = pd.read_csv("../data/负面情感词语(中文).txt", header=None,sep="\n", 
                            encoding = 'utf-8', engine='python') 
    
    # 合并情感词与评价词
    positive = set(pos_comment.iloc[:,0])|set(pos_emotion.iloc[:,0])
    negative = set(neg_comment.iloc[:,0])|set(neg_emotion.iloc[:,0])
    intersection = positive&negative  # 正负面情感词表中相同的词语
    positive = list(positive - intersection)
    negative = list(negative - intersection)
    positive = pd.DataFrame({"word":positive,
                             "weight":[1]*len(positive)})
    negative = pd.DataFrame({"word":negative,
                             "weight":[-1]*len(negative)}) 
    
    posneg = positive.append(negative)
    #  将分词结果与正负面情感词表合并,定位情感词
    data_posneg = posneg.merge(word, left_on = 'word', right_on = 'word', 
                            how = 'right')
    data_posneg = data_posneg.sort_values(by = ['index_content','index_word'])
    

    微信关注泰迪学院,回复美的领取数据和代码

    (2)修正情感倾向

    情感方向修正主要根据情感词前面2个位置的词语是否存在否定词而去判断情感值的正确与否,由于汉语中存在多重否定现象,即当否定词出现奇数次时,表示否定意思;当否定词出现偶数次时,表示肯定意思。按照汉语习惯,搜索每个情感词前2个词语,若出现奇数否定词,则调整为相反的情感极性
    本案例使用的否定词表共有19个否定词,分别为:不、没、无、非、莫、弗、毋、未、否、别、無、休、不是、不能、不可、没有、不用、不要、从没、不太。

    读入否定词表,对情感值的方向进行修正。计算每条评论的情感得分,将评论分为正面评论和负面评论,并计算情感分析的准确率,如以下代码清单所示。

    # 根据情感词前时候有否定词或双层否定词对情感值进行修正
    # 载入否定词表
    notdict = pd.read_csv("../data/not.csv")
    
    # 处理否定修饰词
    data_posneg['amend_weight'] = data_posneg['weight']  # 构造新列,作为经过否定词修正后的情感值
    data_posneg['id'] = np.arange(0, len(data_posneg))
    only_inclination = data_posneg.dropna()  # 只保留有情感值的词语
    only_inclination.index = np.arange(0, len(only_inclination))
    index = only_inclination['id']
    
    for i in np.arange(0, len(only_inclination)):
        review = data_posneg[data_posneg['index_content'] == 
                          only_inclination['index_content'][i]]  # 提取第i个情感词所在的评论
        review.index = np.arange(0, len(review))
        affective = only_inclination['index_word'][i]  # 第i个情感值在该文档的位置
        if affective == 1:
            ne = sum([i in notdict['term'] for i in review['word'][affective - 1]])
            if ne == 1:
                data_posneg['amend_weight'][index[i]] = -\
                data_posneg['weight'][index[i]] 
        elif affective > 1:
            ne = sum([i in notdict['term'] for i in review['word'][[affective - 1, 
                     affective - 2]]])
            if ne == 1:
                data_posneg['amend_weight'][index[i]] = -\
                data_posneg['weight'][index[i]]
                
    # 更新只保留情感值的数据
    only_inclination = only_inclination.dropna()
    
    # 计算每条评论的情感值
    emotional_value = only_inclination.groupby(['index_content'],
                                        as_index=False)['amend_weight'].sum()
    
    # 去除情感值为0的评论
    emotional_value = emotional_value[emotional_value['amend_weight'] != 0]
    *代码详见:demo/code/情感分析.py。
    (3)查看情感分析效果
    使用wordcloud包下的WordCloud函数分别对正面评论和负面评论绘制词云,查看情感分析效果,如代码清单 128所示。
    代码清单 128 查看情感分析效果
    # 给情感值大于0的赋予评论类型(content_type)为pos,小于0的为neg
    emotional_value['a_type'] = ''
    emotional_value['a_type'][emotional_value['amend_weight'] > 0] = 'pos'
    emotional_value['a_type'][emotional_value['amend_weight'] < 0] = 'neg'
    
    # 查看情感分析结果
    result = emotional_value.merge(word, 
                                   left_on='index_content', 
                                   right_on='index_content',
                                   how='left')
    
    result = result[['index_content','content_type', 'a_type']].drop_duplicates() 
    confusion_matrix = pd.crosstab(result['content_type'], result['a_type'], 
                              margins=True)  # 制作交叉表
    (confusion_matrix.iat[0,0] + confusion_matrix.iat[1,1])/confusion_matrix.iat[2,2]
    
    # 提取正负面评论信息
    ind_pos = list(emotional_value[emotional_value['a_type'] == 'pos']['index_content'])
    ind_neg = list(emotional_value[emotional_value['a_type'] == 'neg']['index_content'])
    posdata = word[[i in ind_pos for i in word['index_content']]]
    negdata = word[[i in ind_neg for i in word['index_content']]]
    
    # 绘制词云
    import matplotlib.pyplot as plt
    from wordcloud import WordCloud
    # 正面情感词词云
    freq_pos = posdata.groupby(by=['word'])['word'].count()
    freq_pos = freq_pos.sort_values(ascending=False)
    backgroud_Image=plt.imread('../data/pl.jpg')
    wordcloud = WordCloud(font_path="STZHONGS.ttf",
                          max_words=100,
                          background_color='white',
                          mask=backgroud_Image)
    pos_wordcloud = wordcloud.fit_words(freq_pos)
    plt.imshow(pos_wordcloud)
    plt.axis('off') 
    plt.show()
    # 负面情感词词云
    freq_neg = negdata.groupby(by=['word'])['word'].count()
    freq_neg = freq_neg.sort_values(ascending=False)
    neg_wordcloud = wordcloud.fit_words(freq_neg)
    plt.imshow(neg_wordcloud)
    plt.axis('off') 
    plt.show()
    
    # 将结果写出,每条评论作为一行
    posdata.to_csv("../tmp/posdata.csv", index=False, encoding='utf-8')
    negdata.to_csv("../tmp/negdata.csv", index=False, encoding='utf-8')
    

    微信关注泰迪学院,回复美的领取数据和代码

    运行代码清单,可得正面情感评论词云如图4所示,负面情感评论词云如图5所示。

    在这里插入图片描述

    图4 正面情感评论词云

    由图4正面情感评论词云可知,“不错”“满意”“好评”等正面情感词出现的频数较高,并且没有掺杂负面情感的词语,可以看出情感分析能较好的将正面情感评论抽取出来。

    在这里插入图片描述

    图5 负面情感评论词云

    由图5负面情感评论词云可知,“差评”“垃圾”“不好”“太差”等负面情感词出现的频数较高,并且没有掺杂正面情感的词语,可以看出情感分析能较好的将负面情感评论抽取出来。

    为了进一步查看情感分析效果,假定用户在评论时,不存在选了好评的标签,而写了差评内容的情况下,比较原评论的评论类型与情感分析得出的评论类型,绘制情感倾向分析混淆矩阵,如表3所示,查看词表的情感分析的准确率。

    表3 情感倾向分析混淆矩阵

    在这里插入图片描述

    由表3可知,通过比较原评论的评论类型与情感分析得出的评论类型,基于词表的情感分析的准确率达到了89.46%,证明通过词表的情感分析去判断某文本的情感程度是有效的。

    2.使用LDA模型进行主题分析

    (1)了解LDA主题模型
    ① 主题模型介绍

    主题模型在自然语言处理等领域是用来在一系列文档中发现抽象主题的一种统计模型。传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少,如TF(词频)、TF-IDF(词频-逆向文档频率)等,这种方法没有考虑到文字背后的语义关联,例如在两个文档共同出现的单词很少甚至没有,但两个文档是相似的,因此在判断文档相似性时,需要使用主题模型进行语义分析并判断文档相似性。

    如果一篇文档有多个主题,则一些特定的可代表不同主题的词语会反复的出现,此时,运用主题模型,能够发现文本中使用词语的规律,并且把规律相似的文本联系到一起,以寻求非结构化的文本集中的有用信息。例如热水器的商品评论文本数据,代表热水器特征的词语如“安装”“出水量”“服务”等会频繁地出现在评论中,运用主题模型,把热水器代表性特征相关的情感描述性词语与应的特征词语联系起来,从而深入了解用户对热水器的关注点及用户对于某一特征的情感倾向。

    ② LDA主题模型

    潜在狄利克雷分配,即LDA模型(Latent Dirichlet Allocation,LDA)是由Blei等人在2003年提出的生成式主题模型[⑱ Blei D M, Ng A Y, Jordan M I. Latent dirichlet allocation[J]. Journal of Machine Learning Research, 2003, 3:2003.]⑱。生成模型,即认为每一篇文档的每一个词都是通过“一定的概率选择了某个主题,并从这个主题中以一定的概率选择了某个词语”。LDA模型也被称为三层贝叶斯概率模型,包含文档(d)、主题(z)、词(w)三层结构,能够有效对文本进行建模,和传统的空间向量模型(VSM)相比,增加了概率的信息。通过LDA主题模型,能够挖掘数据集中的潜在主题,进而分析数据集的集中关注点及其相关特征词。

    LDA模型采用词袋模型(Bag Of Words,BOW)将每一篇文档视为一个词频向量,从而将文本信息转化为易于建模的数字信息。

    定义词表大小为L,一个L维向量(1,0,0,…,0,0)表示一个词。由N个词构成的评论记为。假设某一商品的评论集D由M篇评论构成,记为。M篇评论分布着K个主题,记为。记a和b为狄利克雷函数的先验参数,q为主题在文档中的多项分布的参数,其服从超参数为a的Dirichlet先验分布,f为词在主题中的多项分布的参数,其服从超参数b的Dirichlet先验分布。LDA模型图如图6所示。

    在这里插入图片描述

    图6 LDA模型结构示意图

    LDA模型假定每篇评论由各个主题按一定比例随机混合而成,混合比例服从多项分布,记为式(1)。
    zθ=Multinomialθ1z|\theta=Multinomial(\theta)(1)

    而每个主题由词汇表中的各个词语按一定比例混合而成,混合比例也服从多项分布,记为式(2)。
    wzϕ=Multinomialϕ2w|z,\phi=Multinomial(\phi)(2)

    在评论dj条件下生成词wi的概率表示为式(3)。
    Pwjdj=s=1KPwiz=s×P(z=sdj)3P(w_{j}|d_{j})=\sum_{s=1}^{K}P(w_{i}|z=s)×P(z=s|d_{j})(3)

    其中, Pwiz=sP(w_{i}|z=s)表示词wiw_{i}属于第s个主题的概率,表示第s个主题在评论djd_{j}中的概率。

    LDA主题模型是一种无监督的模式,只需要提供训练文档,它就可以自动训练出各种概率,无需任何人工标注过程,节省大量人力及时间。它在文本聚类、主题分析、相似度计算等方面都有广泛的应用,相对于其他主题模型,其引入了狄利克雷先验知识。因此,模型的泛化能力较强,不易出现过拟合现象。

    LDA主题模型可以解决多种指代问题,例如:在热水器的评论中,根据分词的一般规则,经过分词的语句会将“费用”一词单独分割出来,而“费用”是指安装费用,还是热水器费用等其他情况,如果简单的进行词频统计及情感分析,是无法识别的,这种指代不明的问题不能购准确的反应用户情况,运用LDA主题模型,可以求得词汇在主题中的概率分布,进而判断“费用”一词属于哪个主题,并求得属于这一主题的概率和同一主题下的其他特征词,从而解决多种指代问题。

    建立LDA主题模型,首先需要建立词典及语料库,如以下代码清单所示。

    import pandas as pd
    import numpy as np
    import re
    import itertools
    import matplotlib.pyplot as plt
    
    # 载入情感分析后的数据
    posdata = pd.read_csv("../data/posdata.csv", encoding='utf-8')
    negdata = pd.read_csv("../data/negdata.csv", encoding='utf-8')
    
    from gensim import corpora, models
    # 建立词典
    pos_dict = corpora.Dictionary([[i] for i in posdata['word']])  # 正面
    neg_dict = corpora.Dictionary([[i] for i in negdata['word']])  # 负面
    
    # 建立语料库
    pos_corpus = [pos_dict.doc2bow(j) for j in [[i] for i in posdata['word']]]  # 正面
    neg_corpus = [neg_dict.doc2bow(j) for j in [[i] for i in negdata['word']]]   # 负面
    

    微信关注泰迪学院,回复美的领取数据和代码

    (2)寻找最优主题数

    基于相似度的自适应最优LDA模型选择方法,确定主题数并进行主题分析。实验证明该方法可以在不需要人工调试主题数目的情况下,用相对少的迭代,找到最优的主题结构。具体步骤如下。

    ① 取初始主题数k值,得到初始模型,计算各主题之间的相似度(平均余弦距离)。

    ② 增加或减少k值,重新训练模型,再次计算各主题之间的相似度。

    ③ 重复步骤②直到得到最优k值。

    利用各主题间的余弦相似度来度量主题间的相似程度。从词频入手,计算它们的相似度,用词越相似,则内容越相近。
    假定A和B是两个n维向量,A是,B是,则A与B的夹角θ的余弦值通过式(4)计算。
    Pwjdj=s=1KPwiz=s×P(z=sdj)3P(w_{j}|d_{j})=\sum_{s=1}^{K}P(w_{i}|z=s)×P(z=s|d_{j})(3)
    cosθ=i=1nAiBii=1n(Ai)2i=1n(Bi)2=ABAB4cos\theta=\frac{\sum_{i=1}^{n}A_{i}B_{i}}{\sum_{i=1}^{n}(A_{i})^2\sum_{i=1}^{n}(B_{i})^2}=\frac{AB}{|AB|}(4)
    使用LDA主题模型,找出不同主题数下的主题词;每个模型各取出若干个主题词(比如前100个),合并成一个集合;生成任何两个主题间的词频向量;计算两个向量的余弦相似度,值越大就表示越相似;计算个主题数的平均余弦相似度,寻找最优主题数,如以下代码清单所示。

    # 构造主题数寻优函数
    def cos(vector1, vector2):  # 余弦相似度函数
        dot_product = 0.0;  
        normA = 0.0;  
        normB = 0.0;  
        for a,b in zip(vector1, vector2): 
            dot_product += a*b  
            normA += a**2  
            normB += b**2  
        if normA == 0.0 or normB==0.0:  
            return(None)  
        else:  
            return(dot_product / ((normA*normB)**0.5))   
    
    # 主题数寻优
    def lda_k(x_corpus, x_dict):  
        
        # 初始化平均余弦相似度
        mean_similarity = []
        mean_similarity.append(1)
        
        # 循环生成主题并计算主题间相似度
        for i in np.arange(2,11):
            lda = models.LdaModel(x_corpus, num_topics=i, id2word=x_dict)  # LDA模型训练
            for j in np.arange(i):
                term = lda.show_topics(num_words=50)
                
            # 提取各主题词
            top_word = []
            for k in np.arange(i):
                top_word.append([''.join(re.findall('"(.*)"',i)) \
                               for i in term[k][1].split('+')])  # 列出所有词
               
            # 构造词频向量
            word = sum(top_word,[])  # 列出所有的词   
            unique_word = set(word)  # 去除重复的词
            
            # 构造主题词列表,行表示主题号,列表示各主题词
            mat = []
            for j in np.arange(i):
                top_w = top_word[j]
                mat.append(tuple([top_w.count(k) for k in unique_word]))  
                
            p = list(itertools.permutations(list(np.arange(i)),2))
            l = len(p)
            top_similarity = [0]
            for w in np.arange(l):
                vector1 = mat[p[w][0]]
                vector2 = mat[p[w][1]]
                top_similarity.append(cos(vector1, vector2))
                
            # 计算平均余弦相似度
            mean_similarity.append(sum(top_similarity)/l)
        return(mean_similarity)
                
    # 计算主题平均余弦相似度
    pos_k = lda_k(pos_corpus, pos_dict)
    neg_k = lda_k(neg_corpus, neg_dict)        
    
    # 绘制主题平均余弦相似度图形
    from matplotlib.font_manager import FontProperties  
    font = FontProperties(size=14)
    #解决中文显示问题
    plt.rcParams['font.sans-serif'] = ['SimHei']
    plt.rcParams['axes.unicode_minus'] = False  
    fig = plt.figure(figsize=(10,8))
    ax1 = fig.add_subplot(211)
    ax1.plot(pos_k)
    ax1.set_xlabel('正面评论LDA主题数寻优', fontproperties=font)
    
    ax2 = fig.add_subplot(212)
    ax2.plot(neg_k)
    ax2.set_xlabel('负面评论LDA主题数寻优', fontproperties=font)
    

    微信关注泰迪学院,回复美的领取数据和代码

    运行代码清单,可得主题间平均余弦相似度图,如图7所示。
    在这里插入图片描述

    图7 主题间平均余弦相似度图

    由图7可知,对于正面评论数据,当主题数为2或3时,主题间的平均余弦相似度就达到了最低。因此,对正面评论数据做LDA,可以选择主题数为3。对于负面评论数据,当主题数为3时,主题间的平均余弦相似度就达到了最低。因此,对负面评论数据做LDA,可以选择主题数为3。

    (3)评价主题分析结果

    根据主题数寻优结果,使用Python的gensim模块对正、负面评论数据分别构建LDA主题模型,设置主题数为3经过LDA主题分析后,每个主题下生成10个最有可能出现的词语以及相应的概率,如以下代码清单所示。

    # LDA主题分析
    pos_lda = models.LdaModel(pos_corpus, num_topics=3, id2word=pos_dict)  
    neg_lda = models.LdaModel(neg_corpus, num_topics=3, id2word=neg_dict)  
    pos_lda.print_topics(num_words=10)
    neg_lda.print_topics(num_words=10)
    

    微信关注泰迪学院,回复美的领取数据和代码

    运行代码清单,可得LDA主题分析结果如表4与表5所示。

    表4 美的正面评价潜在主题
    在这里插入图片描述

    表4反映了美的正面评价文本中的潜在主题,主题1中的高频特征词,即关注点主要是师傅、不错、售后服务等,主要反映美的安装师傅服务好等;主题2中的高频特征词,即关注点主要是物流、价格等,主要反映热水器的发货速度快,及品牌价格实惠等;主题3中的高频特征词,即不错、满意、质量、好评等,主要反映京东美的产品质量不错。

    表5 美的负面评价潜在主题
    在这里插入图片描述

    表5反映了美的负面评价文本中的潜在主题,主题1中的高频特征词主要关注点在安装、安装费、收费这几方面,可能存在安装师傅收费过高等问题;主题2中的高频特征词主要与售后、服务这几方面,反映该产品售后服务差等问题;主题3中的高频特征词主要与加热功能有关,即主要反映的是美的热水器加热性能存在问题。

    综合以上对主题及其中的高频特征词分析得出,美的热水器的优势有以下几个方面:价格实惠、性价比高、外观好看、服务好。相对而言,用户对美的热水器的抱怨点主要体现在美的热水器安装的费用高及售后服务差等。

    因此,用户的购买原因可以总结为以下几个方面:美的是大品牌值得信赖,美的热水器价格实惠,性价比高。

    根据对京东平台上,美的热水器的用户评价情况进行LDA主题模型分析,对美的品牌提出以下2点建议。

    ① 在保持热水器使用方便、价格实惠等优点基础上,对热水器进行加热功能上的改进,从整体上提升热水器的质量。

    ② 提升安装人员及客服人员的整体素质,提高服务质量,更加注重售后服务。建立安装费用收取明文细则,并进行公开透明,减少安装过程的乱收费问题。适度降低安装费用和材料费用,以此在大品牌的竞争中凸显优势。

    小结

    本案例向读者展示了如何使用Python处理电商文本评论数据。通过使用Python爬取的案例数据,对文本数据进行预处理、分词、去除停用词等操作,在知网情感词表上进行优化,进行基于词表的情感分析,最后使用LDA对正负面评论进行主题分析。从分析某一热水器的用户情感倾向出发,挖掘出该热水器的优点与不足,从而提升对应商品的生产厂家自身的竞争力。

    展开全文
  • 银行业数据挖掘案例.

    2016-06-07 20:55:24
    银行业、数据挖掘、看看案例
  • 数据挖掘流程一. 数据读取与统计分析二. 特征分析 & 缺失值填充2.1 性别与获救2.2 船舱等级与获救2.3 年龄与获救2.4 姓名(称谓) 与获救2.5 填充缺失值2.6 登船地点与获救2.7 兄弟姐妹的数量2.8 父母和孩子的数量2.9...
  • 作者:Nature出品:AI机器思维“从数据处理基础扎实练习是数据分析与数据挖掘的第一步”做一道好菜需要食材,好的食材需要经过优质的萃取提炼。食材的提炼过程包括选型、运输保鲜、加工清洗、按要求切菜等才能按菜谱...

    ed8cc99d3584573839da5bed8702b0ed.gif

    4eb81b8e5e43a535d03e19f239c2320f.png

    作者:Nature

    出品:AI机器思维

    从数据处理基础扎实练习是数据分析与数据挖掘的第一步

    做一道好菜需要食材,好的食材需要经过优质的萃取提炼。食材的提炼过程包括选型、运输保鲜、加工清洗、按要求切菜等才能按菜谱进行真正的做出一道口感美味的菜。大数据时代数据分析与数据挖掘关键的一步在处理食材,这里的各类数据就是我们的食材,选择优质的数据,经过深加工清洗,去伪纯真这个过程需要耗费很长时间,也需要更多的实践经验。根据多年经验,要想运用好数据,首先要研究学习对各种类型的数据进行处理(如各类数据库数据、EXCEL数据、TXT数据、DAT数据等等)。无论用那种语言做数据分析与数据挖掘,首先得有数据食材,对于数据分析与数据挖掘工具只是帮助我们更好的做出一道好菜,正如开车,那种车都能到达目的地,技术不同效率不同,安全系数也不同。数据分析与数据挖掘的工具目前主流的是SAS、python、R等。这些数据分析挖掘工具能对海量的数据进行处理分析与挖掘。业界中用到的数据量都超过GB级别,研究数据处理,学好数据处理是万里长征第一步,也是学习数据分析与数据挖掘的核心。练习基本功需要耐心和毅力,也需要学习方式。建议学习方式如下:○对各类数据每一种类型的数据处理根据案例学习并总结数据处理经验。○对数据处理生成能够被数据分析与数据挖掘工具的数据集进行二次加工处理,需要理解业务衍生业务数据指标,这是一个深加工的过程。根据数据分析和数据挖掘目标找几个案例真正落实,多加练习。○数据分析与数据挖掘的过程就是运用工具中已经内置好的数据分析工具以及函数包的过程,这个过程只是占了整个数据分析与数据挖掘的百分之三十的工作量,大部分时间都是在做数据处理的清洗工作。○数据分析报告可以研习案例写作,数据挖掘结果分析根据研习的案例学习。数据分析与数据挖掘真正上手的方式就是加大案例学习与实践,跟着案例手把手练习,才能真正掌握数据分析与数据挖掘的真谛。案例如下面是零售客户数据,文件名buy.txt,目前存放在我的个人文件夹    E:/testdata/buy.txt

    f63dda2ddb3ee61cda8896f9d7a42cef.png

    数据说明:数据中每列为面包、牛奶、奶酪、苹果和香蕉对此类数据研究客户交叉销售,根据客户购买行为判断客户在买其中一种食物时会购买那类食物,这样把客户可能购买概率最高的放在货架上相同的位置。因此处理数据是核心环节:下面是python3.7版本下数据处理程序,数据文件以”|”分割,处理数据时程序指明了分隔符。这里的x=np.loadtxt(dataset_filename,delimiter='|')语句中delimiter=’|’指明了数据以|分割,默认是以空格,如果以空格就需要这个参数了。
    importtnumpyas np
    dataset_filename=
    "E:/testdata/buy.txt"x=np.loadtxt(dataset_filename,delimiter='|')print(x[:6])
    查看数据处理的数据如下:

    3d2d949ca182f950f28d6c4c916b6625.png

    输出结果从横向和纵向看都可以,横着看,每次只看一行。第一行(0, 0, 0, 1,1)表示 第一条交易数据所包含的商品。竖着看,每一列代表一种商品。在我们这个例子中,这五种商品分别是面包、牛奶、奶酪、苹果和香蕉。从第一条交易数据中,我们可以看到顾客购买了苹果和香蕉,但是没有买面包、牛奶和奶酪。每个特征只有两个可能的值,1或0,表示是否购买了某种商品,而不是购买商品的数量。1 表示顾客至少买了该商品,0表示顾客没有买该种商品。我们要找出“如果顾客购买了商品X,那么他们可能愿意购买商品Y”这样 的规则。简单粗暴的做法是,找出数据集中所有同时购买的两件商品。找出规则后,还需要判断其优劣,我们挑好的规则用。规则的优劣有多种衡量方法,常用的是支持度(support)和置信度(confidence)。 支持度指数据集中规则应验的次数,统计起来很简单。有时候,还需要对支持度进行规范化,即再除以规则有效前提下的总数量。我们这里只是简单统计规则应验的次数。支持度衡量的是给定规则应验的比例,而置信度衡量的则是规则准确率如何,即符合给定条件(即规则的“如果”语句所表示的前提条件)的所有规则里,跟当前规则结论一致的比例有多大。计算方法为首先统计当前规则的出现次数,再用它来除以条件(“如果”语句)相同的规则数量。 接下来,通过一个例子来说明支持度和置信度的计算方法,我们看一下怎么求“如果顾客购买了苹果,他们也会购买香蕉”这条规则的支持度和置信度。如下面的代码所示,通过判断交易数据中sample[3]的值,就能知道一个顾客是否买了苹果。 这里,sample表示一条交易信息,也就是数据集里的一行数据。
    num_apple_purchases=0for sample in x:if sample[3]==1:
            num_apple_purchases+=
    1print("{0}people bought apples".format(num_apple_purchases))
    下面是程序执行后统计购买苹果的结果:

    fd2611fb078b2f744160a1ab94b74293.png

    同理,检测sample[4]的值是否为1,就能确定顾客有没有买香蕉。现在可以计算题目给定规则在数据集中的出现次数,从而计算置信度和支持度。 我们需要统计数据集中所有规则的相关数据。首先分别为规则应验和规则无效这两种情况创 建字典。字典的键是由条件和结论组成的元组,元组元素为特征在特征列表中的索引值,不要用 实际特征名,比如“如果顾客购买了苹果,他们也会买香蕉”就用(3, 4)表示。如果某个个体的条件和结论均与给定规则相符,就表示给定规则对该个体适用,否则如果通过给定条件推出的结论与给定规则的结论不符,则表示给定规则对该个体无效。 为了计算所有规则的置信度和支持度,首先创建几个字典,用来存放计算结果。这里使用defaultdict,好处是如果查找的键不存在,返回一个默认值。附件:以空格分隔数据案例,整个程序源代码,数据可以自己多创造几条,如需要数据文件请留言,跟着案例学习可以更好的体验应用价值,提供学习兴趣:

    624ec871f825cdd57a052a7849568f53.png

    运行结果如下:

    32203a95f2d2f37242492cb4c2f0c58b.png

    从排序结果来看,“顾客买苹果,也会买奶酪”和“顾客买奶酪,也会买香蕉”,这两条规 则的支持度和置信度都很高。超市可以根据这些规则来调整商品摆放位置。例如如果苹果促销,就在旁边摆上奶酪。但是香蕉和奶酪同时搞促销就没有多大意义了,因为我们发现购买奶酪的顾客中,接近66%的人即使不搞促销也会买香蕉——即使搞促销,也不会给销量带来多大提升。 从上面这个例子就能看出从海量的数据中进行数据挖掘的洞察力有多强大,帮助我们发现数据背后的信息提升决策依据,指导经营提升营收。人们可以用数据挖掘技术探索数据集中各变量之间的关系,寻找商业价值,商品组合价值,营销价值等。学好数据挖掘,数据处理是关键,其他就是引用统计学的方法以及机器学习的算法等!

    ——往期精彩——

    额度授予模型

    开启数据挖掘之旅——以Python应用案例讲解(NO1)

    信用风险评分卡研究(1)

    品玩SAS:电商平台销售数据分析——以英国电商平台为例

    P2P网贷用户数据分析——以拍拍贷为例

    a57bd288983c8a274325837259dcdeee.png

    如果您觉得文章不错,请点击右下角的在看支持我们!

    展开全文
  • 所谓的数据挖掘其实就是在大量的的非结构化数据里搜索可用的数据,并提取隐含在其中、人们事先不知道的、但又有潜在应用价值的过程。 Smartbi数据挖掘工具揭示的是未知的、将来的数据关系。数据挖掘的知识领域涵盖了...

    所谓的数据挖掘其实就是在大量的的非结构化数据里搜索可用的数据,并提取隐含在其中、人们事先不知道的、但又有潜在应用价值的过程。

    Smartbi数据挖掘工具揭示的是未知的、将来的数据关系。数据挖掘的知识领域涵盖了数据库技术、统计学知识、机器学习、可视化等多学科知识的综合应用。

    Smartbi Mining平台是一个注重于实际生产应用的数据分析预测平台,它旨在为个人、团队和企业所做的决策提供预测。该平台不仅可为用户提供直观的流式建模、拖拽式操作和流程化、可视化的建模界面,还提供了大量的数据预处理操作。此外,它内置了多种实用的、经典的机器学习算法,并基于Smartbi对企业客户的长期经验,提供了大量实用的企业级平台特性。具体特性如下:

    适应大型企业

    1、分布式云计算,线性扩展,保证性能

    2、与BI平台无缝整合,一键发布挖掘模型

    3、模型库提高知识复用,减少重复投入

    4、支持跨库查询,统一控制数据访问权限

    5、训练自动化、模型自学习,提供企业级模型工厂

    适应普通用户

    1、直观易上手的流式建模,极简风格的节点配置界面

    2、支持可视化探索,轻松理解数据质量和数据关联

    3、流程节点在线帮助,随用随查

    4、模型超参数自动调整,降低使用门槛

    专业算法能力

    1、内置5大类机器学习成熟算法

    2、支持文本分析处理

    3、支持使用Python扩展挖掘算法

    4、支持使用SQL扩展数据处理能力

    5、自动特征组合,实现有效的特征生成

    下面介绍企业应用Smartbi 的数据挖掘案例
    建设背景:

    Ø XX一卡通有限公司经过数年的运营及发展,目前业务已经普及到公交、地铁、出租车、停车场、公租自行车、轮渡等。

    Ø 项目要实现一卡通对内的日常运营展示和统计、对外的定制分析、GIS展示、BI数据挖掘和决策支持,达到最大化满足政府、一卡通公司、运营业主和商户等对公共交通大数据的分析需求。

    建设目标:

    一卡通的可视化业务辅助决策平台

    一卡通各应用场景进行数据分析及挖掘

    提供精准实时的商业洞察

    持续解决互联互通管理问题

    技术架构:

    的撒旦撒旦.png

    业务建设方案:

    sa'fa'fa爱上发发发发.png

    成果举例:

    1、流向省外交易数据

    的方法大师傅地方的第三方.png

    2、外地到本地交易数据分析

    烦烦烦的三十分大师.png

    项目价值:

    • 通过BI大屏的各项指标监控,对供应链各个透明化管理,提升了一卡通的互联互通

    • 准确快速的反应客户动向,及时判断客户问题

    • 业务部门可自行挖掘数据,持续解决管理问题

    • 各个业务场景进行数据挖掘,辅助各个部门决策

    数据挖掘还能火几年这个暂时还没办法预测,其实我们大部分人都是在摸着石头过河,没有前人经验和教训作参考,时代总是在不停地发展的,整个世界都处在一个高速发展的状态,总是往前走,终有一天,人工智能和机器学习会颠覆一些的传统行业。

    展开全文
  • SAS 关于数据挖掘的一些案例和源码,适合使用SAS进行数据挖掘分析学习
  • 数据挖掘案例分析(1)-Apriori算法

    千次阅读 2016-09-07 15:26:35
    数据挖掘案例分析(1)-Apriori算法 前言:由于单单学习算法太过于枯燥和乏味,所以我们采取的学习方法是练中学,本人也是之前一点关于数据挖掘的算法知识没有学习,因此可能在理解上还不是很到位,我会尽我最大的...

    数据挖掘案例分析(1)-Apriori算法

    前言:由于单单学习算法太过于枯燥和乏味,所以我们采取的学习方法是练中学,本人也是之前一点关于数据挖掘的算法知识没有学习,因此可能在理解上还不是很到位,我会尽我最大的努力来进行阐述。我们一起共勉。学习资料来源,《数据挖掘十大算法》-清华大学和《数据挖掘实用案例分析》-机械工业出版社。

    案例:商业零售业中的购物篮分析

    一、挖掘目标的提出

         零售商的问题:

               销售什么样子的商品?

               采取什么样的销售策略和促销方式?

               商品在货架上的摆放位置?

    针对以上的问题,我们需要分析客户的购买数据,才能发现顾客的购买规律。所以基于问题的分析,我们明确了数据来源。那么我们明确了数据的来源,对这些数据该采取什么样的分析方法才能达到我们想要完成的目标。

    二、分析方法与过程

         根据所要实现的目标,我们先来介绍一个经典的关联规则挖掘算法:Apriori算法。

    Apriori算法:关联规则挖掘问题可以划分为两个子问题:第一是找出事务数据库中所有大于等于用户指定的最小支持度的数据项集;第二个是利用频繁项集生成所需要的关联规则。根据用户设定的最小置信度进行取舍,最后得到强关联规则。识别或发现所有频繁项目集是关联规则发现算法的核心。

    主要步骤:

    (1)   扫描全部数据,产生候选1-项集的集合.

    (2)   根据最小支持度,由候选1-项集的集合产生频繁1-项集的集合.

    (3)   对K>1,重复执行步骤(4)(5)(6)

    (4)   由执行链接和剪枝操作,产生候选(K+1)-项集合。

    (5)   根据最小支持度,由候选(K+1)-项集的集合产生频繁(k+1)-项集的集合。

    (6)   若L,则k=k+1,跳往步骤(4):否则,跳往步骤(7)。

    (7)   根据最小置信度,由频繁项集产生强关联规则,结束。

    其中在这个算法中,为了达到用户的一定要求,需要指定规则必须满足的支持度和置信度阈值,此两个值称为最小支持度阈值(min_sup)和最小置信度阈值(min_conf)。其中min_sup描述了关联规则的最低重要度,min_conf规定了关联规则必须满足的最低可靠性。

         具体的简单应用读者可以自己自行从网上找取资源。

    下面我们来总结一下Apriori算法的优缺点:

    优点

    缺点

    1Apriori是一个迭代算法

    1多次扫描事务数据库,需要很大的I/Ofu负载

    2数据采用水平组织方式

    2可能产生庞大的候选集

    3采用Apriori优化方法

    3在频繁项目集长度变大的情况下,运算时间显著增加。

    4适合事务数据库的关联规则挖掘

    5适合稀疏数据集

    Apriori算法应用的领域多样,其中主要包括:商业、网络安全、高效管理和移动通信等领域的应用。

         介绍完Apriori算法之后,我们回归我们的案例分析,基于关联规则的购物篮分析。那么关联规则的挖掘过程如图:

     

     

     

     

     

     


     

    三、建模仿真

         1模型输入

    模型的输入包括两部分,一部分是建模专家样本数据的输入,另外一部分是建模参数的输入。

    建模参数如下表:

     

    序号

    参数名称

    参数描述

    1

    列索引

    类别的属性选择,-1代表最后一个属性为类别属性

    2

    增量

    支持度的变化量

    3

    最小置信度

    设定最低的置信度值

    4

    规则条数

    关联规则的条数

    5

    显著性水平

    估计错误的概率

    6

    最小支持度下界

    最小支持度的范围下限

    7

    最小支持度上界

    最小支持度的范围上界

     

    2具体的仿真过程:

     

     

     

     

     


    经过上述的分析,我们可以发现,在彼此不同的属性之间,可以发现它们之间的关联规则,这有利于我们进行商品定价和商品的摆放。合理的制定消费策略。

     

     

    展开全文
  • 利用QQ群进行数据挖掘案例,数据源来源于2016年12-2017年大致一个月的QQ群基本数据,通过对聊天内容的分析,了解QQ聊天群资料了解时间,人群以及关键词,并构建相应图表、云图等,下图为本人所在提取的QQ群: 以下...
  • 数据挖掘01:泰坦尼克-数据挖掘流程 内容分为四个部分:第一部分:数据读取与展示、第二部分:特征理解分析 、第三部分:数据清洗与预处理、第四部分:建立模型
  • 一个成功将数据挖掘应用到营销数据库中,以获得更多信息 数据挖掘案例
  • 数据挖掘案例分析

    2015-04-25 19:25:00
    数据挖掘应用目前在国内的基本结论是“大企业成功案例少,中小企业需求小”。但是对于市场来说,如果不是真的“没有人买”所以“没有人卖”,那一定是创新的机会所在。个人的判断是,一个数据库只要有几十万以上记录...
  • 该文章首先对数据挖掘方法、过程进行概述,同时以银行卡数据挖掘为事例,对客户细分,客户价值等进行挖掘分析,比较详细为银行卡数据研究提供参考。
  • 数据挖掘(Data Mining),也叫数据开采,数据采掘等,是按照既定的业务目标从海量数据中提取出潜在、有效并能被人理解的模式的高级处理过程。在较浅的层次上,它利用现有数据库管理系统的查询、检索及报表功能,与...
  • 此算法案例 讲述了数据挖掘的实际应用 以及一些算法的研究
  • my_data_analysis 数据挖掘案例-第十一章应用系统负载分析与磁盘容量预测的程序实现-时间序列分析
  • 浙旅大数据挖掘案例

    2018-09-06 17:10:38
    基于“用户画像”挖掘的精准营销 ...用户画像完成后,进一步的我们可以做数据挖掘工作:客户分群、搜索引擎、推荐引擎、广告投放等各种应用领域,都将能进一步提升精准度,提高信息获取的效率。所以,在大数据应用...
  • 利用R语言实现支持向量机(SVM)数据挖掘案例 建立模型 svm()函数在建立支持向量机模型的时候有两种建立方式。简单地说,一种是根据既定公式建立模型;而另外一种方式则是根据所给的数据模型建立模型。 根据...
  • 数据挖掘案例:基于 ReliefF和K-means算法的应用 数据挖掘方法的提出,让人们有能力最终认识数据的真正价值,即蕴藏在数据中的信息和知识。数据挖掘(DataMiriing),指的是从大型数据库或数据仓库中提取人们感兴趣的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 3,422
精华内容 1,368
关键字:

数据挖掘案例