大家打开某宝，会发现，购物网站越来越懂我们了，推荐的商品正好就是我们想买的。其实这里面用到了数据挖掘中的关联规则，是典型的应用。类似应用还有很多，例如：资讯类APP的推荐（今日头条）；微博推荐等。

接下来我们以购物篮这个典型的应用来为大家介绍，在购物场景下，是如何做关联分析，并帮助购物者更快速买到自己想要的东西。

全文讲解中所用到的产品是由亿信华辰提供的数据挖掘平台豌豆DM。

整个过程分为以下几个步骤：



应用目标：从订单数据集中找出关联度较高的商品。

创建数据集

下图的数据集为某商城的订单数据集（1000条订单号，20个商品类别）。



数据探索

首先通过豌豆DM提供的数据探索功能，查看数据是否存在缺失值，如果缺失应通过数据预处理功能，剔除缺失的数据。通过数据探索发现，该数据集的完整性较好，不需要做数据预处理。



构建模型

然后创建关联规则的挖掘过程，选择FP-Growth或Apriori算法来训练模型，得到我们需要的关联规则。下图例子中，我们认为支持度大于10%，可信度大于60%的规则，是客户经常同时购买的商品。如客户经常就会将喜力啤酒、苏打、饼干一起购买。

这便是商城当发现你购买了啤酒或苏打，会推荐你购买饼干的原因。



得到关联规则模型结果后，我们可以发布该模型到模型库，以供后续模型应用使用。



模型应用

最后在模型应用界面，我们只需简单的拖拽，即可完成模型应用的制作。模型应用以表格和推荐图的形式，展现了推荐商品的规则。当关联规则较多的时候，我们也可以通过筛选输入商品的参数，快速查询该商品的推荐规则。



 

从上图我们发现：

当购物者购买了牛油果和洋姜时，系统会自动为他推荐喜力啤酒；购买橄榄和腌牛肉，系统会自动推荐胶鲜鱼，省去了购物者搜索的操作，提高了购物网站的销量。

这就是豌豆DM关联分析应用的魅力所在，让不知不觉中为用户提供了很大的便利。

日志聚合与关联分析技术实例视频演示

       目前在企业网中，网络安全问题高度关联，因此系统易受***的程度往往取决于整个网络的多个漏洞，***者可以综合利用这些漏洞，逐步***网络并破坏、威胁到关键系统，但做为管理员的你，或许还浑然不觉，这时或许你还在抱着一些传统的安全工具（因为它们缺乏一个统一的框架，来处理来自各方的安全相关信息的处理问题），来解决单一问题，看不见全局变化，又怎么能发现***中在综合利用漏洞发起网络***呢？不过话又说回来，即使你是一个经验丰富的安全分析师，也难以综合多个源（例如十多个、甚至几十个）的结果来分析复杂的多步***能利用的漏洞。要解决这个问题，你该怎么办？
      各种网络应用日志如何预处理变成事件，各类事件又是如何经过聚合进行关联分析的技术已在《开源安全运维平台OSSIM最佳实践》一书进行了详尽的分析，下面就给大家展示，在大数据IDS机房环境中如何在海量日志中，快速定位SSH暴力破解***源，让你看得见网络***。

高清视频地址：

http://www.tudou.com/programs/view/uP0V9fQlzuo 
 
下图展示了几张OSSIM中灵活的规则和策略管理界面
 
看过之后，感觉如何？ELK、Splunk系统能实现吗？这里我只是举了SSH的例子，可类似这种可视化分析方法在OSSIM中还有上千种类型，有兴趣的朋友可以阅读《OSSIM让网络***无所遁形》以深入了解。

    本来文章准备今天下午发，但是有事耽误一直拖到现在，今天的事不想拖到明天，就现在发吧。
    今天谈论的内容是和关联规则相关的股票预测，具体怎么做，我先在网上找了一些论文看，觉得做得都不够好，我有一些自己的思想，就写出来吧，因为是对自己学习的总结，也供大家参考。
    首先我们可以从算法上分析，关联规则的APRIORI算法是很基础的，也是很好用的，它能挖掘出频繁K项集，也就是满足支持度阀值（当然，也必须有较高的置信度）的所有集合，但是它有一个较大的局限，就是它所适用的数据类型仅仅是二元的0或1（或者说成是YES或NO也可以）。当然，我们显然可以对数据进行处理，把连续的离散化，再把离散的二元化，这样，我们股票连续的数据也难够用APRIORI算法来进行关联规则方面的挖掘了。这里涉及到了一个问题，我们选取股票的哪些数据来做？我们知道，我们的数据最终都会被离散化，所以我们所选取的数据，一定不能是难以离散的。换句话说，就是如果将某个连续的属性离散掉却破坏了它本身的特性，那么这个属性一定是不可取的，因为它可能会对算法的结果造成负面的影响。
    我们知道，一支股票最基本的信息大概包括开盘价，收盘价，最高价，最低价，成交量，成交金额等。而这些连续的数据并没有很明显的分段特征，所以我觉得并不能在这些属性上做手脚。但是这并不意味着这是一条死路，因为我们可以先通过统计学手段计算出某些具有特殊意义且易于离散的值。提到这里，想必大家已经明白了，我说的就是炒股公式。举例来说，KDJ值，想必炒股的人没有不认识的吧。百度一下，了解KDJ的内在涵义以后，我们可以很快把K值可以划分成0-10，10-90，90-100，三类，D值划分成0-20，10-80，80-100，三类，J值可以划分成小于10，10-100，100以上，三类，然后二元化，就是9个二元属性，这样预处理就完了。我们选出20-30个指标进行建模，然后用APRIORI算法挖掘频繁项集。
    由于挖掘出的频繁项集很多是与类（也就是我们要预测的项，也就是股票的涨跌幅）不相关的，我们将这些信息排除掉，保留对我们有用的信息，这样，我们能够得到最终的关联规则预测。我们得到的答案是：这样的预测能帮助我们知道，当前这支股票对哪些指标最敏感？可以想象这会成为股民的一大助力。
    具体的操作方法，首先说明，我的挖掘工具是用的WEKA，说下原因，第一，在所有的开源挖掘工具中，WEKA是综合性能最好的工具之一。第二，在这些综合性能最好的工具中，WEKA的统计能力相对偏弱，图形化一般，而挖掘能力是顶尖的，在股票的挖掘中，我们应用的数据本身就是统计学指标，是别人已经算好的，所以对统计能力的要求并不高，而WEKA保证了最好的挖掘效果。（这里说明一下，只针对我自己，不排除有想先自己设计出统计学指标，再做挖掘的朋友，只是我这里做的随意了）第三，我对JAVA比较偏爱。（其实程序可能会比C跑的慢点，但WEKA的程序架构得非常棒，学JAVA的都可以去看看，收获颇丰）。而我们在WEKA调用APRIORI算法，只用将数据离散化就可以了，二元化它会自动做。具体的相关代码就不发了，自己去找找，在WEKA中是怎么做的数据类型转换，不难找到。（其实是我还不知道怎么在博客中发代码，过两天试试）
    关联规则我用的就这么多，之后可能还会发决策树和BP神经网络的在股票这方面的探索，敬请期待！

本篇分享一个hanlp分词工具应用的案例，简单来说就是做一图库，让商家轻松方便的配置商品的图片，最好是可以一键完成配置的。

先看一下效果图吧：

 



商品单个推荐效果：匹配度高的放在最前面

 



这个想法很好，那怎么实现了。分析了一下解决方案步骤：

 

1、图库建设：至少要有图片吧，图片肯定要有关联的商品名称、商品类别、商品规格、关键字等信息。

 

2、商品分词算法：由于商品名称是商家自己设置的，不是规范的，所以不可能完全匹配，要有好的分词库来找出关键字。还有一点，分词库要能够自定义词库，最好能动态添加。如果读者不知道什么是分词，请自行百度，本文不普及这个。

 

3、推荐匹配度算法：肯定要最匹配的放在前面，而且要有匹配度分数。商家肯定有图库没有的商品，自动匹配的时候，不能随便配置不相关的图片。

 

 先说明一下，本文企业没有搜索引擎之类的工具，所以本质就靠的是数据库检索。

首页让我们先分析一下图库，下面是图库的设置界面。

 



让我们先贴一下图库的表结构

 

CREATE TABLE `wj_tbl_gallery` (

  `gallery_id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键',

  `fileid` int(11) NOT NULL COMMENT '文件服务器上的文件ID',

  `ptype` tinyint(4) NOT NULL DEFAULT '0' COMMENT '图片类型，0 点歌屏点餐图片',

  `materialsort` varchar(50) DEFAULT NULL COMMENT '商品分类',

  `materialbrand` varchar(50) DEFAULT NULL COMMENT '商品品牌',

  `materialname` varchar(100) NOT NULL COMMENT '商品名称',

  `material_spec` varchar(50) DEFAULT NULL COMMENT '商品规格',

  `material_allname` varchar(200) DEFAULT NULL COMMENT '商品完整名称',

  `status` tinyint(4) NOT NULL DEFAULT '0' COMMENT '状态，0正常，1停用，2删除',

  `updatedatetime` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',

  `keyword` varchar(200) DEFAULT NULL COMMENT '商品关键字，用逗号隔开',

  `bstorage` tinyint(4) NOT NULL DEFAULT '0' COMMENT '关键字是否入库 0没有，1有',

  PRIMARY KEY (`gallery_id`),

  KEY `idx_fileid` (`fileid`)

) ENGINE=InnoDB AUTO_INCREMENT=435 DEFAULT CHARSET=utf8 COMMENT='图库信息表';

 

 

数据示例：

 



简单说一下material_allname是干什么用的呢，主要就是拼接商品名称、规则 、关键字字段。用来写sql的时候比较方便。关键字字段是干什么用的呢，作用有两个。1是商品可能有多个名字，补充名称的。二是给分词库动态添加词库。图库简单说到这。

 

再说一下分词库，笔者选择的是开源的汉语言分词库-hanlp分词工具

优点是词库大，有词性分析，可以自定义词库。缺点当然也有，就是不支持数据库方法动态读取词库。后面说一下我自己的解决办法。

 

上代码：

分词代码,这时差会去掉一些没用字符。

 



我们分词，就是调用SegmentUtils.segmentTerm(materialname);

 

动态添加词库方法：

 

   private void addCustomerDictory(){

        Integer max = galleryRepository.getMaxGallery();

        if(CommonUtils.isNotEmpty(max) && max > 0 && max > SegmentUtils.CACHE_GALLERY_ID){

            int oldid = SegmentUtils.CACHE_GALLERY_ID;

            SegmentUtils.CACHE_GALLERY_ID = max;

            List<String> gallery = galleryRepository.getGallery(oldid,max);

            if(CommonUtils.isNotEmpty(gallery)){

                Map<String,Boolean> dicMap = new HashMap<>();

                for(String w : gallery){

                    if(CommonUtils.isNotEmpty(w)){

                        String[] array = w.split(",");

                        if(CommonUtils.isNotEmpty(array)){

                            for(String item : array){

                                String value = item.trim();

                                if(CommonUtils.isNotEmpty(value)){

                                    dicMap.put(value, true);

                                }

                            }

                        }

                    }

                }

                Set<String> keys = dicMap.keySet();

                if(CommonUtils.isNotEmpty(keys)){

                    SegmentUtils.insertCustomDictory(keys);

                }

            }

        }

    }

 

    /**

     * 获取关键字

     *

     * @author deng

     * @date 2019年3月13日

     * @param galleryId

     * @return

     */

    @Query("select keyword from Gallery a where galleryId > ?1 and galleryId<=?2  and a.keyword !=''  and bstorage=0")

    public List<String> getGallery(int bgalleryId, int egalleryId);

 

    @Cacheable(value = CacheConstants.CACHE_GALLERY, keyGenerator = CacheConstants.KEY_GENERATOR_METHOD)

    @Query(value = "select gallery_id from wj_tbl_gallery a where  a.keyword !=''  and  bstorage=0 order by gallery_id desc limit 1", nativeQuery = true)

    public Integer getMaxGallery();

 

 说一下解决思路，由于hanlp文档上没有看到从mysql上动态添加词库方法，只有CustomDictionary.insert能动态添加单个实例词库，系统如果重启，就要重新添加。我就想出一个办法，就是分词的时候，查一下类的保存的最大图库表的主键是什么，如果跟数据库一样，就不动态添加。如果小于图库的主键，就把没有的那一段用CustomDictionary.insert添加进去。系统一般不重启，如果重启就在分词的时候重新添加一下。查询数据库当然都有缓存，编辑图库的时候，把对应缓存清除一下。这种方式也能支持分布式环境，多个实例都是一样处理的。每过一段时间，就把图库表的关键字词库搞成文件的词库，避免动态添加太多，占用太多内存。自定义词库其实是很重要的，任何分词库都不可能包含所有的词库，而分词算法是根据词库来展开的，可以说词库决定了分词结果的准确性。

 

让我们看一下分词的效果

 

商品名称为”雪碧（大）“的分词结果 雪碧/nz, 大/a ,其中nz表示专有词汇，a表示形容词。

 

再看一下不理想的分词结果：

 

商品品名称:”蕾芙曼金棕色啤酒“,类别名称:啤酒,

 

分词结果:蕾/ng,芙/n,曼/ag,金/ng,棕色/n,啤酒/nz

 

很明显，分词结果不理想，蕾芙曼金棕色其实是一个商品名，不能分开。怎么办呢，这时候动态添加词汇功能就派上用场了。

 

再图库关键字时差添加蕾芙曼金棕色啤酒，保存一下，再看一下分词效果：

 



物品名称:蕾芙曼金棕色啤酒,类别名称:啤酒,分词结果:蕾芙曼金棕色/nz,啤酒/nz

 

蕾芙曼金棕色被分到了一起，达到预期效果，这其实就是 CustomDictionary.insert(data, "nz 1024");再起作用。hanlp具体API功能，请参考官方文档，本文就不介绍了。

 

最后重头戏来了，商品图片匹配度分析。作者就是采用了mysql的sql词句的方法搞定了，其实就用到了LOCATE函数，很简单。SQL示例如下

 

SELECT gallery_id, fileid, materialname, material_allname, score

, ROUND(score / 4 * 100, 0) AS rate

FROM (

SELECT a.gallery_id, a.fileid, materialname, material_allname

, IF(LOCATE('雪碧', a.material_allname), 2, 0) + IF(LOCATE('大', a.material_allname), 1, 0) + IF(LOCATE('饮料', a.material_allname), 1, 0) AS score

FROM wj_tbl_gallery a

WHERE a.STATUS = 0

AND (a.material_allname LIKE '%雪碧%'

OR a.material_allname LIKE '%大%'

OR a.material_allname LIKE '%饮料%')

) b

ORDER BY score DESC, materialname

LIMIT 0, 8

 

执行结果：

 



可以看出gallery_id是第一条，它的rate的是75，满分是100，匹配度蛮高的。

 

说一下匹配度算法原则，如果完全匹配就是1百分，肯定就上了。然后去除某些关键字后，也匹配上了就是90分。最后采用分词算法，按照1百分打分，其中如果高于50分，可以算基本匹配，自动配置图片的时候，就可以当成匹配成功。总体原则就是匹配词汇越多，分数越多。但是两个字的词汇，和5个字的词汇，分数是不一样的。还有词性，专属词汇理论上应该比形容词分数高。详见下面的calculateWeight代码，自己体会了。

 

 public List<Map<String, Object>> queryList(String searchstr, int pagenumber, int pagesize, String materialsortname,

            List<Term> segmentList) {

        String name = "%" + searchstr + "%";

        // 先简单搜索 ，完全匹配100分

        List<Map<String, Object>> list = queryList(name, pagenumber, pagesize, 100);

        if (CommonUtils.isEmpty(list)) {

            searchstr = searchstr.replaceAll("\\s", "");

            String regEx = "(特价)|(/)|(\\()|(\\))|(（)|(）)|(\\d+ml)|(买.送.)|(/)|(\\*)";

            searchstr = searchstr.replaceAll(regEx, "");

            if (CommonUtils.isNotEmpty(searchstr)) {

                name = "%" + searchstr + "%";

                // 简单过滤 90分

                list = queryList(name, pagenumber, pagesize, 90);

            }

            // 剩下分词 靠计算

            if (CommonUtils.isEmpty(list)) {

                if (CommonUtils.isNotEmpty(segmentList)) {

                    list = queryListTerm(pagenumber, pagesize, segmentList, materialsortname);

                }

                // 如果只有分类，先定10分

                else if (CommonUtils.isNotEmpty(materialsortname))

                    list = queryList(materialsortname, pagenumber, pagesize, 10);

            }

        }

        return list;

    }

 

    private List<Map<String, Object>> queryList(String name, int pagenumber, int pagesize, int rate) {

        String sql = "SELECT\n" + "   a.gallery_id,\n" + "   a.fileid,a.material_allname,a.materialname \n, " + rate

                + " rate FROM\n" + "   wj_tbl_gallery a\n" + "WHERE\n"

                + "   a.material_allname LIKE :searchstr and a.status = 0  order by length(materialname)  LIMIT :pagenumber,:pagesize  ";

        Dto param = new BaseDto();

        param.put("searchstr", name).put("pagenumber", pagenumber * pagesize).put("pagesize", pagesize);

        return namedParameterJdbcTemplate.queryForList(sql, param);

 

 

 

    private List<Map<String, Object>> queryListTerm(int pagenumber, int pagesize, List<Term> segmentList,

            String materialsortname) {

 

        Dto param = new BaseDto();

        StringBuffer sb = new StringBuffer();

        StringBuffer wsb = new StringBuffer(" (");

        // 总权重

        int tw = 0;

        if (CommonUtils.isNotEmpty(segmentList)) {

            for (int i = 0; i < segmentList.size(); i++) {

                String str = segmentList.get(i).word;

                int w = SegmentUtils.calculateWeight(segmentList.get(i));

                str = StringUtils.escapeMysqlSpecialChar(str);

                tw += w;

                sb.append("if(LOCATE('").append(str).append("', a.material_allname),").append(w).append(",0) ");

                wsb.append(" a.material_allname like '%").append(str).append("%' ");

                if (i < segmentList.size() - 1) {

                    sb.append(" + ");

                    wsb.append(" or ");

                }

            }

            // 类别单独处理，目前权重较低

            // 表示字符串是否为空

            int emptylen = 3;

            if (CommonUtils.isNotEmpty(materialsortname)) {

                if (sb.length() > emptylen) {

                    sb.append(" + ");

                    wsb.append(" or ");

                }

                tw += SegmentUtils.DWEIGHT;

                materialsortname = StringUtils.escapeMysqlSpecialChar(materialsortname);

                sb.append(" if(LOCATE('").append(materialsortname).append("', a.material_allname),")

                        .append(SegmentUtils.DWEIGHT).append(",0) ");

                wsb.append(" a.material_allname like '%").append(materialsortname)

                        .append("%' ");

 

            }

            if (sb.length() > emptylen) {

                sb.append(" as score ");

                wsb.append(") ");

                String scoreSelect = sb.toString();

                String scorewhere = wsb.toString();

                String sql = "select gallery_id,fileid,materialname,material_allname,score,ROUND(score/" + tw

                        + "*100, 0) rate   from   (SELECT " + "   a.gallery_id, "

                        + "   a.fileid,materialname,material_allname, " + scoreSelect + " FROM "

                        + "   wj_tbl_gallery a " + "WHERE " + "  a.status = 0  and " + scorewhere

                        + " ) b order by  score desc ,materialname LIMIT " + pagenumber * pagesize + "," + pagesize;

                param.put("pagenumber", pagenumber * pagesize).put("pagesize", pagesize);

                logger.debug("商家搜索图库的SQL语句是{}", sql);

                List<Map<String, Object>> list = namedParameterJdbcTemplate.queryForList(sql, param);

                if (CommonUtils.isNotEmpty(list)) {

                    return list;

                }

            }

 

        }

 

 

    /**

     *  计算分词权重

     *  @author deng

     *  @date  2019年6月21日

     *  @param term

     *  @return

     */

    public static int calculateWeight(Term term) {

 

        // 汉字数

        int num = countChinese(term.word);

        // 大于3个汉字，权重增加

        int value = num >= 3 ? 2 + (num - 3) / 2 : DWEIGHT;

        // 专属词，如果有两个字至少要最小分是2分

        if (term.nature == Nature.nz && value <= DWEIGHT) {

            value = DWEIGHT + 1;

        }

        return value;

 

    }

总结一下，本文介绍的商品图片推荐和自动匹配方法，可以看出来是相当简单的，本质就是mysql的like%% 优化来的，依赖sql语句和hanlp分词库，做法简单，但是能满足专门商品的匹配，适合小图库。自然比不上大公司搞的搜索引擎来的效率高，仅供参考。