高维空间向量搜索—腾讯词向量相似检索实践
 
最近工作上遇到一些语料OOV问题，想到可以使用同义词进行替换来弥补部分OOV带来的问题，于是就有了本篇博客的相关实验。
 最简单的可以使用gemsim在语料库上训练一个word2vec，然后使用gemsim自带的相似度API直接进行计算，这种方法是最简单的(不考虑内存消耗，计算时间的情况下)。但是自己的语料本身就有OOV问题，训练后，估计效果也不行，于是想到使用腾讯的语料，网上有一篇使用腾讯语料计算相似词的文章，但是只能使用公众号来请求，没有给出代码。
 本文记录一下使用腾讯的全部词向量，使用高维空间向量搜索工具:hnsw进行的相关实验。
 主要包括
 
1. 文件读取
 
腾讯词向量下载自行百度，下载后解压，大约16G的样子，是200维的高维向量
 读取很简单
 
import numpy as np
def load_tencent_emb_data(path):
    """
    加载腾讯词向量
    :param path: 
    :return: 
    """
    datas = []
    word_id_map = {}
    with open(path, 'r', encoding='utf-8') as fd:
        for idx, line in enumerate(fd):
            if idx == 0:
                continue
            line = line.strip().split(' ')
            word_id_map[line[0]] = idx
            datas.append([float(x) for x in line[1:]])
    return np.asarray(datas), word_id_map

 
因为hnsw的输入需要时numpy格式的，所以讲向量转成了nparray
 
2. 构建索引
 
一般的高维向量搜索， 都需要去构建索引，例如faiss,nsg,ssg等(这些demo后面有时间补上)
 构建索引的方法在hnsw的readme中有很好的说明，我只是一个搬运工
 首先，安装hnsw包
 
pip install hnswlib
 
下面是构建腾讯词向量索引的代码
 
import hnswlib
def build_hnsw_search_index(data):
    num_elements, dim = data.shape

    # Generating sample data
    data_labels = np.arange(num_elements)

    # Declaring index
    p = hnswlib.Index(space='cosine', dim=dim)  # possible options are l2, cosine or ip

    # Initing index - the maximum number of elements should be known beforehand
    p.init_index(max_elements=num_elements, ef_construction=200, M=16)

    # Element insertion (can be called several times):
    p.add_items(data, data_labels)
    
    return  p
 
3. 向量搜索
 
def search_word_similarity(word, k=10):
    """
    查找与word最相近的k个词
    :param word: 
    :param k: 
    :return: 
    """
    w_id = word_id_map.get(word, None)
    if not w_id:
        print('do not found {} embeding'.format(word))
        return []
    return p.knn_query(data[w_id], k=k)
 
例如，搜索北京，可以得到如下词
 
 中方：
 
 因为是相似搜索，时间和精确度的权衡可以参考这里https://github.com/nmslib/hnswlib/blob/master/ALGO_PARAMS.md
 
4. 索引序列化和加载
 
4.1 序列化
 
p.save_index(path)
 
4.2 加载
 
 p.load_index(path)
 
5. 总结
 
hnsw是一个相比faiss在精度上更有优势的库，15G的腾讯词向量转化为索引后，需要占用8G的内存。faiss库也是一个很好地库，但是在使用过程中，感觉精度并没有hnsw库好。当然最近浙大和阿里也有相关工作，后续有时间，也会贴出相关实验代码(浙大的库全是C++，门槛有点高，编译有点复杂)。

出处：

 


https://www.cnblogs.com/liujinhong/p/6001997.html
距离计算方法总结

 

  
　　在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。
  
　　本文的目的就是对常用的相似性度量作一个总结。
  
本文目录：
  
1. 欧氏距离
  
2. 曼哈顿距离
  
3. 切比雪夫距离
  
4. 闵可夫斯基距离
  
5. 标准化欧氏距离
  
6. 马氏距离
  
7. 夹角余弦
  
8. 汉明距离
  
9. 杰卡德距离 & 杰卡德相似系数
  
10. 相关系数 & 相关距离
  
11. 信息熵
  
1. 欧氏距离(Euclidean Distance)
  
       欧氏距离是最易于理解的一种距离计算方法，源自欧氏空间中两点间的距离公式。
  
(1)二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离：
  

  
(2)三维空间两点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离：
  

  
(3)两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的欧氏距离：
  

  
　　也可以用表示成向量运算的形式：
  

  
(4)Matlab计算欧氏距离
  
Matlab计算距离主要使用pdist函数。若X是一个M×N的矩阵，则pdist(X)将X矩阵M行的每一行作为一个N维向量，然后计算这M个向量两两间的距离。
  
例子：计算向量(0,0)、(1,0)、(0,2)两两间的欧式距离
  
X = [0 0 ; 1 0 ; 0 2]
  
D = pdist(X,'euclidean')
  
结果：
  
D =
  
    1.0000    2.0000    2.2361
  
2. 曼哈顿距离(Manhattan Distance)
  
       从名字就可以猜出这种距离的计算方法了。想象你在曼哈顿要从一个十字路口开车到另外一个十字路口，驾驶距离是两点间的直线距离吗？显然不是，除非你能穿越大楼。实际驾驶距离就是这个“曼哈顿距离”。而这也是曼哈顿距离名称的来源， 曼哈顿距离也称为城市街区距离(City Block distance)。
  
(1)二维平面两点a(x1,y1)与b(x2,y2)间的曼哈顿距离
  

  
(2)两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的曼哈顿距离
  

  
(3) Matlab计算曼哈顿距离
  
例子：计算向量(0,0)、(1,0)、(0,2)两两间的曼哈顿距离
  
X = [0 0 ; 1 0 ; 0 2]
  
D = pdist(X, 'cityblock')
  
结果：
  
D =
  
     1     2     3
  
3. 切比雪夫距离 ( Chebyshev Distance )
  
       国际象棋玩过么？国王走一步能够移动到相邻的8个方格中的任意一个。那么国王从格子(x1,y1)走到格子(x2,y2)最少需要多少步？自己走走试试。你会发现最少步数总是max( | x2-x1 | , | y2-y1 | ) 步 。有一种类似的一种距离度量方法叫切比雪夫距离。
  
(1)二维平面两点a(x1,y1)与b(x2,y2)间的切比雪夫距离
  

  
(2)两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的切比雪夫距离
  

  
　　这个公式的另一种等价形式是
  

  
       看不出两个公式是等价的？提示一下：试试用放缩法和夹逼法则来证明。
  
(3)Matlab计算切比雪夫距离
  
例子：计算向量(0,0)、(1,0)、(0,2)两两间的切比雪夫距离
  
X = [0 0 ; 1 0 ; 0 2]
  
D = pdist(X, 'chebychev')
  
结果：
  
D =
  
     1     2     2
  
4. 闵可夫斯基距离(Minkowski Distance)
  
闵氏距离不是一种距离，而是一组距离的定义。
  
(1) 闵氏距离的定义
  
       两个n维变量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的闵可夫斯基距离定义为：
  

  
其中p是一个变参数。
  
当p=1时，就是曼哈顿距离
  
当p=2时，就是欧氏距离
  
当p→∞时，就是切比雪夫距离
  
       根据变参数的不同，闵氏距离可以表示一类的距离。
  
(2)闵氏距离的缺点
  
　　闵氏距离，包括曼哈顿距离、欧氏距离和切比雪夫距离都存在明显的缺点。
  
　　举个例子：二维样本(身高,体重)，其中身高范围是150~190，体重范围是50~60，有三个样本：a(180,50)，b(190,50)，c(180,60)。那么a与b之间的闵氏距离（无论是曼哈顿距离、欧氏距离或切比雪夫距离）等于a与c之间的闵氏距离，但是身高的10cm真的等价于体重的10kg么？因此用闵氏距离来衡量这些样本间的相似度很有问题。
  
       简单说来，闵氏距离的缺点主要有两个：(1)将各个分量的量纲(scale)，也就是“单位”当作相同的看待了。(2)没有考虑各个分量的分布（期望，方差等)可能是不同的。
  
(3)Matlab计算闵氏距离
  
例子：计算向量(0,0)、(1,0)、(0,2)两两间的闵氏距离（以变参数为2的欧氏距离为例）
  
X = [0 0 ; 1 0 ; 0 2]
  
D = pdist(X,'minkowski',2)
  
结果：
  
D =
  
    1.0000    2.0000    2.2361
  
5. 标准化欧氏距离 (Standardized Euclidean distance )
  
(1)标准欧氏距离的定义
  
　　标准化欧氏距离是针对简单欧氏距离的缺点而作的一种改进方案。标准欧氏距离的思路：既然数据各维分量的分布不一样，好吧！那我先将各个分量都“标准化”到均值、方差相等吧。均值和方差标准化到多少呢？这里先复习点统计学知识吧，假设样本集X的均值(mean)为m，标准差(standard deviation)为s，那么X的“标准化变量”表示为：
  
　　而且标准化变量的数学期望为0，方差为1。因此样本集的标准化过程(standardization)用公式描述就是：
  

  
　　标准化后的值 =  ( 标准化前的值  － 分量的均值 ) /分量的标准差
  
　　经过简单的推导就可以得到两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的标准化欧氏距离的公式：
  

  
　　如果将方差的倒数看成是一个权重，这个公式可以看成是一种加权欧氏距离(Weighted Euclidean distance)。
  
(2)Matlab计算标准化欧氏距离
  
例子：计算向量(0,0)、(1,0)、(0,2)两两间的标准化欧氏距离 (假设两个分量的标准差分别为0.5和1)
  
X = [0 0 ; 1 0 ; 0 2]
  
D = pdist(X, 'seuclidean',[0.5,1])
  
结果：
  
D =
  
    2.0000    2.0000    2.8284
  
 
  
6. 马氏距离(Mahalanobis Distance)
  
（1）马氏距离定义
  
       有M个样本向量X1~Xm，协方差矩阵记为S，均值记为向量μ，则其中样本向量X到u的马氏距离表示为：
  

  
       而其中向量Xi与Xj之间的马氏距离定义为：
  

  
       若协方差矩阵是单位矩阵（各个样本向量之间独立同分布）,则公式就成了：
  

  
       也就是欧氏距离了。
  
　　若协方差矩阵是对角矩阵，公式变成了标准化欧氏距离。
  
(2)马氏距离的优缺点：量纲无关，排除变量之间的相关性的干扰。
  
(3) Matlab计算(1 2)，( 1 3)，( 2 2)，( 3 1)两两之间的马氏距离
  
X = [1 2; 1 3; 2 2; 3 1]
  
Y = pdist(X,'mahalanobis')
  
结果：
  
Y =
  
    2.3452    2.0000    2.3452    1.2247    2.4495    1.2247
  
7. 夹角余弦(Cosine)
  
       有没有搞错，又不是学几何，怎么扯到夹角余弦了？各位看官稍安勿躁。几何中夹角余弦可用来衡量两个向量方向的差异，机器学习中借用这一概念来衡量样本向量之间的差异。
  
(1)在二维空间中向量A(x1,y1)与向量B(x2,y2)的夹角余弦公式：
  

  
(2) 两个n维样本点a(x11,x12,…,x1n)和b(x21,x22,…,x2n)的夹角余弦
  
       类似的，对于两个n维样本点a(x11,x12,…,x1n)和b(x21,x22,…,x2n)，可以使用类似于夹角余弦的概念来衡量它们间的相似程度。
  

  
　　即：
  

  
       夹角余弦取值范围为[-1,1]。夹角余弦越大表示两个向量的夹角越小，夹角余弦越小表示两向量的夹角越大。当两个向量的方向重合时夹角余弦取最大值1，当两个向量的方向完全相反夹角余弦取最小值-1。
  
       夹角余弦的具体应用可以参阅参考文献[1]。
  
(3)Matlab计算夹角余弦
  
例子：计算(1,0)、( 1,1.732)、( -1,0)两两间的夹角余弦
  
X = [1 0 ; 1 1.732 ; -1 0]
  
D = 1- pdist(X, 'cosine')  % Matlab中的pdist(X, 'cosine')得到的是1减夹角余弦的值
  
结果：
  
D =
  
    0.5000   -1.0000   -0.5000
  
8. 汉明距离(Hamming distance)
  
(1)汉明距离的定义
  
       两个等长字符串s1与s2之间的汉明距离定义为将其中一个变为另外一个所需要作的最小替换次数。例如字符串“1111”与“1001”之间的汉明距离为2。
  
       应用：信息编码（为了增强容错性，应使得编码间的最小汉明距离尽可能大）。
  
(2)Matlab计算汉明距离
  
　　Matlab中2个向量之间的汉明距离的定义为2个向量不同的分量所占的百分比。
  
       例子：计算向量(0,0)、(1,0)、(0,2)两两间的汉明距离
  
X = [0 0 ; 1 0 ; 0 2];
  
D = PDIST(X, 'hamming')
  
结果：
  
D =
  
    0.5000    0.5000    1.0000
  
9. 杰卡德相似系数(Jaccard similarity coefficient)
  
(1) 杰卡德相似系数
  
       两个集合A和B的交集元素在A，B的并集中所占的比例，称为两个集合的杰卡德相似系数，用符号J(A,B)表示。
  

  
　　杰卡德相似系数是衡量两个集合的相似度一种指标。
  
(2) 杰卡德距离
  
       与杰卡德相似系数相反的概念是杰卡德距离(Jaccard distance)。杰卡德距离可用如下公式表示：
  

  
　　杰卡德距离用两个集合中不同元素占所有元素的比例来衡量两个集合的区分度。
  
(3) 杰卡德相似系数与杰卡德距离的应用
  
       可将杰卡德相似系数用在衡量样本的相似度上。
  
　　样本A与样本B是两个n维向量，而且所有维度的取值都是0或1。例如：A(0111)和B(1011)。我们将样本看成是一个集合，1表示集合包含该元素，0表示集合不包含该元素。
  
p ：样本A与B都是1的维度的个数
  
q ：样本A是1，样本B是0的维度的个数
  
r ：样本A是0，样本B是1的维度的个数
  
s ：样本A与B都是0的维度的个数
  
那么样本A与B的杰卡德相似系数可以表示为：
  
这里p+q+r可理解为A与B的并集的元素个数，而p是A与B的交集的元素个数。
  
而样本A与B的杰卡德距离表示为：
  

  
(4)Matlab 计算杰卡德距离
  
Matlab的pdist函数定义的杰卡德距离跟我这里的定义有一些差别，Matlab中将其定义为不同的维度的个数占“非全零维度”的比例。
  
例子：计算(1,1,0)、(1,-1,0)、(-1,1,0)两两之间的杰卡德距离
  
X = [1 1 0; 1 -1 0; -1 1 0]
  
D = pdist( X , 'jaccard')
  
结果
  
D =
  
0.5000    0.5000    1.0000
  
10. 相关系数 ( Correlation coefficient )与相关距离(Correlation distance)
  
(1) 相关系数的定义
  

  
相关系数是衡量随机变量X与Y相关程度的一种方法，相关系数的取值范围是[-1,1]。相关系数的绝对值越大，则表明X与Y相关度越高。当X与Y线性相关时，相关系数取值为1（正线性相关）或-1（负线性相关）。
  
(2)相关距离的定义
  

  
(3)Matlab计算(1, 2 ,3 ,4 )与( 3 ,8 ,7 ,6 )之间的相关系数与相关距离
  
X = [1 2 3 4 ; 3 8 7 6]
  
C = corrcoef( X' )   %将返回相关系数矩阵
  
D = pdist( X , 'correlation')
  
结果：
  
C =
  
    1.0000    0.4781
  
    0.4781    1.0000
  
D =
  
0.5219
  
      其中0.4781就是相关系数，0.5219是相关距离。
  
11. 信息熵(Information Entropy)
  
       信息熵并不属于一种相似性度量。那为什么放在这篇文章中啊？这个。。。我也不知道。 (╯▽╰)
  
信息熵是衡量分布的混乱程度或分散程度的一种度量。分布越分散(或者说分布越平均)，信息熵就越大。分布越有序（或者说分布越集中），信息熵就越小。
  
       计算给定的样本集X的信息熵的公式：
  

  
参数的含义：
  
n：样本集X的分类数
  
pi：X中第i类元素出现的概率
  
       信息熵越大表明样本集S分类越分散，信息熵越小则表明样本集X分类越集中。。当S中n个分类出现的概率一样大时（都是1/n），信息熵取最大值log2(n)。当X只有一个分类时，信息熵取最小值0
  
参考资料：
  
[1]吴军. 数学之美 系列 12 - 余弦定理和新闻的分类.
  
http://www.google.com.hk/ggblog/googlechinablog/2006/07/12_4010.html
  
[2] Wikipedia. Jaccard index.
  
http://en.wikipedia.org/wiki/Jaccard_index
  
[3] Wikipedia. Hamming distance
  
http://en.wikipedia.org/wiki/Hamming_distance
  
[4] 求马氏距离（Mahalanobis distance ）matlab版
  
http://junjun0595.blog.163.com/blog/static/969561420100633351210/
  
[5] Pearson product-moment correlation coefficient
  
http://en.wikipedia.org/wiki/Pearson_product-moment_correlation_coefficient
 

计算空间相似性方法：皮尔逊相关系数，欧氏距离，余弦相似性，Tanimoto系数，曼哈顿距离。

最近，我在做关于股票相似性的东西。就是对于不同股票或者同一股票在不同时间段内的走势的相似判断。取个例子:
 
下图为原股票的K线图(使用JFREEChart生成)
 
 
然后在我们的K线图集中选出最相似的几个K线图。
 
        这个问题可以化为图片的相似性问题。然后我就去搜索图片相似算法的算法，找到了几个，比如PHASh，直方图，SIFT等。PHASH和直方图过于简单，提取不到
 
有用的信息，最后就选用了出名的SIFT算法。
 
       必须说，SIFT算法的确是可靠的，效果比之前的好很多。但是也出现许多不理想的情况。由于图片相似性的算法是提取图片的特征来判定相似，这和我们人判定的相似
 
有所不同，我们判定股票的相似更多倾向于走势，走势才是我们关心的重点。可惜SIFT不关心，这就造成了，一些我们认为更加相似的股票图片反而排名靠后。一开始想着换算法的，可是SIFT的算法效果并不差，是能够找出前十几的相似的股票，只是在排名上出现问题。再说了，比SIFT更有效的算法也没几个。所以，我就打算找另一个不同类型的算法，从股票数据入手，专门从趋势入手，然后给这两种算法配上不同的权重来达到好的效果。
 
本来是打算用DTW的，可是对于现阶段我的探索，每个图片其实只是只有10个点，用DTW感觉大材小用了。后来，我找到了余弦向量相似算法，这个算法的思想是
 
对于两个向量的相似性使用这两个向量之间的夹角的cos值来判定。这个向量可以很好的描述我的股票数据，因为我的股票数据有开盘价，收盘价，最高和最低价格。对应于向量而言就是一支股票向量一个点有四个分量，四种属性。接着就是如何组织向量的问题了，有很多中组合方式。
 
        我使用的第一种是将每个点作为一个向量，这样一张图片就是由每一个点向量组成，每张图片的数据就由10个向量来描述，然后将另一张图片的十个向量，第一个对第一个，第二对第二，由此推下去。算出每组的相似度，最后再除以10。就得到了最后的相似性。可惜这样的组合方式得到的效果并不好，而且最后的相似度，每组目标股票和备选股票的相似度相差极小，最低的相似度都有0.96(共294支股票)。原因我猜测是这是求的是每一天目标股票和备选股票的每一天的相似度，然后再除以10。本来目标股票和备选股票的每一天的差异其实并算是特别大，最后除以10，极大的缩小了它们之间的差异。
 
第二种选择的是将每天的开盘价和收盘价的差值，最高最低的差值给组合成向量。就是每个股票图片分成两个向量描述，一个是每个股票图片的十个点的收盘价和开盘价之差，另一个是每个股票图片的十个点的最高和最低价之差。这样子得到的结果就有比较好的区分，每一名之间基本都会有0.05以上的差异。我又调整了权值，将开盘收盘之差的权值给调高了，这样使数值更加趋向于趋势。
 
       第二种的余弦向量的效果不错了，可以找到的确相似的图片了。接着，尴尬的事情发生了。在余弦向量相似结果的前十里面，SIFT的结果并没有占多少份额。我暂时也观测了将近十组数据，可以说，向量余弦稍微占优。但是全部数据有294组，才观测十组是没有什么代表性的。那就说明，对于不同的股票数据，两种算法有各自的优势，接下来我的工作就是去找出各自的优缺点，从而提高判定能力。
 
       对于使用CNN，我这里的想法是，我没有正确的结果，只能使用无监督学习，这个也需要我去探索如何使用。