精华内容
下载资源
问答
  • 向量—分布式表示方法

    千次阅读 2020-03-26 11:53:39
    一、为什么不能用one-hot 在用one-hot表示单词的时候,用欧氏距离或者余弦相似度计算句子的相似度容易陷入所有的相似度的值相等,无法进行判断的情况,不能表示语义的相似度。...、怎么用词向量表达句子向量 ...

    一、为什么不能用one-hot
    在用one-hot表示单词的时候,用欧氏距离或者余弦相似度计算句子的相似度容易陷入所有的相似度的值相等,无法进行判断的情况,不能表示语义的相似度。因为向量的大小与词的大小是有相关性的,有稀疏性的特征

    二、分布式表示方法
    在这里插入图片描述
    三、怎么训练分布式表示方法
    在这里插入图片描述
    四、怎么用词向量表达句子向量
    在这里插入图片描述

    展开全文
  • NLP词向量和句向量方法总结及实现

    万次阅读 多人点赞 2019-08-29 22:33:02
    3、基于Word2Vec的句向量 4、基于加权Word2Vec的句向量 5、基于Word2Vec的文本向量化实现 二、GloVe 1、GloVe介绍 2、基于源码的GloVe词向量生成(Linux下实现) 3、Gensim加载GloVe训练的词向量 三、Doc2Vec...

    目录

    一、Word2Vec

    1、Word2Vec介绍

    2、Gensim实现Word2Vec

    3、基于Word2Vec的句向量

    4、基于加权Word2Vec的句向量

    5、基于Word2Vec的文本向量化实现

    二、GloVe

    1、GloVe介绍

    2、基于源码的GloVe词向量生成(Linux下实现)

    3、Gensim加载GloVe训练的词向量

    三、Doc2Vec

    1、Doc2Vec介绍

    2、Doc2Vec模型

    3、Gensim实现Doc2Vec

    四、Fasttext

    1、Fasttext介绍

    2、Fasttext学习单词向量表示

    2、Fasttext实现文本分类

    五、其他模型(未完待续……)


    一、Word2Vec

    1、Word2Vec介绍

    Word2Vec是Google在2013年开源的一款词向量计算工具,它的特点是将所有的词向量化,这样词与词之间就可以定量的去度量他们之间的关系,挖掘词之间的联系。

    Word2vec源码     Word2vec论文    Word2Vec原理参考

    2、Gensim实现Word2Vec

    from gensim.models.word2vec import Word2Vec
    import pandas as pd
    
    # 构建word2vec模型,词向量的训练与生成
    def get_dataset_vec(dataset):
        n_dim = 300
        w2v_model = Word2Vec(dataset, sg=1, size=n_dim, min_count=10, hs=0)  # 初始化模型并训练
        # 在测试集上训练
        # w2v_model.train(x_test,total_examples=w2v_model.corpus_count,epochs=w2v_model.iter) #追加训练模型
        # 将imdb_w2v模型保存,训练集向量,测试集向量保存到文件
        # print(w2v_model['会议'])
        w2v_model.save('data/w2v/w2v_model_300.pkl')  # 保存训练结果
    
    if __name__ == '__main__':
        # 数据集获取
        train_data = pd.read_csv('data/clean_data_train.csv', sep=',', names=['contents', 'labels']).astype(str)
        test_data = pd.read_csv('data/clean_data_test.csv', sep=',', names=['contents', 'labels']).astype(str)
        cw = lambda x: str(x).split()
        train_data['words'] = train_data['contents'].apply(cw)
        test_data['words'] = train_data['contents'].apply(cw)
        dataset = pd.concat([train_data, test_data])
    
        # word2vec词向量训练
        get_dataset_vec(dataset['words'])
    
        # 词向量模型加载
        # w2v_model = Word2Vec.load('data/w2v/w2v_model_300.pkl')
    

    word2vec 相关的API都在包gensim.models.word2vec中 ,主要参数如下:   

    • sentences: 我们要分析的语料,可以是一个列表,或者从文件中遍历读出。后面我们会有从文件读出的例子。
    • size: 词向量的维度,默认值是100。这个维度的取值一般与我们的语料的大小相关,如果是不大的语料,比如小于100M的文本语料,则使用默认值一般就可以了。如果是超大的语料,建议增大维度。
    • window:即词向量上下文最大距离,这个参数在我们的算法原理篇中标记为cc,window越大,则和某一词较远的词也会产生上下文关系。默认值为5。在实际使用中,可以根据实际的需求来动态调整这个window的大小。如果是小语料则这个值可以设的更小。对于一般的语料这个值推荐在[5,10]之间。
    • sg: 即我们的word2vec两个模型的选择了。如果是0, 则是CBOW模型,是1则是Skip-Gram模型,默认是0即CBOW模型。
    • hs: 即我们的word2vec两个解法的选择了,如果是0, 则是Negative Sampling,是1的话并且负采样个数negative大于0, 则是Hierarchical Softmax。默认是0即Negative Sampling。
    • negative:即使用Negative Sampling时负采样的个数,默认是5。推荐在[3,10]之间。这个参数在我们的算法原理篇中标记为neg。
    • cbow_mean: 仅用于CBOW在做投影的时候,为0,则算法中的xwxw为上下文的词向量之和,为1则为上下文的词向量的平均值。在我们的原理篇中,是按照词向量的平均值来描述的。个人比较喜欢用平均值来表示xwxw,默认值也是1,不推荐修改默认值。
    • min_count:需要计算词向量的最小词频。这个值可以去掉一些很生僻的低频词,默认是5。如果是小语料,可以调低这个值。
    • iter: 随机梯度下降法中迭代的最大次数,默认是5。对于大语料,可以增大这个值。
    • alpha: 在随机梯度下降法中迭代的初始步长。算法原理篇中标记为ηη,默认是0.025。
    • min_alpha: 由于算法支持在迭代的过程中逐渐减小步长,min_alpha给出了最小的迭代步长值。随机梯度下降中每轮的迭代步长可以由iter,alpha, min_alpha一起得出。这部分由于不是word2vec算法的核心内容,因此在原理篇我们没有提到。对于大语料,需要对alpha, min_alpha,iter一起调参,来选择合适的三个值。

    3、基于Word2Vec的句向量

    计算公式如下:

    实现代码如下:

    
    #对每个句子的所有词向量取均值,来生成一个句子的vector
    def build_sentence_vector(sentence,size,w2v_model):
        sen_vec=np.zeros(size).reshape((1,size))
        count=0
        for word in sentence:
            try:
                sen_vec+=w2v_model[word].reshape((1,size))
                count+=1
            except KeyError:
                continue
        if count!=0:
            sen_vec/=count
        return sen_vec
    

    4、基于加权Word2Vec的句向量

    计算公式如下:

    实现代码如下:

    
    #对每个句子的所有词向量取加权均值,来生成一个句子的vector
    def build_sentence_vector_weight(sentence,size,w2v_model,key_weight):
        key_words_list=list(key_weight)
        sen_vec=np.zeros(size).reshape((1,size))
        count=0
        for word in sentence:
            try:
                if word in key_words_list:
                    sen_vec+=(np.dot(w2v_model[word],math.exp(key_weight[word]))).reshape((1,size))
                    count+=1
                else:
                    sen_vec+=w2v_model[word].reshape((1,size))
                    count+=1
            except KeyError:
                continue
        if count!=0:
            sen_vec/=count
        return sen_vec
    

    5、基于Word2Vec的文本向量化实现

    
    # 将文本数据转换为文本向量
    def doc_vec():
        train_data = pd.read_csv('data/clean_data_train.csv', sep=',',names=['contents', 'labels']).astype(str)
        test_data = pd.read_csv('data/clean_data_test.csv', sep=',', names=['contents', 'labels']).astype(str)
        w2v_model = Word2Vec.load('data/w2v/w2v_model_300.pkl')   #加载训练好的Word2Vec模型
     
        #读取词权重字典
        #with open('data/key_words_importance', 'r') as f:
           #key_words_importance = eval(f.read())
     
        cw=lambda x:int(x)
        y_train = np.array(train_data['labels'].apply(cw))
        y_test=np.array(test_data['labels'].apply(cw))
     
        #训练集转换为向量
        train_lenth=len(train_data)
        train_data_list=[]
        for i in range(train_lenth):
            train_data_list.append(str(train_data['contents'][i]).split())
        train_docvec_list=np.concatenate([build_sentence_vector(sen,300,w2v_model) for sen in train_data_list])
     
        #测试集转换为向量
        test_lenth = len(test_data)
        test_data_list = []
        for i in range(test_lenth):
            test_data_list.append(str(test_data['contents'][i]).split())
        test_docvec_list = np.concatenate([build_sentence_vector(sen, 300, w2v_model) for sen in test_data_list])
     
        return train_docvec_list,y_train,test_docvec_list,y_test
    

    二、GloVe

    1、GloVe介绍

    现有词向量模型中,第一种是全局的词-文本矩阵分解(LSA),该方法能有效收集每一个词的统计信息,但他们却不能捕捉到词的上下文信息(语义的表达能力不够);第二种就是基于局部窗口信息(Word2Vec),这种方法虽然能在词的语义上有更丰富的表达,但是他们却不能很好的捕捉词的全局统计信息。

        GloVe词向量模型融合了全局矩阵分解方法(Matrix Factorization)和局部文本框捕捉方法(word2vec),是一种用于获得单词矢量表示的无监督学习算法。

    • 模型目标:进行词的向量化表示,使得向量之间尽可能多地蕴含语义和语法的信息。
    • 输入:语料库
    • 输出:词向量
    • 方法概述:首先基于语料库构建词的共现矩阵,然后基于共现矩阵和GloVe模型学习词向量。

    GloVe论文       GloVe源码       GloVe介绍       斯坦福NLP课程

    2、基于源码的GloVe词向量生成(Linux下实现)

    首先,下载GloVe源码

    命令:cd到GloVe源码对应目录下,vim demo.sh

    demo.sh文件如下:

    #!/bin/bash
    
    # Makes programs, downloads sample data, trains a GloVe model, and then evaluates it.
    # One optional argument can specify the language used for eval script: matlab, octave or [default] python
    
    make
    if [ ! -e text8 ]; then
      if hash wget 2>/dev/null; then
        wget http://mattmahoney.net/dc/text8.zip
      else
        curl -O http://mattmahoney.net/dc/text8.zip
      fi
      unzip text8.zip
      rm text8.zip
    fi
    
    CORPUS=text8
    VOCAB_FILE=vocab.txt
    COOCCURRENCE_FILE=cooccurrence.bin
    COOCCURRENCE_SHUF_FILE=cooccurrence.shuf.bin
    BUILDDIR=build
    SAVE_FILE=vectors
    VERBOSE=2
    MEMORY=4.0
    VOCAB_MIN_COUNT=5
    VECTOR_SIZE=50
    MAX_ITER=15
    WINDOW_SIZE=15
    BINARY=2
    NUM_THREADS=8
    X_MAX=10
    
    $BUILDDIR/vocab_count -min-count $VOCAB_MIN_COUNT -verbose $VERBOSE < $CORPUS > $VOCAB_FILE
    if [[ $? -eq 0 ]]
      then
      $BUILDDIR/cooccur -memory $MEMORY -vocab-file $VOCAB_FILE -verbose $VERBOSE -window-size $WINDOW_SIZE < $CORPUS > $COOCCURRENCE_FILE
      if [[ $? -eq 0 ]]
      then
        $BUILDDIR/shuffle -memory $MEMORY -verbose $VERBOSE < $COOCCURRENCE_FILE > $COOCCURRENCE_SHUF_FILE
        if [[ $? -eq 0 ]]
        then
           $BUILDDIR/glove -save-file $SAVE_FILE -threads $NUM_THREADS -input-file $COOCCURRENCE_SHUF_FILE -x-max $X_MAX -iter $MAX_ITER -vector-size $VECTOR_SIZE -binary $BINARY -vocab-file $VOCAB_FILE -verbose $VERBOSE
           if [[ $? -eq 0 ]]
           then
               if [ "$1" = 'matlab' ]; then
                   matlab -nodisplay -nodesktop -nojvm -nosplash < ./eval/matlab/read_and_evaluate.m 1>&2 
               elif [ "$1" = 'octave' ]; then
                   octave < ./eval/octave/read_and_evaluate_octave.m 1>&2 
               else
                   python eval/python/evaluate.py
               fi
           fi
        fi
      fi
    fi
    

    对demo.sh文件进行修改

    • 把make这边注释掉,这个是让你去下个demo,我们直接改成自己的数据
    • CORPUS需要对应自己的欲训练的文档
    • 词向量维度,窗口大小,单词至少出现的次数,迭代次数等参数按需修改

    修改后的demo.sh文件如下

    #!/bin/bash
    
    # Makes programs, downloads sample data, trains a GloVe model, and then evaluates it.
    # One optional argument can specify the language used for eval script: matlab, octave or [default] python
    
    #请把make这边注释掉,这个是让你去下个demo,我们直接改成自己的数据
    #make
    #if [ ! -e text8 ]; then
    #  if hash wget 2>/dev/null; then
    #    wget http://mattmahoney.net/dc/text8.zip
    #  else
    #    curl -O http://mattmahoney.net/dc/text8.zip
    #  fi
    #  unzip text8.zip
    #  rm text8.zip
    #fi
    
    CORPUS=counts.txt    #CORPUS需要对应自己的欲训练的文档
    VOCAB_FILE=vocab.txt
    COOCCURRENCE_FILE=cooccurrence.bin
    COOCCURRENCE_SHUF_FILE=cooccurrence.shuf.bin
    BUILDDIR=build
    SAVE_FILE=vectors
    VERBOSE=2
    MEMORY=4.0
    VOCAB_MIN_COUNT=5   #单词至少出现的次数
    VECTOR_SIZE=300     #训练的词向量维度
    MAX_ITER=15         #训练迭代次数
    WINDOW_SIZE=15      #窗口大小
    BINARY=2
    NUM_THREADS=8
    X_MAX=10
    
    $BUILDDIR/vocab_count -min-count $VOCAB_MIN_COUNT -verbose $VERBOSE < $CORPUS > $VOCAB_FILE
    if [[ $? -eq 0 ]]
      then
      $BUILDDIR/cooccur -memory $MEMORY -vocab-file $VOCAB_FILE -verbose $VERBOSE -window-size $WINDOW_SIZE < $CORPUS > $COOCCURRENCE_FILE
      if [[ $? -eq 0 ]]
      then
        $BUILDDIR/shuffle -memory $MEMORY -verbose $VERBOSE < $COOCCURRENCE_FILE > $COOCCURRENCE_SHUF_FILE
        if [[ $? -eq 0 ]]
        then
           $BUILDDIR/glove -save-file $SAVE_FILE -threads $NUM_THREADS -input-file $COOCCURRENCE_SHUF_FILE -x-max $X_MAX -iter $MAX_ITER -vector-size $VECTOR_SIZE -binary $BINARY -vocab-file $VOCAB_FILE -verbose $VERBOSE
           if [[ $? -eq 0 ]]
           then
               if [ "$1" = 'matlab' ]; then
                   matlab -nodisplay -nodesktop -nojvm -nosplash < ./eval/matlab/read_and_evaluate.m 1>&2 
               elif [ "$1" = 'octave' ]; then
                   octave < ./eval/octave/read_and_evaluate_octave.m 1>&2 
               else
                   python eval/python/evaluate.py
               fi
           fi
        fi
      fi
    fi
    

    训练文档为counts.txt,部分内容如下:

    紧急通知 通知 七点 50 准时 武陵 楼 开会 早 开 早 散 十一 十一点 十一点半 一点 一点半 准时 散会 时间 会议
    党 服 成员 明天 中午 12 点 30 分 第一 第一次 例会 会地 地点 待定 请 预留 留出 时间 收到 请 回复 全体成员 成员 时间 会议
    通知 宣传 宣传部 部将 明天 中午 1230 周三 j4101 开本 本次 部门 例会 请 带好 笔 本次 例会 考评 部 本次 例会 主席 主席团 发 邀请 梁 淑 楠 收到 请 回复 全体成员 成员 时间 会议 议会 会议 议会 会议
    本周 周六 叉叉 裤 聚会 聚会时间 时间 会议
    总 通知 当班 班长 眼 长 表工 930 中控室 开会 开会时间 时间 会议

    命令:sh demo.sh  ,会得到vectors.txt,这个里面就对应每个词的向量表示。

    vectors.txt部分内容如下:

    时间 -0.192653 -0.027064 0.157989 -0.959652 -0.249349 -0.695960 -0.290393 -0.320663 0.850561 1.123161 -0.820032 -0.031310 -0.220525 0.391944 0.363133 0.433053 0.133621 0.590930 -1.096903 -0.346236 0.211173 1.074069 1.840458 -0.619614 -0.047013 -0.482248 -0.980474 -0.052697 -0.764487 -1.042479 0.310801 1.027933 -0.703576 -0.121927 0.096973 -0.389311 0.467025 0.532758 -0.626837 0.689972 0.020686 0.654299 -0.463879 0.430281 -0.206859 -0.253277 -0.091177 -0.616631 0.082589 -0.110885 0.858724 1.039171 -0.215845 0.597427 -0.564434 1.393491 -0.340165 0.079653 -0.093698 0.238416 0.800182 0.019553 -0.275385 0.314701 0.126838 -0.891766 -0.598391 -0.339991 0.278942 0.150008 0.169043 -0.106491 0.129413 0.154625 -1.077015 0.636639 0.760766 0.291428 -0.304663 -0.709912 0.578007 0.400317 0.498921 0.299688 -1.924125 -0.233359 -0.593315 -0.064116 0.141521 0.708793 0.896055 -0.439493 0.040833 0.089314 -0.004766 0.501943 0.239141 -0.368876 0.016068 -0.074727 -0.526003 -0.683604 1.052587 -0.511065 -1.180889 -0.136742 -0.571856 0.072116 -0.220324 -0.180080 0.959551 0.180546 0.292177 0.048728 -0.535014 0.014530 0.631147 -0.088323 0.668570 -0.310500 0.363473 -0.564667 0.857510 -0.148112 0.238181 0.135603 -0.073686 0.755832 0.572558 0.281101 0.297423 -0.748391 -0.020244 -0.557294 -0.441473 0.106799 -0.297012 0.233237 0.218440 -0.034616 0.410545 -0.245199 0.695645 0.192339 -1.024643 -0.628238 0.357365 0.426126 0.290365 -0.421078 -0.207671 -0.393413 0.527472 -0.465794 0.134838 -0.118478 -0.358524 0.733155 0.181742 -0.357532 -0.425675 0.262033 0.192739 0.320736 -0.073291 -0.603243 -0.214388 0.251359 -0.157907 0.639871 -0.322949 0.153679 0.128943 -0.079536 -1.243106 0.405427 -0.679834 0.706061 -0.556909 0.317398 -0.972522 -0.323571 0.082381 0.952649 0.470793 -0.255887 -0.072567 0.154703 0.553813 0.444109 -0.955931 -0.506380 -0.185121 0.436316 -0.166778 -0.070471 0.134493 -0.041048 0.371387 -0.466888 -0.322176 -0.139643 -0.469103 -0.297749 -0.341331 -0.182869 -1.138910 -0.840458 -1.005790 -1.030163 0.435325 -0.218241 -1.017183 -0.249351 0.060505 0.819773 -1.382254 -0.520934 -0.643470 0.369318 0.390774 -0.547370 -0.003034 -0.119246 0.397086 -0.720554 -0.267369 -0.626506 0.650304 0.491474 0.097891 0.035371 0.471716 0.680434 -0.168340 -0.088465 0.200047 -0.021552 -0.849985 0.090245 1.103723 0.242453 -0.830361 -0.132980 0.391840 -0.074169 -0.254151 0.175168 -0.482801 0.787707 1.463750 -0.666707 -0.324269 0.170228 -0.455849 -0.454797 0.485042 0.906702 -0.069496 -0.017353 0.824049 0.567829 -0.075913 -0.094140 -0.010110 -0.428374 0.830554 -0.249833 0.168137 0.541595 -1.243334 0.625043 -0.149822 0.004912 -0.021771 -0.491535 0.503651 -0.315409 0.031236 0.328521 -0.264316 -0.191875 0.681480 -0.782049 0.641517 0.380847 0.347847 0.043671 0.636368 -0.315160 -0.576198 -0.348432 0.281816 -0.623102 -0.564527 0.902504 0.016528 -0.069687 -0.144267 0.006254
    月 0.282719 0.152989 0.277989 -0.409890 -0.100124 -0.562012 0.054540 -0.302864 0.340999 0.332058 -0.036765 -0.328907 -0.370917 0.120894 -0.257750 -0.695093 0.201110 -0.020349 -0.200095 0.133917 0.161953 1.409806 0.930571 0.444746 -0.639931 0.444198 -0.495933 0.229397 -0.739602 -1.055825 -0.318828 1.522916 0.004156 0.343912 0.006537 0.388347 0.600495 0.239206 -0.028486 0.552802 -0.278926 0.373066 -0.426863 0.489640 -0.323016 -0.080631 -1.074515 -0.507549 0.665036 0.391942 1.328556 1.073624 -0.177601 -0.018996 0.348987 0.525943 0.005171 -0.306071 -0.512433 -0.289054 0.337168 -0.289363 -0.288751 -0.316822 -0.342586 0.074602 -0.808880 0.993347 -0.027332 0.564592 -0.264008 0.547095 0.713716 0.306165 -0.489996 0.403748 -0.368705 -0.457879 0.797570 -0.495398 0.355519 1.163623 0.563982 -0.054508 -0.902991 -0.064551 -0.314185 -0.710030 -0.444326 -0.638333 0.392305 -0.397702 -0.002391 -0.020851 0.107497 0.182052 0.570882 -0.650250 0.326903 -0.717934 0.280774 -0.278874 0.623692 -0.195263 -0.542201 -0.003978 0.787480 0.940788 0.495447 0.390056 0.547322 -0.223878 -0.775611 0.423554 0.227717 0.880800 0.295964 0.302781 0.979723 -0.007546 -0.030809 -0.124463 1.068195 -0.250004 -0.743149 0.287037 -0.627813 0.902924 -0.019548 -0.008901 0.716885 -0.080450 -0.078079 -0.380885 0.595999 -0.006114 0.456368 0.310282 -0.593804 -0.097739 -0.533996 0.129195 -0.206451 0.854950 -0.736590 -0.373819 -0.171245 0.822648 0.022098 -0.041053 0.133135 -0.221786 -0.370930 -0.073366 -0.076312 -0.141111 0.754814 0.311759 -0.487563 0.148415 -0.327943 1.227186 1.104577 0.584394 0.866440 -0.155514 0.571861 0.225291 -0.596585 0.341632 -0.075625 0.459881 0.492822 -0.856172 -0.467885 1.009984 -0.509890 -0.289279 0.198226 0.779081 -0.505615 0.262267 -0.692102 -0.631975 0.688475 -0.343992 0.473175 0.662025 0.846393 -0.026749 -0.032720 -0.642198 -0.022452 -0.492827 0.074650 -0.200605 0.142318 -0.030474 -0.021498 -0.059870 -0.558756 -0.568076 -0.125238 0.087478 -0.520128 -0.406735 -0.211258 -0.481394 -0.664873 -0.277975 0.412186 0.010863 -0.240466 -0.070284 0.405342 0.066035 -1.461064 -1.013241 -0.072386 0.634662 0.716899 -0.185302 -0.030074 -0.113286 0.790407 -0.334036 0.145996 0.457602 0.061558 0.303261 0.445127 0.128329 0.371765 0.705406 -0.924010 0.312624 -0.264194 0.308366 0.098177 0.532446 -0.651350 0.452719 -0.764295 -0.191709 0.274529 -0.663116 -0.442445 -0.332471 -0.566812 0.441788 0.991128 0.062422 0.332908 0.114607 -0.790051 0.140813 -0.078728 0.221595 -0.313071 0.172639 0.681872 0.530355 -0.548417 0.459590 -0.557620 -0.267441 0.221526 -0.000649 0.288101 0.463587 -0.214246 0.953989 -0.281264 0.129526 -0.206172 -0.171313 -0.152700 0.777293 -0.521110 0.491064 0.467925 0.892538 -0.254171 -0.500852 0.145604 -0.039736 -0.016100 0.545795 -0.154586 0.515680 0.105515 -0.214572 -0.341872 0.009775 0.009587 1.174931 -0.101082 0.310132 -0.541959 -0.693216
    元 0.306025 0.322643 1.077880 -0.600908 0.172935 -0.737794 0.255050 -0.157029 0.342953 -0.706849 -0.381400 0.061180 -0.953065 -0.095882 -0.368000 0.420154 0.951357 0.767554 -0.143634 -0.126899 0.307859 -0.300399 1.556839 0.364413 0.250135 -0.566936 -0.995738 -0.113883 -1.406691 -1.014822 -0.687600 1.741928 -0.615409 -0.387166 0.027234 1.281103 0.351747 -0.227581 -0.232469 0.271432 -0.415515 0.631718 -0.894145 0.733428 -1.230473 0.682133 0.075777 0.649245 0.289526 -0.467158 0.919363 0.351625 0.222911 0.504691 -0.181684 -0.378320 -0.687206 0.148117 0.729295 -0.105381 0.695989 -0.754219 -0.440530 0.118117 -0.883886 0.492664 0.079025 1.197542 -0.610626 0.157875 -0.443919 0.746728 1.468872 -0.575745 -0.470869 0.846473 -0.617876 -0.127038 0.003786 -0.001282 0.176192 0.778630 -0.308934 -0.249084 -0.301070 -0.087675 0.103930 -0.340054 0.051219 0.025974 0.446019 -0.389392 0.933938 0.164278 0.435473 0.114423 0.302819 -0.724311 -0.338384 -0.036844 0.040301 -0.075052 0.496395 0.007586 -0.240168 -0.644824 -0.383305 -0.000070 -0.135047 -0.441491 -0.397919 -0.251733 0.320516 -0.316922 -0.176393 0.178300 0.372434 0.236957 -0.165925 0.870158 -0.275455 -0.283281 0.730676 0.013333 0.467073 -0.715855 1.007568 0.391907 -0.500897 1.030966 0.698415 0.478425 -0.691962 0.789402 0.111583 0.636666 -0.887124 -0.272008 -0.584863 -0.175891 0.452481 0.355332 0.007005 0.805152 -0.325006 -0.249743 0.031626 0.073259 -0.453138 0.277470 -0.478755 0.575895 0.355874 0.035219 0.079009 0.054281 0.201341 -0.105456 0.624423 0.419490 0.422743 0.886797 0.058878 0.218280 0.783062 -0.278714 0.244279 0.244416 -0.558108 -0.538741 -0.626169 0.796777 0.313345 -0.594111 -0.612010 0.543808 0.326743 -0.068215 -0.284259 0.111663 -1.129291 0.464670 0.355996 0.317091 0.101179 -0.515349 -0.268207 1.036510 0.211519 0.545480 -0.140292 -0.338422 0.350183 0.160976 -0.810460 -0.581156 -0.083485 0.175628 -0.395788 -0.154374 1.656540 -0.149448 -0.250864 0.027195 -0.000960 0.097104 -0.385608 0.388430 -0.219321 0.263330 -0.339932 0.169096 -1.619655 -0.260263 0.345896 0.407777 -1.409953 -0.595680 -0.820713 -0.197955 0.132537 0.609146 0.432836 -0.071146 0.582325 -0.670098 0.034255 -0.291316 0.500515 1.061890 0.178922 -0.471838 -0.328243 -0.209035 -0.135114 -0.890339 -0.736016 -0.594963 -0.932622 -0.414669 0.308166 -0.405150 0.466669 0.111795 0.032414 -0.055596 -0.688865 -0.334978 -0.041121 0.252767 0.603890 0.051988 0.886804 -0.175748 0.236281 0.094143 0.452659 0.917740 0.303790 -0.453451 0.630142 -0.170290 -0.083950 0.310024 -0.560198 -0.581944 0.530984 -0.194871 -0.052266 0.184277 -0.055074 -0.165853 -0.889973 -0.130048 0.556185 0.093815 0.077349 0.786506 0.017906 -0.209109 -0.610210 0.882594 0.242138 0.931476 -0.261045 -0.497909 0.045525 -0.391315 -0.737701 0.693279 0.625252 0.169180 -1.320762 0.212941 0.034001 1.308421 0.299258 0.197882 -0.742295 -0.070419
    1 0.888034 -0.269472 0.416726 -0.396031 0.035506 -0.622379 -0.440201 -0.753203 0.398985 0.105516 0.040577 0.550698 -1.196764 0.480859 -0.343003 -0.207138 0.024000 0.383471 -0.265794 0.036858 -0.098424 -0.568933 0.755142 -0.054576 -0.848028 -0.005950 -0.107111 -1.310041 -0.301031 -0.132762 -0.114449 1.529382 0.480697 -0.317541 0.098669 0.736248 0.507810 0.586016 0.222051 -0.894592 -0.685444 0.937100 -0.727683 0.896437 0.331013 -0.252685 -0.648829 0.198743 0.434566 -1.018625 0.604905 0.406292 -0.378488 -0.145570 0.143134 0.145109 0.082009 -0.334453 -0.308911 -0.548263 -0.306763 -0.239198 -0.025372 -1.286177 -0.418609 -0.941808 0.073460 0.799592 -0.180774 0.470524 -0.339510 0.074398 1.134824 -0.534680 -0.852488 0.674400 -0.772466 0.522004 0.311741 0.318874 0.701483 0.355505 0.916747 -0.391279 -0.043185 -0.035573 0.124245 -0.511008 -0.028164 0.396926 0.310719 -0.058037 0.415305 -0.124527 0.795043 -0.048217 -0.204688 -0.545567 -0.332399 0.533343 -0.196562 -0.587495 0.613407 0.339769 -1.312807 -0.425666 0.550779 -0.078751 0.106345 -0.597031 0.303927 0.367110 -0.479566 -0.280796 -0.077603 0.089361 0.057174 0.680617 -0.232158 -0.380329 -0.353017 0.261309 0.214358 -0.436605 0.726974 0.686759 -0.190239 0.569367 -0.357779 0.217572 0.577694 -0.200133 0.319214 -0.238840 0.142662 0.019461 -0.504774 -0.493205 0.434241 -0.077088 0.492905 0.143735 -0.385636 0.110834 -0.760336 -1.083028 0.465417 0.823979 -0.218171 0.331168 -0.171310 -0.281734 0.110895 0.805839 0.391114 -0.155342 0.366512 -0.215544 0.573037 0.302591 -0.715427 1.287327 -0.233937 1.247682 0.546919 -0.104151 0.185894 0.783857 -0.716013 0.745546 -0.484780 -0.330844 0.012054 -0.701770 -0.930120 0.304442 -0.101639 0.141293 0.213534 1.119318 -0.159903 0.034759 -0.237266 -0.027194 1.521587 0.373965 -0.609322 1.010848 0.325201 -0.254094 -1.082284 0.966625 0.455843 -0.249176 -1.112331 -0.351975 0.052057 -0.396617 0.975547 -0.350484 -0.519251 -0.116380 0.263111 -0.679581 -0.509177 -0.611612 -1.014958 -1.130154 -0.559550 -0.558102 0.844820 -0.233135 -1.107969 -0.443999 0.112733 -0.204075 -0.698707 -1.276953 0.029345 0.273015 0.776428 0.283971 1.089718 -0.201296 -0.199805 -0.994360 0.001024 0.000260 0.042881 0.442563 -0.074997 -0.225658 -0.127922 -0.043150 -0.446940 0.630705 0.122018 0.889063 -1.137543 0.602873 -0.074088 0.591213 -0.055548 -0.744662 -0.415526 0.587157 -0.649435 -0.512667 -0.191861 0.295901 1.263322 -0.303088 0.406485 0.562705 -0.070011 0.483705 -0.296791 -0.003154 0.232777 -0.667530 0.346206 -0.297299 -0.304221 -0.251610 -0.225808 -1.008746 1.032771 -0.805736 0.350475 0.072382 1.180248 0.153301 -0.149750 -0.278651 -0.837156 -0.453207 0.156093 -0.189694 -0.123239 -0.640496 0.453016 -0.009482 -0.390708 -0.866602 0.362385 -0.031449 0.210468 0.231915 -0.285665 0.196669 0.176305 0.104762 -0.411070 -0.084570 -0.912936 0.740259 1.085935 0.331030 -0.355904 -0.241756
    会议 1.771033 0.176118 0.379083 -1.038539 -0.159619 -0.810625 -0.211994 0.767950 0.113235 0.995838 0.142457 0.287684 -0.035386 0.464643 -0.773942 -0.403471 0.569797 0.253740 0.426339 0.071171 -0.311686 0.865899 0.530907 -0.161541 -0.488560 -0.129126 -0.448615 -0.926315 -0.088304 -0.902380 -0.259576 0.434504 -0.757882 -1.191447 0.162485 0.108723 0.197529 0.581506 -1.198933 0.218464 0.503901 1.417884 -0.579565 0.713137 -0.258934 -0.476144 -0.548408 -0.012146 0.578107 0.107231 1.058120 0.882515 0.756237 -0.384693 0.165540 0.411003 0.348020 -0.023861 -0.259647 0.186697 0.023265 0.225137 -0.692051 -0.037526 0.435802 -0.293929 -1.062105 -0.157920 0.217099 -0.734419 -0.667745 -0.096092 0.113397 -0.059034 0.295290 0.334193 -0.308422 -0.613945 0.205872 -0.658714 0.406285 0.736497 -0.066900 -0.202817 -0.440141 0.164648 -0.142157 -0.441622 -0.122423 0.034315 0.195609 0.276887 1.015851 0.545567 -0.872668 -0.008203 -0.217614 -0.203448 -0.353687 0.261102 0.208269 -0.262863 0.746820 -0.594605 -1.031103 0.288283 0.015618 0.884347 -0.138220 0.333664 0.230371 0.605099 0.317958 0.915120 -0.128864 0.209937 0.466525 0.142983 0.987952 -0.338007 -0.503637 -1.041105 0.585695 0.133922 -0.283604 -0.389145 -0.513809 0.927723 0.178702 -0.179315 0.077576 -0.665182 -0.031870 0.141394 0.240645 0.393327 -0.711886 0.200745 -0.061365 -1.052649 0.527113 -0.460608 0.246856 -0.320261 -0.142330 -0.609020 0.796626 0.201946 -0.246875 0.225949 0.785565 -0.603375 0.355625 -0.179703 -0.322463 0.631364 -0.112776 0.125427 -1.077946 -0.163022 0.206300 -0.000588 -0.276898 -0.698788 0.289042 -0.117832 -0.423394 0.628158 -0.965626 0.353545 0.179244 -0.491377 0.257370 0.089590 -0.951331 -0.250147 -0.444209 0.185769 -0.132900 -0.006498 0.112555 -0.392332 -0.012566 -0.171049 0.412430 -0.784530 0.597930 0.654582 0.305766 -0.196717 -0.108986 -0.882588 0.133782 0.114576 -0.491082 0.697926 0.155321 0.534372 0.424671 0.057960 -0.566005 -0.098149 0.216918 -0.223675 0.078227 0.377749 -1.097760 -0.621768 -0.174247 -0.364606 1.090865 -0.314739 -1.034864 -0.132283 -0.111963 0.465461 -0.824262 -0.782546 0.374973 -0.286167 0.011139 -0.383112 0.354855 -0.439314 0.381809 -0.474764 0.159545 -1.221441 0.666809 -0.709793 0.239210 -0.138918 0.590115 0.215989 0.275636 0.433601 -0.156793 -0.382559 -1.424089 -0.417850 -0.116381 -0.344665 0.489679 0.626358 0.052841 0.577256 0.230637 -0.600817 -0.635985 1.089865 0.722713 0.494734 -0.428877 0.334609 -0.017065 0.336209 0.419211 1.363705 0.044493 0.188291 0.569913 -0.441831 0.071900 0.495701 -1.016109 0.061804 -0.363644 -0.767242 0.558061 0.567890 -0.662831 0.129088 -0.273309 -0.404180 -0.102150 -0.352034 0.208647 -0.281785 -0.134028 0.287623 -0.592395 -0.741625 -0.765389 -0.062867 1.148501 -0.574797 0.111045 -0.296249 0.241325 -0.732370 0.038897 -0.928541 0.283815 -0.379969 -1.189722 0.377329 0.206329 -0.463671 -0.644053 -0.356224
    日 0.629690 0.297326 0.232061 0.184713 0.456603 -1.360426 -0.161957 -0.327643 0.379252 0.329272 -0.132093 -0.592853 0.369421 1.037765 0.194027 -0.582120 -0.030273 -0.433952 -0.491450 0.534424 0.298695 0.749407 0.961532 -0.013265 -0.160156 0.327203 0.178737 0.260298 0.023090 -0.661755 -0.069589 1.252100 0.274427 0.240321 0.676330 0.472751 0.397922 0.450867 -0.418843 0.434151 -0.318744 0.347155 -0.379078 -0.420713 -1.057411 0.168308 -0.487032 -0.069009 0.791306 0.176923 0.595739 0.527158 -0.328227 -0.121685 0.394574 0.216304 -0.410889 -0.465544 -0.511710 -0.106813 0.241581 -0.421071 -0.769960 0.508721 -0.518993 -0.582130 -0.122278 1.356947 -0.472147 0.219176 -0.637373 -0.379232 0.783050 -0.213542 -0.539033 0.326720 -0.806085 -0.636173 0.789530 -0.457049 0.013086 0.821359 0.303692 0.398572 -0.555042 -0.129366 -0.750004 -0.814094 -0.069134 -0.530091 0.515363 -0.586577 0.416111 -0.013937 -0.207776 0.584663 -0.013731 0.084024 -0.081933 -0.352394 0.082810 -0.485991 1.068765 -0.357893 -0.397341 -0.211468 0.420876 0.739444 0.097145 -0.032144 0.608081 0.445486 -0.453803 0.010084 0.063489 0.685313 0.311570 0.270301 0.373394 -0.579335 0.392215 -0.846188 1.196801 -0.524513 -1.024028 0.281200 -0.396088 0.811682 0.015575 0.444197 1.280806 -0.460657 -0.160046 -0.448320 0.348771 0.186178 -0.179169 -0.506007 -0.467586 0.232892 -0.132603 0.303326 0.532450 0.307448 -0.503961 -0.096622 -0.799405 0.108548 0.766091 -0.692119 -0.166302 -0.499754 -0.297644 -0.890542 -0.026685 -0.066082 0.513476 -0.234157 0.065489 0.236738 -0.698255 1.164697 0.689472 1.031871 0.946376 -0.528323 0.608606 -0.244125 -0.698136 0.663297 -0.315753 -0.024955 0.280253 -0.422331 -0.580495 0.018098 -0.057022 -0.306539 -0.084533 0.808313 -0.383531 0.320171 -0.399376 -0.477695 0.049535 -0.240776 0.169495 1.111698 0.712204 -0.209212 -0.668397 -0.478881 1.045714 -1.103660 0.234638 -0.466507 -0.287628 -0.133884 -0.486556 -0.456381 -0.277966 -0.006142 -0.013448 -0.202422 0.082728 -0.331743 -0.455172 -0.096092 -0.726063 -0.445307 0.451012 -0.380199 -0.300324 -0.068178 0.028520 0.143256 -0.972176 -1.223306 -0.187028 0.516180 -0.013776 -0.332469 -0.086373 -0.002370 0.777023 -0.041362 0.118836 -0.213045 0.513897 0.059171 0.371966 0.248342 -0.023563 0.700690 -0.921861 -0.051847 -0.109556 0.310796 -0.321488 0.309024 -0.368767 0.219925 -0.691066 -0.023356 0.030746 -0.452083 0.313607 -0.559715 -0.557504 0.528424 0.607529 -0.136493 0.152444 0.168481 -0.786771 0.006343 0.041056 0.642219 -0.609352 0.189559 0.682013 -0.063358 -0.391703 0.779091 -0.527853 0.707578 0.406660 0.103047 0.234198 0.038635 0.302829 1.064635 0.117944 -0.125693 -0.097658 -0.065264 0.228236 0.545942 0.338116 0.127504 0.171728 0.730071 -0.496038 0.158599 0.477939 0.339338 0.073317 0.780151 -0.409706 -0.080721 0.052942 0.037625 -0.642805 -0.008267 0.050677 1.016556 0.096010 0.497020 0.160714 -0.086144
    12 0.060987 0.220731 -0.132685 -0.820905 -0.146994 -0.353599 -0.018432 -0.725461 0.737936 -0.019994 -0.154258 -0.419405 -0.338631 -0.291629 -0.022446 -0.251117 0.267038 0.434467 0.078770 -0.025413 0.500651 0.854019 0.395952 -0.051031 -0.435698 0.237282 -0.583161 0.168157 -0.601435 -1.348934 -0.164784 1.616810 -0.478824 -0.017075 -0.366454 0.365084 0.612911 0.161186 0.276902 0.375643 -0.112530 0.241358 -0.396695 -0.194163 -0.237141 0.697846 -0.526700 -0.531520 0.772570 -0.322104 1.315113 0.933782 -0.300440 0.198085 0.157843 0.812475 0.187118 -0.254738 0.139663 -0.073107 0.528683 -0.647160 -0.423146 0.006624 -0.894147 -0.726237 -0.881079 0.825501 0.080627 -0.561961 -0.475129 0.047358 0.167624 0.359150 -0.428893 -0.098055 -0.787332 -0.403023 0.472614 -0.063268 0.086656 0.310264 0.610745 -0.221438 -0.421589 0.778696 0.256653 -0.560248 -0.649633 -0.102870 0.586092 0.003949 0.076587 -0.567913 0.704371 0.364411 0.761299 -0.051966 0.385057 -0.367773 0.355770 -0.647424 0.923446 -0.051832 -0.543764 0.588581 0.554076 0.719280 0.339640 0.226296 0.472695 0.397156 -0.489635 0.773813 -0.117013 0.493147 0.093860 0.815739 0.779326 0.310038 -0.783332 -0.620891 0.599204 0.011149 -0.107909 0.348672 -0.498058 0.057396 -0.031033 0.168456 0.991581 -0.478983 -0.781825 -0.271430 0.955011 -0.478941 0.302897 -0.093343 -1.225087 0.255701 -0.017678 -0.452325 0.377625 0.635914 -1.060914 -0.345057 -0.322616 0.805557 0.755067 0.543725 0.030418 -0.496267 -0.373508 -0.095644 -0.015342 0.230422 0.639305 0.210231 0.053320 0.272379 0.220056 0.767136 0.343294 0.690162 1.038597 -0.527260 0.498455 0.133132 -0.857316 -0.088142 -0.121594 0.524317 0.324666 -0.600952 -0.612691 1.126837 -0.052147 -0.754994 -0.371588 0.592034 -0.199333 -0.271918 -0.781767 -0.777349 0.545457 -0.369653 0.403855 0.507788 0.341316 0.256601 -0.652804 -0.737112 -0.248066 -0.641719 0.033328 -0.249865 0.328787 0.311992 -0.004281 0.216633 -0.081194 -0.126300 -0.272642 -0.001156 -0.393779 -0.830402 0.065871 -0.295060 -0.708441 -0.639450 -0.084257 0.074900 -0.591158 -0.031511 0.261493 -0.149527 -1.486934 -0.835603 -0.202950 0.765206 0.159304 -0.304259 0.363361 -0.466972 1.143983 -0.557980 -0.238127 -0.099868 0.267013 0.080638 0.565594 -0.164587 0.111982 0.391523 -0.656658 0.514244 -0.385658 -0.082066 -0.306449 0.810565 -0.694959 -0.296500 0.137355 -0.246647 0.456403 -0.376321 0.404851 -0.319968 -0.270184 0.835729 0.550599 0.198025 1.204497 -0.237713 -0.441482 -0.020244 0.109327 -0.164325 -0.587616 0.205860 0.452751 0.599642 -0.033190 0.569953 0.012436 -0.112856 0.127171 -0.183683 0.785418 0.581380 -0.613472 0.544212 0.165229 0.089152 -0.788505 -0.047272 -0.276138 -0.010708 -0.105783 0.323865 0.158936 0.329226 -0.172630 0.240504 0.143898 0.473886 -0.170357 0.875988 -0.070156 0.038928 0.481665 0.419615 0.238390 0.543345 0.468181 0.671512 -0.106844 -0.193693 -0.246399 -0.186887
    2 0.361149 0.704917 0.291457 -0.080728 -0.572933 -0.589067 -0.793803 -1.000979 0.820175 0.295928 0.184207 0.885769 -0.399009 0.637581 0.318221 -0.022845 0.259705 -0.114552 -0.054940 0.182685 0.221006 -0.218122 0.865297 -0.441181 0.185419 0.447350 -0.213860 -1.769530 -0.623723 -1.066396 0.099660 1.458072 0.450007 -0.789303 -0.121537 0.312682 0.246968 0.901696 0.033775 0.563942 0.521539 0.790706 -0.875751 0.932463 -0.507096 -0.130464 1.109031 -0.469966 0.884996 -0.271595 0.670886 0.471352 -0.666085 0.080534 0.530477 0.371931 -0.060190 -0.320351 0.219629 -0.268545 0.640168 -0.545242 0.073721 -0.646921 0.468086 -0.719434 -0.026094 0.861088 0.010164 0.028802 -0.204849 0.493036 0.357690 -0.472914 -0.582728 0.376733 0.621382 -0.667704 -0.412258 -0.081961 0.306849 -0.197246 0.451879 -1.593393 0.159934 -0.159739 0.726716 0.039497 -0.330342 -0.193373 -0.045038 -0.785062 0.898486 -0.217732 1.028231 0.260610 0.865236 -0.474029 -0.726025 -0.554919 -1.216791 -0.570384 0.724477 -0.346603 -0.662520 0.868426 0.021664 -0.019214 0.271993 -0.176794 0.194711 -0.084973 -1.092003 -0.006232 -0.776445 -0.021545 0.000348 -0.076073 0.193496 0.259513 -0.696651 -0.119337 0.141526 0.255560 0.426479 0.253425 -0.899710 0.643363 -0.486986 0.184396 1.035831 0.141304 0.019429 0.155365 0.002902 -0.109107 0.055377 -0.024775 -0.693244 0.206938 0.179723 -0.798811 0.141440 -0.525572 -0.577044 -0.878470 0.477901 0.946455 -0.141953 -0.503441 -0.478369 0.069927 -0.136817 0.606908 -0.076950 0.324349 0.192879 0.114894 -0.919087 0.352348 -1.414676 0.916139 0.328463 1.186773 0.745050 -0.434486 -0.267733 -0.199708 -0.534591 0.888049 -0.429322 0.363039 -0.040896 -0.322206 -0.337510 -0.026441 -0.142639 0.213708 -0.124947 0.622512 -1.049125 -0.706038 -0.208899 0.447170 0.536233 -0.231709 0.489767 0.514644 0.048299 -0.557416 0.273464 -1.164850 0.695038 0.409650 -0.814939 -0.453800 0.442305 -0.609455 0.602072 0.006255 -0.069054 -0.450125 0.125254 -0.478271 -0.413480 -1.055180 -0.893434 -0.556728 -1.093960 -0.768353 0.271325 -0.388704 -0.630777 0.779149 -0.211849 -0.288888 -0.145470 -0.570022 -0.030645 -0.831691 0.284689 0.429069 0.362861 -0.749234 0.465644 0.248452 -0.246630 -0.053088 0.302568 0.058695 -0.025171 0.224125 -0.313906 0.595948 -0.747329 0.141962 -0.211617 0.277275 -0.510860 0.348968 0.048324 -0.095582 0.024356 -0.532523 -0.415193 0.493446 0.292916 -0.496475 0.292169 -0.555822 0.702531 -0.081132 -0.078505 0.356687 0.408023 0.532309 -0.100873 0.750387 0.157968 -0.626308 0.372636 0.901865 0.156366 -0.398677 -0.315714 0.024024 -0.440340 0.041518 0.937736 0.692113 -0.201351 -0.068569 -0.755074 -0.320450 -0.319768 -0.102927 0.009273 0.043572 -0.163320 -0.071635 0.635202 0.503277 0.106900 -0.362000 0.350847 -0.668718 -0.516442 -0.376715 -0.380673 0.517315 0.964409 -0.042094 -0.786081 -0.959971 -0.023261 1.323840 1.026073 -0.052168 -0.350861 0.062560
    年 -0.025680 -0.148341 0.260403 0.435279 0.340753 -0.370165 0.692524 0.405896 0.703198 0.419036 0.065059 1.252715 -0.546617 0.288202 0.012702 0.090569 -0.643207 -0.240639 0.319901 -0.293442 0.487747 1.345064 0.846493 0.117547 -1.066390 0.662450 0.008567 -0.178598 -0.069384 -0.303476 -0.419415 0.074236 -0.287813 -0.494250 -1.147110 -0.279624 0.231568 0.129380 -0.133671 0.771361 0.169357 0.685386 -0.558743 -0.012061 -0.356053 0.066274 -0.478152 0.360300 0.584327 -0.111067 0.741198 0.946980 -0.227466 0.026979 0.199299 -0.356406 0.466501 -0.262172 -0.271103 -0.312378 0.475935 0.135873 -0.576739 -0.376040 0.230084 0.311886 -0.885410 -0.017326 0.172162 -0.166069 -0.669513 -0.079418 0.324018 0.229297 0.349141 1.200803 -0.836550 -0.131899 0.847725 0.495316 0.118726 0.463500 0.874937 -0.116077 -0.785283 0.009747 -1.198582 -0.528437 -1.039171 0.715792 0.459527 -0.346323 0.090036 0.272467 -0.146408 -0.137629 0.630577 0.404533 0.325585 -0.837493 0.497690 -0.118868 0.341744 0.342129 -0.100156 0.656184 0.002508 0.282706 0.801364 -0.268771 0.100605 0.126436 -0.148326 0.836686 0.522442 0.337463 0.759250 0.411933 0.206825 -0.341759 -1.007716 -1.160924 0.417559 0.168041 -0.196686 -0.114311 -0.240378 0.511523 -0.102376 0.243313 0.841565 -0.114063 -0.525006 -0.811578 -0.088705 0.243166 0.499764 -0.087099 -0.166266 -0.083989 -0.240918 0.481979 -0.541293 0.408957 -0.772534 -0.699110 0.168422 0.308715 -0.136194 0.043910 -0.489641 -1.030214 0.028125 0.707278 -0.245171 0.421922 -0.013471 0.309093 -0.260784 -0.311308 0.071559 0.550136 0.403435 0.467421 1.336632 0.114131 -0.127869 0.211865 -0.463383 0.807332 -0.462692 -0.031325 0.557738 -0.334642 -0.955832 1.272109 -0.304985 -0.560109 0.276666 0.388646 -1.179766 0.460541 -1.091042 -0.190026 0.188740 -0.575042 -0.085519 0.385787 0.031602 -0.232948 -0.306679 -0.166243 0.281174 -0.706293 -0.701480 -0.668203 -0.032880 0.267294 -0.275263 0.358886 -0.889863 -0.086739 0.058511 -0.305190 0.250048 -0.219450 -0.859118 -0.484297 -0.703766 -0.833164 0.497965 -0.961938 -0.814127 0.056959 -0.110192 0.812637 -0.936772 -0.882466 -0.594758 0.620133 -0.045738 -0.646158 0.377140 0.196992 0.951233 0.108737 0.363643 0.312669 0.062553 0.577432 0.085247 0.433714 -0.561889 1.315280 -0.046503 1.064645 -0.535019 -0.173368 -0.653338 0.681322 -0.250618 0.710895 0.240201 -0.413712 -0.050010 0.009633 -0.610238 -0.342928 0.126470 0.558831 0.700774 0.322080 0.095641 0.450095 -0.186828 0.389571 0.042733 -0.028652 0.072356 -0.591279 0.306309 1.063946 -0.136931 -0.370101 -0.133079 -0.435311 -0.852584 0.450015 0.808773 0.596418 -0.594216 0.450295 0.264785 0.314351 -0.079821 0.326998 -0.191889 0.554631 0.185501 0.550335 0.010618 0.740444 -0.118180 -0.088854 0.899637 -0.636072 -0.017279 -0.687941 -0.471457 0.413444 0.003071 -0.017811 0.194908 -0.023812 -0.580133 0.906154 -0.002010 0.835716 -0.461930 -1.249504
    请 

    3、Gensim加载GloVe训练的词向量

    from gensim.models import KeyedVectors
    from gensim.scripts.glove2word2vec import glove2word2vec
    
    # 输入文件
    glove_file = 'data/glove/vectors.txt'
    # 输出文件
    w2v_file = 'data/glove/w2v.txt'
    # 开始转换
    glove2word2vec(glove_file, w2v_file)
    # 加载转化后的文件
    model = KeyedVectors.load_word2vec_format(w2v_file)   #该加载的文件格式需要转换为utf-8
    print(model['时间'])  #这个就和Word2Vec训练的模型使用方法一样了

    三、Doc2Vec

    1、Doc2Vec介绍

    Word2Vec表示的词向量不仅考虑了词之间的语义信息,还压缩了维度。但是,有时候当我们需要得到Sentence/Document的向量表示,虽然可以直接将Sentence/Document中所有词的向量取均值作为Sentence/Document的向量表示,但是这样会忽略单词之间的排列顺序对句子或文本信息的影响。

    Doc2vec是在Word2vec的基础上做出的改进,它不仅考虑了词和词之间的语义,也考虑了词序。

    Doc2Vec论文

    2、Doc2Vec模型

    Doc2Vec有两种模型,分别为:句向量的分布记忆模型PV-DM: Distributed Memory Model of Paragraph Vectors)和句向量的分布词袋PV-DBOW: Distributed Bag of Words version of Paragraph Vector)。

    DM模型在给定上下文和文档向量的情况下预测单词的概率。即在训练时,首先将每个文档ID和语料库中的所有词初始化一个K维的向量,然后将文档向量和上下文词的向量输入模型,隐层将这些向量累加(或取均值、或直接拼接起来)得到中间向量,作为输出层softmax的输入。在一个文档的训练过程中,文档ID保持不变,共享着同一个文档向量,相当于在预测单词的概率时,都利用了这个句子的语义。

    DBOW模型在给定文档向量的情况下预测文档中一组随机抽样的单词的概率。

    注:Doc2vec的DM模型跟Word2vec的CBOW很像,DBOW模型跟Word2vec的Skip-gram很像。Doc2Vec为不同长度的段落训练出同一长度的向量;不同段落的词向量不共享;训练集训练出来的词向量意思一致,可以共享。

    3、Gensim实现Doc2Vec

    from gensim.models.doc2vec import Doc2Vec, TaggedDocument
    import pandas as pd
    import numpy as np
     
    # 构建Doc2vec模型,获得句子向量
    def get_sentence_vec(datasets):
        # gemsim里Doc2vec模型需要的输入为固定格式,输入样本为[句子,句子序号]
        documents = [TaggedDocument(doc, [i]) for i, doc in enumerate(datasets)]
        # 初始化和训练模型
        model = Doc2Vec(documents, vector_size=500, dm=1, window=4, min_count=5,epochs=50)
        #model = Doc2Vec(vector_size=300, dm=1, window=4, min_count=5, epochs=50)
        #model.build_vocab(documents)
        #model.train(documents,total_examples=model.corpus_count,epochs=model.epochs)
    
        model.save('data/w2v/doc2vec_model.pkl')  # 将模型保存到磁盘
        # 获得数据集的句向量
        documents_vecs = np.concatenate([np.array(model.docvecs[sen.tags[0]].reshape(1, 300)) for sen in documents])
        return documents_vecs
     
    if __name__=='__main__':
        #准备数据
        train_data = pd.read_csv('data/clean_data_train.csv', sep=',', names=['contents', 'labels']).astype(str)
        test_data = pd.read_csv('data/clean_data_test.csv', sep=',', names=['contents', 'labels']).astype(str)
        cw = lambda x: str(x).split()
        train_data['words'] = train_data['contents'].apply(cw)
        test_data['words'] = train_data['contents'].apply(cw)
        datasets = pd.concat([train_data, test_data])
     
        #doc2vec句向量训练和生成
        documents_vec=get_sentence_vec(list(datasets['words']))
     
        #加载训练好的模型
        doc2vec_model=Doc2Vec.load('data/w2v/doc2vec_model.pkl')
        #推断新文档向量
        doc2vec_model.infer_vector(['绝望','快递','说','收到','快递','中奖','开心'])

    四、Fasttext

    1、Fasttext介绍

    Fasttext可以实现高效学习单词表示句子分类;Fasttext是一个快速文本分类算法,与基于神经网络的分类算法相比有两大优点。

    • Fasttext在保持高精度的情况下加快了训练速度和测试速度
    • Fasttext不需要预训练好的词向量,Fasttext会自己训练词向量

    Fasttext论文       Fasttext源码       Fasttext官网       Fasttext原理和实现      Fasttext源码解析    Fasttext源码解析

    2、Fasttext学习单词向量表示(Linux)

    使用fasttext.train_unsupervised函数训练词向量模型

    代码实现如下:

    import fasttext
    
    # Skipgram model
    model = fasttext.train_unsupervised('data.txt', model='skipgram')
    
    # cbow model
    model = fasttext.train_unsupervised('data.txt', model='cbow')
    
    print(model.words)   # list of words in dictionary
    print(model['king']) # get the vector of the word 'king'
    
    model.save_model("model_filename.bin")  #可以通过调用该函数来保存训练的模型对象save_model
    
    model = fasttext.load_model("model_filename.bin") #加载训练好的模型

    其中,data.txt是包含utf-8编码文本的训练文件;返回的model对象表示学习的词向量模型,可以使用该模型检索信息。

    2、Fasttext实现文本分类(Linux)

    使用fasttext.train_supervised函数训练文本分类器

    代码实现如下:

    # coding=utf-8
    import pandas as pd
    import numpy as np
    import fasttext
    from sklearn import metrics
     
    # CSV文件转换为fasttext格式的文件
    def fasttext_file():
        train_data = pd.read_csv('data/clean_train_data.csv', sep=',', names=['contents', 'labels']).astype(str)
        test_data = pd.read_csv('data/clean_test_data.csv', sep=',', names=['contents', 'labels']).astype(str)
        train_rows = len(train_data)
        test_rows = len(test_data)
        with open('data/fasttext_train.txt', 'a') as f:
            for i in range(train_rows):
                f.write(train_data['contents'][i] + '\t' + '__label__' + train_data['labels'][i] + '\n')
            f.close()
     
        with open('data/fasttext_test.txt', 'a') as f:
            for i in range(test_rows):
                f.write(train_data['contents'][i] + '\t' + '__label__' + train_data['labels'][i] + '\n')
            f.close()
     
    if __name__ == '__main__':
        # fasttext_file()
        # 第一个参数是前面得到的 fasttex_train.txt ,第二个参数是将要保存模型的路径,默认会加上.bin
        # label_prefix 就是标签或类别的起始符号
        classifier = fasttext.supervised("data/fasttext_train.txt", "data/fasttext.model", label_prefix="__label__",dim=5000, epoch=100, min_count=10)
        # 加载模型
        classifier = fasttext.load_model("data/fasttext.model.bin", label_prefix="__label__")
     
        # 测试模型 其中 fasttext_test.txt 就是测试数据,格式和 fasttext_train.txt 一样
        result = classifier.test("data/fasttext_test.txt")
        print(result)
        print("准确率:", result.precision)
        print("召回率:", result.recall)
     

    其中,fasttext_train.txt是一个文本文件,每行包含一个训练语句以及标签。默认情况下,我们假设标签是以字符串为前缀的单词__label__

    import fasttext
    model = fasttext.train_supervised('fasttext_train.txt')
    
    #我们还可以预测特定文本的标签
    model.predict("Which baking dish is best to bake a banana bread ?")
    
    #默认情况下,predict仅返回一个标签:概率最高的标签。您还可以通过指定参数来预测多个标签k:
    model.predict("Which baking dish is best to bake a banana bread ?", k=3)
    
    #如果要预测多个句子,可以传递一个字符串数组:
    model.predict(["Which baking dish is best to bake a banana bread ?",
                   "Why not put knives in the dishwasher?"], k=3)
    
    #model_filename.ftz将比一个小得多的尺寸model_filename.bin
    model.save_model("model_filename.ftz")

    五、其他模型(未完待续……)

    Elmo,Bert,Flair……

     

     

    参考:

    1、词向量和句向量方法总结

    2、Fasttext快速的文本分类器

    交流学习资料共享欢迎入QQ群:955817470

    ​​​​​​​

    展开全文
  • 本发明涉及一中文字词向量和方面词向量联合嵌入CNN-LSTM情感分析方法。背景技术:近年来,越来越多的用户习惯在网络上发自己对某一事物的看法与评论。如何快速,准确地从互联网海量评论信息中分析所包含的用户情感...

    本发明涉及一种中文字词向量和方面词向量联合嵌入CNN-LSTM情感分析方法。

    背景技术:

    近年来,越来越多的用户习惯在网络上发自己对某一事物的看法与评论。如何快速,准确地从互联网海量评论信息中分析所包含的用户情感已经成为当前信息科学与技术领域研究的热点。用户评论情感分析中最基本的任务是对用户的情感倾向进行分类,其中包括二元情感分类和多元情感分类。

    在自然语言处理领域,深度学习方法首先将文本转化为一组向量序列表示,然后将该向量序列输入神经网络模型提取特征,最后将特征输入分类器进行情感分类。当前大部分的词向量模型针对一个单词只能生成一个向量,由于单词的多义性,使用同一个向量表达不同语境下的同一个单词是不准确的。对于神经网络训练手段,基于卷积神经网络的特征提取方法使用一个滑动窗口来提取输入的局部特征,并通过池化技术将这些局部特征组合起来;而基于循环神经网络的LSTM神经网络的特征提取方法将输入编码为一个定长的特征,可以有选择地保存和遗忘信息来存储文本中的重要的信息。

    然而,近年来随着深度学习技术发展而产生的基于深度神经网络的方法大多停留在使用单一网络或网络的简单变体的阶段,采用复杂结构进行长文本情感倾向性分析的研究相对较少。

    技术实现要素:

    本发明的目的是:将卷积神经网络和LSTM网络组合,并且改变以往词向量嵌入模型,有效改善情感分析判断的准确度。

    为了达到上述目的,本发明的技术方案是提供了一种中文字词向量和方面词向量联合嵌入情感分析方法,其特征在于,包括如下步骤:

    步骤一、载入中文商品评论语料库,并将语料库按比例进行分割,分为训练集和测试集;

    步骤二、利用jieba分词工具对训练集和测试集分别进行分词处理;

    步骤三、利用神经网络模型进行字词向量联合预训练,得到词语的初始化词向量和汉字的初始化字向量表示,即得到字词向量联合嵌入表示;

    步骤四、利用LDA模型对主题aspects进行建模,提取商品评论中的方面词,并且线性的将方面词与词向量结合,得到词向量和方面词联合嵌入表示;

    步骤五、将步骤三中得到的字词向量联合嵌入表示输入到卷积神经网络一提取出不同维度的特征,然后经过池化操作得到字词向量联合嵌入表示的低维特征向量;

    步骤六、将步骤四中得到的词向量和方面词联合嵌入表示输入到卷积神经网络二提取出不同维度的特征,然后经过池化操作得到词向量和方面词联合嵌入表示的低维特征向量;

    步骤七、将步骤五得到的低维特征向量和步骤六得到的低维特征向量组合加权,即分别将两个卷积神经网络得到的字词向量和方面词向量进行拼接建模,得到拼接建模向量;

    步骤八、利用LSTM神经网络,将步骤七得到的字词向量和方面词向量的拼接建模向量输入到LSTM中,利用LSTM的时序记忆功能对文本的特征进行排序,得到隐藏层当前的隐状态H;

    步骤九、LSTM输出的隐层表示与主题aspects向量拼接后作为输入,经过一层神经网络得到的新的隐层表示,给当前的隐状态添加注意力机制,通过自动加权的方式决定输入文本需要关注的部分,分别得到句子向量的概率分布;

    步骤十、最终的句子向量经过softmax函数判断情感类别的概率,得到情感结果。

    优选地,步骤三中,在进行词向量训练的时候,将词语中把组成词语的汉字单独抽取出来和词语一起进行训练,使那些共享汉字的词语之间产生了联系,词语中的汉字对词语的意思具有一定的表征作用。

    本发明主要是利用两种新型的向量嵌入,分别是:(1)字词向量联合嵌入表示,(2)词向量和方面词联合嵌入表示。并且将二者同时输入卷积神经网络获取主要特征向量,利用LSTM的时序记忆功能对文本特征进行排序,并且添加基于方面词的注意力机制进一步提高情感分类的准确率。属于自然语言处理与人工智能交叉领域。

    附图说明

    图1为本发明实施的流程算法;

    图2为本发明实施深度神经网络模型。

    具体实施方式

    下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。

    本发明提供的一种中文字词向量和方面词向量联合嵌入情感分析方法包括如下步骤:

    步骤一:载入中文商品评论语料库,并将语料库按比例进行分割,分为训练集和测试集。

    步骤二:利用jieba分词工具对训练集和测试集分别进行分词处理。

    步骤三:利用神经网络模型进行字词向量联合预训练,得到词语的初始化词向量和汉字的初始化字向量表示,即得到字词向量联合嵌入表示。在进行词向量训练的时候,讲词语中把组成词语的汉字单独抽取出来,和词语一起进行训练。这样就使那些共享汉字的词语之间产生了联系,词语中的汉字对词语的意思具有一定的表征作用。

    步骤四:利用LDA模型对主题(aspects)进行建模,提取商品评论中的方面词,并且线性的将方面词与词向量结合,得到词向量和方面词联合嵌入表示。应用主题模型算法(LDA)抽取评论分布的主题特征,得到主题特征,即此时需要的方面词。并将方面词和评论中的词向量线性组合,一起输入神经网络训练,这样方面词可能提高此时评论内容主题情感判断的准确度。

    步骤五:将步骤三中得到的字词向量联合嵌入输入到卷积神经网络提取出不同维度的特征,然后经过池化操作得到字词向量联合嵌入低维特征向量。采用卷积神经网络通过不同的滤波操作得到特征信息,通过权值共享和最大池化操作,可以将这些复杂的特征信息充分的提取出来,也可以为接下来情感分类步骤有效的减少计算量。

    步骤六:将步骤四中得到的词向量和方面词联合嵌入输入到卷积神经网络提取出不同维度的特征,然后经过池化操作得到词向量和方面词联合嵌入低维特征向量。采用卷积神经网络通过不同的滤波操作得到特征信息,通过权值共享和最大池化操作,可以将这些复杂的特征信息充分的提取出来。此时方面词信息作为最大的特征信息,已经有效的通过卷积神经网络提取出来,为接下来步骤中融入attention机制铺垫,有效的提升情感极性分类的准确度。

    步骤七:将步骤五得到的字词向量联合嵌入低维特征向量和步骤六得到的词向量和方面词联合嵌入低维特征向量组合加权。即分别将两个卷积神经网络得到的字词向量和方面词向量进行拼接建模。建模完成后作为输入层输入到LSTM神经网络中。

    步骤八:利用LSTM神经网络,将步骤七得到的字词向量和方面词向量进行拼接建模向量输入到LSTM中,利用LSTM的时序记忆功能对文本的特征进行排序,得到隐藏层当前的隐状态H。标准的LSTM无法检测句子每个部分的重要程度,通过加入attention机制,可以捕捉句子的关键部分。

    LSTM是循环神经网络的一种,是一种具有链状结构的特殊的循环神经网络,和普通的循环神经网络相比,LSTM的重复循环模块具有不同的结构,主要有四层神经网络组成,网络层之间的交互是复杂的。LSTM网络的核心是由每个传输单元的状态决定。LSTM的另一个优势就是可以对单元状态中信息的传输进行控制,并通过门限结构管理信息,门限的作用就是对信息进行选择,使其有选择性地通过。阈值的组成主要有sigmoid神经网络层和逐点乘法组成。输出表示信息传递的选择程度,0表示不允许任何信息通过,1表示都可以通过。LSTM一共有三个门限,分别为:输入门、遗忘门和输出门。通过这三种门限结构对单元状态进行控制和保护。

    步骤九:LSTM输出的隐层表示与aspect向量拼接后作为输入,经过一层神经网络得到的新的隐层表示,给当前的隐状态添加注意力机制,通过自动加权的方式决定输入文本需要关注的部分,分别得到句向量的概率分布。

    步骤十:最终的句子向量经过softmax函数判断情感类别的概率,得到情感结果。

    展开全文
  • 常量的四种表示方法

    万次阅读 2019-04-20 17:08:19
    不变的值,C语言中用常量的概念来表示,变得值C语言中用变量来表示。 定义变量的方法: 数据类型+定义的变量名称; 还可以初始化; #define _CRT_SECURE_NO_WARNINGS 1 #include<stdio.h> #include<st.....

    生活中的有些值是不变的(比如:圆周率,性别(?),身份证号码,血型等等),有些值是可变的(比如:年
    龄,体重,薪资)。
    不变的值,C语言中用常量的概念来表示,变得值C语言中用变量来表示。
    定义变量的方法:
    数据类型+定义的变量名称;
    还可以初始化;

    
    #define _CRT_SECURE_NO_WARNINGS 1
    #include<stdio.h>
    #include<stdlib.h>
    
    int main()
    {
        int i = 0;
        char s = 's';
        float a = 2.3;
    }
    

    而定义常量则有四种表示方法:
    1.字面常量;
    2.const 修饰的常量
    3.#define 定义的标识符常量
    4.枚举常量

    
    #define _CRT_SECURE_NO_WARNINGS 1
    #include<stdio.h>
    #include<stdlib.h>
    #define max 100//define定义的常量,可在代码中使用;
    enum sex //枚举定义常量;
    {
        male,
        famale
    };
    int main()
    {
        3.14;//字面常量;
        100;//字面常量;
        const int x = 100;//const修饰的常量;
    
    }
    

     

    展开全文
  • 向量表示

    2020-08-12 23:53:10
    语音中,用音频频谱序列向量所构成的矩阵作为模型的输入;在图像中,用图像的像素构成的矩阵数据作为模型的输入。这些都可以很好表示语音/图像数据。而语言高度抽象,很难刻画词语之间的联系,比如“麦克风”和...
  • fastText是Facebook于2016年开源的一个词向量计算和文本分类工具,在学术上并没有太大创新。但是它的优点也非常明显,在文本分类任务中,fastText(浅层网络)往往能取得和深度网络相媲美的精度,却在训练时间上比...
  • 向量复习(一):定义、求解、则运算、点积和叉积
  • 综述 词向量与分布式表示

    千次阅读 2020-02-21 17:18:55
    从古老的one-hot表示法,到大热的Word2vec系列的分布式表示方法,再到现在惊艳的预训练模型ELMo、BERT等,技术迭代迅速,这其中包含许多内容需要我们学习,例如语言模型LM、Transformer、CBOW、SkipGram等等。...
  • α表示向量

    千次阅读 2018-12-19 17:00:34
    α默认表示向量表示向量 如果用线段表示向量,需要加向量标号(上面讲到的希腊字母表示向量不需要加向量标号) 例如,两个点,点A,点B,线段AB 表示向量 ...
  • 向量积坐标表示公式

    千次阅读 2020-12-30 13:38:07
    展开全部表示方法两个向量a和b的叉积写作a×b(有时也被写成a∧b,避免32313133353236313431303231363533e78988e69d8331333431363036和字母x混淆)。定义向量积可以被定义为:。模长:(在这里θ表示向量之间的夹角...
  • 典型的使用场景就是把高质量的词向量输入到的模型中,通过后续的一系列计算,去完成相应的任务。比如文本分类,文本匹配等等。 说到高质量的词向量,这里要给出一个名词:预训练。土豪公司利用大量数据、构造复杂...
  • 这是Tomas Mikolov的一篇关于段落向量和句子向量的论文。本文是我翻译加自我理解的结果,如需要更详细的介绍,请看英文文献。 摘要 许多机器翻译的算法都需要使用固定长度的词向量特征。在到达文本层面时,我我们最...
  • 版权声明:本文为博主原创文章,未经博主允许不得转载。 博主:shenshikexmu ...本文的算法来源于stackoverflow 的回答finding quaternion representing the rotation ...如下图,三维空间中的向量v1→v1→\over...
  • 坐标系的变换一般来说有四种方式表示变换:旋转向量、旋转矩阵、欧拉角和四元数,这里分别介绍下相应的原理及如何使用,最后附上相互转化的代码。 1、旋转向量 旋转向量其实想表示的就是绕着某个旋转轴转了某个角度...
  • 在机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法中,我们讨论了使用微分法来求解矩阵向量求导的方法。但是很多时候,求导的自变量和因变量直接有复杂的多层链式求导的关系,此时微分法使用起来也有些麻烦。...
  • 平面法向量计算 ...用公式表示为: 平面内两非平行法向量:a, b (c为法向量) a×b = c b×a = -c 上式合并即为: a×b = -b×a 可见,同样是两个向量相乘,不同相乘顺序得到的向量方向是相反的...
  • 词嵌入、句向量方法汇总

    万次阅读 2018-01-17 11:03:39
    词嵌入、句向量、篇章向量
  • 求矩阵的特征值和特征向量方法

    千次阅读 2019-10-23 17:45:16
    求矩阵的特征值和特征向量方法 第一步我们首先需要知道计算矩阵的特征值和特征向量要用eig函数,可以在命令行窗口中输入help eig,查看一下eig函数的用法 第二步在命令行窗口中输入a=[1 2 3;2 4 5;7 8 9],按回车键...
  • 一文纵览向量检索

    千次阅读 2020-09-28 15:07:22
    摘要:本文针对向量检索要解决的问题,梳理了主流向量检索相关的技术,分析了向量检索目前的一个趋势。 什么是向量检索 首先我们了解下什么是向量,所谓向量就是由n个数字(二值向量由n个比特组成)组成的数组,...
  • 多维(三维维)矩阵向量运算-超强可视化1、高维矩阵可视化一维二维三维维2、高维矩阵运算 高维矩阵或者向量的运算,是一个困扰着我很久的问题;在NLP里面经常就会碰到三维,维的向量运算,矩阵相乘时相当头痛...
  • 一 arcgis10.6有这两种方法深度学习与图像分类图像分类是基于不同地物光谱、形状等特征差异将影像转化为分类数据和信息,用于统计分析。ArcGIS Pro支持面向对象分类及基于像素的分类两方式,提供传统分类和先进...
  • 向量积的形式和表示一、内积(向量点乘)1.定义2.点乘3.点乘的几何意义4.基本性质二、外积(叉乘、向量积)1.定义2.叉乘公式3.外积的几何意义4.基本性质 今天在学习SVM算法的时候,涉及到了向量的运算,所以我在这里...
  • 笔者在看各种NLP的论文、文献、博客之中发现在应用过程中,有种类繁多的词向量表达。笔者举例所看到的词向量有哪些。 词向量类型: 一个词一列向量,Hash算法,word2vec,LDA主题-词语矩阵; 一个词一个值,bow...
  • 欧拉角(Euler Angle) 在上面这些表示方式中,我们最容易理解的就是欧拉角了。...换言之,若刚体需要按照两不同的旋转顺序旋转到相同的朝向,所需要的欧拉角角度值则是不同的! 另外需要注意的是,
  • 人脸图像特征提取matlab代码支持向量机的...图像数据存储在维矩阵中,其中前两个维表示图像大小(32x32),第三个维是RGB颜色通道,最后一个维索引数据样本。 我们提出的数据挖掘管道首先使用定向梯度直方图(HOG)进
  • 6.6.1 向量范数 约定:用 表示所有 n 维实的列向量 的实线性空间。 在 上引入向量范数的定义如下: 定义6.2: 上的向量范数是定义在 的某个实值函数 ,它满足如下的三个条件: 6.6 向量范数和矩阵范数 (1)||x||?0,...
  • “无意中发现了一个巨牛的人工智能教程,忍不住...词嵌入向量(WordEmbedding)是NLP里面一个重要的概念,我们可以利用Word Embedding将一个单词转换成固定长度的向量表示,从而便于进行数学处理。本文将介绍Word Emb...
  • 词嵌入向量WordEmbedding的原理和生成方法WordEmbedding的使用WordEmbedding的生成 词嵌入向量(WordEmbedding)是NLP里面一个重要的概念,我们可以利用WordEmbedding将一个单词转换成固定长度的向量表示,从而便于...
  • 由于空间【为了叙述方便,通常将欧几里得这个字给省略掉】是一个集合,对于线性代数而言不关心杂乱无章的集合,而只关心具有某些特殊性质的空间---向量空间。向量空间就是指空间中的元素是"向量",关于向量咱们...
  • 3d数学之向量详解

    千次阅读 2019-06-01 21:00:57
    游戏中一般以二维向量跟三维向量居多,例如一个由A点指向B点的向量,可以表示为AB⃗\vec{AB}AB,由于向量是有方向的,因此向量AB⃗\vec{AB}AB与向量BA⃗\vec{BA}BA并不等价 二维向量表示为V=(...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 127,846
精华内容 51,138
热门标签
关键字:

向量的四种表示方法