视频高层语义其实也是针对帧来做的，因为帧之间的连续性或者连贯性目前的确有难度，这种连续性就是指行为或者动作的识别，空间上的概念。很多都是时间上的概念，目前视频理解就是如此，复杂的动作，比如SomethingV2中就有很多，根据我上面关于TSM视频的测试可知，抽帧组合的方式其实还是满足时间上的概念的，比如这个博文中提及的帧数选取的问题，无论怎样两个clip序列都是满足时间上的先后顺序的，

测试的是

[ 2  5  9 12 15 18 22 25 28 31 35 38 41 44 48 51  1  4  7 10 14 17 20 23
 27 30 33 36 40 43 46 49]

每个clip均是16帧，另外又做了3倍的crops-裁剪，就是图像的一些基本操作，所以总的来说是16*6个帧。

说实话，到目前为止，我还是懵逼的状态，除了paper中所提及的shift之外，我没发现有任何的创新之处，在我看来就是个resnet50，TSM基于TSN做的，TSN采用的resnet50的预训练模型，当然也有其他的模型可以尝试。

文中说需要平衡空间和时间特征的学习，将输入X经过shift后再conv与X融合进行预测，这是常见的Residual结构。

总体结构如下：来源于TSMpaper

然而，我不觉得这种特征提取的方式会比仅仅提取帧特征的方法要优秀，因为最终我并不是为了做视频行为识别，而是为了做视频之间的相似性，而后者并不太在乎这种时间、空间上的信息，甚至完全缺失也可，但如果考虑其中的行为相似性，则空间信息可能会需要。

【上述言论仅供参考，纯属胡诌】

下面寡人进入正题，inceptionV3特征提取，预训练的模型已经是1000类的了，将top层去掉仅仅提取帧高层语义。

最后的输出是2048维度

global_average_pooling2d_1 (Glo (None, 2048)         0           mixed10[0][0]                

输入是固定的

input_1 (InputLayer)            (None, 299, 299, 3)  0          

因此这个只需送入模型即可得到，不费劲。

此2048暂不做PCA，先来做个图像之间的测度，关于测度问题，请查看我之前的博文。【虽说并未完善，但不妨看看】

这里采用一个余弦相似度，关于此概念，百度百科中已有明确概念。手写一个也不费劲

我哥的余弦相似度是

这个是自己测的，不知道准不准，既然如此，

换个我的图片？？

这个。。。所谓的高层语义就是这个吗？？？

我有点不敢苟同啊。

另外有相关问题可以加入QQ群讨论，不设微信群

QQ群：868373192 

语音图像深度-学习群

各位新年好，感谢对我一年的关注、包容与支持。

多谢大家，我还是少年。

下班。

学习论文：G. Creech and J. Hu, "A Semantic Approach to Host-Based Intrusion Detection Systems Using Contiguousand Discontiguous System Call Patterns," in IEEE Transactions on Computers, vol. 63, no. 4, pp. 807-819, April 2014, doi: 10.1109/TC.2013.13.

论文提取了一种新颖的sementic feature用于系统调用序列进行异常检测

提取方法分为三步

First, the training data must be processed to extract a dictionary containing every contiguous system call trace present in the training samples. This step is equivalent to using multiple window lengths under Forrest’s methodology [20], [25], [26], [46] and [47], where the maximum window length allowed is in fact the length of each trace. Each dictionary entry extracted at this stage forms a conceptual ‘word’, or a ‘phrase’ of length 1.

1、提取单词

      长度为n的api连续调用子序列为一个单词（ n >= 2 ）

      训练序列得到的所有单词:组成单词字典

例：一个序列为 1，2，3，4，5

    则可以得到单词：[1，2],[2，3],[3,4],[4,5]

                    [1,2,3],[2,3,4],[3,4,5]

                    [1,2,3,4],[2,3,4,5]

                    [1,2,3,4,5]

Second, these words are then used to construct further dictionaries consisting of every possible combination of the words up to a specified phrase length. 

2、组合短语

  任意n个单词进行组合得到的所有可能:长度为n的短语字典（长度为1的短语词典即为单词词典）

  例如：单词字典{[1,2],[2,3],[3,4]}  ：可以得到的长度为2的短语字典[1,2,2,3],[2,3,1,2],…       可以得到的长度为3的短语字典[1,2,2,3,3,4],[2,3,1,2,3,4],…

extract occurrence counts of these different length phrases. 

3、得到语义特征向量

      输出语义特征向量[x1,x2,x3,x4,xn]代表：长度为n的短语字典中的短语在预测序列中的出现种类数。

       例如：长为1的短语字典中有10种在序列中出现，则该序列特征向量的x1=10

对于语句分析，以及词云展示，具体代码如下：

# coding=utf-8
import jieba
import numpy
import pandas as pd
from wordcloud import WordCloud
import matplotlib.pyplot as plt

# 将三个句子用jieba.cut处理
content1 = jieba.lcut("今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。")
content2 = jieba.lcut("我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。")
content3 = jieba.lcut("如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。")

# 将此三个转换成列表
content1 = ' '.join(list(content1))
content2 = ' '.join(list(content2))
content3 = ' '.join(list(content3))

# 实例化count
count = CountVectorizer(stop_words=["不会", "如果"])

# 对三篇文章进行特征提取
data = count.fit_transform([content1, content2, content3])

# 内容打印
print(count.get_feature_names())
print(data.toarray())

# 云词展示
# 统计云词
words = [content1.split(" "), content2.split(" "), content3.split(" ")]
stopwords = ["不会", "如果","师兄",  "，", "。"]
all_words = []
for word in words:
    for i in word:
        if i in stopwords or len(i)==1:
            continue
        all_words.append(str(i))

# 转为DataFrame形式
all_words = pd.DataFrame({"all_words": all_words})

words_count = all_words.groupby(by=["all_words"])["all_words"].agg({"count": numpy.size})
words_count = words_count.reset_index().sort_values(by=["count"], ascending=False)

wordcloud = WordCloud(font_path="/Library/Fonts/Songti.ttc", background_color="white", max_font_size=80)
word_frequence = {x[0]: x[1] for x in words_count.head(len(words_count)-1).values}
wordcloud = wordcloud.fit_words(word_frequence)

# 词频展示
plt.imshow(wordcloud)

输出：

['一种', '不要', '之前', '了解', '事物', '今天', '光是在', '几百万年', '发出', '取决于', '只用', '后天', '含义', '大部分', '如何', '宇宙', '我们', '所以', '放弃', '方式', '明天', '星系', '晚上', '某样', '残酷', '每个', '看到', '真正', '秘密', '绝对', '美好', '联系', '过去', '这样']
[[0 1 0 0 0 2 0 0 0 0 0 1 0 1 0 0 0 1 1 0 2 0 1 0 2 1 0 0 0 1 1 0 0 0]
 [0 0 1 0 0 0 1 1 1 0 0 0 0 0 0 1 3 0 0 0 0 1 0 0 0 0 2 0 0 0 0 0 1 1]
 [1 0 0 4 3 0 0 0 0 1 1 0 1 0 1 0 1 0 0 1 0 0 0 1 0 0 0 2 1 0 0 1 0 0]]

生成的图像为：