-
信息检索的top-R准确率曲线(Precision@top-R Curve)作图
2019-04-26 21:10:00Notes 多模态检索中常用三种评价指标: mAP(@R) Precision-Recall Curve Precision@top-R Curve ...师兄的说法,只要将 P-R 曲线中的 R 从 Recall 改为 top-R 之 R...参照前作:信息检索的PR曲线(Precision-R...Notes
多模态检索中常用几种评价指标:
- mAP(@R)
- Precision-Recall Curve
- Precision@top-R Curve
- NDCG(@R)
- ACG(@R)
- WAP(@R)
师兄的说法,只要将 P-R 曲线中的 R 从 Recall 改为 top-R 之 R(即第 R 个位置)就行,代码直接从 P-R 曲线作图代码修改而来,同师兄对拍过样例,是一样的。
Code
python
import matplotlib.pyplot as plt import numpy as np from scipy.spatial.distance import cdist # 画 Precision@top-R 曲线 def p_at_topR(qF, rF, qL, rL, what=0, topK=-1): n_query = qF.shape[0] if topK == -1 or topK > rF.shape[0]: topK = rF.shape[0] P, R = [], [] Gnd = (np.dot(qL, rL.transpose()) > 0).astype(np.float32) if what == 0: Rank = np.argsort(cdist(qF, rF, 'cosine')) else: Rank = np.argsort(cdist(qF, rF, 'hamming')) for k in range(1, topK+1): # ground-truth: 1 vs all p = np.zeros(n_query) # r = np.zeros(n_query) for it in range(n_query): gnd = Gnd[it] gnd_all = np.sum(gnd) if gnd_all == 0: continue # the id of sorted dis # (but left dis as it is) asc_id = Rank[it][:k] gnd = gnd[asc_id] gnd_r = np.sum(gnd) p[it] = gnd_r / k # r[it] = gnd_r / gnd_all P.append(np.mean(p)) # R.append(np.mean(r)) R.append(k) fig = plt.figure(figsize=(5, 5)) plt.plot(R, P) plt.grid(True) # plt.xlim(0, 1) # plt.ylim(0, 1) plt.xlabel('recall') plt.ylabel('precision') plt.legend() plt.show() # return R, P
matlab
- 师兄给的这份代码好像是来自 CCQ 的,见引用[2]
function precision = precision_at_k(ids, Lbase, Lquery) nquery = size(ids, 2); K = 1000; P = zeros(K, nquery); for i = 1 : nquery label = Lquery(i, :); label(label == 0) = -1; idx = ids(:, i); imatch = sum(bsxfun(@eq, Lbase(idx(1:K), :), label), 2) > 0; Lk = cumsum(imatch); P(:, i) = Lk ./ (1:K)'; end precision = mean(P, 2); end
References
-
garch模型测度波动率与r语言代码展示
2019-04-17 20:17:29运用数据与第一次作业数据相同,所以时间序列的水平信息的提取在本次中不再进行分析,而是提取arima模型拟合后的残差,对其建立garch模型,对这部分进行分析。运用garch模型测度序列的波动性和进行分析的,含r语言... -
R语言之主成分分析-PCA 贡献率
2016-12-27 10:48:261、关键点 综述:主成分分析 因子分析...主成分分析是一种通过降维技术把多个变量化成少数几个主成分的方法,这些主成分能够反映原始变量的大部分信息,他们通常表示为原始变量的线性组合。 2、函数总结 #R中作为1、关键点
综述:主成分分析 因子分析典型相关分析,三种方法的共同点主要是用来对数据降维处理的 从数据中提取某些公共部分,然后对这些公共部分进行分析和处理。
#主成分分析 是将多指标化为少数几个综合指标的一种统计分析方法主成分分析是一种通过降维技术把多个变量化成少数几个主成分的方法,这些主成分能够反映原始变量的大部分信息,他们通常表示为原始变量的线性组合。
2、函数总结
#R中作为主成分分析最主要的函数是princomp()函数
#princomp()主成分分析 可以从相关阵或者从协方差阵做主成分分析
#summary()提取主成分信息
#loadings()显示主成分分析或因子分析中载荷的内容
#predict()预测主成分的值
#screeplot()画出主成分的碎石图
#biplot()画出数据关于主成分的散点图和原坐标在主成分下的方向3、案例
#现有30名中学生身高、体重、胸围、坐高数据,对身体的四项指标数据做主成分分析。
#1.载入原始数据
test<-data.frame(
X1=c(148, 139, 160, 149, 159, 142, 153, 150, 151, 139,
140, 161, 158, 140, 137, 152, 149, 145, 160, 156,
151, 147, 157, 147, 157, 151, 144, 141, 139, 148),
X2=c(41, 34, 49, 36, 45, 31, 43, 43, 42, 31,
29, 47, 49, 33, 31, 35, 47, 35, 47, 44,
42, 38, 39, 30, 48, 36, 36, 30, 32, 38),
X3=c(72, 71, 77, 67, 80, 66, 76, 77, 77, 68,
64, 78, 78, 67, 66, 73, 82, 70, 74, 78,
73, 73, 68, 65, 80, 74, 68, 67, 68, 70),
X4=c(78, 76, 86, 79, 86, 76, 83, 79, 80, 74,
74, 84, 83, 77, 73, 79, 79, 77, 87, 85,
82, 78, 80, 75, 88, 80, 76, 76, 73, 78)
)#2.作主成分分析并显示分析结果
test.pr<-princomp(test,cor=TRUE) #cor是逻辑变量当cor=TRUE表示用样本的相关矩阵R做主成分分析当cor=FALSE表示用样本的协方差阵S做主成分分析
summary(test.pr,loadings=TRUE) #loading是逻辑变量当loading=TRUE时表示显示loading 的内容#loadings的输出结果为载荷是主成分对应于原始变量的系数即Q矩阵
分析结果含义
#----Standard deviation 标准差 其平方为方差=特征值
#----Proportion of Variance 方差贡献率
#----Cumulative Proportion 方差累计贡献率
#由结果显示 前两个主成分的累计贡献率已经达到96% 可以舍去另外两个主成分 达到降维的目的因此可以得到函数表达式 Z1=-0.497X'1-0.515X'2-0.481X'3-0.507X'4
Z1= 0.543X'1-0.210X'2-0.725X'3-0.368X'4
#4.画主成分的碎石图并预测
screeplot(test.pr,type="lines")
由碎石图可以看出 第二个主成分之后 图线变化趋于平稳因此可以选择前两个主成分做分析
-
单片机与DSP中的使用R系列智能数据采集进行比特错误率测试
2020-11-11 01:47:47使用NI LabVIEW FPGA和R系列智能数据采集,开发更为灵活的系统对实际文件传输进行测试,同时将单位成本减少到1 /4。 "我们的新系统将单位成本降低了4倍,并且提供了对需要增加测试需求的通信接口的定制能力。" ... -
【通俗易懂的通信】信道容量 与 信息率失真函数
2020-10-13 15:44:26信息率失真函数:找到信源压缩的最大限度(即最大化H(X|Y)),使编码后所需的信息传输率R尽量小(即最小化I(X;Y)) 信道容量:平均互信息的最大值,即信道传送信息的最大能力信息率失真函数:找到信源压缩的最大限度(即最大化H(X|Y)),使编码后所需的信息传输率R尽量小(即最小化I(X;Y))
信道容量:平均互信息的最大值,即信道传送信息的最大能力
-
论文研究-一类超图存取结构的秘密共享方案的信息率.pdf
2019-07-22 19:13:52针对参与者人数为6的一类超图存取结构的完善秘密共享方案及其最优信息率进行了研究。利用这些存取结构与超图之间的关系, 给出了其对应的95种超图存取结构。对其中的57种超图存取结构运用理想超星判定定理等计算了... -
第四章-信息率失真函数(二)
2016-10-19 22:27:34接上一节第四章-信息率失真函数(一) 4.2 离散信源和连续信源的R(D)计算 求信源的R(D)函数,原则上与求信道容量...l 信息率失真函数R(D)的定义 l R(D)的性质 n 定义域 n 值域 n 下凸性 n 连续性接上一节第四章-信息率失真函数(一)
4.2 离散信源和连续信源的R(D)计算
求信源的R(D)函数,原则上与求信道容量一样,约束条件下求极值
某些特殊情况下R(D)的表示式为:
l 失真函数
l 平均失真
l 信息率失真函数R(D)的定义
l R(D)的性质
n 定义域
n 值域
n 下凸性
n 连续性
n 单调性
-
使用spark scala计算信息熵,信息增益,信息增益率
2018-10-30 20:40:27找了下,没找到现成的代码,自己写了个,速度还能接受,可以用来做简单的特征选择 import org.apache.spark.rdd.RDD class FeatureSelect { //信息熵 def entropyRDD(data:RDD[String])={ ...(x,1)).r... -
第四章-信息率失真函数(一)
2016-10-18 19:55:54第4章 信息率失真函数 主要内容 : 4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R(D)的计算 4.1 平均失真和信息率失真函数 4.1.1 失真函数 假如某一信源X,输出样值为xi,xi{a1,…... -
R语言中敏感性和特异性、召回率和精确度作为选型标准的华夫图案例
2020-02-21 15:05:22精度和查全率源自信息检索,但也用于机器学习设置中。但是,在某些情况下,使用精度和查全率可能会出现问题。在这篇文章中,我将讨论召回率和精确度的缺点,并说明为什么敏感性和特异性通常更有用。 定义 对于类别... -
python应用opencv提取二维码信息,提高识别率
2020-12-12 16:00:19二维码识别: frame= cv2.imread(filename) ...这样识别率不高,为了提高识别率,可调整图像二值化阈值 thre = 35 while (len(barcodes) == 0 and thre < 200): ret, thresh = cv2.threshold -
R_Studio(教师经济信息)逻辑回归分析的方法和技巧
2018-10-13 10:23:00使用R语言对"教师经济信息"进行逻辑回归分析 (1)按3:1的比例采用简单随机抽样方法,创建训练集和测试集 (2)用训练集创建逻辑回归模型 (3)用测试集预测贷款结果,并用table统计分类的最终结果 ... -
信息检索(IR)的评价指标介绍 - 准确率、召回率、F1、mAP、ROC、AUC
2016-12-19 21:25:51在信息检索、分类体系中,有一系列的指标,搞清楚这些指标对于评价检索和分类性能非常重要,因此最近根据网友的博客做了...信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision R -
信息论和编码原理第45章课后习题2014060423点自己整理.ppt
2020-08-14 01:04:35信息论与编码原理 四五章习题 4.1对信源概率空间为 P)00.01 进行二元编码,编码方案如表4.19所示表4.19编码方案 (1)计算平均码长L 信息符号对应码字 (2)编码后信息传输率R 000 (3)编码后信源信息率R S 100 (4)编码... -
R语言处理1975-2011年的人口信息
2019-10-01 15:36:362)统计出各个国家的1975-2011年的平均人口增长率 3)统计每年人口最多的十个国家 4)统计出每年人口最少的十个国家 5)结合洲的语言的分类,请得出如下结果 5.1)哪个洲的人口最多?哪个洲的人口最少? 每个洲... -
r语言siggenes包_基于随机生存森林与网络拓扑信息的食管癌风险预测
2021-02-11 08:55:05食管癌是世界上高发的恶性肿瘤之一,其死亡率一直居高不下[1-2]....现有关于食管癌生存预测的研究主要基于临床诊断因子和蛋白编码基因(Messenger RNA,m RNA)分子标签,而关于非编码RNA(non-coding RNA,nc R... -
准确率与召回率图解
2016-07-29 09:30:40在机器学习、推荐系统、信息检索、自然语言处理、多媒体视觉等领域,经常会用到准确率(precision)、召回率(recall)、F-measure、 F1-score 来评价算法的准确性。 一、准确率和召回率(P&R) 以文本检索为例,... -
R-CNN、FastR-CNN、Faster R-CNN论文笔记
2017-03-24 11:34:49Region Proposal(候选区域),就是预先找出图中目标可能出现的位置,通过利用图像中的纹理、边缘、颜色等信息,保证在选取较少窗口(几千个甚至几百个)的情况下保持较高的召回率(IoU,Intersection-over-Uni -
如何查看CPU信息、CPU占用率和内存占用
2019-05-19 17:51:32查看CPU占用情况 第一种方法:通过top命令查看CPU的占用情况。如下例图,adb输入“top”后,可以看到: 上图中一些参数的意义: ... S for sleep, R for Running, Z for zombie, N for this progre... -
机器学习 之评估指标 召回率,查准率,F1分数(f1值)
2021-01-07 03:53:35将虾预测为虾 召回率R = TP/(TP+FP) (正确预测鱼的信息条数/原样本中所有鱼的信息条数) 2、查准率:评价模型的正确性 查准率:某一类 预测样本中的预测正确的信息条数/预测样本中所有的信息条数 查准率P = TP/(TP+... -
率失真优化RDO
2018-02-27 15:31:53香农首先定义了信息率失真函数R(D),并论述了关于这个函数的基本定理。定理指出:在允许一定失真度D的情况下,信源输出的信息传输率可压缩到R(D)值,这就从理论上给出了信息传输率与允许失真之间的关系,奠定了信息... -
Linux/Android之sar查看IO/CPU占用率
2020-12-22 19:47:511.查看内存利用率信息 # sar -r 2.CPU 利用率信息 # sar -u 3.交换空间利用率信息 # sar -S 4.内核表统计信息 # sar -v 5.交换信息 # sar -W 6.任务创建与系统转换信息 # sar -w 7.TTY 设备信息 # sar -y 8.... -
获取CPU,内存使用率,磁盘相关信息
2011-12-07 09:28:04CPU信息bool get_cpuoccupy(CPU_OCCUPY *cpust) //对无类型get函数含有一个形参结构体类弄的指针O { FILE *fd; char buff[256]; CPU_OCCUPY *cpu_occupy; cpu_occupy = cpust; if ((fd = fopen("/proc/... -
python获取股票的市盈率_有没有一种方法可以自动获取许多股票的一般信息,比如市盈率、收益率等等?...
2020-12-18 09:38:00R的quantmod包有getQuote,它与yahooQF一起是获得当前值所需的全部内容。在require("quantmod")getQuote("GS", what = yahooQF(c("Market Capitalization", "Earnings/Share","P/E Ratio", "Book Value", "EBITDA", ... -
准确率,精确率,召回率,F-measure 之间的关系
2017-11-04 10:33:00总结:(图上 R的计算的分母应该是 :40+10 )(笔误) 模型条件放宽,负类被误判为正类的可能性就变大(即FP变大)精确率和准确率会受影响(变小) 模型条件变严格,正类有可能被误判为负类(即FN变大)召回率会...
-
Vue项目预热-项目代码(6-3)
-
Liunx 优化思路与实操步骤
-
2018年上半年 数据库系统工程师 上午试卷 综合知识 软考真题【含答案和答案解析】
-
元素周期表-three.js实战详解
-
C++学习(二一七)有关Nsight Tegra
-
2014年下半年 嵌入式系统设计师 上午试卷 综合知识 软考真题【含答案和答案解析】
-
NFS 实现高可用(DRBD + heartbeat)
-
项目经理成长之路
-
市场-源码
-
2013年下半年 嵌入式系统设计师 上午试卷 综合知识 软考真题【含答案和答案解析】
-
从 Notbook 到 JupyterLab, 再配上代码帮手 Kite
-
PPTP_NNN 服务生产环境实战教程
-
响应式编程中的Flux和Mono 的理解
-
阿里架构师,讲述基于微服务的软件架构模式
-
朱老师c++课程第3部分-3.5STL的其他容器讲解
-
龙芯实训平台应用实战(希云)
-
2017年下半年 软件评测师 上午试卷 综合知识 软考真题【含答案和答案解析】
-
2012年下半年 软件评测师 上午试卷 综合知识 软考真题【含答案和答案解析】
-
Arduino云植物自动浇水
-
2015年下半年 软件评测师 上午试卷 综合知识 软考真题【含答案和答案解析】