-
2017-07-12 15:38:55
设备描述红色一般是没有往友盟发日志,或者appkey漏掉了。先检查是否正确的填写了推送的appkey。
1.添加设备的先后顺序问题 我们应该先项目跑起来后 再把设备添加到测试列表中 为了确保已经把token成功传到 友盟服务器 多跑两次再添加 注意 每次删掉APP重跑 需要重新添加设备 里边的token已经改变了
2.IOS无法验证设备的有效性的还有一种原因是友盟不支持https导致的设备注册失败
需要加上这个
<key>NSAppTransportSecurity</key>
<dict>
<key>NSAllowsArbitraryLoads</key>
<true/>
</dict>更多相关内容 -
人教部编第七课 有效信息的获取、筛选与处理教案.doc
2021-09-11 09:26:03人教部编第七课 有效信息的获取、筛选与处理教案.doc -
安全运营 | 如何从海量告警中筛选出真实有效的攻击?
2021-08-30 21:25:36在考虑“如何从海量告警中筛选出真实有效的攻击?”这个问题前,我一直在思考如何更好的将「告警日志数据」转换为「情报数据」进行输出。 但考虑到「情报数据」的积累是一件相对比较长期的事情,无法在短时间内让...在考虑“如何从海量告警中筛选出真实有效的攻击?”这个问题前,我一直在思考如何更好的将「告警日志数据」转换为「情报数据」进行输出。
但考虑到「情报数据」的积累是一件相对比较长期的事情,无法在短时间内让政企客户快速感知到「情报数据」的价值。那么想要“即时”的体现「安全感」,还是要在「攻击有效性」的检测上多花点时间。
告警日志数据主要来自:WAF、IPS「入侵防御系统」、IDS「入侵防御系统」、蜜罐、NTA、EDR、APT、防病毒、堡垒机、态势感知等安全设备。
当安全设备检测到来自外部或内部的「攻击尝试行为」就会触发告警,需要对告警日志进行研判分析,从其中找出「真实有效」的攻击事件。
但随着互联网的迅速发展和广泛应用,信息安全问题日益突出,政企单位也越来越重视自身安全能力的“建设“。因此,不少政企单位为了提升自身「感知攻击威胁」的能力,会根据「需求」部署各种各样的安全设备资产在内部。从而导致需要分析处置的告警日志剧增,如果按照中小规模的政企单位来算的话,单日安全设备所产生的告警日志量就有可能达到十几万,遇到特殊时期告警日志量甚至高达百万。
“那我们真的需要逐条逐条去分析这些告警吗?”
“可以,但不建议这样。”
毕竟,很多告警的产生并不是意味着它就是「真实有效」的攻击所触发。而是由于安全设备在检测过程中因「特征规则」感知到「攻击尝试行为」所造成的风险告警,而那些「真实有效」的攻击告警却往往被大量的风险告警所“淹没”。
为了能够降低分析成本,就需要对这类因「攻击尝试行为」大量触发的风险告警进行数据清洗。通过特征规则将无效告警、误报告警过滤掉,剩下的就是「待分析告警」。
“哪些告警属于无效告警?”
比如说:攻击方通过对目标资产所处的C段进行批量扫描,但C段的资产并非都是处于「活跃」状态,甚至根本没有这个资产。而安全设备还是因为这个「攻击尝试行为」产生了告警,那么这种告警就属于「无效告警」。
“怎么判断告警是误报?”
比如说:攻击方尝试利用现成的「EXP&POC集成脚本工具」对资产目标进行检测扫描,安全设备检测到「攻击尝试行为」中的攻击特征就会产生告警。在通常情况下,可以把告警中的URL的“网页状态码”、“页面回显数据”作为「误报告警」判断的条件之一。
“如何对「待分析告警」关联分析?”
从「待分析告警」中提取攻击特征,通过「攻击特征规则库」进行匹配,看能否获取到「情报线索」。
/index/index/index?options=id)%2bupdatexml(1,concat(0x7,user(),0x7e),1) from users%23 **
比如说,在「待分析告警」数据发现这一段Payload,通过「攻击特征规则库」关联到它属于「ThinkPHP5 - 注入漏洞」。但我们通过「资产指纹信息库」进行核查发现「受攻击的资产」并没有使用「ThinkPHP5」框架。
按照这个分析逻辑,将整个流程脚本化输出。就可以排除「待分析告警」中那些真实的攻击尝试行为,却又未攻击成功的告警。然后,人工再对剩余的少量「待分析告警」进行分析研判,从其中捕获到「真实有效」的攻击事件的可能性相对于以往的分析方式会大的多。如果捕获到「真实有效」的攻击事件,还可以利用「资产指纹信息库」巡查具有同样指纹特征的设备是否也存在类似的漏洞。
这篇文章主要是记录当下对“如何从海量告警中筛选出真实有效的攻击?”这个问题的一些思考,文章内容难免会存在一些「表述欠妥」的地方,欢迎各位通过公众号「海绵行动」的后台留言指正。
祝:“身体健康,万事如意。”
-
基于情感文本数据筛选的感知节点选择机制
2021-05-06 12:46:14通过分析移动群智感知的协作过程,即感知节点的携带-存储-转发过程,发现该过程忽略了对节点携带信息的内容筛选.而对于有目的的数据获取而言,这种先收集后筛选的方法导致在后续对数据的分析与筛选过程中会耗费更多... -
如何做特征筛选
2021-12-05 12:06:41GAIN信息增益 CHI卡方 基于模型的筛选 1、特征覆盖率 对于样本,有多少用户有此特征,缺失情况如何。一般要求特征覆盖率大于一定阈值。 2、特征封箱测试 即特征在正样本、负样本中的占比对比测试。选择特征:...工作中做模型,首先很重要的一步就是特征工程,包括特征编码、特征归一、特征筛选等。
这里聊一下工作中常用的做特征筛选的方法。
- 特征覆盖率
- 特征封箱,即优势比
- IV值
- GAIN信息增益
- CHI卡方
- 基于模型的筛选
1、特征覆盖率
对于样本,有多少用户有此特征,缺失情况如何。一般要求特征覆盖率大于一定阈值。
2、特征封箱测试
即特征在正样本、负样本中的占比对比测试。选择特征:pct_1/pct_0<=0.8 || pct_1/pct_0=>1.2
3、根据IV值、GAIN、CHI排名做综合排名筛选
计算第2步筛选后的特征的IV值、GAIN值、chi值,并各自排序获得rank排名。
根据排名计算出综合排名,设置阈值,筛选出total_rank < 阈值的特征。
4、基于模型的筛选
上述筛选后,基本可以获得不错的特征。当然也可以根据模型进一步获得选择的特征在模型上的表现衡量,即特征重要性。
特征 特征重要性 排名 会员 0.44 1 性别 0.12 2 学历 0.10 3 年龄 0.09 4 -
基于机器视觉筛选GPS卫星信号的无人驾驶汽车组合导航方法
2020-10-17 00:31:44该系统通过摄像头采集到车体周围环境信息图像并处理,最终得到建筑物上隅角与下隅角的差值,换算出建筑物相对车体所形成的遮挡角度,以此筛选GPS卫星有效信息,采用容积卡尔曼滤波对组合导航信息进行滤波估计,提高... -
详解Excel的高级筛选
2021-07-20 03:02:49说到筛选,使用Excel的很多人都知道它可以在众多杂乱无章、乱序中很快地找出符合某些条件信息来。在Excel中,除了有筛选外,还有一个叫做高级筛选的功能。可能有一些用户没有用过,这高级筛选用来做什么呢?实际工作...说到筛选,使用Excel的很多人都知道它可以在众多杂乱无章、乱序中很快地找出符合某些条件信息来。
在Excel中,除了有筛选外,还有一个叫做高级筛选的功能。可能有一些用户没有用过,这高级筛选用来做什么呢?
实际工作中,有时需要一些比较另类的筛选。比如说,一次同时筛选出多个条件来,或者是要将筛选的结果复制到其他位置。因此高级筛选就应运而生了。
今天就和大家聊聊高级筛选的使用方法,相信大家都会有很多收获。
一、启用高级筛选的方法
以Excel2010为蓝本,启用高级筛选的方法如下:
1、依次单击【数据】”【高级】,如下图所示。
2、弹出高级筛选对话框,如下图所示。
如果先将光标定位在有数据的区域,则在【列表区域】编辑框就会自动识别数据区域的全部地址。
也可以先调出这个对话框来,然后再通过【列表区域】编辑框选择数据区域地址。
二、筛选方式
方式一共有两种方式,都是单选的。
1、在原有区域显示筛选结果
这个简单的理解,就是和筛选一样,执行后在原数据区域显示筛选结果,符合条件的显示,不符合条件的则隐藏。
2、将筛选结果复制到其他位置
这个可能是很多用户会用到的。在实际工作中,用户需要将筛选结果复制出来,并复制到指定的地方。在筛选中,首先就是先执行筛选,然后复制,再粘贴。
三、设置数据
1、列表区域
这个可以理解为【高级筛选】的数据源,就是说要对哪些数据执行高级筛选,可以是多列,也可以是1列数据。
如果在执行高级筛选动作之前将光标定位在数据区域,Excel会自动识别需要处理的数据区域大小,否则就需要手动设置。
2、条件区域
【条件区域】编辑框内可以设置筛选的条件,和筛选中的设置条件类似。
但是这个分为两种,一是常量,二是变量。另外还有AND和OR的关系,即多条件并且和或的关系,这个在下面会详细说明。
3、复制到
如果在【方式】中选择【将筛选结果复制到其他位置】,那么这个【复制到】编辑框会有效,否则为失效状态。
这里设置将筛选结果复制到其他位置的位置地址,通俗易懂就是说,你要将结果放在什么位置。
如果无效,则放在原位置,和筛选动作类似;如果有效,则需要设置一个起始单元格。
四、【不重复选项
【选择不重复记录】复选框
这个是可选项,也是在实际工作中很有用的选项,如果勾选这个复选框,那么执行的是在【列表区域】标示的地址的所有字段都是唯一值,即剔除重复值,默认是取消勾选的状态。
当【列表区域】选择的是一列的时候,再勾选这个复选框,返回的就是这一列的唯一值。
这也是提取不重复数据的一种方法。
例如:需要将数据源中不重复的数据提取到数据源右侧,我们可以这样设置高级筛选的选项
点击确定按钮后,完成操作。
如果使用方式1,就不需要填写【复制到】,只需要勾选【选择不重复记录】确定即可。
要想发挥高级筛选的强大功能,就必须了解条件区域的原理(条件区域的原理同样适用于数据库类的函数,例如:dmax,dsum等等)
下面重点来介绍一下条件区域的相关知识。
五、常量条件和变量条件
1、常量
条件区域可以设置为常量。
比如说例子中,筛选“部门”字段为“一车间”,可以筛选字段的项目值,包括使用通配符,如“*车间”就是筛选所有车间的数据,这些都算是常量条件设置。
这样设置就和我们平时使用的筛选效果一样了。
如果同时选择了【复制到】和【选择不重复记录】,就更加方便。
确定后是这样的:
2、变量
所谓变量条件,就是设置的条件不是固定的,或者说使用公式的来确定条件。
例如需要筛选发生额大于50的,可以这样写条件区域:=F2>50
筛选时按下图设置:
注意条件区域要选两个单元格(包含一个标题单元格),确定后效果如图:
3、两种条件设置的差异
通过以上介绍,我们可以看到常量条件是需要标题,而变量条件际题为空,但是变量条件标题为空看起来不是很明白,我们可以加一个自定义标题(不能与数据源的某个标题一样)。
确定后效果如图:
以上介绍的都是单个条件的筛选,并不能完全显示出高级筛选的强大,接下来就来说说多个条件的设置方法。
六、多个条件的设置方法
1、关系说明
当高级筛选的条件是多条件时,就有两种。
一是这些条件是同时满足的关系,另一种是这些关系是只要有一个满足就可以。
第一种同时满足,在计算机上叫做AND,或者说是“并且”的关系;如果只要有一个满足就可以,这个叫做OR,或者说是“或”的关系。
2、用法
这两种关系,在高级筛选中,用法还是要区分的。如果是AND的关系,那么就需要将所有的条件放在同一行。如果是OR的关系,则是不放在同一行,而是错行放置。
如下图所示表示AND:
这个例子用了两个条件,如果把这两个条件放在同一行,表示满AND的关系。即筛选的条件是:车间是各车间,科目划分是邮寄费,这两个条件都满足才筛选出来。
下面这个表示OR:
这个例子还是两个条件,但是这两个条件是错行,即不是放在同一行的,表示OR的关系。即筛选条件是,车间是一车间或者是二车间,只要满足一个就筛选出来。
具体筛选效果大家可以自己试试。
以上介绍的是多个条件但是只有一种关系,“或”和“且”只有一个出现。如果要实现更加灵活多样的筛选,就需要了解多条件加多关系的设置方法了。
七、多条件+多关系
如果筛选条件是多个,而且关系不止一种,怎么办呢?
其实和多条件单关系类似,如下图所示:
这个例子用到了三个条件,部门为一车间或者财务部,科目划分为邮寄费;怎么解读这个条件区域的含义呢?
思考一下条件的位置关系与逻辑关系(AND和OR)之间的联系,可以这样理解三个条件的含义:筛选一车间的邮寄费与财务部的全部数据。确定后看看实际效果是否与我们的设想一致:
练练手:试着设计以下例子的条件区域(答案在文末)
练习数据下载地址:https://pan.baidu.com/s/1XZyWmhZPIEhrN0gNc55puw
练习1:筛选出二车间发生额大于50的数据
练习2:筛选出二车间发生额或大于50的数据
练习3:筛选出一车间或二车间大于50的或发生额大于100的数据
练习4:筛选出成本大于金额的数据(sheet2的数据)
提示,这个练习需要使用变量作为条件。
通过以上四个例子,大家对于条件区域的设置应该是可以理解了,如果还想再熟练,可以自己设置一些练习,例如:
练习5:销售部门为二部并且成本大于金额的
练习6:所属区域为苏州的或者数量大于50的或者销售部门为二部并且成本大于金额的(这个够变态吗)
以上是高级筛选的基本用法,最后再来一个神奇的用法,用高级筛选实现一对多的引用(这个用公式的话非常麻烦哦)
八、高级筛选实现一对多的提取
问题说明:需要从销售明细表中将按摩椅和跑步机的销售数量、单价和销售金额提出来(sheet3的数据)
这是一个标准的一对多引用,你是否在考虑用VLOOKUP加辅助列或者是万金油公式?
其实用高级筛选处理这类问题非常方便:
确定就OK了。
高级筛选的用法就介绍这么多,希望大家今后在遇到各种问题的时候,不要只想到使用公式函数,其实excel里的很多功能都是很方便的。
练习题答案
练习1
练习2
练习3
练习4
练习5
-
日志审计与分析实验二-日志筛选
2022-04-04 16:04:02日志审计与分析-日志筛选 实验目的:使用linux 下grep 命令筛选登录日志 1、练习使用grep命令 (1)grep命令的作用? Linux系统中grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印... -
高维数据中特征筛选方法的思考总结——多变量分析筛选法
2019-06-26 17:11:31前言:之前的文章(高维数据中特征筛选方法的思考总结——单变量分析筛选法)中,对单变量分析筛选变量进行了初步考量,本文将进一步总结多变量分析筛选法。由于本文多处摘录网上的博客,只是进行了归纳整理,因此... -
数据有效性 动态选择
2018-06-12 08:17:26基础数据区的信息,范围为:D14:I17 AA 1 a b C d BB 2 e f G h CC 3 i j K w DD 4 w x Y z 公式中用了两层嵌套,在OFFSET函数中嵌套了VLOOKUP函数,在VLOOKUP... -
机器学习常用特征筛选方法
2021-10-22 14:03:59Embedded嵌入法 包装法将特征打包不断创建新模型测试特征的有效性,而嵌入法则是将特征都嵌入到算法流程中,类似随机森林和决策树模型在模型训练过程中根据信息增益对特征重要性赋予权重,特征选择与模型生成同步... -
特征选择/筛选方法总结
2019-03-30 14:51:16作者:jliang ... 1.特征选择介绍 1)特征分类 相关特征:对于学习任务... 冗余特征:不会对我们的算法带来新的信息,或者这种特征的信息可以由其他的特征推断出; 2)特征选择的目的 对于一个特定的学习算法... -
高通量药物筛选平台 - MedChemExpress
2021-03-01 16:29:25化合物库的应用化合物库 (Compound library) 是按照特殊的研究目的研制而成的大量化合物集合,适用于高通量药物筛选。化合物库可在短时间内、在特定的筛选模型上完成数以千计,甚至万计化合物样品的活性测试,主要有... -
NLP学习__task3: : 特征提取:TF-IDF、词向量表示、互信息原理、特征筛选
2019-03-07 11:04:58根据互信息的计算公式,即是需要计算特征与因变量之间的互信息,设置互信息阈值大小进行筛选特征或者根据互信息的结果排序,取特征。 1)相关系数法:直接计算特征与因变量一一的互信息 对于文本内容,我们在... -
评分卡模型变量筛选
2020-08-08 19:03:42变量筛选 用户的属性很多,如果全部输入模型,时间开销太大,而且模型复杂度过高。也会导致模型泛化能力降低,需要提前剔除没有意义的变量。 挑选入模变量需要考虑很多因素,比如:变量的预测能力,变量之间的线性... -
高通量药物筛选化合物库 - MedChemExpress
2021-03-01 16:30:13化合物库的应用化合物库 (Compound library) 是按照特殊的研究目的研制而成的大量化合物集合,适用于高通量药物筛选。化合物库可在短时间内、在特定的筛选模型上完成数以千计,甚至万计化合物样品的活性测试,主要有... -
论文研究-基于信息熵的RVM-AdaBoost组合分类器.pdf
2019-09-10 16:47:57针对AdaBoost算法不能有效提高RVM分类性能的问题,提出一种基于信息熵的RVM与AdaBoost组合分类器。依据RVM输出的后验概率来定义样本的信息熵,信息熵越高的样本越容易错分。提出使用自适应信息熵阈值对数据进行筛选... -
python 机器学习——特征筛选实现
2020-08-22 09:43:07是指从已有的 M 个特征( Feature )中选择 N 个特征使得系统的特定指标最优化,是从原始特征中选择出一些最有效特征以降低数据集维度的过程,是提高学习算法性能的一个重要手段,也是模式识别中关键的数据预处理步骤。... -
使用C#对Excel文件进行内容筛选
2019-06-28 16:45:37一个使用C#编写的小工具,对指定文件夹下的所有Excel文件进行筛选,如果一个文件中含有某个指定的字符串,记录该文件,并且定位这个字符串出现的位置。 网上使用C#对Excel文件进行读写的方法主要有四种: (1)... -
日志审计与分析-利用grep进行日志筛选
2022-04-09 16:03:28使用linux 下grep 命令筛选登录日志 1、练习使用grep命令 grep命令的作用? grep命令的常用参数都有哪些? 2、使用grep筛选出linux系统的成功和失败登录日志 3、思考:如何定期备份日志? 4、查阅资料:什么是... -
【日志审计与分析】linux 下使用grep 命令进行日志筛选
2022-04-03 11:56:50文章目录实验目的:实验环境:一、练习使用grep命令1.grep命令的作用2.grep命令的常用参数二、使用grep筛选出linux系统的成功和失败登录日志1.登陆成功2.登录失败三、思考:如何定期备份日志?四、查阅资料1.什么是... -
分享:虚拟筛选常用化合物库
2018-12-24 16:14:57虚拟筛选依赖分子模拟技术,从大量的有机化合物中遴选出可能有效的候选化合物,避免了对化合物的盲目筛选,从而大大降低了发现活性先导化合物的成本。虚拟筛选作为计算机辅助药物设计中的一项实用化技术,在当代的... -
特征工程系列:特征筛选的原理与实现(上)
2019-07-26 20:50:00在实际项目中,我们可能会有大量的特征可使用,有的特征携带的信息丰富,有的特征携带的信息有重叠,有的特征则属于无关特征,如果所有特征不经筛选地全部作为训练特征,经常会出现维度灾难问题,甚至会降低模型的... -
虚拟筛选涉及的小分子数据库
2017-08-27 14:31:59药物设计和虚拟筛选依赖化学信息学和生物信息学中大量的靶点、小分子以及靶点-小分子相互作用星系。从大量的有机化合物中有效地遴选出可能有候选化合物,避免了对化合物盲目地活性筛选,从而降低了发现活性先导化合... -
风控建模三:变量筛选原则
2019-12-09 22:24:09好的模型变量直接决定着一个风险模型是否稳定和有效,而好的模型变量都具备以下三种特性: 1、变量自身的分布是随时间相对稳定的; 2、变量和目标值之间是有强相关关系的; 3、变量和目标的强相关关系也是随时间... -
【Excel2019(五):分类汇总和数据有效性】【分类汇总+数据有效性】
2020-02-22 14:24:58本章主要内容:分类汇总(分地区统计金额的总计,分地区与产品分类统计金额的总计,将分类汇总后的结果复制到其他区域),数据有效性 -
【技术解读】CRISPR基因编辑技术筛选药物靶点
2021-02-07 15:47:09在药物发现中,对新药的筛选、评估、验证等过程极其漫长和成本高昂,通常跨度十几年的时间,花费超过10亿美元,且最终只有一小部分候选药物能够真正进入市场。具有高风险、高投入、超长周期的特点。因此挖掘新技术... -
python自然语言处理:有效信息的提取
2018-04-24 09:22:06训练过程中将准确率等自动保存成一个txt文件,该文件有64M多,想要从中提取有用信息比如Mean accuracy、sensitivity、specificity和mean dsc等,人工筛选太繁琐,所以想到用python编程来实现。去请教了一位研究自然... -
量化交易 第十三课 多因子筛选分析简介
2021-03-20 04:15:37多因子筛选分析简介. 如何实现多因子筛选. -
信息检索与利用(第三版)第五章 信息法与综合性信息检索
2020-04-12 23:17:00一般来说,信息法由信息资源管理法、政府信息公开法、信息保密法、大众传播法、知识产权法、网络信息法等组成,涉及宪法、法律、行政法规、部门规章、地方行政和规章在内的所有关于信息活动和信息工作的法律法规。...