精华内容
下载资源
问答
  • 此外,该公式还有对吸收率测量误差不敏感的特性,例如,在零海拔处传感器最小可检测的吸收率Aˉ= 10-2 的偏差,所能产生的距离偏差不超过50 m。该结论有望突破绝大多数氧吸收法被动测距实验局限于较近距离的现状,...
  • 仿真结果表明:相位匹配被动诱骗态方案最大安全传输距离可达到552 km,性能趋近于现有相位匹配主动诱骗态方案,且无需主动产生诱骗态;在一定程度上克服了相位匹配主动诱骗态方案严重依赖探测器探测效率缺陷,性能...
  • NFC技术原理支持NFC设备可以在主动或被动模式下交换数据。在被动模式下,启动NFC通信设备,也称为NFC发起设备(主设备),在整个通信过程中提供射频场(RF-field),。它可以选择106kbps、212kbps或424kbps其中一种...
    c19425ed03165900de9e76cab51450e0.png

    NFC技术原理

    支持NFC的设备可以在主动或被动模式下交换数据。在被动模式下,启动NFC通信的设备,也称为NFC发起设备(主设备),在整个通信过程中提供射频场(RF-field),。它可以选择106kbps、212kbps或424kbps其中一种传输速度,将数据发送到另一台设备。另一台设备称为NFC目标设备(从设备),不必产生射频场,而使用负载调制(load modulation)技术,即可以相同的速度将数据传回发起设备。此通信机制与基于ISO14443A、MIFARE和FeliCa的非接触式智能卡兼容,因此,NFC发起设备在被动模式下,可以用相同的连接和初始化过程检测非接触式智能卡或NFC目标设备,并与之建立联系。图为NFC主动通信模式:

    NFC与RFID区别

    第一、NFC将非接触读卡器、非接触卡和点对点功能整合进一块单芯片,而rfid必须有阅读器和标签组成。RFID只能实现信息的读取以及判定,而NFC技术则强调的是信息交互。通俗的说NFC就是RFID的演进版本,双方可以近距离交换信息。NFC手机内置NFC芯片,组成RFID模块的一部分,可以当作RFID无源标签使用进行支付费用;也可以当作RFID读写器,用作数据交换与采集,还可以进行NFC手机之间的数据通信。

    第二、NFC传输范围比RFID小,RFID的传输范围可以达到几米、甚至几十米,但由于NFC采取了独特的信号衰减技术,相对于RFID来说NFC具有距离近、带宽高、能耗低等特点。

    第三、应用方向不同。NFC看更多的是针对于消费类电子设备相互通讯,有源RFID则更擅长在长距离识别。

    随着互联网的普及,手机作为互联网最直接的智能终端,必将会引起一场技术上的革命,如同以前蓝牙、USB、GPS等标配,NFC将成为日后手机最重要的标配,通过NFC技术,手机支付、看电影、坐地铁都能实现,将在我们的日常生活中发挥更大的作用。

    传统比较

    NFC和蓝牙(Bluetooth)都是短程通信技术,而且都被集成到移动电话。但NFC不需要复杂的设置程序。NFC也可以简化蓝牙连接。

    NFC略胜蓝牙的地方在于设置程序较短,但无法达到低功率蓝牙(Bluetooth Low Energy)的速度。在两台NFC设备相互连接的设备识别过程中,使用NFC来替代人工设置会使创建连接的速度大大加快:少于十分之一秒。NFC的最大数据传输量 424 kbit/s 远小于 Bluetooth V2.1 (2.1 Mbit/s)。虽然NFC在传输速度与距离比不上蓝牙 (小于 20 cm),但相应可以减少不必要的干扰。这让NFC特别适用于设备密集而传输变得困难的时候。相对于蓝牙,NFC兼容于现有的被动 RFID (13.56 MHz ISO/IEC 18000-3) 设施。NFC的能量需求更低,与蓝牙 V4.0低功耗协议类似。当NFC在一台无动力的设备(比如一台关机的手机,非接触式智能信用卡,或是智能海报)上工作时,NFC的能量消耗要小于低功耗蓝牙 V4.0。对于移动电话或是移动消费性电子产品来说,NFC的使用比较方便。NFC的短距离通信特性正是其优点,由于耗电量低、一次只和一台机器链接,拥有较高的保密性与安全性,NFC有利于信用卡交易时避免被盗用。NFC的目标并非是取代蓝牙等其他无线技术,而是在不同的场合、不同的领域起到相互补充的作用。

    NFC天线

    一种近场耦合天线,由于13.56Mhz波长很长,且读写距离很短,合适的耦合方式是磁场耦合,线圈是合适的耦合方式。由于手机之类的消费型产品有很高的外观要求,因此天线一般需要内置。但是天线内置后,天线就必须贴近主板或电池(都含有金属导体成分)。这样设计的后果是,天线会在导体表面产生涡流来削弱天线的磁场。因此,业界在手机中通常采用磁性薄膜(如TDK等公司生产)贴合FPC方式来做天线。一种新技术是磁性薄膜与FPC合一,也即磁性FPC。

    展开全文
  • 我们构建了balboa来处理从收集数据中聚合的被动DNS数据。 该API应该适合集成到现有多源可观察集成框架中。 使用GraphQL API(请参见下文)或与兼容REST API,可以在与兼容模式中产生结果。 balboa...
  • 1 Overview1.1 数据质量在数据部门里,数据质量问题...数据质量需要对数据进行校验,当产生严重的数据污染等事件的时候需要告警和阻塞数据处理链路,最大限度的减少由于上下游数据质量而产生的问题。1.2 一些术语DQ:...

    e2bd5edfdd190653c7aceb0fe989576b.png

    1 Overview

    1.1 数据质量

    在数据部门里,数据质量问题经常是被动发现,所以数据质量的问题是大多数公司数据部门都不得不面对的问题。数据质量校验的目标是监控数据管道中,生产者、处理阶段以及消费者的数据的正确性、一致性和及时性的一项系统工程。数据质量需要对数据进行校验,当产生严重的数据污染等事件的时候需要告警和阻塞数据处理链路,最大限度的减少由于上下游数据质量而产生的问题。

    1.2 一些术语

    1. DQ: Data Quality
    2. 强规则: 符合一定条件会阻塞任务的规则
    3. 弱规则: 即使符合条件也不会阻塞任务
    4. 阈值: 监测的数据质量范围
    5. 表的平均波动率:一段时间内每日环比的均值
    6. 表的平均记录数:记录数的每日均值
    7. 表的平均报警数:报警数的每日均值
    8. 最近30天的最大波动率:max(|(最近30天记录数最大值-最近30天记录数均值)/最近30天记录数均值|,|(最近30天记录数最小值-最近30天记录数均值)/最近30天记录数均值|)
    9. 最近30天的最小波动率: min(|(最近30天记录数最大值-最近30天记录数均值)/最近30天记录数均值|,|(最近30天记录数最小值-最近30天记录数均值)/最近30天记录数均值|)

    ......(待补充)

    2 监控手段

    监控手段主要包括两个方面,一是监,数据质量校验,二是控,告警和处理。

    2.1 数据质量校验

    根据数据质量校验的对象,可以分为两种形式:

    1. 离线检查 - 可以指离线的对一些数据集 DataSet 进行检查
    2. 实时检查 - 数据处理流的检查

    数据质量监控规则包括可以有多种形式:

    1. 主键监控
    2. 表数据量及波动监控
    3. 重要字段的非空监控
    4. 重要枚举字段的离散值监控、指标值波动监控
    5. 业务规则监控

    根据校验范围,还可以分成两种形式:

    1. 抽样检查 - 效率高,资源消耗不大
    2. 全量检查 - 效率低,全覆盖,资源消耗大

    2.2 告警和处理

    告警和处理分为两个阶段,一是告警,当数据质量出现问题的时候,需要及时通知责任人,二是处理,出现上游数据污染,根据规则级别,需要及时阻塞下游任务,并处理上游任务。

    3 实现方案的初想

    3.1 离线检测

    关于离线检查,最典型的场景应该有两个,一是0行检测,二是阈值检测。

    0行检测可以理解成一些表不应该存在0行的情况,如果有,需要及时告警和排查原因,甚至是0行数据会影响下游任务,需要考虑阻断下游任务的继续执行,一方面减少下游任务异常的多余告警,二来节省下游任务执行的资源。

    对于 Hive 来说,Hive Metastore 的查询,利用 HiveMetaStoreClient,定时获取各表的行数,可以作为离线监测的基础,又或者是利用 Hive Hook 来收集行数等信息。检查0行是相对简单的,只要一条 sql 就可以。这个可以作为一个定时的离线任务,定时执行,甚至是作为整个任务流 DAG 中的中间表任务生产后自动触发检查。

    select a.TBL_ID, a.TBL_NAME, b.PARAM_KEY, b.PARAM_VALUE from TBLS as a join TABLE_PARAMS as b where a.TBL_ID = b.TBL_ID and TBL_NAME="call_center" and PARAM_KEY="numRows";
    
    +--------+-------------+-----------+-------------+
    | TBL_ID | TBL_NAME    | PARAM_KEY | PARAM_VALUE |
    +--------+-------------+-----------+-------------+
    |    134 | call_center | numRows   | 60          |
    +--------+-------------+-----------+-------------+

    阈值检查的实现也非常容易,如果有离线/实时计算的平台,可以提供一些类 sql 的语法,同样是作为离线的定时任务来执行检查。当然阈值检查必须考虑检查范围的问题,抽样肯定要比全量更效率更高,但是全量肯定比抽样更稳妥,需要结合资源和业务来综合衡量。

    -- 设置检查范围
    set checkMode = SAMPLING;
    -- 阈值检查
    select a from A where a > 100;

    3.2 实时检查

    数据采集结果数据接入之后,数据存在于 Kafka 中,如何实现动态流式的数据质量检查呢?

    需要明确一些具体的监测指标,比如 Kafka 消息中包含了不符合业务方定义的消息 schema,具体来看就是 key,需要告警并且在处理的时候过滤掉对应的 key;又或者是某些 key 的 value 小于预期的阈值,该条消息也需要屏蔽,以防止数据污染(屏蔽来不要紧,因为消息是有备份的,屏蔽只会影响下游程序)。

    Flink 消费 Kafka 数据的时候,需要 FlinkKafkaConsumerxx,其中需要一个参数是针对接收到的每一条消息,key/value解序列化器,用于将字节数组形式的Kafka消息解序列化回对象,那么通过将规则实现在这里,并且通过 filter 语义来过滤,是可以实现实时的数据质量检测的,一旦遇到不符合消息 schema 的 key,又或者是不符合阈值条件的 value,那么就需要对这条消息进行处理。

    可能存在的问题:

    1. 增加来每条消息处理的成本,处理的速度和吞吐量可能会是问题
    2. Flink 版本升级的时候需要重新定制 Consumer

    4 一些想法

    1. 有些规则,像字段阈值,表行数这些,其实也算一种元数据,是否可以纳入到元数据管理里面呢
    2. 数据质量平台构建起来繁琐且对接上下游业务系统较多,为了快速落地,想先做离线检查,从最简单的0行检测和阈值检测做起
    3. 在数据同步过程中不进行清洗,避免影响同步效率,在数据进入 ODS 层之后进行清洗
    4. 为了可以进行动态观察,长期观察,数据质量平台必须有检测目标和检测结果的可视化
    5. 个人觉得 sql 的表达能力应该可以覆盖数据质量检测的大部分场景

    5 参考系统

    1. DQC(阿里云)
    2. DataMan(美团)
    3. Apache Griffin

    6 Reference

    1. http://www.6aiq.com/article/1545230321843?p=1&m=0
    2. https://www.ctolib.com/topics-121591.html
    3. https://blog.csdn.net/zhaodedong/article/details/73385667
    展开全文
  • 采用基于数据驱动无模型同步扰动随机逼近算法对神经网络权值进行更新,利用庞加莱映射方法分析了半被动双足机器人行走稳定条件。在理论分析基础上,对该算法进行了仿真研究。仿真结果表明,算法在收敛快速性...
  • 石油数据的分类方式

    2021-01-04 10:52:55
    1、数据主被动产生分类 实际生活工作中数据是无处不在的,我们出门看到天空无云,阳光灿烂,这种现象其实就是数据,从数据的产生角度,很多时候我们所看到的数据其实只是实际生活工作中很少一部分,或者说只是我们...

    石油数据的分类方式

    一个数据有多种属性,在实际应用过程中,可以用多种方式对数据进行分类,无论哪种分类也只是从一个维度将数据的特性分开,数据分类有些是为了实际应用,有些是为了技术实现。从多年的数据管理实践工作中,认为以下分类对数据的管理和应用非常重要。

    1、数据主被动产生分类

    实际生活工作中数据是无处不在的,我们出门看到天空无云,阳光灿烂,这种现象其实就是数据,从数据的产生角度,很多时候我们所看到的数据其实只是实际生活工作中很少一部分,或者说只是我们认为有必要记录和保存下来的那部分。还有很多数据其实是我们为了解决某个问题设计出来的。如我们在医院拍X光照片,这个X光数据的产生就是我们为了看到我们身体骨骼或者其他方面的信息有意识设计出来的一种数据。在石油勘探开发中,几乎所有的数据都是为了解决某个问题主动设计出来的,如地震数据是为了了解地下地质结构,录井数据是为了了解井筒的岩性和含油性,测井数据是为了更加精确了解层位数据、岩性数据和含油性数据,所有的数据设计的目的是为了了解我们研究对象的某个方面的属性。我们可以将这种数据称之为主动产生数据。
    主动产生数据有一个很重要的特征就是人们在设计这些数据时实际上是依据一定的专业逻辑设计的,在这些数据产生之前,其实已经规划好了这些数据之间的关系,也就是说这些主动产生的数据之间的关系是天然存在的并且是被我们所知道的。另外一个典型的例子就是我们到医院体检的各种指标数据,这些指标数据都是为了说明我们身体状况的,但是一个指标又只能说明我们身体状况的一个侧面,所以人们设计了一组相互之间有关系的数据共同说明我们身体状况这个全貌。石油勘探开发数据和医院体检数据一样,都是主动产生数据的典型代表。
    还有另外一种数据,这些数据仅仅是记录某个事物的过程,或者是记录某些行为,但是所有的被记录的数据不是被设计出来的,不是主动、有目的产生的,而是被动无目的产生的,我们将这些数据称之为被动产生数据。这类数据最为典型的就是互联网上网行为数据的记录,购物行为的记录,通讯记录等。这类数据一个典型特征就是数据记录时不知道数据之间的关系,也不知道这些数据将来的应用目的。
    数据的主动产生和被动产生,对于如何应用这些数据将会产生非常大的影响。

    2、数据KID分类

    在所有的石油数据中,有些是原始数据,有些是对原始数据经过加工后得到的中间成果,还有些是最终的研究成果。数据这些不同的特征可以用KID分类来区别(K-知识、I-信息、D-数据)。

    可以简单理解为D是原始测量数据,这些数据没有经过任何后期的加工处理,如地震采集数据、录井原始数据、测井原始数据、分析化验数据等。数据可以用以下表达式简单表达:
    D=F1(数据说明、数据定义,测量方法、单位,格式等)
    信息(I):信息是为了说明某个事务或者某个对象的某个属性的参数或者认识结论,它一般是依据一定的方法对一些数据进行加工而获得的。
    • I=F2(D,I’,数据处理方法,作者,时间,审核)
    • 信息是在数据基础上进一步考虑数据加工处理的方法、作者、时间、可信度、审核等内容。
    知识(K):知识是决策的依据,是用来说明决策的一系列要素,为决策提供某一方面的决策依据或者信息。因此,知识一定是依附于决策而存在的,这是知识和信息的最大区别。
    • K=F3(决策目的,I,D,K’,方法,作者,时间,审核,批准)
    • 知识是依附一定的决策目的,是在信息或者数据基础上加工的;知识要进一步考虑数据加工处理的方法、作者、时间、可信度、审核、批准等内容
    对数据款项KID分类也是为了正确识别数据的各种要素,明确不同数据之间的KID(血缘)关系,这对正确理解数据、应用数据有特别重要的意义。

    3、数据IT技术分类

    由于数据的复杂性,在实际系统实现上很难用一个系统对石油数据进行管理,实际项目中一般是根据数据的IT属性对数据进行分类管理,可以分为结构化数据、非结构化成果数据、图形(空间)数据、地震数据等。不同的数据类型实现的技术思路和管理内容差异很大,一般都是分别实施。

    4、数据产生方式分类

    对于石油数据其产生的方式多种多样,我们看到的一个数据可能由不同的方式产生,针对数据产生方式,分为以下几类:
    ① 源头人工采集数据(C1):这类数据是源头数据,并且是通过人工采集方式录入的。
    ② 源头仪器产生数据(C2):这类数据也是源头产生,但是是由仪器产生,我们从仪器中接入的。
    ③ 通过其它数据计算得到(C3):是由其它数据通过专业方法计算得到。
    ④ 引用数据(R):是从其它数据中引用过来的,不是源头数据。
    5) 数据应用分类
    数据的应用分类包含的范围很广,分类方法也不尽相同,常见的有动态数据和静态数据分类、原始数据和成果数据分类等。这些数据的分类主要是从不同应用角度考虑和划分。
    当然数据分类还可以有很多其他方面的分类方案,这里只是常规的分类方案。
    数据分类的目的不是简单的分类,而是为了后期数据管理技术的落地需要根据不同的数据分类采用不同的技术解决方案。

    展开全文
  • 被动信息收集

    2021-02-18 19:38:32
    被动信息收集 公开渠道可获得信息 与目标系统不产生直接交互 尽量避免留下一切痕迹 OSINT(开源智能) 美国军⽅方:http://www.fas.org/irp/doddir/army/atp2-22-9.pdf 北⼤大⻄西洋公约组织:...

    被动信息收集

    • 公开渠道可获得的信息

    • 与目标系统不产生直接交互

    • 尽量避免留下一切痕迹

    • OSINT(开源智能)

      • 美国军⽅方:http://www.fas.org/irp/doddir/army/atp2-22-9.pdf
      • 北⼤大⻄西洋公约组织:http://information-retrieval.info/docs/NATO-OSINT.html
    • 信息收集内容

      • IP地址段
      • 域名信息
      • 邮件地址
      • 文档图片数据
      • 公司地址
      • 公司组织架构
      • 联系电话 / 传真号码
      • 人员姓名 / 职务
      • 目标系统使用的技术架构
      • 公开的商业信息
    • 信息用途

      • 用信息描述目标
      • 发现
      • 社会工程学攻击
      • 物理缺口

    DNS信息收集

    • 将域名解析成IP地址

      • 域名与FQDN的区别
        • 一级域名与二级域名
        • sina.com 与 www.sina.com(主机记录)
      • 域名记录
        • A:域名记录,将一个域名解析到一个IP地址上
        • Cname:将一个域名解析到另一个域名上
        • NS:域的域服务器的IP地址记录
        • MX:邮件交换记录(SMTP服务器IP)
        • ptr:通过IP地址反向解析域名
      • DNS服务器不存储任何域名解析记录
        • 下图左边为递归查询,右边为迭代查询

      在这里插入图片描述

    NSLOOKUP命令

    # 设定查询模式
    # a  A
    # mx 右键
    # ptr 反向查询
    # any 任何记录均会被显示
    # spf 反向查询(主要用于对反垃圾邮件的)
    set q=
    
    # 设定DNS域名服务器
    # 通过不同DNS服务器解析相同的域名,IP地址可能会不相同(采用了智能DNS)
    server IP地址
    
    # 整条命令
    # 通过114.114.114.114服务器查询163.com的域名
    nslookup -q=any 163.com 114.114.114.114
    

    DIG命令

    无法枚举所有主机记录

    # any 查询方式设为所有
    # @DNS服务器地址  指定DNS服务器
    dig sina.com any @114.114.114.114
    
    # +noall  不输出任何值
    # +answer 查看answer的输出
    # 只查看answer的输出
    dig +noall +answer mail.163.com any @114.114.114.114
    
    # 反向域名解析
    # -x IP地址	将IP地址方向解析为域名(与原对应域名可能不同)
    
    # 查看DNS服务器bind版本
    # 通过找DNS服务器版本漏洞来占领DNS服务器,便于找到缓存中的主机记录
    dig +noall +answer txt chaos VERSION.BIND @ns3.dnsv4.com 
    
    # DNS追踪
    # 查看DNS递归查询(数据包多)
    dig +trace www.sina.com
    # 查看DNS迭代查询(数据包少)
    dig sina.com
    

    DNS区域传输

    HOST命令

    # DNS服务器间具有同步功能
    # 查找example.com
    # 通过ns1.example.com域名服务器
    # axfr 全区域传输
    dig @ns1.example.com example.com axfr
    示例:
    dig @ns2.sina.com sina.com axfr
    
    # host命令
    # -T 使用TCP传输方式
    # -l 相当于axfr的全区域传输
    host -T -l sina.com ns3.sina.com
    

    DNS字典爆破

    # 字典存放经常组合的域名
    
    # dpkg -L 命令 查看此命令安装会生成的路径
    
    # 推荐使用
    # -t 线程数(默认8个)
    # -x 指定什么级别的字典
    	-s 小字典
    	-m 普通字典
    	-l 大字典
    	-x 比大字典更大的字典
    	-u 最大的字典
    # -d4 显示IPv4和IPv6的解析后的信息
    # -D 指定字典
    # -S 执行SRV服务的踩点
    dnsdict6 -d4 -t 16 -x sina.com
    
    # -dnserver 指定DNS服务器
    # -dns 	要被解析的域名
    # -wordlist  需要用到的字典
    # fierce自身已集成axfr全区域传输
    fierce -dnsserver 8.8.8.8 -dns sina.com.cn -wordlist a.txt
    
    # -f 设置字典
    # -dnsserver 设置DNS服务器
    # -o 设置输出文件路径
    dnsenum -f /usr/share/dnsenum/dns.txt -dnsserver 8.8.8.8 sina.com -o sina.xml
    
    # -w 指定字典文件
    dnsmap sina.com -w /usr/share/dnsmap/wordlist_TLAs.txt
    
    # -d 指定需要解析的域名
    # --lifetime 指定超时时间
    # -t 指定查询强度
    	brt 暴力破解
    	std 标准破解
    # -D 指定字典文件
    dnsrecon -d sina.com --lifetime 10 -t brt -D /usr/share/dnsrecon/namelist.txt
    

    DNS注册信息

    whois命令

    # -h 指定目标域名
    whois -h whois.apnic.net 192.0.43.10
    

    大区域级查询

    在这里插入图片描述

    搜索引擎

    shodan搜索

    • 搜索联网的设备

    • 网址:https://www.shodan.io

    • Banner:http、ftp、ssh、telnet

      # 常见filter
      # net IP地址或者网段
      net:192.168.1.1 
      net:192.168.1.0/24
      
      # city 城市
      city:beijing
      
      # country 国家
      country:CN
      
      # port 端口
      port:22
      
      # os 操作系统
      os: "windows 2000"
      
      # hostname 目标域名的服务器
      hostname:baidu.com
      
      # server 服务名称
      server:apache
      
      # 便捷搜索
      200 OK cisco country:JP
      user:admin pass:password
      linux upnp avtech
      
    • explore:https://www.shodan.io/explore

      • 适合新手操作
    • 火狐shodan插件

      • 当访问某一网站时,插件会自动的在shodan数据库中搜索信息

    google搜索

    # 高级语法
    # - 搜索内容不能包含此字段的信息
    # + 搜索内容必须包含此字段的信息
    # intitle 标题信息
    # intext 正文信息(可多个)
    # site 目标站点
    # inurl URL中带有某信息字段
    beijing site:alibaba.com inurl:contact
    # filetype 文件类型
    SOX filetype:pdf
    
    # 举例
    # 查看cisco交换机启用http,用15级的账号进行访问
    inurl:"level/15/exec/-/show"
    
    # 搜某一机架式的摄像头
    # 标题栏包括
    intitle:"netbotz appliance" "ok"
    # 搜索后台登录页面
    inurl:/admin/login.php
    # 搜索曾经被黑客盗取的qq号
    inurl:qq.txt
    # 搜索xls文件,里面含有用户名和密码关键字的
    filetype:xls "username | password"
    # url中有ftp,文件类型为xls,搜索网址为百度
    inurl:ftp "password" filetype:xls site:baidu.com
    # 直接搜出使用frontPage工具搭建的网站的用户密码
    inurl:Service.pwd
    
    • Google Hacking Database(GHDB):https://www.exploit-db.com/google-hacking-database

    YANDEX搜索

    俄罗斯搜索引擎(世界第四大搜索引擎)

    https://www.yandex.com

    命令行搜索

    通过命令行调用各搜索引擎

    theHarester

    # -d 目标域名
    # -b 数据源(通过各大搜索引擎的API进行搜索)
    # -l 限制并发数(默认为50)
    	不会一次发你选定的并发数,会分多次发
    theHarvester -d sina.com -l 300 -b google  
    # 通过tor代理
    proxychains theHarvester -d sina.com -l 300 -b google  
    

    metagoofil

    2021.2.9 出现问题,无法指定输出文件

    # 通过google搜索引擎进行搜索
    # -d 目标域名
    # -t 文件类型
    # -o 工作目录
    # -f 输出文件
    metagoofil -d microsoft.com -t pdf -l 200 -o test -f 1.html
    

    maltego工具

    图形化界面工具

    # 搜索扩展信息
    All Transforms
    # 搜索新浪的域名
    鼠标选中sina.com —— All Transforms —— To Domains
    # 通过DNS服务器搜索邮箱服务器
    鼠标选中域名服务器 —— All Transforms —— To MX
    # 搜索域名服务器记录
    鼠标选中域名服务器 —— All Transforms —— To NS
    

    其他途径

    • 社交网络
    • 工商注册
    • 新闻组/论坛
    • 招聘网站
    • 网站归档
      • http://www.archive.org/web/web.php
      • 每隔多久就会对互联网上的网站做个快照
      • 通过查看目标站点过去的快照,判断现有网站是否还存在当年一样的漏洞

    个人专属的密码字典

    • 按个人信息生成其专属的密码字典

    • CUPP – Common User Pawword Profiler

      # 克隆
      git clone https://github.com/Mebus/cupp.git
      # 运行
      # -i 输入某个人的个人信息,生成他的专属字典
      # surname 中间名
      # nickname 姓
      # first name 名
      python3 cup.py -i
      

    METADATA工具

    • Exif图片信息(元数据)

      • 手机、数码相机均会记录经纬度(GPS定位信息)、光圈等信息

        # exiftool命令读取
        exiftool 图片
        

    RECON-NG工具(关键)

    • 全特性的web信息侦察框架(之前的各种信息收集,都可以通过这个框架来完成)
    • 基于python开发
    • 使用方法(命令格式与msf一致)
      • 模块(使用模块进行侦察)
      • 数据库(结构化存储)
      • 报告(直接生成报告)
    # -w 设置工作区
    # -r 调用包含命令的文件(可用于存放经常使用的命令)
    recon-ng -r a.txt
    # --no-analytics 不分析报告
    recon-ng --no-analytics
    # --no-version 不检查版本信息
    
    # 搜索模块 google
    marketplace search google
    # 安装模块
    marketplace install 模块名
    
    # 查看选项
    options list
    # 设置代理(通过tor)
    options set PROXY 127.0.0.1:9150
    # 注意用户报头 USER-AGENT,需要进行更改
    # 软件不会隐藏自己,反而会比较有标识的,容易被管理员发现
    options set USER-AGENT Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:85.0) Gecko/20100101 Firefox/85.0
    
    # snapshots 快照
    # 查看快照
    snapshots list
    # 设置快照(默认以当前时间生成快照)
    snapshots take 快照名
    # 恢复快照
    snapshots load 快照 
    # 删除快照
    snapshots remove 快照
    
    # 查看当前已有的模块
    modules search
    # 使用已有模块
    modules load 模块名
    
    # info 查看当前使用的模块的介绍
    需要先使用模块,再进行查看
    
    # 查看所有数据表
    db schema
    # 使用sql语句查询
    db query sql语句
    # 查询数据表字段中含有www的
    db query select * from hosts where host like '%www%'
    
    # 爆破 brute force
    # 爆破主机名(指定域名进行搜索其他域名)
    marketplace search brut
    marketplace install recon/domains-hosts/brute_hosts
    modules load recon/domains-hosts/brute_hosts
    run
    # 爆破解析(指定域名来解析IP地址)
    # 一个域名可能会解析成多个IP地址(负载均衡)
    marketplace search res
    marketplace install recon/hosts-hosts/resolve
    modules load recon/hosts-hosts/resolve
    # 只搜索host列中有sina.com.cn字段的
    options set SOURCE query select host from hosts where host like '%sina.com.cn%'
    run
    
    # 搜索报告模块
    marketplace search report
    marketplace install reporting/html
    modules load reporting/html
    设置报告信息
    CREATOR		作者
    CUSTOMER	目标域名
    FILENAME	报告存放地址
    SANITIZE	是否对敏感信息(账号密码)进行打码
    
    展开全文
  • 有不少人,对到底选指数基金还是选被动基金,产生了分歧。网上这两派战队,也各有各理由和立场。之前,在咱们星球内部,也分享过主动和被动的优缺点。在这里再深入给大家来分析分析。对于指数基金,定位很清楚:...
  • RF和微波无源元件承受许多设计约束和性能指标负担。根据应用功率要求,对材料和设计...高水平射频和微波功率是不可见,难以检测,并且能够在小范围内产生令人难以置信热量。通常,只有在组件发生故障或...
  • 问题:更新过程中删除掉缓存后刚好有业务在查询,那么这个时候返回的数据会是空,会影响用户体验 方案2[被动]前台获取数据时发现没有缓存数据就会去数据库同步数据到缓存问题:当并发请求获取缓存数据不存在的时候...
  • 主动攻击:攻击者主动向系统窜扰,采用增删改查等手段包括对数据的篡改或产生某些假的数据。( eg:RIP攻击,SYN泛洪,UDP泛洪,Ping泛洪,泪滴攻击,Land攻击,Smurf攻击, SQL注入攻击) 主动攻击又分为3类: 1、...
  • 罗马航空发展中心科学家研制成以标准视频信号带激励激光显示...新模型企图用来作为获得与这一技术有关的被动与主动数据的研究工具。目前模型只利用单色 (即黑色和红色)显示,伹以后计划模型是利用全部光谱。
  • 1.被动信息收集概念:被动信息收集指是通过公开渠道可获得信息,与目标系统不产生直接交互,尽量避免留下一切痕迹信息探测。被动信息收集不会在日志中留下痕迹。 2.被动信息收集内容:IP地址、域名信息、邮件...
  • 3.被动信息收集

    2020-08-04 14:45:04
    被动信息收集 简介 公开渠道可获得信息 与目标系统不产生直接交互 尽量避免留下一切痕迹 信息搜集内容 IP地址段 域名信息 邮件地址 文档内容数据 公司地址 公司组织架构 联系电话/传真号码 人员姓名/职务 目标...
  • 目录数据分类系统功能系统是什么 ?功能场景是什么 ? 数据分类 能动数据 Actor 用户 管理员 (其实也是用户) ...频繁由核心业务场景产生的数据 举例 电商应用购物 : 订单,支付,评价等数据就是业务数据 代理记
  • nagios插件程序提供两个返回值:一个是插件退出状态码,另一个是插件在控制台上打印第一行数据。... 为了管理nagios插件,nagios每查询一个服务状态时,就会产生一个子进程,并且它使用来自该命令输出...
  • 被动信息收集(一)

    千次阅读 2019-07-09 12:00:07
    IP地址段、域名信息、邮件地址、文档图片数据、公司地址、公司组织架构、联系电话/传真号码、人员姓名/职务、公开商业信息等; DNS信息收集——nslookup 非交互式 root@kali:~# nslookup sina.com Server: ...
  • 0x01.被动信息收集

    2019-10-08 07:55:27
    被动信息收集 ...文档图片数据(可能是公开、搜索引擎爬到、泄漏等) 公司地址(可进行物理渗透) 公司组织架构(针对不同部门、不同岗位展开渗透) 联系电话/传真号码 目标系统技术架...
  • 被动地震干涉法利用风,风暴和人类活动(例如汽车,火车和以后的水泵)产生的自然环境地震噪声来恢复由地下水位变化引起的地震波速度的微小变化。 在这里,我们将地震测量结果与在法国里昂Crépieux-Charmy地下水...
  • 信息收集内容:IP地址段/域名信息/邮件地址/文档图片数据/公司地址/公司组织架构/联系电话,传真号码/人员姓名,职务/目标系统使用技术架构/公开商务信息 信息用途:用信息描述目标/发现/社会工程学/物理缺口 &...
  • 被动信息收集{ 公开渠道可获得信息; 与目标系统不产生直接交互; 尽量避免留下一切痕迹; OSINT ;;开源情报 内容{ IP地址段; 域名信息; 邮件地址 ;;定位到目标系统邮件服务器 文档图片数据; 公司地址; 公司组织...
  • FTP使用2个TCP端口,首先是建立一个命令端口(控制端口),然后再产生一个数据端口。 主动模式使用tcp 21和20两个端口。 被动模式会工作在大于1024随机端口。 1、主动模式(port模式): 客户端从一个任意
  • 当接到任务时,首先就要进行渗透阶段的被动信息搜集。 被动信息搜集 公开渠道可获得信息 与目标系统不产生直接交互 尽量避免留下一切痕迹 OSINT: 信息搜集内容 IP地址段 域名信息 邮件地址 文档图片数据 公司...
  • 被动信息收集(一.2)

    2019-08-11 12:25:13
    被动信息收集定义: 此过程不对目标系统进行大量探测,不留痕迹或者目标认为 你访问是正常。 } 信息收集具体内容: { 1.目标IP地址; 2.域名信息; 3.邮件地址; 4. 文档图片数据 5.公司地址; 6.公司组织...
  • 所以需要在ETL后对产生的增量数据进行检查,避免出现某天的增量数据出现丢失后自己被动的处理问题。 需求:如当天ETL的增量数据出现问题,需要让两方面的人或程序(DBA与BI)知晓并及时处理。 1. 在ODS服务器上...
  • 被动信息收集 公开渠道可获得信息 与目标系统不产生直接交互 尽量避免留下一切痕迹 下面是两个关于开源情报(OSINT)书籍 美国军方北大西洋公约组织 信息收集内容 一.IP地址段与域名信息 二.邮件地址 三...

空空如也

空空如也

1 2 3 4 5 ... 13
收藏数 250
精华内容 100
关键字:

被动产生的数据