IDAPythonScripts
 
IDAPythonScripts: 二进制漏洞静态分析检测脚本(IDA Pro)
 
准备
 
首先下载IDA Pro软件，版本 <= 6.8，7.0以上部分脚本不支持。
 
漏洞内容(待更新)
 
危险函数调用
 
此脚本对IDA反汇编文件进行静态分析，检测其是否调用了可能产生漏洞的危险函数，没有找到汇编中的统一的危险函数集合，只好自己一点点积累，在functions.sql中可以看到一些常见的危险函数，保存在MySQL数据库中以后也方便Python调用。
 
栈堆缓冲区溢出漏洞
 
脚本从函数调用的地址向后跟踪推送到堆栈中的参数，并返回与指定参数对应的操作数。然后确定eax在被推入堆栈时是否指向堆栈缓冲区，存在可能造成堆栈缓冲区溢出的利用点。
 
参考链接
 
只能在IDA版本小于6.8上使用，IDA7.0报错。
 
格式化字符串漏洞
 
该脚本结合Github上开源IDA插件LazyIDA，吸收了其中对格式化字符串漏洞检测方法，使其功能在Python脚本中得以实现。
 
整型溢出漏洞
 
脚本首先计算当前分配给函数的内存大小，而后从IDA反汇编文件中找到各个函数的参数大小，并进行比较，检测是否存在“整型”溢出的可能。
 
参考链接1 参考链接2 参考链接3
 
缓冲区是变化的，因此检测出整型溢出的可能性很大，但是想要利用起来相对更难。
 
脚本执行完毕后会造成IDA闪退，原因未知...
 
...
 
关于更新
 
漏洞都已经过测试，第一次首先发布4个已经成功检测的漏洞脚本，有一些地方仍然鸡肋，还需大佬支持改善。IDA是一个强大的反汇编分析软件，其中IDAPython插件可以简化手工分析过程，提高测试效率，然而国内对IDA的教学并不多，IDAPython插件的脚本编写更是如此，希望通过这个小仓库丰富IDAPython针对各类漏洞的分析脚本，前人栽树，后人乘凉。真心希望能够与大佬们多多交流学习，带带小白，微信：wwy18795980897。
 
感谢
 
部分脚本是在国内外众多大佬编写的模块上进行的代码加工，功能整合，是他们的默默奉献让这里的脚本壮大起来，以及发布在Github，Twitter，CSDN，安全客，FreeBuf等平台上的精彩文章，总是能让我眼前一亮，给我更多的灵感，感谢你们！！！

 
 

  本文讲的是
  基于 Viper 的二进制软件自动分析框架，
 
 
 

  

 
 
 

  概述
 
 
 
过去的很长一段时间里，我了解并使用了一些非常酷的、私有的、模块化以及非常高级的二进制分析框架。包括Mandiant的静态分类框架和ReversingLabs等商业产品，以及许多昂贵的商业沙箱解决方案，如FireEye，Cyphort和JoeSandbox。我认为托管这样一组静态和动态分析工具对于加快我的CTF团队和私人研究来说可能是非常有益的。所以我决定去收集一系列自动化的静态和动态二进制分析工具去编写一个开源分析平台，今天我们主要讨论的就是它。我所选择的这些工具可用于恶意软件分析，CTF二进制分析或去帮助你在逆向工程中逆向二进制文件。我们将在其中设置多个工具，来进行自动化分析任务和实施逆向工程。这些工具包括大量的静态分析，动态分析和报告工具，我们将在下面的文章中深入讨论。我的最终目标是提供一套有用的内部工具，并通过该框架去对逆向工程和构建微型服务架构进行自动化分析这两个方面去获得良好的学习经验。
 
 
我将选择三个主要框架，每一个都被托管在不同的实体上。为了保证我在这个二进制分析集群的第一次可以顺利通过，我选择了：Viper, Cuckoo, 以及MISP。 Viper是用于存储二进制文件的主要接口和数据库。它允许我们在导入时自动运行其他python模块，从而驱动我们所有的自动化分析的核心。这不仅是我们集成的主要原则，而且还驱动了大量的模块化静态分析操作，因为这些工具和库可以方便地位于同一台机器上。我使用了Cuckoo来推动我的动态沙箱分析，让我们可以运行二进制文件，并且丰富的虚拟机内省，网络流量，甚至清除内存。最后，我们将MISP作为用户界面，并以编程方式集成威胁情报数据。 MISP可以订阅Feed并丰富我们的其他工具，如Viper和Duck，从而使我们能够以可管理的方式整合威胁情报。
 
 
服务器设置
 
 
我为每个机器都装上了一个新的Ubuntu 16映像，并将它们构建在AWS的EC2上。我还为他们设置了各种配置文件中的域名，允许我们打开和关闭它们，只需要更新DNS条目即可。对于开发人员的使用体验，tmux和zsh已经添加了一些自定义配置。人们可以在tmux会话中协同使用这些服务器，以便一个人可以使用像radare2这样的工具进行逆向工程，另一个人可以通过观看tmux会话来学习。
 
 
除此之外，我还安装了一些额外的工具和配置：tmux，zsh + oh-my-zsh，vim + vim-plug和fzf等。
 
 
Viper
 
 
Viper是一个非常惊人的二进制分析平台和框架，它是用python编写的。由于其可扩展，所以就使得集成和编写新模块变得非常简单。
 
 
此外，我们可以自动化的将Python工作人员对我们导入的新文件启动操作进行抽象处理，Viper将保存分析并进行审查。 stock w/ Viper包括：通用散列，模糊散列（pydeep），元数据（exiftool），提取特殊字符串和地址（IPv4 / v6，域名），检测已知的shellcode模式，发送样品到 Cuckoo沙盒，启动反汇编程序（IDA Pro或radare2），在Malwr / Anubis / VirusTotal，XOR搜索，YARA扫描，检测普通打包程序（PEiD），imphashing，数字签名分析以及对几个名字有趣的进行多次编译。
 
 
它还包括大量不可执行文件格式的分析选项，例如HTML操作，提取嵌入式脚本，Java小程序分析，Flash对象分析，图像分析，pdf分析，多个OLE分析和更多的二进制格式功能。它还包括解析许多Java格式，邮件MIMES和一些防病毒文件的功能。我还添加了ClamAV服务集成，VirusTotal和Malwr集成，用于一些额外的威胁intel，但是在撰写本文时，Malwrs API似乎是错误的，这意味着我必须建立自己的私有沙箱解决方案。
 
 
 
 
 
我最兴奋的部分之一是使用Viper框架来进行YARA扫描，并根据我一直在使用的自定义YARA规则自动标记我的文件。 这些YARA规则检测二进制文件的特殊属性，例如：类型，语言，加密原语，易受攻击的功能等。 我已经扩展了在这里使用YARA规则进行二进制分析的想法。
 
 
 
 
 
我认为Viper的真正实力在于自动化了许多这些模块，因为它们已经被内置并且可以配置为在导入时运行。在上图中，您可以看到许多这些模块正在导入，以及YARA扫描，将标签和分析笔记自动添加到二进制文件。此外，我在社区中发现了很多自定义脚本，我甚至可以编写一些我自己的简单模块作为POC。我未来的计划是将更多的下列工具集成到viper模块中，这利用任意的python库是非常容易的。我还设置了许多intel集成的威胁分析，例如VirusTotal，Malwr（虽然这似乎是atm），ShadowServer，XForce和MISP集成，我们将在下面的自己的帖子中讨论这些威胁。这些与在conf文件中配置一样简单，并确保Viper具有对其他服务的直接防火墙访问权限。下面你可以看到我的示例模块在行动，但一定要查看代码，看看这些真的会变得很容易。
 
 
 
 
 
我主要使用它的API功能来运行Viper服务器，这样我可以使用本地脚本将二进制文件提交到平台，并最终将工具（如chatbot或collectors）集成到Viper平台，以驱动其自动化。我们甚至可以使用自定义脚本与API来远程驱动我们的任何自动化。然后我们有一个二进制文件的私人收藏，这些二进制文件被自动分类，标记，可搜索，我们可以用远程和可管理的方式与他们进行交互。
 
 
最后，我在这个框上安装了一些其他工具来进行协同倒置，最着名的是Radare2（用于反汇编）和Manticore（用于符号执行）。我的想法是使用Manticore API或r2pipe编写脚本，以便将这些更深入的静态分析功能整合到Viper中。我还添加了Kaitai-struct，以引用我们可能遇到的各种二进制文件的语法和协议。原因在于这样可以检验我们二进制结构的语法或协议，所以我们可以看到我们的样本是否正常。除此之外，我还为 awesome, modular，pythonic数据转换库添加了Pure Funky Magic脚本。
 
 
Cuckoo
 
 
这是我们的动态沙盒二进制文件的主要集群。我对Cuckoo的灵活性和可定制印象非常深刻。我发现它比过去使用的任何专有工具更可自定义。个人分析vm设置特别重要，因为您必须确保安装了相应的易受攻击的软件，代理将在其启动时进行启动，虚拟机具有正确的网络配置。一旦我的vms都配置完美，我将它们作为一个OVA导出并将其发送到云端。在将来，我想使用vmcloak测试设置Cuckoo图像。我们目前的设置是一个嵌套的基于AWS的Cuckoo，它限制了我们的32bit图像。这个设置涉及许多经验教训，我计划在不久的将来在ESXI上重新构建这个基础设施，使用类似于Cuckoo修改的东西。也就是说，如果您发现自己在使用Cuckoo与VirtualBox，以下命令是非常有用的：
 
 
vboxmanage import “your_ova_name”
vboxmanage list vms
vboxmanage list runningvms
vboxheadless --startvm “your_vm_name”
vboxmanage snapshot "your_vm_name" take "vm_snapshot_name" --pause   
vboxmanage controlvm "your_vm_name" poweroff  
vboxmanage snapshot "your_vm_name" restorecurrent  
vboxmanage snapshot "your_vm_name" list
vboxmanage snapshot “your_vm_name” restore “vm_snapshot_name”
vboxmanage unregistervm “your_vm_name” --delete
vboxmanage guestproperty enumerate “your_vm_name”
vboxmanage modifyvm “your_vm_name” --hostonlyadapter1 “vm_network”
vboxmanage modifyvm “your_vm_name” --nic1 hostonly
 
 
 
 
 
我使用API功能来运行Cuckoo，将其与Viper集成。重要的一点是要注意，默认情况下，API没有auth，所以我们使用专用网络和适当的防火墙规则来实现简单而安全的安装。您还可以编写自己的Cuckoo分析脚本，并将其集成到MISP实例中，以进行 threat Intel enrichment。
 
 
 
 
MISP
 
 
我们将使用MISP进行信息共享和数据规范化。通过它可以制作，配置和集成到Viper，以便我们可以轻松找到新的样品或分享我们的结果。当然，有了它之后真正的好处是订阅其他资讯，以获得相互合作的威胁情报，并将其应用于我们的工具。 有关如何使用MISP和Viper的更多信息，我就不在这里详述了。 这是一种以便宜的方式管理私人threat intel，获取公开资讯以及对我们自己的报告进行分析的好方法。
 
 
 
 
 
当然，也会有一些其他的二进制分析框架看起来很有趣，并且我在寻找构建这个开源分析平台时也遇到过不少状况。但我最终选择了上面的解决方案，因为它们都是通过Python编写的并且易于彼此集成。也就是说这其实是比较适合我个人的解决方案，因此为了让您有更多收获，我在下面也列出了可能适用于您的解决方案：
 
 
Mastiff是一个比较旧的二进制分析框架，它在功能方面看起来很有前途，但现在其开发者方面看起来像是有些放弃了。
 
 
FAME是一个很酷的恶意软件分析框架，但它看起来纯粹是为了恶意软件分析，因此也就缺乏了我对CTF或逆向工程所需求的重要的分析功能。
 
 
 StoQ看起来非常有希望作为企业规模的二进制分析框架，它具有分布式工作队列和收集器。 StoQ与Viper有很多重叠，它包含许多付费服务模块，看起来很好维护，并且很容易具有很高的品质。
 
 
LaikaBOSS是一个递归和模块化的文件分析框架。 LaikaBOSS看起来非常有希望，但是其文档上看起来很复杂并且内容相当少。
 
 
CRITS是一个类似于MISP的威胁共享信息平台，但是我选择了MISP，因为它与我正在使用的其他框架有现有的集成。
 
 

  

 
 
 

  

 
 
 

  

 
 
 

  原文发布时间为：2017年6月29日
 
 
 

  本文作者：鲁班七号
 
 
 

  本文来自云栖社区合作伙伴嘶吼，了解相关信息可以关注嘶吼网站。
 
 
 

  原文链接
 
 

叙述
 
 
使用 Apache Tika 检测二进制资源类型，获取类型。
 
为什么不读文件后缀名呢？应为后缀名是可以随便修改，并上传的。一点都不准确，所以不能采用这种方法。
 
使用步骤
 
Tika类型检测
 
Tika支持MIME所提供的所有互联网媒体文件类型。每当一个文件通过Tika检测到该文件，其文件类型。检测的介质类型，Tika内部通过以下机制。
 
MIME标准
 
多用途Internet邮件扩展(MIME)标准，用于识别文件类型的最佳标准。这些标准的知识有助于在内部相互作用的浏览器。
 
当浏览器遇到一个媒体文件，它选择可用它来显示其内容的兼容软件。在情况下，它不具有任何合适的应用程序，以运行一个特定媒体文件，它建议用户获得合适的插件软件。
 
使用Facade类类型检测
 
facade类的detect() 方法被用于检测文档类型。这个方法接受一个文件作为输入。
 
下面显示的是文件类型检测与Tika外观类的示例程序。
 
传入参数为File对象时
 
@Test
    public void getImageToJPEG() {
        try {
            File file = new File("C:\Users\hww\Downloads\0855fde2df59fa4fe9427e78d773dde5.jpeg");
            Tika tika = new Tika();
            String fileType = tika.detect(file);
            System.out.println(fileType);//image/jpeg
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
 
输出结果：
 
image/jpeg
 
传入参数为文件路径时
 
@Test
    public void getImageToJPG() {
        try {
            Tika tika = new Tika();
            String fileType = tika.detect("C:\Users\hww\Downloads\95a59c718b2575fdbccf66924c14fcd5.jpg");
            System.out.println(fileType);//image/jpeg
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
 
输入结果：
 
image/jpeg
 
detect()方法参数有以下几种：
 

源代码在大多数软件安全分析的情况下是不可用的。因此，二进制代码分析被用于许多原因，包括软件取证，恶意软件分析，性能分析和调试。文献中有很多二进制代码分析方法，其中最常用的有符号执行、concolic执行、静态污染分析和动态污染分析为了验证我根据之前一篇文章所提出的一种想法，准备一步步进行实现。首先需要建立自己的污点分析工具，污点分析分为静态和动态。对于动态污点分析已经有一系列工具被提出，本文将进行详细介绍。
 为了改善符号执行中发现的一系列问题，研究者们开始污点分析，最早的污点分析是由Funnywei提出的（Bufer Overfow Vulnerability Mining Model [Z/OL]）。污点分析以三元组的形式表现：污点源（source）、污染汇聚点（sink）、无害处理（sanitizer）。接下来用一个例子来详细描述一下污点分析三元组在具体程序中的表现。
 
 污点分析通过对系统中敏感数据进行标记，继而跟踪标记数据在程序中的传播以检测系统安全问题。上图是一段Android应用程序代码，运行该段程序会导致用户的密码数据通过发送信息的方式泄露；污点分析可以有效地检测该问题。污点分析首先要识别引入敏感数据的接口（污染源）并进行污点标记，如上图第4行引入密码数据的passwordText接口为污点源，并对pwd变量进行污点标记。如果被标记的变量又通过程序依赖关系传播给其他变量，那么根据相关传播规则继续标记对应的变量，例如上图中pwd变量的污点标记按照箭头进行传播，所以第5行的leakedPwd变量和第6行的leakedMessage变量都将会被标记，当被标记的变量达到信息泄露的位置（污点汇聚点）时，则根据对应的安全策略进行检测上图中第8行带污点标记的leakedMessage变量可以传播到发送信息的sendTextMessage接口，这就意味着这里是敏感数据会被泄露的地方。在第9行，密码数据通过加密转化后赋值给sanitized变量，继续传播sanitizedPwd变量并不会产生泄露问题，也就是说，如果污点变量经过一个使数据不再携带隐私信息的接口处理（无害处理），那么就可以移除污点数据的污点标记。
 总结一下，污染源是将一些不可信或机密的输入数据引入应用程序的地方，这些输入数据可能来自应用程序API或网络接口。污点汇聚点是应用程序中执行安全操作(例如敏感的银行事务)的敏感点，需要对其进行保护，以免应用程序的完整性、机密性和可用性受到侵犯。无害处理指的是通过删除有害操作(如可能导致应用程序运行出其预期操作[7]的恶意程序)，被污染的输入数据不再被认为对应用程序的信息安全有害的过程。
 污染分析方法有两种，静态污染分析(STA)和动态污染分析(DTA)。在STA中，分析程序通过检查中间代码而不执行应用程序来测试应用程序。静态污染分析主要是通过两个步骤进行的，包括对中间代码进行反汇编和对得到的汇编代码进行分析。它有时可能使用二进制代码进行应用程序安全分析。然而，由于源代码很少附带COTS软件，这使得STA方法更难对抗恶意程序，从而减少了它的应用。类似地，用STA方法分析二进制代码也经历了复杂和挑战。例如，具有强大规避技术的恶意软件可以很容易地避开STA方法。这些限制促使我们确定替代方法，这些方法可以克服这些缺陷，从而准确可靠地分析应用程序。
 另一方面，在DTA中，应用程序将在运行时测试可能的漏洞[12]。STA和DTA方法各有优缺点。例如，在应用程序中进行信息流分析时，DTA可能会受到运行时开销的影响，这可能会导致无法分析所有代码，从而导致无法发现一些潜在的威胁。另一方面，由于STA只分析应用程序代码而不执行它，它可能会受到准确性问题的影响。因此，一些研究人员提出了将这两种技术结合起来分析应用程序缺陷或漏洞的工具：
 
Constructing a hybrid taint analysis framework for diagnosing attacks on binary programs
TeICC: targeted execution of inter-component communications in Android
A hybrid analysis framework for detecting web application vulnerabilities
 
一些研究人员在DTA前后使用STA方法：
 
A hybrid analysis framework for detecting web application vulnerabilities
Combined approach to solving problems in binary code analysis
 
例如，在这样做时，在DTA之后使用STA，以查看使用DTA后的分析是否遗漏了任何可疑的东西。可以在DTA之前使用STA来分析应用程序在实际环境中执行代码之前的行为。
 通常，DTA方法是在硬件级或代码级实现的。例如，一些DTA方法是在硬件内部实现的。尽管这种实现提供的开销相对最低，但由于它需要对处理器进行重大的架构和微架构更改，因此灵活性较差，实用性较差。通过使用源代码工具来跟踪受污染数据的传播，DTA也可以在软件的代码级执行。这种方法也不太实用，因为在大多数应用程序中，源代码很难用于安全性分析。然而，为了在不修改硬件或源代码的情况下执行数据流跟踪，DTA方法如：
 
Dytan: a generic dynamic taint analysis framework
libdft: Practical dynamic data flow tracking for commodity systems
Argos: an emulator for fingerprinting zero-day attacks for advertised honeypots with automatic signature generation
BitBlaze: A new approach to computer security via binary analysis
Dta++: dynamic taint analysis with targeted control-flow propagation
 
使用二进制代码执行安全分析。这种方法被更广泛地使用，因为它支持各种各样的分析。对于我来说，使用二进制代码的DTA方法是我们感兴趣的焦点。