Python 将代码文件编译成二进制执行文件
 
安装PyInstaller
 
pip install PyInstaller
 
编译
 
# Linux 系统
pyinstall -F 你的代码.py

# Windows 系统
pyinstaller.exe -F 你的代码.py
 
编译后，在dist目录下会生成二进制可执行文件。
 
Windows系统下，python代码文件编译成exe格式二进制文件
 
Go 将代码文件编译成二进制执行文件
 
编译命令
 
go build 代码.go
 
Linux系统下执行，则生成二进制可执行文件，Windows下执行则生成exe可执行文件

 
 
一  背景
 
也许大家都遇到过这种场景,就是有二进制代码,比如深度分析下此文件到底是什么格式的图片等，这篇文章就记录我分析下二进制可执行文件的过程，已经自己读写二进制文件的一些坑。分析的二进制执行文件为linux下的可执行文件。
 
二  常用二进制文件静态分析命令
 
2.1 file基本信息查看
 
linux下有个最常用的通用命令，来分析任何文件的基本格式，那就是file  ,来看下：
 
可以看到基本信息，比如是什么类型文件，只是概述，还有些其他选项，可以用-h 查看。
 
2.2 ldd动态链接库信息
 
动态链接库，即没有在编译链接的时候直接打入到程序中的，而是运行时候动态加载了，从而节省内存，通过动态链接库，我们可以知道这个可执行文件用了哪些动态库，方法也比较简单。这是我写的一个小程序的动态链接库信息，通过链接库分析的信息也同样比较少，用这个命令多查看依赖链接库找不到的问题。
 
2.3 nm符号查看
 
nm可以列出二进制可执行文件，动态库，静态库中的符号信息，包括符号的类型，符号名称，比如函数名，全局变量等，通过这些信息可以看到不少有用的信息，通过函数名猜函数功能，使用的帮助如下：
 
配合grep信息可以很方便的进行符号搜索：
 
对于一些动态库，直接nm可能查不到信息，可以通过nm -D命令查看。
 
2.4 strings 查看二进制文件中的字符串
 
strings信息可以打印二进制文件中的字符串信息，结合grep进行搜索，用grep命令其实可以直接在二进制文件中搜索内容，但是不够直观，用strings看起来的更直观些：strings 会把任何可打印字符串都显示出来，比nm的内容更多，截取部分如下：
 
2.5 objdump 将二进制代码转汇编指令
 
objdump是个值得深入学习的指令，不光可以还原汇编指令，还可以读取二进制中特定段的信息，更可怕的是，如果我们的程序是以-g -o0等调试不优化的情况下，用objdump -S指令可能尽可能地还原源代码信息（没看错，是还原出源代码信息），其实也可以理解这些信息是完整的在可执行文件中的，要不然gdb调试的时候没办法单步追踪了，测试如下：
 
2.6 readelf 读取ELF文件格式
 
如果二进制文件是ELF格式的，通过file文件可以查看文件格式.使用readelf指令可以方便分析ELF文件的结构，比如节信息，elf头文件信息，比如我们在分析文件是否为病毒文件的时候，需要读取elf文件头信息，做一些特征的判断，或作为特征参与机器学习的判断。
 
 
 
还有些其他命令，有兴趣的小伙伴，可以通过-h命令还原看下。
 
三 动态查看文件结构
 
3.1 ltrace 跟踪进程调用库函数过程
 
这也是一个很棒的命令，我们可以查看程序执行的时候调用库函数信息，还可以在线查看执行的进程的库函数调用情况，找几个比较典型的命令，测试的代码比较简单如下：
 
#include <stdlib.h>
#include <stdio.h>



int main(void)
{
   short shs[5] ={1,234,567,789,890};
   int   ins[5] ={890,88111,23333,7777,6666};
   FILE * fp = fopen("a.bin","wb");
   for (int i = 0; i < 5; i++) {
       fwrite(&shs[i],sizeof(short),1,fp);
       fwrite(&ins[i],sizeof(int),1,fp);
   }
   printf("read....\n");
   fclose(fp);
   fp = fopen("a.bin","rb");
   short a;
   int b;
  for (int i = 0; i <5;i++) {
     fread(&a,sizeof(short),1,fp);
     fread(&b,sizeof(int),1,fp);
     printf("i:%d a:%d,b:%d\n", i,a,b);
  }
   fclose(fp);
  return 0;
}


 
3.1.1 ltrace 查看库函数调用情况
 
 
 
3.1.2 ltrace 查看库函数调用占用时间
 
这在查看系统调用耗时很有用。
 
# -T 是查看调用时间开销
ltrace -T
#-t -tt -ttt 是查看调用绝对时间，t越多越精确
ltrace -t

 
 
 
3.1.3 ltrace 查看系统调用信息
 
ltrace -S

 
系统调用信息显然比库函数显示更多，追踪更复杂的情况可以使用。
 
还有-p pid 追踪具体的进行id的调用情况也很有用，这里面就不举例子了。如果没有这个命令，如果是centos环境可以通过yum install -y ltrace安装。
 
3.2 strace
 
strace和ltrace的命令差不多，strace更偏向于系统调用的追踪或信号产生的情况。安装命令yum -y install strace强大地方在于可以指定系统调用的类型：
 
-e trace=set 
只跟踪指定的系统 调用.例如:-e trace=open,close,rean,write表示只跟踪这四个系统调用.默认的为set=all. 
-e trace=file 
只跟踪有关文件操作的系统调用. 
-e trace=process 
只跟踪有关进程控制的系统调用. 
-e trace=network 
跟踪与网络有关的所有系统调用. 
-e strace=signal 
跟踪所有与系统信号有关的 系统调用 
-e trace=ipc 
跟踪所有与进程通讯有关的系统调用 
-e abbrev=set 
设定 strace输出的系统调用的结果集.-v 等与 abbrev=none.默认为abbrev=all. 
-e raw=set 
将指 定的系统调用的参数以十六进制显示. 
-e signal=set 
指定跟踪的系统信号.默认为all.如 signal=!SIGIO(或者signal=!io),表示不跟踪SIGIO信号. 
-e read=set 
输出从指定文件中读出 的数据.例如: 
-e read=3,5 
-e write=set 

 
比如以下命令：
 
还有很多有用的选项，有兴趣的可以尝试下。
 
3.3 GDB命令
 
gdb命令其实是我们最常用的，调试程序的利器，用来查看二进制文件的结构，非常合适，可以把程序运行起来通过gdb -p pid方便地调试。也可如下运行：基本命令说明下：
 
set args 设置参数
b main 设置中断位置为main函数
r 开始运行
l 打印当前的函数内容
p 打印变量值

 
四 图形化界面分析二进制执行文件
 
网上找到一个图形化界面分析二进制程序的，名字叫Relyze 虽然是收费的，但是可以正常用一段时间，一段时间后才提示，界面如下，强大之处在于可以显示调用关系信息等。其实原理都类似，没有比命令行更多的功能，只是看起来更方便而已。
 
4.1 基本文件信息
 
 
 
4.2 头和段信息查看
 
 
 
4.3 搜索
 
 
 
4.4 调用关系图
 
双击可以看到调用关系图信息，便于做进一步分析。
 
其他的也没啥特殊点了，有兴趣的朋友可以下载试试。
 
五 诗词欣赏
 
浣溪沙
[宋] [秦观]

漠漠轻寒上小楼，晓阴无赖似穷秋，淡烟流水画屏幽。
自在飞花轻似梦，无边丝雨细如愁，宝帘闲挂小银钩。

 

二进制文件和非二进制文件
 
 
 
1. 流式文件：文件中的数据是一串字符，没有结构。
 
 
2. 文本文件是一种典型的顺序文件，其文件的逻辑结构又属于流式文件。特别的是，文本文件是指以ASCII码方式(也称文本方式)存储的文件，更确切地说，英文、数字等字符存储的是ASCII码，而汉字存储的是机内码。文本文件中除了存储文件有效字符信息（包括能用ASCII码字符表示的回车、换行等信息）外，不能存储其他任何信息，因此文本文件不能存储声音、动画、图像、视频等信息。
 
设某个文件的内容是下面一行文字： 中华人民共和国 CHINA 1949。如果以文本方式存储，机器中存储的是下面的代码(以十六进制表示，机器内部仍以二进制方式存储)： D6 D0 BB AA C8 CB C3 F1 B9 B2 BA CD B9 FA 20 43 48 49 4E 41 20 31 39 34 39 A1 A3 其中，D6D0、BBAA、C8CB、C3F1、B9B2、BACD、B9FA分别是“中华人民共和国ABCD”七个汉字的机内码，20是空格的ASCII码，43、48、49、4E、41分别是五个英文字母“CHINA”的ASCII码，31、39、34、39分别是数字字符“1949”的ASCII编码，A1A3是标点“。”的机内码。从上面可以看出，文本文件中信息是按单个字符编码存储的，如1949分别存储“1”、“9”、 “4”、“9”这四个字符的ASCII编码，如果将1949存储为079D（对应二进制为0000 0111 1001 1101，即十进制1949的等值数），则该文件一定不是文本文件。
 
文本文件是包含用户可读信息的文件。这些文件以ASCII码方式存储，可显示和打印。文本文件的行不能包括空字符(即码中的NULL)，行的最大长度(包括换行符在内)也不能超过(LINE_MAX)所定义的字节数。不过文本文件中并不限制使用除空字符以外的控制字符或其它不可打印字符。(二进制文件[此处指非文本文件]包含计算机可读信息的文件。二进制文件可以是可执行的文件，使系统根据其中的指令完成某项工作。命令和程序都是以可执行的而进制文件方式存储。二进制文件没有行的长度限制，也可包含空字符。)
 
 
3. 如果将存储的信息采用字符串方式来保存，那么称此类文件为文本文件(可以按字符显示)。将文件看作是由一个一个字节(byte)组成的，那么文本文件中的每个字节的最高位都是0，也就是说文本文件使用了一个字节中的七位来表示所有的信息，而二进制文件则是将字节中的所有位都用上了。
 
如果将存储的信息严格按其在内存中的存储形式来保存，则称此类文件为二进制文件。二进制文件虽然也可在屏幕上显示，但其内容无法读懂。C系统在处理这些文件时，并不区分类型，都看成是字符流，按字节进行处理。输入输出字符流的开始和结束只由程序控制而不受物理符号(如回车符)的控制。因此也把这种文件称作“流式文件”。文本或字符文件代表慢速设备,而二进制文件代表可以大块数据操作的快速外设,二进制文件内容基本无意义,系统对它不加解释地传给调用者,解释由调用者负责.而对字符文件,系统把他理解为单字节的ASCII或多字节的UNICODE字符串,并且对其中的特殊字符(如回车等)加以特殊处理.所以同一个文件,可以使用不同类型的系统调用.
 
回车(CR)和换行(LF)符都是用来表示“下一行”的。而标准没有规定要使用哪一个。于是产生了三种不同的用法：
 
(1) Dos和windows采用回车+换行(CR+LF)表示下一行
 
(2) UNIX采用换行符(LF)表示下一行
 
(3) MAC机采用回车符(CR)表示下一行。
 
当在不同的系统间传递文件，就要涉及格式的转换。
 
文本方式和二进制方式的最大区别在于文本方式对于'\n'换行符的理解不同
 
(1)在DOS平台下，该字符会被展开成<CR>< LF>两个控制字符(相当于"\r\n")，在ASCII字符集下是 0DH,0AH
 
(2)在UNIX平台下，仅仅是<LF>，不会展开。
 
(3)在二进制方式下，不管是什么平台，'\n'都是精确的<LF>。
 
在linux/unix 系统上，只有一种文件类型的系统，带b字母的模式和对应的不带b字母的模式是相同的。
 
关于EOF：   EOF可以作为文本文件的结束标志,但不能作为二进制文件的结束符.feof函数既可以判断二进制文件,又可以判断文本文件. EOF在Windows下是ctrl+z，linux下是ctrl+D.
 
 
第二个问题就是文件按照文本方式或者二进制方式打开，两者会有什么不同呢? 其实不管是二进制文件也好，还是文本文件也好，都是一连串的0和1，但是打开方式不同，对于这些0和1的处理也就不同。如果按照文本方式打开，在打开的时候会进行translate，将每个字节转换成ASCII码，而以按照二进制方式打开的话，则不会进行任何的translate；
 
最后就是文本文件和二进制文件在编辑的时候，使用的方式也是不同的。譬如，你在记事本中进行文本编辑的时候，你进行编辑的最小单位是字节(byte)；而对二进制文件进行编辑的话，最小单位则是位(bit)，当然我们都不会直接通过手工的方式对二进制文件进行编辑了。
 
 
 
 
4. 输入码、区位码、国标码与机内码 (都是汉字的编码形式)
 
键盘是当前微机的主要输入设备, 输入码就是使用英文键盘输入汉字时的编码。
 
计算机只识别由0、1组成的代码，ASCII码是英文信息处理的标准编码，汉字信息处理也必须有一个统一的标准编码。我国国家标准局于1981年5月颁布了《信息交换用汉字编码字符集——基本集》，代号为GB2312-80，共对6763个汉字和682个图形字符进行了编码，其编码原则为：汉字用两个字节表示，每个字节用七位码（高位为0）,国家标准将汉字和图形符号排列在一个94行94列的二维代码表中，;每两个字节分别用两位十进制编码，前字节的编码称为区码，后字节的编码称为位码，此即区位码，如“保”字在二维代码表中处于17区第3位，区位码即为“1703 ”。
 
国标码并不等于区位码，它是由区位码稍作转换得到,其转换方法为：先将十进制区码和位码转换为十六进制的区码和位码，这样就得了一个与国标码有一个相对位置差的代码，再将这个代码的第一个字节和第二个字节分别加上20H，就得到国标码。如：“保”字的国标码为3123H，它是经过下面的转换得到的：1703D－>1103H->+20H－>3123H。
 
国标码是汉字信息交换的标准编码，但因其前后字节的最高位为0，与ASCII码发生冲突，如“保”字，国标码为31H和23H，而西文字符“1”和 “#”的SCII也为31H和23H，现假如内存中有两个字节为31H和23H,这到底是一个汉字”保”，还是两个西文字符“1”;和“#”?于是就出现了二义性，显然，国标码是不可能在计算机内部直接采用的，于是，;汉字的机内码采用变形国标码，其变换方法为：将国标码的每个字节都加上128，即将两个字节的最高位由0改1，其余7位不变，如：由上面我们知道，“保”字的国标码为3123H，前字节为00110001B，后字节为00100011B，高位改1为10110001B和10100011B即为B1A3H，因此,保字的机内码就是B1A3H;。
 
汉字信息处理过程众所周知,计算机并不能识别汉字,因此必须要把每个字符转换成计算机能唯一识别的由0和1组成的代码,这个代码称为机内码
 
汉字机内码的每个字节都大于128，这就解决了与西文字符的ASCII码冲突的问题。
 
 
5. 测试
 
FILE *fp;
 
                int i = 12;
 
                int j = 12;
 
                
 
                fp = fopen("01.txt","wb");
 
                fprintf(fp,"%d",i);
 
                fputc('\n',fp);
 
                fwrite(&j,sizeof(int),1,fp);
 
                
 
                fclose(fp);
 
即使是用二进制打开，但如果你用fputc,fputs，fprintf这些函数，其实还是和用文本文件打开一样。只有用到fwrite/fread函数，才会看到一个整型占4个字节。
 
按二进制写文件指的是直接按照数据在内存中的表现形式写入文件。例如，如果int型数据在内存中用 4  个字节表示，则写这个int数据的时候直接把对应的内存中 4 个字节的内容写入文件。在此过程中数据不需要做任何转换，所以效率较高。
 
数 据有字符型和非字符型（数）两种。按文本方式写文件指的是将数据转换为对应的字符型数据之后再写入文件。对于字符型数据，由于其本身就是ASCII码字符，一般不必转换，直接写入文件。但是，由于不同的系统对于换行符（'\n'）有不同的处理（转换）方式，在有的系统（如Windows）下也会对 '\ n'作适当的转换。
 
对于非字符型数据，都要进行转换处理。例如：int m = 12; 以及 double f = 2.3;，分别按照 "%d"、"%lf"方式将 m和 f 写入文件的时候，写入的分别是 '1'、'2'两个字符以及 '2'、'.'、 '3'等三个字符的ASCII码值。显然，如果按照二进制方式写的话，在文件中一般 m要占 4个字节、f 要占 8 个字节
 
 
 
 
 
转载地址   http://liufabin66688.blog.163.com/blog/static/1396854820081027103133373/
 

 

作为程序员，从第一次接触编程开始，就知道了文件的两大类别：文本文件和二进制文件。但是，如何定义和判别这两类文件，在我的知识体系里，却一直是模糊的。直觉上，用文本方式读写的文件一定是文本文件，用二进制方式读写的文件一定是二进制文件，然而，用 notepad++ 照样可以打开甚至编辑一个 .jpg 文件或者一个 .xls 文件。
 
事实上，不管是文本文件还是二进制文件，在物理存储上都是二进制的。二者之间的区别不是物理层面的，而是逻辑层面的。文本文件是基于字符编码的文件，常见的编码有 ASCII 编码，UTF 编码等等。二进制文件是基于值编码的文件，你可以根据具体应用，指定某个值是什么意思（可以看作是自定义编码）。
 
在很多文档处理的应用中，我们需要判别某个文件是文本文件还是二进制文件。如果单从文件的扩展名来判别，自然是最简单的，但结果未必是正确的。我们重点讨论通过文件内容来判别。
 
适用于 py2 的方法：
 
import string

def isText(content):
	"""判断文件是文本还是二进制"""
	
	if "\0" in content:
	    return False
	
	text_characters = ''.join(map(chr, range(32, 127)) + list("\n\r\t\b"))
	_null_trans = string.maketrans("", "")
	
	t = content.translate(_null_trans, text_characters)
	if float(len(t))/float(len(content)) > 0.30:
	    return False
	else:
	    return True
 
适用于 py3 的方法：
 
def isText(content):
    """判断文件是文本还是二进制"""
    
    if b'\0' in content:
        return False
    
    text_characters = ''.join(list(map(chr, range(32, 127))) + list('\n\r\t\b'))
    _null_trans = b'\x00\x01\x02\x03\x04\x05\x06\x07\x08\t\n\x0b\x0c\r\x0e\x0f\x10\x11\x12\x13\x14\x15\x16\x17\x18\x19\x1a\x1b\x1c\x1d\x1e\x1f !"#$%&\'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\\]^_`abcdefghijklmnopqrstuvwxyz{|}~\x7f\x80\x81\x82\x83\x84\x85\x86\x87\x88\x89\x8a\x8b\x8c\x8d\x8e\x8f\x90\x91\x92\x93\x94\x95\x96\x97\x98\x99\x9a\x9b\x9c\x9d\x9e\x9f\xa0\xa1\xa2\xa3\xa4\xa5\xa6\xa7\xa8\xa9\xaa\xab\xac\xad\xae\xaf\xb0\xb1\xb2\xb3\xb4\xb5\xb6\xb7\xb8\xb9\xba\xbb\xbc\xbd\xbe\xbf\xc0\xc1\xc2\xc3\xc4\xc5\xc6\xc7\xc8\xc9\xca\xcb\xcc\xcd\xce\xcf\xd0\xd1\xd2\xd3\xd4\xd5\xd6\xd7\xd8\xd9\xda\xdb\xdc\xdd\xde\xdf\xe0\xe1\xe2\xe3\xe4\xe5\xe6\xe7\xe8\xe9\xea\xeb\xec\xed\xee\xef\xf0\xf1\xf2\xf3\xf4\xf5\xf6\xf7\xf8\xf9\xfa\xfb\xfc\xfd\xfe\xff'
    
    t = content.translate(_null_trans, text_characters.encode())
    if float(len(t))/float(len(content)) > 0.30:
        return False
    else:
        return True