Ascii 0 {Nulo, Sem Som} 
Ascii 1 
Ascii 2 
Ascii 3 
Ascii 4 
Ascii 5 
Ascii 6 
Ascii 7 
Ascii 8 {BackSpace} 
Ascii 9 {Tab} 
Ascii 10 
Ascii 11 
Ascii 12 
Ascii 13 {Enter} 
Ascii 14 
Ascii 15 
Ascii 16 {Shift} 
Ascii 17 {CTRL} 
Ascii 18 {ALT} 
Ascii 19 
Ascii 20 {CapsLock} 
Ascii 21 
Ascii 22 
Ascii 23 
Ascii 24 
Ascii 25 
Ascii 26 
Ascii 27 
Ascii 28 
Ascii 29 
- Ascii 30 
- Ascii 31 
Ascii 32 {Espaço} 
! Ascii 33 
" Ascii 34 
# Ascii 35 
$ Ascii 36 
% Ascii 37 
& Ascii 38 
' Ascii 39 
( Ascii 40 
) Ascii 41 
* Ascii 42 
+ Ascii 43 
, Ascii 44 
- Ascii 45 
. Ascii 46 
/ Ascii 47 
0 Ascii 48 
1 Ascii 49 
2 Ascii 50 
3 Ascii 51 
4 Ascii 52 
5 Ascii 53 
6 Ascii 54 
7 Ascii 55 
8 Ascii 56 
9 Ascii 57 
: Ascii 58 
; Ascii 59 
< Ascii 60 
= Ascii 61 
> Ascii 62 
? Ascii 63 
@ Ascii 64 
A Ascii 65 
B Ascii 66 
C Ascii 67 
D Ascii 68 
E Ascii 69 
F Ascii 70 
G Ascii 71 
H Ascii 72 
I Ascii 73 
J Ascii 74 
K Ascii 75 
L Ascii 76 
M Ascii 77 
N Ascii 78 
O Ascii 79 
P Ascii 80 
Q Ascii 81 
R Ascii 82 
S Ascii 83 
T Ascii 84 
U Ascii 85 
V Ascii 86 
W Ascii 87 
X Ascii 88 
Y Ascii 89 
Z Ascii 90 
[ Ascii 91 
/ Ascii 92 
] Ascii 93 
^ Ascii 94 
_ Ascii 95 
` Ascii 96 
a Ascii 97 
b Ascii 98 
c Ascii 99 
d Ascii 100 
e Ascii 101 
f Ascii 102 
g Ascii 103 
h Ascii 104 
i Ascii 105 
j Ascii 106 
k Ascii 107 
l Ascii 108 
m Ascii 109 
n Ascii 110 
o Ascii 111 
p Ascii 112 
q Ascii 113 
r Ascii 114 
s Ascii 115 
t Ascii 116 
u Ascii 117 
v Ascii 118 
w Ascii 119 
x Ascii 120 
y Ascii 121 
z Ascii 122 
{ Ascii 123 
| Ascii 124 
} Ascii 125 
~ Ascii 126 
 Ascii 127 
€ Ascii 128 
 Ascii 129 
‚ Ascii 130 
ƒ Ascii 131 
„ Ascii 132 
&ldots; Ascii 133 
† Ascii 134 
‡ Ascii 135 
ˆ Ascii 136 
‰ Ascii 137 
Š Ascii 138 
‹ Ascii 139 
            
ΠAscii 140 
 Ascii 141 
Ž Ascii 142 
 Ascii 143 
 Ascii 144 
' Ascii 145 
' Ascii 146 
" Ascii 147 
" Ascii 148 
o Ascii 149 
- Ascii 150 
- Ascii 151 
˜ Ascii 152 
™ Ascii 153 
š Ascii 154 
› Ascii 155 
œ Ascii 156 
 Ascii 157 
ž Ascii 158 
Ÿ Ascii 159 
Ascii 160 
¡ Ascii 161 
¢ Ascii 162 
£ Ascii 163 
¤ Ascii 164 
¥ Ascii 165 
¦ Ascii 166 
§ Ascii 167 
¨ Ascii 168 
© Ascii 169 
ª Ascii 170 
« Ascii 171 
Ascii 172 
­ Ascii 173 
® Ascii 174 
¯ Ascii 175 
° Ascii 176 
± Ascii 177 
² Ascii 178 
³ Ascii 179 
´ Ascii 180 
µ Ascii 181 
Ascii 182 
· Ascii 183 
¸ Ascii 184 
¹ Ascii 185 
º Ascii 186 
» Ascii 187 
¼ Ascii 188 
½ Ascii 189 
¾ Ascii 190 
¿ Ascii 191 
À Ascii 192 
Á Ascii 193 
 Ascii 194 
à Ascii 195 
Ä Ascii 196
Å Ascii 197
Æ Ascii 198
Ç Ascii 199
È Ascii 200
É Ascii 201
Ê Ascii 202
Ë Ascii 203
Ì Ascii 204 
Í Ascii 205 
Î Ascii 206 
Ï Ascii 207 
Ð Ascii 208 
Ñ Ascii 209 
Ò Ascii 210 
Ó Ascii 211 
Ô Ascii 212 
Õ Ascii 213 
Ö Ascii 214 
× Ascii 215 
Ø Ascii 216 
Ù Ascii 217 
Ú Ascii 218 
Û Ascii 219 
Ü Ascii 220 
Ý Ascii 221 
Þ Ascii 222 
ß Ascii 223 
à Ascii 224 
á Ascii 225 
â Ascii 226 
ã Ascii 227 
ä Ascii 228 
å Ascii 229 
æ Ascii 230 
ç Ascii 231 
è Ascii 232 
é Ascii 233 
ê Ascii 234 
ë Ascii 235 
ì Ascii 236 
í Ascii 237 
î Ascii 238 
ï Ascii 239 
ð Ascii 240 
ñ Ascii 241 
ò Ascii 242 
ó Ascii 243 
ô Ascii 244 
õ Ascii 245 
ö Ascii 246 
÷ Ascii 247 
ø Ascii 248 
ù Ascii 249 
ú Ascii 250 
û Ascii 251 
ü Ascii 252 
ý Ascii 253 
þ Ascii 254 
ÿ Ascii 255 
        

 
基本的 ASCII 字符集共有 128 个字符，其中有 96 个可打印字符，包括常用的字母、数字、标点符号等，另外还有 32 个控制字符。标准 ASCII 码使用 7 个二进位对字符进行编码，对应的 ISO 标准为 ISO646 标准。下表展示了基本 ASCII 字符集及其编码： 

字母和数字的 ASCII 码的记忆是非常简单的。我们只要记住了一个字母或数字的 ASCII 码（例如记住 A 为 65 ， 0 的 ASCII 码为 48 ），知道相应的大小写字母之间差 32 ，就可以推算出其余字母、数字的 ASCII 码。 
虽然标准 ASCII 码是 7 位编码，但由于计算机基本处理单位为字节（ 1byte = 8bit ），所以一般仍以一个字节来存放一个 ASCII 字符。每一个字节中多余出来的一位（最高位）在计算机内部通常保持为 0 （在数据传输时可用作奇偶校验位）。 
由于标准 ASCII 字符集字符数目有限，在实际应用中往往无法满足要求。为此，国际标准化组织又制定了 ISO2022 标准，它规定了在保持与 ISO646 兼容的前提下将 ASCII 字符集扩充为 8 位代码的统一方法。 ISO 陆续制定了一批适用于不同地区的扩充 ASCII 字符集，每种扩充 ASCII 字符集分别可以扩充 128 个字符，这些扩充字符的编码均为高位为 1 的 8 位代码（即十进制数 128~255 ），称为扩展 ASCII 码。下表展示的是最流行的一套扩展 ASCII 字符集和编码： 

前言

NSDictionary和NSMutableArray底层原理（哈希表和环形缓冲区）

Django中CSRF防御全过程解析以及中间件作用机制

聊聊NSInvocation和NSMethodSignature

JavaScript EventLoop 详解

平时喜欢写东西，看博客，一直对编码有些懵，今天下午在网上冲浪，突然想了解下，找了点资料，看完真的豁然开朗，这个必须留下来做纪念。

 

1.ASCII

我们知道，计算机内部，所有信息最终都是一个二进制值。每一个二进制位（bit）有0和1两种状态，因此八个二进制位就可以组合出256种状态，这被称为一个字节（byte）。也就是说，一个字节一共可以用来表示256种不同的状态，每一个状态对应一个符号，就是256个符号，从00000000到11111111。

上个世纪60年代，美国制定了一套字符编码，对英语字符与二进制位之间的关系，做了统一规定。这被称为 ASCII 码，一直沿用至今。

ASCII 码一共规定了128个字符的编码，比如空格SPACE是32（二进制00100000），大写的字母A是65（二进制01000001）。这128个符号（包括32个不能打印出来的控制符号），只占用了一个字节的后面7位，最前面的一位统一规定为0。

2.非ASCII编码

英语用128个符号编码就够了，但是用来表示其他语言，128个符号是不够的。比如，在法语中，字母上方有注音符号，它就无法用 ASCII 码表示。于是，一些欧洲国家就决定，利用字节中闲置的最高位编入新的符号。比如，法语中的é的编码为130（二进制10000010）。这样一来，这些欧洲国家使用的编码体系，可以表示最多256个符号。

但是，这里又出现了新的问题。不同的国家有不同的字母，因此，哪怕它们都使用256个符号的编码方式，代表的字母却不一样。比如，130在法语编码中代表了é，在希伯来语编码中却代表了字母Gimel (ג)，在俄语编码中又会代表另一个符号。但是不管怎样，所有这些编码方式中，0--127表示的符号是一样的，不一样的只是128--255的这一段。

至于亚洲国家的文字，使用的符号就更多了，汉字就多达10万左右。一个字节只能表示256种符号，肯定是不够的，就必须使用多个字节表达一个符号。比如，简体中文常见的编码方式是 GB2312，使用两个字节表示一个汉字，所以理论上最多可以表示 256 x 256 = 65536 个符号

中文编码的问题需要专文讨论，这篇笔记不涉及。这里只指出，虽然都是用多个字节表示一个符号，但是GB类的汉字编码与后文的 Unicode 和 UTF-8 是毫无关系的。

3.Unicode

正如上一节所说，世界上存在着多种编码方式，同一个二进制数字可以被解释成不同的符号。因此，要想打开一个文本文件，就必须知道它的编码方式，否则用错误的编码方式解读，就会出现乱码。为什么电子邮件常常出现乱码？就是因为发信人和收信人使用的编码方式不一样。

可以想象，如果有一种编码，将世界上所有的符号都纳入其中。每一个符号都给予一个独一无二的编码，那么乱码问题就会消失。这就是 Unicode，就像它的名字都表示的，这是一种所有符号的编码。

Unicode 当然是一个很大的集合，现在的规模可以容纳100多万个符号。每个符号的编码都不一样，比如，U+0639表示阿拉伯字母Ain，U+0041表示英语的大写字母A，U+4E25表示汉字严。具体的符号对应表，可以查询unicode.org，或者专门的汉字对应表。

4.Unicode的问题

需要注意的是，Unicode 只是一个符号集，它只规定了符号的二进制代码，却没有规定这个二进制代码应该如何存储。

比如，汉字严的 Unicode 是十六进制数4E25，转换成二进制数足足有15位（100111000100101），也就是说，这个符号的表示至少需要2个字节。表示其他更大的符号，可能需要3个字节或者4个字节，甚至更多。

这里就有两个严重的问题，第一个问题是，如何才能区别 Unicode 和 ASCII ？计算机怎么知道三个字节表示一个符号，而不是分别表示三个符号呢？第二个问题是，我们已经知道，英文字母只用一个字节表示就够了，如果 Unicode 统一规定，每个符号用三个或四个字节表示，那么每个英文字母前都必然有二到三个字节是0，这对于存储来说是极大的浪费，文本文件的大小会因此大出二三倍，这是无法接受的

它们造成的结果是：1）出现了 Unicode 的多种存储方式，也就是说有许多种不同的二进制格式，可以用来表示 Unicode。2）Unicode 在很长一段时间内无法推广，直到互联网的出现。

5.UTF-8

互联网的普及，强烈要求出现一种统一的编码方式。UTF-8 就是在互联网上使用最广的一种 Unicode 的实现方式。其他实现方式还包括 UTF-16（字符用两个字节或四个字节表示）和 UTF-32（字符用四个字节表示），不过在互联网上基本不用。重复一遍，这里的关系是，UTF-8 是 Unicode 的实现方式之一。

UTF-8 最大的一个特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度。

UTF-8 的编码规则很简单，只有二条：

 

1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的 Unicode 码。因此对于英语字母，UTF-8 编码和 ASCII 码是相同的。

2）对于n字节的符号（n > 1），第一个字节的前n位都设为1，第n + 1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的 Unicode 码。

下表总结了编码规则，字母x表示可用编码的位。

 



 

跟据上表，解读 UTF-8 编码非常简单。如果一个字节的第一位是0，则这个字节单独就是一个字符；如果第一位是1，则连续有多少个1，就表示当前字符占用多少个字节。

下面，还是以汉字严为例，演示如何实现 UTF-8 编码。

严的 Unicode 是4E25（100111000100101），根据上表，可以发现4E25处在第三行的范围内（0000 0800 - 0000 FFFF），因此严的 UTF-8 编码需要三个字节，即格式是1110xxxx 10xxxxxx 10xxxxxx。然后，从严的最后一个二进制位开始，依次从后向前填入格式中的x，多出的位补0。这样就得到了，严的 UTF-8 编码是11100100 10111000 10100101，转换成十六进制就是E4B8A5

 

6.Unicode和UTF-8之间的转换

通过上一节的例子，可以看到严的 Unicode码 是4E25，UTF-8 编码是E4B8A5，两者是不一样的。它们之间的转换可以通过程序实现。

Windows平台，有一个最简单的转化方法，就是使用内置的记事本小程序notepad.exe。打开文件后，点击文件菜单中的另存为命令，会跳出一个对话框，在最底部有一个编码的下拉条。



 


里面有四个选项：ANSI，Unicode，Unicode big endian和UTF-8。

1）ANSI是默认的编码方式。对于英文文件是ASCII编码，对于简体中文文件是GB2312编码（只针对 Windows 简体中文版，如果是繁体中文版会采用 Big5 码）。


2）Unicode编码这里指的是notepad.exe使用的 UCS-2 编码方式，即直接用两个字节存入字符的 Unicode 码，这个选项用的 little endian 格式。


3）Unicode big endian编码与上一个选项相对应。我在下一节会解释 little endian 和 big endian 的涵义。


4）UTF-8编码，也就是上一节谈到的编码方法。

选择完"编码方式"后，点击"保存"按钮，文件的编码方式就立刻转换好了。


 

7.Little endian 和 Big endian

上一节已经提到，UCS-2 格式可以存储 Unicode 码（码点不超过0xFFFF）。以汉字严为例，Unicode 码是4E25，需要用两个字节存储，一个字节是4E，另一个字节是25。存储的时候，4E在前，25在后，这就是 Big endian 方式；25在前，4E在后，这是 Little endian 方式。


这两个古怪的名称来自英国作家斯威夫特的《格列佛游记》。在该书中，小人国里爆发了内战，战争起因是人们争论，吃鸡蛋时究竟是从大头(Big-endian)敲开还是从小头(Little-endian)敲开。为了这件事情，前后爆发了六次战争，一个皇帝送了命，另一个皇帝丢了王位。


第一个字节在前，就是"大头方式"（Big endian），第二个字节在前就是"小头方式"（Little endian）。


那么很自然的，就会出现一个问题：计算机怎么知道某一个文件到底采用哪一种方式编码？


Unicode 规范定义，每一个文件的最前面分别加入一个表示编码顺序的字符，这个字符的名字叫做"零宽度非换行空格"（zero width no-break space），用FEFF表示。这正好是两个字节，而且FF比FE大1。


如果一个文本文件的头两个字节是FE FF，就表示该文件采用大头方式；如果头两个字节是FF FE，就表示该文件采用小头方式。

 

8.实例

下面，举一个实例。


打开"记事本"程序notepad.exe，新建一个文本文件，内容就是一个严字，依次采用ANSI，Unicode，Unicode big endian和UTF-8编码方式保存。


然后，用文本编辑软件UltraEdit 中的"十六进制功能"，观察该文件的内部编码方式。


1）ANSI：文件的编码就是两个字节D1 CF，这正是严的 GB2312 编码，这也暗示 GB2312 是采用大头方式存储的。


2）Unicode：编码是四个字节FF FE 25 4E，其中FF FE表明是小头方式存储，真正的编码是4E25。


3）Unicode big endian：编码是四个字节FE FF 4E 25，其中FE FF表明是大头方式存储。

 

4）UTF-8：编码是六个字节EF BB BF E4 B8 A5，前三个字节EF BB BF表示这是UTF-8编码，后三个E4B8A5就是严的具体编码，它的存储顺序与编码顺序是一致的。

 

9.参考文献

The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets

谈谈Unicode编码

 

10.一个小问题（How to determine string is ASCII or Unicode?）

 

11.补充

今天在看python的时候了正好看到了编码的文章，记录一下。基本诞生逻辑上面已经有了，补充下其他的介绍。

现在，捋一捋ASCII编码和Unicode编码的区别：ASCII编码是1个字节，而Unicode编码通常是2个字节。

字母A用ASCII编码是十进制的65，二进制的01000001；

字符0用ASCII编码是十进制的48，二进制的00110000，注意字符'0'和整数0是不同的；

汉字中已经超出了ASCII编码的范围，用Unicode编码是十进制的20013，二进制的01001110 00101101。

你可以猜测，如果把ASCII编码的A用Unicode编码，只需要在前面补0就可以，因此，A的Unicode编码是00000000 01000001。

新的问题又出现了：如果统一成Unicode编码，乱码问题从此消失了。但是，如果你写的文本基本上全部是英文的话，用Unicode编码比ASCII编码需要多一倍的存储空间，在存储和传输上就十分不划算。

所以，本着节约的精神，又出现了把Unicode编码转化为“可变长编码”的UTF-8编码。UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节，常用的英文字母被编码成1个字节，汉字通常是3个字节，只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符，用UTF-8编码就能节省空间：

 

字符
			
ASCII
			
Unicode
			
UTF-8
		
A
			
01000001
			
00000000 01000001
			
01000001
		
中
			
x
			
01001110 00101101
			
11100100 10111000 10101101
		
从上面的表格还可以发现，UTF-8编码有一个额外的好处，就是ASCII编码实际上可以被看成是UTF-8编码的一部分，所以，大量只支持ASCII编码的历史遗留软件可以在UTF-8编码下继续工作

 

搞清楚了ASCII、Unicode和UTF-8的关系，我们就可以总结一下现在计算机系统通用的字符编码工作方式：

在计算机内存中，统一使用Unicode编码，当需要保存到硬盘或者需要传输的时候，就转换为UTF-8编码。

用记事本编辑的时候，从文件读取的UTF-8字符被转换为Unicode字符到内存里，编辑完成后，保存的时候再把Unicode转换为UTF-8保存到文件：



浏览网页的时候，服务器会把动态生成的Unicode内容转换为UTF-8再传输到浏览器：



所以你看到很多网页的源码上会有类似<meta charset="UTF-8" />的信息，表示该网页正是用的UTF-8编码。

 

参考文章：前辈文章