精华内容
下载资源
问答
  • 字符编码表

    2020-07-15 19:47:50
    一、了解字符编码表 一:计算机基础知识 1、程序运行与三大核心硬件(cpu,内存,硬盘)的关系: 任何一个程序都是先存放于硬盘上的,必须先由硬盘读取到内存,之后cpu去内存中取值然后执行 2、程序运行过程中产生的...

    一、了解字符编码表

    一:计算机基础知识
    1、程序运行与三大核心硬件(cpu,内存,硬盘)的关系:
    任何一个程序都是先存放于硬盘上的,必须先由硬盘读取到内存,之后cpu去内存中取值然后执行
    2、程序运行过程中产生的数据最先放在内存中,计算机内部存取的数据用的都是010101010101的二进制

    二、文本编辑器和python解释器运行原理

    python程序运行的三个步骤
    python3 D:\a.py
    1、先启动python解释器
    2、解释器会将a.py的内容当成普通内存从硬盘读入内存,此时没有语法意义
    3、解释器会解释执行刚刚读入内存的内存,开始识别python语法
    任何一个程序都是先存放于硬盘上的,必须先由硬盘读取到内存,之后cpu去内存中取值然后执行

    文本编辑器
    1、打开编辑器就打开了启动了一个进程,是在内存中的,所以,用编辑器编写的内容也都是存放与内存中的,断电后数据丢失
    2、要想永久保存,需要点击保存按钮:编辑器把内存的数据刷到了硬盘上。
    3、在我们编写一个py文件(没有执行),跟编写其他文件没有任何区别,都只是在编写一堆字符而已。
    总结
    相同:1、任何的程序要想运行都是先从硬盘读取到内存
    2、文本编辑器和python解释器都会去硬盘中读取你想要读取的内容
    不同:1、文本编辑器将文件内容读取之后仅仅是展示给用户看
    python解释器会识别语法并解释执行python代码

    三、什么是字符编码

    计算机所能识别的都是二进制01010101的数字,所以总结计算机只能认识数字
    经历的过程:
    字符-----(翻译过程)-----数字
    这个过程实际就是一个字符如何对应一个特定数字的标准,这个标准称之为字符编码

    四、字符编码表发展史

    python 2.x默认的字符编码是ASCII,默认的文件编码也是ASCII。

    python 3.x默认的字符编码是unicode,默认的文件编码是utf-8。
    在这里插入图片描述 1、ASCII:美国人发明的最早的只能识别英文字符
    特点:采用8bit对应一个英文字符
    8bit=》1Bytes

    在这里插入图片描述
    2、GBK:中国人发明的可以识别中文字符串与英文字符
    特点:采用16bit对应字符,该字符可以是英文字符、也可以是中文字符
    16bit = 》2Bytes

    3、shift-JIS日本人发明的可以识别日文和英文字符
    Euc-kr韩国人发明的可以识别韩文和英文字符

    4、unicode:可以识别万国字符
    特点:2Bytes对应一个字符

    在unicode中对于是英文的文本来说,unicode无疑是多了一倍的存储空间(二进制最终都是以电或者磁的方式存储到存储介质中的)
    于是产生了UTF-8(可变长,全称Unicode Transformation Format),对英文字符只用1Bytes表示,对中文字符用3Bytes,对其他生僻字用更多的Bytes去存
    总结:内存中统一采用unicode,浪费空间来换取可以转换成任意编码(不乱码),硬盘可以采用各种编码,如utf-8,保证存放于硬盘或者基于网络传输的数据量很小,提高传输效率与稳定性。

    字符-----》unicode格式的数字
    GBK shiftJIS
    **
    在这里插入图片描述
    基于目前的现状,内存中的编码固定就是unicode,我们唯一可变的就是硬盘的上对应的字符编码。
    1、
    英文字符--------------内存:ASCII二进制数--------------->硬盘:ASCII二进制数
    中文英文字符--------------内存:GBK二进制数--------------->硬盘:GBK二进制数
    日文英文字符--------------内存:shiftJIS二进制数--------------->硬盘:shiftJIS二进制数
    韩文英文字符--------------内存:Euc-Kr二进制数--------------->硬盘:Euc-Kr二进制数

    2、
    中文英文字符------------内存:unicode=gbk====>硬盘:GBK二进制数
    日文英文字符------------内存:unicode=shifJIS>硬盘:shiftJIS二进制数
    韩文英文字符------------内存:unicode=Euc-Kr=>硬盘:Euc-Kr二进制数
    万国字符----------------内存:unicode=utf-8==>硬盘:utf-8二进制数

    3、
    万国字符----------------内存:unicode=utf-8==>硬盘:utf-8二进制数
    万国字符----------------内存:utf-8==========================>硬盘:utf-8二进制数

    在读入内存时,需要将utf-8转成unicode
    所以我们需要明确:内存中用unicode是为了兼容万国软件,即便是硬盘中有各国编码编写的软件,unicode也有相对应的映射关系,但在现在的开发中,程序员普遍使用utf-8编码了。

    乱码问题

    无论以什么编码在内存里显示字符,存到硬盘上都是二进制,所以编码不对,程序就会出错。
    1、存的时候乱了:采用的字符编码表无法识别输入的字符
    存的时候就已经乱了,是无法补救的,取的时候一定也乱了
    解决方法:存入硬盘的编码格式应该用utf-8格式
    2、存的时候没有乱码:采用的字符编码表可以识别输入的字符
    但是取的时候乱码了:采用的字符编码表与当初存的时候用的不是同一张表
    解决方法:存的时候用什么编码,取的时候一定要用同样的编码格式

    与运行python程序有关的乱码问题:
    1、保证运行python程序的前两个阶段不乱码
    在python文件的开头加一行:
    #coding:文件存的时候用的编码格式

     #coding:gbk
    

    python2.x的bytes与python3.x的bytes的区别

    Python2将string处理为原生的bytes类型,而不是 unicode。而Python3所有的 string均是unicode类型。

    在python2.x中,写字符串,比如

    s = ”学习“
    print s
    学习

    s # 字节类型
    ‘\xd1\xa7\xcf\xb0’

    虽然说打印的是中文学习,但是直接调用变量s时,显示的却是一个个16进制表示的二进制字节,我们称这个为byte类型,即字节类型,它把8个二进制组成一个byte,用16进制表示。

    所以说python2.x的字符串其实更应该称为字符串,通过存储的方式就能看出来,但是在python2.x中还有一个bytes类型,两个是否相同呢,回答是肯定的,在python2.x中,bytes==str。

    python3.x中,把字符串变成了unicode,文件默认编码为utf-8。这意味着,只要用python3.x,无论我们的程序以那种语言开发,都可以在全球各国电脑上正常显示。

    python3.x除了把字符串的编码改成了unicode,还把str和bytes做了明确区分,str就是unicode格式的字符串,而bytes就是单纯的二进制。(补充一个问题,在python3.x中,只要把unicode编码,字符串就会变成了bytes格式,也不直接打印成gbk的字符,我觉得就是想通过这样的方式明确的告诉你,想在python3.x中看字符串,必须是unicode,其他编码一律是bytes格式)。

    深入中文编码问题

    python3内部使用的是unicode编码,而外部却要面对千奇百怪的各种编码,比如作为中国程序经常要面对的gbk,gb2312,utf8等,那这些编码是怎么转换成内部的unicode呢?

    首先看一下源代码文件中使用字符串的情况。源代码文件作为文本文件就必然是以某种编码形式存储代码的,python2默认源代码文件是asci编码,python3默认源代码文件是utf-8编码。比如给python2代码文件中的一个变量赋值:

    s1 = ‘a’

    print s1

    python2认为这个字符’a’就是一个asci编码的字符,这个文件可以正常执行,并打印出’a’字符。在仅仅使用英文字符的情况下一切正常,但是如果用了中文,比如:

    s1 = ‘哈哈’

    print s1

    这个代码文件被执行时就会出错,就是编码出了问题。python2默认将代码文件内容当作asci编码处理,但asci编码中不存在中文,因此抛出异常。

    解决问题之道就是要让python2解释器知道文件中使用的是什么编码形式,对于中文,可以用的常见编码有utf-8,gbk和gb2312等。只需在代码文件的最前端添加如下:

    # -- coding: utf-8 --

    这就是告知python2解释器,这个文件里的文本是用utf-8编码的。这样,python就会依照utf-8的编码形式解读其中的字符,然后转换成unicode编码内部处理使用。

    不过,如果你在Windows控制台下运行此代码的话,虽然程序是执行了,但屏幕上打印出的却不是哈哈字。这是由于python2编码与控制台编码的不一致造成的。Windows下控制台中的编码使用的是gbk,而在代码中使用的utf-8,python2按照utf-8编码打印到gbk编码的控制台下自然就会不一致而不能打印出正确的汉字。

    解决办法一个是将源代码的编码也改成gbk,也就是代码第一行改成:

    # -- coding: gbk --

    另一种方法是保持源码文件的utf-8不变,而是在’哈哈’前面加个u字,也就是:

    s1=u’哈哈’

    print s1

    这样就可以正确打印出’哈哈’字了。这里的这个u表示将后面跟的字符串以unicode格式存储。python2会根据代码第一行标称的utf-8编码,识别代码中的汉字’哈哈’,然后转换成unicode对象。如果我们用type查看一下’哈哈’的数据类型type(‘哈哈’),会得到<type ‘str’>,而type(u’哈哈’),则会得到<type ‘unicode’>。

    type(‘哈哈’)
    <type ‘str’>

    type(u’哈哈’)
    <type ‘unicode’>

    也就是在字符前面加u就表明这是一个unicode对象,这个字会以unicode格式存在于内存中,而如果不加u,表明这仅仅是一个使用某种编码的字符串,编码格式取决于python2对源码文件编码的识别,这里就是utf-8。

    Python2在向控制台输出unicode对象的时候会自动根据输出环境的编码进行转换,但如果输出的不是unicode对象而是普通字符串,则会直接按照字符串的编码输出字符串,从而出现上面的现象。

    使用unicode对象的话,除了这样使用u标记,还可以使用unicode类以及字符串的encode和decode方法。

    unicode类的构造函数接受一个字符串参数和一个编码参数,将字符串封装为一个unicode,比如在这里,由于我们用的是utf-8编码,所以unicode中的编码参数使用’utf-8’,将字符封装为unicode对象,然后正确输出到控制台:

    s1=unicode(‘哈’, ‘utf-8′)

    print s1

    另外,用decode函数也可以将一个普通字符串转换为unicode对象。很多人都搞不明白python2字符串的decode和encode函数都是什么意思。这里简要说明一下。

    decode函数是将普通字符串按照参数中的编码格式进行解析,然后生成对应的unicode对象,比如在这里我们代码用的是utf-8,那么把一个字符串转换为unicode对象就是如下形式:

    s2 = ‘哈哈’.decode(‘utf-8’)
    type(s2)
    <type ‘unicode’>
      这时,s2就是一个存储了’哈哈’字符串的unicode对象,其实就和unicode(‘哈哈’, ‘utf-8′)以及u’哈哈’是相同的。

    encode函数正好就是相反的功能,是将一个unicode对象转换为参数中编码格式的普通字符串,比如下面代码:

    复制代码

    s3 = unicode(‘哈哈’, ‘utf-8’).encode(‘utf-8’)
    type(s3)
    <type ‘str’>
    或者:

    s3 = ‘哈哈’.decode(‘utf-8’).encode(‘utf-8’)
    type(s3)
    <type ‘str’>
    复制代码
      s3现在又变回了utf-8的’哈哈’。同样的,也可指定其它编码格式,但要注意的是,用什么格式编码,就用什么格式解码,否则会出现中文乱码问题。

    字符编码

    目前使用的编码方式有:ASCII码(一个字节)、Unicode码(两个字节)、UTF-8码(可变长的编码)。我们已经知道了,字符串也是一种数据类型,但是,字符串比较特殊的是还有一个编码问题。

    因为计算机只能处理数字,如果要处理文本,就必须先把文本转换为数字才能处理。最早的计算机在设计时采用8个比特(bit)作为一个字节(byte),所以,一个字节能表示的最大的整数就是255(二进制11111111=十进制255),如果要表示更大的整数,就必须用更多的字节。比如两个字节可以表示的最大整数是65535,4个字节可以表示的最大整数是4294967295。

    由于计算机是美国人发明的,因此,最早只有127个字符被编码到计算机里,也就是大小写英文字母、数字和一些符号,这个编码表被称为ASCII编码,比如大写字母A的编码是65,小写字母z的编码是122。但是要处理中文显然一个字节是不够的,至少需要两个字节,而且还不能和ASCII编码冲突,所以,中国制定了GB2312编码,用来把中文编进去。可以想得到的是,全世界有上百种语言,日本把日文编到Shift_JIS里,韩国把韩文编到Euc-kr里,各国有各国的标准,就会不可避免地出现冲突,结果就是,在多语言混合的文本中,显示出来会有乱码。因此,Unicode应运而生。Unicode把所有语言都统一到一套编码里,这样就不会再有乱码问题了。Unicode标准也在不断发展,但最常用的是用两个字节表示一个字符(如果要用到非常偏僻的字符,就需要4个字节)。现代操作系统和大多数编程语言都直接支持Unicode。

    现在,捋一捋ASCII编码和Unicode编码的区别:ASCII编码是1个字节,而Unicode编码通常是2个字节。

    字母A用ASCII编码是十进制的65,二进制的01000001;

    字符’0’用ASCII编码是十进制的48,二进制的00110000,注意字符’0’和整数0是不同的;

    汉字中已经超出了ASCII编码的范围,用Unicode编码是十进制的20013,二进制的01001110 00101101。

    可以猜测,如果把ASCII编码的A用Unicode编码,只需要在前面补0就可以,因此,A的Unicode编码是00000000 01000001。

    新的问题又出现了:如果统一成Unicode编码,乱码问题从此消失了。但是,如果你写的文本基本上全部是英文的话,用Unicode编码比ASCII编码需要多一倍的存储空间,在存储和传输上就十分不划算。

    所以,本着节约的精神,又出现了把Unicode编码转化为“可变长编码”的UTF-8编码。UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节,常用的英文字母被编码成1个字节,汉字通常是3个字节,只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符,用UTF-8编码就能节省空间:

    字符 ASCII Unicode UTF-8

    A 01000001 00000000 01000001 01000001

    中 x 01001110 00101101 11100100 10111000 10101101

    UTF-8编码有一个额外的好处,就是ASCII编码实际上可以被看成是UTF-8编码的一部分,所以,大量只支持ASCII编码的历史遗留软件可以在UTF-8编码下继续工作。

    展开全文
  • ASCII字符编码表

    2011-09-12 04:22:58
    ASCII字符编码表ASCII字符编码表ASCII字符编码表ASCII字符编码表
  • Unicode字符编码表

    2015-08-27 11:39:19
    Unicode字符编码表涵盖了所有字符码的范围和Unicode起始位。包含中文字符。
  • JAVA常见字符编码表

    2020-11-17 16:54:36
    常见字符编码表 编码 说明 编码范围 字节量 ASC-II 英文,标点,基本指令 0到127 单字节 ISO-8859-1 ASC-II扩展,西欧字符 128到255 单字节 ANSI,CJK ANSI是一种字符编码规范,设计为了使计算机支持更多语言...

    常见字符编码表

    编码 说明 编码范围 字节量
    ASC-II 英文,标点,基本指令 0到127 单字节
    ISO-8859-1 ASC-II扩展,西欧字符 128到255 单字节
    ANSI,CJK ANSI是一种字符编码规范,设计为了使计算机支持更多语言,英文用单字节编码,其他字符用双字节编码CJK表示亚洲字符编码的统称(中日韩)
    GBK 中国国标码 最大65535 英文使用单字节,中文使用双字节
    UNICODE 统一码Java的char类型字符 就采用Unicode编码 100万+编码位,分为常用字符表,生僻字符表等,我们只是用常用表 常用字符表所有字符都采用双字节
    UTF-8 Unicode传输格式Unicode Transformations Format为了解决Unicode英文字符字节量翻倍的问题,提出的一种变长的编码格式 11 英文单字节某些字符双字节中文三字节一些特殊符号四字节
    @Test
        public void code() throws IOException {
           String s = "我爱你中国";
           System.out.println(s.getBytes("utf-8").length);//15--unicode/u8一个汉字3字节存储
           System.out.println(s.getBytes("gbk").length);//10--中文双字节
           System.out.println(s.getBytes("unicode").length);//12--双字节+2
           System.out.println(s.getBytes("iso-8859-1").length);//5--单字节
        }
    
    展开全文
  • unicode字符编码表

    热门讨论 2009-01-17 05:31:21
    unicode字符编码表 可以用图片浏览器打开 全面详细 看起来方便得多
  • 字符编码表 用一句话说就是编码表格式不一样导致的。因此如果我们在网上下载一个文档发现乱码,其实最大的可能就是人家给我们平常用的编码方式不一样导致的 我们知道计算机底层数据存储的都是二进制数据,而我们生活...

    字符编码表

    在开发中我们有时会遇到乱码问题,其实大多数情况就是字符编码表不一致导致的,在生活中也会遇到这样的问题,比如网上下载别人的文档,打开发现乱码。因此我们有必要了解一下什么是字符编码表。

    我们知道计算机底层数据存储的都是二进制数据,而我们生活中的各种各样的数据,如何才能和计算机中存储的二进制数据对应起来呢?

    这时老美他们就把每一个字符和一个整数对应起来,就形成了一张编码表,老美他们的编码表就是ASCII表。其中就是各种英文字符对应的编码。

    编码表:其实就是生活中字符和计算机二进制的对应关系表。

    1ascii: 一个字节中的7位就可以表示。对应的字节都是正数。0-xxxxxxx

    2iso-8859-1:拉丁码表latin,用了一个字节用的8位。1-xxxxxxx  负数。

    3GB2312:简体中文码表。包含6000-7000中文和符号。用两个字节表示。两个字节都是开头为1,两个字节都是负数。

       GBK:目前最常用的中文码表,2万的中文和符号。用两个字节表示,其中的一部分文字,第一个字节开头是1,第二字节开头是0

        GB18030:最新的中文码表,目前还没有正式使用。

    4unicode:国际标准码表:无论是什么文字,都用两个字节存储。

    l Java中的char类型用的就是这个码表。char c = 'a';占两个字节。

    l Java中的字符串是按照系统默认码表来解析的。简体中文版 字符串默认的码表是GBK。

    5UTF-8:基于unicode,一个字节就可以存储数据,不要用两个字节存储,而且这个码表更加的标准化,在每一个字节头加入了编码信息

    能识别中文的码表:GBKUTF-8;正因为识别中文码表不唯一,涉及到了编码解码问题。

    对于我们开发而言;常见的编码 GBK  UTF-8  ISO-8859-1

    文字--->(数字):编码: 就是看能看懂内容,转换成看不懂的内容。

    (数字)--->文字  :解码: 就是把看不懂的内容,转换成看懂的内容。


    总结:编码和解码参照的编码表不一样大多数情况下都会出现乱码情况,比如参照UTF-8编码的文档,他存储一个英文用一个字节,读取的时候也会默认一次读取一个,而GBK默认是两个,读取的时候也就会是两个。这个时候如果我们用UTF-8格式去解析GBK编码格式文档,当读取一个字节信息它就开始参照编码表格式解析一个字,,这个时候的结果就是乱码了。通俗的说不同的把编码表就像不同的密码本,他们都有一套属于自己的解码和编码格式,因此如果参照一个编码表去解析另一种编码方式加密的文档,肯定是不能真确的解析出来的,这个时候也就乱码了。

    展开全文
  • //IO流-字符编码表转换示例 import java.io.*; class EncodeStream { public static void main(String[] args) throws IOException { //writeText(); readText(); } public static void readTe
    //IO流-字符编码表转换示例
    import java.io.*;
    class EncodeStream 
    {
        public static void main(String[] args) throws IOException
        {
            //writeText();
            readText();
        }
    
        public static void readText() throws IOException
        {
            InputStreamReader isr = new InputStreamReader(new FileInputStream("gbk.txt"),"gbk");
    
            char[] buf = new char[10];//作为缓冲区
            int len = isr.read(buf);
            /*
             int read(char[] cbuf, int offset, int length) 
              将字符读入数组中的某一部分。 
              */
            String str = new String (buf, 0 ,len);
            System.out.println(str);
            isr.close();
    
        }
        public static void writeText() throws IOException
        {
            OutputStreamWriter osw = new OutputStreamWriter(new FileOuptStream("UTF.txt"),"utf-8");
    
            osw.write("你好");
    
            osw.close();
        }
    }
    
    展开全文
  • Unicode 字符编码表|汉字Unicode编码的区间为:0x4E00→0x9FA5 十进制 十六进制  字符数 编码分类(中文) 编码分类(英文) 起始 终止 起始 终止 (个)     0 127 ...
  • Unicode 字符编码表|汉字Unicode编码的区间为:0x4E00→0x9FA5(转) 十进制 十六进制  字符数 编码分类(中文) 编码分类(英文) 起始 终止 起始 终止 (个)   ...
  • 三机工物气每并别真打太新比才便夫再书部水像眼等体却加电主界门利海受听德少克代员许稜先口由死安写性马光白或住难 望教命花结乐色更拉东神记处让母父应直字场平报友关放至张认接告入笑内英军候民岁往何度山觉路...
  • HTML特殊字符编码对照 HTML特殊字符编码对照 HTML特殊字符编码对照
  • 字符编码

    2019-09-20 16:50:51
    中国字符编码表,2Bytes代表一个字符。 Shift_Jis 日本字符编码表 Euc_kr 韩国字符编码表 Unicode 万国码,用2Bytes代表一个字符,兼容所有字符编码。优点是字符到二进制数据的转换速度快,缺点是占用空间大。 UTF-8...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 12,360
精华内容 4,944
关键字:

字符编码表