精华内容
下载资源
问答
  • 每一个二进制位(bit)有01两种状态, 因此八个二进制位就可以组合出 256种状态, 这被称为一个字节(byte). 也就是说, 一个字节一共可以用来表示256种不同的状态, 每一个状态对应一个符号, 就是256个符号, 从 0000000...

    1.1 ASCII码

    我们知道, 在计算机内部, 所有的信息最终都表示为一个二进制的字符串. 每一个二进制

    位(bit)有0和1两种状态, 因此八个二进制位就可以组合出 256种状态, 这被称为一个字

    节(byte). 也就是说, 一个字节一共可以用来表示256种不同的状态, 每一个状态对应一

    个符号, 就是256个符号, 从 0000000到11111111.

    上个世纪60年代, 美国制定了一套字符编码, 对英语字符与二进制位之间的关系, 做了统

    一规定. 这被称为ASCII码, 一直沿用至今.

    ASCII码一共规定了128个字符的编码, 比如空格"SPACE"是32(二进制00100000), 大写的

    字母A是65(二进制01000001). 这128个符号(包括32个不能打印出来的控制符号), 只占用

    了一个字节的后面7位, 最前面的1位统一规定为0.

    1.2 非ASCII编码

    英语用128个符号编码就够了, 但是用来表示其他语言, 128个符号是不够的. 比如, 在法

    语中, 字母上方有注音符号, 它就无法用ASCII码表示. 于是, 一些欧洲国家就决定, 利

    用字节中闲置的最高位编入新的符号. 比如, 法语中的é的编码为130(二进制10000010).

    这样一来, 这些欧洲国家使用的编码体系, 可以表示最多256个符号.

    但是, 这里又出现了新的问题. 不同的国家有不同的字母, 因此, 哪怕它们都使用256个

    符号的编码方式, 代表的字母却不一样. 比如, 130在法语编码中代表了é, 在希伯来语

    编码中却代表了字母Gimel (?), 在俄语编码中又会代表另一个符号.

    NOTE:

    但是不管怎样, 所有这些编码方式中, 0-127表示的符号是一样的, 不一样的只是128-255

    的这一段. // MMMMM

    至于亚洲国家的文字, 使用的符号就更多了, 汉字就多达10万左右. 一个字节只能表示

    256种符号, 肯定是不够的, 就必须使用多个字节表达一个符号. 比如, 简体中文常见的

    编码方式是GB2312, 使用两个字节表示一个汉字, 所以理论上最多可以表示

    256x256=65536个符号.

    2. Unicode

    2.1 Unicode的定义

    正如上一节所说, 世界上存在着多种编码方式, 同一个二进制数字可以被解释成不同的符

    号. 因此, 要想打开一个文本文件, 就必须知道它的编码方式, 否则用错误的编码方式解

    读, 就会出现乱码. 为什么电子邮件常常出现乱码?就是因为发信人和收信人使用的编码

    方式不一样.

    可以想象, 如果有一种编码, 将世界上所有的符号都纳入其中. 每一个符号都给予一个独

    一无二的编码, 那么乱码问题就会消失. 这就是Unicode, 就像它的名字都表示的, 这是

    一种所有符号的编码.

    Unicode也是一种字符编码方法, 不过它是由国际组织设计, 可以容纳全世界所有语言文

    字的编码方案. Unicode的学名是"Universal Multiple-Octet Coded Character Set",

    简称为UCS. UCS可以看作是"Unicode Character Set"的缩写.

    Unicode当然是一个很大的集合, 现在的规模可以容纳100多万个符号. 每个符号的编码都

    不一样, 比如, U+0639表示阿拉伯字母Ain, U+0041表示英语的大写字母A, U+4E25表示汉

    字"严". 具体的符号对应表, 可以查询unicode.org, 或者专门的汉字对应表.

    2.2 Unicode的问题

    需要注意的是, "Unicode只是一个符号集, 它只规定了符号的二进制代码, 却没有规定这

    个二进制代码应该如何存储".

    比如, 汉字"严"的unicode是十六进制数4E25, 转换成二进制数足足有15位

    (100111000100101), 也就是说这个符号的表示至少需要2个字节. 表示其他更大的符号,

    可能需要3个字节或者4个字节, 甚至更多.

    这里就有两个严重的问题, 第一个问题是, 如何才能区别unicode和ascii?计算机怎么知

    道三个字节表示一个符号, 而不是分别表示三个符号呢?第二个问题是, 我们已经知道,

    英文字母只用一个字节表示就够了, 如果unicode统一规定, 每个符号用三个或四个字节

    表示, 那么每个英文字母前都必然有二到三个字节是0, 这对于存储来说是极大的浪费,

    文本文件的大小会因此大出二三倍, 这是无法接受的.

    它们造成的结果是:

    1)  出现了unicode的多种存储方式, 也就是说有许多种不同的二进制格式,

    可以用来表示unicode.

    2)  unicode在很长一段时间内无法推广, 直到互联网的出现

    3. UTF-8

    互联网的普及, 强烈要求出现一种统一的编码方式. UTF-8就是在互联网上使用最广的一

    种unicode的实现方式. 其他实现方式还包括UTF-16和UTF-32, 不过在互联网上基本不用.

    重复一遍, 这里的关系是, UTF-8是Unicode的实现方式之一.

    UTF-8最大的一个特点, 就是它是一种变长的编码方式. 它可以使用1~6个字节表示一个符

    号, 根据不同的符号而变化字节长度.

    3.1 UTF-8的编码规则

    UTF-8的编码规则很简单, 只有两条:

    1) 对于单字节的符号, 字节的第一位设为0, 后面7位为这个符号的unicode码. 因此对于

    英语字母, UTF-8编码和ASCII码是相同的.

    2) 对于n字节的符号(n>1), 第一个字节的前n位都设为1, 第n+1位设为0, 后面字节的前

    两位一律设为10. 剩下的没有提及的二进制位, 全部为这个符号的unicode码.

    下表总结了编码规则, 字母x表示可用编码的位.

    // #txt---

    |  Unicode符号范围      |  UTF-8编码方式

    n |  (十六进制)           | (二进制)

    ---+-----------------------+------------------------------------------------------

    1 | 0000 0000 - 0000 007F |                                              0xxxxxxx

    2 | 0000 0080 - 0000 07FF |                                     110xxxxx 10xxxxxx

    3 | 0000 0800 - 0000 FFFF |                            1110xxxx 10xxxxxx 10xxxxxx

    4 | 0001 0000 - 0010 FFFF |                   11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

    5 | 0020 0000 - 03FF FFFF |          111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

    6 | 0400 0000 - 7FFF FFFF | 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

    表 1. UTF-8的编码规则

    // #txt---end

    下面, 还是以汉字"严"为例, 演示如何实现UTF-8编码.

    已知"严"的unicode是4E25(1001110 00100101), 根据上表, 可以发现4E25处在第三行的

    范围内(0000 0800 - 0000 FFFF), 因此"严"的UTF-8编码需要三个字节, 即格式是

    "1110xxxx 10xxxxxx 10xxxxxx". 然后, 从"严"的最后一个二进制位开始, 依次从后向前

    填入格式中的x, 多出的位补0. 这样就得到了, "严"的UTF-8编码是 "11100100 10111000

    10100101", 转换成十六进制就是E4B8A5.

    4. Little endian和Big endian

    上一节已经提到, Unicode码可以采用UCS-2格式直接存储. 以汉字"严"为例, Unicode码

    是4E25, 需要用两个字节存储, 一个字节是4E, 另一个字节是25. 存储的时候, 4E在前,

    25在后, 就是Big endian方式; 25在前, 4E在后, 就是Little endian方式.

    // Big Endian(4E25)    Little Endian(254E)

    因此, 第一个字节在前, 就是"大头方式"(Big endian), 第二个字节在前就是"小头方式

    "(Little endian).

    打开”记事本“程序Notepad.exe,新建一个文本文件,内容就是一个”严“字,依次采用ANSI,Unicode,Unicode big endian 和 UTF-8编码方式保存。

    然后,用文本编辑软件UltraEdit中的”十六进制功能“,观察该文件的内部编码方式。

    1)ANSI:文件的编码就是两个字节“D1 CF”,这正是“严”的GB2312编码,这也暗示GB2312是采用大头方式存储的。

    2)Unicode:编码是四个字节“FF FE 25 4E”,其中“FF FE”表明是小头方式存储,真正的编码是4E25。

    3)Unicode big endian:编码是四个字节“FE FF 4E 25”,其中“FE FF”表明是大头方式存储。

    4)UTF-8:编码是六个字节“EF BB BF E4 B8 A5”,前三个字节“EF BB BF”表示这是UTF-8编码,后三个“E4B8A5”就是“严”的具体编码,它的存储顺序与编码顺序是一致的。

    4.1 计算机怎么知道某一个文件到底采用哪一种方式编码?(零宽度非换行空格(FEFF))

    Unicode规范中定义, 每一个文件的最前面分别加入一个表示编码顺序的字符, 这个字符

    的名字叫做"零宽度非换行空格"(ZERO WIDTH NO-BREAK SPACE), 用FEFF表示. 这正好是

    两个字节, 而且FF比FE大1.

    // Big Endian(FEFF)    Little Endian(FFFE)

    NOTE:

    如果一个文本文件的头两个字节是FE FF, 就表示该文件采用大头方式; 如果头两个字节

    是FF FE, 就表示该文件采用小头方式.

    5. Unicode与UTF-8之间的转换

    从表1我们很明显可以得知Unicode与UTF-8的关系, 下面以C语言实现两者之间的转换.

    1) 将一个字符的Unicode(UCS-2和UCS-4)编码转换成UTF-8编码.

    // #c---

    /*****************************************************************************

    * 将一个字符的Unicode(UCS-2和UCS-4)编码转换成UTF-8编码.

    *

    * 参数:

    *    unic     字符的Unicode编码值

    *    pOutput  指向输出的用于存储UTF8编码值的缓冲区的指针

    *    outsize  pOutput缓冲的大小

    *

    * 返回值:

    *    返回转换后的字符的UTF8编码所占的字节数, 如果出错则返回 0 .

    *

    * 注意:

    *     1. UTF8没有字节序问题, 但是Unicode有字节序要求;

    *        字节序分为大端(Big Endian)和小端(Little Endian)两种;

    *        在Intel处理器中采用小端法表示, 在此采用小端法表示. (低地址存低位)

    *     2. 请保证 pOutput 缓冲区有最少有 6 字节的空间大小!

    ****************************************************************************/

    int enc_unicode_to_utf8_one(unsigned long unic, unsigned char *pOutput,

    int outSize)

    {

    assert(pOutput != NULL);

    assert(outSize >= 6);

    if ( unic <= 0x0000007F )

    {

    // * U-00000000 - U-0000007F:  0xxxxxxx

    *pOutput     = (unic & 0x7F);

    return 1;

    }

    else if ( unic >= 0x00000080 && unic <= 0x000007FF )

    {

    // * U-00000080 - U-000007FF:  110xxxxx 10xxxxxx

    *(pOutput+1) = (unic & 0x3F) | 0x80;

    *pOutput     = ((unic >> 6) & 0x1F) | 0xC0;

    return 2;

    }

    else if ( unic >= 0x00000800 && unic <= 0x0000FFFF )

    {

    // * U-00000800 - U-0000FFFF:  1110xxxx 10xxxxxx 10xxxxxx

    *(pOutput+2) = (unic & 0x3F) | 0x80;

    *(pOutput+1) = ((unic >>  6) & 0x3F) | 0x80;

    *pOutput     = ((unic >> 12) & 0x0F) | 0xE0;

    return 3;

    }

    else if ( unic >= 0x00010000 && unic <= 0x001FFFFF )

    {

    // * U-00010000 - U-001FFFFF:  11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

    *(pOutput+3) = (unic & 0x3F) | 0x80;

    *(pOutput+2) = ((unic >>  6) & 0x3F) | 0x80;

    *(pOutput+1) = ((unic >> 12) & 0x3F) | 0x80;

    *pOutput     = ((unic >> 18) & 0x07) | 0xF0;

    return 4;

    }

    else if ( unic >= 0x00200000 && unic <= 0x03FFFFFF )

    {

    // * U-00200000 - U-03FFFFFF:  111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

    *(pOutput+4) = (unic & 0x3F) | 0x80;

    *(pOutput+3) = ((unic >>  6) & 0x3F) | 0x80;

    *(pOutput+2) = ((unic >> 12) & 0x3F) | 0x80;

    *(pOutput+1) = ((unic >> 18) & 0x3F) | 0x80;

    *pOutput     = ((unic >> 24) & 0x03) | 0xF8;

    return 5;

    }

    else if ( unic >= 0x04000000 && unic <= 0x7FFFFFFF )

    {

    // * U-04000000 - U-7FFFFFFF:  1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

    *(pOutput+5) = (unic & 0x3F) | 0x80;

    *(pOutput+4) = ((unic >>  6) & 0x3F) | 0x80;

    *(pOutput+3) = ((unic >> 12) & 0x3F) | 0x80;

    *(pOutput+2) = ((unic >> 18) & 0x3F) | 0x80;

    *(pOutput+1) = ((unic >> 24) & 0x3F) | 0x80;

    *pOutput     = ((unic >> 30) & 0x01) | 0xFC;

    return 6;

    }

    return 0;

    }

    // #c---end

    2) 将一个字符的UTF8编码转换成Unicode(UCS-2和UCS-4)编码.

    // #c---

    /*****************************************************************************

    * 将一个字符的UTF8编码转换成Unicode(UCS-2和UCS-4)编码.

    *

    * 参数:

    *    pInput      指向输入缓冲区, 以UTF-8编码

    *    Unic        指向输出缓冲区, 其保存的数据即是Unicode编码值,

    *                类型为unsigned long .

    *

    * 返回值:

    *    成功则返回该字符的UTF8编码所占用的字节数; 失败则返回0.

    *

    * 注意:

    *     1. UTF8没有字节序问题, 但是Unicode有字节序要求;

    *        字节序分为大端(Big Endian)和小端(Little Endian)两种;

    *        在Intel处理器中采用小端法表示, 在此采用小端法表示. (低地址存低位)

    ****************************************************************************/

    int enc_utf8_to_unicode_one(const unsigned char* pInput, unsigned long *Unic)

    {

    assert(pInput != NULL && Unic != NULL);

    // b1 表示UTF-8编码的pInput中的高字节, b2 表示次高字节, ...

    char b1, b2, b3, b4, b5, b6;

    *Unic = 0x0; // 把 *Unic 初始化为全零

    int utfbytes = enc_get_utf8_size(*pInput);

    unsigned char *pOutput = (unsigned char *) Unic;

    switch ( utfbytes )

    {

    case 0:

    *pOutput     = *pInput;

    utfbytes    += 1;

    break;

    case 2:

    b1 = *pInput;

    b2 = *(pInput + 1);

    if ( (b2 & 0xE0) != 0x80 )

    return 0;

    *pOutput     = (b1 <

    *(pOutput+1) = (b1 >> 2) & 0x07;

    break;

    case 3:

    b1 = *pInput;

    b2 = *(pInput + 1);

    b3 = *(pInput + 2);

    if ( ((b2 & 0xC0) != 0x80) || ((b3 & 0xC0) != 0x80) )

    return 0;

    *pOutput     = (b2 <

    *(pOutput+1) = (b1 <> 2) & 0x0F);

    break;

    case 4:

    b1 = *pInput;

    b2 = *(pInput + 1);

    b3 = *(pInput + 2);

    b4 = *(pInput + 3);

    if ( ((b2 & 0xC0) != 0x80) || ((b3 & 0xC0) != 0x80)

    || ((b4 & 0xC0) != 0x80) )

    return 0;

    *pOutput     = (b3 <

    *(pOutput+1) = (b2 <> 2) & 0x0F);

    *(pOutput+2) = ((b1 <> 4) & 0x03);

    break;

    case 5:

    b1 = *pInput;

    b2 = *(pInput + 1);

    b3 = *(pInput + 2);

    b4 = *(pInput + 3);

    b5 = *(pInput + 4);

    if ( ((b2 & 0xC0) != 0x80) || ((b3 & 0xC0) != 0x80)

    || ((b4 & 0xC0) != 0x80) || ((b5 & 0xC0) != 0x80) )

    return 0;

    *pOutput     = (b4 <

    *(pOutput+1) = (b3 <> 2) & 0x0F);

    *(pOutput+2) = (b2 <> 4) & 0x03);

    *(pOutput+3) = (b1 <

    break;

    case 6:

    b1 = *pInput;

    b2 = *(pInput + 1);

    b3 = *(pInput + 2);

    b4 = *(pInput + 3);

    b5 = *(pInput + 4);

    b6 = *(pInput + 5);

    if ( ((b2 & 0xC0) != 0x80) || ((b3 & 0xC0) != 0x80)

    || ((b4 & 0xC0) != 0x80) || ((b5 & 0xC0) != 0x80)

    || ((b6 & 0xC0) != 0x80) )

    return 0;

    *pOutput     = (b5 <

    *(pOutput+1) = (b5 <> 2) & 0x0F);

    *(pOutput+2) = (b3 <> 4) & 0x03);

    *(pOutput+3) = ((b1 <

    break;

    default:

    return 0;

    break;

    }

    return utfbytes;

    }

    // #c---end

    6. 延伸阅读

    * http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html

    * The Absolute Minimum Every Software Developer Absolutely, Positively Must

    Know About Unicode and Character Sets(关于字符集的最基本知识)

    http://www.joelonsoftware.com/articles/Unicode.html

    * 谈谈Unicode编码

    http://www.pconline.com.cn/pcedu/empolder/gj/other/0505/616631.html

    * RFC3629: UTF-8, a transformation format of ISO 10646(如果实现UTF-8的规定)

    展开全文
  • 二进制和字符串互转

    2008-01-07 15:56:00
    usingSystem; usingSystem.Collections.Generic; usingSystem.Text; classExchangeDinaryString { /**////<summary> ///作者:Tonyyang ///2008-01-07 ...///功能:二进制和unicodeString...
    using System;
    using System.Collections.Generic;
    using System.Text;


    class ExchangeDinaryString
    {
        
    /**//// <summary>
        
    ///作者:Tonyyang
        
    ///2008-01-07
        
    ///功能:二进制和unicodeString 互转;
        
    /// </summary>

        UnicodeEncoding unicode;
        
    public void ExchangeDinaryString()
        
    {
            
    //初始化
            unicode = new UnicodeEncoding();
        }


        
    /**//// <summary>
        
    /// 二进制转unicodeString
        
    /// </summary>
        
    /// <param name="encodedBytes">二进制</param>
        
    /// <param name="unicodeString">要转换的字符串</param>
        
    /// <returns></returns>

        public string GetStringByBinary(Byte[] encodedBytes)
        
    {
            
    return unicode.GetString(encodedBytes);
        }


        
    /**//// <summary>
        
    /// unicodeString转二进制
        
    /// </summary>
        
    /// <param name="unicodeString">字符串</param>
        
    /// <param name="encodedBytes">二进制</param>
        
    /// <returns></returns>

        public Byte[] GetBytesByUnicodeString(string unicodeString)
        
    {
            
    return unicode.GetBytes(unicodeString);
        }

    }

    转载于:https://www.cnblogs.com/Tonyyang/archive/2008/01/07/1029139.html

    展开全文
  • 现在搞懂了文本文件与二进制文件之间的关系啦. 我们可以利用二进制编辑器查看文本文件. 上图红框中的左边是十六进制显示的,右边是文本(ascii 在程序中有这么一句: 开始我不明白为什么要写两个字节的"fffe...

    从网上找到一篇文章, 写的挺基础, 通俗易懂的, 和大家分享:

     

     



    现在搞懂了文本文件与二进制文件之间的关系啦.

    我们可以利用二进制编辑器查看文本文件.


    上图红框中的左边是十六进制显示的,右边是文本(ascii

    在程序中有这么一句:

    开始我不明白为什么要写两个字节的"fffe", 后才上网查了一下资料才发现,这与编码方式有关.

    UTF的字节序和BOM

    UTF-8以字节为编码单元,没有字节序的问题。UTF-16以两个字节为编码单元,在解释一个UTF-16文本前,首先要弄清楚每个编码单元的字节序。例如收到一个"奎"的Unicode编码是594E,"乙"的Unicode编码是4E59。如果我们收到UTF-16字节流"594E",那么这是"奎"还是"乙"?

    Unicode规范中推荐的标记字节顺序的方法是BOM。BOM不是"Bill Of Material"的BOM表,而是Byte Order Mark。 BOM是一个有点小聪明的想法:在UCS编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"的字符,它的编码是FEFF。而FFFE在UCS中是不存在的字符,所以不应该出现在实际传输中。UCS规范建议我们在传输字节流前,先传输 字符"ZERO WIDTH NO-BREAK SPACE"。

    这样如果接收者收到FEFF,就表明这个字节流是Big-Endian的;如果收到FFFE,就表明这个字节流是Little-Endian的。因此字符"ZERO WIDTH NO-BREAK SPACE"又被称作BOM。

    UTF-8不需要BOM来表明字节顺序,但可以用BOM来表明编码方式。字符"ZERO WIDTH NO-BREAK SPACE"的UTF-8编码是EF BB BF。所以如果接收者收到以EF BB BF开头的字节流,就知道这是UTF-8编码了。

    Windows就是使用BOM来标记文本文件的编码方式的。

    ———————————————————-

    好了﹐这些问题解决后﹐我们就来做单纯的文本文件的编码识别﹐读取与写入测试吧。

    以windows的notepad为例(其它的文本文件读取软件的原理应该也差不多﹐只是会多一些特殊的判断算法而已)。

    notepad默认有四种编码来存储和读取文本文件。分别是﹕

    ANSI,Unicode,Unicode-big-endian和UTF-8。

    首先来讲ANSI吧﹐这个是windows操作系统在区域与语言块设置的编码(也就是系统默认的编码)﹐因此像繁体操作系统就是big5,而简体操作系统则是GBK

    而Unicode和UTF-8这两种格式相信大家已经有所了解(当然前者是unicode-16)

    而Unicode-big-endian是什么意思呢﹐它与Unicode几乎一样﹐只是它把高位放在前面(而后者则刚好相反)

    上面的摘录已经有所说明﹐这里再解释一下﹕

    如同样是字符"A"﹐在以下几种格式中的存储形式分别是﹕

    UTF-16 big-endian : 00 41

    UTF-16 little-endian : 41 00

    UTF-32 big-endian : 00 00 00 41

    UTF-32 little-endian : 41 00 00 00

    好了﹐大家想一想﹐文本文件在硬盘中是以字节形式存储的﹐如果不知道文本文件的编码﹐那是无论如何也不能正确读出文本文件显示给用户看的(乱码了只有人才知道﹐程序则认为一切正常)

    根据BOM的规则﹐因此在一段字节流开始时﹐如果接收到以下字节﹐则分别表明了该文本文件的编码。
    UTF-8: EF BB BF

    UTF-16 : FF FE

    UTF-16 big-endian: FE FF

    UTF-32 little-endian: FF FE 00 00

    UTF-32 big-endian: 00 00 FE FF

    而如果不是以这个开头﹐那程序则会以ANSI,也就是系统默认编码读取

    展开全文
  • Unicode汉字,十进制之间互转!二进制、十六进制,十进制的转换

    Unicode 码和汉字,十进制之间互转!二进制、十六进制,十进制的转换

    用法文档这里就不介绍了!直接上代码

    package org.transition;
    
    import java.util.regex.Matcher;
    import java.util.regex.Pattern;
    
    public class StringAndUnicode {
    
    	
    	public static void main(String[] args) {
    		String s="加务劢";
           System.out.println("加务劢对应unicode码:"+strToUnicode(s));//把汉字转成UNICODE
            //unioncde 转汉字
           System.out.println("unioncde 转汉字:"+unicodeToStr("\u52a0\u52a1\u52a2"));
            //把unicode 转十进制  \u52a0=21152
           int dec=hexToDic("\\u52a0");
           System.out.println("unicode转为十进制:"+dec);
            
            
        }
    	
    	/**
    	 * 把汉字转成UNICODE
    	 */
    	private static String strToUnicode(String s) {
    		String str = "";
            for (int i = 0; i < s.length(); i++) {
                int ch = (int) s.charAt(i);
                if (ch > 255)
                    str += "\\u" + Integer.toHexString(ch);
    	           else
                    str += "\\" + Integer.toHexString(ch);
            }
            
           return str;
    	}
    		
    	
    	/**
    	 * unicode 转成汉字
    	 */
    	
    	public static String unicodeToStr(String str){
    		//将给定的正则表达式编译到模式中。
    		//\\u 以便在从文件或键盘击键读取的表达式中使用 Unicode 转义
    		// \p{XDigit} 十六进制数字:[0-9a-fA-F]
    		Pattern p=Pattern.compile("(\\\\u(\\p{XDigit}{4}))");
    	    //创建匹配给定输入与此模式的匹配器。
    		Matcher m=p.matcher(str);
    		
    		char c;
    		//方法扫描输入序列以查找与该模式匹配的下一个子序列。
    		while(m.find()){
    			//返回在以前匹配操作期间由给定组捕获的输入子序列。
    			String temp=m.group(2);
    			c=(char)Integer.parseInt(temp,16);
    			str = str.replace(m.group(1), c + "");  
    		}
    		
    		return str;
    	}
    	
    	/**
    	 * 4个16进制快速转10进制 ,这个是方便自已算 自已写的,肯定会有不足
    	 */
    	
    	public static int hexToDic(String hex){
    		
    		hex=hex.toUpperCase();
    		//去除\\u 参数一定要加上转义附\ 要不然会自动转换为有效汉字的
    		if("\\U".equals(hex.substring(0,2)))
    			hex=hex.substring(2);
    		
    		int res=0;
    		Character [] charArray=new Character[]{'0', '1', '2', '3', '4', '5', '6', '7', '8', '9','A','B','C','D','E','F'};
    		
    		char[] charAr=hex.toCharArray();
    		if(charAr.length!=4){
    			System.out.println("该方法只转换4位16进制 用于计算unicode 对应的 十进");
    		return 0;
    		}
    		
    		int pow=0;
    		for(int i=0;i<4;i++){
    			switch (i) {
    			case 0:pow=3;break;
    			case 1:pow=2;break;
    			case 2:pow=1;break;
    			case 3:pow=0;break;
    			}
    			
    			Character c=charAr[i];
    			for(int j=0;j<charArray.length;j++){
    				char charHex=charArray[j];
    				//取出字母对应的数字
    				if(c.equals(charHex)){
    					//得到次方合
    					int powRes=(int) Math.pow(16, pow);
    					//具体数字十六进制数*次方和=
    					res+=j*powRes;
    				}
    			}
    		}
    		return res;
    	}
    
    }
    


    ===============================

    二进制,十进制,十六进制转换!以下代码是转载的!简单测试了几个,还行

    package org.rui.algorithm;
    public class StrBinaryTurn {
    	
    	
    	
    	
    	public static void main(String[] args) {
    		String abc="abc";
    		
    		StrBinaryTurn sbt=new StrBinaryTurn();
    		String bin=sbt.StrToBinstr(abc);
    		System.out.println("bin:"+bin);
    		
    		String str=sbt.BinstrToStr(bin);
    		System.out.println("str:"+str);
    	
    		
    	}
    	
        //将Unicode字符串转换成bool型数组
        public boolean[] StrToBool(String input){
            boolean[] output=Binstr16ToBool(BinstrToBinstr16(StrToBinstr(input)));
            return output;
        }
        //将bool型数组转换成Unicode字符串
        public String BoolToStr(boolean[] input){
            String output=BinstrToStr(Binstr16ToBinstr(BoolToBinstr16(input)));
            return output;
        }
        //将字符串转换成二进制字符串,以空格相隔
        public String StrToBinstr(String str) {
            char[] strChar=str.toCharArray();
            String result="";
            for(int i=0;i<strChar.length;i++){
                result +=Integer.toBinaryString(strChar[i])+ " ";
            }
            return result;
        }
        //将二进制字符串转换成Unicode字符串
        public String BinstrToStr(String binStr) {
            String[] tempStr=StrToStrArray(binStr);
            char[] tempChar=new char[tempStr.length];
            for(int i=0;i<tempStr.length;i++) {
                tempChar[i]=BinstrToChar(tempStr[i]);
            }
            return String.valueOf(tempChar);
        }
        //将二进制字符串格式化成全16位带空格的Binstr
        private String BinstrToBinstr16(String input){
            StringBuffer output=new StringBuffer();
            String[] tempStr=StrToStrArray(input);
            for(int i=0;i<tempStr.length;i++){
                for(int j=16-tempStr[i].length();j>0;j--)
                    output.append('0');
                output.append(tempStr[i]+" ");
            }
            return output.toString();
        }
        //将全16位带空格的Binstr转化成去0前缀的带空格Binstr
        private String Binstr16ToBinstr(String input){
            StringBuffer output=new StringBuffer();
            String[] tempStr=StrToStrArray(input);
            for(int i=0;i<tempStr.length;i++){
                for(int j=0;j<16;j++){
                    if(tempStr[i].charAt(j)=='1'){
                        output.append(tempStr[i].substring(j)+" ");
                        break;
                    }
                    if(j==15&&tempStr[i].charAt(j)=='0')
                        output.append("0"+" ");
                }
            }
            return output.toString();
        }   
        //二进制字串转化为boolean型数组  输入16位有空格的Binstr
        private boolean[] Binstr16ToBool(String input){
            String[] tempStr=StrToStrArray(input);
            boolean[] output=new boolean[tempStr.length*16];
            for(int i=0,j=0;i<input.length();i++,j++)
                if(input.charAt(i)=='1')
                    output[j]=true;
                else if(input.charAt(i)=='0')
                    output[j]=false;
                else
                    j--;
            return output;
        }
        //boolean型数组转化为二进制字串  返回带0前缀16位有空格的Binstr
        private String BoolToBinstr16(boolean[] input){ 
            StringBuffer output=new StringBuffer();
            for(int i=0;i<input.length;i++){
                if(input[i])
                    output.append('1');
                else
                    output.append('0');
                if((i+1)%16==0)
                    output.append(' ');           
            }
            output.append(' ');
            return output.toString();
        }
        //将二进制字符串转换为char
        private char BinstrToChar(String binStr){
            int[] temp=BinstrToIntArray(binStr);
            int sum=0;   
            for(int i=0; i<temp.length;i++){
                sum +=temp[temp.length-1-i]<<i;
            }   
            return (char)sum;
        }
        //将初始二进制字符串转换成字符串数组,以空格相隔
        private String[] StrToStrArray(String str) {
            return str.split(" ");
        }
        //将二进制字符串转换成int数组
        private int[] BinstrToIntArray(String binStr) {       
            char[] temp=binStr.toCharArray();
            int[] result=new int[temp.length];  
            
            for(int i=0;i<temp.length;i++) {
                result[i]=temp[i]-48;
            }
            return result;
        }
       
    
       
    }


    展开全文
  • 下面进行了解UTF-8的二进制编码方式。 为啥要了解这个,因为js中所有是string类型都是使用UTF-16编码的 因此我们与后端进行通信时,需要转换成与之一致的编码。(后端或者前端转换) UTF-8编码方式 注: 1. Unicode码...
  • 二进制文件查看器

    2013-11-29 14:43:57
    支持二进制和十六进制查看文件,并且可以自定义窗口布局和窗口显示格式,包括(二进制、十六进制、UNICODE等编码),很不错的文件查看器。
  • 每一个二进制位(bit)有01两种状态,因此8个二进制位就可以组合出256种状态,这被称为一个字节(byte)。一个字节一共可以用来表示256种不同的状态,每一个状态对应一个符号,就是256个符号,从0000000到11111111。...
  • 简单来说,文本文件是一种特殊的二进制文件,相当于文本文件的编码默认是ASCII或者Unicode。但是二进制文件却有着更多的文件编码方式。这两种文件最终都是以01的方式存储的。这两种文件只是在最终打开的时候被解释的...
  • 今天看别人写的程序, 有一点不是很明白, 就是在mfc的程序中利用CFile在写文件时是怎么区别二进制文件文本文件的. 首先说一下二进制文件文本文件的区别: 从网上找到一篇文章, 写的挺基础, 通俗易懂的, ...
  • 文本文件和二进制文件都是计算机文件,在计算机中的物理存储都是二进制的, 没有本质的区别;真正的区别是在逻辑上的,也就是编码层次上的差异。 ii. 文本文件是以ASCII码、Unicode码表示的纯文本文件,只能存储...
  • 文本文件是基于字符编码的文件,常见的有ASCII、Unicode等,二进制文件是基于值编码的文件,可以看成是变长编码,你可以根据自己的需要,决定多少个比特代表一个值。 二进制文件:就是把内存中的数据按其在内存中...
  • 转载地址:文本文件与二进制文件区别     一、文本文件与二进制文件的定义  大家都知道计算机的存储在物理上是二进制的,所以文本文件与二进制文件的区别并不是物理上的,而是 逻辑上的。这两者只是在...
  • 事件驱动的WebAssembly二进制和文本解析器 特征 事件驱动 WebAssembly二进制解析 WebAssembly文本解析 部分解析 文字格式转储 WASM规格 格式正确的UTF-8字节序列 基于Unicode标准11.0第3.9节,表3-7。 代码...
  • ascw表示对于unicode字符转化二进制的处理 '字符串转成二进制Public Function StringToBinary(ByVal VarString As String) As Variant Dim strBin As Variant Dim varchar As String Dim varasc ...
  • 大家都知道计算机的存储在物理上是二进制的,所以文本文件与二进制文件的区别并不是物理上的,而是逻辑上的。这两者只是在编码层次上有差异。 简单来说,文本文件是基于字符编码的文件,常见的编码有ASCII编码,...
  • 计算机的存储在物理上是二进制的,所以文本文件与二进制文件的区别并不是物理上的,而是逻辑上的。这两者只是在编码层次上有差异。 简单来说,文本文件是基于字符编码的文件,常见的编码有ASCII编码,UNICODE编码...
  • 二进制文件文本文件的区别

    千次阅读 2017-04-10 22:19:10
    文本文件与二进制文件的定义  文本文件:是基于字符编码的文件,常见的编码有ASCII编码,UNICODE编码等等。  二进制文件:是基于值编码的文件,你可以根据具体应用,指定某个值是什么意思(这样一个过程,可以...
  • 今天看别人写的程序, 有一点不是很明白, 就是在mfc的程序中利用CFile在写文件时是怎么区别二进制文件文本文件的. 首先说一下二进制文件文本文件的区别: 从网上找到一篇文章, 写的挺基础, 通俗易懂的, 大家...
  • 今天来学习UTF8转Unicode,UTF16转Unicode以达成UTF8,UTF16之间的互转。 提炼成函数的公式我并没有放出来,我的目的只是为了更加理解 字符编码之间的关系。 如果你需要转码方式,可以找其他的库,或者根据我文章来...
  • %用法1、整数的输出%o —— oct 八进制%d —— dec 十进制%x —— hex 十六进制1 >>> print('%o' % 20)2 243 >>> print('%d' % 20)4 205 >>> print('%x' % 20)6 142、浮点数输出(1)格式...
  • 任务02 二进制编辑文本BMP位图任务说明任务要求知识点操作平台任务探索ASCII码UTF-8编码BMP位图绘制 任务说明 任务要求 使用二进制数据编辑器Hex Editor Neo,直接编辑文件原数据; 用ASCII码生成一段英文文本 用...
  • 文件流和二进制

    千次阅读 2014-11-13 23:31:11
    C语言读写文件有两种方式ASCII 二进制。现在举例说明: 内存中的字符或字符串都是文本模式(unicode编码存储,统一长度,定长码,方便) 内存中的其他变量都是以二进制编码存储 程序的代码以文本模式ASCII码...
  • 文本文件与二进制文件区别 一、文本文件与二进制文件的定义  大家都知道计算机的存储在物理上是二进制的,所以文本文件与二进制文件的区别并不是物理上的,而是逻辑上的。这两者只是在编码层次上有差异。...
  • 简单来说, 文本文件是基于字符编码的文件, 常见的编码有ASCII编码和UNICODE编码等, 二进制是基于值编码的文件, 可以根据具体应用指定某个值是什么意思.  从以上可以看出文本文件基本上是定长编码的, 基于字符, 每...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 3,114
精华内容 1,245
关键字:

二进制和unicode