精华内容
下载资源
问答
  • 编码转换

    千次阅读 2010-03-16 13:23:00
    编码定义 在计算机硬件中,编码(coding)是在一个主题或单元上为数据存储,管理和分析的目的而转换信息为编码值(典型地如数字)的过程。在软件中,编码意味着逻辑地使用一个特定的语言如C或C++来执行一个程序。在...

    编码定义  在计算机硬件中,编码(coding)是在一个主题或单元上为数据存储,管理和分析的目的而转换信息为编码值(典型地如数字)的过程。在软件中,编码意味着逻辑地使用一个特定的语言如C或C++来执行一个程序。在密码学中,编码是指在编码或密码中写的行为。

      将数据转换为代码或编码字符,并能译为原数据形式。是计算机书写指令的过程,程序设计中的一部分。在地图自动制图中,按一定规则用数字与字母表示地图内容的过程,通过编码,使计算机能识别地图的各地理要素。

      n位二进制数可以组合成2的n次方个不同的信息,给每个信息规定一个具体码组,这种过程也叫编码。

      数字系统中常用的编码有两类,一类是二进制编码,另一类是二—十进制编码。

    汉字的编码体系

      1.ASCIIBinary

      我们日常接触到的文件分ASCII和Binary两种。ASCII是“美国信息交换标准编码”的英文字头缩写,可称之为“美标”。美标规定了用从0到127的128个数字来代表信息的规范编码,其中包括33个控制码,一个空格码,和94个形象码。形象码中包括了英文大小写字母,阿拉伯数字,标点符号等。我们平时阅读的英文电脑文本,就是以形象码的方式传递和存储的。美标是国际上大部分大小电脑的通用编码。

      然而电脑中的一个字符大都是用一个八位数的二进制数字表示。这样每一字符便可能有256个不同的数值。由于美标只规定了128个编码,剩下的另外128个数码没有规范,各家用法不一。另外美标中的33个控制码,各厂家用法也不尽一致。这样我们在不同电脑间交换文件的时候,就有必要区分两类不同的文件。第一类文件中每一个字都是美标形象码或空格码。这类文件称为“美标文本文件”(ASCII Text Files),或略为“文本文件”,通常可在不同电脑系统间直接交换。第二类文件,也就是含有控制码或非美标码的文件,通常不能在不同电脑系统间直接交换。这类文件有一个通称,叫“二进制文件”(Binary Files)。

      2.国标区位、“准国标”

      “国标”是“中华人民共和国国家标准信息交换用汉字编码”的简称。国标表(基本表)把七千余汉字、以及标点符号、外文字母等,排成一个94行、94列的方阵。方阵中每一横行叫一个“区”,每个区有九十四个“位”。一个汉字在方阵中的坐标,称为该字的“区位码”。例如“中”字在方阵中处于第54区第48位,它的区位码就是5448。

      其实94这个数字。它是美标中形象码的总数。国标表沿用这个数字,本意大概是要用两个美标形象符代表一个汉字。由于美标形象符的编码是从33到126,汉字区、位码如果各加上32,就会与美标形象码的范围重合。如上例“中”字区、位码加上32后,得86,80。这两个数字的十六进制放在一起得5650,称为该字的“国标码”,而与其相对应的两个美标符号,VP,也就是“中”字的“国标符”了。

      这样就产生了一个如何区分国标符与美标符的问题。在一个中英文混用的文件里,“VP”到底代表“中”字呢,还是代表某个英文字头缩写?电子工业部第六研究所开发CCDOS的时候,使用了一个简便的解决方案:把国标码的两个数字各加上128,上升到非美标码的位置。(改变后的国标码,习惯上仍叫“国标”。)

      这个方案固然解决了原来的问题,可是新的问题随之产生。中文文件成了“二进制文件”,既不能可靠地在不同电脑系统间交换,也不与市场上大部分以美标符号为设计对象的软件兼容。

      为了区分以上两种“国标”,我们把原与美标形象码重合的国标码称为“纯国标” ,而把CCDOS加上128的国标码称为“准国标”。

      3.GBK码:

      GBK码是GB码的扩展字符编码,对多达2万多的简繁汉字进行了编码,简体版的Win95和Win98都是使用GBK作系统内码。

      从实际运用来看,微软自win95简体中文版开始,系统就采用GBK代码,它包括了TrueType宋体、黑体两种GBK字库(北京中易电子公司提供),可以用于显示和打印,并提供了四种GBK汉字的输入法。此外,浏览器IE4.0简体、繁体中文版内部提供了一个GBK-BIG5代码双向转换功能。此外,微软公司为IE提供的语言包中,简体中文支持(Simplified Chinese Language Support Kit)的两种字库宋体、黑体,也是GBK汉字(珠海四通电脑排版系统开发公司提供)。其他一些中文字库生产厂商,也开始提供TrueType或PostScript GBK字库。

      许多外挂式的中文平台,如南极星、四通利方(Richwin)等,提供GBK码的支持,包括字库、输入法和GBK与其他中文代码的转化器。

      互联网方面,许多网站网页使用GBK代码。

      但是多数搜索引擎都不能很好的支持GBK汉字搜索,大陆地区的搜索引擎有些能不完善的支持GBK汉字检索。

      其实,GBK是又一个汉字编码标准,全称《汉字内码扩展规范》(Chinese Internatial Code Specification),1995年颁布。GB是国标,K是汉字“扩展”的汉语拼音第一个字母。

      GBK向下与GB-2312编码兼容,向上支持ISO 10646.1国际标准,是前者向后者过渡的一个承启标准。

      GBK规范收录了ISO 10646.1中的全部CJK汉字和符号,并有所补充。具体包括:GB 2312中的全部汉字、非汉字符号;GB 13000.1中的其他CJK汉字。以上合计20902个GB化汉字;《简化总表中》未收入GB 13000.1的52个汉字;《康熙字典》以及《辞海》中未被收入GB 13000.1的28个部首及重要构件;13个汉字结构符;BIG-5中未被GB 2312收入、但存在于GB 13000.1的139个图形符号;GB 12345增补的6个拼音符号;GB 12345增补的19个竖排图形符号(GB 12345较GB 2312增补竖排标点符号29个,其中10个未被GB 13000.1收入,故GBK亦不收);从GB 13000.1的CJK兼容区挑选出的21个汉字;GB 13000.1收入的31个IBM OS/2专用符号。GBK亦采用双字节表示,总体编码范围为0x8140~0xFEFE之间,首字节在0x81~0xFE之间,尾字节在0x40~0xFE之间,剔除0x××7F一条线,总计23940个码位,共收入21886个汉字和图形符号,其中汉字(包括部首和构件)21003个,图形符号883个。

      4.BIG5码

      BIG5码是针对繁体汉字的汉字编码,目前在台湾、香港的电脑系统中得到普遍应用。BIG5码的编码范围参考下文。

      5.HZ码:

      HZ码是在Internet上广泛使用的一种汉字编码。“HZ”方案的特点,是以“纯国标”的中文与美标码混用。那么“HZ”是怎样区分国标符和美标符的呢?答案其实也很简单:当一串美标码中间插入一段国标码的时候,我们便在国标码的前面加上~,后面加上~。这些附加码分别叫“逃出码”和“逃入码”。 由于这些附加码本身也是美标形象码,整个文件就俨然是一个美标文本文件,可以安然地 在电脑网上传递,也和大部分英文文本处理软件兼容。

      6.ISO-2022CJK码:

      ISO-2022是国际标准组织(ISO)为各种语言字符制定的编码标准。采用二个字节编码,其中汉语编码称ISO-2022 CN,日语、韩语的编码分别称JP、KR。一般将三者合称CJK码。目前CJK码主要在Internet网络中使用。

      7.UCS 和 ISO 10646:

      1993年,国际标准ISO10646 定义了通用字符集 (Universal Character Set, UCS)。 UCS 是所有其他字符集标准的一个超集。它保证与其他字符集是双向兼容的。就是说, 如果你将任何文本字符串翻译到 UCS格式,然后再翻译回原编码, 你不会丢失任何信息。

      UCS 包含了用于表达所有已知语言的字符。不仅包括拉丁语,希腊语,斯拉夫语,希伯来语,阿拉伯语,亚美尼亚语和乔治亚语的描述, 还包括中文,日文和韩文这样的象形文字,以及平假名,片假名,孟加拉语, 旁遮普语果鲁穆奇字符(Gurmukhi), 泰米尔语, 印.埃纳德语(Kannada),Malayalam,泰国语, 老挝语, 汉语拼音(Bopomofo), Hangul,Devangari,Gujarati, Oriya,Telugu 以及其它语种。对于还没有加入的语言, 由于正在研究怎样在计算机中最好地编码它们, 因而最终它们都将被加入。这些语言包括Tibetian,高棉语,Runic(古代北欧文字),埃塞俄比亚语, 其他象形文字,以及各种各样的印-欧语系的语言,还包括挑选出来的艺术语言比如 Tengwar,Cirth 和 克林贡语(Klingon)。UCS 还包括大量的图形的,印刷用的,数学用的和科学用的符号,包括所有由 TeX,Postscript, MS-DOS,MS-Windows, Macintosh, OCR 字体, 以及许多其他字处理和出版系统提供的字符。

      ISO 10646 定义了一个 31 位的字符集。 然而, 在这巨大的编码空间中, 迄今为止只分配了前 65534 个码位 (0x0000 到 0xFFFD)。这个UCS的16位子集称为基本多语言面 (Basic Multilingual Plane, BMP)。 将被编码在16位BMP以外的字符都属于非常特殊的字符(比如象形文字), 且只有专家在历史和科学领域里才会用到它们。按当前的计划, 将来也许再也不会有字符被分配到从0x000000到0x10FFFF这个覆盖了超过100万个潜在的未来字符的 21 位的编码空间以外去了。ISO 10646-1标准第一次发表于1993年, 定义了字符集与 BMP 中内容的架构。定义 BMP以外的字符编码的第二部分 ISO 10646-2 正在准备中, 但也许要过好几年才能完成。新的字符仍源源不断地加入到 BMP 中, 但已经存在的字符是稳定的且不会再改变了。

      UCS 不仅给每个字符分配一个代码, 而且赋予了一个正式的名字。表示一个 UCS 或 Unicode 值的十六进制数, 通常在前面加上 “U+”, 就象U+0041 代表字符“拉丁大写字母A”。UCS字符U+0000到U+007F 与 US-ASCII(ISO 646) 是一致的, U+0000 到 U+00FF 与 ISO 8859-1(Latin-1) 也是一致的。从 U+E000 到 U+F8FF,已经BMP 以外的大范围的编码是为私用保留的。

      1993年,ISO10646中定义的USC-4 (Universal Character Set) ,使用了4 个字节的宽度以容纳足够多的相当可观的空间,但是这个过于肥胖的字符标准在当时乃至现在都有其不现实的一面,就是会过分侵占存储空间并影响信息传输的效率。 与此同时,Unicode 组织于约 10 年前以 Universal, Unique和Uniform 为主旨也开始开发一个16位字符标准, 为避免两种16位编码的竞争,1992年两家组织开始协商,以期折衷寻找共同点,这就是今天的 UCS-2 (BMP,Basic Multilingual Plane,16bit) 和Unicode,但它们仍然是不同的方案。

      8.Unicode码:

      关于Unicode我们需要追溯一下它产生的渊源。

      当计算机普及到东亚时,遇到了使用表意字符而非字母语言的中、日、韩等国家。在这些国家使用的语言中常用字符多达几千个,而原来字符采用的是单字节编码,一张代码页中最多容纳的字符只有28=256个,对于使用表意字符的语言是在无能为力。既然一个字节不够,自然人们就采用两个字节,所有出现了使用双字节编码的字符集(DBCS)。不过双字节字符集中虽然表意字符使用了两个字节编码,但其中的ASCII码和日文片假名等仍用单字节表示,如此一来给程序员带来了不小的麻烦,因为每当设计到DBCS字符串的处理时,总是要判断当中的一个字节到底表示的是一个字符还是半个字符,如果是半个字符,那是前一半还是后一半?由此可见DBCS并不是一种非常好的解决方案。

      人们在不断寻找这更好的字符编码方案,最后的结果就是Unicode诞生了。Unicode其实就是宽字节字符集,它对每个字符都固定使用两个字节即16位表示,于是当处理字符时,不必担心只处理半个字符。

      目前,Unicode在网络、Windows系统和很多大型软件中得到应用。

    关于GB编码的一些常识

      GB编码标准中,比较常用的是GB2312和GBK两种,GB2312是GBK的一个子集,GB2312编码范围是 0xA1A1 - 0xFEFE ,如果纯粹的 GB2312编码,处理起来是什分简单的,但处理GBK字符集时有些小的提示,先说说GBK编码的标准吧:

      GBK 采用双字节表示,总体编码范围为 8140-FEFE,首字节在 81-FE 之间,尾字节在 40-FE 之间,剔除 xx7F 一条线。总计 23940 个码位,共收入 21886 个汉字和图形符号,其中汉字(包括部首和构件)21003 个,图形符号 883 个。

      全部编码分为三大部分:

      1. 汉字区。包括:

      a. GB 2312 汉字区。即 GBK/2: B0A1-F7FE。收录 GB 2312 汉字 6763 个,按原顺序排列。

      b. GB 13000.1 扩充汉字区。包括:

      (1) GBK/3: 8140-A0FE。收录 GB 13000.1 中的 CJK 汉字 6080 个。

      (2) GBK/4: AA40-FEA0。收录 CJK 汉字和增补的汉字 8160 个。

      CJK 汉字在前,按 UCS 代码大小排列;增补的汉字(包括部首和构件)在后,按《康熙字典》的页码/字位排列。

      2. 图形符号区。包括:

      a. GB 2312 非汉字符号区。即 GBK/1: A1A1-A9FE。其中除 GB 2312 的符号外,

      还有 10 个小写罗马数字和 GB 12345 增补的符号。计符号 717 个。

      b. GB 13000.1 扩充非汉字区。即 GBK/5: A840-A9A0。BIG-5 非汉字符号、结构符和“○”排列在此区。计符号 166 个。

      3. 用户自定义区:分为(1)(2)(3)三个小区。

      (1) AAA1-AFFE,码位 564 个。

      (2) F8A1-FEFE,码位 658 个。

      (3) A140-A7A0,码位 672 个。

      第(3)区尽管对用户开放,但限制使用,因为不排除未来在此区域增补新字符的可能性。

      这里有几个小技巧:

      

     

      一、在php中,字符编码是按所发送的编码为准的,因些使用的就是用户输入的编码,不会自动改变,但在asp中,默认的编码是unicode,这样我们很容易就能得到gbk->unicode的编码对照表,这样即使在毫无基础库的情况下也能很容易的实现gbk到utf-8的转换了;

      二、由于GBK是高位最低数值是0x40,即是64,因此,有时候组织一些涉及中文的字串时,分割字符最好用64之前的ascii码,这样在任意情况下替换或分割都不会出现乱码,比较常用的是 ","、";"、":"、" "、" "、" ",这些字符永远都不会给gb编码添乱。

    编码的种类

      编码(Encoding)在认知上是解释传入的刺激的一种基本知觉的过程。技术上来说,这是一个复杂的、多阶段的转换过程,从较为客观的感觉输入(例如光、声)到主观上有意义的体验。

      字符编码(Character encoding)是一套法则,使用该法则能够对自然语言的字符的一个集合(如字母表或音节表),与其他东西的一个集合(如号码或电脉冲)进行配对。

      文字编码(Text encoding)使用一种标记语言来标记一篇文字的结构和其他特征,以方便计算机进行处理。

      语义编码(Semantics encoding),以正式语言乙对正式语言甲进行语义编码,即是使用语言乙表达语言甲所有的词汇(如程序或说明)的一种方法。

      电子编码(Electronic encoding)是将一个信号转换成为一个代码,这种代码是被优化过的以利于传输或存储。转换工作通常由一个编解码器完成。

      神经编码(Neural encoding)是指信息在神经元中被如何描绘的方法。

      记忆编码(Memory encoding)是把感觉转换成记忆的过程。

      加密(Encryption)是为了保密而对信息进行转换的过程。

      译码(Transcoding)是将编码从一种格式转换到另一种格式的过程。[1]

     

    字符集编码转换轻松实现  

    一、利用iconv函数族进行编码转换

      在LINUX上进行编码转换时,既可以利用iconv函数族编程实现,也可以利用iconv命令来实现,只不过后者是针对文件的,即将指定文件从一种编码转换为另一种编码。

      iconv函数族的头文件是iconv.h,使用前需包含之。

      #include <iconv.h>

      iconv函数族有三个函数,原型如下:

      (1) iconv_t iconv_open(const char *tocode, const char *fromcode);

      此函数说明将要进行哪两种编码的转换,tocode是目标编码,fromcode是原编码,该函数返回一个转换句柄,供以下两个函数使用。

      (2) size_t iconv(iconv_t cd,char **inbuf,size_t *inbytesleft,char **outbuf,size_t *outbytesleft);

      此函数从inbuf中读取字符,转换后输出到outbuf中,inbytesleft用以记录还未转换的字符数,outbytesleft用以记录输出缓冲的剩余空间。 (3) int iconv_close(iconv_t cd);

      此函数用于关闭转换句柄,释放资源。

      例子1: 用C语言实现的转换示例程序

      /* f.c :代码转换示例C程序 */

      #include <iconv.h>

      #define OUTLEN 255

      main()

      {

      char *in_utf8 = "姝e?ㄥ??瑁?";

      char *in_gb2312 = "正在安装";

      char out[OUTLEN];

      //unicode码转为gb2312码

      rc = u2g(in_utf8,strlen(in_utf8),out,OUTLEN);

      printf("unicode-->gb2312 out=%sn",out);

      //gb2312码转为unicode码

      rc = g2u(in_gb2312,strlen(in_gb2312),out,OUTLEN);

      printf("gb2312-->unicode out=%sn",out);

      }

      //代码转换:从一种编码转为另一种编码

      int code_convert(char *from_charset,char *to_charset,char *inbuf,int inlen,char *outbuf,int outlen)

      {

      iconv_t cd;

      int rc;

      char **pin = &inbuf;

      char **pout = &outbuf;

      cd = iconv_open(to_charset,from_charset);

      if (cd==0) return -1;

      memset(outbuf,0,outlen);

      if (iconv(cd,pin,&inlen,pout,&outlen)==-1) return -1;

      iconv_close(cd);

      return 0;

      }

      //UNICODE码转为GB2312码

      int u2g(char *inbuf,int inlen,char *outbuf,int outlen)

      {

      return code_convert("utf-8","gb2312",inbuf,inlen,outbuf,outlen);

      }

      //GB2312码转为UNICODE码

      int g2u(char *inbuf,size_t inlen,char *outbuf,size_t outlen)

      {

      return code_convert("gb2312","utf-8",inbuf,inlen,outbuf,outlen);

      }

      例子2: 用C++语言实现的转换示例程序

      /* f.cpp : 代码转换示例C++程序 */

      #include <iconv.h>

      #include <iostream>

      #define OUTLEN 255

      using namespace std;

      // 代码转换操作类

      class CodeConverter {

      private:

      iconv_t cd;

      public:

      // 构造

      CodeConverter(const char *from_charset,const char *to_charset) {

      cd = iconv_open(to_charset,from_charset);

      }

      // 析构

      ~CodeConverter() {

      iconv_close(cd);

      }

      // 转换输出

      int convert(char *inbuf,int inlen,char *outbuf,int outlen) {

      char **pin = &inbuf;

      char **pout = &outbuf;

      memset(outbuf,0,outlen);

      return iconv(cd,pin,(size_t *)&inlen,pout,(size_t *)&outlen);

      }

      };

      int main(int argc, char **argv)

      {

      char *in_utf8 = "姝e?ㄥ??瑁?";

      char *in_gb2312 = "正在安装";

      char out[OUTLEN];

      // utf-8-->gb2312

      CodeConverter cc = CodeConverter("utf-8","gb2312");

      cc.convert(in_utf8,strlen(in_utf8),out,OUTLEN);

      cout << "utf-8-->gb2312 in=" << in_utf8 << ",out=" << out << endl;

      // gb2312-->utf-8

      CodeConverter cc2 = CodeConverter("gb2312","utf-8");

      cc2.convert(in_gb2312,strlen(in_gb2312),out,OUTLEN);

      cout << "gb2312-->utf-8 in=" << in_gb2312 << ",out=" << out << endl;

      }

      二、利用iconv命令进行编码转换

      在LINUX上进行编码转换时,既可以利用iconv函数族编程实现,也可以利用iconv命令来实现,只不过后者是针对文件的,即将指定文件从一种编码转换为另一种编码。

      iconv命令用于转换指定文件的编码,默认输出到标准输出设备,亦可指定输出文件。

      用法: iconv [选项...] [文件...]

      有如下选项可用:

      输入/输出格式规范:

      -f, --from-code=名称 原始文本编码

      -t, --to-code=名称 输出编码

      信息:

      -l, --list 列举所有已知的字符集

      输出控制:

      -c 从输出中忽略无效的字符

      -o, --output=FILE 输出文件

      -s, --silent 关闭警告

      --verbose 打印进度信息

      -?, --help 给出该系统求助列表

      --usage 给出简要的用法信息

      -V, --version 打印程序版本号

      例子:

      iconv -f utf-8 -t gb2312 aaa.txt >bbb.txt

      这个命令读取aaa.txt文件,从utf-8编码转换为gb2312编码,其输出定向到bbb.txt文件。

      小结: LINUX为我们提供了强大的编码转换工具,给我们带来了方便。

    展开全文
  • 在线编码转换 链接: 在线编码转换. 链接: 在线编码转换工具. 在线 \u5728\u7ebf 离线 \u79bb\u7ebf

    在线编码转换

    链接: 在线编码转换.

    链接: 在线编码转换工具.

    在线 \u5728\u7ebf
    离线 \u79bb\u7ebf

    展开全文
  • C++:中文编码转换

    万次阅读 多人点赞 2018-07-13 19:47:42
    C++11标准库,中文编码转换问题。

    在介绍如何使用C++11标准库进行中文编码转换之前,先说一下byte string、multibyte string、wide string之间的区别。

    byte string

    由8比特的字节组成的字符串。由char表示字节。因而字符串长度=字节数=char数

    multibyte string

    在内存布局上与byte string相同。但是由于它是区域(locale)相关的,所以它有可能表示的是UTF-8, GB18030, EUC-JP, Shift-JIS等格式的字符串,而这些格式中的每个字码(codepoint)可能是由多个连续的char组合构成的,所以字符串长度=字码数,但!=char数,也!=字节数。

     wide string

    每个宽字符由于操作系统的不同,其宽度为16位或32位的多语言字符代码。格式分别采用unicode(UTF-16LE)、UTF-16、UTF-32,由wchar_t, char16_t, char32_t表示。

    C++标准库中对应关系:

    char *        std::string
    wchar_t*   std::wstring
    char16_t*  std::u16string
    char32_t*  std::u32string

    1.string与wstring互相转化

    C++标准库从C++11开始提供了std::codecvt_utf8和std::codecvt_byname两个转换器来完成编码转换,可使用的通用代码如下:

    #include <string>
    #include <locale>
    #include <codecvt>
    
    // string的编码方式为utf8,则采用:
    std::string wstring2utf8string(const std::wstring& str)
    {
        static std::wstring_convert<std::codecvt_utf8<wchar_t> > strCnv;
        return strCnv.to_bytes(str);
    }
    
    std::wstring utf8string2wstring(const std::string& str)
    {
        static std::wstring_convert< std::codecvt_utf8<wchar_t> > strCnv;
        return strCnv.from_bytes(str);
    }
    
    // string的编码方式为除utf8外的其它编码方式,可采用:
    std::string wstring2string(const std::wstring& str, const std::string& locale)
    {
        typedef std::codecvt_byname<wchar_t, char, std::mbstate_t> F;
        static std::wstring_convert<F> strCnv(new F(locale));
    
        return strCnv.to_bytes(str);
    }
    
    std::wstring string2wstring(const std::string& str, const std::string& locale)
    {
        typedef std::codecvt_byname<wchar_t, char, std::mbstate_t> F;
        static std::wstring_convert<F> strCnv(new F(locale));
    
        return strCnv.from_bytes(str);
    }
    
    

    如果是GBK string与wstring互相转化,locale可取值:

    linux下:

    zh_CN.GBK
    zh_CN.GB2312
    zh_CN.GB18030

    windows下:

    标准格式的locale:
    Chinese_China.936
    zh-CN
    .936
    非标准格式的locale:
    chs
    Chinese-simplified
    Chinese
    ZHI
    不能使用的locale:
     Chinese.936,chs.936,Chinese.GB2312,chs.GB18030等此类值。

    下面通过一些例子说明上面的函数如何使用吧。

    2.string与wstring如何输出到控制台

    代码页为936

    以在windows控制台为例,举例说明:

    // testCode.cpp
    #include <string>
    #include <iostream>
    #include <fstream>
    #include <codecvt>
    #include <locale>
    
    int main() {
    	std::wstring txt = L"中国人";
    
    	std::wcout << txt << endl;
    }

    程序编译后在中文版windows中运行结果:

    控制台使用的代码页为936(也就是GBK编码),输出结果为乱码。因为txt是unicode,而控制台是GBK编码,乱码是由于没有做编码转换造成的。

    修改代码,添加一个转换器:

    int main() {
    	std::wstring txt = L"中国人";
    	wcout.imbue(std::locale(std::locale("Chinese"), new std::codecvt_byname<wchar_t, char, std::mbstate_t>("Chinese")));  
    	// wcout.imbue(std::locale("Chinese")); 
    	// 也可以简写成这种形式,其中默认带了std::codecvt_byname<wchar_t, char, std::mbstate_t>("Chinese")转换器
    	
    	std::wcout << txt << endl;
    }

    此时,输出结果就正常了。

    如果修改代码页为65001(也就是UTF-8编码),再执行如下代码:

    int main() {
    	std::wstring txt = L"中国人";
    
    	std::wcout << txt << endl;
    }

    会发现没有结果输出,说明从unicode到utf-8没有转换成功。

    修改代码,添加一个转换器:

    int main() {
    	std::wstring txt = L"中国人";
    	wcout.imbue(std::locale(std::locale("Chinese"), new std::codecvt_utf8<wchar_t>()));
    	
    	std::wcout << txt << endl;
    }

    此时,结果正确输出了:

    由于wstring是unicode,它转换到其它编码格式,只需要使用一次转换器就可以了,但如果使用的是string,又该怎样做转换?比如使用如下代码:

    int main() {
    	std::string txt = u8"中国人";
    
    	std::cout << txt << endl;
    }

    在代码页为936的情况下,执行输出为乱码:

    修改代码,添加两个转换器:

    int main() {
    	std::string txt = u8"中国人";   // string的编码格式为utf-8
    
    	std::wstring wtxt = utf8string2wstring(txt);    // 将utf-8的string转换为wstring
    	std::string txt_gbk = wstring2string(wtxt, "Chinese");    // 再将wstring转换为gbk的string
    
    	std::cout << txt_gbk << endl;
    }

    此时,输出结果正常:

    代码页为65001

    再修改一下代码:

    int main() {
    	std::string txt = "中国人";
    
    	std::cout << txt << endl;
    }

    在代码页为65001的情况下,执行无输出,说明执行结果失败:

    添加两个转换方法再试试:

    int main() {
    	std::string txt = "中国人";
    
            std::wstring wtxt = string2wstring(txt, "Chinese");
            std::string txt_uft8 = wstring2utf8string(wtxt);
    
    	std::cout << txt_uft8 << endl;
    }

    在代码页为65001的情况下,执行成功:

    使用std::wcout试一下:

    int main() {
    	std::string txt = "中国人";
    
    	std::wstring wtxt = string2wstring(txt, "Chinese");
    	wcout.imbue(std::locale(std::locale("Chinese"), new std::codecvt_utf8<wchar_t>()));
    
    	std::wcout << wtxt << endl;
    }

    在代码页为65001的情况下,执行结果正常:

    再举一个保存到文件的例子:

    int main() {
    	std::string txt = "中国人";
    
    	std::wstring wtxt = string2wstring(txt, "Chinese");
    	std::string txt_uft8 = wstring2utf8string(wtxt);
    
    	std::ofstream of("D:/temp/text.txt");
    
    	of << txt_uft8 << endl;
    }

    以上代码执行成功,并将字符串以utf-8保存到文件了。

    再使用如下代码试试:

    int main() {
    	std::string txt = u8"中国人";
    
    	std::ofstream of("D:/temp/text.txt");
    
    	of << txt << endl;
    }

    也能以utf-8保存到文件。

    3.在输入输出流中使用编码转换

    除了直接使用转换器做字符串之间的转换外,如果用到的输入与输出流,则可以直接在输入输出流上配置需要的转换器。上面已经有多个例子了,这里再补充一个例子,代码如下:

    #include <iostream>
    #include <fstream>
    #include <string>
    #include <locale>
     
    int main()
    {
        // text.txt是UTF-8编码的文件
        std::wifstream fin("D:/temp/text.txt");
        // 文件输入流中使用UTF-8转换器
        fin.imbue(std::locale(std::locale("zh-CN"), new std::codecvt_utf8<wchar_t>()));
        // 控制台输出流中使用GBK转换器
        std::wcout.imbue(std::locale(std::locale("zh-CN"), new std::codecvt_byname<wchar_t, char, std::mbstate_t>("Chinese_China.936")));
        
        for (wchar_t c; fin.get(c); ) {
            std::wcout  << c << endl;
        }
    }

    以上是在windows上可执行的代码 ,如果要在Linux上运行,只需要把Chinese_China.936替换成zh_CN.GBK即可。

    4.char* 与wchar_t*互相转化

    在C++11之前,C++标准库中提供了如下两个函数进行编码转换。需要说明的是,这两个函数在windows下不支持UTF-8,而在Linux下是可以支持UTF-8的:

    #include <cstdlib>
    
    std::size_t mbstowcs( wchar_t* dst, const char* src, std::size_t len);
    std::size_t wcstombs( char* dst, const wchar_t* src, std::size_t len);

    windows不支持UTF-8的原因,据说是因为这两个函数一开始只支持ANSI内的多字节编码方式,而ANSI内的多字节编码方式的特点是每个字符不超过两个字节,后来utf-8出现后,由于UTF-8中的字符是有可能超过两个字节的,如果要加入UTF-8,会对现在函数做大量修改,因此Microsoft没有让这两个函数支持UTF-8。也可以说,这两个函数不认为UTF-8是多字节编码方式。

    以下为Linux下可以运行的代码:

    #include <iostream>
    #include <clocale>
    #include <cstdlib>
    int main()
    {
        std::setlocale(LC_ALL, "en_US.utf8");
        std::wcout.imbue(std::locale("en_US.utf8"));
    	
        const char* mbstr = u8"中国人";
    	
        wchar_t wstr[5];
        std::mbstowcs(wstr, mbstr, 5);
        std::wcout << "wide string: " << wstr << '\n';
    }
    
    #include <iostream>
    #include <clocale>
    #include <cstdlib>
     
    int main()
    {
        std::setlocale(LC_ALL, "en_US.utf8");
        // UTF-8 narrow multibyte encoding
        const wchar_t* wstr = L"中国人";
    	
        char mbstr[11];
        std::wcstombs(mbstr, wstr, 11);
        std::cout << "multibyte string: " << mbstr << '\n';
    }

    如果要在windows上使用与UTF-8相关的编码转换,也可以考虑使用如下函数,只不过这将失去平台移植性:

    MultiByteToWideChar
    WideCharToMultiByte
    void mbtowchar(const char* input, wchar_t* output) {
      int len = MultiByteToWideChar(CP_UTF8, 0, input, -1, NULL, 0);
      MultiByteToWideChar(CP_UTF8, 0, input, -1, output, len);
    }

    总结

    从C++11开始,标准C++库引入相关API,提供了标准的字符编码转换方式,方便开发者开发跨平台的字符编码转换代码。然而,上述代码中使用的wstring_convert、codecvt_utf8已在C++17被弃用了,至于由什么来替代,C++标准中没有说,现在只好继续使用它们,等待新的C++标准出来了。

     

    参考文档

    String and Character Literals (C++)
    Locale Names, Languages, and Country/Region Strings
    Locale Names
    Code Page
    Language Strings
    Country/Region Strings
    char, wchar_t, char16_t, char32_t
    MultiByteToWideChar function
    WideCharToMultiByte function

    Unicode part 1: Windows console i/o approaches
    Unicode part 2: UTF-8 stream mode

    Unicode转UTF-16
    UTF-8 Everywhere
    The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets

    setlocale()

    The Complete Guide to C++ Strings, Part I - Win32 Character Encodings
    The Complete Guide to C++ Strings, Part II - String Wrapper Classes

    展开全文
  • http://www.pc0359.cn/downinfo/82276.html 超级批量编码转换
    展开全文
  • IDEA 文件编码转换

    千次阅读 2019-09-27 11:06:53
    IDEA 文件编码转换 1 单个文件转换 如图:窗口右下角有切换方式 场景:引入项目,原项目是 GBK编码格式,现在工作空间是UTF-8编码格式,会导致文件中文乱码。 解决: 1.先将文件编码 转成GBK,选择Reload,此时只是...
  • 编码转换流 字节流:针对二进制文件 字符流:针对文本文件,读写容易出现乱码的现象,在读写时,最好指定编码集为UTF-8 1 概述 编码转换流(InputStreamReader/OutputStreamWriter)主要进行编码的转换,用来解决字符流读写...
  • C# JSON转换以及编码转换

    千次阅读 2014-08-06 19:19:45
    C# Json转换 C#编码转换
  • ant design pro类型编码转换文本内容

    万次阅读 2020-11-16 15:01:07
    renderText: (text: any) => { let newText = text; deviceStatus.map((item: any) => { if (item.code === text) { newText = item.text } }) return newText; }
  • java字符编码转换

    千次阅读 2015-07-16 14:47:11
    在开发的过程中,字符编码常常令我们头痛。经常会出现各种各样的乱码。下面就介绍java的编码转换和常见的乱码是... * 字符串编码转换 * @author Herman.xiong * @date 2015年7月16日09:36:59 * @version V3.0 * @s
  • 如果你需要在Linux中操作windows下的文件,那么你可能会经常遇到文件编码转换的问题。Windows中默认的文件格式是GBK(gb2312),而Linux一般都是UTF-8。下面介绍一下,在Linux中如何查看文件的编码及如何进行对文件...
  • C#_编码转换

    千次阅读 2019-06-27 16:43:39
    一、URL编码转换 URL转码 UrlDecode UrlEncode using System.Web; 引用system.web。  textBox2.Text = System.Web.HttpUtility.UrlDecode(textBox1.Text, System.Text.Encoding.GetEncoding("GB2312"));//将Url中...
  • python3中字符编码转换

    千次阅读 2018-10-09 16:34:05
    # Python3编码转换已经不像python2那样让人崩溃, 但是在使用过程中需要遵循一定规则 # 各种编码的互相转换, 都要先decode解码为unicode编码, 然后通过unicode再encode编码为想要的编码 s = '我是Python' # ...
  • iconv字符编码转换

    千次阅读 2019-01-08 09:18:26
     iconv(http://www.gnu.org/software/libiconv/)是一个开源的字符编码转换库,可以“方便”的完成几乎所有的编码转换工作。说简单是因为,它常用的接口就三个,iconv_open iconv iconv_close,但...
  • 将base64编码转换成图片

    万次阅读 2019-11-03 14:47:31
    将base64编码转换成图片 有时候会遇到要把前端发送过来的图片的文件base64编码转化成图片,我看过了大部分的文章,他们都是使用new Buffer来实现转化的,但是你要知道,new Buffer已经被废弃了,下面是我的方法: ...
  • python编码转换

    千次阅读 2012-08-28 10:16:05
    python 编码转换 主要介绍了python的编码机制,unicode, utf-8, utf-16, GBK, GB2312,ISO-8859-1 等编码之间的转换。 常见的编码转换分为以下几种情况: 自动识别 字符串编码 可以使用 chardet 模块自动...
  • Python字符串编码转换

    千次阅读 2019-03-26 20:07:00
    字符串编码转换 最早的字符串编码是ASCII码,只包括0-9的数字,A-Z和a-z的字母以及空格、制表符等其他符号共256个字符。 随着信息技术的发展,各国的文字都需要进行编码,因此就出现了 GBK/GB2312 编码以及 UTF-...
  • 使用java进行文件编码转换

    千次阅读 2020-02-16 20:35:22
    在开发过程中,可能会遇到文件编码的转换,虽然说开发工具eclipse可以转换编码,但是有的情况却很不方便。比如,原来文件本身的编码是GBK,现在要...下面是一个文件编码转换的工具类。 package com.mikan.stuff; ...
  • GO语言编码转换

    千次阅读 2018-09-14 22:57:12
    应用场景: 读取文件的时候...解决:将字符串的编码转换成UTF-8 首先需要 mahonia 这个包 go get github.com/axgle/mahonia   然后新建一个 func  src 字符串  srcCode 字符串当前编码  tagCode 要转换...
  • oracle数据库编码转换

    千次阅读 2017-12-06 17:29:01
    解决过程:由于服务器上的编码不敢轻易更改,所以考虑将本地编码改为UTF8,进行导入之后,再将本地编码转换为ZHS16GBK。 1、先查一下本地数据库的编码,语句是 select * from nls_database_parameters 查询结果是...
  • C++11 字符串编码转换

    千次阅读 2018-11-08 18:22:32
    c++11中新增的字符编码转换的功能,可以解决我们平时开发中字符编码转换的需求。主要使用wstring_convert和codecvt相结合进行转换。单独看这两个模板类肯定之所云,不过没关系,下面对常用的编码转换进行一个代码...
  • golang中文字符编码转换

    万次阅读 2017-12-08 21:38:56
    golang处理中文时默认是utf8,当遇到其他如GBK字符是就会出现乱码,此处介绍golang 官方golang.org/x/text/encoding/simplifiedchinese包下的编码转换 package main import "golang.org/x/text/encoding/...
  • IDEA 字符编码转换问题

    千次阅读 2019-03-10 14:54:50
    IDEA 字符编码转换问题 之前学习都使用用Eclipse,由于IDEA的美观和提示功能功能非常强大,现在改用IDEA。 但是在转变的过程中就遇到字符编码转换问题。 windows下默认的编码GBK,Eclipse中默认的编码也是GBK,IDEA...
  • Qt文件编码转换工具(二) C++判断文件编码

    千次阅读 多人点赞 2019-01-19 19:49:33
    目录   下载链接 上一节 如何判断文件编码 下一节   下载链接 Realase打包版本下载: Qt文本转化工具 realase版本 ...Qt文件编码转换工具源码 https://download.csdn.net/download/qq78442761/1...
  • HandBrake 开源视频转码器、编码转换器、格式转换器点击下图进入官网下载页面:https://handbrake.fr/downloads.phpmacOS 下可能会阻止安装!其实也不是安装,是运行!需要打开系统偏好设置》安全性与隐私》窗口下方...
  • 表单传值和URL编码转换

    千次阅读 2017-06-17 22:12:12
    表单传值和URL编码转换
  • 字符编码转换libiconv库

    千次阅读 多人点赞 2013-06-25 10:39:17
    当前流行的字符编码格式有:US-...因为在Email时使用中文老出现乱码问题,需要"gb2312"转换成"utf-8"格式,所以,需要使用字符编码转换,而libiconv是一个常用的编码转换库,支持常用的多种编码之间的转换。在Linux下
  • 批量转换文件编码,从GBK GB2312编码转换到UTF-8编码 # 2. 支持指定目录下所有的文件的转换,包括子目录中的文件 # 3. 支持检测原始编码,对已经是UTF-8编码的文件,不做转换 # 4. 支持只转换指定扩展名的编码 # 5....
  • boost 编码转换

    千次阅读 2013-10-14 10:19:10
    boost 编码转换: boost::locale::conv::to_utf string source = "....";string s = boost::locale::conv::between( source, "UTF-8", "BIG5" );
  • Qt中文编码和QString类Unicode编码转换

    万次阅读 多人点赞 2016-08-16 16:38:21
    1 window中文GBK编码和Unicode编码转换 //GBK‐> QString QString str = QString::fromLocal8Bit("新浪微博"); //QString ‐> GBK QString text = ui.lineEdit‐>text(); QByteArray bytes = text.to...
  • 编码转换命令iconv使用

    千次阅读 2019-01-17 22:50:05
    iconv是linux中文件编码转换的命令。二、命令参数 -l:列出所有编码; -f:来源编码; -t:目标编码; -c:忽略有问题的编码; -s:忽略警告; -o:输出文件; --verbose:输出处理文件进度;三、示例 iconv -f gbk -t utf-8 s.txt...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 815,715
精华内容 326,286
关键字:

编码转换