1.转换gbk编码文件为utf-8编码文件

iconv  -f gbk -t utf-8 aa.txt > aa.bak

其中-f指的是原始文件编码，-t是输出编码  aa.txtl是原始文件   aa.bak是输出结果文件

iconv -c --verbose  -f gbk -t utf-8 aa_gbk.html -o aa_utf8.html

-c 指的是从输出中忽略无效的字符， –verbose指的是打印进度信息   -o是输出文件

2.转换utf-8编码文件为gb2312编码文件

iconv -c --verbose  -f utf-8 -t gb2312 index_utf8.html -o index_gb2312.html

这其中存在一个转换问题：
如System.out.println(new String("中国".getBytes("gbk"), "utf-8"));
System.out.println(new String("中国".getBytes("utf-8"), "gbk"));
//将“中国“的gbk编码格式按着utf-8解析，或者反过来都会出现乱码。
如浏览器当前为gbk编码，就以gbk编码格式来提交。 这本身是不会出现乱码的，问题就出在Web服务器接收数据的时候，HttpServletRequest在将客户端传来的数据转成ucs2码上出了问题。在默认情况下，是按着iso-8859-1编码格式来转的，而这种编码格式并不支持中文，所以也就无法正常显示中文了，解决这个
问题的方法是用和客户端浏览器当前编码格式一致的编码来转换，如果是utf-8，则在doPost方法中应该用以下的语句来处理：
request.setCharacterEncoding("utf-8");
◆◆
评论读取中....
请登录后再发表评论!
◆◆
修改失败，请稍后尝试

beego中gbk和utf8编码转换问题，这个问题非常重要，有时候从gbk采集过来转成utf8也非常重要。
func Get_cate_urls(url string) (map[int]string , error) {
urls :=make(map[int]string)
if len(url) == 0 {
return urls,errors.New("请输入要采集的url")
}
res,err := http.Get(url)
if err !=nil {
return urls,err
}
body ,err := ioutil.ReadAll(res.Body)
if (err !=nil) {
return urls,err
}
body = body[1024:1024*2]
html := string(body)
enc   := mahonia.FallbackDecoder(mahonia.NewDecoder("utf8"), mahonia.NewDecoder("ISO-8859-1"))
strr := enc.ConvertString(html)
dd:=mahonia.NewDecoder("gbk")
str := dd.ConvertString(html)
regex,_  := regexp.Compile("
urlall := regex.FindAllStringSubmatch(enc.ConvertString(strr),-1)
for i ,v := range urlall {
urls[i] = v[1]
}
res.Body.Close()
return urls,nil
}
以上我们提供了2种解决方案，来解决该golang采集中编码的问题，这个是我在beego中采集的解决办法

使用c++跨windows和linux平台实现字符串GBK到UTF8的转换。
原理是GBK字符串先转为unicode编码，然后再转换为UTF8编码。
代码如下：
#ifndef __CODE_CONVERT_H__
#define __CODE_CONVERT_H__
#include 
#include 
#include 
#include 
#if defined(_WIN32) || defined(_WIN64)
#include 
#endif
using namespace std;
//gbk字符串srcStr 转换为utf8字符串utfStr ，字符串utfStr的缓存最大大小 maxUtfStrlen
//失败返回-1,成功返回大于0 ，maxUtfStrlen的大小至少是源字符串有效长度大小2倍加1
inline int gbk2utf8(char *utfStr,size_t maxUtfStrlen,const char *srcStr)
{
if(!srcStr||!utfStr)
{
printf("Bad Parameter\n");
return -1;
}
#if defined(_WIN32) || defined(_WIN64)
int len = MultiByteToWideChar(CP_ACP, 0, (LPCCH)srcStr, -1, NULL,0);
unsigned short * strUnicode = new unsigned short[len+1];
memset(strUnicode, 0, len * 2 + 2);
MultiByteToWideChar(CP_ACP, 0, (LPCCH)srcStr, -1, (LPWSTR)strUnicode, len);
len = WideCharToMultiByte(CP_UTF8, 0, (LPWSTR)strUnicode, -1, NULL, 0, NULL, NULL);
if (len > (int)maxUtfStrlen)
{
printf("Dst Str memory not enough\n");
delete[] strUnicode;
return -1;
}
WideCharToMultiByte (CP_UTF8, 0, (LPWSTR)strUnicode, -1, utfStr, len, NULL,NULL);
delete[] strUnicode;
return len;
#else//linux
//首先先将gbk编码转换为unicode编码
if(NULL==setlocale(LC_ALL,"zh_CN.gbk"))//设置转换为unicode前的码,当前为gbk编码
{
printf("参数有错误\n");
return -1;
}
int unicodeLen=mbstowcs(NULL,srcStr,0);//计算转换后的长度
if(unicodeLen<=0)
{
printf("不能转换!!!unicodeLen:(%d)\n",unicodeLen);
return -1;
}
wchar_t *unicodeStr=(wchar_t *)calloc(sizeof(wchar_t),unicodeLen+1);
mbstowcs(unicodeStr,srcStr,strlen(srcStr));//将gbk转换为unicode
//将unicode编码转换为utf8编码
if(NULL==setlocale(LC_ALL,"zh_CN.utf8"))//设置unicode转换后的码,当前为utf8
{
printf("参数有错误\n");
free(unicodeStr);
return -1;
}
int utfLen=wcstombs(NULL,unicodeStr,0);//计算转换后的长度
if(utfLen<=0)
{
printf("不能转换!!!utfLen:(%d)\n",utfLen);
free(unicodeStr);
return -1;
}
else if(utfLen>=(int)maxUtfStrlen)//判断空间是否足够
{
printf("Dst Str memory not enough\n");
free(unicodeStr);
return -1;
}
wcstombs(utfStr,unicodeStr,utfLen);
utfStr[utfLen]=0;//添加结束符
free(unicodeStr);
return utfLen;
#endif
}
//gbk字符串srcStr 转换为utf8字符串target
inline int gbk2utf8(std::string& target,const char *srcStr)
{
if (!srcStr)
{
assert(false&&"string is empty");
}
int tarLen = (int)strlen(srcStr) * 2 + 1;
char *tarStr = new char[tarLen];
gbk2utf8(tarStr,tarLen - 1,srcStr);
target = tarStr;
delete []tarStr;
return tarLen;
}
#endif
原文：http://blog.csdn.net/chenjiayi_yun/article/details/45603773