解决python 写入文件中文乱码问题
 
问题现象：
 通过爬虫爬取百度内容，将采集到的url 写入文件的时候发现文件乱码，如下图【文件格式csv 】
 
 
分析过程
 根据网上的一些建议，将文件的打开编码改为 utf-8 ，结果跟本不起作用
 奇怪的是用notepad 打开 csv 文件竟然显示正常，看来是excel 默认编码的问题
 
解决思路：
 
修改excel 打开csv 文件的编码（可能会影响其它文件的打开，不作为首选方式）
修改python 打开文件的编码 utf-8 -> utf-8-sig
 
 
 
修改前的编码
 f=open(filename,'w',encoding='utf-8')
 修改后的编码
 f=open(filename,'w',encoding='utf-8-sig')
 
 
修改之后可以正常显示文件内容
 
 
以上
 BW

原因：
 
写入文件后未关闭文件！
 
f=open(r'C:\test.txt','w')

s=['1','你好'，‘2’]

f.writelines(s)

f.close()   #不要忘记最后要关闭文件

 
在补充一点，关于write和writelines的区别：
 write（）：只能写入字符串，不能输入列表形式的字符串
 writelines（）：只能写入字符串，但是可以写入列表形式的字符串，并且在写入列表的时候具有连续追加的效果

转自https://blog.csdn.net/brave_heart_lxl/article/details/7186631#commentBox
 以下是dbzhang关于qt中文乱码问题原因的阐述，觉得不错：
 
首先呢，声明一下，QString 是不存在中文支持问题的，很多人遇到问题，并不是本身 QString 的问题，而是没有将自己希望的字符串正确赋给QString。
 
很简单的问题，"我是中文"这样写的时候，它是传统的 char 类型的窄字符串，我们需要的只不过是通过某种方式告诉QString 这四个汉字采用的那种编码。而问题一般都出在很多用户对自己当前的编码没太多概念，
 
于是
 
一个简 单的 Qt 程序
 
下面这个小程序，估计大家会感到比较亲切。似乎有相当多的中文用户尝试写过这样的代码：
 
#include <QtGui/QApplication>
 #include <QtGui/QLabel>
 
int main(int argc, char **argv)
 {
 QApplication app(argc, argv);
 QString a= “我是汉字”;
 QLabel label(a);
 label.show();
 return app.exec();
 }
 编码，保存，编译，运行，一切都很顺利，可是结果呢：
 
多数用户看到
 其他用户看到
 ÎÒÊǺº×Ö
 æˆ‘æ˜¯æ±‰å —
 出乎意料，界面上中文没显示出来，出现了不认识字符。 于是开始用搜索引擎搜索，开始上论坛发帖或抱怨
 
最后被告知，下面的语句之一可以解决问题：
 
QTextCodec::setCodecForCStrings(QTextCodec::codecForName(“GB2312”));
 QTextCodec::setCodecForCStrings(QTextCodec::codecForName(“UTF-8”));
 两条指令挨个一试，确实可以解决(多数用户是第一条，其他用户是第二条)。那么，为什么会这样呢？
 
两种乱码什么时候出现
 
对这个问题，我想大家可能都有话说。在继续之前，我们先列个表，看看两种乱码分别在那种情况下出现：
 
我们只列举大家最常用的3个编译器(微软VS的中的cl，Mingw中的g++，Linux下的g++)，源代码分别采用GBK 和 不带BOM的UTF-8 以及 带BOM的UTF-8 这3中编码进行保存。
 
源代码的编码
 编译器
 结果
 
GBK
 cl
 1
 *
 mingw-g++
 1
 *
 g++
 1
 
UTF-8(不带BOM)
 cl
 2
 
mingw-g++
 2
 
g++
 2
 *
 UTF-8(带BOM)
 cl
 1
 
mingw-g++
 2
 
g++
 编译失败
 
采用3种不同编码保存的源代码文件，分别用3种不同的编译器编译，形成9种组合，除掉一种不能工作的情况，两种乱码出现的情况各占一半。
 
从中我们也可以看出，乱码和操作系统原本是没有关系的。但我们在 Windows 一般用的GBK，linux一般用的是不带BOM的UTF-8。如果我们只考虑带*的情况，也可以说两种乱码和系统有关。
 
QString 为什么会乱码呢
 
真的是 QString 乱码了吗？我们可以问问自己，我们抱怨的对象是不是搞错了？
 
继续之前，先明确几个概念：
 
明确概念0：
 
“我是汉字” 是C语言中的字符串，它是char型的窄字符串。上面的例子可写为
 const char * str = “我是汉字”;
 QString a= str;
 或
 
char str[] = “我是汉字”;
 QString a= str;
 等
 
明确概念1：
 
源文件是有编码的，但是这种纯文本文件却不会记录自己采用的编码
 这个是问题的根源，不妨做个试验，将前面的源代码保存成GBK编码，用16进制编辑器能看到引号内是ce d2 ca c7 ba ba d7 d6这样8个字节。
 
现在将该文件拷贝到正体(繁体)中文的Windows中，用记事本打开会什么样子呢？
 
…
 QString a= “扂岆犖趼”;
 QLabel label(a);
 label.show();
 …
 那么放到欧美人的Windows系统中，再用记事本打开呢？
 
…
 QString a= “ÎÒÊǺº×Ö”;
 QLabel label(a);
 label.show();
 …
 同一个文件，未做任何修改，但其中的8个字节ce d2 ca c7 ba ba d7 d6,对用GBK的大陆人，用BIG5的港澳台同胞，以及用Latin-1的欧洲人看来，看到的却是完全不同的文字。
 
明确概念2：
 
如同我们都了解的’A’与’\x41’等价一样。
 GBK编码下的
 
const char * str = “我是汉字”
 等价于
 
const char * str = “\xce\xd2\xca\xc7\xba\xba\xd7\xd6”;
 当用UTF-8编码时，等价于
 
const char * str = “\xe6\x88\x91\xe6\x98\xaf\xe6\xb1\x89\xe5\xad\x97”;
 注意：这个说法不全对，比如保存成带BOM的UTF-8，用cl编译器时，汉字本身是UTF-8编码，但程序内保存时却是对应的GBK编码。
 
明确概念3：
 
QString 内部采用的是Unicode。
 QString内部采用的是 Unicode，它可以同时存放GBK中的字符"我是汉字",BIG5中的字符"扂岆犖趼" 以及Latin-1中的字符"ÎÒÊǺº×Ö"。
 
一个问题是，源代码中的这8个字节"\xce\xd2\xca\xc7\xba\xba\xd7\xd6"，该怎么转换成Unicode并存到 QString 内？按照GBK、BIG5、Latin-1还是其他方式…
 
在你不告诉它的情况下，它默认选择了Latin-1，于是8个字符"ÎÒÊǺº×Ö"的unicode码被存进了QString中。最终，8个Latin字符出现在你期盼看到4中文字符的地方，所谓的乱码出现了
 
QString 工作方式
 
const char * str = “我是汉字”;
 QString a= str;
 其实很简单的一个问题，当你需要从窄字符串 char* 转成Unicode的QString字符串的，你需要告诉QString你的这串char* 中究竟是什么编码？GBK、BIG5、Latin-1
 
理想情况就是：将char* 传给QString时，同时告诉QString自己的编码是什么：
 
就像下面的函数一样，QString的成员函数知道按照何种编码来处理 C 字符串
 
QString QString::fromAscii ( const char * str, int size = -1 )
 QString QString::fromLatin1 ( const char * str, int size = -1 )
 QString QString::fromLocal8Bit ( const char * str, int size = -1 )
 QString QString::fromUtf8 ( const char * str, int size = -1 )
 单QString 只提供了这几个成员函数，远远满足不了大家的需求，比如，在简体中文Windows下，local8Bit是GBK，可是有一个char串是 BIG5 或 Latin-2怎么办？
 
那就动用强大的QTextCodec吧，首先QTextCodec肯定知道自己所负责的编码的，然后你把一个char串送给它，它就能正确将其转成Unicode了。
 
QString QTextCodec::toUnicode ( const char * chars ) const
 可是这个调用太麻烦了，我就想直接
 
QString a= str;
 或
 
QString a(str);
 这样用怎么办？
 
这样一来肯定没办法同时告诉 QString 你的str是何种编码了，只能通过其他方式了。这也就是开头提到的
 
QTextCodec::setCodecForCStrings(QTextCodec::codecForName(“GBK”));
 QTextCodec::setCodecForCStrings(QTextCodec::codecForName(“UTF-8”));
 设置QString默认采用的编码。而究竟采用哪一个，一般来说就是源代码是GBK，就用GBK，源代码是UTF-8就用UTF-8。但有一个例外，如果你保存成了带BOM的UTF-8而且用的微软的cl编译器，此时仍是GBK。
 
总结下，乱码出现的原因主要是：
 
QString内部采用的是 Unicode，它可以同时存放GBK中的字符"我是汉字",BIG5中的字符"扂岆犖趼" 以及Latin-1中的字符"ÎÒÊǺº×Ö"。
 
当你需要从窄字符串 char* 转成Unicode的QString字符串的，你需要告诉QString你的这串char* 中究竟是什么编码？GBK、BIG5、Latin-1？
 
在你不告诉它的情况下，它默认选择了Latin-1，于是8个字符"ÎÒÊǺº×Ö"的unicode码被存进了QString中。最终，8个Latin字符出现在你期盼看到4中文字符的地方，
 
所谓的乱码出现了。
 
网上有很多方法介绍直接在main.cpp里设置：
 
QTextCodec *codec = QTextCodec::codecForName("UTF-8");

QTextCodec::setCodecForTr(codec);

QTextCodec::setCodecForLocale(codec);
QTextCodec::setCodecForCStrings(codec);
 
其实这在某些情况下也是有问题的，因为程序可能读到系统的中文路径，或者调用中文路径下的外部程序，这时候如果系统是gb2312就有问题了。
 
因为中文路径的编码是采用utf-8存到QString里的，系统读中文路径解码的时候采用的却是系统的gb2312，所以会调不起带中文路径的外部程序。
 
以上问题下面方法可以解决：
 
QTextCodec *codec = QTextCodec::codecForName("UTF-8");

QTextCodec::setCodecForTr(codec);

QTextCodec::setCodecForLocale(QTextCodec::codecForLocale());
QTextCodec::setCodecForCStrings(QTextCodec::codecForLocale());
 
对于外部字符串编码解码全部采用本地编码。
 
版权声明：本文为CSDN博主「brave_heart_lxl」的原创文章，遵循CC 4.0 by-sa版权协议，转载请附上原文出处链接及本声明。
 原文链接：https://blog.csdn.net/brave_heart_lxl/article/details/7186631
 
在Qt5 中直接转换格式后写入就可以。
 中文写入文件不能显示的问题：
 void MainWindow::jzqMessageAppend(QString AppStr)
 {
 QFile file1;
 file1.setFileName(todayDateText);//对应文件名称
 file1.open(QIODevice::Append);//在文件后面添加
 file1.write(AppStr.toUtf8());//转换为中文能够显示的格式
 file1.write("\r\n");//换行
 file1.close();//关闭文件
 }
 UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，由Ken Thompson于1992年创建，现在已经标准化为RFC 3629。UTF-8用1到4个字节编码Unicode字符。用在网页上可以统一页面显示中文简体繁体及其它语言（如英文，日文，韩文）。

       在C语言中，我们一般使用 <stdlib.h> 头文件中的 rand() 和srand()函数来生成随机数，如果要保证每次产生的随机数不重复，需要在每次产生随机序列前，先指定不同的种子，这样计算出来的随机序列就不会完全相同了。可以在调用rand()函数之前调用srand( (unsigned)time( NULL ) )，这样以time函数值（即当前时间）作为种子数，因为两次调用rand函数的时间通常是不同的，这样就可以保证随机性了。
 
       利用srand((unsigned int)(time(NULL))是一种方法，因为每一次运行程序的时间是不同的，下面我们就动手用srand()函数来产生随机数吧。
 
（1）先试试如何产生随机数（比如产生10个100以内的随机数）
 
#include <stdio.h>
#include <stdlib.h>
#include <time.h>
#include<math.h>

int main(void)
{
	srand(time(NULL));//先种种子 
	int i,j,s=0;
	FILE *fp = NULL;
	for(i = 0 ; i < 10 ; i ++) //产生10个100以内的随机数 
	{
		j = rand()%100 ;
		printf("j:%d\n",j);
    }
    return 0;
	} 
 
 
（2）将产生的随机数写入文件中（以.text文件为例）
 
fp = fopen("D:\\Users\\data.txt","a");//在指定目录下创建.txt文件
fprintf(fp,"%5d",j); //把随机数写进文件
fclose(fp); //关闭文件
 
 
 
可以看见在自定义文件夹中已经产生了一个data文件，打开后里面已经产生10个100以内的随机数。（可能有人看到图片会发出疑问为什么data文件里的随机数和命令窗口里显示的不同，因为添加写入文件的代码后重新生成了随机数。）
 
（3）在编写博客过程中，脑袋像戏精一样突发奇想：假如不看文件夹我怎么通过命令窗口知道data文件是否生成了呢，万一它骗我呢？？
 
if((fp=fopen("D:\\Users\\data.txt","w"))==NULL)
{
printf("can not creat the file\n");
exit(0);
}
printf("creat the file successful\n");
 
 
（4）想要点击发布博客时突然又想自己能不能通过命令窗口控制随机数的范围和个数？？(通过查阅相关资料修改代码，i 表示随机数的范围2^i ,考虑到电脑是64位的，理论上 i 不超过64，M 表示随机数的个数)
 
 int i,M,b,s=0,j,max;
    FILE *fp;//声明文件指针
    char str[]="";
    scanf("%d%d",&i,&M); //输入i,M
	fp = fopen("D:\\Users\\data.txt","a");//在指定目录下创建.txt文件
    fprintf(fp,"i= %d\nM= %d\n",i,M); //第一行显示i=的大小，第二行显示M=的大小 
    srand(time(NULL)); //初始化时间种子
    max=(int)pow(2,i); //随机数的最大值
    for(j=0;j<M;j++)
    {
	 b=rand()%(max/M)+1; //区间  
     fprintf(fp,"%-5d ",b); //把随机数写进文件
     if(j%10==9)fprintf(fp,"\n");  //换行
    }
    fclose(fp); //关闭文件
    return 0;
 
     
 
（5）通过上面的代码成功实现了自己控制随机数的范围和个数，但是打开data文件发现新的随机数不断写入data文件，随机数一多会造成比较乱，自己想能不能通过修改代码产生不同的文件然后让随机数分别写入不同文件中，并且产生的文件比较容易区分？？
 

    scanf("%d%d",&i,&M); //输入i,M
    sprintf(str,"test_%d_%d.txt",i,M); //把i,M写进文件名
    fp=fopen(str,"w"); //以写方式新建一个文件
	
 
 
这样通过文件夹的名称我们可以一眼就看的出来哪个文件夹放着的随机数范围和个数分别是多小，这样就特别方便我们找到自己想要的随机数。
 
（6）这样看起来感觉还行，但是脑袋一热又想：如果产生的随机数比较多，我怎么快速分辨它们的大小呢？？（嗯。。。那就给随机数按大小排一下序吧）
 
 b=rand()%(max/M)+1; //区间 
 s=s+b;   //确保随机数是从小到大
 printf("s:%d\n");	 
 fprintf(fp,"%-5d ",s); //把随机数写进文件
 
 
总结：对于编程，一定要学会自己动手，只看理论知识是很难学会编程的，就拿C语言产生随机数并且写入文件上来说，刚开始只产生随机数的代码只有简单的几行，在编程过程中可以发现和脑补很多东西，通过不断发现和拓展新功能，增加和补充代码，代码变成了三十多行，如果突然拿三四十行的代码给你看，可能你需要花费一定时间才能看懂，但是如果你根据功能把它分开成一小部分，你理解起来会容易得多。编程也是一样的，通过自己一段一段的去写，最后汇总起来就变成一个程序。