精华内容
下载资源
问答
  • java判断文件编码格式 三方工具包 cpdetector_1.0.10.jar
  • 判断文件编码格式和批量将gbk转为utf-8,感觉还是判断的准确,不知道大家用的准确么?
  • C++判断文件编码格式

    千次阅读 2019-05-07 16:29:02
    ANSI: 无格式定义; Unicode: 前两个字节为FFFE; Unicode big endian: 前两字节为FEFF;  UTF-8: 前两字节为EFBB; #include <fstream> using namespace std; int main() { ifstream fin("C:/...

    ANSI:        无格式定义;
    Unicode:       前两个字节为FFFE;
    Unicode big endian: 前两字节为FEFF; 
    UTF-8:        前两字节为EFBB;

    #include <fstream>
    using namespace std;
     
    int main()
    {
        ifstream fin("C:/Users/Administrator/Desktop/w/1.cpp",ios::binary);
        unsigned char  s2;
        fin.read((char*)&s2, sizeof(s2));//读取第一个字节,然后左移8位
        int p = s2<<8;
        fin.read((char*)&s2, sizeof(s2));//读取第二个字节
        p |=s2;
     
        string code;
     
        switch(p)//判断文本前两个字节
        {
        case 0xfffe:  //65534
            code = "Unicode";    
            break;
        case 0xfeff://65279
            code = "Unicode big endian";
            break;
        case 0xefbb://61371
            code = "UTF-8";     
            break;
     default: 
            code = "ANSI"; 
         }
         fin.close(); 
         return 0;
    }
    
    展开全文
  • 经常用pandas读取csv格式文件,pandas默认使用utf-8编码格式,但有的文件并非这种编码,虽然可以通过记事本打开文件,然后另存为,通过保存格式为utf-8格式,但是这种方式实在是太麻烦太傻,如图1 手动查看编码格式...

    困扰

    经常用pandas读取csv格式文件,pandas默认使用utf-8编码格式,但有的文件并非这种编码,虽然可以通过记事本打开文件,然后另存为,通过保存格式为utf-8格式,但是这种方式实在是太麻烦太傻,如图1
    手动查看编码格式。
    图1
    另存为其它格式
    在这里插入图片描述

    自动判断类型

    通过代码自动判断类型,写一个get_encoding函数

    def get_encoding(file):
        with open(file,'rb') as f:
            tmp = chardet.detect(f.read())
            return tmp['encoding']
    

    正常运行需要导入chardet包

    import chardet
    

    代码中chardet.detect输入文件内容,返回要给字典,通过字典键‘encoding’获取编码值,如果文件很大,建议输入为f.read(2)就行,读入前5行内容作为输入即可

    效果

    if __name__ == '__main__':
        fpath = "D:\\异常检测\\nab\\realAWSCloudwatch\\realAWSCloudwatch"
        fname = "\\ec2_cpu_utilization_825cc2.csv"
        fullPath = fpath + fname
        encoding = get_encoding(fullPath)
        print(encoding)
        data = pd.read_csv(fullPath, encoding = encoding)
        print(data.head(2))
    

    结果
    在这里插入图片描述
    类型为ascii
    好处为每次读取文件时不用取一个一个查看文件编码格式了,自动获取编码格式并读取文件了。

     data = pd.read_csv(fullPath, encoding = encoding)
    

    完整demo

    def get_encoding(file):
        with open(file,'rb') as f:
            return chardet.detect(f.read(1))['encoding']
    
    if __name__ == '__main__':
        fpath = "D:\\异常检测\\nab\\realAWSCloudwatch\\realAWSCloudwatch"
        fname = "\\ec2_cpu_utilization_825cc2.csv"
        fullPath = fpath + fname
        encoding = get_encoding(fullPath)
        print(encoding)
        data = pd.read_csv(fullPath, encoding = encoding)
        print(data.head(2))
    
    展开全文
  • 如果很多时候我们没有约定好文件格式,我们就难以读取文件内容,此时,我们就需要一个工具来探测所读文本的编码格式,此工具可以允许用户读取诸如utf-8,gbk,gb2312一类的文件格式。内置了一些常用的探测实现类,...
  • java 判断文件编码格式(支持zip)

    万次阅读 2018-02-02 22:20:34
    java 判断文件编码格式(支持zip) 前言: 最近在工作过程中遇到了这样的问题: 通过文件上传,需要导入zip包中的文件信息。 由于使用的是apache的ant.jar中的ZipFile类、ZipEntry类。由于目前该工具类并不能判断...

    java 判断文件编码格式(支持zip)

    前言:

        最近在工作过程中遇到了这样的问题: 通过文件上传,需要导入zip包中的文件信息。
    由于使用的是apache的ant.jar中的ZipFile类、ZipEntry类。由于目前该工具类并不能判断zip中每个文件的具体的编码,
    导致解析时出现中文乱码。通过查找资料发现借鉴使用第三方工具cpDetector解决。因此在此做个记录。
        若想实现更复杂的文件编码检测,可以使用一个开源项目cpdetector,
        网址: http://cpdetector.sourceforge.net
    它的类库很小,只有500K左右,cpDetector是基于统计学原理的,不保证完全正确,利用该类库判定文本文件的代码如下:
    

    准备条件

    - 需要的jar包:cpdetector_1.0.10.jar、antlr-2.7.4.jar、chardet-1.0.jar、jargs-1.0.jar
    - 源码:cpdetector_1.0.10_binary.zip
    - 相关资料:https://www.cnblogs.com/king1302217/p/4003060.html 
    

    具体实现

        在此摸索过程中遇到的问题:  查找了网上的参考例子,但是几乎所有的都是直接处理针对File对象的处理。
    没有针对zip文件的相关处理逻辑。并且由于apache的ZipFile 、 以及它内部的文件对象ZipEntry不能使用url方式。
    于是查看底层实现代码发现可以用此: 
        **charset = detector.detectCodepage(bis, Integer.MAX_VALUE);// zip 判断的关键代码**
    

    注意:
        直接使用zipFile.getInputStream(zipEntry) 得到的inputStream流不支持mark()方法。
        但是cpdetector底层需要用此方法.后来查找发现底层其实有类似场景的特殊处理:
        若是不支持mark()则可以把inputStream包装成支持的BufferedInputStream即可。如下:
    

    这里写图片描述

    具体代码如下:

    
    import java.io.BufferedInputStream;
    import java.io.File;
    import java.io.IOException;
    import java.io.InputStream;
    import java.net.URL;
    import java.nio.charset.Charset;
    
    import org.slf4j.Logger;
    import org.slf4j.LoggerFactory;
    
    import info.monitorenter.cpdetector.io.ASCIIDetector;
    import info.monitorenter.cpdetector.io.CodepageDetectorProxy;
    import info.monitorenter.cpdetector.io.JChardetFacade;
    import info.monitorenter.cpdetector.io.ParsingDetector;
    import info.monitorenter.cpdetector.io.UnicodeDetector;
    /**
     * 1、cpDetector内置了一些常用的探测实现类,这些探测实现类的实例可以通过add方法加进来,
     *    ParsingDetector、 JChardetFacade、ASCIIDetector、UnicodeDetector. 
     * 2、detector按照“谁最先返回非空的探测结果,就以该结果为准”的原则. 
     * 3、cpDetector是基于统计学原理的,不保证完全正确.
     */
    public class FileCharsetDetector {
        private static final Logger logger = LoggerFactory.getLogger(FileCharsetDetector.class);
    
        /**
         * 利用第三方开源包cpdetector获取文件编码格式.
         * 
         * @param is
         *            InputStream 输入流
         * @return
         */
        public static String getFileEncode(InputStream is) {
            //    begin     此段为zip格式文件的处理关键
            BufferedInputStream bis = null;
            if (is instanceof BufferedInputStream) {
                bis = (BufferedInputStream) is;
            } else {
                bis = new BufferedInputStream(is);
            }
            //   end
    
            CodepageDetectorProxy detector = CodepageDetectorProxy.getInstance();
    
            detector.add(new ParsingDetector(false));
            detector.add(UnicodeDetector.getInstance());
            detector.add(JChardetFacade.getInstance());// 内部引用了 chardet.jar的类
            detector.add(ASCIIDetector.getInstance());
    
            Charset charset = null;
            try {
                charset = detector.detectCodepage(bis, Integer.MAX_VALUE);// zip 判断的关键代码
            } catch (Exception e) {
                logger.error(e.getMessage(), e);
            } finally {
                if (bis != null) {
                    try {
                        bis.close();
                    } catch (IOException e) {
                        logger.error(e.getMessage(), e);
                    }
                }
            }
    
            // 默认为GBK
            String charsetName = "GBK";
            if (charset != null) {
                if (charset.name().equals("US-ASCII")) {
                    charsetName = "ISO_8859_1";
                } else {
                    charsetName = charset.name();
                }
            }
            return charsetName;
        }
    
    
        public static String getFileEncode(File  file) {
            CodepageDetectorProxy detector = CodepageDetectorProxy.getInstance();
    
            detector.add(new ParsingDetector(false));
            detector.add(UnicodeDetector.getInstance());
            detector.add(JChardetFacade.getInstance());
            detector.add(ASCIIDetector.getInstance());
    
            Charset charset = null;
            try {
                charset = detector.detectCodepage(file.toURI().toURL());
            } catch (Exception e) {
                logger.error(e.getMessage(), e);
            } 
    
            // 默认为GBK
            String charsetName = "GBK";
            if (charset != null) {
                if (charset.name().equals("US-ASCII")) {
                    charsetName = "ISO_8859_1";
                } else {
                    charsetName = charset.name();
                }
            }
            return charsetName;
        }
    
    }
    展开全文
  • 判断上传的文件编码方式-支持各种编码方式,GB2312、utf-8、gbk、utf-16...
  • java判断文件编码格式

    千次阅读 2014-02-15 22:24:40
    1:简单判断是UTF-8或不是UTF-8,因为一般除了UTF-8之外就是GBK,所以就设置默认为GBK。...其实,如果项目运行的平台就是中文操作系统,如果这些文本文件在项目内产生,即开发人员可以控制文本的编码格式,只要判定两种

    1:简单判断是UTF-8或不是UTF-8,因为一般除了UTF-8之外就是GBK,所以就设置默认为GBK。

     按照给定的字符集存储文件时,在文件的最开头的三个字节中就有可能存储着编码信息,所以,基本的原理就是只要读出文件前三个字节,判定这些字节的值,就可以得知其编码的格式。其实,如果项目运行的平台就是中文操作系统,如果这些文本文件在项目内产生,即开发人员可以控制文本的编码格式,只要判定两种常见的编码就可以了:GBK和UTF-8。由于中文Windows默认的编码是GBK,所以一般只要判定UTF-8编码格式。
       对于UTF-8编码格式的文本文件,其前3个字节的值就是-17、-69、-65,所以,判定是否是UTF-8编码格式的代码片段如下:
    [java]  view plain copy
    1. File file = new File(path);  
    2. InputStream in= new java.io.FileInputStream(file);  
    3. byte[] b = new byte[3];  
    4. in.read(b);  
    5. in.close();  
    6. if (b[0] == -17 && b[1] == -69 && b[2] == -65)  
    7.     System.out.println(file.getName() + ":编码为UTF-8");  
    8. else  
    9.     System.out.println(file.getName() + ":可能是GBK,也可能是其他编码");  

    2:若想实现更复杂的文件编码检测,可以使用一个开源项目cpdetector,它所在的网址是:http://cpdetector.sourceforge.net/。它的类库很小,只有500K左右,cpDetector是基于统计学原理的,不保证完全正确,利用该类库判定文本文件的代码如下:

    读外部文件(先利用cpdetector检测文件的编码格式,然后用检测到的编码方式去读文件):

    [java]  view plain copy
    1. /** 
    2.  * 利用第三方开源包cpdetector获取文件编码格式 
    3.  *  
    4.  * @param path 
    5.  *            要判断文件编码格式的源文件的路径 
    6.  * @author huanglei 
    7.  * @version 2012-7-12 14:05 
    8.  */  
    9. public static String getFileEncode(String path) {  
    10.     /* 
    11.      * detector是探测器,它把探测任务交给具体的探测实现类的实例完成。 
    12.      * cpDetector内置了一些常用的探测实现类,这些探测实现类的实例可以通过add方法 加进来,如ParsingDetector、 
    13.      * JChardetFacade、ASCIIDetector、UnicodeDetector。 
    14.      * detector按照“谁最先返回非空的探测结果,就以该结果为准”的原则返回探测到的 
    15.      * 字符集编码。使用需要用到三个第三方JAR包:antlr.jar、chardet.jar和cpdetector.jar 
    16.      * cpDetector是基于统计学原理的,不保证完全正确。 
    17.      */  
    18.     CodepageDetectorProxy detector = CodepageDetectorProxy.getInstance();  
    19.     /* 
    20.      * ParsingDetector可用于检查HTML、XML等文件或字符流的编码,构造方法中的参数用于 
    21.      * 指示是否显示探测过程的详细信息,为false不显示。 
    22.      */  
    23.     detector.add(new ParsingDetector(false));  
    24.     /* 
    25.      * JChardetFacade封装了由Mozilla组织提供的JChardet,它可以完成大多数文件的编码 
    26.      * 测定。所以,一般有了这个探测器就可满足大多数项目的要求,如果你还不放心,可以 
    27.      * 再多加几个探测器,比如下面的ASCIIDetector、UnicodeDetector等。 
    28.      */  
    29.     detector.add(JChardetFacade.getInstance());// 用到antlr.jar、chardet.jar  
    30.     // ASCIIDetector用于ASCII编码测定  
    31.     detector.add(ASCIIDetector.getInstance());  
    32.     // UnicodeDetector用于Unicode家族编码的测定  
    33.     detector.add(UnicodeDetector.getInstance());  
    34.     java.nio.charset.Charset charset = null;  
    35.     File f = new File(path);  
    36.     try {  
    37.         charset = detector.detectCodepage(f.toURI().toURL());  
    38.     } catch (Exception ex) {  
    39.         ex.printStackTrace();  
    40.     }  
    41.     if (charset != null)  
    42.         return charset.name();  
    43.     else  
    44.         return null;  
    45. }  
    [java]  view plain copy
    1. String charsetName = getFileEncode(configFilePath);  
    2. System.out.println(charsetName);  
    3. inputStream = new FileInputStream(configFile);  
    4. BufferedReader in = new BufferedReader(new InputStreamReader(inputStream, charsetName));  


    读jar包内部资源文件(先利用cpdetector检测jar内部的资源文件的编码格式,然后以检测到的编码方式去读文件):

    [java]  view plain copy
    1. /** 
    2.  * 利用第三方开源包cpdetector获取URL对应的文件编码 
    3.  *  
    4.  * @param path 
    5.  *            要判断文件编码格式的源文件的URL 
    6.  * @author huanglei 
    7.  * @version 2012-7-12 14:05 
    8.  */  
    9. public static String getFileEncode(URL url) {  
    10.     /* 
    11.      * detector是探测器,它把探测任务交给具体的探测实现类的实例完成。 
    12.      * cpDetector内置了一些常用的探测实现类,这些探测实现类的实例可以通过add方法 加进来,如ParsingDetector、 
    13.      * JChardetFacade、ASCIIDetector、UnicodeDetector。 
    14.      * detector按照“谁最先返回非空的探测结果,就以该结果为准”的原则返回探测到的 
    15.      * 字符集编码。使用需要用到三个第三方JAR包:antlr.jar、chardet.jar和cpdetector.jar 
    16.      * cpDetector是基于统计学原理的,不保证完全正确。 
    17.      */  
    18.     CodepageDetectorProxy detector = CodepageDetectorProxy.getInstance();  
    19.     /* 
    20.      * ParsingDetector可用于检查HTML、XML等文件或字符流的编码,构造方法中的参数用于 
    21.      * 指示是否显示探测过程的详细信息,为false不显示。 
    22.      */  
    23.     detector.add(new ParsingDetector(false));  
    24.     /* 
    25.      * JChardetFacade封装了由Mozilla组织提供的JChardet,它可以完成大多数文件的编码 
    26.      * 测定。所以,一般有了这个探测器就可满足大多数项目的要求,如果你还不放心,可以 
    27.      * 再多加几个探测器,比如下面的ASCIIDetector、UnicodeDetector等。 
    28.      */  
    29.     detector.add(JChardetFacade.getInstance());// 用到antlr.jar、chardet.jar  
    30.     // ASCIIDetector用于ASCII编码测定  
    31.     detector.add(ASCIIDetector.getInstance());  
    32.     // UnicodeDetector用于Unicode家族编码的测定  
    33.     detector.add(UnicodeDetector.getInstance());  
    34.     java.nio.charset.Charset charset = null;  
    35.     try {  
    36.         charset = detector.detectCodepage(url);  
    37.     } catch (Exception ex) {  
    38.         ex.printStackTrace();  
    39.     }  
    40.     if (charset != null)  
    41.         return charset.name();  
    42.     else  
    43.         return null;  
    44. }  
    [java]  view plain copy
    1. URL url = CreateStationTreeModel.class.getResource("/resource/" + "配置文件");  
    2. URLConnection urlConnection = url.openConnection();  
    3. inputStream=urlConnection.getInputStream();  
    4. String charsetName = getFileEncode(url);  
    5. System.out.println(charsetName);  
    6. BufferedReader in = new BufferedReader(new InputStreamReader(inputStream, charsetName));  

    3:探测任意输入的文本流的编码,方法是调用其重载形式: 

    [java]  view plain copy
    1. charset=detector.detectCodepage(待测的文本输入流,测量该流所需的读入字节数);   

    上面的字节数由程序员指定,字节数越多,判定越准确,当然时间也花得越长。要注意,字节数的指定不能超过文本流的最大长度。

    4:判定文件编码的具体应用举例:

          属性文件(.properties)是Java程序中的常用文本存储方式,象STRUTS框架就是利用属性文件存储程序中的字符串资源。它的内容如下所示:
          #注释语句
        属性名=属性值
          读入属性文件的一般方法是:
    [java]  view plain copy
    1. FileInputStream ios=new FileInputStream(“属性文件名”);  
    2. Properties prop=new Properties();  
    3. prop.load(ios);  
    4. String value=prop.getProperty(“属性名”);  
    5. ios.close();  
          利用java.io.Properties的load方法读入属性文件虽然方便,但如果属性文件中有中文,在读入之后就会发现出现乱码现象。发生这个原因是load方法使用字节流读入文本,在读入后需要将字节流编码成为字符串,而它使用的编码是“iso-8859-1”,这个字符集是ASCII码字符集,不支持中文编码,
         方法一:使用显式的转码:
    [java]  view plain copy
    1. String value=prop.getProperty(“属性名”);  
    2. String encValue=new String(value.getBytes(“iso-8859-1″),”属性文件的实际编码”);  
           方法二:象这种属性文件是项目内部的,我们可以控制属性文件的编码格式,比如约定采用Windows内定的GBK,就直接利用”gbk”来转码,     如果约定采用UTF-8,就使用”UTF-8″直接转码。
         方法三:如果想灵活一些,做到自动探测编码,就可利用上面介绍的方法测定属性文件的编码,从而方便开发人员的工作
          
    补充:可以用下面代码获得Java支持编码集合:
          Charset.availableCharsets().keySet();
          可以用下面的代码获得系统默认编码:
          Charset.defaultCharset();

    展开全文
  • c++判断文件编码格式

    万次阅读 热门讨论 2017-01-28 21:50:43
    记事本打开txt文件,然后另存,有四种编码格式可供选择,分别是: ANSI 无格式定义 对于中文编码格式是GB2312; Unicode 文本里前两个字节为FF FE 字节流是little endian Unicode big endian 文本里前两个字节为FE
  • 获取文件编码格式与文件转码,提供几个工具方法
  • 判断文件编码格式

    千次阅读 2018-03-06 14:20:30
    按照给定的字符集存储文件时,在文件的最开头的三个字节中就有可能存储着编码信息,所以,基本的原理就是只要读出文件前三个字节,判定这些字节的值,就可以得知其编码格式。其实,如果项目运行的平台就是中文操作...
  • java判断文本文件编码格式

    万次阅读 2019-08-06 09:32:00
    上篇文章需要读取当前java或者配置文件的编码格式,这里主要支持UTF-8、GBK、UTF-16、Unicode等 ... * @return 文件编码格式 * @throws Exception */ public static String codeString(File fileName) thro...
  • C语言判断文件编码格式

    千次阅读 2014-11-13 22:53:18
    功能:实现文件编码格式判断 通过一个文件的最前面三个字节,可以判断出该的编码类型: ANSI: 无格式定义;(第一个字节开始就是文件内容) Unicode: 前两个字节为FFFE; Unicode big endian: 前...
  • java识别文件编码格式

    2015-08-31 23:16:51
    java识别文件编码格式(无三方JAR包)
  • 下面小编就为大家分享一篇python中判断文件编码的chardet(实例讲解),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • 这个文档教你如何,判读不同的文件编码类型,gbk,utf-8等等
  • 一个判断文件为utf-8的java类,自己用有限状态机实现的,很好用的。
  • Python判断文件编码格式欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左...
  • java验证文件真实格式和编码格式工具类,验证文件文件格式和文件编码格式给出正确的文件类型以及编码格式,从此解决文件解析乱码问题的烦恼
  • Java判断文件编码格式

    千次阅读 2011-08-25 17:05:37
    一般情况下我们遇到的文件编码格式为GBK或者UTF-8。由于中文Windows默认的编码是GBK,所以一般只要判定UTF-8编码格式。  对于UTF-8编码格式的文本文件,其前3个字节的值就是-17、-69、-65,所以,判定是否是UTF-8...
  • import chardet filename = input("input filename: ") ...result = chardet.detect(content)#通过chardet.detect获取当前文件编码格式串,返回类型为字典类型 print(result) f.close() coding ...
  • java 识别文件的编码格式 读取文件的编码 utf-8 gbk gb2312 java 编码 java 获取文件编码格式 java 乱码查找
  • 文件操作工具类,包含判断文件编码适合windows和linux,文件压缩打包,判断文件格式,拷贝文件等内容
  • qt 判断文件编码

    千次阅读 2019-07-13 13:17:20
    编码转换 QString MainWindow::GetCorrectUnicode(const QByteArray &ba) { QTextCodec::ConverterState state; QTextCodec *codec = QTextCodec::codecForName("UTF-8"); QString text = c...
  • C# 判断文件编码格式

    千次阅读 2019-01-05 16:47:55
    可以用文件头部的BOM部分判断文件编码格式 /// &lt;summary&gt; /// Determines a text file's encoding by analyzing its byte order mark (BOM). /// Defaults to ASCII when detection of the text...
  • java判断txt文件编码格式

    千次阅读 2017-06-12 13:45:12
    if(file.isFile() && file.exists()){ //判断文件是否存在 String encoding=getFilecharset(new File(s)); InputStreamReader read = new InputStreamReader( new FileInputStream(file),encoding);//考虑到编码...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 351,156
精华内容 140,462
关键字:

判断文件编码格式