精华内容
下载资源
问答
  • Linux中修改文件编码

    千次阅读 2020-03-18 16:13:41
    在Linux中查看文件编码可以通过以下几种方式: 1.Vim可以直接查看文件编码 :set fileencoding 即可显示文件编码格式。 如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题,那么你可以 ~/...

    查看文件编码
    在Linux中查看文件编码可以通过以下几种方式:

    1.在Vim中可以直接查看文件编码

    :set fileencoding
    

    即可显示文件编码格式。
    如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题,那么你可以在
    ~/.vimrc 文件中添加以下内容:

    set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936
    

    这样,就可以让vim自动识别文件编码(可以自动识别UTF-8或者GBK编码的文件),其实就是依照 fileencodings提供的编码列表尝试,如果没有找到合适的编码,就用latin-1(ASCII)编码打开。

    2. enca (如果你的系统中没有安装这个命令,可以用sudo yum install -y enca 安装 )查看文件编码

    $ enca filename
    filename: Universal transformation format 8 bits; UTF-8
    CRLF line terminators
    

    需要说明一点的是,enca对某些GBK编码的文件识别的不是很好,识别时会出现:

    Unrecognized encoding
    

    文件编码转换

    1. 在Vim中直接进行转换文件编码,比如将一个文件转换成utf-8格式
    :set fileencoding=utf-8
    
    1. enconv 转换文件编码,比如要将一个GBK编码的文件转换成UTF-8编码,操作如下
    enconv -L zh_CN -x UTF-8 filename
    
    1. iconv 转换,iconv的命令格式如下:
    iconv -f encoding -t encoding inputfile
    

    比如将一个UTF-8 编码的文件转换成GBK编码

    iconv -f UTF-8 -t GBK file1 -o file2
    

    查看文件编码file命令

    file ip.txt  ip.txt: UTF-8 Unicode text, with escape sequences
    

    一、利用iconv命令进行编码转换文件内容编码转换
    iconv命令用于转换指定文件的编码,默认输出到标准输出设备,亦可指定输出文件。
    用法: iconv [选项...] [文件...]
    有如下选项可用:
    输入/输出格式规范:

    -f, --from-code=名称 原始文本编码  
    -t, --to-code=名称 输出编码  
    

    信息:

    -l, --list 列举所有已知的字符集   
    

    输出控制:

     -c 从输出中忽略无效的字符  
     -o, --output=FILE 输出文件  
     -s, --silent 关闭警告  
     --verbose 打印进度信息  
     -?, --help 给出该系统求助列表  
     --usage 给出简要的用法信息 
      -V, --version 打印程序版本号    
    

    例子:

    iconv -f utf-8 -t gb2312 aaa.txt >bbb.txt  
    

    这个命令读取aaa.txt文件,从utf-8编码转换为gb2312编码,其输出定向到bbb.txt文件。
    二、文件名编码转换
    因为现在用linux,原来在windows里的文件都是用GBK编码的。所以copy到linux下是乱码,文件内容可以用iconv来转换可是好多中文的文件名还是乱码,找到个可以转换文件名编码的命令,就是convmv
    convmv命令详细参数 例如

    convmv -f GBK -t UTF-8 *.mp3
    

    不过这个命令不会直正的转换,你可以看到转换前后的对比。如果要直正的转换要加上参数 --notest

    convmv -f GBK -t UTF-8 --notest *.mp3
    

    -f 参数是指出转换前的编码,-t 是转换后的编码。这个千万不要弄错了。不然可能还是乱码哦。还有一个参数很有用。就是 -r 这个表示递归转换当前目录下的所有子目录。

    • 需要安装 convmv-1.10-1.el5.noarch.rpm

    三、 更好的傻瓜型命令行工具enca,它不但能智能的识别文件的编码,而且还支持成批转换。   
    1.安装

    $sudo apt-get install enca   
    

    2.查看当前文件编码

    enca -L zh_CN ip.txt    
     Simplified Chinese National Standard; GB2312     
     Surrounded by/intermixed with non-text data pasting
    

    3.转换   
    命令格式如下

    $enca -L 当前语言 -x 目标编码 文件名   
    

    例如要把当前目录下的所有文件都转成utf-8

    enca -L zh_CN -x utf-8 *   
    

    检查文件的编码

    enca -L zh_CN file    
    

    将文件编码转换为"UTF-8"编码

    enca -L zh_CN -x UTF-8 file
    

    如果不想覆盖原文件可以这样

    enca -L zh_CN -x UTF-8 < file1 > file2 
    
    展开全文
  • Linux中查看文件编码和修改文件编码

    千次阅读 2019-08-04 01:12:05
    首先想到的方法是hive创建对应的表,然后通过put,将文件上传到hive表对应的hdfs目录下,然后查询发现乱码。 下面来聊聊具体过程和解决办法: 创建对应的hive表 create table temp.temp_bianma_tb ( c...

    最近遇到一个需求,给我两个大文件,映射到Hive表中。
    文件中每个字段的值都有"",字段分隔符为’,’ ,通过vi查看文件内容正常,没有出现乱码。
    首先想到的方法是在hive中创建对应的表,然后通过put,将文件上传到hive表对应的hdfs目录下,然后查询发现乱码。

    下面来聊聊具体过程和解决办法:

    1. 创建对应的hive表
    create table temp.temp_bianma_tb (
    col1              string,
    col2              string,
    col3              string,
    col4              string,
    col5              string,
    col6              string,
    col7              string,
    col8              string,
    col9              string,
    col10             string,
    col11             string,
    col12             string,
    col13             string,
    col14             string,
    col15             string,
    col16             string,
    col17             string,
    col18             string,
    col19             string,
    col20             string,
    col21             string,
    col22             string,
    col23             string
    )
    row format delimited fields terminated by ','
    ;
    

    通过show create table temp.temp_bianma_tb;查看此表对应的hdfs路径

    在通过hdfs dfs -put temp_bianma_tb.csv /user/hive/warehouse/temp.db/temp_bianma_tb/将文件导入此表对应hdfs目录下。

    查看hive表情况如下图:
    在这里插入图片描述每个字段被""包围,并且乱码

    但通过vi本地文件没有发现乱码异常,只是字段有""
    在这里插入图片描述
    首先,将每个字段的""去掉可以通过以下命令
    sed -i 's/"//g' temp_bianma_tb.csv或者sed 's/"//g' temp_bianma_tb.csv > temp_bianma_tb_1.csv
    第一种方法利用-i参数直接在原文件中修改
    第二种方法利用重定向将修改后的内容插入另外一个文件,这样万一改错了也不要紧,因为没有修改原文件

    通过less temp_bianma_tb.csv命令查看文件发现确实乱码

    在这里插入图片描述
    通过vi模式下查看文件编码
    :set fileencoding

    在这里插入图片描述
    发现文件编码并不是utf-8,所以乱码。

    修改文件编码为utf-8,在vi模式下
    :set fileencoding=utf-8
    再通过vi查看文件编码
    :set fileencoding
    已经为utf-8了
    在这里插入图片描述

    再执行less temp_bianma_tb.csv,文件正常显示中文
    在这里插入图片描述

    将表删除重新创建,再将文件导入hive对应的hdfs目录下
    hdfs dfs -put temp_bianma_tb.csv /user/hive/warehouse/temp.db/temp_bianma_tb/

    查看表中数据,已经正常显示
    在这里插入图片描述

    展开全文
  • 如果你需要在Linux中操作windows下的文件,那么你可能会经常遇到文件编码转换的问题。Windows默认的文件格式是GBK(gb2312),而Linux一般都是UTF-8。下面介绍一下,在Linux中如何查看文件的编码及如何进行对文件...

    原文地址:

    Linux查看文件编码格式及文件编码转换

    如果你需要在Linux中操作windows下的文件,那么你可能会经常遇到文件编码转换的问题。Windows中默认的文件格式是GBK(gb2312),而Linux一般都是UTF-8。下面介绍一下,在Linux中如何查看文件的编码及如何进行对文件进行编码转换。

    查看文件编码
    在Linux中查看文件编码可以通过以下几种方式:
    1.在Vim 中可以直接查看文件编码

    Shell代码
    1. :set fileencoding  

    即可显示文件编码格式。
    如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题,那么你可以在
    ~/.vimrc 文件中添加以下内容:

    Shell代码
    1. set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936  

    这样,就可以让vim自动识别文件编码(可以自动识别UTF-8或者GBK编码的文件),其实就是依照fileencodings提供的编码列表尝试,如果没有找到合适的编码,就用latin-1(ASCII)编码打开。
    2. enca (如果你的系统中没有安装这个命令,可以用sudo yum install-y enca 安装 )查看文件编码
    $ enca filename
    filename: Universal transformation format 8 bits; UTF-8
    CRLF line terminators
    需要说明一点的是,enca对某些GBK编码的文件识别的不是很好,识别时会出现:
    Unrecognized encoding

    文件编码转换
    1.在Vim中直接进行转换文件编码,比如将一个文件转换成utf-8格式

    Shell代码
    1. :set fileencoding=utf-8  

    2. enconv转换文件编码,比如要将一个GBK编码的文件转换成UTF-8编码,操作如下
    enconv -L zh_CN -x UTF-8 filename

    3. iconv 转换,iconv的命令格式如下:
    iconv -f encoding -t encoding inputfile
    比如将一个UTF-8 编码的文件转换成GBK编码
    iconv -f GBK -t UTF-8 file1 -o file2

    展开全文
  • linux下查看文件编码及修改编码

    千次阅读 2016-11-13 22:23:42
    查看文件编码在Linux中查看文件编码可以通过以下几种方式:1.Vim可以直接查看文件编码:set fileencoding即可显示文件编码格式。如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题,那么你...

    查看文件编码
    Linux中查看文件编码可以通过以下几种方式:
    1.在Vim中可以直接查看文件编码
    :set fileencoding
    即可显示文件编码格式。
    如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题,那么你可以在
    ~/.vimrc 文件中添加以下内容:

    set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936

    这样,就可以让vim自动识别文件编码(可以自动识别UTF-8或者GBK编码的文件),其实就是依照
    fileencodings提供的编码列表尝试,如果没有找到合适的编码,就用latin-1(ASCII)编码打开。
    2. enca (如果你的系统中没有安装这个命令,可以用sudo yum install -y enca 安装 )查看文件编码
    $ enca filename
    filename: Universal transformation format 8 bits; UTF-8
    CRLF line terminators
    需要说明一点的是,enca对某些GBK编码的文件识别的不是很好,识别时会出现:
    Unrecognized encoding

    文件编码转换
    1.在Vim中直接进行转换文件编码,比如将一个文件转换成utf-8格式
    :set fileencoding=utf-8

    2. enconv 转换文件编码,比如要将一个GBK编码的文件转换成UTF-8编码,操作如下
    enconv -L zh_CN -x UTF-8 filename

    3. iconv 转换,iconv的命令格式如下:
    iconv -f encoding -t encoding inputfile
    比如将一个UTF-8 编码的文件转换成GBK编码
    iconv -fUTF-8 -t GBK file1 -o file2

    查看文件编码file命令
    file ip.txt  ip.txt: UTF-8 Unicode text, with escape sequences
    一、利用iconv命令进行编码转换文件内容编码转换  iconv命令用于转换指定文件的编码,默认输出到标准输出设备,亦可指定输出文件。  用法: iconv [选项...] [文件...]  有如下选项可用:  输入/输出格式规范:  -f, --from-code=名称 原始文本编码  -t, --to-code=名称 输出编码  信息:  -l, --list 列举所有已知的字符集    输出控制:  -c 从输出中忽略无效的字符  -o, --output=FILE 输出文件  -s, --silent 关闭警告  --verbose 打印进度信息  -?, --help 给出该系统求助列表  --usage 给出简要的用法信息  -V, --version 打印程序版本号    例子:  iconv -f utf-8 -t gb2312 aaa.txt >bbb.txt  这个命令读取aaa.txt文件,从utf-8编码转换为gb2312编码,其输出定向到bbb.txt文件。
    二、文件名编码转换
    因为现在用linux,原来在windows里的文件都是用GBK编码的。所以copy到linux下是乱码,文件内容可以用iconv来转换可是好多中文的文件名还是乱码,找到个可以转换文件名编码的命令,就是convmv。
    convmv命令详细参数  例如
    convmv -f GBK -t UTF-8 *.mp3
    不过这个命令不会直正的转换,你可以看到转换前后的对比。如果要直正的转换要加上参数 --notest
    convmv -f GBK -t UTF-8 --notest *.mp3
    -f 参数是指出转换前的编码,-t 是转换后的编码。这个千万不要弄错了。不然可能还是乱码哦。还有一个参数很有用。就是 -r 这个表示递归转换当前目录下的所有子目录。
    * 需要安装 convmv-1.10-1.el5.noarch.rpm  
    三、  更好的傻瓜型命令行工具enca,它不但能智能的识别文件的编码,而且还支持成批转换。    1.安装    
    $sudo apt-get install enca    
    2.查看当前文件编码    
    enca -L zh_CN ip.txt     Simplified Chinese National Standard; GB2312     Surrounded by/intermixed with non-text data    
    3.转换    命令格式如下    
    $enca -L 当前语言 -x 目标编码 文件名    
    例如要把当前目录下的所有文件都转成utf-8    
    enca -L zh_CN -x utf-8 *     
    检查文件的编码 enca -L zh_CN file     
     将文件编码转换为"UTF-8"编码  enca -L zh_CN -x UTF-8 file
    如果不想覆盖原文件可以这样         enca -L zh_CN -x UTF-8 < file1 > file2 
    展开全文
  • Linux_查看文件编码以及修改编码

    万次阅读 2017-04-06 18:11:49
    如果你需要在Linux中操作windows下的文件,那么你可能会经常遇到文件编码转换的问题。Windows默认的文件格式是GBK(gb2312),而Linux一般都是UTF-8。下面介绍一下,在Linux中如何查看文件的编码及如何进行对文件...
  • linux vi查看文件编码以及修改编码

    万次阅读 2012-06-25 11:16:51
    假如你须要在Linux中操作windows下的文件,那么你可能会时常遇到文件编码转换的疑问。Windows默认的文件格式是GBK(gb2312),而Linux通常都是UTF-8。下面推选一下,在Linux中如何查看文件的编码及如何实行对文件...
  • 如果你需要 Linux 操作windows下的文件 ,那么你可能会经常遇到文件编码...在Linux中查看文件编码可以通过以下几种方式: 1. Vim 可以直接查看文件编码 :set
  • Linux查看文件编码格式

    千次阅读 2020-05-14 11:02:56
    linux查看文件编码格式 file命令 首先查看file命令的help,file --help 阿斯顿 linux文件编码转换
  • 如何在linux下修改文件字符编码
  • linux查看文件编码格式

    万次阅读 2019-04-19 17:13:32
    1.查看文件编码 1.vim 查看 vim 打开文件,切换到底线命令模式,最底一行输入如下命令: :set fileencoding 2.file 查看 ...Vim直接进行转换文件编码,比如将一个文件转换成utf-8格式 :set fileenc...
  • linux命令enca查看文件编码格式 [root@local ~]# enca test.txt Simplified Chinese National Standard; GB2312 该文件是windows下记事本编辑产生的文件,编码方式是GB2312 2. 设置linux系统支持UTF-8
  • 常常在Linux中操作windows下的文件时,会遇到乱码的情形。常见的比如Visual Studio 写的C\C++程序需要放到Linux主机上编译,而程序的中文注释...那么如何在Linux中如何查看文件编码及如何进行对文件进行编码转...
  • linux 转换文件名编码和文件编码

    千次阅读 2010-08-17 14:30:59
    在Linux中查看文件编码可以通过以下几种方式: 1.Vim 可以直接查看文件编码 :set fileencoding 即可显示文件编码格式。 如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题,那么你...
  • linux 下的文件编码格式转换

    千次阅读 2016-04-05 14:32:09
    使用场景: linux 平台上对文件格式进行转换,比如将GBK格式的文件转换为UTF8格式转换方法 1. 使用 iconv 2. 使用enca

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 250,350
精华内容 100,140
关键字:

在linux中查询文件编码

linux 订阅