读取_读取txt文件 - CSDN
精华内容
参与话题
  • matlab读取文本文件、数据文件等

    千次阅读 2020-09-17 19:23:02
    matlab文件读取总结 matlab的文件读取函数功能可以读取各种文件类型,包括: textread(字母和数值每行格式一致) xlsread(读取excel文件) importdata(字母和数值分开,以数字为主,字母只存在前几行) load(纯数据)...

    matlab文件读取总结

    matlab的文件读取函数功能可以读取各种文件类型,包括:

    textread(字母和数值每行格式一致) 
    xlsread(读取excel文件) 
    importdata(字母和数值分开,以数字为主,字母只存在前几行) 
    load(纯数据) 
    dlmread(单一分隔符的纯数据或ASCII数据文件) 
    textscan(类似于textread,但使用前必须fopen打开文件) 
    csvread(类似于xlsread,读取.csv格式的文件) 
    
    

    textread读取

    %-- read
    fid=fopen('sbdart_aeronet_w.out','r');
    aerosol_w = textscan(fid, '%f', 'HeaderLines',1); % 跳过第一行
    fclose(fid);
    %-- 因为不是成行读取,所以读取后的数据需要重新调整为矩阵
    aerosol_w = cell2mat(aerosol_w);
    aerosol_w = reshape(aerosol_w, 9, [])';  %原始数据是M行*9

    fscan读取

    fileID = fopen('I:\filelist_2019-01-01-2019-12-31_filenames.txt');
    files = textscan(fileID,'%s');
    fclose(fileID);
    

    逐行读取字符串文本

    clc
    clear all
    close all
    
    fid_write = fopen('C:\Users\Lily\Desktop\functions_filtered.txt','wt');      %新建一个txt文件
    fid_read = fopen('C:\Users\Lily\Desktop\functions.txt');
    tline = fgetl(fid_read);
    while ischar(tline)
        %     disp(tline)
        tline = fgetl(fid_read);
        if tline~=-1 & contains(tline,'p5')
            continue;
        end    
        fprintf(fid_write,'%s\n',tline);%新的字符串写入当新建的txt文档中
    end
    fclose(fid_read);
    
    
    展开全文
  • 振动论坛原版主eight的经典贴http://www.chinavib.com/thread-45622-1-1.html MATLAB对于文本文件(txt)进行数据读取的技巧总结(经典中的经典)由于本帖内容较多,部分转自他人的心得,因此,凡转贴的地方仅用“--...

    动论坛原版主eight的经典贴http://www.chinavib.com/thread-45622-1-1.html
    MATLAB对于文本文件(txt)进行数据读取的技巧总结(经典中的经典)由于本帖内容较多,部分转自他人的心得,因此,凡转贴的地方仅用--------标注,原作者略去,在此对所有原作者表示感谢!

    特别说明:由于大家在 I/O 存取上以 txt 文件为主,且读取比存储更麻烦(存储的话 fwrite, fprintf 基本够用),因此下面的讨论主要集中在“txt 文件的读取”上。除了标注了“转”之外,其余心得均出于本人经验之结果,欢迎大家指正、补充。

    . 基本知识:
    ------------------------------------------------------------------------------------------------------
    1. 二进制文件与文本文件的区别:
    将文件看作是由一个一个字节(byte) 组成的,那么文本文件中的每个字节的最高位都是0,也就是说文本文件使用了一个字节中的七位来表示所有的信息,而二进制文件则是将字节中的所有位都用上了。这就是两者的区别;接着,第二个问题就是文件按照文本方式或者二进制方式打开,两者会有什么不同呢?其实不管是二进制文件也好,还是文本文件也好,都是一连串的01,但是打开方式不同,对于这些01的处理也就不同。如果按照文本方式打开,在打开的时候会进行translate,将每个字节转换成ASCII码,而以按照二进制方式打开的话,则不会进行任何的translate;最后就是文本文件和二进制文件在编辑的时候,使用的方式也是不同的。譬如,你在记事本中进行文本编辑的时候,你进行编辑的最小单位是字节(byte);而对二进制文件进行编辑的话,最小单位则是位(bit),当然我们都不会直接通过手工的方式对二进制文件进行编辑了。

    从文件编码的方式来看,文件可分为ASCII码文件和二进制码文件两种:
    ASCII
    文件也称为文本文件,这种文件在磁盘中存放时每个字符对应一个字节,用于存放对应的ASCII码。例如,数5678的存储形式为:   
       ASCII
    码: 00110101   00110110   00110111   00111000   
                            
                              
     
    十进制码:       5 6           7     8   

    共占用4个字节。ASCII码文件可在屏幕上按字符显示,例如源程序文件就是ASCII文件,用DOS命令TYPE可显示文件的内容。由于是按字符显示,因此能读懂文件内容。

    二进制文件是按二进制的编码方式来存放文件的。例如,数5678的存储形式为:00010110   00101110 只占二个字节。二进制文件虽然也可在屏幕上显示,但其内容无法读懂。C系统在处理这些文件时,并不区分类型,都看成是字符流,按字节进行处理。输入输出字符流的开始和结束只由程序控制而不受物理符号(如回车符)的控制。因此也把这种文件称作“流式文件”。  

    2. 文本模式(textmode)和二进制模式(binarymode)有什么区别?   

    流可以分为两种类型:文本流和二进制流。文本流是解释性的,最长可达255个字符,其中回车/换行将被转换为换行符“\n”,(如果以"文本"方式打开一个文件,那么在读字符的时候,系统会把所有的"\r\n"序列转成"\n",在写入时把"\n"转成"\r\n" )。二进制流是非解释性的,一次处理一个字符,并且不转换字符。

    注:  


          \n一般会操作系统被翻译成"行的结束",即LF(Line-Feed)
          \r
    会被翻译成"回车",即CR(Cariage-Return)
         
    对于文本文件的新行,在UNIX上,一般用\n(LF)来表示,Mac上用\r(CR)来表示,
          Windows
    上是用\n\r(CR-LF)来表示。        
              
       
    通常,文本流用来读写标准的文本文件,或者将字符输出到屏幕或打印机,或者接受键盘的输入;而二进制流用来读写二进制文件(例如图形或字处理文档),或者读取鼠标输入,或者读写调制解调器。如果用文本方式打开二进制文件,会把“0D   0A”自动变换成“\n”来存在内存中。写入的时候反向处理。而二进制方式打开的话,就不会有这个过程。但是,Unicode/UTF/UCS格式的文件,必须用二进制方式打开和读写。

    ---------------------------------------------------------------------------------------------------------

    上述基础其实大可以略过,简言之,对用户来说: matlab 中存储成为二进制还是文本文件取决于fopen的方式,如果用wt,则存储为文本文件,这样用记事本打开就可以正常显示了;如果用w则存储为二进制文件,这样用记事本打开会出现小黑方块,要正常显示的话,可以用写字板或UltraEdit等工具打开。

    . MatlabI/O文件操作使用技巧和总结:

    1. Matlab 支持的I/O文件(对应“取/存”操作)类型:(所有文件I/O程序不需要特殊的工具箱)
    http://www.mathworks.com/support/tech-notes/1100/1102.html

    (注:从上表可以看到,matlab不支持doc格式的文档存取(因为doc文档包含很多格式控制符),请改用txt或者dat格式)

    2. Matlab I/O文件指南:
    http://www.mathworks.com/support/tech-notes/1600/1602.html


    以下是部分对应的中文译文:
    --------------------------------------------------------------
    ----------------------------------------
    本技术支持指南主要处理:ASCII, binary, and MAT files.
    要得到MATLAB中可用来读写各种文件格式的完全函数列表,可以键入以下命令:
    help iofun

    MATLAB中有两种文件I/O程序:high level and low level.
    High level routines: 包括现成的函数,可以用来读写特殊格式的数据,并且只需要少量的编程。
    Low level routines: 可以更加灵活的完成相对特殊的任务,需要较多的额外编程。



    High level routines 包括现成的函数,可以用来读写特殊格式的数据,并且只需要少量的编程。


    举个例子,如果你有一个包含数值和字母的文本文件(text file)想导入MATLAB,你可以调用一些low level routines自己写一个函数,或者是简单的用TEXTREAD函数。


    使用high level routines的关键是:文件必须是相似的(homogeneous),换句话说,文件必须有一致的格式。下面的段落描述一些high level file I/O routines并给出一些例子帮助理解概念。


    LOAD/SAVE


    主要的high level file I/O routines LOAD  SAVE函数。LOAD
    可以读MAT-file data或者用空格间隔的格式相似的ASCII data. SAVE可以将MATLAB变量写入MAT-file格式或者空格间隔的ASCII data。大多数情况下,语法相当简单。下面的例子用到数值由空格间隔的ASCII file
    sample_file.txt 


    1 5 4 16 8


    5 43 2 6 8


    6 8 4 32 1


    90 7 8 7 6


    5 9 81 2 3


    Example:
    LOAD and SAVE 读写数据





    CODE:

    % Load the file to the matrix, M :
    M = load('sample_file.txt') 

    % Add 5 to M :
    M = M +5 

    % Save M to a .mat file called 'sample_file_plus5.mat':
    save sample_file_plus5 M

    % Save M to an ASCII .txt file called 'sample_file_plus5.txt' :
    save sample_file_plus5.txt M -ascii 

    UIGETFILE/UIPUTFILE


    UIGETFILE/UIPUTFILE是基于图形用户界面(GUI)的。会弹出对话框,列出当前目录的文件和目录,提示你选择一个文件。UIGETFILE让你选择一个文件来写(类似Windows ‘另存为’选项?)。用UIGETFILE,可以选择已存在的文件改写,也可以输入新的文件名。两个函数的返回值是所选文件名和路径。


    Example:
    UIGETFILE 从当前目录选择一个 M-file


    CODE:

    % This command lists all the M-files in the current directory and
    % returns the name and path of the selected file


    [fname,pname] = uigetfile('*.m','Sample Dialog Box') 

    注意: UIGETFILE 一次只能选择一个文件。


    UIIMPORT/IMPORTDATA


    UIIMPORT是一个功能强大,易于使用的基于GUIhigh level routine,用于读complex data files。文件也必须是homogeneous


    IMPORTDATA形成UIIMPORT的功能,不打开GUI。可以将IMPORTDATA用于函数或者脚本中,因为在函数或者脚本中基于GUI的文件导入机制并不理想。下面的例子用到包含几行文件头和文本、数值数据的文件'sample_file2.txt' 


    This is a file header.


    This is file is an example.


    col1 col2 col3 col4


    A    1   4    612.000


    B    1   4    613.000


    C    1   4    614.000


    D    1   4    615.000


    Example: Using IMPORTDATA to read in a file with headers, text, and numeric data





    CODE:

    % This reads in the file 'sample_file2.txt' and creates a
    % structure D that contains both data and text data.
    % Note the IMPORTDATA command specifies a white space 
    % as the delimiter of the file, but IMPORTDATA can usually 
    % detect this on its own 

    D = importdata('sample_file2.txt','')  %
    原文有误?

    D = importdata('sample_file2.txt')


    可以通过访问结构D的数据和文本域,来看结构D中的真实值,例如输入:


    data = D.data


    text = D.textdata


    可以用UIIMPORT读同一个文件并得到同样的结构.


    注意: 对于 ASCII data, 你必须检验导入向导正确的识别了列分隔符。


    TEXTREAD/STRREAD


    TEXTREAD 是一个强大的动态high level routine,设计用来读ASCII格式的文本和/或数值数据文件。STRREAD除是从字符串而不是文件读以外,类似于TEXTREAD


    两个函数可以用许多参数来改变其具体的工作方式,他们返回读入指定输出的数据。他们有效的提供给你一个
    “两全其美”的方法,因为他们可以用一个命令读入混合的ASCII和数值数据(high level routines的做法),并且你可以改变他们以匹配你特定的应用(如同low level routines做到的)。例子:





    CODE:

    Example 1: Using TEXTREAD to read in an entire file into a cell array

    % This command reads in the file fft.m into the cell array, file 

    file = textread('fft.m','%s','delimiter','\n','whitespace','');






    CODE:

    Example 2: Using STRREAD to read the words in a line

    % This command uses the cell array created in Example 1 to 
    % read in each word of line 28 in 'file' to a cell array, words

    words = strread(file{28},'%s','delimiter','') 




    CODE:

    Example 3: Using TEXTREAD to read in text and numeric data from a file with headers

    % This command skips the 2 header lines at the top of the file
    % and reads in each column to the 4 specified outputs

    [c1 c2 c3 c4] = textread('sample_file2.txt','%s %s %s %s','headerlines',2) 



    CODE:

    Example 4: Using TEXTREAD to read in specific rows of text and numeric data from a file

    % This command reads in rows B and C of the file. The 'headerlines'
    % property is used to move down to the desired starting row and the 
    % read operation is performed 2 times 

    [c1 c2 c3 c4] = textread('sample_file2.txt',... 
    '%s %s %s %s',2,'headerlines',4) 



    CODE:

    Example 5: Using TEXTREAD to read in only the numeric data from a file containing text and numbers

    % This command reads in only the numeric data in the file. The
    % 'headerlines' property is used to move down to the first row 
    % of interest and the first column of text is ignored with the 
    % '*'  operator 

    [c2 c3 c4] = textread('sample_file2.txt','%*s %d %d %f','headerlines',3) 

    DLMREAD/DLMWRITE/CSVREAD


    DLMREAD  DLMWRITE函数能够读写分隔的ASCII data,而不是用low level routines。他们比low level routines容易使用,Low level routines用几行代码实现的功能可以用DLMREAD/DLMWRITE简化成一行。


    CSVREAD用来读分隔符是逗号的文件,是DLMREAD的特殊情况。当读空格和Tab分隔的电子数据表文件时,DLMREAD特别有用。以'sample_file.txt'为例:


    CODE:

    Example 1: Using DLMREAD to read in a file with headers, text, and numeric data 

    % This reads in the file 'sample_file2.txt' and creates a matrix, D,
    % with the numeric data this command specifies a white space as the
    % delimiter of the file 

    D = dlmread('sample_file.txt','') 

    CODE:

    Example 2: Using DLMREAD to extract the first 3 columns of the last 3 rows

    % This reads in the first 3 columns of the last 3 rows of
    % the data file 'sample_file.txt'into the matrix, D_partial.
    %
    读文件 'sample_file.txt' 3列后3行,到矩阵D_partial.

    D_partial = dlmread('sample_file.txt','',[2 0 4 2]) 


    CODE:

    Example 3: Using DLMWRITE to write a comma delimited file

    % This creates a file called 'partialD.txt' that consists of 
    % the first 3 columns of the last 3 rows of data where each
    % element is separated by a comma 

    dlmwrite('partialD.txt',D_partial,',') 


    注意: 保证DLMREAD and DLMWRITE指定范围的指标从0开始,而不是从1开始。


    WK1READ/WK1WRITE


    WK1READ 用来读Lotus123 电子数据表文件的数据;WK1WRITE用来写矩阵到Lotus123 电子数据表文件。


    XLSREAD


    XLSREAD用来读Excel的数值和文本数据。


    ---------------------------------------------------------------------------------------------------------

    . 具体例子分析:
    Matlab网站用两个例子非常详尽地介绍了各个命令的基本用法,实际中,面对手头上的数据,如何选用合适的命令呢?以下结合几个示例给出一些总结,大家举一反三就可以了:

    1. 纯数据(列数相同):
    源文件:



    CODE:
    0 3866.162 2198.938 141.140
    1 3741.139 2208.475 141.252
    2 3866.200 2198.936 141.156
    3 3678.048 2199.191 141.230
    4 3685.453 2213.726 141.261
    5 3728.769 2212.433 141.277
    6 3738.785 2214.381 141.256
    7 3728.759 2214.261 141.228
    8 3748.886 2214.299 141.243
    9 3748.935 2212.417 141.253
    10 3733.612 2226.653 141.236
    11 3733.583 2229.248 141.223
    12 3729.229 2229.118 141.186




    解答:对于这个txt文件,由于各行列数相同,故简单地使用load,importdata均可。


    2.字段名(中、英文字段均可)+数据:
    源文件:


    CODE:
    CH0 CH1 CH2 CH3
    0.000123 0.000325 0.000378 0.000598
    0.000986 0.000256 0.000245 0.000698


    解答:由于是记录的形式,因此各行列数必相同(缺少部分列时请自行在文件中补上 Inf NaN),故直接使用 importdata 便可。

    3.注释(含有独立的数字串)+数据(列数相同):
    问题:这个文件有4,但前6行是文字说明,4列数字是从第8行开始的.现在我想把这个文件的前2列和文字说明提出来组成一个新的dat文件

    源文件:


    CODE:
    Group 2  12.02.2006   Limei
    Samples of datas: 50000

    CH0  CH1  CH2  CH3
    0.000123  0.000325   0.000378   0.000598
    0.000986  0.000256   0.000245   0.000698


    目标文件:


    CODE:
    Group 2 12.02.2006 Limei
    Samples of datas: 50000

    CH0 CH1
    0.000123 0.000325
    0.000986 0.000256


    解答:由于注释中含有独立的数字串,且注释部分没有明显的格式,这时候用importdata, load等高级命令直接读取会失败,用 textread, dlmwrite 等格式化命令也不太合适,因此只能使用低级命令进行读取。(当然了,可以跳过注释部分直接用高级命令读取数据,即:[a b c d] = textread(filename,'%f %f %f %f','headerlines',4); )。一个简单的、非通用的包含注释的读取方法如下:
    -------------------------------------
    ---------------------------------------------------------------------------------------

    CODE:
    clc;clear;
    fid = fopen('exp.txt', 'r');
    fid_n=fopen('ex.dat','w');
    while ~feof(fid)
        tline=fgetl(fid);
        if ~isempty(tline)
            if double(tline(1))>=48 && double(tline(1))<=57  %
    数值开始
                a=strread(tline);
                a(3:4)=[];
                fprintf(fid_n,'%f %f\n',a);
                clear a;
            elseif double(tline(1))==67   %
    字母C开始
               [b1,b2,b3,b4]=strread(tline,'%s %s %s %s');
               b=[b1{1},'  ',b2{1}];
                fprintf(fid_n,'%s\n',b);
                clear b b1 b2 b3 b4;
            else
                fprintf(fid_n,'%s\n',tline);
            end
        else
            fprintf(fid_n,'%s\n',tline);
        end
    end
    fclose(fid);
    fclose(fid_n);

    ---------------------------------------------------------------------------------

    4. 注释(不含独立的数字串)+数据(列数相同):
    源文件:

    CODE:
    你好 abc
    欢迎来到 我们
    振动论坛
    vib.hit.edu.cn
    1 11 111 1111
    2 22 222 2222
    3 33 333 3333
    4 44 444 4444
    5 55 555 5555

    解答:直接用 importdata 便可

    注:有时候注释中含有独立的数字串也可以 importdata 成功,不过得到的结果有可能不正确,建议这时候使用第3种情形的读取方式。

    5. 注释与数据混排:
    对此当然只能自己编程,举例:

    源文件

    CODE:
    1 11 111 1111
    你好
    2 22 222 2222
    欢迎来到
    3 33 333 3333
    振动论坛
    4 44 444 4444
    vib.hit.edu.cn
    5 55 555 5555

    解答:
    --------------------------------------------
    --------------------------------------

    CODE:

    function [data]=distilldata(infile)
    %
    功能说明:
    %
    将保存数据的原始文件中的数值数据读入到一个data变量中
    %
    使用说明:
    % infile
    ——原始数据文件名;
    % data=
    数据变量

    tmpfile='tmp2.mat';

    fidin=fopen(infile,'r'); %
    打开原始数据文件(.list

    fidtmp=fopen(tmpfile,'w'); %
    创建保存数据文件(不含说明文字)

    while ~feof(fidin) %
    判断是否为文件末尾
      tline=fgetl(fidin); %
    从文件读入一行文本(不含回车键)
      if ~isempty(tline) %
    判断是否空行
        [m,n]=size(tline);
        flag=1;
        for i=1:n %
    判断一行中有没有字符(+-.Ee和空格键除外)
          if ~(tline(i)==' '|tline(i)=='-'|tline(i)=='.'|tline(i)=='E'...
              |tline(i)=='e'|tline(i)=='+'...
              |(double(tline(i))>=48&&double(tline(i))<=57))
            flag=0;
            break;
          end
        end
        if flag==1 %
    如果是数字行,把此行数据写入文件
          fprintf(fidtmp,'%s\n',tline);
        end
      end
    end

    fclose(fidin);

    fclose(fidtmp);

    data=textread(tmpfile);

    delete(tmpfile);

    ---------------------------------------------------------------------------------------------------------
    另外,如果要求不高,也可以使用 textread 函数跳过注释部分进行读取,不过前提是需要事先知道文件内容的结构(即哪行是数据、哪行是注释)

    6.各列数据的分离:
    源文件:


    CODE:
               0 +  47038.7   1.05  09:26:07  C
               2 +  46477.7   1.03  09:28:38  C  
               4 +  44865.7   1.04  09:28:48  C  
               6 +  41786.4   1.03  09:28:56  C  
               8 +  39896.0   0.97  09:29:03  C  
              10 +  37518.4   0.93  09:29:15  C  
              12 +  35858.5   0.92  09:29:30  C  
              14 +  46105.0   1.03  09:30:21  C  
              16 +  46168.6   6.89  09:30:30  C  
              18 +  48672.3   4.33  09:30:40  C  
              20 +  49565.7   0.49  09:30:48  C  
              22 +  49580.7   0.53  09:30:55  C  
              24 +  49602.3   0.84  09:31:03  C  
              26 +  49582.5   1.51  09:31:11  C  
              28 +  49577.0   1.39  09:31:19  C  
              30 +  49589.3   0.61  09:31:27  C  
              32 +  49578.3   1.06  09:31:29  C  
              34 +  49512.5   1.77  09:31:38  C 

    解答:直接用 [a,b,c,d,e,f]=textread(yourfilename,'%d %c %f %f %s %c'); 便可

    . 注意事项:

    1. 请在 matlab 中保持当前路径在该数据文件对应的目录下进行存取,否则,存取时请给出该数据文件的具体路径。
    2. 存取时,请给出该数据文件的全称(包括后缀名,读取mat文件时可省略)
    3. load data.txtA=load(data.txt)的区别请参阅精华贴:
    4. 请根据读写需要来打开文件,即根据你的需要来指定 fopen permission 属性为读或写。如果只用 a 进行写入,就不能用 fread 读取。此时应该写完关闭文件,然后用 r 打开读取,或者直接用 a+ 进行同时读写操作。否则,会产生莫名其妙的问题!以下代码是一个错误的例子:

    CODE:

    filename='e.dat';
    fid=fopen(filename,'a');
    if fid<0
        error('fopen error');
    end
    s=[1 2 3 4;5 6 7 8];
    fwrite(fid,s,'float32')
    [dd ll]=fread(fid,inf,'float32');
    %把t中的数据全部读出,即s矩阵。
    fclose(fid);
    此时得到的dd, ll 是错误且无意义的!


    . 其他相关问题:

    1. 连续读取多个文件的数据,并存放在一个矩阵中:
    (1)
    首先是如何读取文件名:
    方法一:
    filename=dir(*.jpg);
    那么第i个文件的文件名就可以表示为
    filename(i).name
    文件数量为:length(filename)

    方法二:
    先在Windows MSDOS(命令行)中使用以下命令生成一个list.txt文件:


    dir path\folder /on /b /s > path\list.txt


    举例:dir d:\test /on /b /s > d:\list.txt


    然后在 matlab 中使用:


    filename = textread(sFileFullName,'%s');


    把所有文件名读取到list细胞矩阵中,最后对filename{i}便可得到各文件名。


    (2) 然后是读取文件名的数据并存储:
    假设每个文件对应的数据是m*n的,则:

    CODE:
    k = length(filename);

    Data = zeros(m,n,k);

    for ii = 1:k
      Data(:,:,ii) = yourreadstyle(filename{ii}); %yourreadstyle
    是对应的文件读取方式的函数
    end


    2. 连续读取多个文件的数据,并存放在多个矩阵(以文件名命名)中:
    假设每个文件对应的数据是m*n的,则以上述第二种文件名读取方法为例:

    CODE:
    k = length(filename);
    for ii = 1:k
      D = yourreadstyle(filename{ii});
    eval_r([
    Data_, num2str(ii), = D;]);
    end

    3. 文件名命名问题:
    文件名为 abc00001,abc00002,... abc00009,abc00010,... abc00099,abc00100,...abc00879.  准备把这些文件名给放到一个数组里面去。

    解答:

    CODE:
    a=cell(879,1);
    for k=1:879
         a{k} = sprintf('%.5d',k);
    end

    4. 上述各种文件格式、类型自动识别问题:可以利用正则表达式来处理,使之通用性较强。例如使用以下代码可以自动处理上面提到了例1到例5各种情形,不过由于存在自动判断,对某些例子(如例1)效率自然要低一点,而对于另外的例子(如例3、例5)效率估计要高一点(少用了一个循环)。

    CODE:
    function [data]=distilldata_eight(infile)
    %
    功能说明:
    %
    将保存数据的原始文件中的数值数据读入到一个data变量中(自动判断数据行)
    %
    使用说明:
    % infile
    ——原始数据文件名;
    % data=
    数据变量

    tmpfile='tmp2.mat';

    fidin=fopen(infile,'r'); %
    打开原始数据文件(.list

    fidtmp=fopen(tmpfile,'w'); %
    创建保存数据文件(不含说明文字)

    while ~feof(fidin) %
    判断是否为文件末尾
      tline=fgetl(fidin); %
    从文件读入一行文本(不含回车键)
      if ~isempty(tline) %
    判断是否空行
        str = '[^0-9 | \. | \- | \s | e | E]'; %
    正则表达式为:该行中是否包含除 - . E e 数字  空白字符 外的其他字符
        start = regexp(tline,str, 'once');
        if isempty(start)
          fprintf(fidtmp,'%s\n',tline);
        end
      end
    end

    fclose(fidin);

    fclose(fidtmp);

    data=textread(tmpfile);

    delete(tmpfile)


    5. 大量数据的读取问题:
    可以考虑使用循环分批读取(特别是在各数据是独立的时候),或者使用稀疏矩阵来实现。另外,也可参考《深入浅出MATLAB 7_X混合编程》一书第一章

    6. 读取整个txt文件的内容(获得文件中的所有字符):

    CODE:

    f = fopen('yourfilename.txt','rt'); % t
    属性根据需要可省略
    x = fread(f,'*char');
    fclose(f);


    7. 把维数不同的矩阵及其变量名保存到一个 txt 文件中,例如 a1 = 123; a2 = [1 2 3;4 5 6] ,希望得到的 txt 文件如下:


    QUOTE:

    a1
    123
    a2

    1 2 3
    4 5 6
    如果写入的时候简单一点,则可以采用以下方式,不过读取的时候比较麻烦:

    CODE:

    a1=123;
    a2=[1 2 3;4 5 6];
    fid = fopen('myfile.txt', 'wt');
    for i=1:2
        fprintf(fid, '%s: \n %s\n', ['a',int2str(i)], mat2str(eval_r(['a',int2str(i)])));
    end
    fclose(fid);


    相反,如果写入的时候复杂一点,则读取的时候会简单一点:

    CODE:

    a1=123;
    a2=[1 2 3;4 5 6];
    fid = fopen('myfile.txt', 'wt');
    for i=1:2
        fprintf(fid, '%s: \n', ['a',int2str(i)]); 
        b = eval_r(['a',int2str(i)]);
        fprintf(fid, [repmat('%d ', 1, size(b,2)), '\n'], b');
    end
    fclose(fid);

     

    转载于:https://www.cnblogs.com/AI-Algorithms/p/3669868.html

    展开全文
  • byte[]读取与写入

    万次阅读 2018-09-18 14:32:13
    FileStream fs1 = new FileStream(@"E:\tenp\doc\111.txt", FileMode.Open, FileAccess.Read, FileShare.Read); FileStream fs2 = new FileStream(@"E:\temp\doc\222.txt", FileMode.Create, ...
    FileStream fs1 = new FileStream(@"E:\tenp\doc\111.txt", FileMode.Open, FileAccess.Read, FileShare.Read);
    FileStream fs2 = new FileStream(@"E:\temp\doc\222.txt", FileMode.Create, FileAccess.Write, FileShare.None);
    byte []farr = new byte[1024];
    const int rbuffer=1024;
    //fs1.ReadByte(); //读取单个字节,返回-1表示读完
    while (fs1.Read(farr, 0, rbuffer)!=0) //返回0表示读完
    {
    	fs2.Write(farr, 0, rbuffer);
    }
    fs1.Close();
    fs2.Close();
    

    读取与写入byte[] 

    protected void ByteToString_Click(object sender, EventArgs e)
            {
    
    
                string content = this.txtContent.Text.ToString();
    
                if (string.IsNullOrEmpty(content))
                {
                    return;
                }
    
                //string 转为byte数组
                byte[] array = Encoding.UTF8.GetBytes(content);
    
                //将byte数组转为string
                string result = Encoding.UTF8.GetString(array);
    
    
                Response.Write(result);
    
    
            }
            //利用byte[]数组写入文件
            protected void writerFile_Click(object sender, EventArgs e)
            {
    
                string content = this.txtContent.Text.ToString();
    
                if (string.IsNullOrEmpty(content))
                {
                    return;
                }
    
                //将string转为byte数组
                byte[] array = Encoding.UTF8.GetBytes(content);
    
                string path = Server.MapPath("/test.txt");
                //创建一个文件流
                FileStream fs = new FileStream(path, FileMode.Create);
    
                //将byte数组写入文件中
                fs.Write(array, 0, array.Length);
                //所有流类型都要关闭流,否则会出现内存泄露问题
                fs.Close();
    
                Response.Write("保存文件成功");
    
    
            }
            //利用byte[]数组读取文件
            protected void readFile_Click(object sender, EventArgs e)
            {
                string path = Server.MapPath("/test.txt");
    
                FileStream fs = new FileStream(path, FileMode.Open);
    
                //获取文件大小
                long size = fs.Length;
    
                byte[] array = new byte[size];
    
                //将文件读到byte数组中
                fs.Read(array, 0, array.Length);
    
                fs.Close();
    
                //将byte数组转为string
                string result = Encoding.UTF8.GetString(array);
    
    
                Response.Write(result);
    
                
    
            }

     

    展开全文
  • pytorch学习—图像的加载/读取方式

    千次阅读 2019-05-24 13:59:17
    pytorch学习—图像的加载/读取方式(转) 使用pytorch制作图像数据集时,需要将存储在磁盘、硬盘的图像读取到内存中,涉及到图像I/O问题。 在python中,图像处理主要采用的库:skimage, opencv-python, Pillow (PIL)。...

    pytorch学习—图像的加载/读取方式(转)

    使用pytorch制作图像数据集时,需要将存储在磁盘、硬盘的图像读取到内存中,涉及到图像I/O问题。

    在python中,图像处理主要采用的库:skimage, opencv-python, Pillow (PIL)。 这三个库均提供了图像读取的方法。

    三种主流图像处理库的比较:

    函数/方法 返回值 图像像素格式 像素值范围 图像矩阵表示
    skimage io.imread(xxx) numpy.ndarray RGB [0, 255] (H X W X C)
    cv2 cv2.imread(xxx) numpy.ndarray BGR [0, 255] (H X W X C)
    Pillow(PIL) Image.open(xxx) PIL.Image.Image对象 根据图像格式,一般为RGB [0, 255]

    • 操作系统:ubuntu18.04
    • 显卡:GTX1080ti
    • python版本:2.7(3.7)
    • pycharm
    • pytorch1.0, opencv-python 3.4.3,skimage, numpy,PIL
    • QQ群加入深度学习交流群 获取更多环境配置细节和学习资料

    实验内容

    读取图像

    准备一张测试图像,1200*1200 彩色24bit

    在这里插入图片描述

    显示图像:
    从左到右分别为skimage, cv2, PIL 读取之后显示的图像。PIL读取的图像为PIL.Image.Image对象,无法用matplotlib直接显示,需要先转为numpy.ndarray对象。
    图1,图3显示正常,图像显示不正常,因为opencv读取的图像为BGR格式,matplotllib使用RGB方式显示,图像通道顺序不一致。

    image.png

    图像转为torch.Tensor对象

    在深度学习中,原始图像需要转换为深度学习框架自定义的数据格式,在pytorch中,需要转为torch.Tensor。
    pytorch提供了torch.Tensornumpy.ndarray转换为接口:

    方法名 作用
    torch.from_numpy(xxx) numpy.ndarray转为torch.Tensor
    tensor1.numpy() 获取tensor1对象的numpy格式数据

    torch.Tensor 高维矩阵的表示: (nSample)x C x H x W

    numpy.ndarray 高维矩阵的表示: H x W x C
    因此在两者转换的时候需要使用numpy.transpose( ) 方法 。

    Code

    
    # ------------np.ndarray转为torch.Tensor------------------------------------
    # numpy image: H x W x C
    # torch image: C x H x W
    # np.transpose( xxx,  (2, 0, 1))   # 将 H x W x C 转化为 C x H x W
    tensor_skimage = torch.from_numpy(np.transpose(img_skimage, (2, 0, 1)))
    tensor_cv = torch.from_numpy(np.transpose(img_cv, (2, 0, 1)))
    tensor_pil = torch.from_numpy(np.transpose(img_pil_1, (2, 0, 1)))
    

    torch.Tensor转numpy.ndarray

    # np.transpose( xxx,  (2, 0, 1))   # 将 C x H x W 转化为 H x W x C
    img_skimage_2 = np.transpose(tensor_skimage.numpy(), (1, 2, 0))
    img_cv_2 = np.transpose(tensor_cv.numpy(), (1, 2, 0))
    img_pil_2 = np.transpose(tensor_pil.numpy(), (1, 2, 0))
    

    plt.figure()
    for i, im in enumerate([img_skimage_2, img_cv_2, img_pil_2]):
    ax = plt.subplot(1, 3, i + 1)
    ax.imshow(im)
    plt.pause(0.01)

    显示:


    image.png

    opencv图像BGR->RGB操作

    opencv默认读取的图像为BGR形式,可以使用opencv提供的方法:cv2.cvtColor( ) 进行图像颜色空间转换

    # opencv 读取的图像为BGR
    # 首先需要转为RGB
    img_cv = cv2.cvtColor(img_cv, cv2.COLOR_BGR2RGB)
    # 转torch.Tensor
    tensor_cv = torch.from_numpy(img_cv)
    # tensor转numpy
    img_cv_2 = tensor_cv.numpy()
    plt.figure()
    plt.title('cv')
    plt.imshow(img_cv_2)
    plt.show()
    

    显示:


    image.png

    展开全文
  • MNIST手写数字数据集读取方法

    万次阅读 多人点赞 2018-08-16 17:01:12
    MNIST是一个非常有名的手写体数字识别数据集,在很多资料中,这个数据集都会被用作深度学习的入门样例。 ...数据集简介: 1、共有4数据集,下载之后并将其解压保存在磁盘中(最好放在你代码执行目录下,方便后期使用...
  • public class ... * 以字节为单位读取文件,常用于读二进制文件,如图片、声音、影像等文件。 */ public static void readFileByBytes(String fileName) { File file = new File(fileName); InputStr...
  • python读取、写入txt文本内容

    万次阅读 多人点赞 2019-08-22 21:54:28
    读取txt文本 python常用的读取文件函数有三种read()、readline()、readlines() 以读取上述txt为例,看一下三者的区别 read() 一次性读全部内容 一次性读取文本中全部的内容,以字符串的形式返回结果 with open...
  • Java读取文件的方法

    万次阅读 2018-10-21 16:32:11
    读取二进制文件 读取二进制文件,并存入byte数组,如算法训练模型的二进制模型。 public byte[] readFromByteFile(String pathname) throws IOException{ File filename = new File(pathname); ...
  • Java读取文件的四种方式

    万次阅读 2018-09-18 14:53:08
    按字节读取文件内容 按字符读取文件内容 按行读取文件内容 随机读取文件内容    public class ReadFromFile { /** * 以字节为单位读取文件,常用于读二进制文件,如图片、声音、影像等文件...
  • Java中文本文件的读取(按行读取)

    万次阅读 多人点赞 2018-04-29 18:17:33
    在之前的学习过程中,经常会遇到将文本文件中的数据读取到数组或其他数据结构中。每次遇到,总是在网上搜索代码解决,解决之后并没有总结复习,因此在下一次遇到同样的问题时,又重复之前的过程。这样周而复始,并...
  • Python xlrd 读取 Excel 表格基础 一:按行、按列读取Excel数据内容前言:1、获取工作簿、sheet对象2、获取sheet表中行、列对象3、读取sheet对象中所有数据4、按行读取Excel文件所有sheet表数据最后: 前言: 前面...
  • C语言读取每一行文本

    万次阅读 2020-01-21 18:05:33
    C语言读取每一行文本方法:C语言读取每一行文本
  • 如何使用python读取txt文件中的数据

    万次阅读 多人点赞 2019-04-28 16:58:27
    如何使用python读取文本文件中的数字? python读取txt各个数字 python 读取文本文件内容转化为python的list python:如何将txt文件中的数值数据读入到list中,且在list中存在的格式为float类型或者其他数值类型 ...
  • springboot读取resource下的文本文件

    万次阅读 2017-02-27 10:42:19
    文本所在位置: 获取ZH.txt: File file = ResourceUtils.getFile("classpath:dataFile/ZH.txt");
  • 本文代码都在Windows/VC++6.0下测试过,... 当linux上的代码读取Windows文件格式时, 读取结果的每行都会多一个\r, 想想为什么。 2. 当Windows上的代码读取linux格式文件时, 读取的结果会显示只有一行, 想想为什么。
  • 如何用c语言从txt文件中读取数据

    万次阅读 2019-03-16 17:51:45
    用C语言从txt文件中读取数据,可以使用C标准库文件自带的文件接口函数进行操作。 一、打开文件: FILE *fopen(const char *filename, const char *mode); 因为txt文件为文本文件, 所以打开时选择的mode应为"r&...
  • 读取以及设置plc内部时钟的方法,用read_rtc和set_rtc的方法 ,一下以读取为例,读取我的plc内部时间,设置同理。
  • python读取TXT每行,并存到LIST中

    万次阅读 2018-06-11 16:37:35
    文本如图Python:import sys result=[] with open('accounts.txt','r') as f: for line in f: result.append(list(line.strip('\n').split(','))) print(result)
  • Python 文件,文件读取一行(readline)

    万次阅读 2018-11-16 16:17:20
    demo.py(读取一行readline): file = open("readme.txt") while True: text = file.readline() # 只读取一行内容 # 判断是否读取到内容 if not text: break # 每读取一行的末尾已经有了一个 `...
  • python 读取文件夹下所有的文件

    万次阅读 多人点赞 2018-11-06 23:57:04
    import os fileList = os.listdir(path)
1 2 3 4 5 ... 20
收藏数 3,146,350
精华内容 1,258,540
关键字:

读取