精华内容
下载资源
问答
  • 数据读取
    千次阅读
    2020-08-18 20:46:31

    使用matlab可以很方便的对数据进行读取、处理,实现算法仿真和性能评估。

    数据输入数据的格式一般有.dat/.bin/.txt,对于这类文件形式的数据,一般使用fopen()打开文件,获得文件句柄,fread()读取数据,fwrite()写入数据,最后使用fclose()关闭文件。

    fopen()中输入文件路径,可以使用绝对路径和相对路径,绝对路径为该文件在资源管理器中所显示的完整路径,以根目录为起点,进行一步步索引。而相对路径则是以当前处理程序所在的路径为起点,到数据文件所在位置的索引路径。在多人协作过程中,由于每个人的程序路径都不一样,因此使用相对路径更加具有兼容性。

    使用fread()/fwrite()进行数据读取/写入时,需要设置读取数据格式,一般包括"uint8/uint16/uint32"等。

    在前端进行数据采集时,对于有符号的数,一般有两种保存方式:1. 加上一个偏移量,使其转换为无符号数。偏移量的设置,需要根据数据的格式计算而来,对于一个有符号8位的数(int8),取值范围为-128到+127,则可以对每一个数加上128的偏移量,使其变为取值范围为0~255的无符号8位数(uint8)。2. 使用补码的方式进行保存。对于一个有符号的数,正数的补码是其自身,负数的补码是其反码加1。

    在数字信号处理过程中,大多数情况下输入的是IQ两路的复数信号,在对其存储过程中,需要进行相应转换,例如IQ两路有符号8位数,首先按照上述方法转换为无符号数,然后将两个数组合成一个无符号16位数进行保存,一般I路放在高8位,Q路低8位。对于(-101 + j38)的复数,将其转换为uint16进行保存,则使用偏移码的结果为0X1BA6,使用补码的结果为0X9B26。

    为了正确读取数据内容,需要对确认原始数据格式,保存数据位宽,是否有符号,如何转换,若为复信号,则IQ如何保存。

    在数据读入后,按照正确的方法恢复到原始复信号:

    fileName = '.\data\example.bin';		% 文件相对路径
    fid = fopen(fileName,'rb');				% 二进制只读形式打开文件
    dataIQ = fread(fid,inf,'uint16'); 		% 以uint16的格式读取数据,将文件中的所有数据读取完
    
    % 偏移码的形式读取,I在高8位Q在低8位
    data1_Q = bitand(dataIQ, 255) - 128;       % 按位与,得到低8位 -- dataIQ&0xff
    data1_I = bitshift(bitand(dataIQ,65280),-8) - 128; % 按位与,得到高8位 -- (dataIQ&0xff00)>>8
    
    % 补码的形式读取,I在低8位Q在高8位
    data2_I = bitand(dataIQ, 255);
    data2_Q = bitshift(bitand(dataIQ,65280),-8);
    Id_I = data2_I > 127;					% 负数需要进行转换
    data1_I(Id_I) = data2_I(Id_I) - 255;
    Id_Q = data2_Q > 127;					% 负数需要进行转换
    data1_Q(Id_Q) = data2_Q(Id_Q) - 255;
    

    还有输入数据是表格形式保存的,则不需要关心数据的保存位宽,通过xlsread()对数据进行读取:

    fileName = '.\data\example.xlsx';		% 文件相对路径
    sheet = 'SkyWatch';						% datasheet
    fid = xlsread(fileName,sheet);			% 表格数据读取
    dataIQ = fid(:,2);						% 取第2列的数据
    
    更多相关内容
  • Pandas —— 数据读取

    千次阅读 2020-07-18 11:19:43
    文章目录Pandas 数据读取纯文本文件读取csv 文件读取xlsx 格式文件读取MySQL 数据表读取 Pandas 数据读取 Pandas 需要先读取表格类型的数据,然后才能进行分析 数据类型 说明 Pandas 读取方法 csv、tsv、txt...

    前文

    数据清洗 —— Pandas 的简单使用方法

    Pandas 数据读取

    Pandas 需要先读取表格类型的数据,然后才能进行分析

    数据类型说明Pandas 读取方法
    csv、tsv、txt用逗号分隔,tab 分割的纯文本文件pd.read_csv
    excel微软 xls 或者 xlsx 文件pd.read_excel
    MySQL关系型数据库表pd.read_sql

    纯文本文件读取

    文件内容如下:
    在这里插入图片描述
    使用 pandas 将这些数据读取并打印出来

    # author       :  Woo_home
    # create_time  :  2020/7/17 22:11
    
    import pandas as pd
    
    file_path = './demo.txt'
    '''
        file_path:文件路径
        sep:分隔符
        header 设置为 None 的意思是说这个文件没有标题行
        names:自己设置列名
    '''
    data = pd.read_csv(file_path, sep=" ", header=None, names=['pdate','A','B','C','D'])
    print(data)
    

    输出结果:左侧的为索引
    在这里插入图片描述

    csv 文件读取

    csv 文件如下
    在这里插入图片描述
    ok,现在用 pandas 来操作这个文件

    # author       :  Woo_home
    # create_time  :  2020/7/17 20:45
    
    import pandas as pd
    
    # 文件所在路径
    file_path = './students.csv'
    
    # 使用 pd.read_csv 读取文件
    data = pd.read_csv(file_path)
    
    # 打印前 5 行数据
    print(data.head())
    
    # 打印数据的形状,返回(行数,列数)
    print(data.shape)
    
    # 打印列名列表
    print(data.columns)
    
    # 打印索引列
    print(data.index)
    
    # 打印每列的数据类型
    print(data.dtypes)
    

    输出结果:
    在这里插入图片描述

    Excel 文件读取

    设置 Excel 文件内容如下:
    在这里插入图片描述
    使用 pandas 的 read_excel 方法读取 Excel 文件内容并打印出来,代码如下:

    # author       :  Woo_home
    # create_time  :  2020/7/18 11:03
    
    import pandas as pd
    
    file_path = './demo.xlsx'
    data = pd.read_excel(file_path)
    print(data)
    

    输出结果:
    在这里插入图片描述

    MySQL 数据表读取

    数据库表中的数据如下:
    在这里插入图片描述
    使用 pandas 的 pd.read_sql 读取表数据,但是该操作需要连接数据库,所以需要安装 pymysql 的一个库,安装命令很简单,pip install pymysql 即可

    # author       :  Woo_home
    # create_time  :  2020/7/18 11:07
    
    import pandas as pd
    # 导入 pymysql
    import pymysql
    
    '''
        host:主机名称
        user:用户名
        password:连接密码
        database:选择你要连接的数据库名
        charset:编码格式
    '''
    connection = pymysql.connect(
                    host = '',
                    user = '',
                    password = '',
                    database = 'student',
                    charset = 'utf8'
                 )
    mysql_page = pd.read_sql("select * from user", con=connection)
    print(mysql_page)
    

    输出结果:
    在这里插入图片描述

    展开全文
  • 数据读取的几种方法

    千次阅读 2019-05-14 15:20:03
    读取数据 loadtxt() frame:文件名 可以是.gz或bz2的压缩文件 dtype:数据类型,可选,默认会根据数据调整 delimiter:分割字符串,默认为空格 unpack:如果true,读入属性将分别写入不同变量 fmt:写入文件的格式...

    普通数据读取

    open()函数 打开文件 参数‘r’可读 ’r’可写
    read() 通过字符串的形式读取已打开的文件的数据
    write() 通过字符串的形式保存至已打开的文件
    replace() 将字符串中的数据进行替换
    close() 关闭打开的文件,数据才会保存

    data=open(bamboofile1,"r")
    result=open(bamboofile2,"w")
    bamboodata=data.read()
    #将,换为\n
    bamboodata=bamboodata.replace(",","\n")
    data.close()
    result.write(bamboodata)
    result.close()
    

    pandas数据读取

    xls文件读取

    read_excel()读取数据
    as_matrix() 将表格数据转换为矩阵

    bamboofile = '../data/model.xls' #数据名
    bamboodata = pd.read_excel(bamboofile) #读取数据,数据的前三列是特征,第四列是标签
    #print(data)
    #      电量趋势下降指标  线损指标  告警类指标  是否窃漏电
    # 0           4     1      1      1
    # 1           4     0      4      1
    # 2           2     1      1      1
    # 3           9     0      0      0
    data = data.as_matrix() #将表格转换为矩阵
    #print(data)
    # [[4 1 1 1]
    #  [4 0 4 1]
    #  [2 1 1 1]
    

    numpy数据存取

    CSV文件、txt文件存取

    读取数据 loadtxt()
    frame:文件名 可以是.gz或bz2的压缩文件
    dtype:数据类型,可选,默认会根据数据调整
    delimiter:分割字符串,默认为空格
    unpack:如果true,读入属性将分别写入不同变量
    fmt:写入文件的格式,例如:%d,%.2f

    np.loadtxt(frame,dtype=np.float,delimiter=None,unpack=false)
    data=np.loadtxt('a.csv',delimiter=',',fmt='%.1f',dtype=np.float32)
    

    保存数据 savetxt()
    frame:文件名 可以是.gz或bz2的压缩文件
    array:存入文件的数组
    dtype:数据类型,可选,默认会根据数据调整
    delimiter:分割字符串,默认为空格
    unpack:如果true,读入属性将分别写入不同变量
    fmt:写入文件的格式,例如:%d,%.2f

    np.savetxt(frame,array,dtype=np.float,delimiter=None,unpack=false)
    np.loadtxt('a.csv',a,delimiter=',',fmt='%.1f',dtype=np.float32)
    

    多维数据存取

    存取时需要知道数据本身维度
    多维数据保存 tofile()
    frame:文件,字符串
    sep:数据分割字符串,如果是空串,写入文件为二进制
    format:写入数据的格式

    bamboosir=np.arange(100).reshape(5,10,2)
    bamboosir.tofile("bamboo.dat",sep=",",format=%d')
    

    在这里插入图片描述

    bamboosir=np.arange(100).reshape(5,10,2)
    bamboosir.tofile("bamboo.dat",format=%d')
    

    在这里插入图片描述
    多维数据读取 fromfile()
    frame:文件、字符串
    dtype:读取数据类型
    count:读取元素个数,-1表示读入整个文件
    sep:数据分割字符串,如果是空串,写入文件为二进制

    bamboosir=np.arange(100).reshape(5,10,2)
    bamboosir.tofile("bamboo.dat",format=%d',sep=',')
    bamboodata=np.fromfile("bamboo.dat",dtype=np.int,sep=',')
    bamboodata.reshape(5,10,2)
    

    快捷存取

    numpy提供一种快捷保存数据的方法,并记录数据维度
    快捷保存 save(frame,array)
    frame:文件名,以.npy为扩展名,压缩文件为.npz
    array:数组变量

    np.save('bamboosir.npy',bamboodata)
    

    快捷读取
    frame:文件名,以.npy为扩展名,压缩文件为.npz

    bamboodata=np.save('bamboosir.npy')
    

    在这里插入图片描述

    展开全文
  • Brats2020数据集的读取—>python中对.nii格式数据读取

    Brats2020数据集的读取—>python中对.nii格式数据读取

    .nii数据
    首先要安装了torchio,安装指令:

    pip install torchio
    

    torchio:一个 Python 库,用于在深度学习中高效加载、预处理、增强和基于补丁的医学图像采样。

    其次是找到.nii数据的相对位置或者绝对位置,修改到自己代码的相应位置。代码如下:

    import torchio as tio
    flair_path = './data/MICCAI_BraTS2020_TrainingData/BraTS20_Training_003/BraTS20_Training_003_flair.nii'
    t1_path = './data/MICCAI_BraTS2020_TrainingData/BraTS20_Training_003/BraTS20_Training_003_t1.nii'
    t1ce_path = './data/MICCAI_BraTS2020_TrainingData/BraTS20_Training_003/BraTS20_Training_003_t1ce.nii'
    t2_path = './data/MICCAI_BraTS2020_TrainingData/BraTS20_Training_003/BraTS20_Training_003_t2.nii'
    seg_path = './data/MICCAI_BraTS2020_TrainingData/BraTS20_Training_003/BraTS20_Training_003_seg.nii'
    
    
    flair_img = tio.ScalarImage(flair_path)
    t1_img = tio.ScalarImage(t1_path)
    t1ce_img = tio.ScalarImage(t1ce_path)
    t2_img = tio.ScalarImage(t2_path)
    seg_img = tio.LabelMap(seg_path)
    
    flair_img.plot()
    t1_img.plot()
    t1ce_img.plot()
    t2_img.plot()
    seg_img.plot()
    

    显示结果:
    .nii格式数据的显示结果

    展开全文
  • plc数据读取

    千次阅读 2021-01-26 13:17:37
    commMonitor串口监控+hsl+plc 目标:读取plc中的数据 1.用hsl读取plc 2.串口监控抓取报文 3.用指针提取有用的数据,拼接字符串
  • keras 数据读取几种方式

    万次阅读 2019-06-05 16:12:16
    keras数据读取(图像数据)的方式,可以不使用keras的方法而使用opencv或者pil直接读取做处理。这里主要总结了keras封装的几种图像数据读取方法, 一、keras.preprocessing.image.load_img()读取单张图像 1)load_...
  • Labview波形数据读取

    千次阅读 2021-04-19 15:51:21
    Labview波形数据读取 使用Labview在Excel中读取数据,调用VI较复杂。若将Excel数据复制到TXT文件,使用Labview读取就会相当简单。 直接看图 我们只需要下图这一个控件就可以实现。 **注意:文件路径一定要写上"....
  • Matlab的各种数据读取、文件读写等操作汇总

    万次阅读 多人点赞 2019-06-18 20:43:26
    Matlab的各种数据读取、文件读写等操作汇总 MATLAB提供了多种方式从磁盘读入文件或将数据输入到工作空间,即读取数据,又叫导入数据;将工作空间的变量存储到磁盘文件中称为存写数据,又叫导出数据。至于选择哪种...
  • 本人小白一枚,正在自学python,pandas模块的DataFrame数据类型是一个处理表格数据的强大工具,下面是我对读取DataFrame内指定数据的方法进行了初步学习与探索。 一、直接用方括号[]取下标读取,D...
  • C#串口数据读取程序,解决串口读取不完整小问题。 出现问题:串口数据读取不完整 在对串口设备进行数据读取的过程中,遇到数据读取不完整的情况,例:完整的数据由506个字节,但每次串口读取的数据数量是随机的,506...
  • Raw数据读取

    千次阅读 2018-08-24 09:51:38
    一般相机设备获取的图片数据并不是8位的图片数据,而是16位的Raw数据,也就是说我们看到的图片都是经过对16位的数据进行读取,然后转8位进行显示(中间可能包含各种算法,用于提高图像的画质)。代码中RawDataToImg...
  • Pandas数据分析①——数据读取(CSV/TXT/JSON)

    万次阅读 多人点赞 2019-06-03 22:52:01
    一、CSV读取和导出 ①基本参数 ②注意事项: header=0/None names=[]/list encoding=‘gbk’/‘utf-8’ index_col=[] 存储路径最好全英文,或直接放入pandas默认的存储路径 名字也纯英文 二、TXT读取和导出 ①基本...
  • DataFrame操作——数据读取

    万次阅读 2019-03-19 23:06:34
    在Series和DataFrame介绍完后,也就是pandas的内置函数,也是一般我们学习pandas的重点。 pd.read_csv() read函数有几个关键参数,以下介绍: filepath:文件路径和文件名 ...header:指定读取...
  • MATLAB 的数据读取的几个方法

    千次阅读 2018-11-18 21:24:58
    首先是使用cd 更改当前目录路径,然后用dir读取当前目录下所有与之匹配的(*.mpg)的格式文件,这时回返一个所读取的所有文件的信息的结构数组。video_files(the n_th).name 表示当前第第n个文件的文件名,然后for ...
  • OBD数据读取

    千次阅读 2017-08-24 23:32:22
    三、数据读取(以ISO15765-4的CAN总线协议为例) 1、硬件接线 硬件上接线: CAN_H-----接OBD接口第6引脚 CAN_L-----接OBD接口第14引脚 电源正端---接OBD接口第16引脚 公共地-----------接OBD接口...
  • python 将excel、csv文件中的数据读取为矩阵利用 pandas 读取Excel 形成数据矩阵注意利用 xlrd 读取 Excel 形成数据矩阵注意利用 pandas 读取 CSV 文件注意给 CSV 文件 添加表头 分享记录一些自己在数据处理过程中的...
  • matlab之数据读取常用操作指令

    千次阅读 2019-04-23 19:52:22
    首先推荐一个小技巧,直接用windows命令,作用:将所有当前目录下所有txt文件中的数据集中到一个txt文件中 ...xlsread 是数学软件 MATLAB 中读取 Excel 文件中数据的一个函数。即从当前程序所在文件夹里,按...
  • Flash数据读取和保存

    万次阅读 2018-08-15 14:19:18
    Flash数据读取和保存的目的是在单片机的程序存储区开辟一块空间专门用来保存系统需要记忆的参数和数据,从而完全取代EEROM,达到降低成本和数据保密的目的。该实现方法主要分为四个部分: FLASH数据的读取 ...
  • 大端小端数据读取

    千次阅读 2017-05-10 15:22:01
    前言前段时间在做二进制数据读取时候,发现读取的数据总是有问题。错误原因就是涉及到大端小端数据读取方式的问题,下面就是将这部分内容做一总结。什么是大端小端大小端模式就是存储数据时,数据的高低位是怎么存储...
  • Pytorch加速Dataloader提升数据读取速度

    千次阅读 2019-07-23 13:36:19
    Pytorch加速Dataloader提升数据读取速度 https://blog.csdn.net/xiangxianghehe/article/details/91345878 Pytorch多种优化方式集合 https://www.cnblogs.com/king-lps/p/10936374.html
  • 【Python】实现对csv格式的数据读取

    千次阅读 2020-06-12 06:52:22
    Csv文本是一种非常常用的单工作表的纯文本数据存储格式,而且存储量要比Excel电子表格大很多,并且被所有计算机平台所使用,经常用于电子表格或数据库软件中。 一、创建csv文件 我们可以通过excel文件“另存为”得到...
  • 在grads中,系统读取数据效率最高的方式为经度(Lon),维度(Lat),高度(Lev),时次(Time),所以用文件读取数据时,内循环到外循环应该依次为: X(Lon)→Y(Lat)→Z(Lev)→T(Time)(月,年) X(Lon)→Y(Lat)→Z...
  • QT5的串口数据读取

    万次阅读 2019-05-12 23:30:28
    怎样将获取的数据在 接受区域(text_edit)收到 需要在响应打开串口函数的最后将电脑数据与显示区关联 上面表示 接收到串口数据响应的时候 响应ReadData()这个函数 这个函数应当在.h文件的私有信号槽中定义 在....
  • USB Device 数据读取方式的研究

    千次阅读 2017-12-13 11:42:14
    随着越来越多的设备通过USB接口与主机连接,我们需要读取USB设备的数据。现就几种不同读取USB Device Data的方法进行探讨。非常欢迎网友补充。 方法一:读取/dev/input/eventX 此方法只对HID设备...
  • python之表格数据读取

    万次阅读 多人点赞 2018-07-27 21:15:39
    python 操作excel主要用到xlrd,xlwt这两个库,xlrd,是读取excel表,xlwt是写入表格 1.打开表格 table = xlrd.open("path_to_your_excel", 'rb') 一般时候需要进行判断,防止表格打开错误 try:  ...
  • C#读取Excel数据的几种方式(包含大量数据读取

    万次阅读 多人点赞 2019-02-21 16:26:42
    C#读取Excel数据的几种方式(包含大量数据读取) C#读取Excel数据的几种方式(包含大量数据读取) OleDB方式 COM组件的方式 NPOI方式读取(此处未测试,参考其他博文) 常用的Excel数据读取方式有三种: Ole...
  • rddata.m -- MIT-BIH ECG 信号的数据读取Matlab程序

    千次下载 热门讨论 2011-06-21 20:38:10
    MIT-BIH ECG 信号的数据读取Matlab程序,能够读取MIT-BIH数据库 .atr、.dat、.hea三种文件的数据,根据这些数据计算出实际的心电信号值,并绘制出信号波形。
  • Oracle 11g中CLOB字段类型的数据读取

    万次阅读 2017-05-15 11:02:39
    Oracle 11g中的CLOB字段类型的数据读取 LOB 类型的数据库列仅存储定位符,该定位符指向大型对象的存储位置.用DBMS_LOB程序包操纵 LOB 数据. 读取Oracle字段类型为CLOB列的数据时,只能读取一部分 如下图: 完整...
  • Pytorch数据读取机制(DataLoader)

    千次阅读 2022-01-07 16:30:09
    在学习Pytorch的数据读取之前,我们得先回顾一下这个数据读取到底是以什么样的逻辑存在的, 我们知道机器模型学习的五大模块,分别是数据,模型,损失函数,优化器,迭代训练。而这里的数据读取机制,很显然是位于...
  • 基于geotools实现的读取shapefile通用工具类,解决使用java开发GIS应用中矢量数据读取问题

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 3,261,860
精华内容 1,304,744
关键字:

数据读取