精华内容
下载资源
问答
  • python读取dat文件

    万次阅读 多人点赞 2019-07-13 20:56:13
    读取dat文件本想像这样 df_train=pd.read_table(r'C:\Users\admin\Desktop\game_test\game\apptype_train.dat', names=['s_no','deal_code','text'],sep='\t',encoding='utf-8') 不是报错就是文件读取数据量可能...

    读取dat文件本想像这样

    df_train=pd.read_table(r'C:\Users\admin\Desktop\game_test\game\apptype_train.dat',
    names=['s_no','deal_code','text'],sep='\t',encoding='utf-8')

    不是报错就是文件读取数据量可能少了

    像这样读取不会有问题的

    f=open(r'C:\Users\admin\Desktop\game_test\game\apptype_train.dat',encoding='utf-8')
    sentimentlist = []
    for line in f:
        s = line.strip().split('\t')
        sentimentlist.append(s)
    f.close()
    df_train=pd.DataFrame(sentimentlist,columns=['s_no','deal_code','text'])

     

    展开全文
  • 我需要用python读取一个.dat文件,它总共有12列,数百万行。我需要把第2、3和4栏和第1栏分开计算。所以在加载.dat文件之前,是否需要删除所有其他不需要的列?如果没有,如何有选择地声明列并要求python进行计算?....

    我需要用python读取一个.dat文件,它总共有12列,数百万行。我需要把第2、3和4栏和第1栏分开计算。所以在加载.dat文件之前,是否需要删除所有其他不需要的列?如果没有,如何有选择地声明列并要求python进行计算?

    .dat文件的一个例子是

    data.dat

    我对python还不熟悉,所以有点关于打开、阅读和计算的指导会很感激。

    我已经根据您的建议添加了我作为初学者使用的代码:from sys import argv

    import pandas as pd

    script, filename = argv

    txt = open(filename)

    print "Here's your file %r:" % filename

    print txt.read()

    def your_func(row):

    return row['x-momentum'] / row['mass']

    columns_to_keep = ['mass', 'x-momentum']

    dataframe = pd.read_csv('~/Pictures', delimiter="," , usecols=columns_to_keep)

    dataframe['new_column'] = dataframe.apply(your_func, axis=1)

    还有我犯的错误:Traceback (most recent call last):

    File "flash.py", line 18, in

    dataframe = pd.read_csv('~/Pictures', delimiter="," , usecols=columns_to_keep)

    File "/home/trina/anaconda2/lib/python2.7/site-packages/pandas/io/parsers.py", line 529, in parser_f

    return _read(filepath_or_buffer, kwds)

    File "/home/trina/anaconda2/lib/python2.7/site-packages/pandas/io/parsers.py", line 295, in _read

    parser = TextFileReader(filepath_or_buffer, **kwds)

    File "/home/trina/anaconda2/lib/python2.7/site-packages/pandas/io/parsers.py", line 612, in __init__

    self._make_engine(self.engine)

    File "/home/trina/anaconda2/lib/python2.7/site-packages/pandas/io/parsers.py", line 747, in _make_engine

    self._engine = CParserWrapper(self.f, **self.options)

    File "/home/trina/anaconda2/lib/python2.7/site-packages/pandas/io/parsers.py", line 1119, in __init__

    self._reader = _parser.TextReader(src, **kwds)

    File "pandas/parser.pyx", line 518, in pandas.parser.TextReader.__cinit__ (pandas/parser.c:5030)

    ValueError: No columns to parse from file

    展开全文
  • 实验室导师又有任务,从一个.dat文件读取波形数据,通过一个自编码网络进行异常检测。可是对我这种小白来说真的艰难。从最基础的文件读写开始吧。先说数据,是一个int16型的数组。说是数组,但是读取也并不简单。...

    实验室导师又有任务,从一个.dat文件中读取波形数据,通过一个自编码网络进行异常检测。可是对我这种小白来说真的艰难。从最基础的文件读写开始吧。

    先说数据,是一个int16型的数组。说是数组,但是读取也并不简单。众所周知,数据在计算机中是用二进制的形式储存的。int16型有符号整数。16位,16bit,也就是两个字节。那么自然而然的想到,读取两个字节(bytes)的数据(也就是16bit),然后把它转化成int16的整型(即十进制整型)。数据就变得可以处理了。

    先放一个不同位数的整型数据范围吧,经常会用的到。

    Int8 //等于byte,-128 127

    Int16 //等于short, 占2个字节. -32768 32767

    Int32 //等于int, 占4个字节. -2147483648 2147483647

    Int64 //等于long, 占8个字节. -9223372036854775808 9223372036854775807

    这里补充一个小知识点,python3中的int类型是动态长度的,是长整型,理论支持无限大的数字。对一个int型实例运行内建的__sizeof__方法,可以查看占用的字节数。其中0占了24个字节,其他数字一般占用28个字节。

    读文件:文本文件

    >>> f = open('/Users/michael/test.txt', 'r')

    我们知道,在python3中,字符串类型(str)包含的是Unicode characters。这种特性使得我们在python3中可以定义包含Unicode character的字符串,并甚至可以在变量标识符中使用非ASCII字符。

    那么以上的代码做的是这样一件事:定义一个文件对象,文件对象标明将用读字符的手段来读取这个文件中的内容。

    >>> f.read()

    'Hello, world!'

    上面的代码一次性读取文件的全部内容,把内容读到内存,用str对象表示。

    此外还可以调用read(size),每次读取size个字节的内容。或者调用readline(),每次读取一行内容。将每一行的内容存在str里,并返回一个str的列表。

    为了保证文件被关闭,可以使用with关键词:

    with open('/path/to/file', 'r') as f:

    print(f.read())

    读取非UTF-8编码的文本文件,需要给open()函数传入encoding参数,例如,读取GBK编码的文件:

    >>> f = open('/Users/michael/gbk.txt', 'r', encoding='gbk')

    >>> f.read()

    '测试'

    二进制文件:

    如果要读取二进制文件,用rb模式打开文件即可。

    >>> f = open('/Users/michael/test.jpg', 'rb')

    >>> f.read()

    b'\xff\xd8\xff\xe1\x00\x18Exif\x00\x00...' # 十六进制表示的字节

    写文件:

    写文件和读文件是一样的,调用open()函数时,传入'w'或者'wb'表示写文本文件或者写二进制文件。

    展开全文
  • @Python读取dat文件并将该数据绘制成曲线 困惑 刚开始学,按照网上的教程整了一天,全是坑人的,还是自己摸索出来的。做个记录,省的以后忘记了 过程 只需要下载好matplotlib函数(不绘图的话也不需要下载) file_...

    @Python读取dat文件并将该数据绘制成曲线

    困惑

    刚开始学,按照网上的教程整了一天,全是坑人的,还是自己摸索出来的。做个记录,省的以后忘记了

    过程

    只需要下载好matplotlib函数(不绘图的话也不需要下载)

    
    import matplotlib.pyplot as plt
    
    file_position = 'E:\\Data\\1782\\20201215interference\\'       # 文件位置
    file_name = '30k.dat'                       # 文件名
    data_name = file_position+file_name         # 为了更改起来更方便
    
    data0 = open(data_name,'r')
    data1 = []
    for line in data0:
        data1.append(float(line))
    data0.close()
    data2 = data1[0:1000]                       # 实际数据太长,截了其中的一小段
    print(data2)
    
    plt.plot(data2)                             # 绘图函数
    plt.show()]
    

    结果

    在这里插入图片描述
    就这些。

    展开全文
  • python读取dat文件数据

    2016-03-10 08:50:22
    dat文件中的数据已用IDL读取,可获取到3维数组,表示的是跨越一段时间的一个地理区域的植被信息; 现在,想要用python读取同一个文件,识别成3维数组。 问题:用python具体怎样操作呢,能否提供具体的代码呢,...
  • python读取txt文件:(思路:先打开文件,读取文件,最后用for循环输出内容)1、读取1.1基于python csv库#3.读取csv至字典x,yimport csv# 读取csv至字典csvFile = open(r'G:\训练小样本.csv', "r")reader = csv.reader...
  • 您可以使用分隔符regex – 2和更多空格,然后添加engine =’python’,因为警告: ParserWarning: Falling back to the ‘python’ engine because the ‘c’ engine does not support regex separators (separators ...
  • 转自:http://www.cnblogs.com/nuonuozhou/p/8645129.htmlddt 结合单元测试一起用ddt(data.driven.test):数据驱动测试由外部数据集合...(或者说测试用例)可以保持不变excel存储测试数据,ddt读取测试数据到 单元...
  • 摘要:主要介绍一些python文件读取功能,文件内容修改,文件名后缀更改等操作。批处理文件功能import ospath1 = "C:\Users\awake_ljw\Documents\python for data analysis\test1"path2 = "C:\Users...
  • 0.引子 现实世界中,当需要对数据进行处理时,到手的数据文件往往...Python为我们提供了强大的数据分析处理工具,如果文件中的句符合格式要求,可以使用pandas模块中的各种read对象直接读取,例如对于iris.data ...
  • with open(filename, 'rb') as f: lines = f.readlines() for line in lines: print(str(line, encoding='ansi')) 只需要用ansi编码处理即可,下面是处理前的数据样式: 处理后: ......
  • 数据采集工具csi_tool采集数据并保存为后缀.dat的数据文件,在csi_tool中提供一个c语言函数解析此文件。阅读了c语言的解析代码后发现,数据文件的组织方法与计网中数据十分相似,但略有不同。 参考代码 一部分...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 6,167
精华内容 2,466
关键字:

python读取dat文件

python 订阅