精华内容
下载资源
问答
  • Pandas的read_csv和 to_csv函数参数分析详解 1. read_csv read_csv方法定义 pd.read_csv(filepath_or_buffer, sep=',', delimiter=None, header='infer', names=None, index_col=None, usecols=None, ...

    Pandas的read_csv和 to_csv函数参数分析详解

     

     

    1. read_csv

    read_csv方法定义

     

    pd.read_csv(filepath_or_buffer, sep=',', delimiter=None, header='infer', names=None, 
    index_col=None, usecols=None, squeeze=False, prefix=None, mangle_dupe_cols=True, 
    dtype=None, engine=None, converters=None, true_values=None, false_values=None, 
    skipinitialspace=False, skiprows=None, nrows=None, na_values=None, 
    keep_default_na=True, na_filter=True, verbose=False, skip_blank_lines=True, 
    parse_dates=False, infer_datetime_format=False, keep_date_col=False, 
    date_parser=None, dayfirst=False, iterator=False, chunksize=None,
     compression='infer', thousands=None, decimal=b'.', lineterminator=None,
     quotechar='"', quoting=0, escapechar=None, comment=None, encoding=None,
     dialect=None, tupleize_cols=False, error_bad_lines=True, warn_bad_lines=True, 
    skipfooter=0, skip_footer=0, doublequote=True, delim_whitespace=False,
     as_recarray=False, compact_ints=False, use_unsigned=False,
     low_memory=True, buffer_lines=None, memory_map=False, float_precision=None)
    
    

    读取文件路径,可以是URL,可用URL类型包括:http, ftp, s3和文件。

    常用参数

    sep :str, default ‘,'
    指定分隔符。如果不指定参数,则会尝试使用逗号分隔。csv文件一般为逗号分隔符。

    delimiter : str, default None 
    定界符,备选分隔符(如果指定该参数,则sep参数失效)

    delim_whitespace :boolean, default False.
    指定空格(例如' ‘或者' ‘)是否作为分隔符使用,等效于设定sep='\s+'。
    如果这个参数设定为Ture那么delimiter 参数失效。

    header :int or list of ints, default ‘infer'
    指定行数用来作为列名,数据开始行数。如果文件中没有列名,则默认为0,否则设置为None。对于数据读取有表头和没表头的情况很实用

    header :int or list of ints, default ‘infer'
    指定行数用来作为列名,数据开始行数。如果文件中没有列名,则默认为0,否则设置为None。

    names :  array-like, default None
    用于结果的列名列表,对各列重命名,即添加表头。
    如数据有表头,但想用新的表头,可以设置header=0,names=['a','b']实现表头定制。

    index_col : int or sequence or False, default None
    用作行索引的列编号或者列名,如果给定一个序列则有多个行索引。
    可使用index_col=[0,1]来指定文件中的第1和2列为索引列。

    usecols : array-like, default None
    返回一个数据子集,即选取某几列,不读取整个文件的内容,有助于加快速度和降低内存。
    usecols=[1,2]或usercols=['a','b']

    squeeze : boolean, default False
    如果文件只包含一列,则返回一个Series

    prefix :  str, default None
    在没有列标题时,给列添加前缀。例如:添加‘X' 成为 X0, X1, ...

    mangle_dupe_cols : boolean, default True
    重复的列,将‘X'...'X'表示为‘X.0'...'X.N'。如果设定为False则会将所有重名列覆盖。

    不太常用参数

    dtype : Type name or dict of column -> type, default None
    每列数据的数据类型。例如 {‘a': np.float64, ‘b': np.int32}

    engine :  {‘c', ‘python'}, optional
    使用的分析引擎。可以选择C或者是python。C引擎快但是Python引擎功能更加完备。

    converters : dict, default None
    列转换函数的字典。key可以是列名或者列的序号。

    true_values和false_values :  list, default None
    Values to consider as True or False

    skipinitialspace :boolean, default False
    忽略分隔符后的空白(默认为False,即不忽略)

    skiprows : list-like or integer, default None
    需要忽略的行数(从文件开始处算起),或需要跳过的行号列表(从0开始)。

    skipfooter : int, default 0
    从文件尾部开始忽略。 (c引擎不支持)

    nrows : int, default None
    需要读取的行数(从文件头开始算起)。

    na_values : scalar, str, list-like, or dict, default None
    一组用于替换NA/NaN的值。如果传参,需要制定特定列的空值。
    默认为‘1.#IND', ‘1.#QNAN', ‘N/A', ‘NA', ‘NULL', ‘NaN', ‘nan'`.

    keep_default_na :  bool, default True
    如果指定na_values参数,并且keep_default_na=False,那么默认的NaN将被覆盖,否则添加。

    na_filter : boolean, default True
    是否检查丢失值(空字符串或者是空值)。
    对于大文件来说数据集中没有空值,设定na_filter=False可以提升读取速度。

    verbose :boolean, default False
    是否打印各种解析器的输出信息,例如:“非数值列中缺失值的数量”等。

    skip_blank_lines :boolean, default True
    如果为True,则跳过空行;否则记为NaN。

    encoding : str, default None
    指定字符集类型,通常指定为'utf-8'. List of Python standard encodings

    dialect : str or csv.Dialect instance, default None
    如果没有指定特定的语言,如果sep大于一个字符则忽略。具体查看csv.Dialect 文档

    tupleize_cols : boolean, default False
    Leave a list of tuples on columns as is (default is to convert to a Multi Index on the columns)

    error_bad_lines : boolean, default True
    如果一行包含太多的列,那么默认不会返回DataFrame ,如果设置成false,那么会将改行剔除(只能在C解析器下使用)。

    warn_bad_lines : boolean, default True
    如果error_bad_lines =False,并且warn_bad_lines =True 那么所有的“bad lines”将会被输出(只能在C解析器下使用)。

    low_memory : boolean, default True
    分块加载到内存,在低内存消耗中解析。但是可能出现类型混淆。
    确保类型不被混淆需要设置为False。或者使用dtype 参数指定类型。
    注意使用chunksize 或者iterator 参数分块读入会将整个文件读入到一个Dataframe,
    而忽略类型(只能在C解析器中有效)

    日期类型相关参数

    parse_dates : boolean or list of ints or names or list of lists or dict, default False

    boolean. True -> 解析索引
    list of ints or names. e.g. If [1, 2, 3] -> 解析1,2,3列的值作为独立的日期列;
    list of lists. e.g. If [[1, 3]] -> 合并1,3列作为一个日期列使用
    dict, e.g. {‘foo' : [1, 3]} -> 将1,3列合并,并给合并后的列起名为"foo"

    示例:df=pd.read_csv(file_path,parse_dates=['time1','time2']),
    把time1和time2两列解析为日期格式。
    这里不得不说,很遗憾中文不行,比如‘4月5日'这种格式就不能解析。

     infer_datetime_format :boolean, default False
    如果设定为True并且parse_dates 可用,那么pandas将尝试转换为日期类型,如果可以转换,转换方法并解析。
    在某些情况下会快5~10倍。

    keep_date_col : boolean, default False
    如果连接多列解析日期,则保持参与连接的列。默认为False。

    date_parser :  function, default None
    于解析日期的函数,默认使用dateutil.parser.parser来做转换。
    Pandas尝试使用三种不同的方式解析,如果遇到问题则使用下一种方式。
    1.使用一个或者多个arrays(由parse_dates指定)作为参数;
    2.连接指定多列字符串作为一个列作为参数;
    3.每行调用一次date_parser函数来解析一个或者多个字符串(由parse_dates指定)作为参数。

    dayfirst : boolean, default False
    DD/MM格式的日期类型

    大文件常用参数

    iterator : boolean, default False
    返回一个TextFileReader 对象,以便逐块处理文件。

    chunksize : int, default None
    文件块的大小, See IO Tools docs for more informationon iterator and chunksize.

    chunksize : int, default None
    文件块的大小, See IO Tools docs for more informationon iterator and chunksize.

    chunksize : int, default None
    文件块的大小, See IO Tools docs for more informationon iterator and chunksize.

    decimal : str, default ‘.'
    字符中的小数点 (例如:欧洲数据使用',‘).

    float_precision : string, default None
    Specifies which converter the C engine should use for floating-point values. 
    The options are None for the ordinary converter, high for the high-precision converter,
    and round_trip for the round-trip converter.

    lineterminator : str (length 1), default None
    行分割符,只在C解析器下使用。

    quotechar : str (length 1), optional
    引号,用作标识开始和解释的字符,引号内的分割符将被忽略。

    quoting : int or csv.QUOTE_* instance, default 0
    控制csv中的引号常量。
    可选 QUOTE_MINIMAL (0), QUOTE_ALL (1), QUOTE_NONNUMERIC (2) or QUOTE_NONE (3)

    doublequote : boolean, default True
    双引号,当单引号已经被定义,并且quoting 参数不是QUOTE_NONE的时候,
    使用双引号表示引号内的元素作为一个元素使用。

    escapechar : str (length 1), default None
    当quoting 为QUOTE_NONE时,指定一个字符使的不受分隔符限值。

    comment : str, default None
    标识着多余的行不被解析。如果该字符出现在行首,这一行将被全部忽略。
    这个参数只能是一个字符,空行(就像skip_blank_lines=True)注释行被header和skiprows忽略一样。
    例如如果指定comment='#' 解析‘#empty\na,b,c\n1,2,3' 以header=0 那么返回结果将是以'a,b,c'作为header。

    读取多个文件

    #读取多个文件
    
    import pandas
    import glob
    
    for r in glob.glob("test*.csv"):
        csv=pandas.read_csv(r)
        csv.to_csv("test.txt",mode="a+")

     

    2. to_csv

    to_csv方法定义:

    DataFrame.to_csv(path_or_buf=None, sep=', ', na_rep='', float_format=None, columns=None, 
    header=True, index=True, index_label=None, mode='w', encoding=None, compression=None, 
    quoting=None, quotechar='"', line_terminator='\n', chunksize=None, tupleize_cols=None, 
    date_format=None, doublequote=True, escapechar=None, decimal='.')
    

    path_or_buf=None: string or file handle, default None 
    File path or object, if None is provided the result is returned as a string. 
    字符串或文件句柄,默认无文件 
    路径或对象,如果没有提供,结果将返回为字符串。

    sep : character, default ‘,’ 
    Field delimiter for the output file. 
    默认字符 ‘ ,’ 
    输出文件的字段分隔符。

    na_rep : string, default ‘’ 
    Missing data representation 
    字符串,默认为 ‘’ 
    浮点数格式字符串

    float_format : string, default None 
    Format string for floating point numbers 
    字符串,默认为 None 
    浮点数格式字符串

    columns : sequence, optional Columns to write 
    顺序,可选列写入

    header : boolean or list of string, default True 
    Write out the column names. If a list of strings is given it is assumed to be aliases for the column names 
    字符串或布尔列表,默认为true 
    写出列名。如果给定字符串列表,则假定为列名的别名。

    index : boolean, default True 
    Write row names (index) 
    布尔值,默认为Ture 
    写入行名称(索引)

    index_label : string or sequence, or False, default None 
    Column label for index column(s) if desired. If None is given, and header and index are True, then the index names are used. A sequence should be given if the DataFrame uses MultiIndex. If False do not print fields for index names. Use index_label=False for easier importing in R 
    字符串或序列,或False,默认为None 
    如果需要,可以使用索引列的列标签。如果没有给出,且标题和索引为True,则使用索引名称。如果数据文件使用多索引,则应该使用这个序列。如果值为False,不打印索引字段。在R中使用index_label=False 更容易导入索引.

    mode : str 
    模式:值为‘str’,字符串 
    Python写模式,默认“w”

    encoding : string, optional 
    编码:字符串,可选 
    表示在输出文件中使用的编码的字符串,Python 2上默认为“ASCII”和Python 3上默认为“UTF-8”。

    compression : string, optional 
    字符串,可选项 
    表示在输出文件中使用的压缩的字符串,允许值为“gzip”、“bz2”、“xz”,仅在第一个参数是文件名时使用。

    line_terminator : string, default ‘\n’ 
    字符串,默认为 ‘\n’ 
    在输出文件中使用的换行字符或字符序列

    quoting : optional constant from csv module 
    CSV模块的可选常量 
    默认值为to_csv.QUOTE_MINIMAL。如果设置了浮点格式,那么浮点将转换为字符串,因此csv.QUOTE_NONNUMERIC会将它们视为非数值的。

    quotechar : string (length 1), default ‘”’ 
    字符串(长度1),默认“” 
    用于引用字段的字符

    doublequote : boolean, default True 
    布尔,默认为Ture 
    控制一个字段内的quotechar

    escapechar : string (length 1), default None 
    字符串(长度为1),默认为None 
    在适当的时候用来转义sep和quotechar的字符

    chunksize : int or None 
    int或None 
    一次写入行

    tupleize_cols : boolean, default False 
    布尔值 ,默认为False 
    从版本0.21.0中删除:此参数将被删除,并且总是将多索引的每行写入CSV文件中的单独行 
    (如果值为false)将多索引列作为元组列表(如果TRUE)或以新的、扩展的格式写入,其中每个多索引列是CSV中的一行。

    date_format : string, default None 
    字符串,默认为None 
    字符串对象转换为日期时间对象

    decimal: string, default ‘.’ 
    字符串,默认’。’ 
    字符识别为小数点分隔符。例如。欧洲数据使用 ​​’,’

    pandas的to_csv()使用方法

    1.首先查询当前的工作路径:

     

     
    import os
    
    os.getcwd() #获取当前工作路径

    2.to_csv()是DataFrame类的方法,read_csv()是pandas的方法

     

    dt.to_csv() #默认dt是DataFrame的一个实例,参数解释如下

     

    • 路径 path_or_buf: A string path to the file to write or a StringIO
     
    dt.to_csv('Result.csv') #相对位置,保存在getwcd()获得的路径下
    
    dt.to_csv('C:/Users/think/Desktop/Result.csv') #绝对位置

     

    • 分隔符 sep : Field delimiter for the output file (default ”,”)
    dt.to_csv('C:/Users/think/Desktop/Result.csv',sep='?')#使用?分隔需要保存的数据,如果不写,默认是,

     

    • 替换空值 na_rep: A string representation of a missing value (default ‘’)
    dt.to_csv('C:/Users/think/Desktop/Result1.csv',na_rep='NA') #确实值保存为NA,如果不写,默认是空

     

    • 格式 float_format: Format string for floating point numbers
    dt.to_csv('C:/Users/think/Desktop/Result1.csv',float_format='%.2f') #保留两位小数

     

    • 是否保留某列数据 cols: Columns to write (default None)
    dt.to_csv('C:/Users/think/Desktop/Result.csv',columns=['name']) #保存索引列和name列

     

    • 是否保留列名 header: Whether to write out the column names (default True)
    dt.to_csv('C:/Users/think/Desktop/Result.csv',header=0) #不保存列名

     

    • 是否保留行索引 index:  whether to write row (index) names (default True)
    dt.to_csv('C:/Users/think/Desktop/Result1.csv',index=0) #不保存行索引


     

     

    展开全文
  • 网友zsyyh提问:请问write_videofile和 to_videofile有什么区别吗?感觉用法一样的 我之前没有遇到过还有to_videofile这样的函数,于是查了下源码,发下下面的说明 # ## # # The old functions to_videofile, to_gif...

    网友zsyyh提问:请问write_videofileto_videofile有什么区别吗?感觉用法一样的

    我之前没有遇到过还有to_videofile这样的函数,于是查了下源码,发下下面的说明

    # ##
    #
    # The old functions to_videofile, to_gif, to_images sequences have been
    # replaced by the more explicite write_videofile, write_gif, etc.
    

    官方的说明是这些旧的function名字被新的替代了,所以推荐直接用write_videofileto_videofile是一个被舍弃的function

    回到问题目录

    展开全文
  • C# CopyTo 用法介绍

    千次阅读 2019-11-20 18:12:13
    将tempArray中数据复制到...tempArray.CopyTo( buffer, 0 ); 原型 public virtual void CopyTo (Array array, int index); tempArray.CopyTo( buffer, 0 ); int index 为 从参数array 第几位(第一位为1)开始复制...

    将tempArray中数据复制到buffer中,buffer的长度不能小于tempArray
    tempArray.CopyTo( buffer, 0 );
    原型
    public virtual void CopyTo (Array array, int index);
    tempArray.CopyTo( buffer, 0 );
    int index 为 从参数array 第几位(第一位为1)开始复制
    eg:
    buffer={1,2,3},tempArray={a,b,c}
    ==>buffer={a,b,c}
    buffer={1,2,3,4},tempArray={a,b,c}
    ==>buffer={a,b,c,4} //buffer 复制长度不够部分,不改变
    tempArray.CopyTo( buffer, 1 );
    buffer={1,2,3},tempArray={a,b,c}
    ==>报错 buffer 长度不够
    buffer={1,2,3,4},tempArray={a,b,c}
    buffer={1,a,b,c}.

    展开全文
  • Kettle中通过writeToLog函数的使用

    千次阅读 2018-06-21 15:25:30
    Kettle中通过writeToLog函数,将javascriot中的日志输出,便于调试

    Kettle中通过writeToLog函数,将javascriot中的日志输出,便于调试

    参考:https://www.cnblogs.com/laiyubin/archive/2010/04/18/1714740.html

    展开全文
  • 在idea中的用法如下 首先打开一个 git项目 然后点击setting 选择下面的 Editor 下的 FileTypes 选项 在最下面的 Ignore files and folders 添加 你想忽视的目录和文件 添加 ;.idea;.iml;.target; 然后apply 然后...
  • tf.train.write_graph用法

    千次阅读 2020-02-28 13:58:50
    探索了一下午这玩意的用法,终于会用了,在此附上实例子 首先要明白他保存图的原理,这个里面讲的很详细,请细品 https://zhuanlan.zhihu.com/p/31308381 tf.train.write_graph这个函数可以保留节点,op,...
  • 可能很多朋友都遇到过这样的情况,那就是使用document.write()函数向网页中写内容的时候,会把文档中的原来的内容给清空,这一点对于初学者来说算是一个困扰,下面就介绍一下为什么会出现这种情况,当然也就知道如何...
  • be going to用法口诀

    千次阅读 2013-05-03 12:43:46
    [size=large]be going to用法口诀: be going to跟“动原”,计划、准备或打算; 表可能,有必然,通过现象来判断。 be的形式要注意,它要随着人称变, 否定句,很简单,not加在be后边; 疑问句,需牢记,...
  • document.write()用法

    千次阅读 2014-12-10 21:59:29
    document.write() 方法可以用在两个方面:页面载入过程中用实时脚本创建页面内容,以及用延时脚本创建本窗口或新窗口的内容。该方法需要一个字符串参数,它是写到窗口或框架中的HTML内容。这些字符串参数可以是变量
  • f_write ...The f_write writes data to a file. FRESULT f_write ( FIL* fp, /* [IN] Pointer to the file object structure */ const void* buff, /* [IN] Pointer to the data to be written */
  • js中document.write用法

    千次阅读 2015-05-27 19:50:37
    document.write()方法可以用在两个方面:页面载入过程中用实时脚本创建页面内容,以及用延时脚本创建本窗口或新窗口的内容。该方法需要一个字符串参数,它是写到窗口或框架中的HTML内容。这些字符串参数可以是变量或...
  • Python基础教程,Python入门教程

    万次阅读 多人点赞 2019-07-15 10:23:21
    Python 2to3:自动将Python 2.x代码转换成Python3.x代码 10. Windows安装Python 11. Linux安装Python 12. Mac安装Python环境 13. python不是内部或外部命令的解决方法 第2章 Python初探 1. 第一个...
  • 在考虑往哪里投稿的时候,应该先阅读一下期刊的《投稿须知》(Intruductions to authors). 《投稿须知》的位置:如果你没能一眼就找到《投稿须知》,那么继续找,因为有些时候它们挂在期刊网站上不太显眼的位置。...
  • [JavaScript] 纯文本查看 复制代码运行代码1document.write(exp1,exp2,exp3,....) 参数解析: (1).expN:可以是一个或者多个参数,如果是多个参数,那么按照顺序写入文档。 浏览器支持: (1).IE浏览...
  • 当系统内部调用了RequestBody 的writeTo函数时,我们对BufferedSink 进行了一层包装,即设置了进度监听,并返回了我们包装的BufferedSink 。于是乎,上传于下载的进度监听就完成了。 以上转自: ...
  • 写opengl时,编译出现了这个错误,查了很久都没有找出问题,网上大部分说的是读取shader文件的时候出错了,或者将gl_Position拼错,或者是没有给gl_Position赋值。... // 错误用法 glCompileShader(vs);
  • pandas21 to_string用法( tcy)

    千次阅读 2018-12-28 00:13:05
    写一个格式化的字符串to_string 2018/12/28 1.函数:  函数 df.to_string(buf=None, columns=None, col_space=None, header=True, index=True, na_rep='NaN', formatters=None, float_format=None, ...
  • fatfs文件系统详解之f_write函数分析

    千次阅读 2020-05-31 18:36:43
    本篇分析f_write()函数,fatfs文件系统对应的不知道文件的读写,也对应了文件的其他的操作,也有文件夹的操作,函数分析确实是一个非常耗时耗精力的事情,此函数分析完之后,就结束函数分析。 分析假设 (1)假设一...
  • 用法 const path = require ( 'path' ) ; const writePackage = require ( 'write-pkg' ) ; ( async ( ) => { await writePackage ( { foo : true } ) ; console . log ( 'done' ) ; await writePackage ( __...
  • write.csv()函数--R语言

    千次阅读 2021-04-12 22:50:35
    write.table prints its required argument x (after converting it to a data frame if it is not one nor a matrix) to a file or connection. 将X输出到文件或者链接 函数语法: write.table(x, file = "", ...
  • 以前一直都是用fopen、fwrite等高级函数写文件,这次尝试用open、write、close操作文件。代码如下: int ret = OB_SUCCESS; int fd = open(config_file, O_WRONLY | O_CREAT | O_TRUNC, S_IRWXU | S_IRWXG...
  • dbms_lob中substr,append,write用法

    万次阅读 2014-03-02 11:19:47
    dbms_lob.write(dest_lob,write_amount,writing_position,buffer_text); dbms_output.put_line(dest_lob); dbms_output.put_line(write_amount); dbms_output.put_line(writing_position); commit; end; / ...
  • 在代码里面加上下面这三行即可解决乱码问题 req.setCharacterEncoding("UTF-8"); resp.setCharacterEncoding("UTF-8"); resp.setContentType("text/html;charset=UTF-8");
  • Java中FileOutputStream流的write方法

    千次阅读 2019-09-03 21:48:53
    本文为大家分享了FileOutputStream流的write方法,供大家参考,具体内容如下 ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 ...
  • 解决android.permission.WRITE_APN_SETTINGS

    千次阅读 2018-07-12 14:51:08
    在ICS40以前的版本中,如果...android.permission.WRITE_APN_SETTINGS"></uses-permission>这个权限即可。 在40的机器上运行则会抛出以下异常: Java.lang.
  • action.move_to_element(write).perform() # 移动到write,显示“Mouse moved” print result.get_attribute(‘value‘)   # action.move_to_element(blank).perform() action.move_...
  • STM32驱动LD3320进行语音识别程序+原理图

    万次阅读 多人点赞 2019-06-28 16:31:05
    //清除LINE上的中断标志位 } } void ld3320_write_reg( unsigned char address, unsigned char dataout ) { ld3320Data=address; LD3320_D0=bita0;LD3320_D1=bita1;LD3320_D2=bita2;LD3320_D3=bita3; LD3320...
  • write var towrite (var) to的区别

    千次阅读 2011-01-04 14:55:00
    write to 的两种不同用法之间的区别

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 108,874
精华内容 43,549
关键字:

to的用法write