精华内容
下载资源
问答
  • 假设旧的数据文件为‘图书清单.csv’, 我使用的是Anaconda 3.6,即Python 3系列,对于带中文的文件名,需要强制规定引擎为python book = pd.read_csv('图书清单.csv', sep=',', engine='python...

    我这篇文章主要是介绍需要在旧的csv文件中获取所需要的记录,并将这些记录拷贝到一个新的csv文件中进行保存。

    创建新的Dataframe

    假设旧的数据文件为‘图书清单.csv’, 我使用的是Anaconda 3.6,即Python 3系列,对于带中文的文件名,需要指定引擎engine=‘python’,且如果文件中的内容是有中文内容的,还需要指定编码格式encoding='utf-8’

    book = pd.read_csv('图书清单.csv', sep=',', engine='python', encoding='utf-8')
    

    获取源数据的列名列表

    使新的Dataframe的列名与之前数据中的列名保持一致

    cols = books.columns.values
    

    创建Dataframe

    直接参数指定新的Dataframe的列名

    data = pd.Dataframe(columns=cols)
    

    在Dataframe中追加数据记录

    这里假设我们需要源数据的第1-3行的记录,所以,直接进行Dataframe.append(),由于我们的新旧数据结构一致(新旧数据的列名不变),所以可以不像Pandas提供的文档那样先将需要追加的数据存入又一个新的df2中,再df = df.append(df2)
    注意:一定记得赋值回来!赋值回来!赋值回来!

    data = data.append(book.loc[1:3])
    

    验证结果

    可以直接使用print()打印查看data里是否已经成功添加的数据记录,但是我更喜欢保存成文件输出,毕竟这是我需要的数据,所以最后我再用pandas.to_csv()将Dataframe输出到新的csv文件

    # 输出到csv
    data.to_csv('结果.csv')
    
    # 直接打印查看
    print(data)
    

    在这里插入图片描述

    展开全文
  • 例子1:创建空的dataframe追加数据 创建空的dataframe 追加数据 正文 例子1:创建空df,追加数据 函数df.loc 的官方文档 import pandas as pd #创建空dataframe只包含四列['AA','BB','CC','DD'] df1 = pd...

    Python - pandas

    Python pandas 是python的数据分析包

    下面代码可以复制到python环境下运行

    目录

    正文

    例子1:创建空df,追加数据

    import pandas as pd
    
    #创建空dataframe只包含四列['AA','BB','CC','DD']
    df1 = pd.DataFrame(columns = ['AA','BB','CC','DD'])
    
    #追加数据
    for i in range(5):
      df1.loc[i] = {'AA':i,'BB':i/2,'CC':i**2,'DD':i**3}
    
    df1
    

    结果:
    例子1的结果

    展开全文
  • import xlrd from xlutils.copy import copy def write_excel_xls_append(path, ... index = value.shape[0] # 获取需要写入数据的行数 workbook = xlrd.open_workbook(path) # 打开工作簿 sheets = workbook.shee...

    import xlrd
    from xlutils.copy import copy
    def write_excel_xls_append(path, value):
        index = value.shape[0]  # 获取需要写入数据的行数
        workbook = xlrd.open_workbook(path)  # 打开工作簿
        sheets = workbook.sheet_names()  # 获取工作簿中的所有表格
        worksheet = workbook.sheet_by_name(sheets[0])  # 获取工作簿中所有表格中的的第一个表格
        rows_old = worksheet.nrows  # 获取表格中已存在的数据的行数
        new_workbook = copy(workbook)  # 将xlrd对象拷贝转化为xlwt对象
        new_worksheet = new_workbook.get_sheet(0)  # 获取转化后工作簿中的第一个表格
        for i in range(0, index):
            for j in range(0, value.shape[1]):
                new_worksheet.write(i+rows_old, j, value.iloc[i][j])  # 追加写入数据,注意是从i+rows_old行开始写入
        new_workbook.save(path)  # 保存工作簿
        print("xls格式表格【追加】写入数据成功!")


    write_excel_xls_append('./result/结果表.xls',final_result)

    展开全文
  • mode(“append”):新数据追加方式写入原有分区 val df: DataFrame = ... // 开启 Hive 表动态分区 spark.sql("set hive.exec.dynamic.partition=true") spark.sql("set hive.exec.dynamic.partit

    方法1

    用 insertInto

    该方法按照 df 中字段顺序确定字段与分区字段,与 df 的列名无关
    mode(“overwrite”):新数据以覆盖方式写入原有分区(其它分区不受影响)
    mode(“append”):新数据以追加方式写入原有分区

    val df: DataFrame = ...
    
    // 开启 Hive 表动态分区
    spark.sql("set hive.exec.dynamic.partition=true")
    spark.sql("set hive.exec.dynamic.partition.mode=nonstrict")
    
    parsedDataDF.write
        .mode("overwrite")
        .format("Hive")
        .insertInto("hive_db.hive_tbl")
    

    方法2

    写sql

    展开全文
  • mode=‘a’:即向csv文件追加数据,按行追加(如果不存在这个 csv文件,则创建一个并 添加数据) header=True:写入dataframe的列名(表头) index=None:不添加索引 例: for index,item in enumerate(list_code...
  • 在Python中实现对MySQL数据库的表设置联合... 将 列表list 转换为 DataFrame格式 将 列表list 转换为 DataFrame格式 # 假设有一个列表data data = [1.2, '54512', 116.47, 39.8069, 31.3, 'LC'] # 将其转换为 df_...
  • Python 写入DataFrame不覆盖原有数据

    千次阅读 2020-07-08 16:51:46
    xlsx格式的表格,子表中追加dataframe def write_excel_append(path,sheet_name,value,oldrow):#变量顺序可改变,依次是:表格路径,工作表名称,要写入的dataframe名称,从哪一行开始写入 index=value.shape[0] #...
  • Python pandas 的DataFrame对象在使用to_csv()方法时,如何实现数据追加写入文本的功能? 有些时候,我们会定期的采集一些股票数据,来保持我们的数据文件的更新。最近简单的方式是,每次都全部采集,然后重新写入...
  • Pandas有两个最主要也是最重要的数据结构: Series 和 DataFrame 1. 导包 In [ 1 ] : import numpy as np In [ 2 ] : import pandas as pd 2. 创建DataFrame对象 2.1 通过 numpy 数组(array)...

空空如也

空空如也

1 2 3 4 5 6
收藏数 114
精华内容 45
关键字:

dataframe追加数据