精华内容
下载资源
问答
  • Python连接数据库的方式有很多 此处是较为简单的一种 导包 import pandas as pd from sqlalchemy import create_engine create_engine就可以实现连接数据了(连接oracle) orengine = create_engine("oracle://...

    Python连接数据库的方式有很多 此处是较为简单的一种

    • 导包
    import pandas as pd
    from sqlalchemy import create_engine
    
    • create_engine就可以实现连接数据了(连接oracle)
    orengine = create_engine("oracle://USER:PASSWORD@IP/orcl", encoding='utf-8', echo=True)
    
    • 读取数据库中的数据(此为SQL)
    sql = r'''SELECT * FROM table_name '''
    df = pd.read_sql(sql,orengine)
    
    • 到此数据库的连接和读取都可以实现了 接下来就可以一些操作了(Python定时读取A数据库存入到B数据库实现自动备份数据)
    from threading import Timer
    import os
    # 将数据导入到pg数据库
    def importpostgr():
        os.environ['NLS_LANG'] = 'AMERICAN_AMERICA.AL32UTF8'
        # 连接两个数据库
        orengine = create_engine("oracle://USER:PASSWORD@IP/orcl", encoding='utf-8', echo=True)
        # postgre数据库
        pgengine = create_engine('postgresql://USER:PASSWORD@IP:5432/database_name')
        # 查询条件SQL
        sql1 = '''SELECT * FROM table_name1 '''
        sql2 = '''SELECT * FROM table_name2 '''
        sql3 = '''SELECT * FROM table_name3 '''
        # 查询oracle数据库
        df1 = pd.read_sql(sql1,orengine)
        df2 = pd.read_sql(sql2,orengine)
        df3 = pd.read_sql(sql3,orengine)
        # 开始写入pg数据库
        print('start import postgresql')
        # create_table_name 导入到pg数据库中你要创建的表名
        df1.to_sql('create_table_name1',pgengine,index=True,if_exists='replace')
        df2.to_sql('create_table_name2',pgengine,index=True,if_exists='replace')
        df3.to_sql('create_table_name3',pgengine,index=True,if_exists='replace')
        print('import postgresql successfully')
        # 定时写入
        t = Timer(3600,importpostgr)
        t.start()
    try:
        Timer(1200,importpostgr).start()
    except:
        print('停止定时导入pg数据库')
    
    • 当然以上写法是较为不严谨的 比如oracle的锁表 异常 网络 等等等  待完善....
    展开全文
  • 表格数据如下: 代码如下: import pandas as pd ...A、attribute:表示数据库表名; B、con=后面接前面一句的engine对象, C、if_exists=‘replace’:表示如果已经数据表存在就进行替换。 结果:

    表格数据如下:

    在这里插入图片描述

    代码如下:

    import pandas as pd
    
    from sqlalchemy import create_engine
    
    excelFile = r'D:\untitled\chatPy (version 1).xlsb.xlsx'
    df = pd.DataFrame(pd.read_excel(excelFile))
    
    
    engine =create_engine('mysql+pymysql://wang:123456@localhost:3306/vrapp1',encoding='utf8')
    df.to_sql('attribute',con=engine,if_exists='replace',index=False)
    

    注释:
    ①、r’D:\untitled\chatPy (version 1).xlsb.xlsx’ 文件路径及文件名。
    ②、‘mysql+pymysql://wang:123456@localhost:3306/vrapp1’
    A、 wang代表的是数据库用户名
    B、123456数据库密码;
    C、vrapp1表示数据库名字
    ③、df.to_sql(‘attribute’,con=engine,if_exists=‘replace’,index=False)
    A、attribute:表示数据库表名;
    B、con=后面接前面一句的engine对象,
    C、if_exists=‘replace’:表示如果已经数据表存在就进行替换。

    结果:

    在这里插入图片描述

    展开全文
  • 近日想把excel的电影目录,写入sqllite数据库方便以后查询,添加等 用到了xlrd下面是第一部分 创建数据库表#1080P目录.xls excel文件#_*_ coding:utf-8 _*_import os,sys,sqlite3,stringfrom xlrd import open_...

    近日想把excel的电影目录,写入sqllite数据库

    方便以后查询,添加等 用到了xlrd

    下面是第一部分 创建数据库表

    #1080P目录.xls excel文件

    #_*_ coding:utf-8 _*_

    import os,sys,sqlite3,string

    from xlrd import open_workbook

    cx = sqlite3.connect("myMovie.db")

    cu = cx.cursor()

    cu.execute("""create table movieBook (id integer primary key,

    numMovie integer,

    chineseName text,

    size real,

    enName,

    typeMovie,

    pubYear,

    soundChanl,

    movieScore real,

    movieActor text,

    movieDirector text,

    summary text

    )""")

    excelName = "1080P目录.xls"

    bk = open_workbook(excelName,encoding_override="utf-8")

    for s in bk.sheets():

    print "sheet:",s.name

    try:

    sh = bk.sheet_by_name("1080PRip")

    except:

    print "no sheet in %s named sheet1" % excelName

    nrows = sh.nrows-16

    ncols = sh.ncols

    print os.getcwd(),"nrows %d,ncols %d" % (nrows,ncols)

    #cell_value = sh.cell_value(0,12)

    print sh.cell_value(3163,1)

    row_list =[]

    print "开始导入------------------->>>>>>>"

    for i in xrange(1,nrows):

    row_date = sh.row_values(i)

    row_list.append(row_date)

    n = i-1

    cx.execute("insert into movieBook(numMovie,chineseName,size,enName,typeMovie,pubYear,soundChanl,movieScore,movieActor,movieDirector,summary)values (?,?,?,?,?,?,?,?,?,?,?)",

    (int(row_list[n][0]),row_list[n][1],row_list[n][2],row_list[n][3],row_list[n][4],row_list[n][5],row_list[n][6],row_list[n][7],row_list[n][8],row_list[n][9],row_list[n][10]))

    cx.commit()

    #print row_list[n][4]

    cu.close()

    print "导入完成------------------->>>>>>>"

    #print len(row_list[3])

    展开全文
  • 在把sina数据保存到数据库的过程中又碰到了些新问题。...#读取爬取到的文件,按照用户名判断是否在数据库中存在,并返回id infofile = codecs.open("inforead.txt", 'r', 'utf-8') infofilenew = codecs.open("info

    在把sina数据保存到数据库的过程中又碰到了些新问题。

    文本如下:

    # coding=utf-8
    import MySQLdb  
    import codecs
    
    #读取爬取到的文件,按照用户名判断是否在数据库中存在,并返回id
    infofile = codecs.open("inforead.txt", 'r', 'utf-8')
    infofilenew = codecs.open("infowrite.txt", 'a', 'utf-8')
    username = infofile.readline()
    conn = MySQLdb.connect (host = "localhost", user = "root", passwd = "123456", db = "school", use_unicode=True, charset="utf8")  
    cursor = conn.cursor ()  
    # cursor.execute('SET NAMES gbk')
    while username!="":
        username = username.split(' ')
        givenname = username[0]
        givenname = givenname.encode("utf8")  
        #判断该用户是否已存在
        cursor.execute ("SELECT id from teacher where name='"+givenname+"'")  
        rows = cursor.fetchall()  
        if len(rows)>0:
            #存在则返回该用户的id
            id = rows[0][0]
        elif len(rows)==0:
            #不存在则插入到数据库
    #         print type(givenname)
    #         print givenname
    #         print type(givenname)
    #         print givenname
            print givenname=='流'
            cursor.execute("insert into teacher(name,age,xi) values('"+givenname+"',12,6)")
            conn.commit()  
            cursor.execute ("SELECT id from teacher where name='"+givenname+"'")
            row = cursor.fetchall()
            id = row[0][0]
        print id
        infofilenew.write(str(id)+" "+username[1])
        username = infofile.readline()
    
    
    cursor.close ()  
    conn.close ()  

    现在来看,整个文件有多处提到编码问题:

    首先在打开文件加载到内存过程中打开方式是utf8,也就是说文件处理是utf8.

    其次,在mysql的connection处提到写入数据库的格式为utf8。问题就出在这,因为之前测试过程中试着在写入数据库之前将数据库的一些编码格式改为gbk,才写了这个set。。。但是,这就与utf8产生了冲突。导致我的givenname编码产生冲突,成了gbk,所以我还需要将givenname格式encode为utf8.。。



    问题大概都明白了,对于字符编码理解又多了些。

    展开全文
  • Python读取Excel文件并写入数据库

    万次阅读 多人点赞 2019-04-10 12:00:01
    想法是这样:先用pandas读取Excel表格,将表格内容转化成一个dataframe数据,然后将这个df数据整体写入数据库。 刚开始的时候,没弄清楚,到底要不要先在数据库中建好表, 还有相应字段… 1. 读取Excel表格数据 需要...
  • ❝ 数据分析师需要经常从数据库中取数据进行分析,MySQL数据库是较为常用的关系型数据库python是目前火热的数据分析语言,在python中,利用第三方库直接对数据库进行操作,包括数据的读取写入等,能极大提高数据...
  • 原博文2020-01-04 21:12 −一个简单的使用python读取mysql数据并写入excel中实例1、python连接mysql数据库conn = pymysql.connect(user='root',host='127.0.0.1',port=3306,passwd='root',db='python',charset=......
  • Python连接mysql数据库时,读取数据库中的中文出现乱码,所有中文都显示为问号了,我解决问题的步骤如下: 开发环境 - Python版本:python3.6 - MySql版本:mysql-5.5.56-winx64 - PyMySQL 版本:PyMySQL (0.7.11...
  • python读取写入oracle数据库表信息

    千次阅读 2019-07-10 16:15:11
    一、一般读取数据库代码: import cx_Oracle # 导入数据库 import pandas as pd #导入操作数据集工具 from sqlalchemy import create_engine #导入 sqlalchemy 库,然后建立数据库连接 import time #导入时间模块 ...
  • # 读取txt文件内容默认是str类型,此处将其分割成一个个元素形成列表 cursor . execute ( sql , ( text_line_list [ 0 ] , text_line_list [ 1 ] , int ( text_line_list [ 2 ] ) , text_line_list [ 3 ] , text...
  • python+sqlalchemy 数据库读取写入

    千次阅读 2019-12-21 20:26:23
    Python+ SQLAlchemy 数据库读取写入 ​ SQLAlchemy是Python中最有名的ORM(Object Relational Mapping,对象关系映射)框架之一,该框架建立在数据库API之上,使用关系对象映射进行数据库操作,为高效和高性能...
  • 写入MongoDB 我比较习惯用cmd写入数据,直接进入数据所在根目录/在file后面导到数据所在根目录 mongoimport --db taobao --collection consumer --type csv --headerline --ignoreBlanks ...Python读取数据库 导入包...
  • 一,介绍上周用jmeter做性能测试时,接口B传入的参数需要依赖接口A生成的...就写了一段python读取数据库并将读到数据写入到本地文件二,python读取数据库代码如下:# -*- coding:utf-8 -*-import pymysqldef get_l...
  • 本篇文章主要介绍了Python实现数据库并行读取写入实例,非常具有实用价值,需要的朋友可以参考下
  • python写入读取数据库

    千次阅读 2019-03-20 21:16:08
    前面记录了python基础,记录了爬虫,记录了数据可视化,记录了机器学习,下面将了解python web,博主看资料学习了2天才看懂了如何通过python读写数据库: 1.相关模块的导入与安装: import mysql.connector,pymysql ...
  • python实现读取串口数据,并写入数据库

    万次阅读 多人点赞 2019-05-15 08:51:51
    说明:本代码经本人测试,stm89c51等开发板传感器采集数据发送到串口,实现读取写入数据库,不懂之处大家留言,看见会及时回复大家。 问题咨询及项目源码下载请加群: 群名:IT项目交流群 群号:245022761 ...
  • python连接数据库读取数据并将数据写入到excel表中的方法 """ 读取数据写入Excel文件 一个Excel文件 ---> 工作簿 ---> workbook 一个工作簿下面可以有一个或多个工作表 ---> sheet """ import MySQLdb ...
  • 环境 win10 python3.7 mysql5.7 方法 pymysql pip install pymysql xxx.py # -*- coding:utf-8 -*- import pandas as pd ... # 用pandas读取csv # data = pd.read_csv(file_name,engine='python',encoding=
  • 主要为大家详细介绍了Python如何读取MySQL数据库表数据,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
  • 和excel结合Python操作MySQL数据库的教程:Python(10)萌新也能看的懂——用PyMySQL处理MySQL数据库这个是同步行为,所以可以先用上面那篇教程,读取mysql的数据。然后再结合上一篇Python(9)萌新也能看的懂——...
  • python实现基本数据库操作(csv文件写入数据库,基于impala)客户端连接数据库向数据库中写入数据主函数以下是将上述代码封装后的文件结果测试 初来乍到,最近在数据服务部实习,想把学到的一些知识在博客上记录...
  • ) def selecttable(): # **************************数据库查询***************************** cur = conn.cursor() sql3 = "select * from zh_new limit 100;" #新闻的条数 result = cur.execute(sql3) # 默认不...
  • 1 Pickle文件1.1 介绍1.2 写入pickle文件1.3 读取pickle文件1.4 读取后存入txt文件2 npy文件2.1 介绍2.2 写入npy文件2.3 读取npy文件2.3 存入txt文件 1 Pickle文件 1.1 介绍 pickle模块可以对小数据量进行存储。数据...
  • 配置python连接oracle,读取excel数据写入数据库

    千次阅读 多人点赞 2021-03-17 00:01:02
    读取excel写入数据库的方式有多种,这里介绍的是使用pandas写入,相对来说比较简便,不需要在读取excel后再去整理数据 整个过程需要分两步进行: 一、配置python连接oracle并测试成功 网上有不少教程,但大部分都没...
  • 加上前段时间学习的MySQL,想将读取回来的开奖数据存放到数据库里试试看。  废话不多说,实操看看。 网页下载器 这部分就比较简单了,不过值得一提的是,response需要encoding一下才能正常识别出内容,不然就是...
  • python3 实现读取数据库将结果生成Excel文件,然后将文件发送到指定邮件。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 46,542
精华内容 18,616
关键字:

python读取写入数据库

python 订阅