2017-06-24 10:27:41 u012526003 阅读数 3521
  • Python-数据

    Python数据库编程视频教程,数据库是MySQL,讲解Python链接MySQL数据库,并对数据库进行增删改查操作。

    10913 人正在学习 去看看 尹成

import cv2

cap = cv2.VideoCapture(0)

k = 0
while k != 27: # esc
ret, img = cap.read(0)
cv2.imshow(‘233’, img)
k = cv2.waitKey(20) & 0xff

print( ‘begin to record images…’ )

for ii in range(1000):
ret, img = cap.read(0)
cv2.imshow(‘233’, img)
cv2.imwrite(‘imaged%04d.jpg’%(ii), img)
cv2.waitKey(20)

2016-04-12 01:47:19 Agly_Clarlie 阅读数 8495
  • Python-数据

    Python数据库编程视频教程,数据库是MySQL,讲解Python链接MySQL数据库,并对数据库进行增删改查操作。

    10913 人正在学习 去看看 尹成

python实现数据存入MySQL数据库

在MySQL的某表为WeiboText,
写入数据库,MySQL表格WeiboText里的属性user_id,time,weibo 分别存入相关内容

user_id time weibo
1 12:12 something
2 00:00 anything
3 16:16 nothing

Django存数据库需要的环境的配置

os.environ.setdefault("DJANGO_SETTINGS_MODULE","dbtest2.settings")
django.setup()

python插入不重复的数据

# 写入数据库,MySQL表格WeiboText里的属性user_id,time,weibo 分别存入相关内容
try:  
     # 先遍历该表格,看是否存在重复的项,不存在重复的项,则报出异常:ObjectDoesNotExist,被下面语句捕
     WeiboText.objects.get(user_id="4", time="12:10", weibo="article")
except ObjectDoesNotExist:
     try: 
          # 存入数据库,对应属性都要存入
          WeiboText.objects.create(user_id=key[0], time=j[0], weibo=j[1])
     except ProgrammingError:
          print '博文无法存入数据库'
2019-07-22 12:46:14 weixin_39490983 阅读数 28
  • Python-数据

    Python数据库编程视频教程,数据库是MySQL,讲解Python链接MySQL数据库,并对数据库进行增删改查操作。

    10913 人正在学习 去看看 尹成

数据库保存

使用pickle、shelve模块保存数据

import os#工作环境
os.getcwd()#查询工作目录
'E:\\jupyter\\python-basic'
import pickle
i = [1,2,3,4]
with open("pd.data","wb") as f: #"wb"表示写入数据
    pickle.dump(i,f)
d = pickle.load(open("pd.data","rb"))  #"rb"表示读入数据
print(d)
[1, 2, 3, 4]
import shelve
s = shelve.open("sd.bd")
#类字典的操作
s["name"] = "jingjing"
s["lang"] = "python"
s.close()
s = shelve.open("sd.bd")
s["name"]
'jingjing'
for k in s:
    print(k,":",s[])
name : jingjing
lang : python

sqlite3

不同于pickle、shelve模块保存少量的数据,数据库可以实现对大量数据的保存

常见数据库:SQLlist(小型关系型数据库)、Mongodb( NoSQL 数据库)、MySql

import sqlite3
conn = sqlite3.connect("lite.db") #创建数据库连接
cur = conn.cursor()#创建游标对象
cur.execute('drop table books')#删除表
create_table = "create table books(titlt text,auther text,lang text)"
cur.execute(create_table)#创建表格
cur.execute('insert into books values("learn python","jingjing","python")')#执行多条sql语句 
conn.commit()#插入数据
cur.close()#关闭游标
conn.close()#关闭连接

conn = sqlite3.connect("lite.db")#打开数据库
cur  = conn.cursor()#打开游标
cur.execute("select * from books")#查询数据库
print(cur.fetchall())
books = [("first","1","E"),("second","2","C")]
cur.executemany('insert into books values(?,?,?)',books) #一次插入多个数据
cur.execute("select * from books")#查询数据库
print(cur.fetchall())
cur.close()#关闭游标
conn.close()#关闭连接
[('learn python', 'jingjing', 'python')]
[('learn python', 'jingjing', 'python'), ('first', '1', 'E'), ('second', '2', 'C')]
2017-09-05 16:10:42 qq_27623521 阅读数 191
  • Python-数据

    Python数据库编程视频教程,数据库是MySQL,讲解Python链接MySQL数据库,并对数据库进行增删改查操作。

    10913 人正在学习 去看看 尹成

用来保存和加载python数据对象的(是python的专有格式文件,其他语言无法识别),数据用dump保存到文件,用load加载

例子:

#coding:utf8
import pickle
a = {'a':1, 'b':2, 'c':3, 'e':4, 'f':5, 'g':6}
#用上下文以二进制的方式打开一个文件,
#并把a的的数据用dump保存到文件里面
with open('dumpfile.pk', 'wb') as f:
    pickle.dump(a, f)
#直接以二进制读取方式打开保存数据的文件用load加载
with open('dumpfile.pk', 'rb') as a:
    data = pickle.load(a)
print data  #打印保存的数据
2017-09-07 11:55:04 iseeyounow2017 阅读数 11771
  • Python-数据

    Python数据库编程视频教程,数据库是MySQL,讲解Python链接MySQL数据库,并对数据库进行增删改查操作。

    10913 人正在学习 去看看 尹成

    Python爬取网站数据后,数据的保存方式是大家比较关心的意一件事情,也是为接下来是否能够更简便的处理数据的关键步骤。下面,就Python爬取网页数据后的保存格式进行简单介绍。三种保存格式为txt格式、CSV格式和数据库格式。

    首先,保存为txt格式。话不多说,直接上代码!    

# -*- coding: utf-8 -*-
import requests
import json
import html
import urllib
import sys
import re
import random
import time
from threading import Timer
from bs4 import BeautifulSoup


reload(sys)
sys.setdefaultencoding('utf-8')
headers ={'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 BIDUBrowser/8.7 Safari/537.36'}


def get_html1(i):
    url = 'https://www.ppmoney.com/StepUp/List/-1/{}/fixedterm/true/false?_={}'
    html = requests.get(url.format(i,random.randint(1501050773102,1501051774102)),headers=headers)
    return html.content
def get_data1(html):
    data1 = json.loads(html)
    data = data1['PackageList']['Data']
    for i in data:
        #产品名称,利率,金额
         print i['name'],'\t',i['profit'],'\t',i['investedMoney']
       with open('d:PPmonenyshengxinbao9.6.txt','a') as f:
           f.write(i['name']+'\t'+str(i['profit'])+'\t'+str(i['investedMoney'])+'\n'
for i in range(1,10):
    get_data1(get_html1(i))   

执行代码后,生成文件打开后显示如下:

    2.保存为CSV格式。

# -*- coding: utf-8 -*-
import requests
import pandas as pd
import numpy as np
import json
import html
import urllib
import sys
import re
import random
import time
from threading import Timer
from bs4 import BeautifulSoup


reload(sys)
sys.setdefaultencoding('utf8')
headers ={'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 BIDUBrowser/8.7 Safari/537.36'}

def get_html1(i):
    url = 'https://www.ppmoney.com/StepUp/List/-1/{}/fixedterm/true/false?_={}'
    html = requests.get(url.format(i,random.randint(1501050773102,1501051774102)),headers=headers)
    ceshi1=html.content
    data = json.loads(ceshi1)
    return(data['PackageList']['Data'])


data_ceshi=pd.DataFrame([])
html_list=[]
for i in range(100):
    html_list.append(get_html1(i))
for i,heml_avg in enumerate(html_list):
    tmp=pd.DataFrame(heml_avg)
    tmp["page_id"]=i
    data_ceshi=data_ceshi.append(tmp)


print data_ceshi
data_ceshi.to_csv('e:/data.csv',encoding='gbk')

保存后,结果如下:

3.保存到数据库。

# -*- coding: utf-8 -*-
import requests
import pandas as pd
import numpy as np
import json
import html
import urllib
import sys
import re
import random
import MySQLdb
import time
from threading import Timer
from bs4 import BeautifulSoup


reload(sys)
sys.setdefaultencoding('utf8')
headers ={'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 BIDUBrowser/8.7 Safari/537.36'}

db = MySQLdb.connect(host = 'localhost',port = 3306,user = 'zhouliye',passwd = '123456zz',db = 'abbc',charset='utf8')
print '连接上数据库了!'
cursor = db.cursor()


cursor.execute("DROP TABLE IF EXISTS shengxb")
sql = """CREAtE TABLE SHENGXB(
          beginTime DATETIME,
          endTime DATETIME,
          investedMoney float,
          name CHAR(50))"""


cursor.execute(sql)


def get_html1(i):
    url = 'https://www.ppmoney.com/StepUp/List/-1/{}/fixedterm/true/false?_={}'
    html = requests.get(url.format(i,random.randint(1501050773102,1501051774102)),headers=headers)
    ceshi1=html.content
    data = json.loads(ceshi1)
    return(data['PackageList']['Data'])


data_ceshi=pd.DataFrame([])#建立一个空数据框
html_list =[]#建立一个空列表


for i in range(10):
    html_list.append(get_html1(i))


for i in html_list:
    for j in i:
        a = j['beginTime']
        b = j['endTime']
        c = j['investedMoney']
        d = j['name']
        print u'开始时间: ' + str(a) + u'结束时间: '+ str(b) + u'投资金额: ' + str(c) + u'项目名称' + str(d)
        insert_SHENGXB = ("INSERT INTO SHENGXB (beginTime,endTime,investedMoney,name) VALUES(%s,%s,%s,%s)")
        data_data= (a, b, c, d)
        cursor.execute(insert_SHENGXB,data_data)
        db.commit()
        print '******完成此条插入!'




print '爬取数据并插入mysql数据库完成...'

保存后显示如下:

没有更多推荐了,返回首页