2018-11-24 22:13:28 xx20cw 阅读数 90
  • PostgreSQL数据库管理(二)

    PostgreSQL是以加州大学伯克利分校计算机系开发的POSTGRES,现在已经更名为PostgreSQL. PostgreSQL支持大部分SQL标准并且提供了许多其它现代特性:复杂查询、外键、触发器、视图、事务完整性等。   PostgreSQL  是一个免费的对象-关系数据库服务器(数据库管理系统),它在灵活的 BSD-风格许可证下发行。它提供了相对其他开放源代码数据库系统(比如 MySQL 和 Firebird),和专有系统(比如 Oracle、Sybase、IBM 的 DB2 和 Microsoft SQL Server)之外的另一种选择。   事实上, PostgreSQL 的特性覆盖了 SQL-2/SQL-92 和 SQL-3/SQL-99,首先,它包括了可以说是目前世界上最丰富的数据类型的支持,其中有些数据类型可以说连商业数据库都不具备, 比如 IP 类型和几何类型等;其次,PostgreSQL 是全功能的自由软件数据库,很长时间以来,PostgreSQL 是唯一支持事务、子查询、多版本并行控制系统(MVCC )、数据完整性检查等特性的唯一的一种自由软件的数据库管理系统。 Inprise 的 InterBase 以及SAP 等厂商将其原先专有软件开放为自由软件之后才打破了这个唯一。最后,PostgreSQL拥有一支非常活跃的开发队伍,而且在许多黑客的努力下,PostgreSQL 的质量日益提高。 从技术角度来讲,PostgreSQL 采用的是比较经典的C/S(client/server)结构,也就是一个客户端对应一个服务器端守护进程 的模式,这个守护进程分析客户端来的查询请求,生成规划树,进行数据检索并最终把结果格式化输出后返回给客户端。为了便于客户端的程序的编写,由数据库服务器 提供了统一的客户端 C 接口。而不同的客户端接口都是源自这个 C 接口,比如ODBC,JDBC,Python,Perl,Tcl,C/C++,ESQL等, 同时也要指出的是,PostgreSQL 对接口的支持也是非常丰富的,几乎支持所有类型的数据库客户端接口。这一点也可以说是 PostgreSQL 一大优点。   本课程作为PostgreSQL数据库管理二,主要讲解以下内容: 1.     PostgreSQL中的子查询 2.     PostgreSQL公共表表达式 3.     PostgreSQL数据的修改 4.     PostgreSQL中的事务 5.     PostgreSQL数据导入和导出 6.      PostgreSQL数据库的管理 7.     PostgreSQL表的管理

    203 人正在学习 去看看 臧雪园

'''数据导入'''

import pandas as pda

i=pda.read_csv('E:/programCode/jd.csv',encoding='gb18030')

i.describe()

#按照某一列进行排序

i.sort_values(by='238')#238为列名

import xlrd

 

'''导入excel数据'''

j=pda.read_excel('E:/programCode/jd.xlsx',encoding='gb18030')

 

'''导入mysql数据'''

import pymysql

conn=pymysql.connect(host='localhost',user='root',passwd='123456',db='dd')

sql='select * from jd'

k=pda.read_sql(sql,conn)

 

导入html数据

 

可以直接从html网页中加载对应table表格中的数据,但在使用read_html()之前,需要先安装HTML5lib模块与beautifulsoup4模块

l=pda.read_html('E:/programCode/jj.html')

'''在线网页提取'''

m=pda.read_html('https://book.douban.com/')

 

'''导入文本数据'''

n=pda.read_table('E:/programCode/abc.txt')

2019-12-30 20:54:54 ayouleyang 阅读数 212
  • PostgreSQL数据库管理(二)

    PostgreSQL是以加州大学伯克利分校计算机系开发的POSTGRES,现在已经更名为PostgreSQL. PostgreSQL支持大部分SQL标准并且提供了许多其它现代特性:复杂查询、外键、触发器、视图、事务完整性等。   PostgreSQL  是一个免费的对象-关系数据库服务器(数据库管理系统),它在灵活的 BSD-风格许可证下发行。它提供了相对其他开放源代码数据库系统(比如 MySQL 和 Firebird),和专有系统(比如 Oracle、Sybase、IBM 的 DB2 和 Microsoft SQL Server)之外的另一种选择。   事实上, PostgreSQL 的特性覆盖了 SQL-2/SQL-92 和 SQL-3/SQL-99,首先,它包括了可以说是目前世界上最丰富的数据类型的支持,其中有些数据类型可以说连商业数据库都不具备, 比如 IP 类型和几何类型等;其次,PostgreSQL 是全功能的自由软件数据库,很长时间以来,PostgreSQL 是唯一支持事务、子查询、多版本并行控制系统(MVCC )、数据完整性检查等特性的唯一的一种自由软件的数据库管理系统。 Inprise 的 InterBase 以及SAP 等厂商将其原先专有软件开放为自由软件之后才打破了这个唯一。最后,PostgreSQL拥有一支非常活跃的开发队伍,而且在许多黑客的努力下,PostgreSQL 的质量日益提高。 从技术角度来讲,PostgreSQL 采用的是比较经典的C/S(client/server)结构,也就是一个客户端对应一个服务器端守护进程 的模式,这个守护进程分析客户端来的查询请求,生成规划树,进行数据检索并最终把结果格式化输出后返回给客户端。为了便于客户端的程序的编写,由数据库服务器 提供了统一的客户端 C 接口。而不同的客户端接口都是源自这个 C 接口,比如ODBC,JDBC,Python,Perl,Tcl,C/C++,ESQL等, 同时也要指出的是,PostgreSQL 对接口的支持也是非常丰富的,几乎支持所有类型的数据库客户端接口。这一点也可以说是 PostgreSQL 一大优点。   本课程作为PostgreSQL数据库管理二,主要讲解以下内容: 1.     PostgreSQL中的子查询 2.     PostgreSQL公共表表达式 3.     PostgreSQL数据的修改 4.     PostgreSQL中的事务 5.     PostgreSQL数据导入和导出 6.      PostgreSQL数据库的管理 7.     PostgreSQL表的管理

    203 人正在学习 去看看 臧雪园

1、导入csv数据

from pandas import read_csv
filename = "F:\\数据分析\\数据分析3\\章节4数据处理\\4\\4.1\\a.csv"
df = read_csv(filename,encoding="UTF-8")
print (df)

2、导入文本数据

使用read_table函数导入普通文本文件

  • read_table(filename,names=[列名1,列名2,…],sep="",encoding,…)
from pandas import read_table
filename = "F:\\数据分析\\数据分析3\\章节4数据处理\\4\\4.1\\2.txt"
df = read_table(filename,names=["age","name"],sep=",",encoding="UTF-8")
print (df)
参数 注释
filename 文件的路径
names 列名,默认为文件中的第一行作为列名
sep 分隔符,默认为空,表示默认导入为一列
encoding 设置文件格式,在导入中文的时候需要设置为UTF-8
#运行结果

   age  name
0  23   KEN
1  32  John
2  25  JIMI
3  中文    英文

3、导入Excel文件

使用read_excel函数导入Excel文件

  • read_excel(filename,sheetname,header)
from pandas import read_excel
filename = "F:\\数据分析\\数据分析3\\章节4数据处理\\4\\4.1\\3.xls"
df = read_excel(filename,sheet_name="data",encoding="UTF-8")
print (df)
参数 注释
fileName 文件路径
sheetname Sheet的名字
names 列名,默认为文件中的第一行作为列名

4、保存数据

to_csv函数语法:

  • to_csv(filePath,sep=",",index=True,header=True)
from pandas import DataFrame
df = DataFrame({
    'age':[20,21,22,23],
    'name':['you','are','my','love']    
})
print (df)
filePath = "G:\\数据分析学习\\in_csv.csv"
df.to_csv(filePath,index=True,header=True)

运行结果
在这里插入图片描述

参数 注释
filePath 导出文件路径
sep 分隔符,默认为逗号(","),也就是以逗号分隔列
index 是否导出行序列,默认为True,也就是导出行序列号
header 是否导出列名,默认为True,也就是导出列名
2017-08-07 09:02:18 susu9520 阅读数 7208
  • PostgreSQL数据库管理(二)

    PostgreSQL是以加州大学伯克利分校计算机系开发的POSTGRES,现在已经更名为PostgreSQL. PostgreSQL支持大部分SQL标准并且提供了许多其它现代特性:复杂查询、外键、触发器、视图、事务完整性等。   PostgreSQL  是一个免费的对象-关系数据库服务器(数据库管理系统),它在灵活的 BSD-风格许可证下发行。它提供了相对其他开放源代码数据库系统(比如 MySQL 和 Firebird),和专有系统(比如 Oracle、Sybase、IBM 的 DB2 和 Microsoft SQL Server)之外的另一种选择。   事实上, PostgreSQL 的特性覆盖了 SQL-2/SQL-92 和 SQL-3/SQL-99,首先,它包括了可以说是目前世界上最丰富的数据类型的支持,其中有些数据类型可以说连商业数据库都不具备, 比如 IP 类型和几何类型等;其次,PostgreSQL 是全功能的自由软件数据库,很长时间以来,PostgreSQL 是唯一支持事务、子查询、多版本并行控制系统(MVCC )、数据完整性检查等特性的唯一的一种自由软件的数据库管理系统。 Inprise 的 InterBase 以及SAP 等厂商将其原先专有软件开放为自由软件之后才打破了这个唯一。最后,PostgreSQL拥有一支非常活跃的开发队伍,而且在许多黑客的努力下,PostgreSQL 的质量日益提高。 从技术角度来讲,PostgreSQL 采用的是比较经典的C/S(client/server)结构,也就是一个客户端对应一个服务器端守护进程 的模式,这个守护进程分析客户端来的查询请求,生成规划树,进行数据检索并最终把结果格式化输出后返回给客户端。为了便于客户端的程序的编写,由数据库服务器 提供了统一的客户端 C 接口。而不同的客户端接口都是源自这个 C 接口,比如ODBC,JDBC,Python,Perl,Tcl,C/C++,ESQL等, 同时也要指出的是,PostgreSQL 对接口的支持也是非常丰富的,几乎支持所有类型的数据库客户端接口。这一点也可以说是 PostgreSQL 一大优点。   本课程作为PostgreSQL数据库管理二,主要讲解以下内容: 1.     PostgreSQL中的子查询 2.     PostgreSQL公共表表达式 3.     PostgreSQL数据的修改 4.     PostgreSQL中的事务 5.     PostgreSQL数据导入和导出 6.      PostgreSQL数据库的管理 7.     PostgreSQL表的管理

    203 人正在学习 去看看 臧雪园

一、数据导入

(一)读取CSV文件

1、读取本地CSV

#先创建一个CSV文件,存入数据,数据之间以“逗号”分割。  数据源来源于网络。

import pandas as pd
df = pd.read_csv("D:\\pycharm\\data\\data.csv")
print(df)
引用pandas需要先安装pandas包。
输出结果:

2、读取网络数据CSV

import pandas as pd
data_url = "https://...csv" #网络读取
df = pd.read_csv(data_url)
(二)读取EXCEL文件
#读取excel之前先打开命令行,安装xlrd。即在命令行中输入pip install xlrd。

import pandas as pd
df = pd.read_excel("D:\\pycharm\\data\\test.xlsx")
print(df)
输出结果:

(三)读取MySQL数据
#安装MySQLdb包,假设读取用户名username,密码password,读取mydb数据库中的数据

import pandas as pd      #读取mysql     
import MySQLdb
mysql_cn= MySQLdb.connect(host='localhost', port=3306,user='username', passwd='password', db='mydb')
df = pd.read_sql('select * from test;', con=mysql_cn)
mysql_cn.close()

二、数据导出

(一)导出到CSV文件

import pandas as pd
df = pd.read_excel("D:\\pycharm\\data\\test.xlsx")
print(df)
df.to_csv("D:\\pycharm\\data\\testcsv.csv", encoding='utf-8', index=False)#数据导出到tsetcsv.csv#
将test.xlsx的数据导入到testcsv.csv文件中
#数据中含有中文,使用‘utf-8’,index=false去掉行名称导出

(二)导出到EXCEL文件
#先安装openpyxl包

import pandas as pd
import openpyxl
df = pd.read_excel("D:\\pycharm\\data\\test.xlsx")
df.to_excel("D:\\pycharm\\data\\excel2excel.xlsx", encoding='utf-8', index=False)#数据导出到excel2excel.xlxs#
dt = pd.read_excel("D:\\pycharm\\data\\excel2excel.xlsx")
print(dt)


2019-11-23 10:01:47 qq_28284093 阅读数 50
  • PostgreSQL数据库管理(二)

    PostgreSQL是以加州大学伯克利分校计算机系开发的POSTGRES,现在已经更名为PostgreSQL. PostgreSQL支持大部分SQL标准并且提供了许多其它现代特性:复杂查询、外键、触发器、视图、事务完整性等。   PostgreSQL  是一个免费的对象-关系数据库服务器(数据库管理系统),它在灵活的 BSD-风格许可证下发行。它提供了相对其他开放源代码数据库系统(比如 MySQL 和 Firebird),和专有系统(比如 Oracle、Sybase、IBM 的 DB2 和 Microsoft SQL Server)之外的另一种选择。   事实上, PostgreSQL 的特性覆盖了 SQL-2/SQL-92 和 SQL-3/SQL-99,首先,它包括了可以说是目前世界上最丰富的数据类型的支持,其中有些数据类型可以说连商业数据库都不具备, 比如 IP 类型和几何类型等;其次,PostgreSQL 是全功能的自由软件数据库,很长时间以来,PostgreSQL 是唯一支持事务、子查询、多版本并行控制系统(MVCC )、数据完整性检查等特性的唯一的一种自由软件的数据库管理系统。 Inprise 的 InterBase 以及SAP 等厂商将其原先专有软件开放为自由软件之后才打破了这个唯一。最后,PostgreSQL拥有一支非常活跃的开发队伍,而且在许多黑客的努力下,PostgreSQL 的质量日益提高。 从技术角度来讲,PostgreSQL 采用的是比较经典的C/S(client/server)结构,也就是一个客户端对应一个服务器端守护进程 的模式,这个守护进程分析客户端来的查询请求,生成规划树,进行数据检索并最终把结果格式化输出后返回给客户端。为了便于客户端的程序的编写,由数据库服务器 提供了统一的客户端 C 接口。而不同的客户端接口都是源自这个 C 接口,比如ODBC,JDBC,Python,Perl,Tcl,C/C++,ESQL等, 同时也要指出的是,PostgreSQL 对接口的支持也是非常丰富的,几乎支持所有类型的数据库客户端接口。这一点也可以说是 PostgreSQL 一大优点。   本课程作为PostgreSQL数据库管理二,主要讲解以下内容: 1.     PostgreSQL中的子查询 2.     PostgreSQL公共表表达式 3.     PostgreSQL数据的修改 4.     PostgreSQL中的事务 5.     PostgreSQL数据导入和导出 6.      PostgreSQL数据库的管理 7.     PostgreSQL表的管理

    203 人正在学习 去看看 臧雪园

导入csv数据

csv是一种常见的数据存储格式,基本上我们遇到的数据都可以转为这种存储格式。在Python数据分析中,可以通过pandas模块导入csv数据

i= pd.read_csv("文件地址")
print(i.describe())
# 按照某一列进行排序
i.sort_values(by='列名')
i.head(10)

导入excel数据

i = pd.read_excel('文件名')

导入MySQL数据

import pymysql
conn = pymysql.connect(host='********',user='***',passwd='****',db='数据库名')
i = pd.read_sql('查询语句',conn)
i.head(10)

导入html数据

使用pandas,可以直接从html网页中加载对应table表格中的数据,但是在使用read_html()之前,需要先安装html5lib模块和beautifulsoup4模块

pd.read_html('网页地址,可以是本地也可以是网页上的')  # 可以过滤其他,直接提取网页上的数据

导入文本数据

pd.read_table('文件路径')

 

2020-03-19 16:08:43 luckyboy1997 阅读数 75
  • PostgreSQL数据库管理(二)

    PostgreSQL是以加州大学伯克利分校计算机系开发的POSTGRES,现在已经更名为PostgreSQL. PostgreSQL支持大部分SQL标准并且提供了许多其它现代特性:复杂查询、外键、触发器、视图、事务完整性等。   PostgreSQL  是一个免费的对象-关系数据库服务器(数据库管理系统),它在灵活的 BSD-风格许可证下发行。它提供了相对其他开放源代码数据库系统(比如 MySQL 和 Firebird),和专有系统(比如 Oracle、Sybase、IBM 的 DB2 和 Microsoft SQL Server)之外的另一种选择。   事实上, PostgreSQL 的特性覆盖了 SQL-2/SQL-92 和 SQL-3/SQL-99,首先,它包括了可以说是目前世界上最丰富的数据类型的支持,其中有些数据类型可以说连商业数据库都不具备, 比如 IP 类型和几何类型等;其次,PostgreSQL 是全功能的自由软件数据库,很长时间以来,PostgreSQL 是唯一支持事务、子查询、多版本并行控制系统(MVCC )、数据完整性检查等特性的唯一的一种自由软件的数据库管理系统。 Inprise 的 InterBase 以及SAP 等厂商将其原先专有软件开放为自由软件之后才打破了这个唯一。最后,PostgreSQL拥有一支非常活跃的开发队伍,而且在许多黑客的努力下,PostgreSQL 的质量日益提高。 从技术角度来讲,PostgreSQL 采用的是比较经典的C/S(client/server)结构,也就是一个客户端对应一个服务器端守护进程 的模式,这个守护进程分析客户端来的查询请求,生成规划树,进行数据检索并最终把结果格式化输出后返回给客户端。为了便于客户端的程序的编写,由数据库服务器 提供了统一的客户端 C 接口。而不同的客户端接口都是源自这个 C 接口,比如ODBC,JDBC,Python,Perl,Tcl,C/C++,ESQL等, 同时也要指出的是,PostgreSQL 对接口的支持也是非常丰富的,几乎支持所有类型的数据库客户端接口。这一点也可以说是 PostgreSQL 一大优点。   本课程作为PostgreSQL数据库管理二,主要讲解以下内容: 1.     PostgreSQL中的子查询 2.     PostgreSQL公共表表达式 3.     PostgreSQL数据的修改 4.     PostgreSQL中的事务 5.     PostgreSQL数据导入和导出 6.      PostgreSQL数据库的管理 7.     PostgreSQL表的管理

    203 人正在学习 去看看 臧雪园

初学篇–数据导入

1.国内股票的数据;
2.国际股票的数据;
3.网页的数据;
4.本地的数据传入python分析;

(一)数据导入

1.国内股票的数据–tushare包(安装pip install tushare)

import tushare as ts

(1)如果是获取股票短期数据,目前是可以通过tushare的原始代码
参考链接

ts.get_hist_data('600848')

(2)获取全部的历史数据,需要新的代码
参考链接
这个页面需要先注册,一般情况下正常的股票历史数据都是可以免费获取到的,部分数据需要积分要求,可以按照需求看看获取积分的方法;
上证指数全部数据获取方式:

pro = ts.pro_api("xxxxxxx")
df = ts.pro_bar(ts_code='000001.SH', asset='I',start_date='20150101', end_date='20200318')  #需要tushare的一定权限

单只股票全部数据获取方式:

tjg=pro.daily(ts_code='600717.SH',start_date='20150101', end_date='20200318')

2.国际股票的数据
参考链接

安装数据包:

pip install pandas_datareader

在jupyter上进行导入数据:
(具体的代码可以参考链接,不同端口获取数据方式不同,且都有案例,十分清楚)

import pandas_datareader as pdr
from datetime import datetime

选择雅虎财经官网端口获取数据:
(阿里巴巴/亚马逊/京东的数据)

start=datetime(2015,9,20)
alibaba=pdr.get_data_yahoo("BABA",start =start)
amazon=pdr.get_data_yahoo("AMZN",start=start)
jd = pdr.get_data_yahoo("JD")

获取数据效果:
在这里插入图片描述
学习方法:其实基本的语法很简单,多练习练习。然后多参考数据包的源代码;

3.网页的数据
对象:三五网站,但是数据需要获取,可以把数据导入Excel然后再传入到python里面进行分析,这样相对比较麻烦,可以直接选择网页数据进行分析(局限性比较大)

import webbrowser 
import pandas as pd
link='https://tiobe.com/tiobe-index/'
webbrowser.open(link)

运行连接之后去页面复制需要的数据,然后再运行

df = pd.read_clipboard()
df

4.本地的数据上传到python

import pandas as pd
df1 = pd.read_csv('C:\\Users\\xxxxx\\movie_metadata.csv')

注释1:\反斜杠有时候也无法成功运行,会报错,有转义字符;
在字符前面添加r

注释2:如果文件和python的jupyter在一个文件路径下,就不需要再多写路径,直接

df=pd.read_excel(r'movie_metadata.csv')

☆☆☆有时候经常以上方法还是不可以,推荐一个麻烦但是不会报错的方法:
先随便自己在jupyter数据一个数据,然后选择把这个数据导出定义为“df”,然后再在电脑里面找到(df1)这个文件然后把需要的数据添加进去,然后在python里面打开就可以了;

df.to_excel('d://df1.xlsx')

会显示文件在哪里的,就去那个盘里面搜索即可:在这里插入图片描述

python之数据分析

阅读数 140

没有更多推荐了,返回首页