欢迎点击右上角关注小编，除了分享技术文章之外还有很多福利，私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。

image.png

前言

数据时代，数据的多源集成和快速检索查询是第一步，配上数据分析及可视化才能算窥得大数据一角。

创建这个项目的主要目的一是对前期工作的一些总结，二是提升自己。

这里简单介绍一下sqlpro这个项目的核心功能。

本项目基于python的flask web框架。提供简单的页面(起初准备用vue写前端，奈何自身能力所限，遂放弃。依然基于flask+jinja2的mvt模式)。

对于数据查询引擎部分，因为需要支持多数据源，所以选用了presto。presto是一个优秀的支持多种数据源联合查询的数据查询引擎。

可视化部分选用了pyecharts进行集成。方便完成多种数据图表的展示，由于前端能力薄弱，只开放了一些通用设置，还需继续完善。

Python实现功能简单的数据查询及可视化系统

功能特性

动态添加数据源，支持多数据源联合查询

数据处理统一使用pandas库，方便二次开发

基于pyecharts的可视化模块，图表类型齐全

dashboard构建及链接分享

data wrangling功能(后续支持)

在线数据录入及数据下载(后续支持)

当前版本主要实现了基本的数据源管理，数据查询，数据可视化及数据仪表板等功能。在后面的迭代过程中会以data wrangling作为主要功能，方便数据的清洗和预处理。

项目展示

Python实现功能简单的数据查询及可视化系统

Python实现功能简单的数据查询及可视化系统

Python实现功能简单的数据查询及可视化系统

Python实现功能简单的数据查询及可视化系统

总结

本文没有过多的讨论该项目的实现原理，感兴趣的可以看看源码，比较简单。有兴趣的话可以参与进来一起哦。

同时，该项目也会持续更新，希望未来可以加入更多实用的功能。

如果你依然在编程的世界里迷茫，不知道自己的未来规划，对python感兴趣，这里推荐一下我的学习交流圈：424115737，里面都是学习python的，从最基础的python【python，游戏，黑客技术，网络安全、爬虫】到网络安全的项目实战的学习资料都有整理，送给每一位python小伙伴，希望能帮助你更了解python，学习python人工智能、爬虫

点击：加入

#Python版本2.7，使用Notepad++ 6.1.5编写.

#此代码参考自《Python基础教程第2版》

1.[代码]Python shelve

#Python版本2.7，使用Notepad++ 6.1.5编写。

#此代码参考自《Python基础教程第2版》。

#database = shelve.open('D:\\python-test\\test.dat')此路径请自行修改。

#运行后请输入？号查看帮助，谢谢。

import sys, shelve

def store_person(db):

'''

Store your info.

'''

pid = raw_input('Enter your ID: ')

person = {}

person['name'] = raw_input('Enter your name: ')

person['age'] = raw_input('Enter your age: ')

person['phone'] = raw_input('Enter your phone number: ')

db[pid] = person

#

def lookup_person(db):

'''

Lookup your info.

'''

pid = raw_input('Enter the ID: ')

if pid in db.keys(): #检查输入的ID是否存在

field = raw_input('What do you want to lookup?(Name, Age, Phone)')

field = field.strip() #删除field中可能有的空格和换行符

if field in ('Name', 'Age', 'Phone'): #检查用户的输入

field = field.strip().lower()

print field.capitalize() + ':', db[pid][field]

else:

print 'The input is error!Please enter: Name, Age or Phone'

else:

print "The ID is not exist!"

#lookup_person(db)

#

def print_help():

print '''

The available commands are:

store, lookup,quit,?

'''

#

def enter_command():

cmd = raw_input('Enter your command("?" for help): ')

cmd = cmd.strip().lower()

return cmd

#

def main():

database = shelve.open('D:\\python-test\\test.dat')

try:

while True:

cmd = enter_command()

if cmd == 'store':

store_person(database)

elif cmd == 'lookup':

lookup_person(database)

elif cmd == '?':

print_help()

elif cmd == 'quit':

return

finally:

database.close()

if __name__ == '__main__': main()