精华内容
下载资源
问答
  • 一般来说网站就是要和数据库进行交互,否则什么都不用了。今天我们就来分析一个叫MySQLdb的库,使用这个用来和MySQL数据库进行交互. 大家可以从这里获得这个库: http://sourceforge.net/projects/mysql-python 如果...
  • python 用pymssql 连接MS SQL Server数据库或用MySQLdb连接mysql数据库时,经常会遇到中文乱码问题。 为了提高解决问题效率,分析取到的数据的编码格式很重要。...推荐使用 chardet 编码分析:CMD 下安装

    python 用pymssql连接MS SQL Server数据库或用MySQLdb连接mysql数据库时,经常会遇到中文乱码问题。

    为了提高解决问题效率,分析取到的数据的编码格式很重要。

    推荐使用 chardet 做编码分析。

    CMD 下用pip安装:pip install chardet;

    一个小栗子:
    >>>import chardet
    >>>a = '\xc4\xcf\xbc\xab\xb5\xe7\xc9\xcc'
    >>>chardet.detect(a)

    结果:

    {'confidence': 0.99, 'encoding': 'GB2312'}



    另一个栗子:

    >>>a = u'\xc4\xcf\xbc\xab\xb5\xe7\xc9\xcc'
    >>>print a
    Äϼ«µçÉÌ
    >>>b = a.encode('latin1').decode('GB2312')
    >>>b
    u'\u5357\u6781\u7535\u5546'
    >>>chardet.detect('\u5357\u6781\u7535\u5546')
    {'confidence': 1.0, 'encoding': 'ascii'}
    >>> print b
    南极电商

    用python从SQL Server中取到数据为unicode,但是直接print是乱码。数据库的存放是Latin1 所以先encode,经用chardet分析里面的实际编码是GB2312,所以再decode。保存的就不是乱码了。



    补充:2016/11/14

    上面的转换有点多余,而且有的时候会报异常,可以直接这样:

    >>> b= a.encode('raw_unicode_escape') #直接搞定
    >>>b
    '\xc4\xcf\xbc\xab\xb5\xe7\xc9\xcc'
    >>>print b
    南极电商
    >>> import chardet
    >>> chardet.detect(b)
    {'confidence': 0.99, 'encoding': 'GB2312'}



    参考:

    [1] pymssql中文显示乱码






    展开全文
  • 现在已有建好的数据库,需要基于原有数据数据分析的web应用,我选择python+Tornado,由于不想写SQL语句,就想偷个懒 1、安装工具 1 ningjian@freegodly:~/code/py/django/logcloud$ sudo pip install ...

    python 从数据库表生成model

     

    找了很久才找到这个,我是新手...

    现在已有建好的数据库,需要基于原有数据做数据分析的web应用,我选择python+Tornado ,由于不想写SQL语句,就想偷个懒

     

    1、安装工具

    1 ningjian@freegodly:~/code/py/django/logcloud$ sudo pip install sqlacodegen
    2 Downloading/unpacking sqlacodegen
    3   Downloading sqlacodegen-1.1.6-py2.py3-none-any.whl
    4 Downloading/unpacking inflect>=0.2.0 (from sqlacodegen)
    5   Downloading inflect-0.2.5-py2.py3-none-any.whl (58kB): 58kB downloaded
    6 Requirement already satisfied (use --upgrade to upgrade): SQLAlchemy>=0.6.0 in /usr/local/lib/python2.7/dist-packages (from sqlacodegen)
    7 Installing collected packages: sqlacodegen, inflect
    8 Successfully installed sqlacodegen inflect
    9 Cleaning up...

     

    2、转换

    ningjian@freegodly:~/code/py/django/logcloud$ sqlacodegen mssql+pymssql://name:password@ip/LogColudDB --outfile logcloude_model.py
    ningjian@freegodly:~/code/py/django/logcloud$

     

    3、查看,哈哈

    ningjian@freegodly:~/code/py/django/logcloud$ cat logcloude_model.py
    # coding: utf-8
    from sqlalchemy import BigInteger, Column, DateTime, Float, ForeignKey, Integer, LargeBinary, T                   able, Unicode, text
    from sqlalchemy.dialects.mssql.base import BIT
    from sqlalchemy.orm import relationship
    from sqlalchemy.ext.declarative import declarative_base
    
    
    Base = declarative_base()
    metadata = Base.metadata
    
    
    class AuthorityInfo(Base):
        __tablename__ = 'AuthorityInfo'
    
        ID = Column(BigInteger, primary_key=True)
        Description = Column(Unicode('max'), nullable=False)
        IsDelete = Column(BIT, nullable=False)
        AuthorityIndex = Column(Integer, nullable=False)
        AuthorityName = Column(Unicode('max'), nullable=False)
    
    
    class CPKInfoHistory(Base):
        __tablename__ = 'CPKInfoHistory'
    
        PO = Column(Unicode(10), primary_key=True)
        ProcessName = Column(Unicode(50), nullable=False)
        Result = Column(Unicode('max'), nullable=False)
        LastLogID = Column(BigInteger, nullable=False)
    
    
    class ComputerState(Base):
        __tablename__ = 'ComputerState'
    
        Name = Column(Unicode(50), primary_key=True)
        Ip = Column(Unicode(50), nullable=False)
        IsDelete = Column(BIT, nullable=False)
        LastDate = Column(DateTime, nullable=False)
        IsProceted = Column(BIT, nullable=False)
    
    
    class DeviceInfo(Base):
        __tablename__ = 'DeviceInfo'
    
        ID = Column(BigInteger, primary_key=True)
        ClientName = Column(Unicode(50), nullable=False)
        Description = Column(Unicode(1024))
        IsDelete = Column(BIT, nullable=False)
        LinesInfo_ID = Column(ForeignKey(u'LinesInfo.ID'), nullable=False, index=True)
    
        LinesInfo = relationship(u'LinesInfo')
    
    
    class DisposeErrorCodeInfo(Base):
        __tablename__ = 'DisposeErrorCodeInfo'
    
        ID = Column(BigInteger, primary_key=True)
        NewOperation = Column(Unicode('max'), nullable=False)
        Status = Column(Unicode('max'), nullable=False)
        DisposeInfo_ID = Column(ForeignKey(u'DisposeInfo.ID'), nullable=False, index=True)
        ErrorCode_Info_ID = Column(ForeignKey(u'ErrorCode_Info.ID'), nullable=False, index=True)
        ErrorCode_OperationID = Column(BigInteger, nullable=False)
        WeightValue = Column(Integer, nullable=False)
    
        DisposeInfo = relationship(u'DisposeInfo')
        ErrorCode_Info = relationship(u'ErrorCodeInfo')
    
    
    class DisposeErrorCodeInfoHistory(Base):
        __tablename__ = 'DisposeErrorCodeInfoHistory'
    
        ID = Column(BigInteger, primary_key=True)
        OperateTime = Column(DateTime, nullable=False)
        OldStatus = Column(Unicode('max'), nullable=False)
        NewStatus = Column(Unicode('max'), nullable=False)
        IsDelete = Column(BIT, nullable=False)
        WeightValue = Column(Integer, nullable=False)
        UserInfo_ID = Column(ForeignKey(u'UserInfo.ID'), nullable=False, index=True)
        DisposeErrorCodeInfo_ID = Column(ForeignKey(u'DisposeErrorCodeInfo.ID'), nullable=False, in                   dex=True)
    
        DisposeErrorCodeInfo = relationship(u'DisposeErrorCodeInfo')
        UserInfo = relationship(u'UserInfo')
    
    
    class DisposeInfo(Base):
        __tablename__ = 'DisposeInfo'
    
        ID = Column(BigInteger, primary_key=True)
        Operation = Column(Unicode('max'), nullable=False)
        IsOK = Column(BIT, nullable=False)
        Description = Column(Unicode(1024))
        TouchTime = Column(DateTime, nullable=False)
        NoticeInfo_ID = Column(ForeignKey(u'NoticeInfo.ID'), nullable=False, index=True)
        UserTask_ID = Column(ForeignKey(u'UserTask.ID'), nullable=False, index=True)
    
        NoticeInfo = relationship(u'NoticeInfo')
        UserTask = relationship(u'UserTask')
    
    
    class ErrorCodeInfo(Base):
        __tablename__ = 'ErrorCode_Info'
    
        ID = Column(BigInteger, primary_key=True)
        ErrorCode = Column(Unicode(10), nullable=False)
        Description = Column(Unicode(1024))
        IsDelete = Column(BIT, nullable=False)
    
    
    class ErrorCodeOperation(Base):
        __tablename__ = 'ErrorCode_Operation'
    
        ID = Column(BigInteger, primary_key=True)
        Operation = Column(Unicode('max'), nullable=False)
        WeightValue = Column(Integer, nullable=False)
        IsEnable = Column(BIT, nullable=False)
        ErrorCode_Info_ID = Column(ForeignKey(u'ErrorCode_Info.ID'), nullable=False, index=True)
    
        ErrorCode_Info = relationship(u'ErrorCodeInfo')
    
    
    class FilesManage(Base):
        __tablename__ = 'FilesManage'
    
        ID = Column(BigInteger, primary_key=True)
        ClassName = Column(Unicode(50), nullable=False, index=True)
        Md5 = Column(Unicode(32), nullable=False)
        Data = Column(LargeBinary, nullable=False)
        Ver = Column(Integer, nullable=False)
        DateCreated = Column(Unicode(50), nullable=False)
        UpLoadUserName = Column(Unicode(50), nullable=False)
        Remarks = Column(Unicode('max'))
        Catagory = Column(Unicode(50), nullable=False)
        LocalFileName = Column(Unicode(50))
    
    
    class LOGInfo(Base):
        __tablename__ = 'LOG_Info'
    
        ID = Column(BigInteger, primary_key=True)
        Po = Column(Unicode(10), nullable=False, index=True)
        ProcessName = Column(Unicode(10), nullable=False, index=True)
        User = Column(Unicode(10), nullable=False)
        ErrorCode = Column(Unicode(10))
        Log = Column(Unicode('max'), nullable=False)
        Barcode = Column(Unicode(50))
        Isn = Column(Unicode(50))
        Shift = Column(Unicode(10), nullable=False)
        TestResult = Column(Unicode(10), nullable=False, index=True)
        LastDate = Column(DateTime, nullable=False)
        ClientName = Column(Unicode(50), nullable=False, index=True)
    
    
    class LinesInfo(Base):
        __tablename__ = 'LinesInfo'
    
        ID = Column(BigInteger, primary_key=True)
        Name = Column(Unicode(50), nullable=False)
        Description = Column(Unicode(1024))
        IsDelete = Column(BIT, nullable=False)
    
    
    class NoticeInfo(Base):
        __tablename__ = 'NoticeInfo'
    
        ID = Column(BigInteger, primary_key=True)
        Top1_ErrorCodeID = Column(BigInteger, nullable=False)
        Top2_ErrorCodeID = Column(BigInteger)
        Top3_ErrorCodeID = Column(BigInteger)
        TouchTime = Column(DateTime, nullable=False)
        IsDispose = Column(BIT, nullable=False)
        TaskLavel = Column(Integer, nullable=False)
        Responsibility_ID = Column(ForeignKey(u'Responsibility.ID'), nullable=False, index=True)
        UserTask_ID = Column(ForeignKey(u'UserTask.ID'), nullable=False, index=True)
        DeviceInfo_ID = Column(ForeignKey(u'DeviceInfo.ID'), nullable=False, index=True)
        StatisticsInfo_ID = Column(BigInteger, nullable=False)
    
        DeviceInfo = relationship(u'DeviceInfo')
        Responsibility = relationship(u'Responsibility')
        UserTask = relationship(u'UserTask')
    
    
    class POInfo(Base):
        __tablename__ = 'POInfo'
    
        ID = Column(BigInteger, primary_key=True)
        Po = Column(Unicode(10), nullable=False)
        Plm = Column(Unicode(20))
        ProductName = Column(Unicode(50))
        Description = Column(Unicode(1024))
        IsDelete = Column(BIT, nullable=False)
        Customer = Column(Unicode(50))
    
    
    class Responsibility(Base):
        __tablename__ = 'Responsibility'
    
        ID = Column(BigInteger, primary_key=True)
        ProcessName = Column(Unicode(10), nullable=False)
        BaseNumber = Column(Integer, nullable=False)
        ErrorRate = Column(Float(53), nullable=False)
        Description = Column(Unicode(1024))
        OverTime = Column(Integer, nullable=False)
        POInfo_ID = Column(ForeignKey(u'POInfo.ID'), nullable=False, index=True)
        UserInfo_ID = Column(ForeignKey(u'UserInfo.ID'), nullable=False, index=True)
    
        POInfo = relationship(u'POInfo')
        UserInfo = relationship(u'UserInfo')
    
    
    class RoleAuthority(Base):
        __tablename__ = 'RoleAuthority'
    
        ID = Column(BigInteger, primary_key=True)
        IsDelete = Column(BIT, nullable=False)
        RoleInfo_ID = Column(ForeignKey(u'RoleInfo.ID'), nullable=False, index=True)
        AuthorityInfo_ID = Column(ForeignKey(u'AuthorityInfo.ID'), nullable=False, index=True)
    
        AuthorityInfo = relationship(u'AuthorityInfo')
        RoleInfo = relationship(u'RoleInfo')
    
    
    class RoleInfo(Base):
        __tablename__ = 'RoleInfo'
    
        ID = Column(BigInteger, primary_key=True)
        RoleName = Column(Unicode(256), nullable=False)
        Description = Column(Unicode(1024))
        IsDelete = Column(BIT, nullable=False)
        RoleLevel = Column(Integer, nullable=False)
    
    
    class SettingInfo(Base):
        __tablename__ = 'SettingInfo'
    
        ID = Column(BigInteger, primary_key=True, nullable=False)
        Key = Column(Unicode(50), primary_key=True, nullable=False)
        Value = Column(Unicode('max'), nullable=False)
        Description = Column(Unicode(1024))
    
    
    class StatisticsInfo(Base):
        __tablename__ = 'StatisticsInfo'
    
        ID = Column(BigInteger, primary_key=True)
        ProcessName = Column(Unicode(10), nullable=False)
        BeginTime = Column(DateTime, nullable=False)
        NowErrorRate = Column(Float(53), nullable=False)
        Times = Column(Integer, nullable=False)
        IsOutmoded = Column(BIT, nullable=False)
        POInfo_ID = Column(ForeignKey(u'POInfo.ID'), nullable=False, index=True)
        DeviceInfo_ID = Column(ForeignKey(u'DeviceInfo.ID'), nullable=False, index=True)
    
        DeviceInfo = relationship(u'DeviceInfo')
        POInfo = relationship(u'POInfo')
    
    
    class UserInfo(Base):
        __tablename__ = 'UserInfo'
    
        ID = Column(BigInteger, primary_key=True)
        Name = Column(Unicode(10), nullable=False)
        JobNumber = Column(Unicode(10), nullable=False)
        Phone = Column(Unicode(20))
        Emil = Column(Unicode(30), nullable=False)
        Department = Column(Unicode(20))
        Duties = Column(Unicode(20))
        Description = Column(Unicode(1024))
        Group = Column(Unicode(20), nullable=False)
        IsDelete = Column(BIT, nullable=False)
        Password = Column(Unicode(32))
        CreateDateTime = Column(DateTime, nullable=False)
    
    
    class UserProfile(Base):
        __tablename__ = 'UserProfile'
    
        UserId = Column(Integer, primary_key=True)
        UserName = Column(Unicode(56), nullable=False, unique=True)
    
    
    class UserRoleInfo(Base):
        __tablename__ = 'UserRoleInfo'
    
        ID = Column(BigInteger, primary_key=True)
        IsDelete = Column(BIT, nullable=False)
        UserInfo_ID = Column(ForeignKey(u'UserInfo.ID'), nullable=False, index=True)
        RoleInfo_ID = Column(ForeignKey(u'RoleInfo.ID'), nullable=False, index=True)
    
        RoleInfo = relationship(u'RoleInfo')
        UserInfo = relationship(u'UserInfo')
    
    
    class UserTask(Base):
        __tablename__ = 'UserTask'
    
        ID = Column(BigInteger, primary_key=True)
        TaskLavel = Column(Integer, nullable=False)
        Shift = Column(Unicode(10), nullable=False)
        Description = Column(Unicode(1024))
        IsDelete = Column(BIT, nullable=False)
        UserInfo_ID = Column(ForeignKey(u'UserInfo.ID'), nullable=False, index=True)
        LinesInfo_ID = Column(ForeignKey(u'LinesInfo.ID'), nullable=False, index=True)
    
        LinesInfo = relationship(u'LinesInfo')
        UserInfo = relationship(u'UserInfo')
    
    
    t_view_LinesState = Table(
        'view_LinesState', metadata,
        Column('ID', BigInteger, nullable=False),
        Column('ClientName', Unicode(50), nullable=False),
        Column('LinesInfo_ID', BigInteger, nullable=False),
        Column('count', Integer)
    )
    
    
    t_view_LogState = Table(
        'view_LogState', metadata,
        Column('Po', Unicode(10), nullable=False),
        Column('ProcessName', Unicode(10), nullable=False),
        Column('ErrorCode', Unicode(10)),
        Column('ClientName', Unicode(50), nullable=False),
        Column('ID', BigInteger),
        Column('count', Integer)
    )
    
    
    t_view_NoticeInfo = Table(
        'view_NoticeInfo', metadata,
        Column('ID', BigInteger, nullable=False),
        Column('TouchTime', DateTime, nullable=False),
        Column('Top1_ErrorCodeID', BigInteger, nullable=False),
        Column('Top2_ErrorCodeID', BigInteger),
        Column('Top3_ErrorCodeID', BigInteger),
        Column('IsDispose', BIT, nullable=False),
        Column('TaskLavel', Integer, nullable=False),
        Column('ClientName', Unicode(50)),
        Column('ProcessName', Unicode(10)),
        Column('BeginTime', DateTime),
        Column('NowErrorRate', Float(53)),
        Column('Times', Integer),
        Column('IsOutmoded', BIT),
        Column('Po', Unicode(10))
    )
    
    
    t_view_Top1_error = Table(
        'view_Top1_error', metadata,
        Column('Top1_ErrorCodeID', BigInteger, nullable=False),
        Column('count', Integer),
        Column('ID', BigInteger, nullable=False),
        Column('ErrorCode', Unicode(10), nullable=False),
        Column('Description', Unicode(1024))
    )
    
    
    class WebpagesMembership(Base):
        __tablename__ = 'webpages_Membership'
    
        UserId = Column(Integer, primary_key=True)
        CreateDate = Column(DateTime)
        ConfirmationToken = Column(Unicode(128))
        IsConfirmed = Column(BIT, server_default=text("((0))"))
        LastPasswordFailureDate = Column(DateTime)
        PasswordFailuresSinceLastSuccess = Column(Integer, nullable=False, server_default=text("((0                   ))"))
        Password = Column(Unicode(128), nullable=False)
        PasswordChangedDate = Column(DateTime)
        PasswordSalt = Column(Unicode(128), nullable=False)
        PasswordVerificationToken = Column(Unicode(128))
        PasswordVerificationTokenExpirationDate = Column(DateTime)
    
    
    class WebpagesOAuthMembership(Base):
        __tablename__ = 'webpages_OAuthMembership'
    
        Provider = Column(Unicode(30), primary_key=True, nullable=False)
        ProviderUserId = Column(Unicode(100), primary_key=True, nullable=False)
        UserId = Column(Integer, nullable=False)
    
    
    class WebpagesRole(Base):
        __tablename__ = 'webpages_Roles'
    
        RoleId = Column(Integer, primary_key=True)
        RoleName = Column(Unicode(256), nullable=False, unique=True)
    
        UserProfile = relationship(u'UserProfile', secondary='webpages_UsersInRoles')
    
    
    t_webpages_UsersInRoles = Table(
        'webpages_UsersInRoles', metadata,
        Column('UserId', ForeignKey(u'UserProfile.UserId'), primary_key=True, nullable=False),
        Column('RoleId', ForeignKey(u'webpages_Roles.RoleId'), primary_key=True, nullable=False)
    )
    ningjian@freegodly:~/code/py/django/logcloud$

     

    转载于:https://www.cnblogs.com/freegodly/p/5132243.html

    展开全文
  • 基于Python数据库实现

    千次阅读 2019-07-23 22:19:06
    1.需求分析 1.1 概述 从底层起,实现数据库的组织、存储、检索、更新和索引等功能。 点击此处下载文档和源码

    1.需求分析

    1.1 概述

    从底层做起,实现数据库的组织、存储、检索、更新和索引等功能。

    点击此处下载文档和源码

     

    展开全文
  • 利用Python做数据分析

    2018-06-13 20:05:37
    数据库编程:程序员可通过遵循Python DB-API(数据库应用程序编程接口)规范的模块与Microsoft SQL Server,Oracle,Sybase,DB2,MySQL、SQLite等数据库通信。python自带有一个Gadfly模块,提供了一个完整的SQL环境...
  • 利用python做数据分析

    2019-06-27 15:54:55
    3.1、为什么要用python做数据分析 很多人都有兴趣选择python作为数据分析语言,为什么呢?原因有四个: 1、开源——免费安装; 2、极好的在线社区; 3、很容易进行学习; 4、可以成为一种通用的语言,用于基于Web的....

    数据分析是指对数据进行控制、处理、整理、分析的过程。在这里,“数据”是指结构化的数据,例如:记录、多维数组、Excel 里的数据、关系型数据库中的数据、数据表等。
    3.1、为什么要用python做数据分析
    很多人都有兴趣选择python作为数据分析语言,为什么呢?原因有四个:
    1、开源——免费安装;
    2、极好的在线社区;
    3、很容易进行学习;
    4、可以成为一种通用的语言,用于基于Web的分析产品数据科学和生产中;

    3.2、数据分析的目的
    主要就是为了在复杂、庞大的数据库中提取对我们有用的信息。让这些数据产生一定的价值,帮助人们在日常生活中做一些决策时做一些参考。比如,在淘宝中买东西,我们会首先看到物品的销量、排行、以及顾客对物品的评价。这些都是经过数据分析得出来的。可见,数据分析在其中扮演着多么重要的角色。

    3.3、数据的获取
    1.公开数据集的渠道
    2.用爬虫爬取网站数据

    3.4、数据存储(SQL)
    1.提取特定情况下的数据;
    2.数据库的删、增、查、改;
    3.数据的分组聚合、如何建立多个表之间的联系;

    3.5、数据预处理python(pandas)
    1.选择:数据访问(标签、特定值、布尔索引等)
    2.缺失值处理:对缺失数据行进行删除或填充
    3.重复值处理:重复值的判断与删除
    4.异常值处理:消除不必要的空格和极端、异常数据
    5.相关操作:描述性统计、Apply、直方图等
    6.合并:符合各种逻辑关系的合并操作
    7.分组:数据划分、分别执行函数、数据重组
    8.Reshaping:快速生成数据透视表

    3.6、利用概率论及统计学
    1.基本统计量:均值、中位数、众数、百分位数、极值等;
    2.其他描述性统计:偏度、方差、标准差、显著性等;
    3.其他统计知识:总体和样本、参数和统计量、ErrarBar;
    4.概率分布与假设检验:各种分布、假设检验流程;
    5.其他概率论知识:条件概率、贝叶斯等

    3.7、python数据分析
    1.回归分析:线性回归、逻辑回归;
    2.基本的分类算法:决策树、随机森林;
    3.基本的聚类算法:k-means;
    4.特征工程基础:如何用特征选择优化模型;
    5.调参方法:如何调节参数优化模型;
    6.python数据分析包:scipy、numpy、sctiti-learn等;

    3.8、系统实战与数据思维

    展开全文
  • 尽管很多 NoSQL 数据库近几年大放异彩,但是像 MySQL 这样的关系型数据库依然是互联网的主流数据库之一,每个学 Python 的都有必要学好一门数据库,不管你是数据分析,还是网络爬虫,Web 开发、...
  • Python操作数据库----模拟银行转账事务分析、简介事务开发中怎么使用事务?操作图示代码开放 分析、简介 本代码模拟银行转账操作事务;首先要了解数据库事务;然后还要知道怎么样使用事务; 事务 访问和更新数据库...
  • Python连接DB2数据库

    2020-12-25 08:27:13
    在工作中遇到了这样的情况,项目中需要连接IBM的关系型数据库(DB2),关于这方面的库比较稀少,其中 ibm_db 是比较好用的一个库,网上也有教程,但是好像不准确,也不太详细,错误百出,没办法只能拿到后自己分析源码...
  • 以前数据分析,很多是用Oracle或者MySQL,通过SQL来完成查询和统计数据分析,但是随着数据量的增大,数据库也跟随着发展为NoSQL数据库,由于数据库及其底层技术架构的变化,数据分析算法也随着变得复杂,而Python...
  • 1.需求分析 1.1 概述 从底层起,实现数据库的组织、存储、检索、更新和索引等功能。 ​ 参考文档和完整的文档和源码下载地址: https://www.write-bug.com/article/2175.h...
  • Python 连接数据库是我们公司级数据分析的基础 1.SQLAlchemy SQLAlchemy是一个“pythonSQL工具包和对象关系映射器”(ORM),目的是当使用SQL数据库工作时会使事情变得简单起来。 #step1:加载模块 import ...
  • 【Python量化】手把手教你用python做股票分析入门

    万次阅读 多人点赞 2018-11-30 09:47:37
    Python也有不少免费的开源api可以获取交易行情数据,如pandas自带的库,tushare和baostock等。由于pandas库不再支持yahoo数据库后变得很不好用,而baostock最早记录的数据是2006年,因此本文主要讲讲如何使用tushare...
  • 这两天探索了一下,发现如果是用pandas数据分析 简单的几行代码即可将mysql的数据导入pandas进行分析环境 Python 3.X IDE : juyter notebook 使用Python连接数据库 导入表中所有数据并查看前五行 ...
  • Python连接MySQL数据库

    2019-04-11 20:47:46
    尽管很多 NoSQL 数据库近几年大放异彩,但是像 MySQL 这样的关系型数据库依然是互联网的主流数据库之一,每个学 Python 的都有必要学好一门数据库,不管你是数据分析,还是网络爬虫,Web 开发、亦或是机器学习,你...
  • 我希望一些研究测试,搞清楚索引对于我们使用数据库有什么影响,以及如何控制这个影响。 先简单介绍两个相对立的概念:聚集索引和非聚集索引。 聚集索引根据数据行的键值在表或视图中排序和存储这些数据行。索引...
  • 在使用 Python 之前,数据分析工作的流程,一般是先打开数据库客户端,然后运行一段写好的 SQL 语句,把数据查询出来,然后再把数据复制到 Excel 中并制作报表。 在使用...
  • 索引在数据库中是一个很特殊的存在,它的目的就是为了提高数据查询得效率。同样,它也有弊端,更新一个带索引的表的时间比更新一个没有带索引的时间更长。有得有失。我希望一些研究测试,搞清楚索...
  • 基于前几篇文章对网页、源码、请求的分析,我就可以开始构建数据库了,本篇主要介绍数据库表结构。
  • 尽管很多 NoSQL 数据库近几年大放异彩,但是像 MySQL 这样的关系型数据库依然是互联网的主流数据库之一,每个学 Python 的都有必要学好一门数据库,不管你是数据分析,还是网络爬虫,Web 开发、亦或是机器学习,你...
  • 大数据分析及应用过程中,时常需要面对海量的数据存储及计算,传统的服务器已经很难再满足一些运算需求,基于hadoop/spark的大数据处理平台得到广泛的应用。本文介绍用python读取hive数据库的方式,其中还是存在...
  • 我连接到sql数据库并用sqlite索取里面的信息来建成我自己的数据分析表格。我用colab写的该项目,我先把sql文件传到了 google drive上面。 import pandas import numpy as np import sqlite3 from google.colab ...
  • 这儿是我觉得最有意思的地方,python是数据分析利器,而数据库是数据存储利器,加上数据库能够进行快速查找,配合起python真的是太爽了,自己的项目里有个全国的气象站日值数据需要进行处理,用上了这两者,速度真...
  • 公众号后台回复“图书“,了解更多号主新书内容作者:林骥来源:林骥我在使用 Python 之前,数据分析工作的流程,一般是先打开数据库客户端,然后运行一段写好的 SQL 语句,把数据...
  • 日常,经常需要用python来连接数据库,来获取我们想要分析的一些数据,那对于数据库postgresql数据库,该怎么连接呢? 二、解决办法 这个连接的方式,python提供了好几个库,下面就对我自己常用的两种方式,一总结...
  • Python边学 1 需求分析

    千次阅读 2017-05-19 19:49:34
    python版本:python3 数据库:MySQL IDE:PyCharm http代理服务器:阿里云服务器自建代理
  • 网络爬虫-Python和数据分析,通过对python爬虫代码的分析,学习python爬虫技术,并讲解存入数据库方法,最后对python数据分析方法讲解
  • 平时学的都是Python,所以如果要用pandas数据分析,数据除了导入excel和csv文件, 应该还要会从数据库中导入数据到Python中,于是我进行了以下的学习和探索。 环境 Python 3.X IDE : juyter notebook mysql ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 711
精华内容 284
关键字:

python做数据库分析

python 订阅