精华内容
下载资源
问答
  • 最近在自学python ,以前...在这里我就想到其实100是存储数据段,当做个变量 。好比在c中的一些字符串,虽然有多个引用,但是在内存中的地址还是一致的。这是编译器为了节省空间所做的,感觉这里也是同样的原理吧。

    最近在自学python ,以前为了写一个爬虫也自学过,但是因为许久没有用到,所以重新学习一下,记录自己的菜鸟之行。

    当我设置a=100 b=100,然后id(a) ,id(b)的时候,发现两者的数值是一致的。在这里我就想到其实100是存储在数据段,当做一个变量 。好比在c中的一些字符串,虽然有多个引用,但是在内存中的地址还是一致的。这是编译器为了节省空间所做的,感觉这里也是同样的原理吧。

    展开全文
  • 一、python语言 1、关于python语言 ...解释型:程序运行到哪里就执行到哪里,每次执行一条指令,由于程序是以源代码的形式呈现,因此只需要相应的解释器就可以,便于移植 2、关于python的版本 之前p...

    一、python语言
    1、关于python语言
    python是一种强类型的解释型的脚本语言,区别于编译型的语言
    编译型:一次将所有的代码转为机器语言,然后执行。编译型程序虽然源代码可以移植,但是前提是必须针对不同的系统进行编译。
    解释型:程序运行到哪里就执行到哪里,每次执行一条指令,由于程序是以源代码的形式呈现,因此只需要相应的解释器就可以,便于移植
    2、关于python的版本
    之前python2.4是最流行的版本,豆瓣采用的是2.4版本的,后来更新到python3.x,它是完全不兼容2.x版本的,但是未来的发展方向还是python3,所以这里选择python3
    3、关于变量
    变量的命名:和普通语言的定义类似,在定义变量的时候,与其他语言的区别在于不需要声明数据类型

    name = "Alex Li"
    name2 = name

    4、关于打印语句
    这里python2与python3的区别在于:python2不需要加括号,python3需要加括号

    print("你好,再见")

    5、关于注释

    使用#单行注释
    多行注释:使用三个单引号或者三个双引号

    '''
    print("多行注释")
    '''
    """
    print("多行注释")
    """

    6、关于输入语句

    name = input("name:")

    input的括号中的是提示输入的语句,输入的内容在左边的变量中
    需要注意一点的是,输入内容一律都是字符串格式,例如

    age = int(input("age:"))

    这里age如果不使用强制类型转换,就属于str类型

    展开全文
  • 要求: 1、成功读取“商铺数据....第二和3.2(清除字段缺失的数据)的完成建立在3.1和3.3的基础之上,故此,先做3.1和3.2 数据清洗 import csv # 读取csv文件 import pickle # 写入.pkl # 3.1清洗评论数据 def clea
  • Python里和其他高级语言一样可以通过文件读写将一些记录集写入文件或者通过文件读操作从文件里读取一条或多条和数据记录集,我们知道记录集recordset是由一个个的数据字段组成的。 上图,Record里由三个字段...

         本节主要讨论Python下如何通过文件操作实现对数据记录集的存储与处理的操作方法。

         在Python里和其他高级语言一样可以通过文件读写将一些记录集写入文件或者通过文件读操作从文件里读取一条或多条和数据记录集,我们知道记录集recordset是由一个个的数据字段组成的。


         上图,Record里由三个字段组成name、id、job。文件里可以存储多条记录,如下图所示:


           像这样的数据结构record在Python里该怎样处理呢?很简单,记录有几个字段就读或者写几次然后结束一条记录的读写操作,下面我们先看看如何写入一条数据记录呢?之后我们在看看如何读一条记录。

           1. 往文件里写入记录

     

    n = input("How many employees records do you want to create? ")
    wr = open("b.txt", 'w')
    for x in range(1, n + 1):
      id = str(raw_input("Plz input your Id: "))
      wr.write(id+'\n')
      name = raw_input("Plz input your name: ")
      wr.write(name+'\n')
      job = raw_input("Plz input your job: ")
      wr.write(job+'\n')
    wr.close()


           程序运行过程如下


    >>> 
    How many employees records do you want to create? 3
    Plz input your Id: 101
    Plz input your name: jeapedu
    Plz input your job: eng
    Plz input your Id: 102
    Plz input your name: jeapedu
    Plz input your job: tec
    Plz input your Id: 103
    Plz input your name: jeapedu
    Plz input your job: fae
    >>> 

     

           程序运行结果如下:


           2. 从文件里读取记录

           由于数据记录是由三个字段组成,故在while循环体内需要读取三次,可完成每条记录的三个字段的读取操作,程序代码如下所示:

     

    rr = open("b.txt", 'r')
    
    id = rr.readline()
    id = id.rstrip('\n')
    
    while id != "":
      print id,
      name = rr.readline()
      name = name.rstrip('\n')
      print name,
      job = rr.readline()
      job = job.rstrip('\n')
      print job
      id = rr.readline()
      id = id.rstrip('\n')
    print "read finish!"
    rr.close()
    


           运行结果如下所示:

     

     

    >>> 
    101 jeapedu eng
    102 jeapedu tec
    103 jeapedu fae
    read finish!
    >>> 

     



    -->


     

     

    转载于:https://www.cnblogs.com/jiangu66/p/3192149.html

    展开全文
  • 这个导入时间大概在5秒左右,因为是一条一条的导入的(50000条数据) import pymysql conn = connect((host='主机名', port='端口号', user='用户名', password='密码', database='数据库名', charset='utf8') # ...

    这个导入时间大概在5秒左右,因为是一条一条的导入的(50000条数据)

    import pymysql
    
    conn = connect((host='主机名', port='端口号', user='用户名', password='密码', database='数据库名', charset='utf8')
    # 获取游标
    con_cursor = conn.cursor()
    # 假设存入50000条数据
    for num in range(1,50000):
    	try:
    		sql = 'insert into tabel1(col1, col2, col3) values(%s, %s, %s)' %(df.loc[:, "col1"].iloc[num], df.loc[:, "col2"].iloc[num], df.loc[:, "col3"].iloc[num]))
    		con_cursor.execute(sql)
    	except:
    		pass
    conn.commit()
    con_cursor.close()
    conn.close()
    print("ok")
    	
    

    这个导入时间大概在1秒左右,因为是多条记录的导入,一次性写入数据库

    conn = connect((host='主机名', port='端口号', user='用户名', password='密码', database='数据库名', charset='utf8')
    # 获取游标
    con_cursor = conn.cursor()
    # 假设df有col1,col2两列
    usersvalues = []
    for num in range(1, 50000):
    	 # 注意要用两个括号扩起来,必须是元组的形式,放到usersvalues 这个空列表里
         usersvalues.append((df.loc[:, "col1"].iloc[num], df.loc[:, "col2"].iloc[num])) 
    # 结果就是类似与[(1, 'word'), (2, 'wdas'), (3, 'asda')],这里就是相当于把记录放在一个列表里,上一种方法就是一条记录一条记录执行,这里就是一次性全部执行,速度快
    sql = 'insert into table1(col1, col2) values(%s, %s)'
    # table1是表名
    # usersvalues包含所有信息
    con_cursor.execute(sql, usersvalues)
    # 提交到数据库
    conn.commit()
    con_cursor.close()
    conn.close()
    print('OK')
    
    展开全文
  • (Python)批量更新MySQL 42万条数据

    千次阅读 2019-04-01 21:20:56
    今天在编写Python程序进行数据库的Update操作时,发现更新一条数据大概需要0.5秒 粗略计算一下,更新42万条大概需要58个小时,因此在执行大数据量更新的时候一条条进行更新基本行不通,除非你非常有耐心。通过...
  • Python存储csv文件

    千次阅读 2017-12-02 10:23:24
    Python存储csv文件CSV(Comma-Separated Values),逗号分隔值,是存储表格数据的常用文件格式。其文件以纯文本形式存储表格数据(数字和文本)。纯文本意味着该文件是个字符序列,不含必须像二进制数字那样被解读...
  • 1. save函数 功能:存储的是npy文件,注意,不可以追加数据。即只能在创建初期次性输入。 2. savez函数 功能:存储的是npz文件,可以存储条数据,但是也不可以追加数据。
  • 依据冯诺伊曼计算机体系,数据存入内存,cpu按照指令一条条读取并处理数据数据在被存入内存之前,根据用途的不同,可分为永久数据和临时数据,对于永久数据的保存方式,可存放于文件、数据库等 2.使用列表存储...
  • 本形式存储表格数据。该文件是个字符序列,可以由任意数目的记录组成,记录间以某种换行符分 文本是电子表格,它包含了文本、数值、公式和格式等内容,而CSV 中不包含这些内容,就是特定 csv,全称为Comma-...
  • 关系型数据库基于关系模型的数据库,而关系模型是通过二维表来保存的,所以它的存储方式就是行列组成的表,每一列是一个字段,每一行是一条记录。表可以看作是某个实体的集合,而实体之间存在联系,这就需要表与表...
  • python处理数据

    2019-10-02 19:10:26
    逗号分隔符(csv),有时也称为字符分隔值,因为分隔字符也可以不是逗号,其文件以纯文本的形式存储表格数据(数字和文本)。纯文本意味着该文件是个字符序列,不含必须像二进制数字那样被解读的数据。csv文件由...
  • 将卡片管理系统输入的数据存储到指定文件 新建一个名叫storage的python文件 file_name = "data.txt" """ 读取文件的中的数据,返回值List 一行一行读取:一行就是一条记录 读取到的一行有多个信息,他们是用tab...
  • 数据存储 我们在编写代码的时候,经常会涉及到数据存储的情况,如果是爬虫得到的大数据,我们会选择使用数据库,或者excel存储。但如果只是一些小数据,或者说关联性较强且存在存储后复用的数据,我们该如何存储...
  • 如爬虫数据,每个ID对应个URL,按照每条数据中的URL中的数字为文件名进行归类,将具有相同URL的ID存在csv中。 1、第步把这两个文件都放在桌面,桌面新建个文件夹名为,如“洗发水” 2、第二步打开洗发水测试csv...
  • Python数据写入CSV文件

    万次阅读 多人点赞 2019-04-27 14:30:50
    python数据写入csv文件 1 介绍CSV 逗号分隔值(Comma-Separated Values,CSV,也称为字符分隔值,分隔字符也可以不是逗号)。 保存形式 其文件以纯文本形式存储表格数据(数字和文本)。纯文本意味着该...
  • CSV,全称为Comma-Separated Values,中文可以叫作逗号分隔符或字符分隔值,其文件以纯文本形式存储表格数据。该文件时个字符序列,可以由任意数目的记录组成,记录间以某种换行符分隔。每记录由字段组成,字段...
  • 2019独角兽企业重金招聘Python工程师标准>>> ...
  • 几个集合,不足条数据的集合就全部提取,够千条的就用万减去不足千的,再除以大于千的集合个数,得到的值即为所需提取文档的个数。从每个集合中提取的数据存放到新的对应集合中,新集合名称为原先集合加...
  • 每一列是一个字段,每一行是一条记录。表可以看作某个实体的集合,而实体之间存在联系,就需要表与表之间的关联关系来体现。例如 主键和外键的关联关系,多个表组成一个数据库,也就是关系型数据库。 关系型数据库...
  • CSV,全称为Comma-Separated Values,中文可以叫作逗号分隔值或字符分隔值,其文件以纯文本形式存储表格数据。该文件是个字符序列,可以由任意数目的记录组成,记录间以某种换行符分隔。每记录由字段组成,字段...
  • 关系型数据库基于关系模型的数据库,而关系模型是通过二维表来保存的,所以它的存储方式就是行列组成的表,每一列是一个字段,每一行是一条记录。表可以看作是某个实体的集合,而实体之间存在联系,这就需要表与表...
  • 之前我们使用scrapy爬取数据,用的存储方式是直接引入PYMYSQL,或者MYSQLDB,案例中数据量并不大,这种数据存储方式属于同步过程,也就是上一条语句执行完才能执行下一条语句,当数据量变大时,由于SCRAPY解析数据的...
  • #读取多测试用例 #1、导入requests模块 import requests #从 class_12_19.do_excel1导入read_data函数 from do_excel2 import read_data from do_excel2 import write_data from do_excel2 import count_case #...
  • python 数据处理

    2018-06-08 16:04:04
    .csv数据处理Csv文件格式:看下.csv文件的定义: 逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本)。纯文本意味着...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 616
精华内容 246
关键字:

python一条一条数据存储

python 订阅