在Python开发中，数据存储、读取是必不可少的环节，而且可以采用的存储方式也很多，常用的方法有json文件、csv文件、MySQL数据库、Redis数据库以及Mongdb数据库等。
1. json文件存储数据
json是一种轻量级的数据交换格式，采用完全独立于编程语言的文本格式来存储和表示数据，可以轻松解决py2和py3的编码问题，内容结构类似于python中的字典和列表，层次结构简洁而清晰，易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。
2.csv文件
Python可以将数据存储为CSV文件格式，我们可以用excel打开CSV文档，进行数据的浏览，十分方便，以下是将数据存储到test.csv文件的相关实例：
import pandas as pd
list=[[1,2,3],[4,5,6],[7,8,9]]
name=[‘id’,’uid’,’time’]
test=pd.DataFrame(columns=name,date=list)
test.to_csv(‘E:/test.csv’)
3. MySQL数据库
MySQL数据库存储方式是使用Python数据存储最常用的存储方式，Python标准数据库接口为Python DB-API，Python DB-API为开发人员提供了数据库应用程序接口，MySQLdb 是用于Python链接Mysql数据库的接口。MySQL数据库存储过程是引入API模块、获取与数据库的连接、执行SQL语句和存储过程，最后关闭数据库连接。
4. Redis数据库
使用Python数据存储为Redis数据库，优点是方便、速度快，但是取出的数据是二进制数据，一般需要转为字符串再操作，以下是具体实例：
import redis
client = redis.Redis(host='lcoalhost', port=8080)
client.set('nums', [6,7,8,5,4])
result = client.get('name')
pipe = client.pipeline()
pipe.set('name', 'oldboy')
pipe.execute()
5.Mongdb数据库
使用Python数据存储为Mongdb数据库，优点是不在乎数据结构，需要注意的是取出来的时候需要写个脚本整理一下，以下是具体实例：
import pymongo
client = pymongo.MongoClient('localhost', 8080)
test1_db = client.test1
sheet_stu = db.stu
info = {name:'oldboy',age:30}
info_id = stu.insert_one(info).inserted_id
cur_list = [cur for cur in stu.find()]
count = stu.count()
以上是使用Python进行数据储存的五种方法和使用方法的简单介绍，感兴趣的可以深入学习更多用法！

*.csv文件(comma-separated value,逗号分隔值),

是一种常用的文件格式,用来批量存储数据

*.写入方法:



*.读入方法:



但是,因为csv文件的局限性,上面两个函数智能存取一维和二维函数

*.多维数据的存取

    *.写入方法:



 写的结果不会有格式(shape),会写一个长串,维度信息丢失

    *.读入方法:



因为写的时候丢失了维度,所以要对读取的方法改变一下维度,reshape()一下

*.numpy的便捷文件存取


 

MySQL中常用的四种存储引擎分别是： MyISAM存储引擎、innoDB存储引擎、MEMORY存储引擎、ARCHIVE存储引擎。本文将对这四种存储引擎作出重点介绍，最后对这四种存储引擎进行比较。
MySQL中的存储引擎
一、存储引擎
1、存储引擎其实就是对于数据库文件的一种存取机制，如何实现存储数据，如何为存储的数据建立索引以及如何更新，查询数据等技术实现的方法。
2、MySQL中的数据用各种不同的技术存储在文件(或内存)中，这些技术中的每一种技术都使用不同的存储机制，索引技巧，锁定水平并且最终提供广泛的不同功能和能力。在MySQL中将这些不同的技术及配套的相关功能称为存储引擎。
二、MySQL 中查看引擎
1、show engines; // 查看mysql所支持的存储引擎，以及从中得到mysql默认的存储引擎。
2、show variables like '% storage_engine'; // 查看mysql 默认的存储引擎
3、show create table tablename ; // 查看具体某一个表所使用的存储引擎，这个默认存储引擎被修改了！
4、show table status from database where name="tablename" //准确查看某个数据库中的某一表所使用的存储引擎
三、MySQL中常用的几种存储引擎：
MyISAM存储引擎：
存放的位置： MySQL如果使用MyISAM存储引擎，数据库文件类型就包括.frm、.MYD、.MYI，默认存放位置是C:\Documentsand Settings\All Users\Application Data\MySQL\MySQL Server 5.1\data
存放的方式： MyISAM 这种存储引擎不支持事务，不支持行级锁，只支持并发插入的表锁，主要用于高负载的select。
索引的方式： MyISAM也是使用B+tree索引但是和Innodb的在具体实现上有些不同。
该引擎基于ISAM数据库引擎，除了提供ISAM里所没有的索引和字段管理等大量功能，MyISAM还使用一种表格锁定的机制来优化多个并发的读写操作，但是需要经常运行OPTIMIZE TABLE命令，来恢复被更新机制所浪费的空间，否则碎片也会随之增加，最终影响数据访问性能。MyISAM还有一些有用的扩展，例如用来修复数据库文件的MyISAMChk工具和用来恢复浪费空间的 MyISAMPack工具。MyISAM强调了快速读取操作，主要用于高负载的select，这可能也是MySQL深受Web开发的主要原因：在Web开发中进行的大量数据操作都是读取操作，所以大多数虚拟主机提供商和Internet平台提供商(Internet Presence Provider，IPP)只允许使用MyISAM格式。
MyISAM类型的表支持三种不同的存储结构：静态型、动态型、压缩型。
静态型：指定义的表列的大小是固定(即不含有：xblob、xtext、varchar等长度可变的数据类型)，这样MySQL就会自动使用静态MyISAM格式。使用静态格式的表的性能比较高，因为在维护和访问以预定格式存储数据时需要的开销很低；但这种高性能是以空间为代价换来的，因为在定义的时候是固定的，所以不管列中的值有多大，都会以最大值为准，占据了整个空间。
动态型：如果列(即使只有一列)定义为动态的(xblob, xtext, varchar等数据类型)，这时MyISAM就自动使用动态型，虽然动态型的表占用了比静态型表较少的空间，但带来了性能的降低，因为如果某个字段的内容发生改变则其位置很可能需要移动，这样就会导致碎片的产生，随着数据变化的增多，碎片也随之增加，数据访问性能会随之降低。
对于因碎片增加而降低数据访问性这个问题，有两种解决办法：
a、尽可能使用静态数据类型；
b、经常使用optimize table table_name语句整理表的碎片，恢复由于表数据的更新和删除导致的空间丢失。如果存储引擎不支持 optimize table table_name则可以转储并 重新加载数据，这样也可以减少碎片；
压缩型：如果在数据库中创建在整个生命周期内只读的表，则应该使用MyISAM的压缩型表来减少空间的占用。
优缺点：MyISAM的优势在于占用空间小，处理速度快。缺点是不支持事务的完整性和并发性。
2．innoDB存储引擎
存储位置：MySQL如果使用InnoDB存储引擎，数据库文件类型就包括.frm、ibdata1、.ibd，存放位置有两个，.frm文件默认存放位置是C:\Documents and Settings\All Users\ApplicationData\MySQL\MySQL Server 5.1\data，ibdata1、.ibd文件默认存放位置是MySQL安装目录下的data文件夹。
innodb存储引擎的mysql表提供了事务，回滚以及系统崩溃修复能力和多版本迸发控制的事务的安全。
innodb支持自增长列(auto_increment),自增长列的值不能为空，如果在使用的时候为空的话怎会进行自动存现有的值开始增值，如果有但是比现在的还大，则就保存这个值。
innodb存储引擎支持外键(foreign key) ,外键所在的表称为子表而所依赖的表称为父表。
innodb存储引擎最重要的是支持事务，以及事务相关联功能。
innodb存储引擎支持mvcc的行级锁。
innodb存储引擎索引使用的是B+Tree
优缺点：InnoDB的优势在于提供了良好的事务处理、崩溃修复能力和并发控制。缺点是读写效率较差，占用的数据空间相对较大。
3．MEMORY存储引擎
memory存储引擎相比前面的一些存储引擎，有点不一样，其使用存储在内从中的数据来创建表，而且所有的数据也都存储在内存中。
每个基于memory存储引擎的表实际对应一个磁盘文件，该文件的文件名和表名是相同的，类型为.frm。该文件只存储表的结构，而其数据文件，都是存储在内存中，这样有利于对数据的快速处理，提高整个表的处理能力。
memory存储引擎默认使用哈希(HASH)索引，其速度比使用B-+Tree型要快，如果读者希望使用B树型，则在创建的时候可以引用。
memory存储引擎文件数据都存储在内存中，如果mysqld进程发生异常，重启或关闭机器这些数据都会消失。所以memory存储引擎中的表的生命周期很短，一般只使用一次。
4．ARCHIVE存储引擎
该存储引擎非常适合存储大量独立的、作为历史记录的数据。区别于InnoDB和MyISAM这两种引擎，ARCHIVE提供了压缩功能，拥有高效的插入速度，但是这种引擎不支持索引，所以查询性能较差一些。
四．四种存储引擎比较
InnoDB：支持事务处理，支持外键，支持崩溃修复能力和并发控制。如果需要对事务的完整性要求比较高(比如银行)，要求实现并发控制(比如售票)，那选择InnoDB有很大的优势。如果需要频繁的更新、删除操作的数据库，也可以选择InnoDB，因为支持事务的提交(commit)和回滚(rollback)。
MyISAM：插入数据快，空间和内存使用比较低。如果表主要是用于插入新记录和读出记录，那么选择MyISAM能实现处理高效率。如果应用的完整性、并发性要求比 较低，也可以使用。如果数据表主要用来插入和查询记录，则MyISAM引擎能提供较高的处理效率
MEMORY：所有的数据都在内存中，数据的处理速度快，但是安全性不高。如果需要很快的读写速度，对数据的安全性要求较低，可以选择MEMOEY。它对表的大小有要求，不能建立太大的表。所以，这类数据库只使用在相对较小的数据库表。如果只是临时存放数据，数据量不大，并且不需要较高的数据安全性，可以选择将数据保存在内存中的Memory引擎，MySQL中使用该引擎作为临时表，存放查询的中间结果
如果只有INSERT和SELECT操作，可以选择Archive，Archive支持高并发的插入操作，但是本身不是事务安全的。Archive非常适合存储归档数据，如记录日志信息可以使用Archiv
注意，同一个数据库也可以使用多种存储引擎的表。如果一个表要求比较高的事务处理，可以选择InnoDB。这个数据库中可以将查询要求比较高的表选择MyISAM存储。如果该数据库需要一个用于查询的临时表，可以选择MEMORY存储引擎。
(完)

        文件的结构是指文件的组织形式，从用户观点所看到的文件组织形式，称为文件的逻辑结构。

        文件的物理结构指文件在存储设备上的存放方法，侧重于提高存储器的利用效率和降低存取时间。

        文件的存储设备通常划分为大小相同的物理块，物理块是分配和传输信息的基本单位。

常用的文件访问方法有两种：顺序访问和随机访问。

        现代操作系统有多种文件系统类型     （如Windows：FAT32、NTFS，        Linux：ext2、ext3、ext4等）

        文件是如何实现的呢，下面从文件的分配方式和空间管理两部分来解析。

1. 文件分配方式

        文件分配对应于文件的物理结构，是指如何为文件分配磁盘块。常用的磁盘空间分配方法有三种：连续分配、链接分配和索引分配。有的系统（如RD0S操作系统）对三种方法都支持，但是更普遍的是一个系统只提供一种方法的支持。

1) 连续分配

        连续分配方法要求每个文件在磁盘上占有一组连续的块，如图所示。 磁盘地址定义了磁盘上的一个线性排序。这种排序使作业访问磁盘时需要的寻道数和寻道时间最小。



        文件的连续分配可以用第一块的磁盘地址和连续块的数量来定义。如果文件有n块长并从位置b开始，那么该文件将占有块b, b+1, b+2, …, b+n-1。 一个文件的目录条目包括 开始块的地址和该文件所分配区域的长度。

        连续分配支持顺序访问和直接访问。其优点是实现简单、存取速度快。缺点在于，文件长度不宜动态增加，因为一个文件末尾后的盘块可能已经分配给其他文件，一旦需要增加，就需要大量移动盘块。此外，反复增删文件后会产生外部碎片，并且很难确定一个文件需要的空间大小，因而只适用于长度固定的文件。

2) 链接分配

        链接分配又可以分为隐式链接和显式链接两种形式。

        隐式连接如图所示。每个文件对应一个磁盘块的链表；磁盘块分布在磁盘的任何地方，除最后一个盘块外，每一个盘块都有指向下一个盘块的指针，这些指针对用户是透明的。目录包括文件第一块的指针和最后一块的指针。



        创建新文件时，目录中增加一个新条目。每个目录项都有一个指向文件首块的指针。该指针初始化为NULL以表示空文件，大小字段为0。写文件会通过空闲空间管理系统找到空闲块，将该块链接到文件的尾部，以便写入。读文件则通过块到块的指针顺序读块。

        隐式链接分配的缺点在于无法直接访问盘块，只能通过指针顺序访问文件，以及盘块指针消耗了一定的存储空间。隐式链接分配的稳定性也是一个问题，系统在运行过程中由于软件或者硬件错误导致链表中的指针丢失或损坏，会导致文件数据的丢失。

        显式链接，是指把用于链接文件各物理块的指针，显式地存放在内存的一张链接表中。 该表在整个磁盘仅设置一张，每个表项中存放链接指针，即下一个盘块号。在该表中，凡是属于某一文件的第一个盘块号，或者说是每一条链的链首指针所对应的盘块号，均作为文件 地址被填入相应文件的FCB的“物理地址”字段中。由于查找记录的过程是在内存中进行的，因而不仅显著地提高了检索速度，而且大大减少了访问磁盘的次数。由于分配给文件的所有盘块号都放在该表中，故称该表为文件分配表（File Allocation Table, FAT)。——我认为显示链接的思想接近于索引的概念。

        链接分配是釆取离散分配的方式，消除了外部碎片，故而显著地提高了磁盘空间的利用率；又因为是根据文件的当前需求，为它分配必需的盘块，当文件动态增长时，可以动态地再为它分配盘块，故而无需事先知道文件的大小。此外，对文件的增、删、改也非常方便。

3) 索引分配

        链接分配解决了连续分配的外部碎片和文件大小管理的问题。但是，链接分配不能有效支持直接访问（FAT除外）。索引分配解决了这个问题，它把每个文件的所有的盘块号都集中放在一起构成索引块（表），如图所示。



        每个文件都有其索引块，这是一个磁盘块地址的数组。索引块的第i个条目指向文件的 第i个块。目录条目包括索引块的地址。要读第i块，通过索引块的第i个条目的指针来查找和读入所需的块。

        创建文件时，索引块的所有指针都设为空。当首次写入第i块时，先从空闲空间中取得一个块，再将其地址写到索引块的第i个条目。索引分配支持直接访问，且没有外部碎片问题。其缺点是由于索引块的分配，增加了系统存储空间的开销。索引块的大小是一个重要的问题，每个文件必须有一个索引块，因此索引块应尽可能小，但索引块太小就无法支持大文件。可以釆用以下机制来处理这个问题。

一是链接方案：一个索引块通常为一个磁盘块，因此，它本身能直接读写。为了处理大文件，可以将多个索引块链接起来。

二是多层索引：多层索引使第一层索引块指向第二层的索引块，第二层索引块再指向文件块。这种方法根据最大文件大小的要求，可以继续到第三层或第四层。例如，4096B的块，能在索引块中存入1024个4B的指针。两层索引允许1048576（2^20）个数据块，即允许最大文件为4GB(2^32)。

三是混合索引：将多种索引分配方式相结合的分配方式。例如，系统既釆用直接地址，又采用单级索引分配方式或两级索引分配方式。

        索引分配方式访问文件需要两次访问外存——首先要读取索引块的内容(索引块也在磁盘上)，然后再访问具体的磁盘块，因而降低了文件的存取速度。为了解决这一问题，通常将文件的索引块读入内存的缓冲区中，以加快文件的访问速度。

下表是三种分配方式的比较。


			
分配方式
			
			

			
访问第n个记录
			
			

			
优  点
			
			

			
缺  点
			
		

			
顺序分配
			
			

			
需访问磁盘1次
			
			

			
顺序存取时速度怏，当文件是定长时 可以根据文件起始地址及记录长度进行 随机访问
			
			

			
文件存储要求连续的存储空间，会产生碎片，也不利于文件的动态扩充
			
		

			
链接分配
			
			

			
需访问磁盘n次
			
			

			
可以解决外存的碎片问题，提髙了外存空间的利用率，动态增长较方便
			
			

			
只能按照文件的指针链顺序访问，查找效率低，指针信息存放消耗外存空间
			
		

			
索引分配
			
			

			
m级需访问磁盘m+1次
			
			

			
可以随机访问，易于文件的增删
			
			

			
索引表增加存储空间的开销，索引表的查找策略对文件系统效率影响较大
			
		
2. 文件存储空间管理

1) 文件存储器空间的划分与初始化

        一般来说，一个文件存储在一个文件卷中。文件卷可以是物理盘的一部分，也可以是整个物理盘，支持超大型文件的文件卷也可以由多个物理盘组成，如图所示。



        在一个文件卷中，文件数据信息的空间（文件区）和存放文件控制信息FCB的空间（目录区）是分离的。由于存在很多种类的文件表示和存放格式，所以现代操作系统中一般都有很多不同的文件管理模块，通过它们可以访问不同格式的逻辑卷中的文件。逻辑卷在提供文件服务前，必须由对应的文件程序进行初始化，划分好目录区和文件区，建立空闲空间管理表格及存放逻辑卷信息的超级块。

2) 文件存储器空间管理

        文件存储设备分成许多大小相同的物理块，并以块为单位交换信息，因此，文件存储设备的管理实质上是对空闲块的组织和管理，它包括空闲块的组织、 分配与回收等问题。

①空闲表法

        空闲表法属于连续分配方式，它与内存的动态分配方式类似，为每个文件分配一块连续的存储空间。系统为外存上的所有空闲区建立一张空闲盘块表，每个空闲区对应于一个空闲表项，其中包括表项序号、该空闲区第一个盘块号、该区的空闲盘块数等信息。再将所有空闲区按其起始盘块号递增的次序排列，如图所示。



        空闲盘区的分配与内存的动态分配类似，同样是釆用首次适应算法、循环首次适应算法等。例如，在系统为某新创建的文件分配空闲盘块时，先顺序地检索空闲盘块表的各表项，直至找到第一个其大小能满足要求的空闲区，再将该盘区分配给用户，同时修改空闲盘块表。 系统在对用户所释放的存储空间进行回收时，也釆取类似于内存回收的方法，即要考虑回收区是否与空闲表中插入点的前区和后区相邻接，对相邻接者应予以合并。

②空闲链表法

        将所有空闲盘区拉成一条空闲链，根据构成链所用的基本元素不同，可把链表分成两种 形式：空闲盘块链和空闲盘区链。

        空闲盘块链是将磁盘上的所有空闲空间，以盘块为单位拉成一条链。当用户因创建文件而请求分配存储空间时，系统从链首开始，依次摘下适当的数目的空闲盘块分配给用户。当用户因删除文件而释放存储空间时，系统将回收的盘块依次插入空闲盘块链的末尾。这种方 法的优点是分配和回收一个盘块的过程非常简单，但在为一个文件分配盘块时，可能要重复多次操作。

        空闲盘区链是将磁盘上的所有空闲盘区（每个盘区可包含若干个盘块）拉成一条链。在每个盘区上除含有用于指示下一个空闲盘区的指针外，还应有能指明本盘区大小（盘块数） 的信息。分配盘区的方法与内存的动态分区分配类似，通常釆用首次适应算法。在回收盘区 时，同样也要将回收区与相邻接的空闲盘区相合并。

③位示图法

        位示图是利用二进制的一位来表示磁盘中一个盘块的使用情况，磁盘上所有的盘块都有 一个二进制位与之对应。当其值为“0”时，表示对应的盘块空闲；当其值为“1”时，表示 对应的盘块已分配。

        盘块的分配：

        顺序扫描位示图，从中找出一个或一组其值为“0”的二进制位。

        将所找到的一个或一组二进制位，转换成与之对应的盘块号。

假定找到的其值为“0” 的二进制位，位于位示图的第i行、第j列，则其相应的盘块号应按下式计算（n代表每行的位数）：
        b = n (i-1) + j
        修改位示图，令map[i, j] = 1。
        盘块的回收：
        将回收盘块的盘块号转换成位示图中的行号和列号。
        转换公式为
          i=(b-1)DIVn+l
          j=(b-l)MOD n+1
       修改位示图，令map[i, j] = 0

注意：位示图法，行和列都是从1开始编号。特别注意， 如果题目中指明从0开始编号，则上述的计算方法要进行相应调整。

④成组链接法

       空闲表法和空闲链表法都不适合用于大型文件系统，因为这会使空闲表或空闲链表太大。在UNIX系统中釆用的是成组链接法，这种方法结合了空闲表和空闲链表两种方法，克服了表太大的缺点。其大致的思想是:把顺序的n个空闲扇区地址保存在第一个空闲扇区内， 其后一个空闲扇区内则保存另一顺序空闲扇区的地址，如此继续，直至所有空闲扇区均予以链接。系统只需要保存一个指向第一个空闲扇区的指针。假设磁盘最初全为空闲扇区；其成 组链接如图4-17所示。通过这种方式可以迅速找到大批空闲块地址。



        表示文件存储器空闲空间的“位向量”表或第一个成组链块以及卷中的目录区、文件区 划分信息都需要存放在辅存储器中，一般放在卷头位置，在UNIX系统中称为“超级块”。 在对卷中文件进行操作前，“超级块”需要预先读入系统空间的主存，并且经常保持主存“超 级块”与辅存卷中“超级块”的一致性。