场景

哈希分治法
这是一个 ip 地址 127.0.0.1
假设有100亿个这样的 ip 地址存在文件中
这个文件大小大约是 100GB
问题：要统计出100亿个 ip 中，重复出现次数最多的前10个

分析

100GB 几乎不可能一次加载进内存进行操作，所以必须要拆分
那么可以利用分治的思想，把规模大的问题化小，然后解决各个小的问题，最后得出结果。

实现思路

• ipv4 地址是一个 32 位的整数，可以用 uint 保存。
• 我先设计一个哈希函数，把100个G的文件分成10000份，每份大约是 10MB，可以加载进内存了。

例如：我设计一个简单的哈希函数是 f(ip) = ip % 10000，(ip 是个32位整数)
那么 5 % 10000 = 5，不管 5 在哪个地方 5 % 10000 的结果都是 5，这就保证了相同的 ip 会被放在同一个子文件中，方便统计，相同的元素经过同一个哈希函数，得出的哈希值是一样的。
那么我把100亿个 ip，都进行 ip % 10000 的操作，就完成了 100GB 文件分解成 10000个子文件的任务了。当然实际中哈希函数的选取很重要，尽量使得元素分布均匀，哈希冲突少的函数才是最好的。

记住，我把上面这个分解的过程叫做 Map，由一台叫 master 的计算机完成这个工作。

10MB 的小文件加进内存，统计出出现次数最多的那个ip

10MB 的小文件里面存着很多 ip，他们虽然是乱序的，但是相同的 ip 会映射到同一个文件中来！
那么可以用二叉树统计出现次数，二叉树节点保存（ip, count）的信息，把所有 ip 插入到二叉树中，如果这个 ip 不存在，那么新建一个节点, count 标记 1，如果有，那么把 count++，最终遍历一遍树，就能找出 count 最大的 ip 了。

我把这个过程叫做 Reduce，由很多台叫 worker 的计算机来完成。
每个 worker 至少要找出最大的前10个 ip 返回给 master，master 最后会收集到 10000 * 10 个 ip，大约 400KB，然后再找出最大的前 10 个 ip 就可以了。
最简单的遍历10遍，每次拿个最大值出来就可以了，或者用快速排序，堆排序，归并排序等等方法，找出最大前 k 个数也行。

MapReduce

我刚刚除了介绍了一种海量数据的哈希分治算法之外，还穿插了一个谷歌的 MapReduce 分布式并行编程模型，原理就是上面说的那些了，有兴趣的可以去详细了解。

哈希函数是什么？哈希函数是把大空间的元素映射到一个小空间里。

一、pd.read_csv() 、to_csv() 之 常用参数
参考自：https://www.cnblogs.com/wyy1480/p/10322336.html
或查看https://blog.csdn.net/weixin_44056331/article/details/89366105
（一）pd.read_csv()
作用：将csv文件读入并转化为数据框形式
1.filepath_or_buffer:（这是唯一一个必须有的参数，其它都是按需求选用的）
文件所在处的路径

2.sep：
指定分隔符，默认为逗号’,’

3.delimiter : str, default None
定界符，备选分隔符（如果指定该参数，则sep参数失效）

4.header：int or list of ints, default ‘infer’
指定哪一行作为表头。默认设置为0（即第一行作为表头），如果没有表头的话，要修改参数，设置 header=None

5.names：
指定列的名称，用列表表示。一般我们没有表头，即header=None时，这个用来添加列名就很有用啦！

6.index_col:
指定哪一列数据作为行索引，可以是一列，也可以多列。多列的话，会看到一个分层索引

7.prefix:
给列名添加前缀。如prefix=“x”,会出来"x1"、“x2”、"x3"酱纸

8.nrows : int, default None
需要读取的行数（从文件头开始算起）

9.encoding:
乱码的时候用这个就是了，官网文档看看用哪个：
[ https://docs.python.org/3/library/codecs.html#standard-encodings]

10.skiprows : list-like or integer, default None
需要忽略的行数（从文件开始处算起），或需要跳过的行号列表（从0开始）。
（二）to_csv()
作用：将数据框写入本地电脑，保存起来
参数解析：
1.path_or_buf：字符串，放文件名、相对路径、文件流等；

2.sep：字符串，分隔符，跟read_csv()的一个意思

3.na_rep：字符串，将NaN转换为特定值

4.columns：列表，指定哪些列写进去

5.header：默认header=0，如果没有表头，设置header=None，表示我没有表头呀！

6.index：关于索引的，默认True,写入索引
二、实现取出csv表格的指定行列
参考自：https://blog.csdn.net/qq_22592457/article/details/107801286

list_a = np.arange(2)
df = pd.read_csv('qunar_freetrip.csv',index_col=0,nrows=2,usecols=list_a)

运行结果：

其实，向数据库中存图片及其他任何文件都是一样的方法，都是用IO流以二进制的方式存入和取出的，本质上跟操作IO流没有什么差别，只是多了一个数据库访问而已。一下程序是我写的两个小Demo，一个存入文件，一个取出文件，没有任何逻辑，仅供参考。

目录结构：

数据库表结构：

create table userimg(
       id number(8) primary key,
       pic blob
);

package com.lym.util;

import java.io.File;
import java.io.IOException;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.Statement;
import java.util.Properties;

import org.apache.commons.dbcp.BasicDataSource;

/**
 * 数据库工具类
 * 
 * @author 刘彦民 2015年9月19日 下午11:08:28
 */
public class DBUtil {
	//数据库连接池
	private static BasicDataSource ds;
	
	/**
	 * 初始化数据库配置
	 */
	static{
		Properties config = new Properties();
		String path = "com"+File.separator+"lym"+File.separator+"config"+File.separator+"dbconfig.properties";
		try {
			config.load(DBUtil.class.getClassLoader().getResourceAsStream(path));
		} catch (IOException e) {
			e.printStackTrace();
		}
		String driver = config.getProperty("jdbc.driver");
		String url = config.getProperty("jdbc.url");
		String username = config.getProperty("jdbc.username");
		String password = config.getProperty("jdbc.password");
		int maxActive = Integer.parseInt(config.getProperty("oracle.maxActive"));
		int maxWait = Integer.parseInt(config.getProperty("oracle.maxWait"));
		ds = new BasicDataSource();
		ds.setDriverClassName(driver);
		ds.setUrl(url);
		ds.setUsername(username);
		ds.setPassword(password);
		ds.setMaxActive(maxActive);//数据库的最大连接数
		ds.setMaxWait(maxWait);//数据库的延时等待时间
	}
	
	/**
	 * 连接数据库
	 * @return
	 * @throws Exception
	 */
	public static Connection getConnection() throws Exception {
		try{
			return ds.getConnection();
		}catch(Exception e){
			System.out.println("数据库连接失败！");
			throw e;
		}
	}
	
	/**
	 * 关闭数据库
	 * @param conn
	 * @param stat
	 * @param rs
	 * @throws Exception
	 */
	public static void close(Connection conn, Statement stat, ResultSet rs) throws Exception {
		try {
			if (conn != null)
				conn.close();
			if (stat != null)
				stat.close();
			if (rs != null)
				rs.close();
		} catch (Exception e) {
			System.out.println("数据库关闭失败！");
			throw e;
		}
	}
}

jdbc.driver=oracle.jdbc.OracleDriver
jdbc.url=jdbc:oracle:thin:@127.0.0.1:1521:orcl
jdbc.username=scott
jdbc.password=tiger
oracle.maxActive=5
oracle.maxWait=5000

package com.lym.test;

import java.io.FileInputStream;
import java.sql.Connection;
import java.sql.PreparedStatement;

import com.lym.util.DBUtil;

/**
 * 把图片或文件保存到数据库中
 * 
 * @author 刘彦民 2015年9月20日 上午11:46:56
 */
public class JDBCDemo2 {
	
	/**
	 * 保存方法
	 * @param filename 文件名称
	 */
	public static void saveImgOrFile(String filename) throws Exception {
		FileInputStream in = new FileInputStream(filename);
		Connection conn = null;
		PreparedStatement ps = null;
		try{
			conn = DBUtil.getConnection();
			String sql = "insert into userimg(id,pic) values(seq_userimg_id.NEXTVAL,?)";
			ps = conn.prepareStatement(sql);
			ps.setBinaryStream(1, in, in.available());
			ps.execute();
			System.out.println("保存成功！");
		}catch(Exception e){
			System.out.println("保存文件失败！");
			throw e;
		}finally{
			DBUtil.close(conn, ps, null);
		}
	}
	
	
	public static void main(String[] args) {
		String filename = "D:/Thread.png";
		try {
			saveImgOrFile(filename);
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
}

package com.lym.test;

import java.io.FileOutputStream;
import java.io.InputStream;
import java.sql.Blob;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;

import com.lym.util.DBUtil;

/**
 * 从数据库中读取文件
 * 
 * @author 刘彦民 2015年9月20日 下午12:38:10
 */
public class JDBCDemo3 {
	/**
	 * 取出图片或文件
	 */
	public static void readImgOrFile() throws Exception {
		Connection conn = null;
		PreparedStatement ps = null;
		ResultSet rs = null;
		try{
			conn = DBUtil.getConnection();
			String sql = "select id,pic from userimg where id=?";
			ps = conn.prepareStatement(sql);
			ps.setInt(1, 1);
			rs = ps.executeQuery();
			if(rs.next()){
				FileOutputStream out = new FileOutputStream("T.png");
				Blob blob = rs.getBlob("pic");
				InputStream in = blob.getBinaryStream();
				byte[] data = new byte[1024*10];
				int len = -1;//每次读取的字节数
				while((len = in.read(data)) != -1){
					out.write(data, 0, len);
				}
				out.close();
				in.close();
				System.out.println("文件读取完毕！");
			}
		}catch(Exception e){
			System.out.println("读取文件失败！"+e.getMessage());
			throw e;
		}finally{
			DBUtil.close(conn, ps, rs);
		}
	}
	public static void main(String[] args) {
		try {
			readImgOrFile();
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
}