最近需要从mysql的table里根据索引一页一页(一页有1000条数据)的读数据出来，但是如果把log打印出来如下：

2019-04-24 16:19:29.398 DEBUG 20367 --- [eduler_Worker-1] c.z.e.p.batch.reader.ArticleItemReader : Reading page 0

2019-04-24 16:19:29.426 INFO 20367 --- [eduler_Worker-1]

2019-04-24 16:19:29.789 DEBUG 20367 --- [eduler_Worker-1] c.z.e.p.batch.reader.ArticleItemReader : Reading page 1

2019-04-24 16:19:29.912 DEBUG 20367 --- [eduler_Worker-1] c.z.e.p.batch.reader.ArticleItemReader : Reading page 2

2019-04-24 16:19:30.026 DEBUG 20367 --- [eduler_Worker-1] c.z.e.p.batch.reader.ArticleItemReader : Reading page 3

2019-04-24 16:19:30.156 DEBUG 20367 --- [eduler_Worker-1] c.z.e.p.batch.reader.ArticleItemReader : Reading page 4

...

2019-04-24 16:24:46.403 DEBUG 20367 --- [eduler_Worker-1] c.z.e.p.batch.reader.ArticleItemReader : Reading page 388

2019-04-24 16:24:48.250 DEBUG 20367 --- [eduler_Worker-1] c.z.e.p.batch.reader.ArticleItemReader : Reading page 389

2019-04-24 16:24:49.759 DEBUG 20367 --- [eduler_Worker-1] c.z.e.p.batch.reader.ArticleItemReader : Reading page 390

可以看出，当阅读量打到300万以后，每1000条数据阅读花掉的时间打到了1.5秒左右。

这个是什么原因呢？原来，我们以为的是，有索引之后，读取到某页，直接去那个页就行，其实不是。其实是按顺序读取所有，然后取某一个页出来。

比如，脚本是这样：

SELECT *

FROM news

WHERE cat_id = 4

ORDER BY

id DESC

LIMIT 150000, 10

这个任务可以重新像这样：走过去的150010行的id顺序，返回第10人这意味着虽然我们只需要10条记录，但我们仍需要计算前150,000条记录。

假如数据长这样：

数据和索引

如果我们要找第10个数据，其实是全部遍历了的：

image.png

那么上面那个例子，如何能减少阅读时间呢？

SELECT l.id, value

FROM (

SELECT id

FROM t_limit

ORDER BY

id

LIMIT 150000, 10

) o

JOIN t_limit l

ON l.id = o.id

ORDER BY

l.id

public static void readForPage(File sourceFile, int pageNo,int pageSize) throws IOException {

FileReader in = new FileReader(sourceFile);

LineNumberReader reader = new LineNumberReader(in);

String s = "";

/*if (lineNumber <= 0 || lineNumber > getTotalLines(sourceFile)) {

System.out.println("不在文件的行数范围(1至总行数)之内。");

System.exit(0);

}  */

int startRow = (pageNo - 1) * pageSize + 1;

int endRow = pageNo * pageSize;

int lines = 0;

System.out.println("startRow:"+startRow);

System.out.println("endRow:"+endRow);

while (s != null) {

lines++;

s = reader.readLine();

if(lines >= startRow && lines <= endRow) {

System.out.println("line:"+lines+":"+s);

//System.exit(0);

}

}

reader.close();

in.close();

}

这样调用:

public static void main(String[] args) {

// 指定读取的行号

int lineNumber = 2;

// 读取文件

//File sourceFile = new File("D:/java/test.txt");

File sourceFile = new File("D://1.txt");

try {

readForPage(sourceFile, 5, 8);

} catch (IOException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}

原文：http://my.oschina.net/u/1866821/blog/345254