Java查询大文本文件的处理方法

有时我们需要查询大文本而不是数据库，这时就需要流式读入文件并实现查询算法，还要进行并行处理以提高性能。但JAVA本身缺少相应的类库，需要硬编码才能实现结构化文件计算，代码复杂且可读性差，难以实现高效的并行处理。

使用免费的集算器可以弥补这一不足。集算器封装了丰富的结构化文件读写和游标计算函数，书写简单代码就能实现并行计算，并提供了易用的JDBC接口。JAVA应用程序可以将集算器脚本文件当做数据库存储过程执行，传入参数并用JDBC获得返回结果。

集算器与Java应用程序的集成结构如下：

下面举例说明集算器协助JAVA查询大文本的基本过程。源数据sOrder.txt如下：

要查询起止时间是startDate、endDate之间，金额大于argAmount的订单，只需使用如下代码：

A1:以游标方式打开文件。@t表示将第1行读为列名。

A2:进行结构化查询，结果为游标。

A3:执行游标，将结果读入内存，如下：

JAVA主程序可以JDBC的方式调用集算器脚本，代码如下：

Class.forName("com.esproc.jdbc.InternalDriver");

con=DriverManager.getConnection("jdbc:esproc:local://");

//调用集算器脚本类似存储过程)，其中searchbig是dfx的文件名

st=(com. esproc.jdbc.InternalCStatement)con.prepareCall("call searchbig");

//设置参数

st.setObject(1,"2010-01-01");

st.setObject(2,"2010-12-31");

st.setObject(3,2000);

//执行脚本

st.execute;

//获取结果集

ResultSetrs = st.getResultSet;

……

返回值是符合JDBC标准的ResultSet对象，调用集算器脚本和访问数据库的方法完全一样，熟悉JDBC的程序员可以很快掌握。

对于上面这类较简单的代码，还可以直接将脚本写在JDBC调用中，多行语句之间用\n分隔即可，类似执行一句较复杂的SQL，这样可以不必再保存一个脚本文件。

st = (com.esproc.jdbc.InternalCStatement)con.createStatement;

ResultSet rs1 =st.executeQuery("=file(\"D:\\sOrder.txt\").import@t\n" +"=A1.select(OrderDate>=date(\"2010-01-01\") &&OrderDate<=date(\"2010-12-31\") && Amount>2000)\n"+

"=A2.fetch");

集算器会返回最后一个表达式的值。

如果查询结果内存装不下，可以在集算器中直接返回游标即去掉A3代码)，在JAVA中只需设置每批次读取的记录数即可正常读取，具体代码如下：

st.setFetchSize(1000)

关于集算器JDBC的部署和调用的更详细信息可参考集算器集成应用之被JAVA调用。

集算器还可以实现多线程并行计算，最简单方法就是在上述代码的cursor函数中使用@m，这表示多线程读取文件。

也可以手工分段，在读取和计算部分都使用多线程并行计算，代码如下：

A1：用8个游标打开文件，每次读取文件的指定部分。~表示循环变量，依次是1、2…8，@z表示将文件按字节数大致分为几部分，只读取其中一部分，集算器会自动去头补尾，以保证取出的数据是整行。

A2：针对每个游标执行查询。

A3：并行执行游标，并合并结果。@x表示合并的对象是游标，@m表示并行计算。需要注意的是，函数conj无法保证结果顺序和源数据一致。

上述代码使用了集算器内置的并行计算函数，如果计算过程较复杂，或内存可以装下计算结果，则适合用显式并行计算语句。代码如下：

A1:设定并行数。

A2:并行执行代码，作用范围是缩进的B2-B3。to(A1)=[1,2…8]表示每个线程的入口参数。线程内部可用A2来获取入口参数，线程外部可用A2获取所有线程的计算结果。

B3:查询游标，将结果读入内存，并返回给主线程。

A4:按顺序合并各线程的计算结果。

对于有序数据，可以用二分法来提高查询性能。比如数据已按Client和OrderID排序，现在要根据参数argClient和argOrder找出相应的记录，可以使用下面的代码：

begin,end是二分法的起止位置，m是中间位置。

B4:按字节数定位到中间位置，打开游标读入一条记录，集算器会自动实现去头补尾，取出完整记录。@x表示取出记录后立即关闭游标。

B5-C6:如果定位成功，则将当前记录存储在C5。

B7-C8:如果定位不成功，则继续比较集合大小并重新设置begin,end。

A9：将C5中的计算结果显式地返回给JDBC。

相关文章暂无相关文章

正如一个作家需要一个文字处理器来写故事，一个艺术家需要画布来创作，同样的，如果想编程，你会需要一个地方来写代码。

程序员在哪里编写代码？最常见的就是使用文本编辑器了吧。

下文列出了7个主流的文本编辑器，不出意外的话，开发人员应该都有所了解，至少听说过。欢迎大家在文章底部留言评论，分享自己的使用习惯和对这些编辑器的看法！

Sublime Text 是许多开发人员日常使用的经典文本编辑器，可用于包括 Windows、Mac、Linux 等多个平台。不过虽然可以不购买许可证免费使用，但不时会有弹窗消息提示，有点烦人。想去除弹窗的，还是去付费购买吧。

Sublime 的特色功能：

良好的扩展功能(包管理器)

允许添加第三方库

速度快，发布快

多平台支持

简洁的 UI

强大的功能集

TextMate 是 Mac下的著名文本编辑器，曾经是 Ruby on Rails 开发人员默认使用的，原因就在于他们主要都在使用 Mac OS 系统。可惜的是，由于只适用于 Mac 系统，有点限制了它的使用性。

TextMate 具有丰富的功能集、外部库和一些一出现就被其他编辑器复制的创新功能。个人认为其中最引人注目的当属“模糊查找功能”，允许快速定位文件，无需通过 Command + T 来搜寻完整的文件目录。

Atom 是一个相对较新的跨平台文本编辑器，于2014年2月在 Github 上推出，使用 Electron 框架基于 web 技术开发而成。

由于加载项可以使用 Web 技术构建，很多人都把自定义插件添加到 Atom.io 文本编辑器上。这也实属正常，毕竟是在 Github 上写的，本身就具有很强的 Git 整合性。

Atom 在最后提交之前的所有更改都会以不同的颜色显示在导航窗格中。如下图左侧橙色部分显示：

Atom 还有基本上你可以想象的任何东西的插件，它确实很优秀，但由于基于 web 技术开发的原因，它通常需要几秒钟来启动。如果你的电脑本身就已经有点卡顿的话，可能需要的时间更长。

如果你看到那些知道自己真正要做什么的人使用 Vim 的话，你会感受到它的速度有多可怕。Vim 是一个命令行文本编辑器，意味着你可以不使用鼠标与它交互。

Vim 带有多种编辑模式，这和其他文本编辑器有明显的不同。同时它也是一个学习起来非常有挑战性的文本编辑器，但一旦学会了，就能让编程更快。

如果是刚刚开始学习编程的，其实不太建议使用 Vim。专业编程几年后，再来考虑拿起 Vim 提高生产力。

Emacs 类似于 Vim，也是一个跨平台命令行文本编辑器。它虽然没有 wim 那种多模式，但使用仍然需要一个相对较高的技能水平，因为学习曲线比较高。

Emacs 有祥全的内置文档，支持几乎所有的 Unicode，高度可定制。

Notepad ++ 是一个 Windows 下的文本编辑器，旨在成为大多数 Windows 用户熟悉的记事本的专业化版本。

Notepad ++ 内置多种语法高亮显示，支持自定义语言； 可自动检测文件类型，根据关键字显示节点。同时，还提供数个特色功能，如邻行互换位置、宏功能等等。

Visual Studio Code 是一个运行于 OS X、Windows 和 Linux 之上的，针对于编写现代 web 和云应用的跨平台编辑器，于 2015年由微软发布。

Visual Studio Code 也集成了所有现代编辑器所应该具备的特性，包括语法高亮、可定制的热键绑定、括号匹配、代码片段收集等等，最近还增加了 Markdown 同步预览功能。

使用 SQL 查询语言，你只能查询位于数据库里面的数据，但是当你面对的数据是一些 Excel 表格或者 Txt 文本格式时，有什么办法能直接对着文件进行 Select 查询呢？

Ø 引言

作为一名数据库开发程序员，使用 SQL 语言查询数据是再普通不过的一件事。而 SQL 语言是基于数据库的查询语言，这就要求被查询的数据只能位于数据库中。但在实际工作中，时常会碰到一些不是来源于数据库的数据，特别是很多来自一些 Excel 表格或者 TXT 文本文件。如果要对它们进行 SQL 查询，通常做法是在数据库中创建临时表，然后导入数据后再使用 SQL 对其查询。这种做法本身未尝不可，但是有几点不妥：

首先，比较麻烦，数据的来源五花八门，格式不同，表结构也各不相同。导入操作往往只能由数据库管理员手动维护，其面临的复杂度可想而知。

其次，数据库常常会涉及敏感数据或安全考虑，就算你不怕麻烦，愿意去维护，也未必有权限进行这类操作。

最后，这些数据往往可能是临时的、突发的，根本不适合往数据库里添加，否则会搞得数据库越来越臃肿，最终导致整体访问性能低下。

有了这些不妥，程序员一般也就不得不放弃 SQL 式查询了，只能通过程序实现一些简单的关键字搜索等功能，毕竟自己去实现 SQL 语法的查询不仅难度大而且完全没必要。

但是 SQL 查询有时候真的很好用啊……那么，有没有一种第三方软件能实现 SQL 式查询文本，让程序员在享受便利的同时，不需要考虑上面这些烦心的问题呢？

答案自然是有，那就是本文要介绍的——集算器。

Ø 开始

下面就来介绍一下，如何在 Java 中利用集算器实现 SQL 式查询文本文件。当然，此处的文本文件不是指完全自由的文本文件，而是有格式规定的，类似于数据表的文件。

从官网下载并安装好集算器，将 dm.jar 及其依赖的配置文件 raqsoftConfig.xml 加入到当前程序的类路径。然后使用集算器提供的 JDBC 类，便可将文本文件当成数据库中的数据表来进行 SQL 式查询了。

示例用到两个文件，第一个 student.txt 数据内容如下：

数据格式为：第一行为字段名，后续行是数据，各列之间用 Tab 键分开。这个表是各个班级的学生基本情况。

第二个 score.txt 数据内容如下：

这个文件通过‘班级’，‘学生 ID’两个关键字段，记录每个学生的各科成绩。

Ø JDBC 示例

对于熟悉 JDBC 的同学来说，Java 调用集算器使用 SQL 查询文本的过程很简单，下面贴出示例代码：

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.ResultSet;

import java.sql.ResultSetMetaData;

import java.sql.SQLException;

import java.sql.Statement;

public class SQLDemo {

public static void main(String[] args) {

Connection con = null;// 连接

Statement stmt = null;// 执行语句

ResultSet rst = null;// 结果集

try {

/********* 通过 JDBC 连接到 集算器 *********/

Class.forName(“com.esproc.jdbc.InternalDriver”);

con = DriverManager.getConnection(“jdbc:esproc:local://”);

/******************* 执行语句方法 ********************/

stmt = con.createStatement();

rst = stmt.executeQuery(“SELECT * FROM score.txt”);

/******************* 执行语句方法结束 ****************/

ResultSetMetaData meta = rst.getMetaData();

for (int i = 0; i < meta.getColumnCount(); i++) {

System.out.print(meta.getColumnName(i + 1) + “\t”);

}

System.out.println();

// 输出结果

while (rst.next()) {

for (int i = 0; i < meta.getColumnCount(); i++) {

System.out.print(rst.getObject(i + 1) + “\t”);

}

System.out.println();

}

stmt.close();

con.close();

} catch (ClassNotFoundException cnf) {

System.out.println(“没找到驱动程序”);

cnf.printStackTrace();

} catch (SQLException se) {

se.printStackTrace();

}

}

}

示例中可以看到加粗的 SQL 语句跟普通 SQL 语法基本一致，仅仅是表名不一样，这里直接写 TXT 文件名。执行后结果如下：

可以看到，使用集算器的 JDBC，完全可以将具有表结构的文本文件直接当成数据表来查询。而集算器除了支持 TXT 格式之外，还支持 CSV、XLS、XLSX 甚至 JSON。另外，集算器自身也有两种数据存储格式：BTX 和 CTX，也是可以直接查询的。

好，进一步的问题来了，集算器对 SQL 的各种命令能够支持到何种程度呢？

首先需要说明的是，集算器不是一个数据库产品，所以对 SQL 中一些数据库维护命令是不支持的，比如 Create、Delete 等。

那么对于 Select 可以支持到什么程度呢？

Ø 分组统计

下面来看看 SQL 查询中最普遍的查询，将 student.txt 跟 score.txt 关联起来，并分组统计出每名学生的总成绩。将上面示例代码中加粗的 SQL 语句替换为如下语句：

SELECT A. 班级,A. 姓名,sum(B. 成绩) 总分 FROM student.txt A JOIN score.txt B ON A. 班级 =B. 班级 AND A. 学生 ID=B. 学生 ID GROUP BY A. 班级,A. 姓名

执行后，得到每班学生的总分表：

可以看到，集算器用 SQL 查询文本时，对于常规的分组、表的联合都没问题。那么带参数的查询，又该如何写呢？

Ø 使用参数

只需将执行语句方法块里的代码替换为以下代码：

/******************* 执行语句方法 ********************/

CallableStatement cs = null; // 定义 CallableStatement 对象 String

String sql = “SELECT 姓名, 性别 FROM student.txt WHERE 班级 =?”;

cs = con.prepareCall(sql);

cs.setString(1, “一班”);

rst = cs.executeQuery();

/******************* 执行语句方法结束 ****************/

换完后，注意要引入 CallableStatement 类。执行后结果如下：

带参数的句子仍然没问题，调用方法也跟数据库标准是一致的。不过上述结果中，性别显示为数字，集算器 SQL 能不能支持转换语法呢？

Ø CASE 语句

将上面的 SQL 语句替换成带 CASE 的 SQL 语句：

SELECT 姓名,CASE 性别 WHEN 0 THEN ‘男’ ELSE ‘女’ END 性别 FROM student.txt WHERE 班级 =?

结果如下：

通过上面这几个例子可以看到，集算器对常用查询的支持还是比较全面的。鉴于篇幅原因，这里就不继续一一列举了。更多集算器查询文件时的详细语法以及函数，请参考文档：http://doc.raqsoft.com.cn/esproc/func/dbquerysql.html#db_sql_