精华内容
下载资源
问答
  • java读写大文件

    2019-03-21 12:42:00
    java读写2G以上的大文件(推荐使用以下方法) 1 static String sourceFilePath = "H:\\DataSource-ready\\question.json" ; 2 static String distFilePath = "H:\\DataSource-ready\\separate\\" ; 3 4...

     

    java读写2G以上的大文件(推荐使用以下方法)

     

     1     static String sourceFilePath = "H:\\DataSource-ready\\question.json" ;
     2     static String distFilePath = "H:\\DataSource-ready\\separate\\" ;
     3     
     4     public static void main( String[] args )
     5     {
     6         SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");//设置日期格式
     7         System.out.println("开始时间" + sdf.format(new Date()));// new Date()为获取当前系统时间
     8 
     9         long timer = System.currentTimeMillis();         
    10         try {
    11             File file = new File(sourceFilePath);   
    12             BufferedInputStream fis = new BufferedInputStream(new FileInputStream(file));    
    13             BufferedReader reader = new BufferedReader(new InputStreamReader(fis,"utf-8"),7*1024*1024);// 用7M的缓冲读取文本文件  
    14               
    15             int count = 1 ;
    16             String outputFile = distFilePath + count + ".json" ;
    17             FileWriter fw = new FileWriter(outputFile);
    18             String line = "";
    19             while((line = reader.readLine()) != null){
    20                 if ( line.contains("},") ) {
    21                     line = line.replace("},", "}") ;
    22                     fw.append(line + "\r");
    23                     fw.flush();
    24                     fw.close();
    25                     count ++ ;
    26                     outputFile = distFilePath + count + ".json" ;
    27                     fw = new FileWriter(outputFile);
    28                 }
    29                 else {
    30                     fw.append(line + "\r");    
    31                 }                            
    32             }
    33             reader.close();       
    34             fw.flush();
    35             fw.close();
    36         } catch (IOException e) {
    37             System.out.println("读写文件失败!");
    38             e.printStackTrace();
    39         }
    40         timer = System.currentTimeMillis() - timer;  
    41         System.out.println("处理时间:" + timer + " 毫秒");  
    42         System.out.println("结束时间:" + sdf.format(new Date()));
    43     }

     

     

    共同学习,共同进步,若有补充,欢迎指出,谢谢!

     

    转载于:https://www.cnblogs.com/dengguangxue/p/10570933.html

    展开全文
  • 一直在处理爬虫,经常能遇到读写文件的操作,很多时候都是读写超大文件,记录如下:一、读文件importjava.io.BufferedOutputStream;importjava.io.BufferedReader;importjava.io.File;importjava.io....

    一直在处理爬虫,经常能遇到读写文件的操作,很多时候都是读写超大文件,记录如下:

    一、读文件importjava.io.BufferedOutputStream;importjava.io.BufferedReader;importjava.io.File;importjava.io.FileOutputStream;importjava.io.FileReader;importjava.io.FileWriter;importjava.io.IOException;importjava.io.OutputStreamWriter;public voidReadFile(String filename) {

    File file=newFile(filename);

    BufferedReader reader=null;try{

    reader=new BufferedReader(new FileReader(file)); //如果是读大文件 则 new BufferedReader(new FileReader(file),5*1024*1024); 即,设置缓存

    String tempString=null;while((tempString=reader.readLine())!=null)

    {//进行操作.....

    }

    reader.close();

    }catch(IOException e){

    e.printStackTrace();

    }finally{if(reader!=null)

    {try{

    reader.close();

    }catch(IOException e)

    {

    e.printStackTrace();

    }

    }

    }

    }

    二、写文件importjava.io.BufferedOutputStream;importjava.io.BufferedReader;importjava.io.BufferedWriter;importjava.io.File;importjava.io.FileOutputStream;importjava.io.FileReader;importjava.io.FileWriter;importjava.io.IOException;importjava.io.OutputStreamWriter;public voidmethod1(String file,String content){

    BufferedWriter out=null;try{

    out=new BufferedWriter(new OutputStreamWriter(new FileOutputStream(file,true))); //追加的方法

    out.write(content);

    out.write("\r\n");

    }catch(IOException e){

    e.printStackTrace();

    }finally{try{

    out.close();

    }catch(IOException e){

    e.printStackTrace();

    }

    }

    }public voidmain(String[] args)

    {

    String filename="D:\a.txt";

    File f=newFile(filename);if(f.exists()){

    f.delete();

    }

    f.createNewFile();

    String ss="sssssss";

    method1(filename,ss);

    }===========================华丽丽的分隔符=============================在实践中发现上面的方法最多也就能处理10M以内的数据,从而编辑此文章。

    想要真正处理上百M,甚至上G的文件,那就要用到java的nio包:

    下面的代码转自【http://www.oschina.net/code/snippet_54100_7938】

    importjava.io.BufferedReader;importjava.io.File;importjava.io.FileInputStream;importjava.io.IOException;importjava.io.RandomAccessFile;importjava.nio.ByteBuffer;importjava.nio.channels.FileChannel;public classTestNio {public static void main(String args[]) throwsException{int bufSize = 100;

    File fin= new File("D:\\workspace\\test\\usagetracking.log");

    File fout= new File("D:\\workspace\\test\\usagetracking2.log");

    FileChannel fcin= new RandomAccessFile(fin, "r").getChannel();

    ByteBuffer rBuffer=ByteBuffer.allocate(bufSize);

    FileChannel fcout= new RandomAccessFile(fout, "rws").getChannel();

    ByteBuffer wBuffer=ByteBuffer.allocateDirect(bufSize);

    readFileByLine(bufSize, fcin, rBuffer, fcout, wBuffer);

    System.out.print("OK!!!");

    }/*读文件同时写文件*/

    public static void readFileByLine(intbufSize, FileChannel fcin, ByteBuffer rBuffer, FileChannel fcout, ByteBuffer wBuffer){

    String enterStr= "\n";try{byte[] bs = new byte[bufSize];int size = 0;

    StringBuffer strBuf= new StringBuffer("");//while((size = fcin.read(buffer)) != -1){

    while(fcin.read(rBuffer) != -1){int rSize =rBuffer.position();

    rBuffer.rewind();

    rBuffer.get(bs);

    rBuffer.clear();

    String tempString= new String(bs, 0, rSize);//System.out.print(tempString);//System.out.print("<200>");

    int fromIndex = 0;int endIndex = 0;while((endIndex = tempString.indexOf(enterStr, fromIndex)) != -1){

    String line=tempString.substring(fromIndex, endIndex);

    line= new String(strBuf.toString() +line);//System.out.print(line);//System.out.print("");//write to anthone file

    writeFileByLine(fcout, wBuffer, line);

    strBuf.delete(0, strBuf.length());

    fromIndex= endIndex + 1;

    }if(rSize >tempString.length()){

    strBuf.append(tempString.substring(fromIndex, tempString.length()));

    }else{

    strBuf.append(tempString.substring(fromIndex, rSize));

    }

    }

    }catch(IOException e) {//TODO Auto-generated catch block

    e.printStackTrace();

    }

    }/*写文件*/

    public static voidwriteFileByLine(FileChannel fcout, ByteBuffer wBuffer, String line){try{//write on file head//fcout.write(wBuffer.wrap(line.getBytes()));//wirte append file on foot

    fcout.write(wBuffer.wrap(line.getBytes()), fcout.size());

    }catch(IOException e) {//TODO Auto-generated catch block

    e.printStackTrace();

    }

    }

    }

    展开全文
  • 读取文件大小:1.45G第一种,OldIO:publicstaticvoidoldIOReadFile()throwsIOException{BufferedReaderbr=newBufferedReader(newFileReader("G://lily_947.txt"));PrintWriterpw=newPrintWriter("G://oldIO.tmp")...

    读取文件大小:1.45G

    第一种,OldIO:public static void oldIOReadFile() throws IOException{

    BufferedReader br = new BufferedReader(new FileReader("G://lily_947.txt"));

    PrintWriter pw = new PrintWriter("G://oldIO.tmp");

    char[] c = new char[100*1024*1024];

    for(;;){

    if(br.read(c)!=-1){

    pw.print(c);

    }else{

    break;

    }

    }

    pw.close();

    br.close();

    }

    耗时70.79s

    第二种,newIO:public static void newIOReadFile() throws IOException{

    FileChannel read = new RandomAccessFile("G://lily_947.txt","r").getChannel();

    FileChannel writer = new RandomAccessFile("G://newIO.tmp","rw").getChannel();

    ByteBuffer bb = ByteBuffer.allocate(200*1024*1024);

    while(read.read(bb)!=-1){

    bb.flip();

    writer.write(bb);

    bb.clear();

    }

    read.close();

    writer.close();

    }

    耗时47.24s

    第三种,RandomAccessFile:public static void randomReadFile() throws IOException{

    RandomAccessFile read = new RandomAccessFile("G://lily_947.txt","r");

    RandomAccessFile writer = new RandomAccessFile("G://random.tmp","rw");

    byte[] b = new byte[200*1024*1024];

    while(read.read(b)!=-1){

    writer.write(b);

    }

    writer.close();

    read.close();

    }

    耗时46.65

    第四种,MappedByteBuffer:public static void mappedBuffer() throws IOException{

    FileChannel read = new FileInputStream("G://lily_947.txt").getChannel();

    FileChannel writer = new RandomAccessFile("G://buffer.tmp","rw").getChannel();

    long i = 0;

    long size = read.size()/30;

    ByteBuffer bb,cc = null;

    while(isize){

    bb = read.map(FileChannel.MapMode.READ_ONLY, i, size);

    cc = writer.map(FileChannel.MapMode.READ_WRITE, i, size);

    cc.put(bb);

    i+=size;

    bb.clear();

    cc.clear();

    }

    bb = read.map(FileChannel.MapMode.READ_ONLY, i, read.size()-i);

    cc.put(bb);

    bb.clear();

    cc.clear();

    read.close();

    writer.close();

    }

    耗时:36

    前三种读法可以通过jconsole得到资源占用图。

    相对于最后一种内存直接映射方式前面的测试其实无意义,基本秒杀。。。。。

    对于很大的文件直接分块映射时内存会不够,这是因为MappedByteBuffer未被释放造成的,sun未提供直接回收MappedByteBuffer区域的方法,这个时候有两种方法解决,第一种比较愚笨的:System.gc();

    System.runFinalization();

    try {

    Thread.sleep(3000);

    } catch (InterruptedException e) {

    e.printStackTrace();

    }

    第二种网上找来的,利用反射调用clean方法:public static void unmap(final MappedByteBuffer buffer) {

    if (buffer == null) {

    return;

    }

    AccessController.doPrivileged(new PrivilegedAction() {

    public Object run() {

    try {

    Method getCleanerMethod = buffer.getClass().getMethod("cleaner", new Class[0]);

    if (getCleanerMethod != null) {

    getCleanerMethod.setAccessible(true);

    Object cleaner = getCleanerMethod.invoke(buffer,new Object[0]);

    Method cleanMethod = cleaner.getClass().getMethod("clean", new Class[0]);

    if (cleanMethod != null) {

    cleanMethod.invoke(cleaner, new Object[0]);

    }

    }

    } catch (Exception e) {

    e.printStackTrace();

    }

    return null;

    }

    });

    }

    以上两种方法感觉都别扭,还有就是可以自己分割成物理文件再循环调用,这个也不太美观。

    速度也会减慢好多。

    展开全文
  • 由于前两天要做导表工具,比较了常用的方法,总结一下写个短文,1.OLE的方式这个大约是最常用的方式,这个方式其实启动了一个EXCEL的进程在背后读写EXCEL文件,这个方式的最大好处是什么事情都能做。包括设置EXCEL的...

    C++读取Excel的XLS文件的方法有很多,但是也许就是因为方法太多,大家在选择的时候会很疑惑。

    由于前两天要做导表工具,比较了常用的方法,总结一下写个短文,

    1.OLE的方式

    这个大约是最常用的方式,这个方式其实启动了一个EXCEL的进程在背后读写EXCEL文件,这个方式的最大好处是什么事情都能做。包括设置EXCEL的格式,增加删除Sheet,读写单元格,等等。功能几乎是最全的,而且使用起来也不是特别的难。

    其基本方法都是使用导出的.h文件进行OLE操作,但是由于OLE的接口说明文档不多,想非常完美的使用她们也不是太容易,好在例子也很多。

    网上普遍认为OLE速度慢,EXCEL的OLE读写方式也基本一样。但是读取速度可以改进,如果在读取的加载整个Sheet的Range的全部数据,而不是一个个单元格读取,那么速度还是相对不错。想想原理也很简单,整体读取减少了OLE的交互次数。OLE的写入方式一般只能几个进行比较方便,所以速度可能要快很多。

    我自己的亲身体会是,一个EXCEL文件,100多列的字段,如果采用一个个单元格的读取方式,1s大约3条左右的记录,如果整体读取,速度可以提高几十倍。

    OLE读写EXCEL方式功能很强大,读取速度还可以,但写入速度不高,当然这个方式不可能移植的,而且你必须安装了EXCEL。

    2.Basic EXCEL 方式

    这是CodeProject上的一个推荐开源工程了,

    作者是基于EXCEL的文件格式进行的处理。但是为什么叫Basic EXCEL呢。

    他不支持很多东西,公式,文件格式,表格合并等(有人说中文支持也不好),所以可以认为他只支持最基本的EXCEL表格,

    我自己的尝试是如果这个EXCEL文件有其他元素(公式,格式等),使用Basic EXCEL读取会失败。

    OLE读写EXCEL方式功能比较弱,由于是直接根据文件格式操作,读写速度都不错,你也不需要按照EXCEL,另外这个方式是可以移植的,但是有一些成本,其代码比较晦涩难懂,而且没有注释,另外即使在Windows平台上,告警也很多。

    3.Sourceforge 上的几个EXCEL库。

    Sourceforge 上有几个开源的的EXCEL库,但是完善的不多,有的是为了PHP读写EXCEL准备的,包括libXLS,XLSlib,SmartEXCEL等。我下载了几个实验了一下,在Widonws都没有编译成功。也罢了。

    4.ODBC的方式

    这个亲身没有尝试过,但是按照原理,应该只能读写。

    速度吗,ODBC的速度本来就是出名的慢了。

    值得一提的是Basic EXCEL的作者原来在CodeProject上有一个给予ODBC方式的封装CSpreadSheet 。如果有兴趣,大家可以去看看。其实内心还是很佩服这个作者的。

    5.ADO的方式

    ADO的方式听说应该就是使用OLEDB的方式。和OLE的方式应该没有本质区别。我看了看例子也和OLE很像

    6.LibXL

    LibXL 是一个收费的EXCEL的库。

    按照他的说明,他可以不依赖EXCEL读取XLS文件。包括设置格式等。看例子操作应该很简单。但是是否可以移植到Linux平台,我估计难度也不小。呵呵。

    由于要收费,没有法子测试了。

    7.网上一些号称不用OLE读取EXCEL例子

    初步看了一下,这个应该是网上探索EXCEL格式文档的例子。可以实际操作的方式不强。

    第一。

    LibXL 目前国内用的人不少。当然他其实没有免费,只是……你在CSDN也能找到了。

    其实作者买的也不算太贵了。

    第二。

    基于QT的代码。

    https://github.com/dbzhang800/QtXlsxWriter

    这个库可以读取XLSX的格式。其实是这个格式目前也开源了。

    当然前提是你用QT,这个工程量优点浩大。

    第三,

    xlslib,这个库可以读取写入xls格式的

    http://sourceforge.net/projects/xlslib/?source=navbar

    如果你是用.NET,你就太幸福了。可选的多了取了。

    http://blog.wwery.cn/?p=210

    什么你想把.NET的库转换为C++可以使用?这个……希望你能成功。

    jxl和POI的区别

    首先从优缺点上来说

    一、jxl

    优点:

    Jxl对中文支持非常好,操作简单,方法看名知意。

    Jxl是纯javaAPI,在跨平台上表现的非常完美,代码可以再windows或者Linux上运行而无需重新编写

    支持Excel 95-2000的所有版本(网上说目前可以支持Excel2007了,还没有尝试过)

    生成Excel 2000标准格式

    支持字体、数字、日期操作

    能够修饰单元格属性

    支持图像和图表,但是这套API对图形和图表的支持很有限,而且仅仅识别PNG格式。

    缺点:效率低,图片支持不完善,对格式的支持不如POI强大, 2009年后jxl不再更新, poi一直在更新.

    二、POI

    优点:

    缺点:不成熟,代码不能跨平台,貌似不少同行在使用工程中还碰到让人郁闷的BUG(最近的项目中也是遇到了一些bug,不过目前没有查出来是代码的问题还是POI的问题,总之问题很诡异,数据替代参数总有失败的。关于不能跨平台这一说,我也没有试验过,不过Java不是跨平台吗?POI是JAVA的一个组件,怎么就不能跨平台了呢,总之这些问题还需要在以后的项目中多多实践,才能比较出区别之处。)

    访问excel表格的方法论。

    (1)ODBC方法。利用ODBC把Excel文件当成数据库文件,来进行读、写、修改等操作。首先,应确保ODBC中已安装有Excel表格文件的驱动。无法跨平台。

    (2)OLE方法。详细大家可以查看百度百科。不支持跨平台。功能最全面。

    (3)文本解析方法。微软开放了excel的格式文档,可以对excel的组成文件直接访问。这也是利用其格式化数据存储的思维方式。

    22a28d93f47a8cfd063ce202e88d44f4.png

    展开全文
  • java 读取容量文件,内存溢出?怎么分段读取(按import java.io.BufferedReader; import java.io.FileNotFoundException; import java.io.FileReader; import java.io.IOException; import java.io....
  • 最近本人接到一个需求,需要从文件读取数据,然后经过业务处理之后存储到数据库中。这个需求,说实话不是很难,本人很快完成了第一个版本。内存读取第一个版本,本人采用内存读取的方式,所有的数据首先读读取到内存...
  • 近期处理的数据规模比较,正好又是统计合并的事情,想着借助excel就可以完成了,然后就了解了下java读取excel的事情。读取的文件主要分两类:xls文件、xlsx文件。xls文件的相关操作用的是jxl.jar包,只要将这个包...
  • 如下的程序,将一个行数为fileLines的文本文件平均分为splitNum个小文本文件,其中换行符'r'是linux上的,windows的java换行符是'\r\n':packagekddcup2012.task2.FileSystem;importjava.io.BufferedInputStream;...
  • java读写文件,读超大文件

    千次阅读 2016-05-15 08:45:37
    一直在处理爬虫,经常能遇到读写文件的操作,很多时候都是读写超大文件,记录如下: 一、读文件  import java.io.BufferedOutputStream;  import java.io.BufferedReader;  import java.io.File;  import ...
  • RandomAccessFileRandomAccessFile是用来访问那些保存数据记录的文件的,你就可以用seek( )方法来访问记录,并进行读写了。这些记录的大小不必相同;但是其大小和位置必须是可知的。但是该类仅限于操作文件。...
  • importjava.io.BufferedReader;importjava.io.File;importjava.io.FileInputStream;importjava.io.IOException;importjava.io.RandomAccessFile;importjava.nio.ByteBuffer;importjava.nio.channels.FileChannel;pub...
  • 本文实例主要实现Java读写ini文件,具体如下,代码中有详细注释。在java中,配置文件一般主要是两种形式:xml文件或者property文件。但部分人都习惯使用ini文件,而且ini文件的分节以及注释功能,比起xml,也是...
  • 实现Java读写ini文件

    千次阅读 2018-07-12 17:03:24
    本文实例主要实现Java读写ini文件,具体如下,代码中有详细注释。在java中,配置文件一般主要是两种形式:xml文件或者property文件。但部分人都习惯使用ini文件,而且ini文件的分节以及注释功能,比起xml,也是...
  • java 读写 csv 文件

    2019-06-24 21:40:12
    Java 中提供了大量的工具包来操作 execel 、csv 等文件,本文采用 opencsv 来对 csv 文件进行读写;execel 可以使用poi来进行读写。 pom 依赖 <dependency> <groupId>com.opencsv</groupId> <...
  • 对于几百M或上G的大文件可使用java nio进行读写 , 根据个人的需求 可能需要将一个超大文件读写形成很多较小的文件进行分析,这也不是什么难事,在读完一个缓冲区后 更换写入的对象即可,本文就不做详细介绍了,有...
  • 第一种,OldIO:public static void oldIOReadFile() throws IOException{BufferedReader br = new BufferedReader(new FileReader("G://lily_947.txt"));PrintWriter pw = new PrintWriter("G://oldIO.tmp");...
  • 本文实例主要实现Java读写ini文件,具体如下,代码中有详细注释。在java中,配置文件一般主要是两种形式:xml文件或者property文件。但部分人都习惯使用ini文件,而且ini文件的分节以及注释功能,比起xml,也是...
  • java 读写文件

    2019-07-16 16:56:16
    java.io几种读写文件的方式 一、Java把这些不同来源和目标的数据都统一抽象为数据流。  Java语言的输入输出功能是十分强大而灵活的。  在Java类库中,IO部分的内容是很庞大的,因为它涉及的领域很广泛:标准输入...
  • Java读写大文本文件(2GB以上) 如下的程序,将一个行数为fileLines的文本文件平均分为splitNum个小文本文件,其中换行符'r'是linux上的,windows的java换行符是'\r\n': package kddcup2012.task2.FileSystem;...
  • 第一种,OldIO:public static void oldIOReadFile() throws IOException{BufferedReader br = new BufferedReader(new FileReader("G://lily_947.txt"));PrintWriter pw = new PrintWriter("G://oldIO.tmp");...
  • java 读写ini文件

    2015-04-29 17:29:03
    java中,配置文件一般主要是两种形式:xml文件或者property文件。但部分人都习惯使用ini文件,而且ini文件的分节以及注释功能,比起xml,也是易懂易用的。 在vc中类库中有读写ini文件的标准函数。在dephi或其他...
  • java读写XML文件(DOM)

    2020-04-06 16:28:43
    java读写XML文件 在这里呢,我只介绍一种读写XML文件的方法,因为目前为止,我只会一种。不过,经过我的测试,读写程序都是能正常运行的。 java操作XML文档主要有四种方式,分别是DOM、SAX、JDOM和DOM4J,DOM和...
  • 主要为大家详细介绍了java实现超大文件读写功能,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
  • Java NIO 由以下几个核心部分组成:ChannelsBuffersSelectors虽然Java NIO 中除此之外还有很多类和组件,但在我看来,Channel,Buffer 和 Selector 构成了核心的API。其它组件,如Pipe和FileLock,只不过是与三个...
  • 软硬件环境windows 10 64bitsanaconda with python 3.7xlrd 1.2.0xlwt 1.3.0简介数据处理是python编程语言的一应用领域,而excel又...工具这里我们使用xlrd和xlwt来进行excel文件读写我们使用pip进行安装pip ins...
  • java 读写 yaml 文件

    千次阅读 2017-06-29 16:33:11
    ”类似于XML但比XML更简洁,适合编写配置文件。基本语法规则 小写敏感 使用缩进表示层级关系 缩进时不允许使用Tab键,只允许使用空格 缩进的空格数目不重要,只要相同层级的元素左侧对齐即可 支持的数据结构 对象...
  • java超大文件读写

    2015-04-16 17:58:04
    原文:... 一直在处理爬虫,经常能遇到读写文件的操作,很多时候都是读写超大文件,记录如下: 一、读文件  import java.io.BufferedOutputStream;  import java.io.BufferedReader;  

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,930
精华内容 1,172
关键字:

java读写大文件文件

java 订阅