2010-11-02 10:43:00 cherryalps 阅读数 2727
  • 大数据Spark实战视频教程

    大数据Spark实战视频培训教程:本课程内容涉及,Spark虚拟机安装、Spark表配置、平台搭建、快学Scala入门、Spark集群通信、任务调度、持久化等实战内容。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

    35120 人正在学习 去看看 张长志

C语言可以说是我学习的第一门语言,不过似乎也是忘的最多的一门语言,自从因为项目需要重新拾起C语言,我的噩梦就开始了。

依稀记得大二学习数据结构时编程解决“约瑟夫环”、“迷宫”等问题后的骄傲,认为C简直就是天神一般的语言,如此强大,如此让人着迷。后来学了C++,后来开始搞.net,后来自学了CSS和简要的PHP,当C快被我抛弃的时候,由于种种原因,被分到一个新的项目,重新开始做C编程。

继语法树构造完之后自我放假了好久,这两天开工写了一段文件处理的代码,发现以前学习的C语言知识确实完全还给老师了,小崔,我对不起你啊,下面是遭遇问题小结。

1. 字符型转化为整型

如果不是正好用到,我想我永远不会知道居然还有标准库函数可以将字符串转换为任意类型(整型、长整型、浮点型等),我太无知了,我居然只知道强制类型转换,却从来没想过对于字符串要怎样处理,不过还好有人跟我一样不知道,哼哼。

atof():将字符串转换为双精度浮点型值;
atoi():将字符串转换为整型值;
atol():将字符串转换为长整型值;
strtod():将字符串转换为双精度浮点型值,并报告不能被转换的所有剩余数字;
strtol():将字符串转换为长整值,并报告不能被转换的所有剩余数字;
strtoul():将字符串转换为无符号长整型值,并报告不能被转换的所有剩余数字。

用法非常简单,举例说明如下:

运行结果如下:

cherry@ubuntu:~$ gcc test.c -o test
cherry@ubuntu:~$ ./test
lineno_str : 123
lineno_int : 123

2. 在文件指定行的末尾添加信息

找到某一行还是很容易的,但是在文件中进行插入比较麻烦,本来以为找到指定行直接在末尾添加就可以了,结果悲剧的发现后面的东西被替换了,惆怅。google了下发现文件的内容在缓冲区中是按字节顺序操作的,所以修改文件内容是顺序操作,在某位置修改时会把原始存放在该位置的内容给替换掉,而不是在文件的当前位置插入你修改的内容。

无奈只好走了一条曲折的路线,逐行读取原文件,如不是待修改行则直接拷贝到新建的一个临时文件,如是待修改行则进行修改后再拷贝过去,然后将原来的文件删除,将临时文件重命名为原来的文件。由于要修改好几行,来来回回反反复复还真是麻烦,谁有更好的方法记得告诉我啊。

由于这段代码比较长,就不贴出来了占篇幅了,只附一段逐行读取文件的吧,虽然这块是从网上找来然后修改的,嘿嘿。

 
(2010年8月31日)
2017-11-22 15:55:00 weixin_34186950 阅读数 38
  • 大数据Spark实战视频教程

    大数据Spark实战视频培训教程:本课程内容涉及,Spark虚拟机安装、Spark表配置、平台搭建、快学Scala入门、Spark集群通信、任务调度、持久化等实战内容。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

    35120 人正在学习 去看看 张长志

工作中经常要遇到将xlsx文件中的部分内容导入到数据库。通常我们都是用PHPExcel来读取。

通过下面的方法我们可以很容易将一个excel表格读取成为php数组,之后就可以为所欲为了:


  1. $input_file = "data.xlsx"
  2. $objPHPExcel = PHPExcel_IOFactory::load($input_file); 
  3. $sheetData = $objPHPExcel->getSheet(0)->toArray(null, true, true, true); 

如果文章到此结束,那价值就不大了。

很不幸的情况总是存在的,当data.xlsx有上万行,每一行又有很多列,每一列又有很长的字符串,并且有的还有颜色等效果时,用上面的方法经常发生的情况就是内存不足。

好吧,我们还有ini_set来加大内存,还可以用set_time_limit来设置较长的超时,如下:


  1. set_time_limit(90); 
  2. ini_set("memory_limit", "1024M"); 
  3. $input_file = "data.xlsx"
  4. $objPHPExcel = PHPExcel_IOFactory::load($input_file); 
  5. $sheetData = $objPHPExcel->getSheet(0)->toArray(null, true, true, true); 

但很负责任的说,这些都不是终极的方案。

我曾经试过将内存设置到了2G,超时设置到了90秒,也仍然读不出一个4000行的花花绿绿的表格。原因都出在toArray这个方法上,它会将处理的结果全保存到数组中,这种方式在处理简单表格时还是很方便的,但在处理大表格时,真的是很杯具。

我们的解决方案如下:


  1. require 'lib/PHPExcel.php'; 
  2.  
  3. set_time_limit(90); 
  4. $input_file = "data.xlsx"
  5. $objPHPExcel = PHPExcel_IOFactory::load($input_file); 
  6.  
  7. // 读取规则 
  8. $sheet_read_arr = array(); 
  9. $sheet_read_arr["sheet1"] = array("A","B","C","D","F"); 
  10. $sheet_read_arr["sheet2"] = array("A","B","C","D","F"); 
  11.  
  12. // 循环所有的页 
  13. foreach ($sheet_read_arr as $key => $val) 
  14.     $currentSheet = $objPHPExcel->getSheetByName($key);// 通过页名称取得当前页 
  15.     $row_num = $currentSheet->getHighestRow();// 当前页行数 
  16.  
  17.     // 循环从第二行开始,第一行往往是表头 
  18.     for ($i = 2; $i <= $row_num; $i++) 
  19.     { 
  20.         $cell_values = array(); 
  21.         foreach ($val as $cell_val) 
  22.         { 
  23.             $address = $cell_val . $i;// 单元格坐标 
  24.  
  25.             // 读取单元格内容 
  26.             $cell_values[] = $currentSheet->getCell($address)->getFormattedValue(); 
  27.         } 
  28.  
  29.         // 看看数据 
  30.         print_r($cell_values); 
  31.     } 

上面的方式算是较复杂的情况了,如果只是想将所有的单元格全读出来,用下面的方法就行了:


  1. require 'lib/PHPExcel.php'; 
  2.  
  3. set_time_limit(90); 
  4. $input_file = "data.xlsx"
  5. $objPHPExcel = PHPExcel_IOFactory::load($input_file); 
  6.  
  7. $sheet_count = $objPHPExcel->getSheetCount(); 
  8. for ($s = 0; $s < $sheet_count; $s++) 
  9.     $currentSheet = $objPHPExcel->getSheet($s);// 当前页 
  10.     $row_num = $currentSheet->getHighestRow();// 当前页行数 
  11.     $col_max = $currentSheet->getHighestColumn(); // 当前页最大列号 
  12.  
  13.     // 循环从第二行开始,第一行往往是表头 
  14.     for($i = 2; $i <= $row_num; $i++) 
  15.     { 
  16.         $cell_values = array(); 
  17.         for($j = 'A'; $j < $col_max; $j++) 
  18.         { 
  19.             $address = $j . $i; // 单元格坐标 
  20.             $cell_values[] = $currentSheet->getCell($address)->getFormattedValue(); 
  21.         } 
  22.  
  23.         // 看看数据 
  24.         print_r($cell_values); 
  25.     } 

我们可以将上面的print_r地方改成组拼sql语句并写入文件,然后用mysql导入,当然也可以直接连接数据库向表中插入记录,这就随意了。

用这种方法可以将上万行的记录很轻松的导入到表中,希望对大家有所帮助。










本文转自 ustb80 51CTO博客,原文链接:http://blog.51cto.com/ustb80/1066505,如需转载请自行联系原作者
2012-07-16 13:31:42 onetwofree 阅读数 1880
  • 大数据Spark实战视频教程

    大数据Spark实战视频培训教程:本课程内容涉及,Spark虚拟机安装、Spark表配置、平台搭建、快学Scala入门、Spark集群通信、任务调度、持久化等实战内容。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

    35120 人正在学习 去看看 张长志

WebNoteEditor.HttpUpload断点续传上传控件介绍

 

WebNoteEditor.HttpUpload(以下简称HttpUpload)是分段读取本地文件向服务器端post数据,她可以由javascript自由控制分段大小,可以结合服务器端用asp,.net,php,jsp编写的程序实现断点续传的业务流程。

演示视频下载:http://www.webnoteeditor.com/download/vediohttpupload.rar

 

本插件不提供数字签名,提供本地安装包。安装后在ie内核的浏览器即可使用,无需再次确认允许运行。

http://item.taobao.com/item.htm?id=14255026178

旺旺不在线,只有交易的时候开一下。
购买编辑器或其他软件的朋友请先用QQ(20525769)咨询了解清楚后,再联系购买。

 

 

价格

1000

文件允许上传大小

不限制

支持的浏览器

IE内核的浏览器均可

使用期限

不限制

销售内容

  • AspJspPhp.net的调用例子
  • 1个授权文件
  • 接口说明文档

技术支持服务时限

4

技术支持服务范围

仅关于本控件的调测,如需要我方代购买方整合到实际应用。具体另外友好商谈。

 

 

*授权限制说明:

 

以域名根授权,*.yourdomain.com。譬如http://www.yourdomain.com/yourdomain.com被视为一个域名。

 

如果用于公网ip,那么可以单一ip授权。如果用于局域网,可以ip授权前三段,末段可变。

2018-06-18 19:41:48 sun124608666 阅读数 491
  • 大数据Spark实战视频教程

    大数据Spark实战视频培训教程:本课程内容涉及,Spark虚拟机安装、Spark表配置、平台搭建、快学Scala入门、Spark集群通信、任务调度、持久化等实战内容。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

    35120 人正在学习 去看看 张长志

导入10W+的csv数据到mysql


  1. $handle=fopen("1.csv","r");  
  2.       
  3. //将文件一次性全部读出来  
  4. $excelData = array();  
  5. $content = trim(file_get_contents($fileName));  
  6. $excelData = explode("\n",$content);  

或者直接用$excelData = file($file);   file() 函数直接将数据读出并放入数组当中。

我们先将所有的文件一次性读出来。放到一个数组$excelData 中。这个时候,我们就可以不用管这个csv 文件了,纯粹了php 操作数组了。所以。不会崩溃异常:

  1. $chunkData = array_chunk($excelData , 5000); // 将这个10W+ 的数组分割成5000一个的小数组。这样就一次批量插入5000条数据。mysql 是支持的。  
  2.         $count = count($chunkData);  
  3.         for ($i = 0; $i < $count$i++) {  
  4.             $insertRows = array();  
  5.             foreach($chunkData[$ias $value){  
  6.                 $string = mb_convert_encoding(trim(strip_tags($value)), 'utf-8''gbk');//转码  
  7.                 $v = explode(',', trim($string));  
  8.                 $row = array();  
  9.                 $row['cdate']    = empty($v[0]) ? date('Y-m-d') : date('Y-m-d',strtotime($v[0]));  
  10.                 $row['business'] = $v[1];  
  11.                 $row['project']  = $v[2];  
  12.                 $row['shopname'] = $v[3];  
  13.                 $row['shopid']   = $v[4];  
  14.                 $row['fanli']    = formatNumber($v[5]);  
  15.                 $row['fb']   = $v[6] * 100;  
  16.                 $row['jifen']    = $v[7];  
  17.                 $sqlString       = '('."'".implode( "','"$row ) . "'".')'//批量  
  18.                 $insertRows[]    = $sqlString;  
  19.             }  
  20.             $result = $model->addDetail($insertRows); //批量将sql插入数据库。  
  21.         }  


插入数据库当然是批量插入了:

  1. public function addDetail($rows){  
  2.         if(empty($rows)){  
  3.             return false;  
  4.         }  
  5.         //数据量较大,采取批量插入  
  6.         $data = implode(','$rows);  
  7.         $sql = "INSERT IGNORE INTO tb_account_detail(cdate,business,project,shopname,shopid,fanli,fb,jifen)  
  8.                  VALUES {$data}";  
  9.         $result = $this->query($sql);  
  10.         return true;  
  11.     }  



ok ! 亲测试。10W 数据。6个字段。插入需要10秒。

导出10W+的数据到csv

放弃之前写的一篇博客中用到的方法:http://blog.csdn.net/think2me/article/details/8596833 。原因是:当超过50W+ 以上的数据时,有可能浏览器崩溃,内存超。

这个方法是写文件的方式。然后再把文件弹出下载。

  1. public function dump2Excel() {  
  2.   
  3.     set_time_limit(0);  
  4.     ini_set('memory_limit''640M');  
  5.     //获取列表  
  6.     $name = $this->getActionName();  
  7.     $model = D(GROUP_NAME . '.' . $name);  
  8.     $map = $this->_search();  
  9.     //文件名  
  10.     if (isset($_GET['error']) && $_GET['error'] > 0) {  
  11.         $filename = C('IMG_PATH').'account_data_error_' . $map['action_id'] . '_' . date('Y-m-d'mktime()) . '.csv';  
  12.     }else{  
  13.         $filename = C('IMG_PATH').'account_data_all_' . $map['action_id'] . '_' . date('Y-m-d'mktime()) . '.csv';  
  14.     }  
  15.   
  16.     //用户信息,商家ID,联盟,商家订单号,商品分类,确认类别,下单时间,完成时间,  
  17.     //实际支付金额,佣金,佣金补贴,返利,F币,论坛积分,备注,强制入库  
  18.     // 'user_info', 'shopid', 'league', 'order_id', 'classify', 'confirm_type',  
  19.     //'buydate', 'paydate', 'real_pay', 'commission', 'commission_plus',  
  20.     // 'fanli', 'jifen', 'bbs', 'remarks', 'persist_execute', 'unique_sign','error_code'  
  21.     $header[] =  iconv("utf-8""gb2312""用户信息");  
  22.     $header[] = iconv("utf-8""gb2312""商家ID");  
  23.     $header[] = iconv("utf-8""gb2312""联盟");  
  24.     $header[] = iconv("utf-8""gb2312""商家订单号");  
  25.     $header[] = iconv("utf-8""gb2312""商品分类");  
  26.     $header[] = iconv("utf-8""gb2312""确认类别");  
  27.     $header[] = iconv("utf-8""gb2312""下单时间");  
  28.     $header[] = iconv("utf-8""gb2312""完成时间");  
  29.     $header[] = iconv("utf-8""gb2312""实际支付金额");  
  30.     $header[] = iconv("utf-8""gb2312""佣金");  
  31.     $header[] = iconv("utf-8""gb2312""佣金补贴");  
  32.     $header[] = iconv("utf-8""gb2312""返利");  
  33.     $header[] = iconv("utf-8""gb2312""F币");  
  34.     $header[] = iconv("utf-8""gb2312""论坛积分");  
  35.     $header[] = iconv("utf-8""gb2312""备注");  
  36.     $header[] = iconv("utf-8""gb2312""强制入库");  
  37.     $header[] = iconv("utf-8""gb2312""唯一标识");  
  38.     $header[] = iconv("utf-8""gb2312""错误信息");  
  39.   
  40.     $headerFile = implode(','$header);  
  41.   
  42.     //写入标题  
  43.     @unlink($filename);  
  44.     file_put_contents($filename$headerFile."\n");  
  45.   
  46.     //获取所有error_code  
  47.     $list = D('Fanli')->table('tb_account_action_data_error_code')->field('id,err_msg')->findAll();  
  48.     $error_msg = array();  
  49.     foreach ($list as $value) {  
  50.         $error_msg[$value['id']] = $value['err_msg'];  
  51.     }  
  52.     //导入错误的数据  
  53.     if (isset($_GET['error']) && $_GET['error'] > 0) {  
  54.         $map['error_code'] = array('gt', 0);  
  55.     }  
  56.   
  57.     if (!empty($map['action_id'])) {  
  58.         $allCount = $model->where($map)->field('count(1) as count')->select();  
  59.         $pageLimit = ceil($allCount[0]['count']/self::PAGE_COUNT);  
  60.         $voList = array();  
  61.         //打开文件  
  62.         if (!$handle = fopen($filename'a')) {  
  63.             echo "不能打开文件 $filename";  
  64.             exit;  
  65.         }  
  66.         //分页获取  
  67.         for($i=0;$i<$pageLimit;$i++){  
  68.             $count = self::PAGE_COUNT;  
  69.             $start = $count * $i;  
  70.             $limit = "$start,$count";  
  71.             $voList  = $model->where($map)->limit($limit)->order('id desc')->findAll();  
  72.             //写入文件  
  73.             $excelString = array();  
  74.             foreach ($voList as $v) {  
  75.                 $dumpExcel = array();  
  76.                 $dumpExcel[] = mb_convert_encoding($v['user_info'], 'GBK''UTF-8');  
  77.                 $dumpExcel[] = mb_convert_encoding($v['shopid'], 'GBK''UTF-8');  
  78.                 $dumpExcel[] = mb_convert_encoding($v['league'], 'GBK''UTF-8');  
  79.                 $dumpExcel[] = mb_convert_encoding($v['order_id'], 'GBK''UTF-8');  
  80.                 $dumpExcel[] = mb_convert_encoding($v['classify'], 'GBK''UTF-8');  
  81.                 $dumpExcel[] = mb_convert_encoding($v['confirm_type'], 'GBK''UTF-8');  
  82.                 $dumpExcel[] = "'".mb_convert_encoding($v['buydate'], 'GBK', 'UTF-8');  
  83.                 $dumpExcel[] = "'".mb_convert_encoding($v['paydate'], 'GBK', 'UTF-8');  
  84.                 $dumpExcel[] = mb_convert_encoding($v['real_pay'], 'GBK''UTF-8');  
  85.                 $dumpExcel[] = mb_convert_encoding($v['commission'], 'GBK''UTF-8');  
  86.                 $dumpExcel[] = mb_convert_encoding($v['commission_plus'], 'GBK''UTF-8');  
  87.                 $dumpExcel[] = mb_convert_encoding($v['fanli'], 'GBK''UTF-8');  
  88.                 $dumpExcel[] = mb_convert_encoding($v['jifen'], 'GBK''UTF-8');  
  89.                 $dumpExcel[] = mb_convert_encoding($v['bbs'], 'GBK''UTF-8');  
  90.                 $dumpExcel[] = mb_convert_encoding($v['remarks'], 'GBK''UTF-8');  
  91.                 $dumpExcel[] = intval($v['persist_execute']);  
  92.                 $dumpExcel[] = mb_convert_encoding($v['unique_sign'], 'GBK''UTF-8');  
  93.                 $dumpExcel[] = mb_convert_encoding($error_msg[$v['error_code']], 'GBK''UTF-8');  
  94.                 $excelString[] = implode(',',$dumpExcel);  
  95.             }  
  96.             //只能一行行些。不然容易漏  
  97.             foreach($excelString as $content){  
  98.                 fwrite($handle$content . "\n");  
  99.             }  
  100.             unset($excelString);  
  101.         }  
  102.         fclose($handle);  
  103.     }  
  104.     //导出下载  
  105.     header("Content-type: application/octet-stream");  
  106.     header('Content-Disposition: attachment; filename="' . basename($filename) . '"');  
  107.     header("Content-Length: "filesize($filename));  
  108.     readfile($filename);  


2011-10-28 16:33:40 fyh2003 阅读数 27200
  • 大数据Spark实战视频教程

    大数据Spark实战视频培训教程:本课程内容涉及,Spark虚拟机安装、Spark表配置、平台搭建、快学Scala入门、Spark集群通信、任务调度、持久化等实战内容。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

    35120 人正在学习 去看看 张长志
 

CSV其实就是COMMA SEPARATED VALUE的缩写。
在开发中用Java操作csv文件有专门的的API叫javacsv.jar

javacsv.jar下载地址:
http://sourceforge.net/project/showfiles.php?group_id=33066

 


下面演示一段操作代码仅供参考:

 

Java代码 复制代码 收藏代码
  1. package com.syc.test.bean;   
  2.   
  3. public class ReslutBean {   
  4.     String help_keyword_id;   
  5.     String name;   
  6.   
  7.     public String getHelp_keyword_id() {   
  8.         return help_keyword_id;   
  9.     }   
  10.   
  11.     public void setHelp_keyword_id(String help_keyword_id) {   
  12.         this.help_keyword_id = help_keyword_id;   
  13.     }   
  14.   
  15.     public String getName() {   
  16.         return name;   
  17.     }   
  18.   
  19.     public void setName(String name) {   
  20.         this.name = name;   
  21.     }   
  22.   
  23. }  

 

Java代码 复制代码 收藏代码
  1. package com.syc.test.javaCSV;   
  2.   
  3. import java.io.IOException;   
  4. import java.nio.charset.Charset;   
  5. import java.util.ArrayList;   
  6. import java.util.List;   
  7.   
  8. import com.csvreader.CsvReader;   
  9. import com.csvreader.CsvWriter;   
  10. import com.syc.test.DAO.ConnectionDB;   
  11. import com.syc.test.bean.ReslutBean;   
  12.   
  13. public class Java2CSV {   
  14.     /**  
  15.      * @param args  
  16.      * @throws Exception  
  17.      */  
  18.     public static void main(String[] args) throws Exception {   
  19.         // 从获取将要写入csv文件的结果集   
  20.         List<ReslutBean> list = new ArrayList<ReslutBean>();   
  21.         list = ConnectionDB.querySQL();   
  22.   
  23.         // 预组装csv文件内容标题行   
  24.         String[][] data = new String[list.size() + 1][2];   
  25.         data[0][0] = "Help_keyword_id";   
  26.         data[0][1] = "Name";   
  27.   
  28.         // 预组装csv文件内容   
  29.         int len = list.size();   
  30.         for (int i = 0; i < len; i++) {   
  31.             data[i + 1][0] = list.get(i).getHelp_keyword_id();   
  32.             data[i + 1][1] = list.get(i).getName();   
  33.         }   
  34.   
  35.         writerCsv("e://c测试.csv", data);   
  36.         readerCsv("e://c测试.csv");   
  37.     }   
  38.   
  39.     /**  
  40.      * 读取csv  
  41.      *   
  42.      * @param csvFilePath  
  43.      * @throws Exception  
  44.      */  
  45.     public static void readerCsv(String csvFilePath) throws Exception {   
  46.   
  47.         CsvReader reader = new CsvReader(csvFilePath, ',',   
  48.                 Charset.forName("GBK"));// shift_jis日语字体,utf-8  
  49.         reader.readHeaders();   
  50.         String[] headers = reader.getHeaders();   
  51.   
  52.         List<Object[]> list = new ArrayList<Object[]>();   
  53.         while (reader.readRecord()) {   
  54.             list.add(reader.getValues());   
  55.         }   
  56.         Object[][] datas = new String[list.size()][];   
  57.         for (int i = 0; i < list.size(); i++) {   
  58.             datas[i] = list.get(i);   
  59.         }   
  60.   
  61.         /*  
  62.          * 以下输出  
  63.          */  
  64.   
  65.         for (int i = 0; i < headers.length; i++) {   
  66.             System.out.print(headers[i] + "\t");   
  67.         }   
  68.         System.out.println("");   
  69.   
  70.         for (int i = 0; i < datas.length; i++) {   
  71.             Object[] data = datas[i]; // 取出一组数据  
  72.             for (int j = 0; j < data.length; j++) {   
  73.                 Object cell = data[j];   
  74.                 System.out.print(cell + "\t");   
  75.             }   
  76.             System.out.println("");   
  77.         }   
  78.     }   
  79.   
  80.     /**  
  81.      * 写入csv  
  82.      *   
  83.      * @param csvFilePath文件名路径  
  84.      *            +文件名字  
  85.      * @param data数据项  
  86.      */  
  87.     public static void writerCsv(String csvFilePath, String[][] data) {   
  88.   
  89.         CsvWriter writer = null;   
  90.         try {   
  91.             writer = new CsvWriter(csvFilePath, ',', Charset.forName("GBK"));// shift_jis日语字体,utf-8  
  92.   
  93.             for (int i = 0; i < data.length; i++) {   
  94.                 writer.writeRecord(data[i]);   
  95.             }   
  96.         } catch (IOException e) {   
  97.             e.printStackTrace();   
  98.         } finally {   
  99.             writer.close();   
  100.         }   
  101.     }   
  102. }  

  

 

当然你还可以用supecsv 或者 opencsv啦。

先下载javacsv2.0.zip的文件,解压后,把javacsv.jar 添加到项目中。

 

官方下载地址:
http://sourceforge.net/project/showfiles.php?group_id=33066

API地址:

http://javacsv.sourceforge.net/
简单的操作代码:

Java代码 复制代码 收藏代码
  1. import java.io.IOException;   
  2. import java.nio.charset.Charset;   
  3. import java.util.ArrayList;   
  4. import com.csvreader.CsvReader;   
  5. import com.csvreader.CsvWriter;   
  6.     
  7. public class DB2ExportCsv   
  8. {   
  9.     /**  
  10.     * 读取CSV文件  
  11.     */  
  12.     public void  readCsv(){   
  13.         try {       
  14.                 ArrayList<String[]> csvList = new ArrayList<String[]>(); //用来保存数据  
  15.                 String csvFilePath = "D:/log/Alarm20101125.csv";   
  16.                 CsvReader reader = new CsvReader(csvFilePath,',',Charset.forName("SJIS"));    //一般用这编码读就可以了      
  17.                     
  18.                 reader.readHeaders(); // 跳过表头   如果需要表头的话,不要写这句。  
  19.                     
  20.                 while(reader.readRecord()){ //逐行读入除表头的数据      
  21.                     csvList.add(reader.getValues());   
  22.                 }               
  23.                 reader.close();   
  24.                     
  25.                 for(int row=0;row<csvList.size();row++){   
  26.                      String  cell = csvList.get(row)[0]; //取得第row行第0列的数据  
  27.                      System.out.println(cell);   
  28.                 }        
  29.             } catch (Exception ex) {   
  30.                     System.out.println(ex);   
  31.                 }   
  32.     }   
  33.        
  34.     /**  
  35.      * 写入CSV文件  
  36.      */  
  37.     public static void WriteCsv(){   
  38.         try {   
  39.                 String csvFilePath = "D:/log/Alarm20101125.csv";   
  40.                 CsvWriter wr =new CsvWriter(csvFilePath,',',Charset.forName("SJIS"));   
  41.                 String[] contents = {"告警信息","非法操作","没有权限","操作失败"};                       
  42.                 wr.writeRecord(contents);   
  43.                 wr.close();   
  44.          } catch (IOException e) {   
  45.             e.printStackTrace();   
  46.          }   
  47.     }   
  48. }  

 想了解更多的函数请查看javacsv2.0/doc/index.html说明。我觉得javacsv2.0/src/AllTests.java看看也很有用。大家可以去试试

 

 

此代码可以解决字段中出现分隔符,双引号等等。。。


Java代码 复制代码 收藏代码
  1. /**  
  2.      * 对于文件中字段包含逗号的文件的特殊处理 (同时可以去除掉双引号)处理完以后会在相同的路径下输出相同文件名的TXT文件  
  3.      *   
  4.      * @throws Exception  
  5.      */  
  6.     public static void specialChar(String filePath,int starRow) throws Exception {   
  7.   
  8.         BufferedReader br = null;   
  9.         File f = new File(filePath);   
  10.         String fileName = f.getName();   
  11.   
  12.         if (!fileName.substring(fileName.indexOf(".") + 1).equals("csv")) {   
  13.             throw new Exception(filePath + "不是一个CSV文件");   
  14.         }   
  15.         File file = new File(StringUtil.replace(f.getPath(), "csv""txt"));   
  16.         FileWriter filewriter = null;   
  17.         try {   
  18.             br = new BufferedReader(new InputStreamReader(   
  19.                     new FileInputStream(f), "utf-8"));   
  20.             filewriter = new FileWriter(file, false);   
  21.             SimpleDateFormat sd = new SimpleDateFormat("yyyy-MM-dd hh:mm:ss");   
  22.   
  23.             System.out.println(sd.format(new Date()));   
  24.             String tempString = null;   
  25.             int i = 0;   
  26.             while ((tempString = br.readLine()) != null) {   
  27.                 if (i < starRow-1) {   
  28.                     i++;   
  29.                     continue;   
  30.                 }   
  31.                 if(tempString.trim().equals(""))   
  32.                     break;   
  33.                 if (StringUtil.contains(tempString, "\"")) {   
  34.                     tempString = deepParser(tempString,filePath);   
  35.                 } else  
  36.                     tempString = StringUtil.replace(tempString, ",""|");   
  37. //              System.out.println(tempString);   
  38.                 filewriter.write(stringTrim(tempString, "\\|") + "\r\n");   
  39.                 i++;   
  40.             }   
  41.             System.out.println(sd.format(new Date()));   
  42.         } catch (Throwable e) {   
  43.             log.warn("解析文件:【" + filePath + "】出错", e);   
  44.             e.printStackTrace();   
  45.         } finally {   
  46.             try {   
  47.                 br.close();   
  48.                 filewriter.close();   
  49.             } catch (IOException e) {   
  50.                 e.printStackTrace();   
  51.             }   
  52.         }   
  53.   
  54.     }   
  55.   
  56.     public static String deepParser(String str,String filePath) {   
  57.         System.out.println(str);   
  58.         String temp = str;   
  59.                           str = str+",";   
  60.         StringBuffer sb = new StringBuffer();   
  61.         try {   
  62.             int from = 0;   
  63.             int end = str.length();   
  64.             int i = 0;   
  65.             while (StringUtil.contains((str = str.substring(from)), "\"")) {   
  66.                 from = str.indexOf("\"");   
  67.                 end = str.indexOf("\"", from + 1);   
  68.                 sb.append(StringUtil.replace(str.substring(0, from), ",""|"));   
  69.                 sb.append(str.substring(from + 1, end));   
  70.                 from = end + 1;   
  71.                 i++;   
  72.             }   
  73.             sb.append(StringUtil.replace(str, ",""|"));   
  74.         } catch (Throwable e) {   
  75.             log.warn("解析文件:【" + filePath + "】出错,一下数据有问题:"+temp, e);   
  76.             e.printStackTrace();   
  77.         }   
  78.                        String s = sb.toString();   
  79.              s = s.substring(0, s.lastIndexOf("|"));   
  80.              return s;   
  81.     }   
  82.   
  83.   
  84.     //去除字段2边空格,可以指定分隔符   
  85.     public static String stringTrim(String str, String regex) {   
  86.         str = str+" ";   
  87.         String[] strs = str.split(regex);   
  88.         StringBuffer sb = new StringBuffer();   
  89.   
  90.         for (int i = 0; i < strs.length; i++) {   
  91.             sb.append(strs[i].trim() + "|");   
  92.         }   
  93.   
  94.         return sb.toString().substring(0, sb.toString().lastIndexOf("|"));   
  95.     }  

 

Session机制详解

阅读数 1450

没有更多推荐了,返回首页