php 将大数据导出excel

2018-10-31 18:30:43 geek_weiwei 阅读数 12295

使用php做项目开发的同学,一定都会有过使用php进行excel表格导出的经历,当导出少量数据还好,一旦数据量级达到5w、

10w、20w甚至30以上的时候就会面临同样的问题:

1、导出时间变得很慢,少则1分钟,多则好几分钟,数据量一旦上来,还可能面临导不出来的困窘(这种导出效率正常人都会受不了,更何况是要求苛刻的用户)。

2、导出消耗大量的内存资源,即使把php内存使用设置为无限大,当多个用户同时使用导出功能导出大量数据的时候,服务器内存使用就会直线往上升,报警,甚至宕机,严重影响其他业务。

本博客是为了解决这两个问题而展开的,跟各位phper分享和交流自己使用php做大数据导出的一些经验,希望能给各位在做大数据导出的时候带来一些帮助,同时也希望大家踊跃导论,提出更好的方案,一起学习交流,一起进步。

 

未完待续。。。

2017-12-22 10:38:00 weixin_34289744 阅读数 45

 在日常的工作中,很多时候都需要导出各种各样的报表,但是如果导出的数据一旦比较大,很容易就导致超时,对于这种问题,有很多的解决方法,例如网上说的分批导出、采用CSV、还有就采用JAVA、甚至是C++和C等等去做这种事情,这些都是方法,但我没有一一去试过,但试过采用CSV方法,确实是要快一点,但感觉治标不治本,因为数据量肯定会越来越多,所以CSV也是支撑不了太久。

    在这里,我采用了另外一个方法,采用异步处理数据;具体的流程如下图:

 

 

具体步骤:

    1、建一张表,存储任务的记录;

    2、写一个脚本,读取表中的请求记录,然后对记录进行数据的处理并生成Excel表格,保存到指定的目录;

    3、使用定时任务,每个一段时间去执行一下这个脚本;

    4、完成

转载于:https://www.cnblogs.com/timothy-lai/p/8084861.html

2019-02-12 18:42:52 Zhihua_W 阅读数 13397

综述

最近在工作中遇到这样一个问题,公司项目要求订单有导出功能,以前虽然也使用PHPExcel做过几个导出功能,但是这次所需导出的数量巨大,因此在开发中遇到一些导出的坑,在此进行总结记录一下。

吐槽

首先,我们可以肯定这个需求太XX(手动和谐)了,这么大的数据量让谁看这去分析啊?一般的Excel数据都是给市场、财务的的非技术部门使用的,所以,我认为应该把思路首先放到为什么需要导出这类数据上,根据需求来解决问题。毕竟不是甲方(出钱的),改变不了需求就只能老老实实的实现具体功能了。请看下面解决方案。

分析

1、工具

首先明确我们需要导出的数量50W+,其次我们使用过都知道Excel2003版最大行数是65535行,Excel2007版的行数(1048576行)才能达到我们的要求,所以我们需要使用Excel的版本必须为2007版及以上。

2、类库

目前最常用的PHP处理Excel的类库是PHPExcel(经实例测试导出1w条数据,再加上各种数据判断处理我用了5-8分钟);我在网上还查到一款叫PHPOffice(这个我没用过,大家可以尝试一下,据说效率比PHPExcel要好,等下次再写篇博文介绍一下);还有一个fputcsv(),导出的是csv格式文件,也可以用Excel文件打开。

各种坑

1、超时

这个是直接的,请求超时。在这个多的数据请求处理下,超市非常常见,这时我们需要修改PHP的配置:set_time_limit(0)。

2、溢出

我们一次性的把所有数据从数据库取出填充到内存中,一下不光内存存储不够,并且如果服务器CPU配置不高的话使用率一下也能达到100%,会造成服务器卡负载。关于溢出我们也需要修改PHP的配置:ini_set('memory_limit', '1024M')。

解决方案

1、使用PHPExcel导出

使用此种方案一下导出50w+的数据体验非常的不好,经测试之后是虽说是可行的,服务器上也可以导出,就是时间会慢一些,而且会是一直下载状态。如果使用php类库,建议将php升级到最新的php7版本节省内存,且计算速度要快

2、使用csv导出

如果不是用php类库,那么fputcsv()是最佳方式,这种方式要比PHPExcel好很多;因为csv文件较小,csv文件数据可存放数量可大可小,csv生成不占用大量CPU和时间,而Excel的生成时间随着文件数据量的增加成而所需时间越多。

3、理想方案

将数据按照某种条件进行分割,减少导出的数据量,例如按照日期进行导出,可一周导出一次或者一天导出一次,数据分割肯定是必须的步骤,防止内存溢出,运行超时;

进行算法优化,在数据循环时,减少嵌套循环,生成csv或者Excel的数据对象时,一次成型,减少数据库查询次数,如果需要用到其他数据请提前生成相应数据结构的数据。

4、最快方案

将需求交给运维,直接运行sql语句进行导出:

SELECT
	*
FROM
	table_name 
INTO OUTFILE 'F:/test.csv' 
FIELDS TERMINATED BY ',' 
OPTIONALLY ENCLOSED BY '"' 
LINES TERMINATED BY '\r\n';

运行此语句可能出现如下错误:

The MySQL server is running with the --secure-file-priv option so it cannot execute this statement

这个是由于Mysql的配置权限问题,可以运行SHOW VARIABLES LIKE '%secure%';查看 secure-file-priv 当前的值是什么,NULL就代表禁止导出,所以需要设置一下。在Mysql安装路径下的my.ini文件,修改设置一下路径,没有的话添加上此配置:

secure_file_priv=F:/

50w+的数据你会发现很快就导出了。你也可以写此此语句,知道此文件在服务器上的路径,进行打包下载即可。

2017-12-05 09:48:55 Drug_ 阅读数 9200

 

 PHP交流群:294088839

 Python交流群:652376983

 

PHPExcel 是一个php语言读取导出数据、导入生成Excel的类库,使用起来非常方便,但有时会遇到以些问题,比如导出的数据超时,内存溢出等。

下面我们来说说这些问题和解决办法。

PHPExcel 版本:@version    1.8.0, 2014-03-02

能遇到这样的问题一般都是因为数据量大导致

1.PHPExcel 报错

报错提示:

'break' not in the 'loop' or 'switch' context

严格的讲这个不是PHPExcel的错误,是PHP版本的问题,大于PHP5.6以后,“break”必须要在循环体内执行(for ,foreach, while, switch)

此处无循环,解决办法:注释掉break;

2.超时

提示:

Maximum execution time of 30 seconds exceeded

数据量过大,php执行超过30秒后就会报这样的信息

解决办法:

可修改php.ini  或直接在执行页面中添加

set_time_limit(0);

这样就设置了php的执行超时

 

3.内存溢出

超时解决好之后,等待了好几十秒后又来了个错误:

Allowed memory size of 134217728 bytes exhausted (tried to allocate 20480 bytes)

内存不足呀!

解决内存溢出我们分两步走,

第一步:设置memory_limit

默认情况memory_limit 大小为100MB,当所需内存大于100MB就会溢出,所以设置足够大的值

ini_set("memory_limit", "1024M");  // 根据电脑配置不够继续增加

第二步:设置PHPExcel单元格缓存

单元格缓存是将所需PHPExcel内存单元格对象缓存到磁盘、memcache、MemoryGZip等,这样读取上会更耗时,但可以降低内存的消耗。

PHPExcel_CachedObjectStorageFactory 这个类中提供了这几个单元格缓存

复制代码

    const cache_in_memory               = 'Memory';
    const cache_in_memory_gzip          = 'MemoryGZip';  #将单元格序列化后再进行Gzip压缩,然后保存在内存中
    const cache_in_memory_serialized    = 'MemorySerialized';  # 将单元格数据序列化后保存在内存中
    const cache_igbinary                = 'Igbinary';    #存储为紧密的二进制形式
    const cache_to_discISAM             = 'DiscISAM';    #缓存在临时的磁盘文件中,速度可能会慢一些
    const cache_to_apc                  = 'APC';     #Alternative PHP Cache可选PHP缓存
    const cache_to_memcache             = 'Memcache';   #保存在memcache中
    const cache_to_phpTemp              = 'PHPTemp';    #保存在php://temp
    const cache_to_wincache             = 'Wincache';
    const cache_to_sqlite               = 'SQLite';
    const cache_to_sqlite3              = 'SQLite3';

复制代码

每一个worksheet都会有一个独立的缓存,当一个worksheet实例化时,就会根据设置或配置的缓存方式来自动创建。一旦你开始读取一个文件或者你已经创建了第一个worksheet,就不能在改变缓存的方式了。

  • MemorySerialized: 使用这种缓存方式,单元格会以序列化的方式保存在内存中,这是降低内存使用率性能比较高的一种方案。 
  • MemoryGZip: 与序列化的方式类似,这种方法在序列化之后,又进行gzip压缩之后再放入内存中,这回跟进一步降低内存的使用,但是读取和写入时会有一些慢。
  • DiscISAM:当使用cache_to_discISAM这种方式时,所有的单元格将会保存在一个临时的磁盘文件中,只把他们的在文件中的位置保存在PHP的内存中,这会比任何一种缓存在内存中的方式都慢,但是能显著的降低内存的使用。临时磁盘文件在脚本运行结束是会自动删除。
  • PHPTemp: 类 似cache_to_discISAM这种方式,使用cache_to_phpTemp时,所有的单元格会还存在php://temp I/O流中,只把 他们的位置保存在PHP的内存中。PHP的php://memory包裹器将数据保存在内存中,php://temp的行为类似,但是当存储的数据大小超 过内存限制时,会将数据保存在临时文件中,默认的大小是1MB,但是你可以在初始化时修改它。php://temp文件在脚本结束是会自动删除。 

 

4.大数据导出

微软的Excel设置单元格行数默认是6万行rows,相对的讲其实当我们超过1万行的时候已经是大数据的导出。

好比:有客户10000人,平均每人每天产生10条活动记录,要导出上周所有的客户活动记录: 10000*10*7=700000

估计看70万行的Excel这个人会疯掉的,我们的建议是分批次导出,按时间导出到不同的excel

下面是一个PHPExcel官方的Demo(已修改过)

复制代码

        define('EOL', '<br />');
        $objPHPExcel = new \app\extensions\PHPExcel\PHPExcel();
        ini_set("memory_limit", "1024M"); // 设置php可使用内存

        $cacheMethod = \PHPExcel_CachedObjectStorageFactory::cache_in_memory_gzip;
        if (!\PHPExcel_Settings::setCacheStorageMethod($cacheMethod)) {
            die($cacheMethod . " 缓存方法不可用" . EOL);
        }
        echo date('H:i:s'), " 当前使用的缓存方法是: ", $cacheMethod, " 方式", EOL;
        echo date('H:i:s'), " 开始设置文档属性", EOL;
        $objPHPExcel->getProperties()->setCreator("Maarten Balliauw")
                ->setLastModifiedBy("Maarten Balliauw")
                ->setTitle("Office 2007 XLSX Test Document")
                ->setSubject("Office 2007 XLSX Test Document")
                ->setDescription("Test document for Office 2007 XLSX, generated using PHP classes.")
                ->setKeywords("office 2007 openxml php")
                ->setCategory("Test result file");


        echo date('H:i:s'), " 开始添加单元格标题", EOL;
        $objPHPExcel->setActiveSheetIndex(0);
        $objPHPExcel->getActiveSheet()->setCellValue('A1', "Firstname");
        $objPHPExcel->getActiveSheet()->setCellValue('B1', "Lastname");
        $objPHPExcel->getActiveSheet()->setCellValue('C1', "Phone");
        $objPHPExcel->getActiveSheet()->setCellValue('D1', "Fax");
        $objPHPExcel->getActiveSheet()->setCellValue('E1', "Is Client ?");
        
        // 设置单元格宽度
        $objPHPExcel->getActiveSheet()->getColumnDimension('A')->setAutoSize(true);
        $objPHPExcel->getActiveSheet()->getColumnDimension('B')->setWidth(50);
        
        /**
         * 左对齐与 右对齐
         * 可设置整列->getStyle('N')   可针对行rows设置getStyle('N3')
         */
        $objPHPExcel->getActiveSheet()->getStyle('B')->getAlignment()->setHorizontal(\PHPExcel_Style_Alignment::HORIZONTAL_RIGHT);
        $objPHPExcel->getActiveSheet()->getStyle('B3')->getAlignment()->setHorizontal(\PHPExcel_Style_Alignment::HORIZONTAL_LEFT);

        echo date('H:i:s'), " 设置隐藏C D列", EOL;
        $objPHPExcel->getActiveSheet()->getColumnDimension('C')->setVisible(false);
        $objPHPExcel->getActiveSheet()->getColumnDimension('D')->setVisible(false);

        echo date('H:i:s'), " 设置大纲级别", EOL;
        $objPHPExcel->getActiveSheet()->getColumnDimension('E')->setOutlineLevel(1)
                ->setVisible(false)
                ->setCollapsed(true);

        /**
         * 开始添加数据
         */
        for ($i = 2; $i <= 50000; $i++) {
            $objPHPExcel->getActiveSheet()->setCellValue('A' . $i, "FName $i")
                    ->setCellValue('B' . $i, "LName $i")
                    ->setCellValue('C' . $i, "PhoneNo $i")
                    ->setCellValue('D' . $i, "FaxNo $i")
                    ->setCellValue('E' . $i, true);
        }

        $objPHPExcel->getActiveSheet()->setTitle('供应商信息');
        echo date('H:i:s'), " 设置格式为Excel2007版格式", EOL;
        $callStartTime = microtime(true);

        $objWriter = \PHPExcel_IOFactory::createWriter($objPHPExcel, 'Excel2007');
        $objWriter->save(str_replace('.php', '.xlsx', __FILE__));
        $callEndTime = microtime(true);
        $callTime = $callEndTime - $callStartTime;

        echo date('H:i:s'), " 设置生成的文件为: ", str_replace('.php', '.xlsx', pathinfo(__FILE__, PATHINFO_BASENAME)), EOL;
        echo date('H:i:s'), ' 写入Workbook中耗时 ', sprintf('%.4f', $callTime), " 秒", EOL;
        echo date('H:i:s'), ' 当前内存使用情况: ', (memory_get_usage(true) / 1024 / 1024), " MB", EOL;
        echo date('H:i:s'), " 内存使用峰值: ", (memory_get_peak_usage(true) / 1024 / 1024), " MB", EOL;
        echo date('H:i:s'), " 完成写入文件", EOL;
        echo date('H:i:s'), ' 文件被创建在: ', getcwd(), '目录', EOL;

复制代码

 

 

下面模拟一个大数据的导出:

msyql中tcustomer表有数据4万多条

我们设置

set_time_limit(0);
ini_set("memory_limit", "1024M"); 
\PHPExcel_CachedObjectStorageFactory::cache_in_memory_gzip;  # 单元格缓存为MemoryGZip

然后导出所有4万多条数据

代码如下(Yii2)

复制代码

/**
     * PHPExcel 数据导出
     */
    public function actionPhpexcel() {

        define('EOL', '<br />');
        $objPHPExcel = new \app\extensions\PHPExcel\PHPExcel();
        ini_set("memory_limit", "1024M"); // 设置php可使用内存
        set_time_limit(0);  # 设置执行时间最大值

        $cacheMethod = \PHPExcel_CachedObjectStorageFactory::cache_in_memory_gzip;
        if (!\PHPExcel_Settings::setCacheStorageMethod($cacheMethod)) {
            die($cacheMethod . " 缓存方法不可用" . EOL);
        }
        echo date('H:i:s'), " 当前使用的缓存方法是: ", $cacheMethod, " 方式", EOL;
        echo date('H:i:s'), " 开始设置文档属性", EOL;
        $objPHPExcel->getProperties()->setCreator("dcb3688")
                ->setLastModifiedBy("dcb3688")
                ->setTitle("客户信息记录")
                ->setSubject("客户信息Document")
                ->setDescription("描述……")
                ->setKeywords("office 2007  php")
                ->setCategory("产品信息AAA");


        echo date('H:i:s'), " 开始添加单元格标题", EOL;
        $objPHPExcel->setActiveSheetIndex(0);
        $objPHPExcel->getActiveSheet()->setCellValue('A1', "客户姓名");
        $objPHPExcel->getActiveSheet()->setCellValue('B1', "性别");
        $objPHPExcel->getActiveSheet()->setCellValue('C1', "Province");
        $objPHPExcel->getActiveSheet()->setCellValue('D1', "City");
        $objPHPExcel->getActiveSheet()->setCellValue('E1', "Town");
        $objPHPExcel->getActiveSheet()->setCellValue('F1', "Telephone");
        $objPHPExcel->getActiveSheet()->setCellValue('G1', "属相");
        $objPHPExcel->getActiveSheet()->setCellValue('H1', "星座");
        $objPHPExcel->getActiveSheet()->setCellValue('I1', "血型");
        $objPHPExcel->getActiveSheet()->setCellValue('J1', "Nid");
        $objPHPExcel->getActiveSheet()->setCellValue('K1', "Uid");
        $objPHPExcel->getActiveSheet()->setCellValue('L1', "Etime");
        $objPHPExcel->getActiveSheet()->setCellValue('M1', "Regtime");
        $objPHPExcel->getActiveSheet()->setCellValue('N1', "Signup");
        $objPHPExcel->getActiveSheet()->setCellValue('O1', "经度");
        $objPHPExcel->getActiveSheet()->setCellValue('P1', "纬度");
        $objPHPExcel->getActiveSheet()->setCellValue('Q1', "类型");
        $objPHPExcel->getActiveSheet()->setCellValue('R1', "状态");

        /**
         * 单元格宽度
         */
        $objPHPExcel->getActiveSheet()->getColumnDimension('F')->setAutoSize(true);
        $objPHPExcel->getActiveSheet()->getColumnDimension('J')->setWidth(45);
        $objPHPExcel->getActiveSheet()->getColumnDimension('L')->setAutoSize(true);
        $objPHPExcel->getActiveSheet()->getColumnDimension('M')->setAutoSize(true);
        $objPHPExcel->getActiveSheet()->getColumnDimension('N')->setAutoSize(true);
        
        /**
         * 左对齐与 右对齐
         * 可设置整列->getStyle('N')   可针对行rows设置getStyle('N3')
         */
        $objPHPExcel->getActiveSheet()->getStyle('N')->getAlignment()->setHorizontal(\PHPExcel_Style_Alignment::HORIZONTAL_RIGHT);
        $objPHPExcel->getActiveSheet()->getStyle('N3')->getAlignment()->setHorizontal(\PHPExcel_Style_Alignment::HORIZONTAL_LEFT);





        #####################################开始添加数据###############################################################
        
        /**
         * 分页分时间: 微软Execl最大值6万行, total/60000=文件个数,  limit 60000, 60000
         * $model->find()->offset($pages->offset)->limit(60000)->all()
         */
        $model = \app\models\Tcustomer::find()->orderBy('regtime desc')->all();
        if (!empty($model)) {
            foreach ($model as $key => $value) {
                $Cellkey = $key + 2;
                $blood = [1 => 'A型', 2 => 'B型', 3 => 'AB型', 4 => 'O型'];
                $objPHPExcel->getActiveSheet()->setCellValue('A' . $Cellkey, mb_substr($value->realname, 0, -1) . '*');
                $objPHPExcel->getActiveSheet()->setCellValue('B' . $Cellkey, rand(1, 2) == 1 ? '先生' : '女士');
                $objPHPExcel->getActiveSheet()->setCellValue('C' . $Cellkey, $value->province);
                $objPHPExcel->getActiveSheet()->setCellValue('D' . $Cellkey, $value->city);
                $objPHPExcel->getActiveSheet()->setCellValue('E' . $Cellkey, $value->town);
                $objPHPExcel->getActiveSheet()->setCellValue('F' . $Cellkey, $value->telephone ? substr($value->telephone, 0, 3) . '*********' : '');
                $objPHPExcel->getActiveSheet()->setCellValue('G' . $Cellkey, $value->sx);
                $objPHPExcel->getActiveSheet()->setCellValue('H' . $Cellkey, $value->constel);
                $objPHPExcel->getActiveSheet()->setCellValue('I' . $Cellkey, $blood[array_rand($blood)]);
                $objPHPExcel->getActiveSheet()->setCellValue('J' . $Cellkey, mb_substr($value->nid, 0, -3));
                $objPHPExcel->getActiveSheet()->setCellValue('K' . $Cellkey, $value->uid);
                $objPHPExcel->getActiveSheet()->setCellValue('L' . $Cellkey, $value->exp);
                $objPHPExcel->getActiveSheet()->setCellValue('M' . $Cellkey, $value->regtime);
                $objPHPExcel->getActiveSheet()->setCellValue('N' . $Cellkey, $value->signup ? $value->signup : '无数据');
                $objPHPExcel->getActiveSheet()->setCellValue('O' . $Cellkey, substr($value->lng, 0, 4) . rand(10000, 999999));
                $objPHPExcel->getActiveSheet()->setCellValue('P' . $Cellkey, substr($value->lat, 0, 3) . rand(10000, 999999));
                $objPHPExcel->getActiveSheet()->setCellValue('Q' . $Cellkey, $value->type == 1 ? '意向客户' : '观望中客户');
                $objPHPExcel->getActiveSheet()->setCellValue('R' . $Cellkey, $value->status == 1 ? '已下单' : '已跟进');
            }
        } else {
            die(" 暂无数据" . EOL);
        }

        #######################################################################################################

        $objPHPExcel->getActiveSheet()->setTitle('客户信息');
        echo date('H:i:s'), " 设置格式为Excel2007版格式", EOL;
        $callStartTime = microtime(true);

        $objWriter = \PHPExcel_IOFactory::createWriter($objPHPExcel, 'Excel2007');
        $objWriter->save(str_replace('.php', '.xlsx', __FILE__));
        $callEndTime = microtime(true);
        $callTime = $callEndTime - $callStartTime;

        echo date('H:i:s'), " 设置生成的文件为: ", str_replace('.php', '.xlsx', pathinfo(__FILE__, PATHINFO_BASENAME)), EOL;
        echo date('H:i:s'), ' 写入Workbook中耗时 ', sprintf('%.4f', $callTime), " 秒", EOL;
        echo date('H:i:s'), ' 当前内存使用情况: ', (memory_get_usage(true) / 1024 / 1024), " MB", EOL;
        echo date('H:i:s'), " 内存使用峰值: ", (memory_get_peak_usage(true) / 1024 / 1024), " MB", EOL;
        echo date('H:i:s'), " 完成写入文件", EOL;
        echo date('H:i:s'), ' 文件被创建在: ', getcwd(), '目录', EOL;
    }

复制代码

执行后信息:

打开文件:

 

2019-01-05 09:45:30 HZX19941018 阅读数 13293

       博主昨天在实现一个需求,因为需要用到大数据导出,所以自己动手写了一个导出方法,因为要考虑到大数据的导出,所以不能一次性读取数据库,想到了分页获取数据,写进导出缓存中,这样避免了一次性从数据库中读取大量数据而造成奔溃,思路就是分页获取数据,写进导出数组中,同时清除查询数据的缓存,这样就可以避免奔溃,下面向大家分享有关教程

       博主用的是原生方法写,跟之前另一篇博客也是很相似的,大家有兴趣也可以看看(传送门)  ,我们先来封装我们的数据库查询方法,等下会用,代码如下:

/**
 * 获取导出数据  
 * @param $getLinkClearSQl  数据库语句
 */
function getReturnData($getLinkClearSQl)
{
    $con = mysqli_connect("链接地址", "账号名", "密码", "数据库名");
    $getLinkClearingData = mysqli_query($con, $getLinkClearSQl);
    $returnData = array();
    //循环组合即将导出数据
    while ($rowData = mysqli_fetch_array($getLinkClearingData)) {
        $returnData[] = array(
            'day' => date('Y-m-d', strtotime($rowData["day"])) . ' ', 
            'num1' => $rowData["num1"],
            'num2' => $rowData["num2"],
            'num3' => $rowData["num3"],
            'num4' => $rowData["num4"],
        );
    }
    //返回已封装好的数据
    return $returnData;
}
      封装好导出数据,然后再来封装我们的私有方法,该方法能够使得导出的中文不乱码,代码如下:

function fputcsv2($handle, array $fields, $delimiter = ",", $enclosure = '"', 
    $escape_char = "\\")
{
    foreach ($fields as $k => $v) {
        $fields[$k] = iconv("UTF-8", "GB2312//IGNORE", $v);  // 这里将UTF-8转为GB2312编码
    }
    fputcsv($handle, $fields, $delimiter, $enclosure, $escape_char);
}

       接下来是我们的主体了,上面我们已经封装了两个方法,跟主体区分开,看起来会比较舒服,代码如下:

//设置时间跟最大限制
set_time_limit(0);
ini_set("memory_limit", "512M");
#设置文件名以及列名
$fileName = "导出数据";
$columnName = array('日期','字段1','字段2','字段3','字段4',); 
//设置头部
header('Content-Type: application/vnd.ms-excel;charset=utf-8');
header("Content-Disposition:filename=" . $fileName . ".csv");
// 打开PHP文件句柄,php://output 表示直接输出到浏览器
$fp = fopen('php://output', 'a');
// 将中文标题转换编码,否则乱码
foreach ($columnName as $i => $v) {
    $columnName[$i] = $v;
}
//每次获取数量
$pre_count = 100;
// 将标题名称通过fputcsv写到文件句柄
fputcsv2($fp, $columnName);
$rows = array();
//循环读取数据并导出数据
for ($t = 0; $t < intval($linkClearingNumber / $pre_count) + 1; $t++) {
    #获取页码
    $pageNumber = $t * $pre_count;
    #重构SQL
    $getLinkClearSQl = "SELECT * FROM 表名"." limit $pageNumber,$pre_count";
    #获取数据
    $export_data = getReturnData($linkData, $getLinkClearSQl);
    #循环获取存放数据
    foreach ($export_data as $item) {
        $rows = array();
        foreach ($item as $export_obj) {
            $rows[] = iconv('utf-8', 'GB18030', $export_obj);
        }
        fputcsv($fp, $rows);
    }
    // 将已经写到csv中的数据存储变量销毁,释放内存占用
    unset($export_data);
    ob_flush();
    flush();
}
exit ();

        这样我们便完成了导出上万数据而不会造成网络奔溃的方法,各位小伙伴可以尝试尝试。

        更多文章请关注微信公众号

 

php 处理导出大数据

阅读数 2196

php导出大数据csv

阅读数 875