• 最近在工作中遇到这样一个问题,公司项目要求订单有导出功能,以前虽然也使用PHPExcel做过几个导出功能,但是这次所需导出的数量巨大,因此在开发中遇到一些导出的坑,在此进行总结记录一下。 吐槽 首先,我们可以...

    综述

    最近在工作中遇到这样一个问题,公司项目要求订单有导出功能,以前虽然也使用PHPExcel做过几个导出功能,但是这次所需导出的数量巨大,因此在开发中遇到一些导出的坑,在此进行总结记录一下。

    吐槽

    首先,我们可以肯定这个需求太XX(手动和谐)了,这么大的数据量让谁看这去分析啊?一般的Excel数据都是给市场、财务的的非技术部门使用的,所以,我认为应该把思路首先放到为什么需要导出这类数据上,根据需求来解决问题。毕竟不是甲方(出钱的),改变不了需求就只能老老实实的实现具体功能了。请看下面解决方案。

    分析

    1、工具

    首先明确我们需要导出的数量50W+,其次我们使用过都知道Excel2003版最大行数是65535行,Excel2007版的行数(1048576行)才能达到我们的要求,所以我们需要使用Excel的版本必须为2007版及以上。

    2、类库

    目前最常用的PHP处理Excel的类库是PHPExcel(经实例测试导出1w条数据,再加上各种数据判断处理我用了5-8分钟);我在网上还查到一款叫PHPOffice(这个我没用过,大家可以尝试一下,据说效率比PHPExcel要好,等下次再写篇博文介绍一下);还有一个fputcsv(),导出的是csv格式文件,也可以用Excel文件打开。

    各种坑

    1、超时

    这个是直接的,请求超时。在这个多的数据请求处理下,超市非常常见,这时我们需要修改PHP的配置:set_time_limit(0)。

    2、溢出

    我们一次性的把所有数据从数据库取出填充到内存中,一下不光内存存储不够,并且如果服务器CPU配置不高的话使用率一下也能达到100%,会造成服务器卡负载。关于溢出我们也需要修改PHP的配置:ini_set('memory_limit', '1024M')。

    解决方案

    1、使用PHPExcel导出

    使用此种方案一下导出50w+的数据体验非常的不好,经测试之后是虽说是可行的,服务器上也可以导出,就是时间会慢一些,而且会是一直下载状态。如果使用php类库,建议将php升级到最新的php7版本节省内存,且计算速度要快

    2、使用csv导出

    如果不是用php类库,那么fputcsv()是最佳方式,这种方式要比PHPExcel好很多;因为csv文件较小,csv文件数据可存放数量可大可小,csv生成不占用大量CPU和时间,而Excel的生成时间随着文件数据量的增加成而所需时间越多。

    3、理想方案

    将数据按照某种条件进行分割,减少导出的数据量,例如按照日期进行导出,可一周导出一次或者一天导出一次,数据分割肯定是必须的步骤,防止内存溢出,运行超时;

    进行算法优化,在数据循环时,减少嵌套循环,生成csv或者Excel的数据对象时,一次成型,减少数据库查询次数,如果需要用到其他数据请提前生成相应数据结构的数据。

    4、最快方案

    将需求交给运维,直接运行sql语句进行导出:

    SELECT
    	*
    FROM
    	table_name 
    INTO OUTFILE 'F:/test.csv' 
    FIELDS TERMINATED BY ',' 
    OPTIONALLY ENCLOSED BY '"' 
    LINES TERMINATED BY '\r\n';

    运行此语句可能出现如下错误:

    The MySQL server is running with the --secure-file-priv option so it cannot execute this statement

    这个是由于Mysql的配置权限问题,可以运行SHOW VARIABLES LIKE '%secure%';查看 secure-file-priv 当前的值是什么,NULL就代表禁止导出,所以需要设置一下。在Mysql安装路径下的my.ini文件,修改设置一下路径,没有的话添加上此配置:

    secure_file_priv=F:/

    50w+的数据你会发现很快就导出了。你也可以写此此语句,知道此文件在服务器上的路径,进行打包下载即可。

    展开全文
  • PHPExcel 大数据的导出

    2018-09-05 09:19:40
    ...  Python交流群:652376983   PHPExcel 是一个php语言读取导出数据、导入生成Excel的类库,使用起来非常方便,但有时会遇到...PHPExcel 版本:@version 1.8.0, 2014-03-02 能遇到这样的问题一般都是因为数据...

     

     PHP交流群:294088839

     Python交流群:652376983

     

    PHPExcel 是一个php语言读取导出数据、导入生成Excel的类库,使用起来非常方便,但有时会遇到以些问题,比如导出的数据超时,内存溢出等。

    下面我们来说说这些问题和解决办法。

    PHPExcel 版本:@version    1.8.0, 2014-03-02

    能遇到这样的问题一般都是因为数据量大导致

    1.PHPExcel 报错

    报错提示:

    'break' not in the 'loop' or 'switch' context

    严格的讲这个不是PHPExcel的错误,是PHP版本的问题,大于PHP5.6以后,“break”必须要在循环体内执行(for ,foreach, while, switch)

    此处无循环,解决办法:注释掉break;

    2.超时

    提示:

    Maximum execution time of 30 seconds exceeded

    数据量过大,php执行超过30秒后就会报这样的信息

    解决办法:

    可修改php.ini  或直接在执行页面中添加

    set_time_limit(0);

    这样就设置了php的执行超时

     

    3.内存溢出

    超时解决好之后,等待了好几十秒后又来了个错误:

    Allowed memory size of 134217728 bytes exhausted (tried to allocate 20480 bytes)

    内存不足呀!

    解决内存溢出我们分两步走,

    第一步:设置memory_limit

    默认情况memory_limit 大小为100MB,当所需内存大于100MB就会溢出,所以设置足够大的值

    ini_set("memory_limit", "1024M");  // 根据电脑配置不够继续增加

    第二步:设置PHPExcel单元格缓存

    单元格缓存是将所需PHPExcel内存单元格对象缓存到磁盘、memcache、MemoryGZip等,这样读取上会更耗时,但可以降低内存的消耗。

    PHPExcel_CachedObjectStorageFactory 这个类中提供了这几个单元格缓存

    复制代码

        const cache_in_memory               = 'Memory';
        const cache_in_memory_gzip          = 'MemoryGZip';  #将单元格序列化后再进行Gzip压缩,然后保存在内存中
        const cache_in_memory_serialized    = 'MemorySerialized';  # 将单元格数据序列化后保存在内存中
        const cache_igbinary                = 'Igbinary';    #存储为紧密的二进制形式
        const cache_to_discISAM             = 'DiscISAM';    #缓存在临时的磁盘文件中,速度可能会慢一些
        const cache_to_apc                  = 'APC';     #Alternative PHP Cache可选PHP缓存
        const cache_to_memcache             = 'Memcache';   #保存在memcache中
        const cache_to_phpTemp              = 'PHPTemp';    #保存在php://temp
        const cache_to_wincache             = 'Wincache';
        const cache_to_sqlite               = 'SQLite';
        const cache_to_sqlite3              = 'SQLite3';

    复制代码

    每一个worksheet都会有一个独立的缓存,当一个worksheet实例化时,就会根据设置或配置的缓存方式来自动创建。一旦你开始读取一个文件或者你已经创建了第一个worksheet,就不能在改变缓存的方式了。

    • MemorySerialized: 使用这种缓存方式,单元格会以序列化的方式保存在内存中,这是降低内存使用率性能比较高的一种方案。 
    • MemoryGZip: 与序列化的方式类似,这种方法在序列化之后,又进行gzip压缩之后再放入内存中,这回跟进一步降低内存的使用,但是读取和写入时会有一些慢。
    • DiscISAM:当使用cache_to_discISAM这种方式时,所有的单元格将会保存在一个临时的磁盘文件中,只把他们的在文件中的位置保存在PHP的内存中,这会比任何一种缓存在内存中的方式都慢,但是能显著的降低内存的使用。临时磁盘文件在脚本运行结束是会自动删除。
    • PHPTemp: 类 似cache_to_discISAM这种方式,使用cache_to_phpTemp时,所有的单元格会还存在php://temp I/O流中,只把 他们的位置保存在PHP的内存中。PHP的php://memory包裹器将数据保存在内存中,php://temp的行为类似,但是当存储的数据大小超 过内存限制时,会将数据保存在临时文件中,默认的大小是1MB,但是你可以在初始化时修改它。php://temp文件在脚本结束是会自动删除。 

     

    4.大数据导出

    微软的Excel设置单元格行数默认是6万行rows,相对的讲其实当我们超过1万行的时候已经是大数据的导出。

    好比:有客户10000人,平均每人每天产生10条活动记录,要导出上周所有的客户活动记录: 10000*10*7=700000

    估计看70万行的Excel这个人会疯掉的,我们的建议是分批次导出,按时间导出到不同的excel

    下面是一个PHPExcel官方的Demo(已修改过)

    复制代码

            define('EOL', '<br />');
            $objPHPExcel = new \app\extensions\PHPExcel\PHPExcel();
            ini_set("memory_limit", "1024M"); // 设置php可使用内存
    
            $cacheMethod = \PHPExcel_CachedObjectStorageFactory::cache_in_memory_gzip;
            if (!\PHPExcel_Settings::setCacheStorageMethod($cacheMethod)) {
                die($cacheMethod . " 缓存方法不可用" . EOL);
            }
            echo date('H:i:s'), " 当前使用的缓存方法是: ", $cacheMethod, " 方式", EOL;
            echo date('H:i:s'), " 开始设置文档属性", EOL;
            $objPHPExcel->getProperties()->setCreator("Maarten Balliauw")
                    ->setLastModifiedBy("Maarten Balliauw")
                    ->setTitle("Office 2007 XLSX Test Document")
                    ->setSubject("Office 2007 XLSX Test Document")
                    ->setDescription("Test document for Office 2007 XLSX, generated using PHP classes.")
                    ->setKeywords("office 2007 openxml php")
                    ->setCategory("Test result file");
    
    
            echo date('H:i:s'), " 开始添加单元格标题", EOL;
            $objPHPExcel->setActiveSheetIndex(0);
            $objPHPExcel->getActiveSheet()->setCellValue('A1', "Firstname");
            $objPHPExcel->getActiveSheet()->setCellValue('B1', "Lastname");
            $objPHPExcel->getActiveSheet()->setCellValue('C1', "Phone");
            $objPHPExcel->getActiveSheet()->setCellValue('D1', "Fax");
            $objPHPExcel->getActiveSheet()->setCellValue('E1', "Is Client ?");
            
            // 设置单元格宽度
            $objPHPExcel->getActiveSheet()->getColumnDimension('A')->setAutoSize(true);
            $objPHPExcel->getActiveSheet()->getColumnDimension('B')->setWidth(50);
            
            /**
             * 左对齐与 右对齐
             * 可设置整列->getStyle('N')   可针对行rows设置getStyle('N3')
             */
            $objPHPExcel->getActiveSheet()->getStyle('B')->getAlignment()->setHorizontal(\PHPExcel_Style_Alignment::HORIZONTAL_RIGHT);
            $objPHPExcel->getActiveSheet()->getStyle('B3')->getAlignment()->setHorizontal(\PHPExcel_Style_Alignment::HORIZONTAL_LEFT);
    
            echo date('H:i:s'), " 设置隐藏C D列", EOL;
            $objPHPExcel->getActiveSheet()->getColumnDimension('C')->setVisible(false);
            $objPHPExcel->getActiveSheet()->getColumnDimension('D')->setVisible(false);
    
            echo date('H:i:s'), " 设置大纲级别", EOL;
            $objPHPExcel->getActiveSheet()->getColumnDimension('E')->setOutlineLevel(1)
                    ->setVisible(false)
                    ->setCollapsed(true);
    
            /**
             * 开始添加数据
             */
            for ($i = 2; $i <= 50000; $i++) {
                $objPHPExcel->getActiveSheet()->setCellValue('A' . $i, "FName $i")
                        ->setCellValue('B' . $i, "LName $i")
                        ->setCellValue('C' . $i, "PhoneNo $i")
                        ->setCellValue('D' . $i, "FaxNo $i")
                        ->setCellValue('E' . $i, true);
            }
    
            $objPHPExcel->getActiveSheet()->setTitle('供应商信息');
            echo date('H:i:s'), " 设置格式为Excel2007版格式", EOL;
            $callStartTime = microtime(true);
    
            $objWriter = \PHPExcel_IOFactory::createWriter($objPHPExcel, 'Excel2007');
            $objWriter->save(str_replace('.php', '.xlsx', __FILE__));
            $callEndTime = microtime(true);
            $callTime = $callEndTime - $callStartTime;
    
            echo date('H:i:s'), " 设置生成的文件为: ", str_replace('.php', '.xlsx', pathinfo(__FILE__, PATHINFO_BASENAME)), EOL;
            echo date('H:i:s'), ' 写入Workbook中耗时 ', sprintf('%.4f', $callTime), " 秒", EOL;
            echo date('H:i:s'), ' 当前内存使用情况: ', (memory_get_usage(true) / 1024 / 1024), " MB", EOL;
            echo date('H:i:s'), " 内存使用峰值: ", (memory_get_peak_usage(true) / 1024 / 1024), " MB", EOL;
            echo date('H:i:s'), " 完成写入文件", EOL;
            echo date('H:i:s'), ' 文件被创建在: ', getcwd(), '目录', EOL;

    复制代码

     

     

    下面模拟一个大数据的导出:

    msyql中tcustomer表有数据4万多条

    我们设置

    set_time_limit(0);
    ini_set("memory_limit", "1024M"); 
    \PHPExcel_CachedObjectStorageFactory::cache_in_memory_gzip;  # 单元格缓存为MemoryGZip

    然后导出所有4万多条数据

    代码如下(Yii2)

    复制代码

    /**
         * PHPExcel 数据导出
         */
        public function actionPhpexcel() {
    
            define('EOL', '<br />');
            $objPHPExcel = new \app\extensions\PHPExcel\PHPExcel();
            ini_set("memory_limit", "1024M"); // 设置php可使用内存
            set_time_limit(0);  # 设置执行时间最大值
    
            $cacheMethod = \PHPExcel_CachedObjectStorageFactory::cache_in_memory_gzip;
            if (!\PHPExcel_Settings::setCacheStorageMethod($cacheMethod)) {
                die($cacheMethod . " 缓存方法不可用" . EOL);
            }
            echo date('H:i:s'), " 当前使用的缓存方法是: ", $cacheMethod, " 方式", EOL;
            echo date('H:i:s'), " 开始设置文档属性", EOL;
            $objPHPExcel->getProperties()->setCreator("dcb3688")
                    ->setLastModifiedBy("dcb3688")
                    ->setTitle("客户信息记录")
                    ->setSubject("客户信息Document")
                    ->setDescription("描述……")
                    ->setKeywords("office 2007  php")
                    ->setCategory("产品信息AAA");
    
    
            echo date('H:i:s'), " 开始添加单元格标题", EOL;
            $objPHPExcel->setActiveSheetIndex(0);
            $objPHPExcel->getActiveSheet()->setCellValue('A1', "客户姓名");
            $objPHPExcel->getActiveSheet()->setCellValue('B1', "性别");
            $objPHPExcel->getActiveSheet()->setCellValue('C1', "Province");
            $objPHPExcel->getActiveSheet()->setCellValue('D1', "City");
            $objPHPExcel->getActiveSheet()->setCellValue('E1', "Town");
            $objPHPExcel->getActiveSheet()->setCellValue('F1', "Telephone");
            $objPHPExcel->getActiveSheet()->setCellValue('G1', "属相");
            $objPHPExcel->getActiveSheet()->setCellValue('H1', "星座");
            $objPHPExcel->getActiveSheet()->setCellValue('I1', "血型");
            $objPHPExcel->getActiveSheet()->setCellValue('J1', "Nid");
            $objPHPExcel->getActiveSheet()->setCellValue('K1', "Uid");
            $objPHPExcel->getActiveSheet()->setCellValue('L1', "Etime");
            $objPHPExcel->getActiveSheet()->setCellValue('M1', "Regtime");
            $objPHPExcel->getActiveSheet()->setCellValue('N1', "Signup");
            $objPHPExcel->getActiveSheet()->setCellValue('O1', "经度");
            $objPHPExcel->getActiveSheet()->setCellValue('P1', "纬度");
            $objPHPExcel->getActiveSheet()->setCellValue('Q1', "类型");
            $objPHPExcel->getActiveSheet()->setCellValue('R1', "状态");
    
            /**
             * 单元格宽度
             */
            $objPHPExcel->getActiveSheet()->getColumnDimension('F')->setAutoSize(true);
            $objPHPExcel->getActiveSheet()->getColumnDimension('J')->setWidth(45);
            $objPHPExcel->getActiveSheet()->getColumnDimension('L')->setAutoSize(true);
            $objPHPExcel->getActiveSheet()->getColumnDimension('M')->setAutoSize(true);
            $objPHPExcel->getActiveSheet()->getColumnDimension('N')->setAutoSize(true);
            
            /**
             * 左对齐与 右对齐
             * 可设置整列->getStyle('N')   可针对行rows设置getStyle('N3')
             */
            $objPHPExcel->getActiveSheet()->getStyle('N')->getAlignment()->setHorizontal(\PHPExcel_Style_Alignment::HORIZONTAL_RIGHT);
            $objPHPExcel->getActiveSheet()->getStyle('N3')->getAlignment()->setHorizontal(\PHPExcel_Style_Alignment::HORIZONTAL_LEFT);
    
    
    
    
    
            #####################################开始添加数据###############################################################
            
            /**
             * 分页分时间: 微软Execl最大值6万行, total/60000=文件个数,  limit 60000, 60000
             * $model->find()->offset($pages->offset)->limit(60000)->all()
             */
            $model = \app\models\Tcustomer::find()->orderBy('regtime desc')->all();
            if (!empty($model)) {
                foreach ($model as $key => $value) {
                    $Cellkey = $key + 2;
                    $blood = [1 => 'A型', 2 => 'B型', 3 => 'AB型', 4 => 'O型'];
                    $objPHPExcel->getActiveSheet()->setCellValue('A' . $Cellkey, mb_substr($value->realname, 0, -1) . '*');
                    $objPHPExcel->getActiveSheet()->setCellValue('B' . $Cellkey, rand(1, 2) == 1 ? '先生' : '女士');
                    $objPHPExcel->getActiveSheet()->setCellValue('C' . $Cellkey, $value->province);
                    $objPHPExcel->getActiveSheet()->setCellValue('D' . $Cellkey, $value->city);
                    $objPHPExcel->getActiveSheet()->setCellValue('E' . $Cellkey, $value->town);
                    $objPHPExcel->getActiveSheet()->setCellValue('F' . $Cellkey, $value->telephone ? substr($value->telephone, 0, 3) . '*********' : '');
                    $objPHPExcel->getActiveSheet()->setCellValue('G' . $Cellkey, $value->sx);
                    $objPHPExcel->getActiveSheet()->setCellValue('H' . $Cellkey, $value->constel);
                    $objPHPExcel->getActiveSheet()->setCellValue('I' . $Cellkey, $blood[array_rand($blood)]);
                    $objPHPExcel->getActiveSheet()->setCellValue('J' . $Cellkey, mb_substr($value->nid, 0, -3));
                    $objPHPExcel->getActiveSheet()->setCellValue('K' . $Cellkey, $value->uid);
                    $objPHPExcel->getActiveSheet()->setCellValue('L' . $Cellkey, $value->exp);
                    $objPHPExcel->getActiveSheet()->setCellValue('M' . $Cellkey, $value->regtime);
                    $objPHPExcel->getActiveSheet()->setCellValue('N' . $Cellkey, $value->signup ? $value->signup : '无数据');
                    $objPHPExcel->getActiveSheet()->setCellValue('O' . $Cellkey, substr($value->lng, 0, 4) . rand(10000, 999999));
                    $objPHPExcel->getActiveSheet()->setCellValue('P' . $Cellkey, substr($value->lat, 0, 3) . rand(10000, 999999));
                    $objPHPExcel->getActiveSheet()->setCellValue('Q' . $Cellkey, $value->type == 1 ? '意向客户' : '观望中客户');
                    $objPHPExcel->getActiveSheet()->setCellValue('R' . $Cellkey, $value->status == 1 ? '已下单' : '已跟进');
                }
            } else {
                die(" 暂无数据" . EOL);
            }
    
            #######################################################################################################
    
            $objPHPExcel->getActiveSheet()->setTitle('客户信息');
            echo date('H:i:s'), " 设置格式为Excel2007版格式", EOL;
            $callStartTime = microtime(true);
    
            $objWriter = \PHPExcel_IOFactory::createWriter($objPHPExcel, 'Excel2007');
            $objWriter->save(str_replace('.php', '.xlsx', __FILE__));
            $callEndTime = microtime(true);
            $callTime = $callEndTime - $callStartTime;
    
            echo date('H:i:s'), " 设置生成的文件为: ", str_replace('.php', '.xlsx', pathinfo(__FILE__, PATHINFO_BASENAME)), EOL;
            echo date('H:i:s'), ' 写入Workbook中耗时 ', sprintf('%.4f', $callTime), " 秒", EOL;
            echo date('H:i:s'), ' 当前内存使用情况: ', (memory_get_usage(true) / 1024 / 1024), " MB", EOL;
            echo date('H:i:s'), " 内存使用峰值: ", (memory_get_peak_usage(true) / 1024 / 1024), " MB", EOL;
            echo date('H:i:s'), " 完成写入文件", EOL;
            echo date('H:i:s'), ' 文件被创建在: ', getcwd(), '目录', EOL;
        }

    复制代码

    执行后信息:

    打开文件:

     

    展开全文
  • phpexcle大数据量导出

    2019-03-31 18:10:22
    引导关注商务学习动图 最近接到一个需求,通过选择的时间段导出对应的订单数据到excel中, 由于数据量较大,经常会有导出500K+数据的情况。平常的导出用的PHPexcle,将数据一次性读取到内存中再一次性写入文件,而在...

    引导关注商务学习动图

    最近接到一个需求,通过选择的时间段导出对应的订单数据到excel中, 由于数据量较大,经常会有导出500K+数据的情况。平常的导出用的PHPexcle,将数据一次性读取到内存中再一次性写入文件,而在面对生成超大数据量的excel文件时这显然是会造成内存溢出的。

    这时就需要循环批量写入excle导出。

    过程中可能遇到的问题:

    1.超时:Maximum execution time of 30 seconds exceeded
      解决:在文件开头加上 set_time_limit(0);即php执行时间不受限制。
    2.内存溢出:Allowed memory size of 134217728 bytes exhausted (tried to allocate 20480 bytes)
      解决:
           2.1 可在ini文件设置;设置memory_limit,将内存设置加大,
           2.2 在执行代码前加上 ini_set("memory_limit", "1024M");
           2.3 每次读取的数据量减少,增加循环的次数;
    3.导出的excle数字过长展示成科学计数
      解决:
           3.1 在要写入的数字数据,后面加个 “\t”;
           3.2 或是数字转换为字符串格式
    

    上代码(生成excle链接导出数据):

    public function downBigExcle() 
    {
        set_time_limit(0);
        #自定义导出地址+文件名
        $pathName = time().'.csv';
        #计算要导出总数据条数
        $totalNums = Db::table('t_excle')->count('id');
        #设置表头标题
        $headerTitleArr = ['xx','xxx'];
        #CSV的Excel支持GBK编码,一定要转换,否则乱码
        foreach ($headerTitleArr as $i => $v) {
                $headerTitleArr[$i] = iconv('utf-8', 'gbk', $v);
        }
        #每次查询的条数
        $pageSize = 5000;
        #分批导的次数
        $pages   = ceil($totalNums / $pageSize);
        #打开文件流
        $fp = fopen($pathName, 'a');
        #将数据格式化为CSV格式并写入到文件流中
        fputcsv($fp, $headerTitleArr);
        #主体内容
        $paegNum = 0;
        for ($i=0; $i <$pages ; $i++) { 
            $data = Db::table('t_excle')->limit($paegNum,$pageSize)->field('*')->select();
            foreach ($data as $fields) {
                foreach ($fields as $key => &$v) {
                    // CSV的Excel支持GBK编码,一定要转换,否则乱码
                    // 加"\t"防止数字导出时变成科学计数
                    $v = iconv('utf-8', 'gbk', $v."\t");
                }
                fputcsv($fp, $fields);
                //这边可记录下数据的最后一次的位置,便于查看排错定位。
            }
            unset($data);//释放变量的内存
            $paegNum += $pageSize;
        }
        fclose($fp);
        #输出下载链接,url为下载的域名
        return $url.$pathName;
      }
    
    

    对于一个请求来说PHP是单线程的,大数据量的导出又是最耗时的,搞不好其他请求就阻塞了。

    小数据量的话,可以直接浏览器输出;

    大数据量的话,可以生成excle下载链接;推荐使用swoole异步框架处理请求。

    1.当客服在后台系统点击下载后,可先返回个提示或是生成一条下载记录;

    2.在后台异步处理excle导出操作;

    3.客服主动刷新页面查看是否有下载链接生成。

    再上代码(生成excle直接浏览器输出):

     public function downOrderData($timeStart, $timeEnd)
    {
        set_time_limit(0);
        $columns = [
            '序号ID', '姓名', '电话', ......
        ];
        $csvFileName = '订单数据' . $timeStart .'_'. $timeEnd . '.xlsx';
        //设置好告诉浏览器要下载excel文件的headers
        header('Content-Description: File Transfer');
        header('Content-Type: application/vnd.ms-excel');
        header('Content-Disposition: attachment; filename="'. $fileName .'"');
        header('Expires: 0');
        header('Cache-Control: must-revalidate');
        header('Pragma: public');
        $fp = fopen('php://output', 'a');//打开output流
        mb_convert_variables('GBK', 'UTF-8', $columns);
        fputcsv($fp, $columns);//将数据格式化为CSV格式并写入到output流中
        $accessNum = '100000'//从数据库获取总量,假设是十万
        $perSize = 1000;//每次查询的条数
        $pages   = ceil($accessNum / $perSize);
        $lastId  = 0;
        for($i = 1; $i <= $pages; $i++) {
            $data = Db::table('t_excle')->limit($lastId  ,$pageSize)->field('*')->select();
            foreach($data as $value) {
                mb_convert_variables('GBK', 'UTF-8', $value);
                fputcsv($fp, $value);
                $lastId = $value['id'];
            }
            unset($data);//释放变量的内存
            //刷新输出缓冲到浏览器
            ob_flush();
            flush();//必须同时使用 ob_flush() 和flush() 函数来刷新输出缓冲。
        }
        fclose($fp);
        exit();
    }
    

    活着就是为了改变世界,难道还有其他原因吗?----乔布斯

    更多信息交流,敬请关注号
    在这里插入图片描述

    展开全文
  • PHPEXCEL大数据导出

    2019-12-05 11:13:36
    今天使用PHPExce插件导不出数据,发现是数据量过大的原因,这里只做简单的处理。 1、导出超时处理:在执行页面添加:set_time_limit(0); 2、内存溢出:在执行页面添加:ini_set("memory_limit", "1024M");...

    今天使用PHPExce插件导不出数据,发现是数据量过大的原因,这里只做简单的处理。

    1、导出超时处理:在执行页面添加:set_time_limit(0);

    2、内存溢出:在执行页面添加:ini_set("memory_limit", "1024M");

    简单来说就是在执行页面添加了以下两行代码:

    set_time_limit(0);

    ini_set("memory_limit", "1024M");

    我这是1万多的数据处理,如数据量更大,可以参考:https://blog.csdn.net/Drug_/article/details/78716358

    的处理方式

    展开全文
  • phpExcel大数据导出

    2020-06-06 23:30:52
    phpExcel 导出方法,可支持大数据导出,最大数据为各个系统文件最大容量,我在项目中常用到的
  • phpExcel大数据量情况下内存溢出解决 版本:1.7.6+ 在不进行特殊设置的情况下,phpExcel将读取的单元格信息保存在内存中,我们可以通过 PHPExcel_Settings::setCacheStorageMethod() 来设置不同的缓存方式,已...

    phpExcel大数据量情况下内存溢出解决

    版本:1.7.6+

    在不进行特殊设置的情况下,phpExcel将读取的单元格信息保存在内存中,我们可以通过

    PHPExcel_Settings::setCacheStorageMethod()

    来设置不同的缓存方式,已达到降低内存消耗的目的!

    1、将单元格数据序列化后保存在内存中

    PHPExcel_CachedObjectStorageFactory::cache_in_memory_serialized; 

    2、将单元格序列化后再进行Gzip压缩,然后保存在内存中

    PHPExcel_CachedObjectStorageFactory::cache_in_memory_gzip; 

    3、缓存在临时的磁盘文件中,速度可能会慢一些

    PHPExcel_CachedObjectStorageFactory::cache_to_discISAM;

    4、保存在php://temp

    PHPExcel_CachedObjectStorageFactory::cache_to_phpTemp; 

    5、保存在memcache中

    PHPExcel_CachedObjectStorageFactory::cache_to_memcache
    $cacheMethod = PHPExcel_CachedObjectStorageFactory::cache_to_memcache;  
            $cacheSettings = array( 'memcacheServer'  => 'localhost',  
                            'memcachePort'    => 11211,  
                            'cacheTime'       => 600  
                          );  
            PHPExcel_Settings::setCacheStorageMethod($cacheMethod, $cacheSettings);

    注意是加在new PHPExcel() 前面:如下

    require_once APPPATH .'third_party/PHPExcel/PHPExcel.php';
    
    $cacheMethod = PHPExcel_CachedObjectStorageFactory::cache_to_phpTemp;
    $cacheSettings = array('memoryCacheSize'=>'16MB');
    PHPExcel_Settings::setCacheStorageMethod($cacheMethod, $cacheSettings);
    
    $objPHPExcel = new PHPExcel();

     

    展开全文
  • php读取一个excel文件多个Sheet循环读取数据并保存到另外一个数组里面,引入phpExcel 这个类传递对应的excel 文件的路径就好了现在上传到指定的目录,然后加载上传的excel文件读取这里读取是的时候注意:是Sheet可以...
  • PHPExcel版本:1.7.6+ 在不进行特殊设置的情况下,phpExcel将读取的单元格信息保存在内存中,我们可以通过PHPExcel_Settings::setCacheStorageMethod()来设置不同的缓存方式,已达到降低内存消耗的目的! 1、将...
  • phpExcel 读取数据,大数据文件处理方案 /** * 读取 Excel 文件 * @param string $filePath 要读取的路径 * @param integer $sheet 要读取的工作列表 * @return array * @author lianggc 2016-09-06
  • (¯﹃¯) PHPExcel导出大量数据超时及内存错误解决方法 转载于:https://www.cnblogs.com/niniY/p/6744610.html
  • 而常用的PHPexcel包需要把所有数据拿到后才能生成excel, 在面对生成超大数据量的excel文件时这显然是会造成内存溢出的,所以考虑使用让PHP边写入输出流边让浏览器下载的形式来完成需求。 我们通过如下的方式写入PHP...
1 2 3 4 5 ... 9
收藏数 163
精华内容 65