•  产品汪:我要在后台做一个功能,可以导出自定义时间范围的订单信息。开发小哥二话不说,半天就把功能做完并上线了。结果,第二天一上班产品汪过来就是拍桌子:MD,我想把去年一整年的订单都导出来,结果后台直接就...

        开发中经常遇到这样的场景

        产品汪:我要在后台做一个功能,可以导出自定义时间范围的订单信息。开发小哥二话不说,半天就把功能做完并上线了。结果,第二天一上班产品汪过来就是拍桌子:MD,我想把去年一整年的订单都导出来,结果后台直接就挂了!

        开发小哥一查,原来是内存溢出了,一年下来的的订单量足足有1000W条。于是,开发小哥跟产品汪吵了起来:你TM色不色傻,1000W的数据你导出来干diao,你是不是想把服务器给搞挂掉?

        于是,产品汪与程序狗就这么结下梁子了。

        但是。产品的需求你敢这样怼回去,那如果是老板提的这个需求呢,就是硬要把1000W条记录导出来,你还不得乖乖回去码代码?

        那么,这个如果真要导出这大量数据,该怎么做呢?开发中我们经常会使用框架来提高我们的开发效率,但也意味着框架会对一些数据进行封装。

        比如Yii2,当我们想获取去年一年的订单时,我们的代码会这样写:

        Order::find()->where("create_time between '2016-01-01' AND '2016-12-31'")->all();

        当我们将上面代码得到的结果集再拿去遍历时,数据量一大,就会内存溢出。

        原因是:Yii2中,对all方法进行了封将,将大量的数据存入了数组中,而遍历大数据,必然会导致内存迅速上升

        那如何取出大量数据,而又不存到数组中呢?这就要用到了PHP中的迭代器:Iterator。如果有看过PDO::query的返回值类型的话,我们会发现,这个方法返回的 PDOStatement,正是对 Iterator 的实现。关于 Iterator,请自行脑补。

        即然框架帮我们做了多余的封装,那么我们就改用原生API来实现。以下是完整代码

    $sql = 'select * from user';
    $pdo = new \PDO('mysql:host=127.0.0.1;dbname=test', 'root', 'root');
    $pdo->setAttribute(\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
    $rows = $pdo->query($sql);
    $filename = date('Ymd') . '.csv'; //设置文件名
    header('Content-Type: text/csv');
    header("Content-Disposition: attachment;filename={$filename}");
    $out = fopen('php://output', 'w');
    fputcsv($out, ['id', 'username', 'password', 'create_time']);
    
    foreach ($rows as $row) {
        $line = [$row['id'], $row['username'], $row['password'], $row['create_time']];
    
        fputcsv($out, $line);
    }
    
    fclose($out);
    $memory = round((memory_get_usage() - $startMemory) / 1024 / 1024, 3) . 'M' . PHP_EOL;
    file_put_contents('/tmp/test.txt', $memory, FILE_APPEND);

            在表中生成7位数量级的记录,执行上面的代码,通过查看内存使用,发现整个过程只占用了0.XM的内存,完全没有任何内存溢出的现象。

    原文链接:PHP+MySQL导出大量数据(Iterator yield)

    展开全文
  • php大数据导出csv

    2019-01-08 11:58:31
    博主昨天在实现一个需求,因为需要用到大数据导出,所以自己动手写了一个导出方法,因为要考虑到大数据的导出,所以不能一次性读取数据库,想到了分页获取数据,写进导出缓存中,这样避免了一次性从数据库中读取大量...

           博主昨天在实现一个需求,因为需要用到大数据导出,所以自己动手写了一个导出方法,因为要考虑到大数据的导出,所以不能一次性读取数据库,想到了分页获取数据,写进导出缓存中,这样避免了一次性从数据库中读取大量数据而造成奔溃,思路就是分页获取数据,写进导出数组中,同时清除查询数据的缓存,这样就可以避免奔溃,下面向大家分享有关教程

           博主用的是原生方法写,跟之前另一篇博客也是很相似的,大家有兴趣也可以看看(传送门)  ,我们先来封装我们的数据库查询方法,等下会用,代码如下:

    /**
     * 获取导出数据  
     * @param $getLinkClearSQl  数据库语句
     */
    function getReturnData($getLinkClearSQl)
    {
        $con = mysqli_connect("链接地址", "账号名", "密码", "数据库名");
        $getLinkClearingData = mysqli_query($con, $getLinkClearSQl);
        $returnData = array();
        //循环组合即将导出数据
        while ($rowData = mysqli_fetch_array($getLinkClearingData)) {
            $returnData[] = array(
                'day' => date('Y-m-d', strtotime($rowData["day"])) . ' ', 
                'num1' => $rowData["num1"],
                'num2' => $rowData["num2"],
                'num3' => $rowData["num3"],
                'num4' => $rowData["num4"],
            );
        }
        //返回已封装好的数据
        return $returnData;
    }
          封装好导出数据,然后再来封装我们的私有方法,该方法能够使得导出的中文不乱码,代码如下:
    
    function fputcsv2($handle, array $fields, $delimiter = ",", $enclosure = '"', 
        $escape_char = "\\")
    {
        foreach ($fields as $k => $v) {
            $fields[$k] = iconv("UTF-8", "GB2312//IGNORE", $v);  // 这里将UTF-8转为GB2312编码
        }
        fputcsv($handle, $fields, $delimiter, $enclosure, $escape_char);
    }

           接下来是我们的主体了,上面我们已经封装了两个方法,跟主体区分开,看起来会比较舒服,代码如下:

    //设置时间跟最大限制
    set_time_limit(0);
    ini_set("memory_limit", "512M");
    #设置文件名以及列名
    $fileName = "导出数据";
    $columnName = array('日期','字段1','字段2','字段3','字段4',); 
    //设置头部
    header('Content-Type: application/vnd.ms-excel;charset=utf-8');
    header("Content-Disposition:filename=" . $fileName . ".csv");
    // 打开PHP文件句柄,php://output 表示直接输出到浏览器
    $fp = fopen('php://output', 'a');
    // 将中文标题转换编码,否则乱码
    foreach ($columnName as $i => $v) {
        $columnName[$i] = $v;
    }
    //每次获取数量
    $pre_count = 100;
    // 将标题名称通过fputcsv写到文件句柄
    fputcsv2($fp, $columnName);
    $rows = array();
    //循环读取数据并导出数据
    for ($t = 0; $t < intval($linkClearingNumber / $pre_count) + 1; $t++) {
        #获取页码
        $pageNumber = $t * $pre_count;
        #重构SQL
        $getLinkClearSQl = "SELECT * FROM 表名"." limit $pageNumber,$pre_count";
        #获取数据
        $export_data = getReturnData($linkData, $getLinkClearSQl);
        #循环获取存放数据
        foreach ($export_data as $item) {
            $rows = array();
            foreach ($item as $export_obj) {
                $rows[] = iconv('utf-8', 'GB18030', $export_obj);
            }
            fputcsv($fp, $rows);
        }
        // 将已经写到csv中的数据存储变量销毁,释放内存占用
        unset($export_data);
        ob_flush();
        flush();
    }
    exit ();

            这样我们便完成了导出上万数据而不会造成网络奔溃的方法,各位小伙伴可以尝试尝试。

            更多文章请关注微信公众号

     

    展开全文
  • php导出大数据csv表格

    2020-06-11 14:57:07
    phpExcel导出数据老是内存溢出,用此方法一边下载一边查询数据写入到文件每次都把缓存区清空,解决了内存溢出问题。 此方法可以到处大数据本人测试过导出100W数据完全无压力
  • php导出大数据csv

    2017-10-27 11:47:46
    /**  * @author 漫步云端  */ header("content-Type:text/html; charset=UTF-8"); ...class PHPCsv { public $Title="Simple"; public $SheetHeader=[]; public $SheetBody=[]; public $fp; public func
    <?php
    /**
     * @author    漫步云端
     */
    header("content-Type:text/html; charset=UTF-8");


    class PHPCsv
    {
    public $Title="Simple";
    public $SheetHeader=[];
    public $SheetBody=[];
    public $fp;

    public function __construct()
    {

    }
    public function setTile($title)
    {
    $this->$Title=$title;
    }

    public function init()
    {
    header("content-Type:text/html; charset=UTF-8");
    header('Content-Type: application/vnd.openxmlformats-officedocument.spreadsheetml.sheet');
    header('Content-Disposition: attachment;filename="'.$this->Title.'.csv"');
    header('Cache-Control: max-age=0');
    $this->fp = fopen('php://output',  'w');
    fwrite($this->fp,chr(0xEF).chr(0xBB).chr(0xBF));  
    foreach($this->SheetHeader as $key => $item) {
    $this->SheetHeader[$key] = $item;
       // $this->SheetHeader[$key] = iconv('UTF-8', 'GBK', $item);
    }
    fputcsv($this->fp, $this->SheetHeader);

    }

    public function addSheetBody($datas){
    foreach($datas as $key => $data){

    foreach($this->SheetHeader as $k => $cell){
    $row[$k] = $data[$k];
    //$row[$k] = iconv('UTF-8','GBK',$data[$k]);
    }
    fputcsv($this->fp, $row);
    }

    }

    }

    // 使用示例


    $csv=new PHPCsv();


     $csv->Title='导出用户数据';
    $csv->SheetHeader = array('ID', '用户名', '用户年龄', '用户描述', '用户手机', '用户QQ', '用户邮箱', '用户地址');
    $csv->init();
    $step = 100;
    $nums = 10000;


    for($s = 1; $s <= $step; ++$s) {
        $start = ($s - 1) * $nums;
        $rows = $res->rows("SELECT * FROM tb_users ORDER BY id LIMIT {$start},{$nums}");


    $csv->addSheetBody($rows);
      //每1万条数据就刷新缓冲区
        ob_flush();
        flush();



    }

    展开全文
  • set_time_limit(0); ini_set ('memory_limit', '256M'); $db = $this->load->database('default',true); $sql = "SELECT * FROM `t_mobile_number_section` $condition"; ...

    set_time_limit(0);

           ini_set ('memory_limit', '256M');

     

           $db = $this->load->database('default',true);

           $sql = "SELECT * FROM `t_mobile_number_section` $condition";

           $query = $db->query($sql);

           $result = $query->result_array();

           $filename = 'number'.time().'.csv';

           header('Content-Type: application/vnd.ms-excel');

           header('Content-Disposition: attachment;filename="'.$filename.'"');

           header('Cache-Control: max-age=0');

           // 打开PHP文件句柄,php://output 表示直接输出到浏览器

           $fp = fopen('php://output', 'a');

     

           // 输出Excel列名信息

           $head = array($title['number_section'],$title['area_code'],$title['province'],$title['city']);

           foreach ($head as $i => $v) {

               // CSV的Excel支持GBK编码,一定要转换,否则乱码

               $head[$i] = iconv('utf-8', 'gbk', $v);

           }

     

           // 将数据通过fputcsv写到文件句柄

           fputcsv($fp, $head);

     

           // 计数器

           $cnt = 0;

           $limit = 100000;

     

           // 从数据库中获取数据,为了节省内存,不要把数据一次性读到内存,从句柄中一行一行读即可

     

           $i = 2;

     

           $count = 0;

           foreach ($result as $key => $val) {

               $count ++;

               $cnt ++;

     

               //每隔$limit行,刷新一下输出buffer,不要太大,也不要太小 ,大数据量时处理

               if ($limit == $cnt) { //刷新一下输出buffer,防止由于数据过多造成问题

                   ob_flush();

                   flush();  //刷新buffer

                   $cnt = 0;

               }

     

     

               $rows[$i] = iconv('utf-8', 'gbk', $val['number_section']);

               $rows[$i+1] = iconv('utf-8', 'gbk', $val['area_code']);

               $rows[$i+2] = iconv('utf-8', 'gbk', $val['province']);

               $rows[$i+3] = iconv('utf-8', 'gbk', $val['city']);

               fputcsv($fp, $rows);

         exit;  //记得加这个,不然会跳转到某个页面。

           }

    展开全文
  • PHPExcel 大数据导出

    2018-01-29 17:54:42
    PHPExcel 是一个php语言读取导出数据、导入生成Excel的类库,使用起来非常方便,但有时会遇到以些问题,比如导出的数据超时,内存溢出等。 下面我们来说说这些问题和解决办法。 PHPExcel 版本:@version ...

    PHPExcel 是一个php语言读取导出数据、导入生成Excel的类库,使用起来非常方便,但有时会遇到以些问题,比如导出的数据超时,内存溢出等。

    下面我们来说说这些问题和解决办法。

    PHPExcel 版本:@version    1.8.0, 2014-03-02

    能遇到这样的问题一般都是因为数据量大导致

    1.PHPExcel 报错

    报错提示:

    'break' not in the 'loop' or 'switch' context

    严格的讲这个不是PHPExcel的错误,是PHP版本的问题,大于PHP5.6以后,“break”必须要在循环体内执行(for ,foreach, while, switch)

    此处无循环,解决办法:注释掉break;

    2.超时

    提示:

    Maximum execution time of 30 seconds exceeded

    数据量过大,php执行超过30秒后就会报这样的信息

    解决办法:

    可修改php.ini  或直接在执行页面中添加

    set_time_limit(0);

    这样就设置了php的执行超时

     

    3.内存溢出

    超时解决好之后,等待了好几十秒后又来了个错误:

    Allowed memory size of 134217728 bytes exhausted (tried to allocate 20480 bytes)

    内存不足呀!

    解决内存溢出我们分两步走,

    第一步:设置memory_limit

    默认情况memory_limit 大小为100MB,当所需内存大于100MB就会溢出,所以设置足够大的值

    ini_set("memory_limit", "1024M");  // 根据电脑配置不够继续增加

    第二步:设置PHPExcel单元格缓存

    单元格缓存是将所需PHPExcel内存单元格对象缓存到磁盘、memcache、MemoryGZip等,这样读取上会更耗时,但可以降低内存的消耗。

    PHPExcel_CachedObjectStorageFactory 这个类中提供了这几个单元格缓存

    复制代码
        const cache_in_memory               = 'Memory';
        const cache_in_memory_gzip          = 'MemoryGZip';  #将单元格序列化后再进行Gzip压缩,然后保存在内存中
        const cache_in_memory_serialized    = 'MemorySerialized';  # 将单元格数据序列化后保存在内存中
        const cache_igbinary                = 'Igbinary';    #存储为紧密的二进制形式
        const cache_to_discISAM             = 'DiscISAM';    #缓存在临时的磁盘文件中,速度可能会慢一些
        const cache_to_apc                  = 'APC';     #Alternative PHP Cache可选PHP缓存
        const cache_to_memcache             = 'Memcache';   #保存在memcache中
        const cache_to_phpTemp              = 'PHPTemp';    #保存在php://temp
        const cache_to_wincache             = 'Wincache';
        const cache_to_sqlite               = 'SQLite';
        const cache_to_sqlite3              = 'SQLite3';
    复制代码

    每一个worksheet都会有一个独立的缓存,当一个worksheet实例化时,就会根据设置或配置的缓存方式来自动创建。一旦你开始读取一个文件或者你已经创建了第一个worksheet,就不能在改变缓存的方式了。

    • MemorySerialized: 使用这种缓存方式,单元格会以序列化的方式保存在内存中,这是降低内存使用率性能比较高的一种方案。 
    • MemoryGZip: 与序列化的方式类似,这种方法在序列化之后,又进行gzip压缩之后再放入内存中,这回跟进一步降低内存的使用,但是读取和写入时会有一些慢。
    • DiscISAM:当使用cache_to_discISAM这种方式时,所有的单元格将会保存在一个临时的磁盘文件中,只把他们的在文件中的位置保存在PHP的内存中,这会比任何一种缓存在内存中的方式都慢,但是能显著的降低内存的使用。临时磁盘文件在脚本运行结束是会自动删除。
    • PHPTemp: 类 似cache_to_discISAM这种方式,使用cache_to_phpTemp时,所有的单元格会还存在php://temp I/O流中,只把 他们的位置保存在PHP的内存中。PHP的php://memory包裹器将数据保存在内存中,php://temp的行为类似,但是当存储的数据大小超 过内存限制时,会将数据保存在临时文件中,默认的大小是1MB,但是你可以在初始化时修改它。php://temp文件在脚本结束是会自动删除。 

     

    4.大数据导出

    微软的Excel设置单元格行数默认是6万行rows,相对的讲其实当我们超过1万行的时候已经是大数据的导出。

    好比:有客户10000人,平均每人每天产生10条活动记录,要导出上周所有的客户活动记录: 10000*10*7=700000

    估计看70万行的Excel这个人会疯掉的,我们的建议是分批次导出,按时间导出到不同的excel

    下面是一个PHPExcel官方的Demo(已修改过)

    复制代码
            define('EOL', '<br />');
            $objPHPExcel = new \app\extensions\PHPExcel\PHPExcel();
            ini_set("memory_limit", "1024M"); // 设置php可使用内存
    
            $cacheMethod = \PHPExcel_CachedObjectStorageFactory::cache_in_memory_gzip;
            if (!\PHPExcel_Settings::setCacheStorageMethod($cacheMethod)) {
                die($cacheMethod . " 缓存方法不可用" . EOL);
            }
            echo date('H:i:s'), " 当前使用的缓存方法是: ", $cacheMethod, " 方式", EOL;
            echo date('H:i:s'), " 开始设置文档属性", EOL;
            $objPHPExcel->getProperties()->setCreator("Maarten Balliauw")
                    ->setLastModifiedBy("Maarten Balliauw")
                    ->setTitle("Office 2007 XLSX Test Document")
                    ->setSubject("Office 2007 XLSX Test Document")
                    ->setDescription("Test document for Office 2007 XLSX, generated using PHP classes.")
                    ->setKeywords("office 2007 openxml php")
                    ->setCategory("Test result file");
    
    
            echo date('H:i:s'), " 开始添加单元格标题", EOL;
            $objPHPExcel->setActiveSheetIndex(0);
            $objPHPExcel->getActiveSheet()->setCellValue('A1', "Firstname");
            $objPHPExcel->getActiveSheet()->setCellValue('B1', "Lastname");
            $objPHPExcel->getActiveSheet()->setCellValue('C1', "Phone");
            $objPHPExcel->getActiveSheet()->setCellValue('D1', "Fax");
            $objPHPExcel->getActiveSheet()->setCellValue('E1', "Is Client ?");
            
            // 设置单元格宽度
            $objPHPExcel->getActiveSheet()->getColumnDimension('A')->setAutoSize(true);
            $objPHPExcel->getActiveSheet()->getColumnDimension('B')->setWidth(50);
            
            /**
             * 左对齐与 右对齐
             * 可设置整列->getStyle('N')   可针对行rows设置getStyle('N3')
             */
            $objPHPExcel->getActiveSheet()->getStyle('B')->getAlignment()->setHorizontal(\PHPExcel_Style_Alignment::HORIZONTAL_RIGHT);
            $objPHPExcel->getActiveSheet()->getStyle('B3')->getAlignment()->setHorizontal(\PHPExcel_Style_Alignment::HORIZONTAL_LEFT);
    
            echo date('H:i:s'), " 设置隐藏C D列", EOL;
            $objPHPExcel->getActiveSheet()->getColumnDimension('C')->setVisible(false);
            $objPHPExcel->getActiveSheet()->getColumnDimension('D')->setVisible(false);
    
            echo date('H:i:s'), " 设置大纲级别", EOL;
            $objPHPExcel->getActiveSheet()->getColumnDimension('E')->setOutlineLevel(1)
                    ->setVisible(false)
                    ->setCollapsed(true);
    
            /**
             * 开始添加数据
             */
            for ($i = 2; $i <= 50000; $i++) {
                $objPHPExcel->getActiveSheet()->setCellValue('A' . $i, "FName $i")
                        ->setCellValue('B' . $i, "LName $i")
                        ->setCellValue('C' . $i, "PhoneNo $i")
                        ->setCellValue('D' . $i, "FaxNo $i")
                        ->setCellValue('E' . $i, true);
            }
    
            $objPHPExcel->getActiveSheet()->setTitle('供应商信息');
            echo date('H:i:s'), " 设置格式为Excel2007版格式", EOL;
            $callStartTime = microtime(true);
    
            $objWriter = \PHPExcel_IOFactory::createWriter($objPHPExcel, 'Excel2007');
            $objWriter->save(str_replace('.php', '.xlsx', __FILE__));
            $callEndTime = microtime(true);
            $callTime = $callEndTime - $callStartTime;
    
            echo date('H:i:s'), " 设置生成的文件为: ", str_replace('.php', '.xlsx', pathinfo(__FILE__, PATHINFO_BASENAME)), EOL;
            echo date('H:i:s'), ' 写入Workbook中耗时 ', sprintf('%.4f', $callTime), " 秒", EOL;
            echo date('H:i:s'), ' 当前内存使用情况: ', (memory_get_usage(true) / 1024 / 1024), " MB", EOL;
            echo date('H:i:s'), " 内存使用峰值: ", (memory_get_peak_usage(true) / 1024 / 1024), " MB", EOL;
            echo date('H:i:s'), " 完成写入文件", EOL;
            echo date('H:i:s'), ' 文件被创建在: ', getcwd(), '目录', EOL;
    复制代码

     

     

    下面模拟一个大数据的导出:

    msyql中tcustomer表有数据4万多条

    我们设置

    set_time_limit(0);
    ini_set("memory_limit", "1024M"); 
    \PHPExcel_CachedObjectStorageFactory::cache_in_memory_gzip;  # 单元格缓存为MemoryGZip

    然后导出所有4万多条数据

    代码如下(Yii2)

    复制代码
    /**
         * PHPExcel 数据导出
         */
        public function actionPhpexcel() {
    
            define('EOL', '<br />');
            $objPHPExcel = new \app\extensions\PHPExcel\PHPExcel();
            ini_set("memory_limit", "1024M"); // 设置php可使用内存
            set_time_limit(0);  # 设置执行时间最大值
    
            $cacheMethod = \PHPExcel_CachedObjectStorageFactory::cache_in_memory_gzip;
            if (!\PHPExcel_Settings::setCacheStorageMethod($cacheMethod)) {
                die($cacheMethod . " 缓存方法不可用" . EOL);
            }
            echo date('H:i:s'), " 当前使用的缓存方法是: ", $cacheMethod, " 方式", EOL;
            echo date('H:i:s'), " 开始设置文档属性", EOL;
            $objPHPExcel->getProperties()->setCreator("dcb3688")
                    ->setLastModifiedBy("dcb3688")
                    ->setTitle("客户信息记录")
                    ->setSubject("客户信息Document")
                    ->setDescription("描述……")
                    ->setKeywords("office 2007  php")
                    ->setCategory("产品信息AAA");
    
    
            echo date('H:i:s'), " 开始添加单元格标题", EOL;
            $objPHPExcel->setActiveSheetIndex(0);
            $objPHPExcel->getActiveSheet()->setCellValue('A1', "客户姓名");
            $objPHPExcel->getActiveSheet()->setCellValue('B1', "性别");
            $objPHPExcel->getActiveSheet()->setCellValue('C1', "Province");
            $objPHPExcel->getActiveSheet()->setCellValue('D1', "City");
            $objPHPExcel->getActiveSheet()->setCellValue('E1', "Town");
            $objPHPExcel->getActiveSheet()->setCellValue('F1', "Telephone");
            $objPHPExcel->getActiveSheet()->setCellValue('G1', "属相");
            $objPHPExcel->getActiveSheet()->setCellValue('H1', "星座");
            $objPHPExcel->getActiveSheet()->setCellValue('I1', "血型");
            $objPHPExcel->getActiveSheet()->setCellValue('J1', "Nid");
            $objPHPExcel->getActiveSheet()->setCellValue('K1', "Uid");
            $objPHPExcel->getActiveSheet()->setCellValue('L1', "Etime");
            $objPHPExcel->getActiveSheet()->setCellValue('M1', "Regtime");
            $objPHPExcel->getActiveSheet()->setCellValue('N1', "Signup");
            $objPHPExcel->getActiveSheet()->setCellValue('O1', "经度");
            $objPHPExcel->getActiveSheet()->setCellValue('P1', "纬度");
            $objPHPExcel->getActiveSheet()->setCellValue('Q1', "类型");
            $objPHPExcel->getActiveSheet()->setCellValue('R1', "状态");
    
            /**
             * 单元格宽度
             */
            $objPHPExcel->getActiveSheet()->getColumnDimension('F')->setAutoSize(true);
            $objPHPExcel->getActiveSheet()->getColumnDimension('J')->setWidth(45);
            $objPHPExcel->getActiveSheet()->getColumnDimension('L')->setAutoSize(true);
            $objPHPExcel->getActiveSheet()->getColumnDimension('M')->setAutoSize(true);
            $objPHPExcel->getActiveSheet()->getColumnDimension('N')->setAutoSize(true);
            
            /**
             * 左对齐与 右对齐
             * 可设置整列->getStyle('N')   可针对行rows设置getStyle('N3')
             */
            $objPHPExcel->getActiveSheet()->getStyle('N')->getAlignment()->setHorizontal(\PHPExcel_Style_Alignment::HORIZONTAL_RIGHT);
            $objPHPExcel->getActiveSheet()->getStyle('N3')->getAlignment()->setHorizontal(\PHPExcel_Style_Alignment::HORIZONTAL_LEFT);
    
    
    
    
    
            #####################################开始添加数据###############################################################
            
            /**
             * 分页分时间: 微软Execl最大值6万行, total/60000=文件个数,  limit 60000, 60000
             * $model->find()->offset($pages->offset)->limit(60000)->all()
             */
            $model = \app\models\Tcustomer::find()->orderBy('regtime desc')->all();
            if (!empty($model)) {
                foreach ($model as $key => $value) {
                    $Cellkey = $key + 2;
                    $blood = [1 => 'A型', 2 => 'B型', 3 => 'AB型', 4 => 'O型'];
                    $objPHPExcel->getActiveSheet()->setCellValue('A' . $Cellkey, mb_substr($value->realname, 0, -1) . '*');
                    $objPHPExcel->getActiveSheet()->setCellValue('B' . $Cellkey, rand(1, 2) == 1 ? '先生' : '女士');
                    $objPHPExcel->getActiveSheet()->setCellValue('C' . $Cellkey, $value->province);
                    $objPHPExcel->getActiveSheet()->setCellValue('D' . $Cellkey, $value->city);
                    $objPHPExcel->getActiveSheet()->setCellValue('E' . $Cellkey, $value->town);
                    $objPHPExcel->getActiveSheet()->setCellValue('F' . $Cellkey, $value->telephone ? substr($value->telephone, 0, 3) . '*********' : '');
                    $objPHPExcel->getActiveSheet()->setCellValue('G' . $Cellkey, $value->sx);
                    $objPHPExcel->getActiveSheet()->setCellValue('H' . $Cellkey, $value->constel);
                    $objPHPExcel->getActiveSheet()->setCellValue('I' . $Cellkey, $blood[array_rand($blood)]);
                    $objPHPExcel->getActiveSheet()->setCellValue('J' . $Cellkey, mb_substr($value->nid, 0, -3));
                    $objPHPExcel->getActiveSheet()->setCellValue('K' . $Cellkey, $value->uid);
                    $objPHPExcel->getActiveSheet()->setCellValue('L' . $Cellkey, $value->exp);
                    $objPHPExcel->getActiveSheet()->setCellValue('M' . $Cellkey, $value->regtime);
                    $objPHPExcel->getActiveSheet()->setCellValue('N' . $Cellkey, $value->signup ? $value->signup : '无数据');
                    $objPHPExcel->getActiveSheet()->setCellValue('O' . $Cellkey, substr($value->lng, 0, 4) . rand(10000, 999999));
                    $objPHPExcel->getActiveSheet()->setCellValue('P' . $Cellkey, substr($value->lat, 0, 3) . rand(10000, 999999));
                    $objPHPExcel->getActiveSheet()->setCellValue('Q' . $Cellkey, $value->type == 1 ? '意向客户' : '观望中客户');
                    $objPHPExcel->getActiveSheet()->setCellValue('R' . $Cellkey, $value->status == 1 ? '已下单' : '已跟进');
                }
            } else {
                die(" 暂无数据" . EOL);
            }
    
            #######################################################################################################
    
            $objPHPExcel->getActiveSheet()->setTitle('客户信息');
            echo date('H:i:s'), " 设置格式为Excel2007版格式", EOL;
            $callStartTime = microtime(true);
    
            $objWriter = \PHPExcel_IOFactory::createWriter($objPHPExcel, 'Excel2007');
            $objWriter->save(str_replace('.php', '.xlsx', __FILE__));
            $callEndTime = microtime(true);
            $callTime = $callEndTime - $callStartTime;
    
            echo date('H:i:s'), " 设置生成的文件为: ", str_replace('.php', '.xlsx', pathinfo(__FILE__, PATHINFO_BASENAME)), EOL;
            echo date('H:i:s'), ' 写入Workbook中耗时 ', sprintf('%.4f', $callTime), " 秒", EOL;
            echo date('H:i:s'), ' 当前内存使用情况: ', (memory_get_usage(true) / 1024 / 1024), " MB", EOL;
            echo date('H:i:s'), " 内存使用峰值: ", (memory_get_peak_usage(true) / 1024 / 1024), " MB", EOL;
            echo date('H:i:s'), " 完成写入文件", EOL;
            echo date('H:i:s'), ' 文件被创建在: ', getcwd(), '目录', EOL;
        }
    复制代码

    执行后信息:

    打开文件:

     

    展开全文
  • php 处理导出大数据

    2018-07-18 15:49:39
    开发中经常遇到,格式化导出数据库中源数据。各种框架中也有很多好用的包,直接获取数据,丢入对应的处理方法即可。 但是假如遇到导出大量的数据,特别还需要进行数据处理。一般处理大数据有如下几种解决办法: ...
  • 在日常的工作中,很多时候都需要导出各种各样的报表,但是如果导出的数据一旦比较大,很容易就导致超时,对于这种问题,有很多的解决方法,例如网上说的分批导出、采用CSV、还有就采用JAVA、甚至是C++和C等等去做...
  • 最近在工作中遇到这样一个问题,公司项目要求订单有导出功能,以前虽然也使用PHPExcel做过几个导出功能,但是这次所需导出的数量巨大,因此在开发中遇到一些导出的坑,在此进行总结记录一下。 吐槽 首先,我们可以...
  • 最近要求一次性导出50W以上的数据,TMD 开始用的是XSSFWorkbook瞬间内存暴涨到2G然后内存溢出了,嘎嘎…… 查了API才知道POI还有SXSSFWorkbook专门处理大数据,爱死你了POI,虽然之前都爱JXL!
  • php用csv导出大数据

    2019-06-17 19:21:24
    2019独角兽企业重金招聘Python工程师标准>>> ...
  • php+mysql导出大数据

    2019-03-13 16:52:36
    产品汪:我要在后台做一个功能,可以导出自定义时间范围的订单信息。开发小哥二话不说,半天就把功能做完并上线了。结果,第二天一上班产品汪过来就是拍桌子:MD,我想把去年一整年的订单都导出来,结果后台直接就挂...
  • PHP phpspreadsheet 导出大数据 1、composer 安装 phpspreadsheet 这个 composer require phpoffice/phpspreadsheet 2、composer 安装 phpspreadsheet 这个 普通的Excel根据内存来算 可能不超过4000条 普通的...
  • PHPEXCEL大数据导出

    2019-12-05 11:13:36
    1、导出超时处理:在执行页面添加:set_time_limit(0); 2、内存溢出:在执行页面添加:ini_set("memory_limit", "1024M"); 简单来说就是在执行页面添加了以下两行代码: set_time_limit(0); ini_set("memory_...
  • 思路:使用ajax多次请求服务器,分段生成多个Excel,然后打包压缩成zip...input type="button" value="确定导出" onclick="export()"> <a style="display: none" id="export_success" href="/uploads/excel.z...
  • 使用php做项目开发的同学,一定都会有过使用php进行excel表格导出的经历,当导出少量数据还好,一旦数据量级达到5w、 10w、20w甚至30以上的时候就会面临同样的问题: 1、导出时间变得很慢,少则1分钟,多则好几...
  • 为了实验大数据导出,我们这里先自已创建一张大表,表结构如下:CREATETABLE`tb_users`( `id`int(11)unsignedNOTNULLAUTO_INCREMENTCOMMENT‘用户ID‘, `name`varchar(32)DEFAULT‘‘COMMENT‘用户名‘, `age`...
  • laravel的toArray()方法有内存泄露,所以大量数据导出不能使用. 当然要使用chunk方法查询数据,然后写到文件中 关于toArray()方法内存泄露排查 chunk()方法的代码块如下(chunk中按理是不用unset的,会自动释放): ...
  • PHPPHP 5.3.6 (cli) (built: Jun 15 2011 16:29:50)  MYSQL:5.1.51  如果我们有的一张表有几...查询语句:  SELECT * FROM largetable;  PS:为了证明上面的做法是最佳的办法,我尝试使用 larget
1 2 3 4 5 ... 20
收藏数 2,742
精华内容 1,096