呃,现阶段还不会使用多线程里配合图片的直接下载 -2018-12-23 11:29:45
另,虽然采集到了图片(也就是说改改就能采集到文章内容),但是呢离自己想要的文章变形还有不小的差距.就当技术储备了吧.￣へ￣

之前遇到的问题

CurlMulti 在QueryList中找不到
AbsoluteUrl也无法使用

使用composer安装

composer require jaeger/querylist-curl-multi
composer require jaeger/querylist-absolute-url

下面是完整的代码

<?php
namespace app\index\controller;
use \app\index\controller\User;
use \app\admin\controller\Index as AdminIndex;
use QL\QueryList;
use QL\Ext\AbsoluteUrl;
use QL\Ext\CurlMulti;

use think\Db;
use think\Controller;
class Index extends Controller
{
    public function index()
    {
        $DB=new Db;
        // $data = $DB::table('gxxl')->select();
        $data = Db::query("select * from imgmsic");
        // 分配数据
        $this->assign("data",$data);
        return view();
    }
    public function gxxlImg()
    {
        // 注册插件
        $ql = QueryList::use([
            AbsoluteUrl::class, // 转换URL相对路径到绝对路径
            CurlMulti::class    // Curl多线程采集
        ]);
        
        // 获取文章列表链接集合，使用AbsoluteUrl插件转换URL相对路径到绝对路径.
        $urls = $ql->get('http://baidu.com/tupian/list.html',[
            'param1' => 'testvalue',
            'params2' => 'somevalue'
        ],[
            'headers' => [
                'Referer' => 'http://baidu.com/',
                'User-Agent' => 'testing/1.0',
                'Accept'     => 'application/json',
                'X-Foo'      => ['Bar', 'Baz'],
                'Cookie'    => 'abc=111;xxx=222'
            ]
        ])->absoluteUrl('http://baidu.com/tupian/list.html')->find('.hy-video-list .clearfix a')->attrs('href')->all();
        
        
        //使用CurlMulti多线程插件采集文档内容
        $ql->rules([ // 设置采集规则
            // 'title'   => ['.head h3', 'text'],
            'imgArr' => ['#playlist .playlist', 'html'],
            // 'imgArr' => array('#playlist4 img','originalsrc')
            ])
            // 设置采集任务
            ->curlMulti($urls)
            // 每个任务成功完成调用此回调
            ->success(function (QueryList $ql, CurlMulti $curl, $r) {
                echo "Current url:{$r['info']['url']} \r\n";
                $data = $ql->query()->getData()->all();
                $durl = QueryList::html($data[0]['imgArr'])->find('img')->map(function($a){
                    $src= $a->attr('originalsrc');
                    $title= $a->attr('title');
                    // 直接下载不会,只好写入到数据库中,再通过php curl下载吧
                    Db::execute("insert into imgmsic value(null,?,?)",[$src,$title]);
                    return $a->attr('originalsrc');
                });
                dump($durl);
                dump($data);
            })
            // 开始执行多线程采集
            ->start([
                // 最大并发数
                'maxThread' => 10,
                // 错误重试次数
                'maxTry'    => 3
            ]);
    }
 }

之前我有一篇文章《YouTube视频爬虫-批量采集-低成本解决方案-技术难点和细节回顾》 提到过一种u2b视频采集的方案。该方法适用于针对特定的up主进行批量采集，成本确实挺低，速度也蛮好。之前曾在博客下方挂出邮箱地址，寻求技术交流，但是被很多伸手党给打扰，在这里我只想坚决地告诉诸位：给代码是不可能的，我相信思路对你们才是更重要滴。

如果你对这方面有兴趣，可以和我们一群程序员交流学习，共同进步

695623459

背景：

1.腾讯云的非HK地区外地服务器均很难连接
2.某些HK地区的服务器也很难连接
3.我们需要根据关键字进行u2b视频采集，用以支撑我们自己开发的视频编辑器的本地素材库

针对上述背景，初步意见：

1.腾讯云如果做视频采集只能用HK的服务器了
2.HK地区的某些服务器无法连接，我目前推测的原因是恰好你使用的ip被禁，你需要绑定弹性ip，更换ip地址，直到换到本地可用ip
3.针对关键字的视频采集，还在想着用爬虫吗？千万别走弯路啊！Google开放了 YouTube Data api ，直接可以拿到结果。

整体思路

1.Rest API：部署在HK服务器，转发YouTube Data api查询结果
2.GUI:运行在使用者电脑，用于用户采集操作，用户根据关键字获取待采集任务列表
3.采集器：运行在HK服务器，依然使用我们的youtube-dl
4.采集完成之后，推到同区的腾讯云对象存储-HK区
5.本地下载器，运行在使用者电脑，用于从腾讯云对象存储下载视频到本地

价格计算

经过计算，每天下载15分钟内的视频200个，每月的运行成本是300多。114元买到1C1G2M的HK服务器，每天的采集极限是160GB

YouTube Data API 开发文档传送门

关于YouTube Data api我有话要讲

在之前的文章中有提到，当时走了弯路去看 youtube-api ，结果发现并没有什么卵用，这次呢？可是沾了光，不走弯路，直达目的地啦～
YouTube API中的Search/list接口，可以直接根据关键字获取符合条件的vedio、channel、playlist，下面是官方给出的demo

# Sample python code for search.list

def search_list_by_keyword(client, **kwargs):
  # See full sample for function
  kwargs = remove_empty_kwargs(**kwargs)

  response = client.search().list(
    **kwargs
  ).execute()

  return print_response(response)

search_list_by_keyword(client,
    part='snippet',
    maxResults=25,
    q='surfing',
    type='')

其实筛选条件有很多的，甚至具体到结果排序方式都可以配置。

返回

{
  "kind": "youtube#searchListResponse",
  "etag": etag,
  "nextPageToken": string,
  "prevPageToken": string,
  "regionCode": string,
  "pageInfo": {
    "totalResults": integer,
    "resultsPerPage": integer
  },
  "items": [
    search Resource
  ]
}