精华内容
下载资源
问答
  • 主要介绍了Python爬取qq空间说说的实例代码,代码简单易懂,非常不错,具有一定的参考借鉴价值,需要的朋友参考下吧
  • python爬取qq空间说说

    万次阅读 2018-06-03 21:19:28
    模块:selenium,pyquery,json,time 使用的是:Chrome 遇到的问题: ... 2. 遇到元素在frame,需要进入查找...说说地址:https://user.qzone.qq.com/{qq}/311 我模拟点击这个头像,也可以点击账号密码登陆,然...

    模块:selenium,pyquery,json,time
    使用的是:Chrome
    遇到的问题:

    1. 模拟点击下一页操作,需要换方式。
    2. 遇到元素在frame,需要进入查找。

    对空间的登陆进行分析

    进入网址:https://i.qq.com/
    说说地址:https://user.qzone.qq.com/{qq}/311
    1
    我模拟点击这个头像,也可以点击账号密码登陆,然后填充。
    对头像点击右键检查审查元素
    2
    我们可以模拟点击这个标签的id进行模拟操作

            url = f'https://user.qzone.qq.com/{qq}/311'
            browser.get(url)
            try:
                browser.find_element(By.NAME, 'login_frame')  # 发现登陆的frame
            except:
                raise
            else:
                try:
                    browser.switch_to_frame('login_frame')  # 发现之后进入login_frame
                    login = wait.until(EC.element_to_be_clickable(
                        (By.ID, 'img_out_1290259791')))  # 获取点击按钮  也可以进行输入账号密码
                    login.click()  # 进行点击
                except Exception as e:
                    raise
            time.sleep(2)
    

    在模拟登陆的时候:

    1. 直接寻找这个By.ID,img_out_1290259791是查找不到的,因为他在frame里面,所以browser.find_element(By.NAME, ‘login_frame’)进行判断发现。
    2. 然后再进入 browser.switch_to_frame(‘login_frame’)
    3. 然后才是模拟点击登陆

    对说说进行分析

    思路是:首先寻找说说有几页,然后在进行每页的跳转

    3
    这里就是说说的内容,发现这里也是一个frame,所以要进入,然后判断说说有几页。
    4

    browser.switch_to_frame('app_canvas_frame')  # 进入switch_to_frame
            page_last = wait.until(EC.presence_of_element_located(
                (By.CSS_SELECTOR, '#pager_last_0 > span'))).text  # 最后一页
            return int(page_last)
    

    对说说内容进行分析

    def get_page_text(n):
        try:
            doc = pq(browser.page_source)           # 获取页面的html
            items = doc('#msgList > li.feed').items()          # 获取所有的说说
            for item in items:      # 对说说进行分开
                yield {
                    'time': item.find('div.box.bgr3 > div.ft > div.info > .c_tx3 > .c_tx').text(),
                    'text': item.find('.content').text().lstrip('♡\n')
                }
            text = wait.until(EC.presence_of_element_located((By.ID, f'pager_go_{n-1}')))   # 获取跳转页的输入框
            text.send_keys(n+1)     # 输入下一页
            text.send_keys(Keys.ENTER)      #进行确定
        except:
            browser.close()
    

    一开始模拟的点击下一页来进行爬去,但是遇到的问题是,

    1. 有的时候模拟点击的时候页面没有加载完毕,所以模拟点击的位置不在下一页
    2. 点击下一页了,没有跳转

    所以换取了思路,进行跳转页的点击,知道了这一点以后,遇到爬页面的点击就不要模拟点击下一页了。
    爬取的格式:

    {"time": "12:42", "text": "一个男生如果真的爱你 无论多忙 都会腾出时间来陪你 他舍不得你胡思乱想 {uin:5289224,nick:查看全文,who:1}"}
    {"time": "6:00", "text": " 我发现女孩子很容易被感动 喜欢的人说一句稍微宠溺一点的话 就开心的想把脸埋进被子里闷闷的笑出声 笑完又觉得丢脸 明明一大把年纪 还像个没爱过人的少女"}
    {"time": "昨天23:07", "text": " 如果想我了 就抱抱空气吧 毕竟本可爱无处不在"}
    {"time": "昨天23:07", "text": ""}
    {"time": "昨天20:09", "text": "\"\"\" 他本是小小子国的质子,身份卑微,但是没关系。她喜 今夜,是她的新婚夜。 她披着凤冠霞帔,紧张又害怕。 最后她听到宫女们的声音,唤了一声驸马爷。 她知道,他来了,她的如意郎君魏君羡。欢他,喜欢这匹野马,一步步提携,最终胜任皇宫禁卫军统领,这才有资格成为她的驸马。 她从盖头的边缘看到了他的靴子,驻足在面前,却迟迟没有揭开盖头。 她正纳闷,没想到他吹熄了蜡烛,直接将她Tui到在chuang上,随后是si&che她的喜服。 嘶啦一声,她骤然一凉。 “君羡……”"}
    {"time": "昨天13:47", "text": " 祝你喜欢的人恰巧也喜欢你 祝你每次考试都能有进步 祝你在下雨天时路上的空车都不拒载 祝你做过的美梦都不会忘记 祝你的心情永远像周五的下午 祝你永远活的像个孩子"}
    

    完整的代码

    from selenium import webdriver
    from selenium.webdriver.common.by import By
    from selenium.webdriver.common.keys import Keys
    from selenium.webdriver.support import expected_conditions as EC
    from selenium.webdriver.support.wait import WebDriverWait
    from pyquery import PyQuery as pq
    import time
    import json
    
    options = webdriver.ChromeOptions()
    #	设置无图模式
    prefs = {
        'profile.default_content_setting_values': {
            'images': 2
        }
    }
    options.add_argument('--headless')          # 浏览器隐藏
    options.add_argument('--disable-gpu')
    options.add_experimental_option('prefs', prefs)        #设置无图模式
    browser = webdriver.Chrome(chrome_options=options)
    wait = WebDriverWait(browser, 5)
    
    
    def get_last_page(qq):
        try:
            url = f'https://user.qzone.qq.com/{qq}/311'
            browser.get(url)
            try:
                browser.find_element(By.NAME, 'login_frame')  # 发现登陆的frame
            except:
                raise
            else:
                try:
                    browser.switch_to_frame('login_frame')  # 发现之后进入login_frame
                    login = wait.until(EC.element_to_be_clickable(
                        (By.ID, 'img_out_1290259791')))  # 获取点击按钮  也可以进行输入账号密码
                    login.click()  # 进行点击
                except Exception as e:
                    raise
            time.sleep(2)
            browser.switch_to_frame('app_canvas_frame')  # 进入switch_to_frame
            page_last = wait.until(EC.presence_of_element_located(
                (By.CSS_SELECTOR, '#pager_last_0 > span'))).text  # 最后一页
            return int(page_last)
        except Exception:
            get_last_page(qq)
    
    
    def get_page_text(n):
        try:
            doc = pq(browser.page_source)           # 获取页面的html
            items = doc('#msgList > li.feed').items()          # 获取所有的说说
            for item in items:      # 对说说进行分开
                yield {
                    'time': item.find('div.box.bgr3 > div.ft > div.info > .c_tx3 > .c_tx').text(),
                    'text': item.find('.content').text().lstrip('♡\n')
                }
            text = wait.until(EC.presence_of_element_located((By.ID, f'pager_go_{n-1}')))   # 获取跳转页的输入框
            text.send_keys(n+1)     # 输入下一页
            text.send_keys(Keys.ENTER)      #进行确定
        except:
            browser.close()
    
    
    def write_page(page):
        with open('qq.txt', 'a', encoding='utf-8') as f:
            for page in get_page_text(page):
                f.write(json.dumps(page, ensure_ascii=False) + '\n')       # 将dict转换为json格式进行保存
    
    
    if __name__ == '__main__':
        page_last = get_last_page('qq')
        for i in range(1, page_last+1):
            write_page(i)
        browser.close()
    
    
    展开全文
  • 环境:PyCharm+Chorme+MongoDB Window10爬虫爬取数据的过程,也类似于普通...1.模拟登录QQ空间因为想更直观的看到整个登录过程所以就没有用selenium+phantomjs,而是结合Chorme使用。除了slenium和Chorme之外还需要...

    环境:PyCharm+Chorme+MongoDB Window10

    爬虫爬取数据的过程,也类似于普通用户打开网页的过程。所以当我们想要打开浏览器去获取好友空间的时候必定会要求进行登录,接着再是查看说说。那么我们先把登录步骤给解决了。

    1.模拟登录QQ空间

    因为想更直观的看到整个登录过程所以就没有用selenium+phantomjs,而是结合Chorme使用。除了slenium和Chorme之外还需要下载ChormeDriver进行使用,官网不提供win64版本的但是win32版本的也能正常在64位系统使用 我使用的是2.30版本的ChormeDriver和61的Chorme。

    2.通过浏览器的开发者工具查看数据来源。

    在打开说说页面之前打开开发者工具点击NetWork选择XHR你会看到如下的几个网址通过查看Response。

                                     筛选XHR后显示的地址                                            

    获取数据所需的参数

    通过多次请求发现不断改变g_tk值,但是这个值是通过加密算法得到的在网上查了下发现了这个加密算法。

    3.将数据获取并储存到数据库中。

    既然已经搞清楚数据是怎么来的那么就可以开始考虑将获取的数据保存到数据库里了,这次我们选择的是MongoDB,MongoDB的数据储存格式为BSON类似于JSON。在获取过程需要考虑两个问题,一是你是否有权限访问该空间,二是在能访问的情况下不能无止境的爬下去需要判断该空间说说是否爬取完毕。在爬取过程中将不能访问的QQCode存入list在最后跑完的时候输出。事已至此经过漫长的等待以及和服务器不断的交互所有的数据都存入了数据库中接下来就该对数据进行处理了!!

    4.处理数据,大概爬下来11万条左右的数据

    将获取的位置信息标记在地图上可以看到红点密集的地方大概也是旅游时大家比较想去的地方。

    通过部分说说得到的发送设备信息

    展开全文
  • Python爬取qq空间说说

    2018-08-17 15:55:36
    /usr/bin/python3 from selenium import webdriver import time import re import importlib2 import sys importlib2.reload(sys) def startSpider(): driver = webdriver.Chrome('/Users/zac...
    #coding:utf-8
    #!/usr/bin/python3
    from selenium import webdriver
    import time
    import re
    import importlib2
    import sys
    importlib2.reload(sys)
    
    def startSpider():
        driver = webdriver.Chrome('/Users/zachary/zachary/chromedriver.exe') #这个是chormedriver的地址
        driver.get('https://qzone.qq.com/')
    
        driver.switch_to.frame('login_frame')
        driver.find_element_by_id('switcher_plogin').click()
    
        driver.find_element_by_id('u').clear()
        driver.find_element_by_id('u').send_keys('QQ号')  #这里填写你的QQ号
        driver.find_element_by_id('p').clear()
        driver.find_element_by_id('p').send_keys('QQ密码')  #这里填写你的QQ密码
    
        driver.find_element_by_id('login_button').click()
        time.sleep(2)
    
        #设置爬取内容保存路径
        f = open('/Users/zachary/Documents/shuoshuo.txt','w')
    
        #---------------获得g_qzonetoken 和 gtk
        html = driver.page_source
    
        '''g_qzonetoken=re.search('window\.g_qzonetoken = \(function\(\)\{ try\{return (.*?);\} catch\(e\)',html)#从网页源码中提取g_qzonetoken'''
        g_qzonetoken = "e794139a284d6ea9e0b26826e541b55df37d0667a3544f534de25aebdb64628d3ab75e1d7104bbb22a"
    
        cookie = {}#初始化cookie字典
        for elem in driver.get_cookies():#取cookies
            cookie[elem['name']] = elem['value']
    
        gtk=getGTK(cookie)#通过getGTK函数计算gtk
        #print(g_qzonetoken)
        #print(gtk)
    
        #--------------获得好友列表   注意下面的链接
        driver.get('https://user.qzone.qq.com/proxy/domain/r.qzone.qq.com/cgi-bin/tfriend/friend_hat_get.cgi?hat_seed=1&uin=你的QQ号fupdate=1&g_tk='+str(gtk)+'&qzonetoken='+str(g_qzonetoken)+'&g_tk='+str(gtk))
        friend_list = driver.page_source
        friend_list = str( friend_list )
        abtract_pattern  =  re.compile('\"(.\d*)\":\{\\n"realname":"(.*?)"}',re.S)
        QQ_name_list = re.findall(abtract_pattern,str(friend_list)) #数组
        print(QQ_name_list)
        numList=dict()# numList => (QQnum:QQname)  #列表
        for i in QQ_name_list:
            numList[str(i[0])]=str(i[1])
        begin = 0
        last_source = ""
        tag = 1
        first = 0
        firstTime=""
    
        #如果要爬取自己的说说,手动添加自己的qq号
        #numList['你的qq号']='你的名字'
        #print(numList)
    
        for key in numList.keys():
            QQnum = key
            QQname = numList[QQnum]
    
            if QQnum == "好友qq号":  #根据qq号查找指定好友说说
                count = 1
                begin = 0
                while tag==1 :
                    #-------------进入好友说说页面                                                                       #'+QQnum+'              '+str(begin)+'
                    #print("Begin:"+str(begin))
                    driver.get('https://user.qzone.qq.com/proxy/domain/taotao.qq.com/cgi-bin/emotion_cgi_msglist_v6?uin='+QQnum+'&ftype=0&sort=0&pos='+str(begin)+'&num=40&replynum=200&g_tk='+str(gtk)+'&callback=_preloadCallback&code_version=1&format=jsonp&need_private_comment=1&qzonetoken='+str(g_qzonetoken)+'&g_tk='+str(gtk))
    
                    try:
                        msg_list_json = driver.page_source
                    except:
                        begin = begin + 40
                        continue
    
    
                    msg_list_json = str(msg_list_json)
                    if last_source==msg_list_json :
                        break
                    else:
                        last_source=msg_list_json
    
                    #检测是否没有权限访问
                    abtract_pattern  =  re.compile(',"message":"(.*?)","name":',re.S)
                    message = re.findall(abtract_pattern,str(msg_list_json))
                    if message!=[]:
                        if str(message[0])=='对不起,主人设置了保密,您没有权限查看':#对不起,主人设置了保密,您没有权限查看
                            break
    
                    #print(msg_list_json)
                    #解析JSON
                    #webDriver没有现成的JSON解析器,所以采用获取源码的方式,然后使用正则表达式获取具体细节
                    msg_list_json =  msg_list_json.split("msglist")[1]#拆分json,缩小范围,也能加快解析速度
                    msg_list_json =  msg_list_json.split("smoothpolicy")[0]
                    msg_list_json =  msg_list_json.split("commentlist")[1:]
    
                    #说说动态分4种:1、文字说说(或带有配图的文字说说)
                    #              2、只有图片的说说
                    #              3、转发,并配有文字
                    #              4、转发,不配文字
    
                    for text in msg_list_json:
                        # 1、先检查说说,用户是否发送了文字,如果没有文字,正则表达式匹配无效
                        abtract_pattern  =  re.compile('\}\],"content":"(.*?)","createTime":"(.*?)","created_time":(.*?),"',re.S)
                        msg_time = re.findall(abtract_pattern,str(text))
    
                        if msg_time!=[]:
                            # 2、如果作者说说有文字,那么检查是否有转发内容
                            msg = str(msg_time[0][0])
                            sendTime = str(msg_time[0][1])
    
                            abtract_pattern  = re.compile('\}\],"content":"(.*?)"},"rt_createTime":"(.*?)","',re.S)
                            text = text.split("created_time")[1]
                            msg_time2 = re.findall(abtract_pattern,str(text))
    
                            #合并发送内容 格式:评论+转发内容
                            if msg_time2!=[]:
                                msg = msg +"  转发内容:"+str(msg_time2[0][0])
    
                        else:
                            # 3、说说内容为空,检查是否为 =>只有图片的说说 or 转发,不配文字
                            #获取正文发送时间 (发送时间分为:正文发送时间 or 转发时间)
                            abtract_pattern  =  re.compile('"conlist":null,"content":"","createTime":"(.*?)",',re.S)
                            msgNull_time = re.findall(abtract_pattern,str(text))
    
                            if msgNull_time!=[]:
                                #如果有正文发送时间,那么就是这条说说仅含有图片  =>只有图片的说说
                                msg = "图片"
                                sendTime = str(msgNull_time[0])
                            else:
                                #如果没有正文发送时间,那么就是说这条说为 =>转发,不配文字
                                abtract_pattern  =  re.compile('\}\],"content":"(.*?)"},"rt_createTime":"(.*?)","',re.S)
                                msg_time = re.findall(abtract_pattern,str(text))
                                msg ="  转发内容:"+str(msg_time[0][0])
                                sendTime = str(msg_time[0][1])
    
                        #写入本地文件
                        #f.write('{},{},{},{}\n'.format(str(QQname),str(QQnum),sendTime,msg))
    
    
                        print(str(count)+" : "+str(QQname)+" : "+str(QQnum)+" : "+sendTime+" : "+msg)
                        count = count + 1
    
                    begin =  begin + 40
    
    def getGTK(cookie):
        hashes = 5381
        for letter in cookie['p_skey']:
            hashes += (hashes << 5) + ord(letter)
        return hashes & 0x7fffffff
    startSpider()
    print("爬取结束")

     

    展开全文
  • 具体代码如下所示:#.../usr/bin/python3from selenium import webdriverimport timeimport reimport importlib2import sysimportlib2.reload(sys)def startSpider():driver = webdriver.Chrome('/Users/zachary/z...

    具体代码如下所示:

    #coding:utf-8

    #!/usr/bin/python3

    from selenium import webdriver

    import time

    import re

    import importlib2

    import sys

    importlib2.reload(sys)

    def startSpider():

    driver = webdriver.Chrome('/Users/zachary/zachary/chromedriver.exe') #这个是chormedriver的地址

    driver.get('https://qzone.qq.com/')

    driver.switch_to.frame('login_frame')

    driver.find_element_by_id('switcher_plogin').click()

    driver.find_element_by_id('u').clear()

    driver.find_element_by_id('u').send_keys('QQ号') #这里填写你的QQ号

    driver.find_element_by_id('p').clear()

    driver.find_element_by_id('p').send_keys('QQ密码') #这里填写你的QQ密码

    driver.find_element_by_id('login_button').click()

    time.sleep(2)

    #设置爬取内容保存路径

    f = open('/Users/zachary/Documents/shuoshuo.txt','w')

    #---------------获得g_qzonetoken 和 gtk

    html = driver.page_source

    '''g_qzonetoken=re.search('window\.g_qzonetoken = \(function\(\)\{ try\{return (.*?);\} catch\(e\)',html)#从网页源码中提取g_qzonetoken'''

    g_qzonetoken = "e794139a284d6ea9e0b26826e541b55df37d0667a3544f534de25aebdb64628d3ab75e1d7104bbb22a"

    cookie = {}#初始化cookie字典

    for elem in driver.get_cookies():#取cookies

    cookie[elem['name']] = elem['value']

    gtk=getGTK(cookie)#通过getGTK函数计算gtk

    #print(g_qzonetoken)

    #print(gtk)

    #--------------获得好友列表 注意下面的链接

    driver.get('https://user.qzone.qq.com/proxy/domain/r.qzone.qq.com/cgi-bin/tfriend/friend_hat_get.cgi?hat_seed=1&uin=你的QQ号fupdate=1&g_tk='+str(gtk)+'&qzonetoken='+str(g_qzonetoken)+'&g_tk='+str(gtk))

    friend_list = driver.page_source

    friend_list = str( friend_list )

    abtract_pattern = re.compile('\"(.\d*)\":\{\\n"realname":"(.*?)"}',re.S)

    QQ_name_list = re.findall(abtract_pattern,str(friend_list)) #数组

    print(QQ_name_list)

    numList=dict()# numList => (QQnum:QQname) #列表

    for i in QQ_name_list:

    numList[str(i[0])]=str(i[1])

    begin = 0

    last_source = ""

    tag = 1

    first = 0

    firstTime=""

    #如果要爬取自己的说说,手动添加自己的qq号

    #numList['你的qq号']='你的名字'

    #print(numList)

    for key in numList.keys():

    QQnum = key

    QQname = numList[QQnum]

    if QQnum == "好友qq号": #根据qq号查找指定好友说说

    count = 1

    begin = 0

    while tag==1 :

    #-------------进入好友说说页面 #'+QQnum+' '+str(begin)+'

    #print("Begin:"+str(begin))

    driver.get('https://user.qzone.qq.com/proxy/domain/taotao.qq.com/cgi-bin/emotion_cgi_msglist_v6?uin='+QQnum+'&ftype=0&sort=0&pos='+str(begin)+'&num=40&replynum=200&g_tk='+str(gtk)+'&callback=_preloadCallback&code_version=1&format=jsonp&need_private_comment=1&qzonetoken='+str(g_qzonetoken)+'&g_tk='+str(gtk))

    try:

    msg_list_json = driver.page_source

    except:

    begin = begin + 40

    continue

    msg_list_json = str(msg_list_json)

    if last_source==msg_list_json :

    break

    else:

    last_source=msg_list_json

    #检测是否没有权限访问

    abtract_pattern = re.compile(',"message":"(.*?)","name":',re.S)

    message = re.findall(abtract_pattern,str(msg_list_json))

    if message!=[]:

    if str(message[0])=='对不起,主人设置了保密,您没有权限查看':#对不起,主人设置了保密,您没有权限查看

    break

    #print(msg_list_json)

    #解析JSON

    #webDriver没有现成的JSON解析器,所以采用获取源码的方式,然后使用正则表达式获取具体细节

    msg_list_json = msg_list_json.split("msglist")[1]#拆分json,缩小范围,也能加快解析速度

    msg_list_json = msg_list_json.split("smoothpolicy")[0]

    msg_list_json = msg_list_json.split("commentlist")[1:]

    #说说动态分4种:1、文字说说(或带有配图的文字说说)

    # 2、只有图片的说说

    # 3、转发,并配有文字

    # 4、转发,不配文字

    for text in msg_list_json:

    # 1、先检查说说,用户是否发送了文字,如果没有文字,正则表达式匹配无效

    abtract_pattern = re.compile('\}\],"content":"(.*?)","createTime":"(.*?)","created_time":(.*?),"',re.S)

    msg_time = re.findall(abtract_pattern,str(text))

    if msg_time!=[]:

    # 2、如果作者说说有文字,那么检查是否有转发内容

    msg = str(msg_time[0][0])

    sendTime = str(msg_time[0][1])

    abtract_pattern = re.compile('\}\],"content":"(.*?)"},"rt_createTime":"(.*?)","',re.S)

    text = text.split("created_time")[1]

    msg_time2 = re.findall(abtract_pattern,str(text))

    #合并发送内容 格式:评论+转发内容

    if msg_time2!=[]:

    msg = msg +" 转发内容:"+str(msg_time2[0][0])

    else:

    # 3、说说内容为空,检查是否为 =>只有图片的说说 or 转发,不配文字

    #获取正文发送时间 (发送时间分为:正文发送时间 or 转发时间)

    abtract_pattern = re.compile('"conlist":null,"content":"","createTime":"(.*?)",',re.S)

    msgNull_time = re.findall(abtract_pattern,str(text))

    if msgNull_time!=[]:

    #如果有正文发送时间,那么就是这条说说仅含有图片 =>只有图片的说说

    msg = "图片"

    sendTime = str(msgNull_time[0])

    else:

    #如果没有正文发送时间,那么就是说这条说为 =>转发,不配文字

    abtract_pattern = re.compile('\}\],"content":"(.*?)"},"rt_createTime":"(.*?)","',re.S)

    msg_time = re.findall(abtract_pattern,str(text))

    msg =" 转发内容:"+str(msg_time[0][0])

    sendTime = str(msg_time[0][1])

    #写入本地文件

    #f.write('{},{},{},{}\n'.format(str(QQname),str(QQnum),sendTime,msg))

    print(str(count)+" : "+str(QQname)+" : "+str(QQnum)+" : "+sendTime+" : "+msg)

    count = count + 1

    begin = begin + 40

    def getGTK(cookie):

    hashes = 5381

    for letter in cookie['p_skey']:

    hashes += (hashes << 5) + ord(letter)

    return hashes & 0x7fffffff

    startSpider()

    print("爬取结束")

    总结

    以上所述是小编给大家介绍的Python爬取qq空间说说的实例代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

    展开全文
  • OwnerInfo_Icon') return driver except: print('不能访问' + business_qq) return None 说说 登录 QQ 后默认的页面就在说说的界面,显示一页的说说是滚动加载的,必须要多次下拉滚动条后才能获取到该页所有的...
  • 原标题:用Python爬取QQ空间说说和相册!还不让我访问!QQ 空间在 2005 年被腾讯开发,已经经历了 15 个年头,在还没有微信的年代,看网友发表的心情、心事、照片大多都在 QQ 空间的里。它承载了80、90 后的大量青春...
  • 具体代码如下所示:#.../usr/bin/python3from selenium import webdriverimport timeimport reimport importlib2import sysimportlib2.reload(sys)def startSpider():driver = webdriver.Chrome('/Users/zachary/z...
  • 具体代码如下所示:#.../usr/bin/python3from selenium import webdriverimport timeimport reimport importlib2import sysimportlib2.reload(sys)def startSpider():driver = webdriver.Chrome('/Users/zachary/z...
  • /usr/bin/python3from selenium import webdriverimport timeimport reimport importlib2import sysimportlib2.reload(sys)def startSpider():driver = webdriver.Chrome('/Users/zachary/zachary/ch...
  • 点击上方蓝色小字,关注“涛哥聊Python”重磅干货,第一时间送达文 |某某白米饭来源:Python 技术「ID: pythonall」QQ 空间在 2005 年被腾讯开发,已经经历了...
  • 原理是利用python来模拟登陆QQ空间,对一个QQ的空间说说内容进行爬取,把爬取的内容保存在txt文件中,然后根据txt文件生成词云。 以下是生成的词云图 我的环境:Mac,Anaconda,Python2.7,以及各种用到的Python库 先来...
  • 爬取说说写入本地wen'da#coding:utf-8 import time from selenium import webdriver from lxml import etree #这里一定要设置编码格式,防止后面写入文件时报错 import sys reload(sys) sys.setdefaultencoding( ...
  • 具体代码如下所示:#.../usr/bin/python3from selenium import webdriverimport timeimport reimport importlib2import sysimportlib2.reload(sys)def startSpider():driver = webdriver.Chrome('/Users/zachary/z...
  • 文 |某某白米饭来源:Python 技术「ID: pythonall」QQ 空间在 2005 年被腾讯开发,已经经历了 15 个年头,在还没有微信的年代,看网友发表的心情、心事、照片大多都在 QQ 空间的里。它承载了80、90 后的大量青春,...
  • QQ 空间在 2005 年被腾讯开发,已经经历了 15 个年头,在还没有微信的年代,看网友发表的心情、心事、照片大多都在 QQ 空间的里。它承载了80、90 后的大量青春,下面我们一起用 selenium 模块导出说说和相册回忆青春...
  • 有一天我突然发现自己空间说说竟然已经达到1833条,于是萌生了爬一下看看的想法(其实就是想学下python爬虫)。我找了一些博客,方法不少,但是有些并不适用。所以我把真正能用的方法记录下来,并且爬取了我自己的...
  • QQ 空间在 2005 年被腾讯开发,已经经历了 15 个年头,在还没有微信的年代,看网友发表的心情、心事、照片大多都在 QQ 空间的里。它承载了80、90 后的大量青春,下面我们一起用 selenium 模块导出说说和相册回忆青春...
  • QQ 空间在 2005 年被腾讯开发,已经经历了 15 个年头,在还没有微信的年代,看网友发表的心情、心事、照片大多都在 QQ 空间的里。它承载了80、90 后的大量青春,下面我们一起用 selenium 模块导出说说和相册回忆青春...

空空如也

空空如也

1 2 3 4 5 ... 7
收藏数 129
精华内容 51
关键字:

python爬取qq空间说说

python 订阅