精华内容
下载资源
问答
  • 2021-11-13 13:06:40

    一、爬虫简介

    1.1 介绍

    • 网络爬虫英文名叫Web Crawler或Web Spider。它是一种自动浏览网页并采集所需要信息的程序。
    • 爬虫从初始网页的URL开始, 获取初始网页上的URL,在抓取网页的过程中,不断从当前页面抽取新的url放入队列。直到满足系统给定的停止条件才停止。
    • 可以为搜素引擎从互联网中下载网页数据,是搜素引擎的重要组成部分。

    1.2 软件配置

    python3.8 + request+beautifulsoup4,还可以使用tqdm包来显示进度,如果没有可以用pip安装

    二、爬取南阳理工学院ACM题目网站

    • 第一步,打开网页http://www.51mxd.cn/problemset.php-page=1.htm,查看页面源代码,可以要看到我们要爬取的信息都在TD这个标签内
      在这里插入图片描述
    • 知道是要读取什么标签目的就明确了,接下来就是代码操作了,先是导入必要的包
    #导入包
    import requests
    from bs4 import BeautifulSoup
    import csv
    from tqdm import tqdm#在电脑终端上显示进度,使代码可视化进度加快
    
    • 定义访问浏览器所需的请求头和写入csv文件需要的表头以及存放题目数据的列表
    # 模拟浏览器访问
    Headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'
    # 题目数据
    subjects = []
    # 表头
    csvHeaders = ['题号', '难度', '标题', '通过率', '通过数/总提交数']
    
    • 定义爬取函数,爬取的是1到11页,大致过程是先用request里的raise_for_status()获取整个页面的信息,再用beautifulsoup里find_all函数来筛选我们想要的信息
    for pages in tqdm(range(1, 11 + 1)):
    
        r = requests.get(f'http://www.51mxd.cn/problemset.php-page={pages}.htm', Headers)
    
        r.raise_for_status()
    
        r.encoding = 'utf-8'
    
        soup = BeautifulSoup(r.text, 'html5lib')
    
        td = soup.find_all('td')#讲所有含TD的项提取出来
        subject = []
        for t in td:
            if t.string is not None:
                #利用string方法获取其中的内容
                subject.append(t.string)
                if len(subject) == 5:
                    subjects.append(subject)
                    subject = []
    
    • 写入文件
    with open('..\\source\\nylgoj.csv', 'w', newline='') as file:
        fileWriter = csv.writer(file)
        fileWriter.writerow(csvHeaders)
        fileWriter.writerows(subjects)
    
    print('\n题目信息爬取完成!!!')
    
    • 文件里的内容在这里插入图片描述

    三、爬取学校官网的信息通知

    • 第一步还是分析网页源代码,先打开网页http://news.cqjtu.edu.cn/xxtz.htm,这次要看的信息是全部通知通知发出的时间和通知的标题在这里插入图片描述
    • 时间和标题还比较好找,但由于要爬取所以的,页数也需要爬出来在这里插入图片描述
    • 信息所在的标签已经找到了,接下来就是爬取这些信息了,导入也是上面那些包,所以这里就是对要用的数据进行定义
    # 模拟浏览器访问
    cqjtu_Headers ={ 
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.44'
    }
    #csv的表头
    cqjtu_head=["日期","标题"]
    #存放内容
    cqjtu_infomation=[]
    
    • 接下来是获取页数,这个页数在一个长长的字符串里面,而且标签也没有什么特别的,只能广而泛的提取这一类的标签,会发现有很多个,这里我偷一下懒,就手动定位,定位之后就可以得到字符串,在对字符串进行操作和类型转化就可以得到int型的页数了,下面是获取页面数的函数
    def get_page_number():
        r=requests.get(f"http://news.cqjtu.edu.cn/xxtz.htm",headers=cqjtu_Headers)
        r.raise_for_status()
        r.encoding="utf-8"
        page_array={
        'type':'text/javascript'
        }
        soup = BeautifulSoup(r.text, 'html5lib')
        page_num=soup.find_all('script',page_array)
        page_number=page_num[4].string#只靠标签这些定位好像不是唯一,只能手动定位了
        page_number=page_number.strip('function a204111_gopage_fun(){_simple_list_gotopage_fun(')#删掉除页数以外的其他内容
        page_number=page_number.strip(',\'a204111GOPAGE\',2)}')
        page_number=int(page_number)#转为数字
        return page_number
    
    • 获取页面之后,就可以对页面进行爬取了,不过得注意第一页和后面的页数的网址其实不是一个规律,下面是爬取页面的函数
    def get_time_and_title(page_num,cqjtu_Headers):#页数,请求头
        if page_num==66 :
            url='http://news.cqjtu.edu.cn/xxtz.htm'
        else :
            url=f'http://news.cqjtu.edu.cn/xxtz/{page_num}.htm'
        r=requests.get(url,headers=cqjtu_Headers)
        r.raise_for_status()
        r.encoding="utf-8"
        array={#根据class来选择
            'class':'time',
            }
        title_array={
         'target':'_blank'
        }
        page_array={
        'type':'text/javascript'
        }
        soup = BeautifulSoup(r.text, 'html5lib')
        time=soup.find_all('div',array)
        title=soup.find_all('a',title_array)
        temp=[]
        for i in range(0,len(time)):
            time_s=time[i].string
            time_s=time_s.strip('\n                                    ')
            time_s=time_s.strip('\n                                ')
            #清除空格
            temp.append(time_s)
            temp.append(title[i+1].string)
            cqjtu_infomation.append(temp)
            temp=[]
    
    • 爬取了之后,可以打印出来,也可以放在文件里,我是选择放在文件里的,下面是写入文件的函数
    def write_csv(cqjtu_info):
        with open('..\\source\\cqjtu.csv', 'w', newline='',encoding='utf-8') as file:
            fileWriter = csv.writer(file)
            fileWriter.writerow(cqjtu_head)
            fileWriter.writerows(cqjtu_info)
            print('爬取信息成功')
    
    • 调用函数
    page_num=get_page_number()#获得页数
    for i in tqdm(range(page_num,0,-1)):
        get_time_and_title(i,cqjtu_Headers)
    write_csv(cqjtu_infomation)
    
    • 爬取结果:
      在这里插入图片描述

    四、总结

    • 爬取静态页面还是比较简单的,主要是看自己所需的信息是在哪里的,大概步骤是分析位置 - 》利用request和beautifulsoup得到整个信息-》对获取的信息进行处理

    五、参考

    Python:BeautifulSoup之soup.find_all()用法
    Python:删除字符串中的字符

    更多相关内容
  • Notice 是一个用 AngularJS/Ionic 构建的用于学校/俱乐部公告的推送通知系统。 按俱乐部/活动和推送通知功能发布公告。 作为移动应用程序开发课程 (M257) 的一部分而构建。 开始 $ git clone ...
  • 学校春游通知两篇.pdf

    2022-02-14 08:14:31
    学校春游通知两篇.pdf
  • 关于加强学校网络安全管理的通知.docx
  • 2012年学校元旦放假通知.doc
  • 最新关于学校通知范文.doc
  • 《【开会通知怎么写范文】学校通知开会怎么写》.doc
  • 如何使得公司利益最大...相信关于印发中小学校财务制度的通知能够为你提高公司利益,欢迎大家下载关于印...该文档为关于印发中小学校财务制度的通知,是一份很不错的参考资料,具有较高参考价值,感兴趣的可以下载看看
  • 学校后勤范文学校重点传染病预防工作通知.doc
  • 秋季学校管理考核通知.docx
  • 学校迎元旦活动通知.doc
  • 关于成立学校采购工作领导小组的通知.docx
  • 学校春游通知两篇_0.pdf
  • 《[学校综治工作的通知]学校综治工作的总结》.doc
  • 市教育系统学校招生工作通知.doc
  • 教育部办公厅下发关于开展全国学校国防教育典型案例推荐遴选工作的通知.pdf
  • XJTU-News-Analysis 学校通知的收集抓取与智能推荐
  • 学校2022年寒假放假通知模板 .pdf
  • 学校五一劳动节放假通知 pdf整理.zip
  • 特殊教育学校广播操比赛通知.doc
  • 最新学校卫生保健规章制度通知.doc
  • 学校庆祝六一儿童节活动通知.doc
  • 学校图书室开放通知(推荐).pdf
  • 学校2022年寒假放假的通知 .pdf
  • 学校消防安全逃生演练的通知.doc
  • 学校安全工作通知一(全文).docx
  • 学校庆祝三八妇女节学生活动通知.doc
  • 学校2022年寒假放假的通知模板 .pdf
  • 学校2022年寒假放假安排的通知 .pdf
  • 大学学校放暑假通知格式应用文写作.docx

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 45,750
精华内容 18,300
关键字:

学校通知大全