上一篇文章，和大家分享的是如何获取信息标记的知识，这篇文章，小编要和大家分享的是使用Python网络爬虫技术来获取大学排名！
当我们想要了解大学排名时，如何在杂乱的网页信息上，快速获取我们想要的大学排名信息了！
这里就需要用到Python网络爬虫提取信息的技术了！
大学排名的程序代码如下：
清华大学
#CrawUnivRankingB.py
import requests
from bs4 import BeautifulSoup import bs4
def getHTMLText(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except: return "" def fillUnivList(ulist, html):
soup = BeautifulSoup(html, "html.parser")
for tr in soup.find('tbody').children:
if isinstance(tr, bs4.element.Tag):
tds = tr('td')
ulist.append([tds[0].string, tds[1].string, tds[3].string])
def printUnivList(ulist, num): tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
print(tplt.format("排名","学校名称","总分",chr(12288)))
for i in range(num): u=ulist[i] print(tplt.format(u[0],u[1],u[2],chr(12288)))
def main(): uinfo = []
url = 'https://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
html = getHTMLText(url)
fillUnivList(uinfo, html)
printUnivList(uinfo, 20) # 20 univs main()
北京大学
通过运行这段程序代码，小编得到的结果是清华大学排第一！
运用好网络爬虫方便我们快速了解信息！
爬虫技术
今天小编知识分享就到这里，就结束了！明天同一时间为大家分享更精彩的知识！请大家多多点赞支持，多多关注和收藏，同时祝大家新年快乐！

 
 
☞☞☞点击查看更多优秀Python博客☜☜☜
 
 
  
 


 
爬虫爬取最好大学排名
 
**程序设计思路：**
代码细节分析
得到源代码函数分析
得到特定的tr标签函数分析
  
  
==**文章导航：==**

 
最近跟着北京理工大学的网课 学习了爬虫的知识，看了老师讲的爬虫爬取最好大学排名。下面让我们来看一下爬虫是如何爬取网页上的信息的。
 爬取网页：最好大学网
 学习来源：哔哩哔哩-【Python网络爬虫与信息提取】.MOOC. 北京理工大学
 首先我们打开网页查看网页源代码，寻找自己所需信息所在区域，截如下：
 
 这样我们就成功地找到了所需要的信息，下面的工作就是通过程序找到以上信息并输出出来，下面直接上代码：
 
程序设计思路：
 
首先我们需要得到网页源代码，可以使用两种方法获得，一种是使用requests库进行得到
对源代码进行处理可以使用BeautifulSoup库函数进行修饰
得到修饰后的源代码后我们就可以进行提取了
最后我们进行格式化输出
编写程序将以上函数进行运行顺序的匹配
 
代码如下：
 

#-*- coding:utf-8 -*-
#-Author-= JamesBen
 #Email: 1597757775@qq.com

import  requests
from bs4 import  BeautifulSoup
import bs4

#定义第一个函数得到网页源代码，并且可以进行稳定的运行
def  Get_HTML(url):
    try :
        use = {'User-Agent': 'Mozilla/5.0'}  #此行代码骗过服务器我们是使用浏览器进行访问的，防止有些网站对我们进行拦截
        r = requests.get(url, timeout = 30,headers = use)
        r.raise_for_status()      #如果状态不是200引发HTTPError异常
        r.encoding = r.apparent_encoding  #将文本的编辑方式传给头，防止造成编码错路出现乱码
        return  r.text
    except :
            return "产生异常"

#定义一个函数得到特定的tr标签
def  U_list(ulist,html):
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find("tbody").children:
        if  isinstance(tr,bs4.element.Tag):  #筛选tr标签的类型，如果不是Tag定义的类型将过滤掉
            tds = tr("td")
            ulist.append([tds[0].string,tds[1].string,tds[3].string])
    pass

#格式化输出函数
def print_Univlist(ulist,num):
    tplt="{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(tplt.format("排名","学校名称","总分",chr(12288)))
    for i in range(num):
        u=ulist[i]
        print(tplt.format(u[0],u[1],u[2],chr(12288)))
    print("Suc"+str(num))

def main():
    uinfo = []
    url = 'http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html'
    html = Get_HTML(url)
    U_list( uinfo,html)
    print_Univlist( uinfo,20)


if __name__ == "__main__":
    main()

 
代码如上，运行结果如下：
 
 以上就是全部的代码内容，希望对你的学习有帮助。
 
代码细节分析
 
得到源代码函数分析
 
def  Get_HTML(url):
    try :
        use = {'User-Agent': 'Mozilla/5.0'}  #此行代码骗过服务器我们是使用浏览器进行访问的，防止有些网站对我们进行拦截
        r = requests.get(url, timeout = 30,headers = use)
        r.raise_for_status()      #如果状态不是200引发HTTPError异常
        r.encoding = r.apparent_encoding  #将文本的编辑方式传给头，防止造成编码错路出现乱码
        return  r.text
    except :
            return "产生异常"
 
首先函数使用了try. …except…进行确保程序的稳定运行，在函数中首先在头文件中加入User-Agent的信息用于骗过服务器，让服务器误认为是浏览器操作。
 
第二句是GET到网页源代码并将刚才的header加入到程序中
 
r.raise_for_status() 确保程序的正常运行，若返回值不是200，则程序会运行except并返回"产生异常"
 
得到特定的tr标签函数分析
 
def  U_list(ulist,html):
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find("tbody").children:
        if  isinstance(tr,bs4.element.Tag):  #筛选tr标签的类型，如果不是Tag定义的类型将过滤掉
            tds = tr("td")
            ulist.append([tds[0].string,tds[1].string,tds[3].string])
    pass
 
首先我们将得到的源码传给soup，使用BeautifulSoup库函数，具体使用在上文中有讲解。
 下面一个for循环是为了在tbody中找出所有的儿子节点并给tr
 在if中筛选出符合要求的标签
 最后进行格式化输出
 
以上即为两个重要函数的讲解，希望对你的学习有所帮助！
 
**文章导航：**
 
零基础学Python教程
 

关于最好大学网的爬虫
 
暑期在家看了慕课的爬虫视频，然后练练手这是我的关于最好大学网的一次爬虫。新手上路，错误难免。
 下面是我对这次爬虫的理解
 
一：关于最好大学网
 
最好大学网
 
 
二：下面代码
 
// Auther Dath
// 2019/7/23

import requests
import lxml
from bs4 import BeautifulSoup
import bs4
import pandas as pd


def GetHtmlText(url,headers):
    try:
        r = requests.get(url, headers)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "访问异常错误"

def GetUniverList(ulist,html):
    soup = BeautifulSoup(html,'lxml')
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):  #筛选出bs4.element.Tag的类型
            tds = tr('td')
            ulist.append([tds[0].string, tds[1].string, tds[2].string, tds[3].string, tds[4].string, tds[5].string, tds[6].string, tds[7].string, tds[8].string, tds[9].string,
                          tds[10].string, tds[11].string, tds[12].string, tds[13].string])



    def WriteToFile(ulist):
    name = ['排名', '学校名称', '省市', '总分', '生源质量(新生高考成绩得分)', '培养结果(毕业生就业率)', '社会声誉(社会捐赠收入千元)',
            '科研规模(论文数量篇)','科研质量(论文质量FWC)','顶尖成果(高被引论文篇)', '顶尖人才(高被引学者人)', '科技服务(企业科研经费千元)',
            '成果转化(技术转让收入千元)', '学生国际化(留学生比例)']
    test = pd.DataFrame(columns=name, data=ulist)

    test.to_csv(r'C:\Users\Administrator\Desktop\最好大学网2019大学排名.csv', index=0)

def main():
    uinfo = []
    url = 'http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html'
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like G'
                             'ecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3704.400 QQBrowser/10.4.3587.400'}
    html = GetHtmlText(url,headers)
    GetUniverList(uinfo,html)
    WriteToFile(uinfo)

main()

 
三：代码结果
 

 此次一共有549所大学
 
四：代码思路
 
	本次一共使用了三个函数GetHtmlText()
 
第一个函数GetHtmlText()函数获取网页的text信息
 
 第二个函数GetUniverList()将需要的内容加入到一个二维列表中
 
 
第三个函数WriteToFile()将列表中的 内容写入csv文件
 利用pandas库比较简单
 
// A code block
    test.to_csv(r'C:\Users\Administrator\Desktop\最好大学网2019大学排名.csv', index=0)
 
主函数main() 反应了代码的主要思路
 其中 requests.get(url,headers)加入headers为了模拟浏览器上网
 
五：总结
 
第一次用csdn写博客，捣鼓了好久才写好，结果点错了没了，重新写了一份。搞得心态有点炸，没有刚开始的热情写了，所以布局啥的不大好勿怪
 
如果有更好的建议可以联系我，谢谢
 
下面是本次代码的结果csv文件 百度网盘分享
 链接：https://pan.baidu.com/s/1eI9fi0U9d4i-CWOJImhUMA
 提取码：y8df

#爬虫代码由北京理工课程内容课程所书写
#最好大学网无robots协议
#2017/4/28函数过于简单，不再赘述
import requests
from  bs4 import BeautifulSoup
import bs4

def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        print('get wrong!')

def fillunivlist(ulist,html):
    soup = BeautifulSoup(html,'html.parser')
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            tds = tr('td')
            ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string])

def PrintUnivlist(ulist,num):
    tclt = '{0:^10}\t{1:{4}^10}\t{2:^10}\t{3:^10}'
    print(tclt.format('数字','学校名称','省份','分数',chr(12288)))
    for i in range(num):
        u = ulist[i]
        print(tclt.format(u[0], u[1], u[2],u[3],chr(12288)))

def themain():
    uinfo = []
    url = "http://www.zuihaodaxue.com/zuihaodaxuepaiming2016.html"
    html = getHTMLText(url)
    fillunivlist(uinfo,html)
    PrintUnivlist(uinfo,30)

if __name__ == '__main__':
    themain()