精华内容
下载资源
问答
  • 通过Selenium调用Phantomjs获取CSDN下载资源的信息,最重要的是动态获取资源的评论,它是通过JavaScript动态加载的,故通过Phantomjs模拟浏览器加载获取。 希望该篇基础性文章对你有所帮助,如果有错误或不足之处,...
            前面几篇文章介绍了Selenium、PhantomJS的基础知识及安装过程,这篇文章是一篇应用。通过Selenium调用Phantomjs获取CSDN下载资源的信息,最重要的是动态获取资源的评论,它是通过JavaScript动态加载的,故通过Phantomjs模拟浏览器加载获取。
            希望该篇基础性文章对你有所帮助,如果有错误或不足之处,请海涵~

             [Python爬虫] 在Windows下安装PhantomJS和CasperJS及入门介绍(上)
             [Python爬虫] 在Windows下安装PIP+Phantomjs+Selenium
            [Python爬虫] Selenium自动访问Firefox和Chrome并实现搜索截图
            [Python爬虫] Selenium实现自动登录163邮箱和Locating Elements介绍

    源代码

    # coding=utf-8  
      
    from selenium import webdriver  
    from selenium.webdriver.common.keys import Keys  
    import selenium.webdriver.support.ui as ui  
    from selenium.webdriver.common.action_chains import ActionChains  
    import time      
    import re      
    import os  
      
    #打开Firefox浏览器 设定等待加载时间 访问URL  
    driver = webdriver.PhantomJS(executable_path="G:\phantomjs-1.9.1-windows\phantomjs.exe")  
    driver_detail = webdriver.PhantomJS(executable_path="G:\phantomjs-1.9.1-windows\phantomjs.exe")  
    wait = ui.WebDriverWait(driver,10)  
    driver.get("http://download.csdn.net/user/eastmount/uploads")  
    SUMRESOURCES = 0 #全局变量 记录资源总数(尽量避免)  
      
      
    #获取列表页数 <div class="page_nav>共46个 共8页..</div>  
    def getPage():  
        number = 0  
        wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='page_nav']"))  
        texts = driver.find_element_by_xpath("//div[@class='page_nav']").text  
        print texts  
        m = re.findall(r'(\w*[0-9]+)\w*',texts) #正则表达式寻找数字  
        print '页数:' + str(m[1])  
        return int(m[1])  
      
      
    #获取URL和文章标题   
    def getURL_Title(num):  
        global SUMRESOURCES  
        url = 'http://download.csdn.net/user/eastmount/uploads/' + str(num)  
        print unicode('下载列表URL: ' + url,'utf-8')  
        ''''' 
        ' 等待最下面页面加载成功 获取URL和标题 
        ' 源码 
        ' <div class='list-container mb-bg'> 
        '     <dl> 
        '        <dt> 
        '           <div class="icon"><img src="xxx"></img></div> 
        '           <h3><a href="/detail/eastmount/8757243">MFC显示BMP图片</a></h3> 
        '        </dt> 
        '     </dl> 
        ' </div> 
        ' get_attribute('href')获取URL且自动补齐 
        ' unicode防止报错 - s.encode('utf8')unicode转换成utf8编码 decode表示utf8转换成unicode 
        '''  
        driver.get(url)  
        wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='page_nav']"))  
        list_container = driver.find_elements_by_xpath("//div[@class='list-container mb-bg']/dl/dt/h3/a") 
        for title in list_container:  
            print 'Num' + str(SUMRESOURCES +1)  
            print u'标题: ' + title.text  
            print u'链接: ' + title.get_attribute('href')  
            SUMRESOURCES = SUMRESOURCES +1  
            #  
            #获取具体内容和评论  
            getDetails( str(title.get_attribute('href')) )  
        else:  
            print ' ' #换行  
              
      
    #获取详细信息 因前定义的driver正在使用中 故调用driver_detail  
    #否则报错 Message: Error Message => 'Element does not exist in cache'  
    def getDetails(url):  
        #获取infobox  
        driver_detail.get(url)  
        details = driver_detail.find_element_by_xpath("//div[@class='info']").text  
        print details  
        #加载评论 <dl><dt></dt><dd></dd></dl>  
        comments = driver_detail.find_elements_by_xpath("//dl[@class='recom_list']/dd")  
        for com in comments:  
            print u'评论:' + com.text  
        else:  
            print ' ' #换行  
           
      
    #主函数  
    def main():  
        start = time.clock()  
        pageNum = getPage()  
        i=1  
        #循环获取标题和URL  
        while(i<=pageNum):  
            getURL_Title(i)   
            i = i + 1  
        else:  
            print 'SUmResouces: ' + str(SUMRESOURCES)  
            print 'Load Over'  
        end = time.clock()  
        print "Time: %f s" % (end - start)  
              
    main()  
    

    代码实现步骤

            1.首先获取页面总数,通过getPage()函数实现;
            2.每个页面有一列资源,通过driver的find_element_by_xpath()路径获取标题和get_attribute('href')函数获取URL,它会自动补齐链接;
            3.根据步骤2获取资源的URL,去到具体资源获取消息框和评论信息;
            4.由于采用Phantomjs无界面浏览器加载页面,故获取class=info和recom_list的div即可。

    运行结果

            运行结果如下图所示:




    程序分析

            首先获取如下图所示的页面总数,此时为“8”页。它通过如下代码实现:
            texts = driver.find_element_by_xpath("//div[@class='page_nav']").text
            然后再while(i<=8)依次遍历每页的资源,每页资源的URL链接为:
            http://download.csdn.net/user/eastmount/uploads/8



            再获取每页所有资源的标题及URL,通过代码如下:
    list_container = driver.find_elements_by_xpath("//div[@class='list-container mb-bg']/dl/dt/h3/a")  
    for title in list_container:  
        print 'Num' + str(SUMRESOURCES +1)  
        print u'标题: ' + title.text  
        print u'链接: ' + title.get_attribute('href')  
            其中对应的源码如下所示,通过获取find_elements_by_xpath()获取多个元素,其div的class='list-container mb-bg',同时路径为<div><dl><dt><h3><a>即可。同时自动补齐URL,如:
            <a href='/detail/eastmount/6917799'会添加“http://download.csdn.net/”。



            最后在进入具体的资源获取相应的消息盒InfoBox和评论信息,由于通过模拟Phantomjs浏览器直接可以显示动态JS评论信息。






            而如果通过BeautifulSoup只能获取的HTML源码如下,并没有JS信息。因为它是动态加载的,这就体现了Phantomjs的优势。而通过Chrome或FireFox浏览器审查元素能查看具体的评论div,这也是模拟浏览器的用处所在吧!
            可对比前面写过的文章:[Python学习] 简单爬取CSDN下载资源信息

    <div class="section-list panel panel-default">  
       <div class="panel-heading">  
          <h3 class="panel-title">资源评论</h3>  
       </div>  
       <!-- recommand -->  
       <script language='JavaScript' defer type='text/javascript' src='/js/comment.js'></script>  
       <div class="recommand download_comment panel-body" sourceid="8772951"></div>  
    </div>


    总结

            这篇文章主要讲述通过Selenium和Phantomjs获取CSDN下载资源信息的过程,其中由于driver调用Chrome或FireFox浏览器总会有额外空间增加,故调用Phantomjs无界面浏览器完成。同时有几个问题:
                1.如何避免Phantomjs的黑框弹出;
                2.程序的运行时间比较低,响应时间较慢,如何提高?
            接下来如果有机会准备尝试的内容包括:
                1.下载百度百科的旅游地点InfoBox(毕设知识图谱挖掘);
                2.如何爬取搜狐图片的动态加载图片,完成智能爬图工具;
                3.当需要自动登录时driver访问Chrome或FireFox浏览器发送消息。
            最后希望文章对你有所帮助吧!如果有错误或不足之处,还请海涵~
          (By:Eastmount 2015-8-24 深夜2点半   http://blog.csdn.net/eastmount/
            

    展开全文
  • 获取csdn博客所有文章链接

    千次阅读 2016-11-16 17:41:30
    curl http://blog.csdn.net/你的博客名字/article/list/100000 | grep "\/bwlab\/article\/details\/" | grep "link_view" | awk -F '\"' '{print $6}' | sed 's/^/http:\/\/blog.csdn.net&/g' > /tmp/blog.txt
    curl http://blog.csdn.net/你的博客名字/article/list/100000 | grep "\/bwlab\/article\/details\/" | grep "link_view"  | awk -F '\"' '{print $6}' | sed 's/^/http:\/\/blog.csdn.net&/g' > /tmp/blog.txt
    展开全文
  • CSDN 链接

    千次阅读 2017-07-15 20:27:31
    一些常用而又在页面很难找到的链接 我的收藏 http://my.csdn.net/my/favorite 文章管理 http://write.blog.csdn.net/postlist 我的资源 http://download.csdn.net/my C...


    一些常用而又在页面很难找到的链接


    我的收藏

    http://my.csdn.net/my/favorite



    文章管理

    http://write.blog.csdn.net/postlist



    我的资源

    http://download.csdn.net/my



    C币抽奖

    http://mall.csdn.net/cbuy/prize







    CSDN积分、C币介绍

    1、博客积分    http://blog.csdn.net/master_yao (我的博客页)

            博客积分是衡量博客水平的重要标准,博客的排名也将按照积分排列。

    2、C币    http://my.csdn.net/ (个人主页)

            C币是CSDN社区贡献及充值购买获得的虚拟积分。(可用于资源下载)

    3、下载积分    http://download.csdn.net/my (我的资源页)

            下载积分是资源上传下载栏目产生的积分。

           下载积分仅可以在下载频道使用,其他频道均无法使用(仅资源下载使用)

    4、论坛可用分(论坛社区积分)    http://bbs.csdn.net/user/point (论坛积分页)

            论坛所得的可用分。(可以兑换成下载积分)

           论坛可用分:下载资源分 = 5:1 。 兑换地址 http://bbs.csdn.net/user/resource_point_transfer








    查看得分纪录、上传资源、创建专辑,可到“我的资源”里查找

    下载频道内提供的下载资源自下载之日起,30日内再次下载免费。30日后再次下载需要扣除相应的积分数量


    下载积分任务获取

    http://task.csdn.net/m/task/home/lists/2


    下载积分兑换(论坛积分兑换成下载积分)

    http://bbs.csdn.net/user/resource_point_transfer


    论坛首页 http://bbs.csdn.net/home

    每天回帖即可获得10分论坛可用分







    下载积分攻略:
    1. 个人设置里进行手机绑定CSDN账户 奖励50分 (右上角设置-账户安全-手机绑定)
    2. 完成任务送若干分积分      http://task.csdn.net/
    3. 上传有效资源获取积分(上传非法,广告资源用户,将被扣除一定积分,严重者封号)。
       · 上传自己设分资源被下载,下载量×资源分,100分封顶。
       · 上传0分资源被下载,下载量×系统奖励1分,100封顶
    4. 评论资源获取积分(所下载资源只可以评论一次,请真实有效评论)
       · 对待评论资源进行评分,评分后系统自动返还1分。
       · 对待评论资源进行评论,评论真实有效,审核通过后返还下载时所消耗的积分。
    5. 成为VIP会员  http://vip.csdn.net/
    6. 论坛可用分可以兑换下载分:论坛可用分:下载资源分 = 5:1,兑换地址:http://forum.csdn.net/PointForum/Forum/PointExchange.aspx

    7. 举报违规资源,管理员确认后奖励20下载积分。  详见:http://download.csdn.net/help


    博客积分规则:
     1、每发布一篇原创或者翻译文章:可获得10分
     2、每发布一篇转载文章:可获得2分
     3、博主的文章每被评论一次:可获得1分
     4、每发表一次评论:可获得1分(自己给自己评论、博主回复别人对自己博文的评论不获得积分)
     5、每篇博文阅读次数每超过100次:可获得1分,阅读加分最高加到100分,即每篇文章点击上万次截止
     6、文章被投票:顶1票加1分,踩1票减1分
     7、文章被管理员或博主本人删除,相应减去博主原来基于该篇博文所获得的分数
     8、评论被管理员或博主删除,相应减去发评论者和博主原来基于该评论各自获得的分数(博主应减积分不会动态实时去掉,是每周固定时间清理一次)
     9、用户每日获得积分上限取消。
     10、如果博主积分不满100,不能推荐自己的博客文章到频道首页
     11、另外会开设相应的抄袭举报功能,一旦举报证实某篇原创文章抄袭,将扣除博主该篇文章相应的得分

    参考:http://bbs.csdn.net/help#common_problem






    --------------------------------------------------------


    下载积分等级上传文件区间

    积分等级 积分区间 上传文件
    V1 0≤积分<100 110M
    V2 100≤积分<500 120M
    V3 500≤积分<1000 130M
    V4 1000≤积分<2000 140M
    V5 2000≤积分<5000 200M
    V6 5000≤积分<10000 300M
    V7 10000≤积分<30000 600M
    V8 30000≤积分<50000 600M
    V9 50000≤积分<100000 600M
    V10 100000≤积分<200000 700M
    V11 200000≤积分<300000 700M
    V12 300000≤积分<500000 700M
    V13 500000≤积分<800000 800M
    V14 800000≤积分<1000000 800M
    V15 1000000≤积分<2000000 800M


    -----------------------------------------------------

    什么是C币

    C币是CSDN推出的虚拟货币。

    C币有什么用

    1. 使用C币购买C币商城内的商品,在活动期内享受免邮优惠。当您兑换实物礼品成功后,我们会在15个工作日内送达。节假日及偏远地区略有延迟,您在礼品签收时不用支付任何费用; 2. 官方赠送的C币有效期为一年(到账后一年内)。购买的C币不过期; 3. 使用C币购买下载频道内资源,需要扣除相应的C币数量。自下载之日起30日内重复下载同一资源免费,30日后再次下载需要扣除相应的C币数量; 4. 用户用户可以直接使用C币购买 CSDN学院在线课程 、直接下载站内资源、兑换CSDN纪念礼品、兑换活动奖品等。

    获取赠送C币途径

    1. 撰写博文获得C币  现在去发博文

    行为 获得数量 说明
    获得CSDN年度博客之星 10 年度奖励,用于奖励CSDN年度博客之星
    博主被评为CSDN博客专家 20 博主被评为博客专家后,可一次性获得20个C币的奖励

    2. 回答问题获得C币  现在去回答

    行为 获得数量 说明
    等级提升,系统赠送C币 N 等级提升,都会获得系统赠送的额度不等的C币
    回答悬赏问题并被采纳 N 获得提问人的悬赏C币(悬赏上限为10)
    申请热心人、问答导师并被批准 5 申请热心人/问答导师审核通过,获得C币

    3. 发布技术话题获得C币  现在去发布

    行为 获得数量 说明
    技术专家分每增长20分 1 每天最多获得20个C币,即增长400分以上不再获得C币
    技术区帖子被版主或管理员推荐 3 每天多个帖子被推荐C币不累加

    4. 上传资源获得C币  现在去上传

    行为 获得数量 说明
    创建精品专辑 1 精品专辑通过审核获得1个C币,最多获得20个C币

    5. 问答等级技能值及升级获得C币:

    等级 所需技能值 升级奖励C币
    V1 0 0
    V2 10 0
    V3 50 0
    V4 120 0
    V5 200 0
    V6 300 0
    V7 500 5
    V8 800 10
    V9 1200 15
    V10 1800 20
    V11 3000 30
    V12 5000 50
    V13 8000 80
    V14 12000 100
    V15 18000 120
    V16 30000 150
    V17 60000 200
    V18 100000 300
    V19 200000 400
    V20 400000 500





    展开全文
  • 本人自己总结的LTE学习文档,有时间会继续更新 http://download.csdn.net/download/a34140974/10269899 文档内绘图基本为本人绘制,敬请使用,但请标明出处。

    本人自己总结的LTE学习文档,有时间会继续更新

    http://download.csdn.net/download/a34140974/10269899

    文档内绘图基本为本人绘制,敬请使用,但请标明出处。

    展开全文
  • CSDN下载 | CSDN免积分下载 | CSDN积分攻略

    千次阅读 热门讨论 2018-07-06 10:17:45
    有时候很急着下载资料,但又没有积分。我发现了一个免积分下载的地方:点击打开链接如果不着急的话,私信或留言我帮你。转自:http://blog.csdn.net/skillart/article/details/79234789...
  • 获取CSDN论坛帖子列表

    千次阅读 2010-08-23 14:31:00
    本例是获取CSDN-其他数据库开发-VFP版最近的200个帖子列表,同理也可以获取其他版块的帖子列表。
  • CSDN积分兑换链接

    千次阅读 2018-05-28 21:18:09
    CSDN积分兑换链接2016年06月24日 19:45:35阅读数:78031. 账号设置里进行手机绑定CSDN账户 奖励5C币 2. 完成任务送若干分积分 http://task.csdn.net/3.充值 C币,兑换下载积分 到http://mall.csdn.net/coin...
  • 这是一篇Python爬取CSDN下载资源信息的例子,主要是通过urllib2获取CSDN某个人所有资源的资源URL、资源名称、下载次数、分数等信息;写这篇文章的原因是我想获取自己的资源所有的评论信息,但是由于评论采用JS临时...
  • csdn免费下载

    千次阅读 热门讨论 2018-10-19 20:51:35
    1.首先我们需要通过做任务,获取到一个下载码。 2.下载获取到后,我们根据提示,知道这个下载码只能在5分钟内有效,所以必须得尽快使用。 3.打开官方网站,点击上方导航的‘下载链接。 4.打开后,可以看到这里有...
  • Python爬虫自动获取CSDN博客收藏文章

    千次阅读 多人点赞 2017-05-12 11:09:10
    CSDN的Python创意编程活动开始第一天就看到了,但是认为自己是菜鸟,就向当“吃瓜群众”,后来看到有好多人的代码是关于爬虫的,当初我就是由于对爬虫 感兴趣才自学的Python。现在也打算参加一下这个活动。 由于...
  • 如何在CSDN博客添加链接

    千次阅读 多人点赞 2014-01-18 10:55:31
    经过研究,我发现可以这样来添加友情链接。 首先,进入博客设置,找到博客栏目。 在里面新建一个栏目,名字随便,我这叫欢迎关注新浪-成都90后的孩子 推荐 然后把下面的代码粘贴到描述上去 我是一个平易近人却...
  • CSDN验证码获取器DLL链接库,支持C++,...下载:http://jiyi.org/soft/down/dll/csdnyzm.dll 演示程序:http://jiyi.org/soft/down/dll/csdnyzmdll.exe附送:通过本程序生成的: CSDN验证码获取器 动态链接库CSDNYZM.DLL
  • 安装 | MATLAB2018a (64位) 安装教程及安装包下载链接

    万次阅读 多人点赞 2019-04-04 11:39:01
    博主CSDN:https://blog.csdn.net/u011344545 ...安装包下载链接:内附MATLAB从入门到精通视频教程 全17讲 链接:https://pan.baidu.com/s/12NM-hWPhXg8mFhdoGbpv7A 提取码:1i4x 链接:https://pan.baidu...
  • 帮粉丝写Python爬虫之【获取CSDN周榜所有大佬的收费专栏】,做爬虫最终要的是什么?要到数据接口!
  • # 发送请求,获取响应 response = requests.get(page_url, headers=header).content # 将HTML源码字符串转换尘土HTML对象 page_html = etree.HTML(response) # 博客文章的链接 csdn_article_link_list = page_...
  • CSDN社区内容创作规范

    万次阅读 多人点赞 2021-01-25 16:46:53
    CSDN长久以来秉持初心,致力于为广大用户提供良好的创作环境,打造健康有序的技术生态!但良好的社区环境,需各位创作者与CSDN共同维护建立!【CSDN内容创作规范】请在发文前认真阅读:如你发布的内容存在以下问题,...
  • CSDN-markdown编辑器锚点链接添加方法

    万次阅读 2016-04-01 07:45:49
    CSDN-markdown编辑器锚点链接添加方法 注:经过测试,CSDN-markdown编辑器通过ID属性来支持这一功能!使用Name属性添加锚点是不受支持的,原因是在显示的时候,锚点名称被过虑掉了,如下图: 如果没有过虑的话,...
  • 下载csdn文章

    千次阅读 2019-10-31 15:46:39
    怎么下载csdn的文章啊 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。 新的改变 ...
  • csdn 积分/c币获取方法

    万次阅读 多人点赞 2018-05-28 14:03:38
    常规方式获取可用分1、每天只要回复就可以获得10个可用分。注:回复后的第2天发放。2、每周回复量大于10个帖子,将获得30可用分。注:下一周的周二发放。3、本周获得技术专家分30分以上,将获得40分可用分奖励。注:...
  • 怎样获取CSDN积分和C币,两者区别是什么

    千次阅读 热门讨论 2019-04-10 19:56:45
    这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、...
  • CSDN免积分下载

    千次阅读 2020-04-17 13:12:55
    CSDN免积分下载 这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定...
  • 这款软件不知道是什么原理。 下载链接:https://pan.baidu.com/s/1mjlsKEO 你们csdn也不知道管管,有免费下的,我们还花钱冲会员干嘛?
  • CSDN博客下载器 CSDNBlogDownloader

    千次阅读 2015-10-01 03:15:47
    CSDN Blog Downloader CSDN博客下载
  • 下载我的CSDN资源

    千次阅读 热门讨论 2019-10-02 17:00:59
    如何免费下载我的CSDN资源? 前言: 第一、如果你是土豪或者会员,请直接下载资源; 第二、不满足以上条件的,可以继续往下看。 正文 听我说, 首先左边点一下关注,当然在文章下面留言更好。 然后看看下面有没有与...
  • iOS 应用下载链接获取

    千次阅读 2018-12-29 14:35:17
    对于已经上线 App Store 的App,获取链接是一个非常简单的事情 1.先搜索 App 的名字(eg:QQ) 2.进入 App 详情页,点击分享,选择信息,这时候在短信界面的输入框里面就有一个 App 的完整链接 对于一个还没有上线的 ...
  • CSDN查看自己的资源被下载次数

    千次阅读 2019-04-22 22:55:30
    自从CSDN改版后,在我的资源页面就看不到自己上传的某个资源被下载的次数了。 那么我们应该在哪里查看自己的资源被下载的次数呢? 在左上角的菜单中,点击个人中心。 点击个人主页 (以上几步也可以...
  • Spire.PDF API 可以在CSDN下载啦!

    千次阅读 2016-11-30 15:53:26
    近期越来越多的中国客户提出需要下载我们的产品帮助文档,所以我们会逐步将E-iceblue 旗下的产品API分别...感兴趣的朋友,请在下面链接获取我们的Spire.PDF帮助文档。 http://download.csdn.net/detail/eiceblue/9697

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 764,165
精华内容 305,666
关键字:

如何获取csdn下载链接