精华内容
下载资源
问答
  • 3D游戏开发基础 - CSDN学院 - CSDN.NET
  • 2017CSDN学院研究

    2017-04-15 21:01:48
    2017CSDN学院研究,签约老师,签约机构,课程等研究


    2017CSDN学院研究

             分析截止时间:2014年4月15日

                 签约老师:496位

                 签约机构:127家

                 111个Java课程

                 105个Android课程

                 100个C++课程

                  108个Html课程

                  57个Spark课程

                  15个信息系统项目管理师课程

             


    展开全文
  • Python爬虫入门教程 22-100 CSDN学院课程数据抓取

    万次阅读 多人点赞 2018-11-07 18:07:59
    今天又要抓取一个网站了,选择恐惧症使得我不知道该拿谁下手,找来找去,算了,还是抓取CSDN学院吧,CSDN学院的网站为 https://edu.csdn.net/courses 我看了一下这个网址,课程数量也不是很多,大概有 6000+ 门课程...

    1. CSDN学院课程数据写在前面

    今天又要抓取一个网站了,选择恐惧症使得我不知道该拿谁下手,找来找去,算了,还是抓取CSDN学院吧,CSDN学院的网站为 https://edu.csdn.net/courses 我看了一下这个网址,课程数量也不是很多,大概有 6000+ 门课程,数据量不大,用单线程其实就能很快的爬取完毕,不过为了秒爬,我还是选用了一个异步数据操作。

    在这里插入图片描述

    2. CSDN学院课程数据分析页码

    还是需要好好的分析一下页码规律

    https://edu.csdn.net/courses/p2
    https://edu.csdn.net/courses/p3
    https://edu.csdn.net/courses/p4
    ... ...
    https://edu.csdn.net/courses/p271
    

    页码还是非常有规律的,直接编写代码就可以快速的爬取下来。出于人文关怀,我还是把协程数限制在3,要不顺发271个请求还是有点攻击的性质了。这样不好,不符合我们的精神。

    import asyncio
    import aiohttp
    from lxml import etree
    
    
    
    sema = asyncio.Semaphore(3)
    async def get_html(url):
        headers = {
            "user-agent": "自己找个UA即可"
        }
    	'''
    	本文来自 梦想橡皮擦 的博客
    	地址为:  https://blog.csdn.net/hihell  
    	可以任意转载,但是希望给我留个版权。
    	'''
        print("正在操作{}".format(url))
    
        async with aiohttp.ClientSession() as s:
            try:
                async with s.get(url, headers=headers, timeout=3) as res:
                    if res.status==200:
                        html = await res.text()
    
                        html = etree.HTML(html)
                        get_content(html)  # 解析网页
                        print("数据{}插入完毕".format(url))
    
            except Exception as e:
                print(e)
                print(html)
                time.sleep(1)
                print("休息一下")
                await get_html(url)
                
    async def x_get_html(url):
        with(await sema):
            await get_html(url)
    
    if __name__ == '__main__':
        url_format = "https://edu.csdn.net/courses/p{}"
        urls = [url_format.format(index) for index in range(1, 272)]
        loop = asyncio.get_event_loop()
        tasks = [x_get_html(url) for url in urls]
        request = loop.run_until_complete(asyncio.wait(tasks))
    

    3. CSDN学院课程数据解析网页函数

    网页下载到了之后,需要进行二次处理,然后才可以把他放入到mongodb中,我们只需要使用lxml库即可

    def get_content(html):
        course_item = html.xpath("//div[@class='course_item']")
        data = []
        for item in course_item:
            link = item.xpath("./a/@href")[0]  # 获取课程详情的链接,方便我们后面抓取
            tags = item.xpath(".//div[@class='titleInfor']/span[@class='tags']/text()")  # 获取标签
            title = item.xpath(".//div[@class='titleInfor']/span[@class='title']/text()")[0]  # 获取标题
            num = item.xpath(".//p[@class='subinfo']/span/text()")[0]  # 学习人数
            subinfo = item.xpath(".//p[@class='subinfo']/text()")[1].strip() #  作者
            price = item.xpath(".//p[contains(@class,'priceinfo')]/i/text()")[0].strip()  # 作者
            data.append({
                "title":title,
                "link":link,
                "tags":tags,
                "num":num,
                "subinfo":subinfo,
                "price":price
            })
    
        collection.insert_many(data)
    
    

    4. 数据存储

    数据保存到mongodb中,完成。

    在这里插入图片描述

    没有特别突出的地方,简单易操作。
    展开全文
  • CSDN学院升级公告

    2016-04-16 15:21:00
    CSDN学院将于2015年8月5日凌晨00:00-10:00进行停站升级,升级期间会影响大家的正常訪问和操作。给各位用户带来的不便敬请谅解。 升级结束后有不论什么问题请发邮件到webmaster@csdn.net反馈给管理员。或者直接到...
    CSDN学院将于2015年8月5日凌晨00:00-10:00进行停站升级,升级期间会影响大家的正常訪问和操作。给各位用户带来的不便敬请谅解。

    升级结束后有不论什么问题请发邮件到webmaster@csdn.net反馈给管理员。或者直接到学院首页右側的客服QQ反馈问题。

    感谢您对CSDN的支持!

    展开全文
  • 希望CSDN学院,能做中国一流的软件学院,成为中国的一块金字招牌,能够跟马云的湖畔大学,一比高下。


    对CSDN学院一些建议

          CSDN学院,确实是个好东西。让知识能更快捷、更方便的传播了,让学生能够快速的学习到新的技术,掌握应试技巧,也能让老师有一部分经济收入,把自己掌握的技术,让其价值很好的彰显出来。

           希望CSDN学院,能做中国一流的软件学院,成为中国的一块金字招牌,能够跟马云的湖畔大学,一比高下。

           结合自己的使用,提一点建议,希望CSDN学院越做越好:

           1.学院与博客能够打通,也就是博客页面添加“视频”按钮,学院页面添加“博客”按钮;


           2.一次可以添加多个课时,小虎老师一个章节添加20课时,要做20个操作,太累人;


           3.能在后台看到具体的点击量,实际观看的时间


    展开全文
  • CSDN学院课程计划

    千次阅读 2015-04-21 22:08:34
    计划五一之后在CSDN学院上放一些关于算法方面的课程。 为了课程更具针对性,关于课程的内容、形式、难度等方面想征求大家的意见,希望有兴趣的同学留言或者联系我。我这里列举了一些,供大家参考 内容: 1.以...
  • Arcgis-for-js:CSDN学院Arcgis for js教程源代码
  • 【分享】使用爬虫获取CSDN学院里所有免费的视频课 大家好,我是Samaritan。 自学了一周爬虫,出于需求想在学院视频课里找找有没有适合学习的,发现找不到只看免费课的过滤器(也可能是我高度近视),于是就当练手,...
  • CSDN学院的老师联系我,谈学院夏日促销的事。  我是CSDN学院的第一批入驻讲师,而这个的背后,却有一段美好的感恩回忆。  2015年春,我在学校内刚刚开始实施翻转课堂教学,与课和同步,制作学生课前自学的资源。...
  • 2017CSDN学院软考老师博客调查

    千次阅读 2017-04-05 17:28:42
    2017CSDN学院软考老师博客调查、网络工程师、信息系统项目管理师、网络规划设计师等各种计算机技术与软件专业技术资格(水平)考试辅导视频
  • 吐槽CSDN学院的几点建议

    千次阅读 热门讨论 2015-03-31 18:51:00
    吐槽CSDN学院的几点建议
  • CSDN学院FAQ

    千次阅读 2018-11-15 15:51:32
    1、成为CSDN学院讲师需要具备哪些条件? 1)CSDN博客作者(开通); 2)拥有3年以上IT行业从业经验、热爱IT技术; 3)愿意在互联网上分享技术经验,解答技术难题; 4)普通话标准,逻辑清晰。 2、如何成为CSDN...
  • Git入门基础 - CSDN学院视频 - CSDN.NET
  • 2017CSDN学院老师展示页面升级啦!

    千次阅读 2017-04-07 10:14:27
    2017CSDN学院老师展示页面升级啦! 点评一把: 1.色彩,现在是绿色,原来是白色,色彩更柔和、迷人,有寓意,所谓:桃李满天下; 2.老师的照片,现在是圆形,原来是方块,不再哪么扎眼了,呆板了,更有视觉冲击力...
  • 视频课程《小白快速入门greenplum》在csdn学院上线了,有需要的朋友可以直接点击链接观看。 2. 课程内容 课程地址:https://edu.csdn.net/course/detail/27801?utm_source=xueyuanjuhe 课程目录: 目录 第一章 课程...
  • 最近看完了Android基础 ,虽然有点迷迷糊糊,但是接下来就该好好练习了, CSDN 学院视频还不错,多练练吧,
  • 视频课程《小白快速入门springboot2.1.8》在csdn学院上线了,有需要的朋友可以直接点击链接观看。 2. 课程内容 课程地址:https://edu.csdn.net/course/detail/27802 扫描二维码直接观看: 3. 课程目录 第一章 课程...
  • 我的qq_25463741不能够登陆GYListView版本升级到2.0 csdn学院 我已经交过费用。 的qq_25463741不能够登陆csdn学院,看李发展的iOS11 Swift4 and Xcode9课程。 手机:18087758839 ymwjz@qq.com 如何办!
  • 视频课程《小白快速入门Spring Cloud Alibaba》在csdn学院上线了,有需要的朋友可以直接点击链接观看。 2. 课程内容 课程地址:<https://edu.csdn.net/course/detail/28716> 扫描二维码直接观看: 3. 课程...
  • 发现csdn学院申请讲师页面有个bug

    千次阅读 2015-03-06 08:17:55
    发现csdn学院申请讲师页面有个bug 页面地址:http://edu.csdn.net/lecturer/apply 问题描述:在”邮寄地址:“这一栏里,错误提示“长度为4-500个字符”,但实际上代码设置的最大字符数是15
  • import requests from lxml import etree import csv ...#爬取csdn学院所有课程名、价格 def init(self): self.url=‘https://edu.csdn.net/courses/o280_s355’ def fenqu(self): response=requests...
  • 今年2月份,受CSDN学院邀请,我很荣幸的成为了CSDN学院的讲师,正在制作优质的课程,帮助更多开发者入门。 欢迎大家加入嵌入式软件开发QQ交流群:610498871 观看地址:http://edu.csdn.net/course/detail/4018 ...
  • 利用CSDN学院——课程列表,目录丰富知识面,知识结构框架关系
  • 经过大半年的等待,CSDN学院终于在新的一年开始时正式上线了。我的第一个课程也全部上传完成,一直在期待我在CSDN学院课程的朋友,现在就可以购买了
  • 感谢大家对IT十八掌支持,接下来我们会和csdn学院打造完美的大数据课程,欢迎大家关注!

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 4,132
精华内容 1,652
关键字:

CSDN学院