精华内容
下载资源
问答
  • 国际音标学习心得分享

    千次阅读 2015-03-05 17:23:22
    国际音标学习心得分享

    【i:】发这个音的时候嘴唇微微张开  舌尖抵下齿  嘴角向两边张开露出微笑的表情

    【I 】 发这个音的时候嘴唇微微张开  舌尖抵下齿 舌前部太高 嘴角微微张开

    【3:】发这个音的时候嘴型扁平  上下齿微微张开

    【】


    展开全文
  • PCB画板子de心得分享——传送
    展开全文
  • python 爬虫抓取心得分享

    万次阅读 2014-11-27 13:26:37
    title:python 爬虫抓取心得分享 blog:http://yxmhero1989.blog.163.com/blog/static/112157956201311821444664/ **/  0x1.urllib.quote('要编码的字符串') 如果你要在url请求里面放入中文,对相应的中文进行...
    /**
    author: insun
    title:python 爬虫抓取心得分享
    blog:http://yxmhero1989.blog.163.com/blog/static/112157956201311821444664/
    **/   
    0x1.urllib.quote('要编码的字符串')

    如果你要在url请求里面放入中文,对相应的中文进行编码的话,可以用:
    urllib.quote('要编码的字符串')

        query =  urllib.quote(singername)
        url = 'http://music.baidu.com/search?key='+query
        response = urllib.urlopen(url)
        text = response.read()

    0x2. get or post  urlencode
    如果在GET需要一些参数的话,那我们需要对传入的参数进行编码。

    import urllib
    def url_get():
    import urllib
    params = urllib.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0})
    f = urllib.urlopen("http://www.musi-cal.com/cgi-bin/query?%s" % params)
    print f.read()

    def url_post():
    import urllib
    params = urllib.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0})
    f = urllib.urlopen("http://www.musi-cal.com/cgi-bin/query", params)
    print f.read()

    0x3.urllib urllib2 proxy 代理
    如果你请求对方的网页,确不想被封IP的话,这个时候就要用到代理了,其实用urllib代理还是比较简单的:
    import urllib
    def url_proxy():
    proxies = {'http':'http://211.167.112.14:80'}#或者proxies = {'':'211.167.112.14:80'}
    opener = urllib.FancyURLopener(proxies)
    f = opener.open("http://www.dianping.com/shanghai")
    print f.read()
    只用一个代理IP的话 有时候弄巧成拙了 恰好被大众点评给检测出来了
    401
    211.167.112.14
    python-urllib/1.17
    python urllib urllib2抓取心得分享 - InSun - Minghacker is Insun
     那么就试试多个IP代理
    import urllib
    def url_proxies():
    proxylist = (
    '211.167.112.14:80',
    '210.32.34.115:8080',
    '115.47.8.39:80',
    '211.151.181.41:80',
    '219.239.26.23:80',
    )
    for proxy in proxylist:
    proxies = {'': proxy}
    opener = urllib.FancyURLopener(proxies)
    f = opener.open("http://www.dianping.com/shanghai")
    print f.read()
    这回没问题了。

    有的时候要模拟浏览器 ,不然做过反爬虫的网站会知道你是robot
    例如针对浏览器的限制我们可以设置User-Agent头部,针对防盗链限制,我们可以设置Referer头部

    有的网站用了Cookie来限制,主要是涉及到登录和限流,这时候没有什么通用的方法,只能看能否做自动登录或者分析Cookie的问题了。

    仅仅是模拟浏览器访问依然是不行的,如果爬取频率过高依然会令人怀疑,那么就需要用到上面的代理设置了
    import urllib2
    def url_user_agent(url):
    '''
    proxy = 'http://211.167.112.14:80'
    opener = urllib2.build_opener(urllib2.ProxyHandler({'http':proxy}), urllib2.HTTPHandler(debuglevel=1))
    urllib2.install_opener(opener)
    '''
    i_headers = {"User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1) Gecko/20090624 Firefox/3.5",\
    "Referer": 'http://www.dianping.com/'}
    req = urllib2.Request(url, headers=i_headers)

    return urllib2.urlopen(req).read()

    #print url_user_agent('http://www.dianping.com/shanghai')
     就算设置了代理,代理的ip也有可能被封,还有另外一种终极的办法来防止被封,那便是使用time库的sleep()函数。
    import time
    for i in range(1,10):
        ....#抓取逻辑
        time.sleep(5)

       
    抓的地址是http://www.dianping.com/shanghai
    直接抓http://www.dianping.com的话会location到城市列表去 反而达不到效果
    header: Location: /citylist

    提供一段代理IP
    proxylist = (
    '211.167.112.14:80',
    '210.32.34.115:8080',
    '115.47.8.39:80',
    '211.151.181.41:80',
    '219.239.26.23:80',
    '219.157.200.18:3128',
    '219.159.105.180:8080',
    '1.63.18.22:8080',
    '221.179.173.170:8080',
    '125.39.66.153:80',
    '125.39.66.151:80',
    '61.152.108.187:80',
    '222.217.99.153:9000',
    '125.39.66.146:80',
    '120.132.132.119:8080',
    '119.7.221.137:82',
    '117.41.182.188:8080',
    '202.116.160.89:80',
    '221.7.145.42:8080',
    '211.142.236.131:80',
    '119.7.221.136:80',
    '211.151.181.41:80',
    '125.39.66.131:80',
    '120.132.132.119:8080',
    '112.5.254.30:80',
    '106.3.98.82:80',
    '119.4.250.105:80',
    '123.235.12.118:8080',
    '124.240.187.79:80',
    '182.48.107.219:9000',
    '122.72.2.180:8080',
    '119.254.90.18:8080',
    '124.240.187.80:83',
    '110.153.9.250:80',
    '202.202.1.189:80',
    '58.67.147.205:8080',
    '111.161.30.228:80',
    '122.72.76.130:80',
    '122.72.2.180:80',
    '202.112.113.7:80',
    '218.108.85.59:81',
    '211.144.72.154:80',
    '119.254.88.53:8080',
    '121.14.145.132:82',
    '114.80.149.183:80',
    '111.161.30.239:80',
    '182.48.107.219:9000',
    '122.72.0.28:80',
    '125.39.68.131:80',
    '118.244.190.6:80',
    '120.132.132.119:88',
    '211.167.112.15:82',
    '221.2.80.126:8888',
    '219.137.229.214:3128',
    '125.39.66.131:80',
    '61.181.22.157:80',
    '115.25.216.6:80',
    '119.7.221.137:82',
    '221.195.42.195:8080',
    '119.254.88.53:8080',
    '219.150.254.158:8080',
    '113.9.163.101:8080',
    '222.89.154.14:9000',
    '114.141.162.53:8080',
    '218.5.74.199:3128',
    '61.152.108.187:80',
    '218.76.159.133:80',
    '59.34.57.88:8080',
    '118.244.190.34:80',
    '59.172.208.189:8080',
    '116.236.216.116:8080',
    '111.161.30.233:80',
    '220.248.237.234:8080',
    '121.14.145.132:82',
    '202.114.205.125:8080'
    )


    Proxy的使用相当广泛,对于单个应用来说,爬虫是很容易被封禁,如果使用Proxy模式,就能降低被封的风险,所以有需求的同学需要仔细看下Python urllib2对于Proxy的使用:


    0x4.抓取下拉加载或者点击加载的页面方法:


    加载中的内容应该是ajax请求的,对付ajax请求没有什么好的办法,只有抓取页面的JS,分析JS进行抓取

    解决方案:

    1.傻傻的全部下拉完 全部点击加载完(对少量数据还行,大量数据的站去死吧) 在Firefox里面copy出源码信息 进
    行正则匹配

        2.HttpFox抓包  直接抓ajax地址的数据  分析ajax链接 变换参数  取得json后再正则


    可以参考我的:

    Python抓取花瓣网图片脚本

    python抓取bing主页背景图片

    0x5.正则处理

    python对正则表达式的支持模块。如果http库有选择的余地外,re几乎是没有选择余地的工具。因为有正则表达式的存在,所以让我们可以很灵活的去抠取抓取过来的完整html中所需要的部分。

    当然,这篇文章不会详细解释正则表达式,因为如果要系统的介绍正则表达式,或许可以写一本书了。这里只简单提一下我们后面会用到的python正则表达式的用法。

    re.compile()。如果正则表达式比较多,请一 定要先用这个方法先行编译正则表达式,之后再正则表达式的使用就会很非常快,因为大家都知道,python文件在第一次运行会分别创建一个字节码文件,如 果正则表达式作为字符串的时候,在运行时才会被编译,是会影响到python的执行速度的。

       

    compile()返回的是一个re对象,该对象拥有re库的search(), match(), findall()等方法,这三个方法,在后面会被频繁的用到,生成被编译的re对象还有一个好处是调用方法不用再传入字符串的正则表达式。

    search()主要用来校验正则表达式能否匹配字符串中的一段,通常用来判断该页面是否有我需要的内容。

       

    match()用来判断字符串是否完全被一个正则表达式匹配,后面用的比较少。

       

    findall()用来搜索正则表达式在字符串中的所有匹配,并返回一个列表,如果没有任何匹配,则返回一个空列表。

       

    带有子组的正则表达式,findall()返回的列表中的每个元素为一个元组,正则表达式中有几个子组,元组中就会有几个元素,第一个元素为第一个括号中的子组匹配到的元素,以此类推。

    findall()和search()是有类似之处的,都是搜索正则表达式在字符串中的匹配,但是findall()返回一个列表,search()返回一个匹配对象,而且findall()返回的列表中有所有匹配,而search()只返回第一个匹配的匹配对象。

    0x6.Reference:


    python urllib下载网页
    http://www.cnpythoner.com/post/pythonurllib.html

    关于不得不在python中使用代理访问网络的方法
    http://blogread.cn/it/wap/article/1967

    python使用urllib2抓取防爬取链接
    http://www.the5fire.net/python-urllib2-crawler.html

    Python实战中阶(一)——爬取网页的一点分享
    http://blog.goodje.com/2012-08/python-middle-action-web-crawler.html

    Python Urllib2使用:代理及其它
    http://isilic.iteye.com/blog/1806403

    Python urllib2递归抓取某个网站下图片
    http://blog.csdn.net/wklken/article/details/7364899

    Python抓网页的注意事项
    http://blog.raphaelzhang.com/2012/03/issues-in-python-crawler/

    urllib.urlretrieve下载图片速度很慢 + 【已解决】给urllib.urlretrieve添加user-agent
    http://www.crifan.com/use_python_urllib-

    urlretrieve_download_picture_speed_too_slow_add_user_agent_for_urlretrieve/
    展开全文
  • 周例会心得分享

    2012-05-11 20:51:45
    周例会心得分享周例会常见的缺点: 1、 形式化:每周例行,没有新意,也不能解决实际问题。 2、 分散化:周例会太长,和自己相关的部分太少,大部分时间都在走神状态。 3、 钻牛角尖:忽然就某一个细节问题,...
    周例会心得分享


    1、  形式化:每周例行,没有新意,也不能解决实际问题。

    2、  分散化:周例会太长,和自己相关的部分太少,大部分时间都在走神状态。

    3、  钻牛角尖:忽然就某一个细节问题,进行了反复的讨论,浪费了其他与会者的时间

    4、  跑题:几个人,在主题上扯着扯着就跑题了,不知道聊什么去了。

    5、  不知道怎么开:突击提拔的领导,不知道怎么开会,搞不定会议上的人或者问题情况。

     
    周例会的本职作用:


    1、  归一化:让组内在项目、任务、工作的理解、反馈、描述、执行等层面达到一致性。减少内部沟通成本,提高团队效率。

    2、  可视化:追求项目的可视化是项目管理的最高境界。逐层分解下来,就要求各级管理者对项目、任务的进度、风险、问题做到一目了然的管理。所以严格的例会,肯定是先开基层,层层汇总上报。

    3、  项目管理:通过对团队各维度进行管理:项目管控,人员工作安排,团队学习提升,工作方向调整等等。

    4、  理念贯彻:贯彻公司文化和团队文化,统一大家的思路和模式。

    5、  具体问题解决:针对疑难点,进行指导或头脑风暴,集思广益。

     
    谁不用开周例会?

      成熟的单项目小团队不用开周例会——5个人内,团队配合两年以上,彼此的思路风格互相理解,单项目运作。

     
      其他的团队都必须召开例会,如果抵制例会,则说明在例会在实际落地的时候没有起到作用,也是下文重点描述分析的。

     
    分析:


      1、随着项目的增多,一个成熟的团队往往会增加新人,然后并发去承接更多的项目,此时多项目并行,关于进度、资源、沟通的问题必须要通过周例会来解决。


      2、老资格的管理者带新团队,不要发挥自己的单人强控全场的能力,为了让整个团队提高,必须通过周例会的方式,让大家建立起项目进度、风险控制、沟通协调的概念——而不是让大家只会执行,这样新员工得不到提高,自己也会日复一日的处理同样的问题而导致疲惫。


      3、新管理者:这是你必须要过去的一个门槛,克服自己的不适应,挑战自己必须搞定吧。

     

     
    展开全文
  • 关于工作效率的心得分享

    千次阅读 2014-03-24 20:13:02
    关于工作效率的心得分享 作者:许诗淇,高级视觉设计师,负责过QQ视觉主设工作,目前主导RTX项目设计。个人站点   这是去年11月底在小组里分享过的工作效率心得,在这里也跟大家分享一下...
  • Android招聘心得分享

    千次阅读 2018-10-15 18:11:49
    最近因为工作需要,需要招聘Android开发人员,简单聊一下面试候选人的一些想法,希望对你有帮助。 1.简历篇: 拉勾和51job的选择,简历大家投简历或是发布招聘信息,还是以IT类的专业招聘网为主,建议拉勾(不是...
  • 一点就分享系列(实践篇3—上篇)—“全网首发” 正确手法修改YOLOV5 魔刀小试+ Trick心得分享 现在部署大热,而我觉得回归原理和源码更加重要!在检测领域YOLOV5肯定是大家的炼丹必备模型,收敛快,精度高都是其...
  • CISSP考试心得分享

    千次阅读 2019-09-10 16:53:31
    随便写写经验,分享给大家。 我自身本科学的信息技术,硕士学的网络/通信,工作后一直搞网络以及运营,以及少量项目管理,考了工信部下面的信息系统项目管理师,跟着单位通过了CMMI 3级的评估认证。 以上是我的...
  • Axure 使用心得分享

    2018-05-07 15:48:04
    因为之前很少涉及到原型设计,所以对这个原型设计工具也不太熟悉,第一次使用走了不少的弯路,在这里把自己在使用过程中的心得跟大家分享一下,希望能够对大家有所帮助。一、 元素的选择我觉得这是Axure原型设计...
  • Axure使用心得分享

    千次阅读 2014-10-25 22:55:22
    因为之前很少涉及到原型设计,所以对这个原型设计工具也不太熟悉,第一次使用走了不少的弯路,在这里把自己在使用过程中的心得跟大家分享一下,希望能够对大家有所帮助。 一、 元素的选择 我觉得这是Axure原型设计...
  • SpringBoot学习心得分享

    千次阅读 2019-03-29 14:54:58
    (PS:当时我在学SSM的时候,Springboot已经很兴起了,我记得我第一次有这个深刻的概念,并非是在学习中,而是在我2018年秋招的时候,我参加了去哪儿网的宣讲会,里面的HR告诉我们,他们的去哪儿网学院,有一个很好...
  • 黄俊:电商系统的一些心得分享 谈起电商,很多企业也都会有过这样和那样的困惑,到底如何做才算是真正地步入电商?从业务里形成由线下交易到线上交易的转换。电子商务是未来,是长线,布局决定结局,要有足够的...
  • 文章出处:网站DDOS攻击防护实战老男孩经验心得分享 网站DDOS攻击防护实战老男孩经验心得分享  老男孩由于要培训学生、批改作业,因此最近比较忙,还要经常写书、录视频,搞的思路混乱,受朋友邀请参加某论坛...
  • 下面给大家分享下,众多小伙伴的编程心得,希望对你有所帮助。 这篇文章我是在知乎上看到的,感觉很不错。原作者回顾了自己漫长的编程学习之路,从中总结了许多个人经历,走的弯路,和教训。我摘抄了过来,希望能...
  • 接口日志管理心得分享

    千次阅读 2018-07-19 18:33:06
    接口日志功能分析心得 1.哪些地方需要记录日志 接口请求的客户端IP 接口请求的时间 接口请求的结果说明 2.记录日志的方式 文件记录 数据库记录 邮件记录 3.如何统计查看日志 Elk方式 awk查看方式 4.代码里面如何注入...
  • 创业者找风险投资的经验心得分享 发布时间:2012/10/9来源:互联网发布人:本站 昨日上午9点,四川60多家中小企业CEO汇聚在华西讲堂的现场,一场精彩的“川企融资经验分享会”首度登常现场,四川融资达人——...
  • 今天带来的是我的世界各版本入手心得分享。Minecraft的两大版本JAVA版和基岩版各有优劣,听我细细介绍两个版本的重大区别。JAVA版(mojang官网)JAVA版的优势在于玩家社区JAVA版只能在PC平台上游玩虽然你不能愉快地和...
  • 计算机二级Python考试心得分享体会总结

    万次阅读 多人点赞 2019-05-19 17:09:14
    前言: 我叫夏某鸣,德州学院,大二学生,在学习python之前学习过c语言,数据结构,做过嵌入式开发,有一点功底,但是不多,通过学习不同的语言的编程也锻炼了一些思维,但涉猎面还是不广,也不怎么精通,最近正在...
  • Unity开发VR之Vuforia ... Chinar —— 心分享、心创新!助力快速完成服务器的购买、配置、以及网站的搭建为新手节省宝贵的时间,避免采坑! Chinar 教程效果: 1 Quick Drag...
  • Security+认证考试心得分享

    千次阅读 2018-09-29 16:35:34
    前不久刚考了security+,也算是幸运,低分飘过,不敢说有什么经验,只是在这里跟大家分享一下我的一些心得吧。 1、此处非广告,因为自己对于security+前期没什么了解,只是从朋友那里听说这是个关于安全的认证考试,...
  • 网站DDOS攻击防护实战老男孩经验心得分享  老男孩由于要培训学生、批改作业,因此最近比较忙,还要经常写书、录视频,搞的思路混乱,受朋友邀请参加某论坛活动,推迟不过,挤了一点时间,给大家简单分享一点老...
  • C编程规范的心得分享

    千次阅读 2017-04-24 09:34:36
    爱笑的女孩,哦不,代码写得...主要从“总体结构”->“系统层级”->“模块间”这三个从大到小的层面,分享了代码设计上解耦的一些思路。通过lorawan代码等实例分析,让大家对这个设计思想有一些具象的理解。
  • 主题:Qt在线技术交流之OpenGL、Quick以及所经历项目开发心得分享 直播:http://qtdream.com 主页、全民TV,可能会加上其它的直播平台进行转播 录播:http://qtdream.com/category/16 处,使用B站或者优酷资源上传...
  • 这一年并未更新博文,最近调试dsp代码,一点心得记录在此。 此阶段算法开发环境顺序大致为:matlab->visual studio->ccs(TI的编译器)。 1、matlab阶段 由于面向对象的环境更加接近人的思维,matlab写脚本...
  • 小团队妙技巧:海外手游市场推广心得分享 2014-02-27 08:03 作者: 转载出处:手有对对碰 推荐人:天门 1  手游生力军里,创业团队拥有无限的热情和天马行空的想象力,给行业带来一个又一个...
  • HVV过来人的一些心得分享~

    千次阅读 2021-01-13 08:08:00
    出品|MS08067实验室(www.ms08067.com)本文作者:Ryze(Ms08067内网安全小组成员)Ryze微信(欢迎骚扰交流):刚刚结束某地级市HW,分享一些能够分享的,带...
  • FPGA学习心得分享(一)

    千次阅读 2019-07-10 20:07:24
    FPGA学习经历分享——主线任务
  • 今天通知正式上岸,由于很多师弟师妹都要我分享考研心得,但在疫情期间也没法当面讲,现在我就在博客上分享一下自己的考研心得吧。 首先是初试,我初试的分数不是很好,大家仅供参考即可。 数学:基本上工科的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 23,533
精华内容 9,413
关键字:

心得分享