20、http://www.nimadaili.com/ 泥马IP代理
 
19、http://lab.crossincode.com/proxy/ Crossin编程教室
 
18、http://www.xsdaili.com/dayProxy/ip/1415.html 小舒代理
 
17、http://www.xiladaili.com/ 西拉免费代理IP
 
16、http://ip.jiangxianli.com/ 免费代理IP库
 
15、http://www.superfastip.com/ 极速代理
 
14、http://ip.kxdaili.com/ 开心代理
 
13、https://proxy.mimvp.com/free.php 米扑代理
 
12、http://www.shenjidaili.com/open/ 神鸡代理IP
 
11、http://31f.cn/http-proxy/ 三一代理
 
10、http://www.feiyiproxy.com/?page_id=1457 飞蚁代理
 
9、http://ip.zdaye.com/dayProxy/2019/4/1.html 站大爷
 
8、http://www.66ip.cn 66免费代理网
 
7、https://www.kuaidaili.com/free/inha 快代理
 
6、https://www.xicidaili.com 西刺
 
5、http://www.ip3366.net/free/?stype=1 云代理
 
4、http://www.iphai.com/free/ng IP海
 
3、http://www.goubanjia.com/ 全网代理
 
2、http://www.89ip.cn/index.html 89免费代理
 
1、http://www.qydaili.com/free/?action=china&page=3 旗云代理
 
 
 
 
 
 
 
 

 
 
 
  
 
   在线代理 网页代理 ip代理 在线代理ip 代理ip 网页代理ip ip在线代理 
  
 
  
 
   
 
    
在线代理 网页代理 ip代理 在线代理ip 代理ip 网页代理ip ip在线代理
 
   
 
   
 
   
 
   
 
    
 
    
 
    
 
   
 
  
 
  

    posted on 
   2014-03-04 15:44 
   lexus 阅读(
   ...) 评论(
   ...) 
    编辑 
   收藏 
  
 
 
 
 
转载于:https://www.cnblogs.com/lexus/p/3580511.html

 
最新国外代理ip免费地址如下：
 
5.152.158.4:8080@HTTP#意大利 CHENJIAYU.CN
 
31.182.52.156:3129@HTTP#波兰 CHENJIAYU.CN
 
31.185.29.147:8081@HTTP#挪威 CHENJIAYU.CN
 
36.67.231.3:8080@HTTP#印度尼西亚 CHENJIAYU.CN
 
36.77.0.241:8080@HTTP#印度尼西亚 CHENJIAYU.CN
 
36.78.130.45:8080@HTTP#印度尼西亚 CHENJIAYU.CN
 
36.81.2.206:31281@HTTP#印度尼西亚 CHENJIAYU.CN
 
37.187.116.199:80@HTTP#法国 OVH SAS
 
41.78.242.1:53281@HTTP#加蓬 CHENJIAYU.CN
 
42.112.209.164:8080@HTTP#越南 FPT电信公司
 
46.16.226.10:8080@HTTP#俄罗斯 CHENJIAYU.CN
 
46.253.12.46:53281@HTTP#保加利亚 CHENJIAYU.CN
 
47.52.231.140:8080@HTTP#香港 阿里云
 
58.240.53.196:80@HTTP#江苏省南京市 联通
 
62.140.252.21:8081@HTTP#俄罗斯 CHENJIAYU.CN
 
66.158.61.10:9797@HTTP#美国 伊利诺斯州世纪网络
 
68.171.65.230:8081@HTTP#加拿大 CHENJIAYU.CN
 
70.184.179.116:8080@HTTP#美国 佐治亚州亚特兰大市Cox通信公司
 
75.150.88.59:80@HTTP#美国 新泽西州月桂山镇Comcast通信公司
 
78.46.244.231:2020@HTTP#德国 CHENJIAYU.CN
 
78.140.6.68:53281@HTTP#俄罗斯 CHENJIAYU.CN
 
80.245.117.130:8080@HTTP#乌克兰 CHENJIAYU.CN
 
81.18.214.62:8080@HTTP#波兰 CHENJIAYU.CN
 
82.209.49.194:8080@HTTP#捷克 CHENJIAYU.CN
 
85.236.25.18:9090@HTTP#俄罗斯 CHENJIAYU.CN
 
87.121.83.130:53281@HTTP#保加利亚 CHENJIAYU.CN
 
87.228.103.111:8080@HTTP#【匿】俄罗斯 CHENJIAYU.CN
 
91.121.88.53:80@HTTP#法国 巴黎OVH SAS数据中心
 
91.185.21.124:8123@HTTP#哈萨克斯坦 CHENJIAYU.CN
 
91.209.54.37:53281@HTTP#乌克兰 CHENJIAYU.CN
 
91.217.42.2:8080@HTTP#俄罗斯 CHENJIAYU.CN
 
91.221.242.1:8080@HTTP#俄罗斯 CHENJIAYU.CN
 
91.225.190.38:53281@HTTP#波兰 CHENJIAYU.CN
 
95.31.19.89:8080@HTTP#俄罗斯 CHENJIAYU.CN
 
95.172.37.162:8080@HTTP#俄罗斯 CHENJIAYU.CN
 
95.210.251.29:53281@HTTP#意大利 CHENJIAYU.CN
 
95.215.52.150:8080@HTTP#波兰 CHENJIAYU.CN
 
103.19.81.76:8080@HTTP#印度尼西亚 CHENJIAYU.CN
 
103.59.213.26:8080@HTTP#广东省深圳市 长城宽带
 
104.236.48.178:8080@HTTP#【匿】美国 纽约市DigitalOcean云公司
 
109.224.1.210:8080@HTTP#伊拉克 CHENJIAYU.CN
 
110.164.156.194:8080@HTTP#泰国 3BB宽频TRIPLETNET-TH网络
 
115.70.186.106:8080@HTTP#澳大利亚 CHENJIAYU.CN
 
119.27.177.169:80@HTTP#福建省厦门市 广电宽带
 
119.252.160.34:8080@HTTP#印度尼西亚 CHENJIAYU.CN
 
124.42.7.103:80@HTTP#【匿】北京市 光环新网
 
125.209.97.190:8080@HTTP#巴基斯坦 CHENJIAYU.CN
 
138.201.63.123:31288@HTTP#【匿】德国 CHENJIAYU.CN
 
145.255.137.20:8087@HTTP#俄罗斯 CHENJIAYU.CN
 
152.231.81.122:53281@HTTP#北美地区 CHENJIAYU.CN
 
154.48.196.3:8080@HTTP#美国 CHENJIAYU.CN
 
154.73.220.137:8080@HTTP#非洲 CHENJIAYU.CN
 
155.4.12.61:8080@HTTP#挪威 CHENJIAYU.CN
 
159.226.168.11:80@HTTP#[C]中国 科学院网
 
159.226.234.36:80@HTTP#北京市 科技网
 
159.255.163.178:80@HTTP#伊拉克 CHENJIAYU.CN
 
159.255.165.25:8080@HTTP#伊拉克 CHENJIAYU.CN
 
159.255.165.234:8080@HTTP#伊拉克 CHENJIAYU.CN
 
159.255.167.147:8080@HTTP#伊拉克 CHENJIAYU.CN
 
162.251.159.17:8080@HTTP#北美地区 CHENJIAYU.CN
 
166.111.80.162:3128@HTTP#[C]北京市 清华大学软件学院

免费代理IP池
 
高频抓取某个网站的数据，很有可能就被网站管理员封掉IP，导致抓取数据失败，解决这个问题最直接，简单的方法就是使用代理IP。目前网上有不少提供付费代理IP的平台，但是如需长期使用，该方案是笔不少的开销。本项目通过抓取IP代理网站提供免费代理IP，并不间断的验证IP的有效性，根据代理IP验证的历史记录对IP进行评估，输出高质量代理IP。 
 源码：https://github.com/clelandgt/ip_proxy
 
功能
 
100+ 支持https, 匿名或高匿名的免费代理IP;
外部提供API调用。
 
原理
 
第一步：爬取多个免费IP代理网站获得代理IP; 
 第二步：访问https://www.baidu.com/验证代理IP的有效性和响应时间，由于每次都能爬取10000+个代理，需要使用并发(多进程+协程)方式快速完成验证; 
 第三步：将验证通过的代理IP存入mongodb中； 
 第四步：睡眠一定时间； 
 第五步：开始验证数据库中的IP，根据每个IP的历史失败数和失败率淘汰掉一些低质量或失效的代理IP; 
 第六步：验证完数据库中的IP，如果数据库中的IP小于一个预设值(比如100)，执行第一步，否则执行第四步。 
 
 
部署
 
os：Centos7
redis 2.8.19
mongodb 3.4.1
nginx 1.10.2
 
完成以上系统和软件的安装，其中操作系统可以选择其他linux版本，软件版本没有特殊要求。
 
克隆代码到本地
 
$ git clone https://github.com/clelandgt/ip_proxy
 
创建虚拟环境
 
$ mkvirtualenv proxy_env #创建名为proxy_env的虚拟环境
$ workon proxy_env #加载proxy_env虚拟环境
$ pip install -r requirements.txt #导入并安装需要安装的第三方库
 
关于虚拟环境的详细介绍和使用详见：http://blog.csdn.net/ganzheyu/article/details/53014726
 
supervisord
 
使用supervisord进行进程管理，当进程出现异常退出时，supervisord会重新启动该进程。
 
$ pip install supervisor #安装supervisord
$ mv supervisord.conf /etc/supervisord.conf #默认配置文件在/etc下，所以将项目配置好的deploy目录下的supervisord.conf拷贝到/etc下。
 
本项目需要监控的进程主要有两个，一个是IP代理核心流程”python ip_proxy.py”，另一个是提供外部API访问的”uwsgi uwsgi.ini”
 
[program:proxy_crawler]
command=python ip_proxy.py
directory=/root/webapp/ip_proxy/src/ip_proxy
autostart=true
autorestart=true
stdout_logfile=/tmp/proxy_crawler.log

[program:uwsgi]
command=uwsgi uwsgi.ini
directory=/root/webapp/ip_proxy/src
autostart=true
autorestart=true 
 
nginx + uwsgi 配置后台服务
 
...
 
设置开机自启
 
$ systemctl enabled supervisord.service #设置supervisord开机自启
$ systemctl enabled redis.service #设置redis开机自启
$ systemctl enabled mongod.service #设置mongodb开机自启
$ systemctl enabled nginx.service #设置nginx开机自启
 
关于systemctl详细使用见：http://blog.csdn.net/ganzheyu/article/details/56335419
 
- 虚拟环境的加载