精华内容
下载资源
问答
  • 代理ip免费网址
    千次阅读
    2020-09-21 14:16:45

    免费代理IP网站
    西刺免费代理:http://www.xicidaili.com/

    米扑代理:http://proxy.mimvp.com/free.php?proxy=in_hp

    http://www.66ip.cn/

    http://www.goubanjia.com

    这个是githup上一个开源的免费代理池:https://github.com/WYL-BruceLong/ProxyPool.git

    更多相关内容
  • 搭建免费代理IP

    千次阅读 多人点赞 2022-05-03 22:29:41
    然后对每个IP都进行校验,如果这个IP可用那么就将这个IP的分值拉满(100),如果不可用就进行扣分(10),直到IP变成0分,就将这个IP删除 对外: 提供免费的可用的代理IP 思路理清了,接下来就是如何写程序了 采集:...

    👨‍💻博客主页:i新木优子👀
    🎉欢迎关注🔍点赞👍收藏⭐留言📝
    🧚‍♂️寄语:成功的秘诀就是每天都比别人多努力一点👣
    ✨有任何疑问欢迎评论探讨

    先声明一下:免费的代理稳定性都不高,即使经过层层筛选有些可能还是不能用,就像矮子里拔高的,即使已经是矮子里最高的,可是还是改变不了是矮子的本质

    在做任何事情之前我们都需要先思考,要如何实现?需要用到什么?等等一系列的问题都要想清楚,要先将思路理清了,做起事来才能事半功倍


    🎯下面是我做这个项目的思路,可能并不是很好,有更好的想法欢迎留言讨论
    代理IP池:
    自身:

    • 能采集代理IP(用爬虫抓取网站即可)
      采集到的IP我们的将它存储起来,这就有一个问题我们要将这些IP存储到哪里?
      Mysql?MongoDB?还是Redis?
      Mysql:它当然可以存储IP,可是它也有它的局限性,Mysql不能去重,因为有时我们采集到的IP可能一样,还有一个问题就是Mysql查询效率低
      MongoDB:也可以存储IP,但它也不能去重
      Redis:最合适,首先它的查询效率最高,还有良好的去重的集合(zset)
      为什么要用zset呢?
      zset有一个特性,他有一个分值(score),我们可以通过控制分值的高低就可以将稳定性高的IP取出来,从而提高免费IP的可用性
      不了解Redis基本用法的小伙伴可以去看一下我的上一篇博客哦
    • 能验证IP的有效性
      先将每个IP定一个初始分值(50),然后对每个IP都进行校验,如果这个IP可用那么就将这个IP的分值拉满(100),如果不可用就进行扣分(10),直到IP变成0分,就将这个IP删除

    对外:

    • 提供免费的可用的代理IP

    思路理清了,接下来就是如何写程序了

    采集:写爬虫抓取IP,将IP存储到Redis
    校验:从Redis中取出IP,用IP简单发送一个请求,如果可以正常返回,证明该IP可用
    提供:写api接口,将可用的IP提供给用户

    如果我们按照单线程去完成上面的步骤,就有局限性,只有每次将IP提供给用户,才可以继续采集IP,而我们希望的是这三个步骤互不影响,不管采集、校验还是给用户提供IP,都应该是一直进行,在提供IP的时候也可以继续采集、校验
    三个独立的程序,我们就可以用多进程
    下图就是IP代理池的模型:
    在这里插入图片描述
    仔细观察上图,三个操作都用到了Redis,所以就先写Redis涉及到的各种操作,再写其他三个功能就可以游刃有余了
    1️⃣Redis的各种操作

    • 连接Redis
    • zset存储
      判断IP存不存在,不存在就新增
    • 查询所有IP(校验IP时要用到)
    • 将分值拉满(IP可用)
    • 将分值降低(IP不可用)
    • 查询可用的IP
      先给满分的,没有满分的给51-99分的
    # redis的各种操作
    
    from redis import Redis
    from settings import *
    
    
    class ProxyRedis:
    
        # 连接redis
        def __init__(self):
            self.red = Redis(
                host=REDIS_HOST,
                port=REDIS_PORT,
                db=REDIS_DB,
                password=REDIS_PASSWORD,
                decode_responses=True
            )
    
        # 存储ip
        def add_proxy_ip(self, ip):
            # 判断是否有ip
            if not self.red.zscore(REDIS_KEY, ip):
                self.red.zadd(REDIS_KEY, {ip: DEFAULT_SCORE})
                print("采集到了IP地址了", ip)
            else:
                print("采集到了IP地址了", ip, "但是已经存在")
    
        # 查询所有ip
        def get_all_proxy(self):
            return self.red.zrange(REDIS_KEY, 0, -1)
    
        # 将分值拉满
        def set_max_score(self, ip):
            self.red.zadd(REDIS_KEY, {ip: MAX_SCORE})
    
        # 降低分值
        def reduce_score(self, ip):
            # 查询分值
            score = self.red.zscore(REDIS_KEY, ip)
            # 如果有分值,扣分
            if score > 0:
                self.red.zincrby(REDIS_KEY, -10, ip)
            else:  # 分值没有则删除
                self.red.zrem(REDIS_KEY, ip)
    
        # 查询可用ip
        def get_avail_proxy(self):
            lis = []
            ips = self.red.zrangebyscore(REDIS_KEY, MAX_SCORE, MAX_SCORE, 0, -1)
            if ips:
                lis.append(ips)
                return lis
            else:
                ips = self.red.zrangebyscore(REDIS_KEY, DEFAULT_SCORE + 1, MAX_SCORE - 1, 0, -1)
                if ips:
                    lis.append(ips)
                    return lis
                else:
                    print("没有可用ip")
                    return None
    

    2️⃣采集IP
    这里我爬取了三个网站,当然感觉不够用的自己还可以加
    快代理:https://www.kuaidaili.com/free/intr/1/
    高可用全球免费代理IP库:https://ip.jiangxianli.com/?page=1
    66免费代理网:http://www.66ip.cn/areaindex_1/1.html
    爬取这些网站很简单,基本都没有什么反爬,页面也都差不多,直接用xpath解析就可以得到想要的IP

    # 代理IP的采集
    from proxy_redis import ProxyRedis
    import requests
    from lxml import etree
    import time
    
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36"
    }
    
    # 采集快代理
    def get_kuai_ip(red):
            url = "https://www.kuaidaili.com/free/intr/1/"
            resp = requests.get(url, headers=headers)
            tree = etree.HTML(resp.text)
            trs = tree.xpath("//table/tbody/tr")
            for tr in trs:
                ip = tr.xpath("./td[1]/text()")  # ip地址
                port = tr.xpath("./td[2]/text()")  # 端口
                if not ip:
                    continue
                ip = ip[0]
                port = port[0]
                proxy_ip = ip + ":" + port
    
                red.add_proxy_ip(proxy_ip)  # 增加ip地址
    
    
    # 采集66免费代理网
    def get_66_ip(red):
        url = "http://www.66ip.cn/areaindex_1/1.html"
        resp = requests.get(url, headers=headers)
        tree = etree.HTML(resp.text)
        trs = tree.xpath("//table//tr")[1:]
        for tr in trs:
            ip = tr.xpath("./td[1]/text()")  # ip地址
            port = tr.xpath("./td[2]/text()")  # 端口
            if not ip:
                continue
            ip = ip[0]
            port = port[0]
            proxy_ip = ip + ":" + port
    
            red.add_proxy_ip(proxy_ip)  # 增加ip地址
    
    # 采集高可用全球免费代理IP库
    def get_quan_ip(red):
        url = "https://ip.jiangxianli.com/?page=1"
        resp = requests.get(url, headers=headers)
        tree = etree.HTML(resp.text)
        trs = tree.xpath("//table//tr")
        for tr in trs:
            ip = tr.xpath("./td[1]/text()")  # ip地址
            port = tr.xpath("./td[2]/text()")  # 端口
            if not ip:
                continue
            ip = ip[0]
            port = port[0]
            proxy_ip = ip + ":" + port
    
            red.add_proxy_ip(proxy_ip)  # 增加ip地址
    
    
    def run():
        red = ProxyRedis()  # 创建redis存储
        while True:
            try:
                get_kuai_ip(red)  # 采集快代理
                get_66_ip(red)  # 采集66免费代理
                get_quan_ip(red)  # 采集全球免费ip代理库
            except:
                print("出错了")
            time.sleep(60)  # 每分钟跑一次
    
    
    if __name__ == '__main__':
        run()
    

    3️⃣校验IP可用性

    • 查询所有的IP
    • 每一个IP都发送一个请求,可用分值拉满,不用可扣分
      这里如果我们采集的IP比较多的话,用单线程就比较慢了,所以为了提高效率,这里我采用协程
    # 代理IP的验证
    from proxy_redis import ProxyRedis
    from settings import *
    import asyncio
    import aiohttp
    import time
    
    
    async def verify_one(ip, sem, red):
        print(f"开始检测{ip}")
        timeout = aiohttp.ClientTimeout(total=10)  # 设置超时时间,超过10秒就报错
        try:
            async with sem:
                async with aiohttp.ClientSession() as session:
                    async with session.get("http://www.baidu.com/", proxy="http://" + ip, timeout=timeout) as resp:  # 简单发送一个请求
                        page_source = await resp.text()
                        if resp.status in [200, 302]:  # 验证状态码
                            # 将分值拉满
                            red.set_max_score(ip)
                            print(f"检测到{ip}是可用的")
                        else:
                            red.reduce_score(ip)
                            print(f"检测到{ip}是不可用的, 扣10分")
        except Exception as E:
            print("ip检验时出错了", E)
            red.reduce_score(ip)
            print(f"检测到{ip}是不可用的, 扣10分")
    
    
    async def main(red):
        # 查询全部ip
        all_proxy = red.get_all_proxy()
        sem = asyncio.Semaphore(SEM_COUNT)  # 控制并发量
        tasks = []
        for ip in all_proxy:
            tasks.append(asyncio.create_task(verify_one(ip, sem, red)))
        if tasks:
            await asyncio.wait(tasks)
    
    
    def run():
        red = ProxyRedis()
        time.sleep(10)
        while True:
            try:
                asyncio.run(main(red))
                time.sleep(100)
            except Exception as e:
                print("校验时报错了", e)
                time.sleep(100)
    
    
    if __name__ == '__main__':
        run()
    

    4️⃣提供api

    • 给用户提供一个http接口,用户通过访问http://xxx.xxx.xxx.xxx:xxxx/get_proxy就可获取到IP
      安装提供api接口的模块
    pip install sanic
    pip install sanic_cors  # 防止出现跨域的模块
    
    # 代理的IP的api接口
    from proxy_redis import ProxyRedis
    from sanic import Sanic, json
    from sanic_cors import CORS
    
    # 1. 创建app
    app = Sanic("ip")
    # 2. 解决跨域
    CORS(app)
    
    red = ProxyRedis()
    
    # 3. 准备处理http请求的函数
    @app.route("/get_proxy")  # 路由配置
    def dispose(rep):
        ip_list = red.get_avail_proxy()
        return json({"ip": ip_list})  # 返回给客户端
    
    
    def run():
        app.run(host="127.0.0.1", port=5800)
    
    
    if __name__ == '__main__':
        run()
    

    5️⃣启动采集IP、校验IP、提供api
    将三个功能串在一起,每一个功能开一个进程

    from ip_api import run as api_run
    from ip_collection import run as col_run
    from ip_verify import run as ver_run
    from multiprocessing import Process
    
    
    def run():
        # 启动三个进程
        p1 = Process(target=api_run)
        p2 = Process(target=col_run)
        p3 = Process(target=ver_run)
    
        p1.start()
        p2.start()
        p3.start()
    
    
    if __name__ == '__main__':
        run()
    

    下面代码是代理IP池的配置文件,想要修改参数的直接修改配置文件中的就行

    # 配置文件
    
    # proxy_redis
    # redis主机ip地址
    REDIS_HOST = "127.0.0.1"
    # redis端口号
    REDIS_PORT = 6379
    # redis数据库编号
    REDIS_DB = 2
    # redis的密码
    REDIS_PASSWORD = "123456"
    
    # redis的key
    REDIS_KEY = "proxy_ip"
    
    # 默认的ip分值
    DEFAULT_SCORE = 50
    # 满分
    MAX_SCORE = 100
    
    # ip_verify
    # 一次检测ip的数量
    SEM_COUNT = 30
    
    

    6️⃣到这里我们的IP代理池就已经完成了
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    我们可以看到程序可以正常执行
    然后去看一下我们的Redis中是否有IP
    在这里插入图片描述
    我们访问http://127.0.0.1:5800/get_proxy检测用户是否可以拿到IP
    在这里插入图片描述

    7️⃣检验IP代理池中的IP是否可用
    免费IP代理池已经搭建好了,接下来就从IP代理池中取出来IP,检测IP是否可以使用

    我们的IP有很多,使用这些IP最好的方法是将存放IP的列表进行循环,每拿一个IP访问一次或多次就换一个IP在访问,所以就需要写一个生成器

    import requests
    
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36"
    }
    
    
    def get_proxy():
        url = "http://127.0.0.1:5800/get_proxy"
        resp = requests.get(url, headers=headers)
        ips = resp.json()
        for ip in ips["ip"][0]:
            yield ip  # 生成器
    
    
    def spider():
        url = "http://www.baidu.com/"
        while True:
            try:
                proxy_ip = next(gen)
                proxy = {
                    "http:": "http:" + proxy_ip,
                    "https:": "http:" + proxy_ip
                }
                resp = requests.get(url, proxies=proxy, headers=headers)
                resp.encoding = "utf-8"
                return resp.text
            except:
                print("代理失效了")
    
    
    if __name__ == '__main__':
        gen = get_proxy()
        page_source = spider()
        print(page_source)
    

    可以拿到页面源代码表示我们的代理IP可用
    在这里插入图片描述

    展开全文
  • 15个代理IP网站,打造免费代理IP

    万次阅读 多人点赞 2020-07-24 14:29:21
    免费代理IP http://ip.yqie.com/ipproxy.htm 66免费代理网 http://www.66ip.cn/ 89免费代理 http://www.89ip.cn/ 无忧代理 http://www.data5u.com/ 云代理 http://www.ip3366.net/ 快代理 ...

    采集的站点:

    免费代理IP http://ip.yqie.com/ipproxy.htm
    66免费代理网 http://www.66ip.cn/
    89免费代理 http://www.89ip.cn/
    无忧代理 http://www.data5u.com/
    云代理 http://www.ip3366.net/
    快代理 https://www.kuaidaili.com/free/
    极速专享代理 http://www.superfastip.com/
    HTTP代理IP https://www.xicidaili.com/wt/
    小舒代理 http://www.xsdaili.com
    西拉免费代理IP http://www.xiladaili.com/
    小幻HTTP代理 https://ip.ihuan.me/
    全网代理IP http://www.goubanjia.com/
    飞龙代理IP http://www.feilongip.com/

    展开全文
  • 110.86.177.154:9999 [未知代理ip] 中国福建省莆田市 电信免费HTTP 175.146.102.146:9999 [普匿代理ip] 中国辽宁省鞍山市 联通免费HTTP 112.123.40.232:9999 [高匿代理ip] 中国安徽省池州市 联通免费HTTP 114.238....

     

    110.86.177.154:9999 [未知代理ip] 中国福建省莆田市 电信免费HTTP
    175.146.102.146:9999 [普匿代理ip] 中国辽宁省鞍山市 联通免费HTTP
    112.123.40.232:9999 [高匿代理ip] 中国安徽省池州市 联通免费HTTP
    114.238.148.203:8888 [未知代理ip] 中国江苏省淮安市 电信免费HTTP
    27.191.26.4:8080 [未知代理ip] 中国河北省唐山市 电信免费HTTP
    183.95.98.224:9999 [普匿代理ip] 中国湖北省黄冈市 联通免费HTTP
    117.92.135.127:8080 [未知代理ip] 中国江苏省连云港市 电信免费HTTP
    113.124.84.103:8888 [普匿代理ip] 中国山东省烟台市 电信免费HTTP
    27.153.140.225:8080 [普匿代理ip] 中国福建省莆田市 电信免费HTTP
    114.104.18.177:8080 [普匿代理ip] 中国安徽省六安市 电信免费HTTP
    183.162.158.70:8080 [未知代理ip] 中国安徽省六安市 电信免费HTTP
    110.81.48.169:8080 [未知代理ip] 中国福建省泉州市 电信免费HTTP
    183.166.174.119:9999 [未知代理ip] 中国安徽省黄山市 电信免费HTTP
    112.84.245.57:8080 [高匿代理ip] 中国江苏省淮安市 联通免费HTTP
    27.155.220.100:9999 [高匿代理ip] 中国福建省福州市 电信免费HTTP
    36.6.149.1:9999 [普匿代理ip] 中国安徽省淮北市 电信免费HTTP
    114.101.250.240:8080 [普匿代理ip] 中国安徽省宣城市宣州区 电信免费HTTP
    36.57.85.195:9999 [高匿代理ip] 中国安徽省黄山市 电信免费HTTP
    122.192.226.20:9999 [未知代理ip] 中国江苏省徐州市 联通免费HTTP
    180.122.104.177:8080 [未知代理ip] 中国江苏省泰州市 电信免费HTTP
    110.82.166.127:9999 [未知代理ip] 中国福建省莆田市 电信免费HTTP
    175.146.68.214:8888 [高匿代理ip] 中国辽宁省鞍山市 联通免费HTTP
    123.181.149.141:8080 [高匿代理ip] 中国河北省唐山市 电信免费HTTP
    121.207.93.185:8080 [普匿代理ip] 中国福建省泉州市 电信免费HTTP
    112.195.156.170:9999 [高匿代理ip] 中国四川省绵阳市 联通免费HTTP
    113.241.138.193:8080 [普匿代理ip] 中国湖南省吉首市 电信免费HTTP
    110.83.12.93:9999 [普匿代理ip] 中国福建省福州市 电信免费HTTP
    114.239.147.225:8080 [未知代理ip] 中国江苏省宿迁市 电信免费HTTP
    110.86.173.39:9999 [未知代理ip] 中国福建省莆田市 电信免费HTTP
    121.205.217.220:8888 [普匿代理ip] 中国福建省莆田市 电信免费HTTP
    175.155.139.211:8080 [未知代理ip] 中国四川省绵阳市 联通免费HTTP
    110.90.222.124:9999 [未知代理ip] 中国福建省福州市 电信免费HTTP
    49.85.110.212:8080 [普匿代理ip] 中国江苏省泰州市 电信免费HTTP
    60.166.160.114:9999 [未知代理ip] 中国安徽省黄山市 电信免费HTTP
    120.40.214.148:8888 [未知代理ip] 中国福建省三明市 电信免费HTTP
    119.116.127.141:8888 [未知代理ip] 中国辽宁省鞍山市 联通免费HTTP
    111.227.41.17:8080 [高匿代理ip] 中国河北省唐山市 电信免费HTTP
    123.160.98.59:8888 [高匿代理ip] 中国河南省商丘市 电信免费HTTP
    183.166.145.151:8888 [高匿代理ip] 中国安徽省黄山市 电信免费HTTP
    125.78.217.109:9999 [未知代理ip] 中国福建省莆田市 电信免费HTTP
    27.150.87.51:8080 [未知代理ip] 中国福建省三明市 电信免费HTTP
    113.65.232.103:8080 [未知代理ip] 中国广东省广州市 电信免费HTTP
    180.122.104.39:8080 [普匿代理ip] 中国江苏省泰州市 电信免费HTTP
    110.247.253.170:9999 [未知代理ip] 中国河北省衡水市 联通免费HTTP
    220.160.229.27:8888 [普匿代理ip] 中国福建省南平市 电信免费HTTP
    49.87.97.92:8888 [普匿代理ip] 中国江苏省淮安市 电信免费HTTP
    59.59.128.128:9999 [未知代理ip] 中国福建省南平市 电信免费HTTP
    27.153.140.11:9999 [高匿代理ip] 中国福建省莆田市 电信免费HTTP
    123.181.147.248:8888 [未知代理ip] 中国河北省唐山市 电信免费HTTP
    114.96.218.151:9999 [高匿代理ip] 中国安徽省淮北市 电信免费HTTP
    116.140.53.48:8888 [普匿代理ip] 中国辽宁省鞍山市 联通免费HTTP
    180.122.103.248:9999 [高匿代理ip] 中国江苏省泰州市 电信免费HTTP
    114.99.11.180:8888 [普匿代理ip] 中国安徽省铜陵市 电信免费HTTP
    114.106.157.74:8080 [普匿代理ip] 中国安徽省池州市贵池区 电信免费HTTP
    123.189.209.219:8080 [未知代理ip] 中国辽宁省辽阳市 联通免费HTTP
    111.227.42.122:8888 [高匿代理ip] 中国河北省唐山市 电信免费HTTP
    223.215.171.188:9999 [普匿代理ip] 中国安徽省池州市 电信免费HTTP
    42.59.108.170:8080 [高匿代理ip] 中国辽宁省鞍山市 联通免费HTTP
    61.190.161.47:8080 [高匿代理ip] 中国安徽省铜陵市 电信免费HTTP
    140.237.31.33:8888 [高匿代理ip] 中国福建省莆田市 电信免费HTTP
    36.35.4.212:9999 [普匿代理ip] 中国安徽省合肥市 联通免费HTTP
    111.227.70.148:9999 [高匿代理ip] 中国河北省唐山市 电信免费HTTP
    117.24.80.207:8080 [高匿代理ip] 中国福建省泉州市 电信免费HTTP
    123.181.149.125:8888 [未知代理ip] 中国河北省唐山市 电信免费HTTP
    223.242.13.144:9999 [普匿代理ip] 中国安徽省六安市裕安区 电信免费HTTP
    175.155.48.75:8080 [未知代理ip] 中国四川省乐山市 联通免费HTTP
    36.102.174.65:9999 [未知代理ip] 中国内蒙古鄂尔多斯市东胜区 电信免费HTTP
    36.57.69.146:8080 [未知代理ip] 中国安徽省黄山市 电信免费HTTP
    117.63.135.177:8080 [普匿代理ip] 中国江苏省常州市 电信免费HTTP
    111.227.43.9:8080 [高匿代理ip] 中国河北省唐山市 电信免费HTTP
    59.58.49.141:9999 [普匿代理ip] 中国福建省宁德市 电信免费HTTP
    114.238.29.138:9999 [未知代理ip] 中国江苏省淮安市 电信免费HTTP
    42.177.143.8:8080 [普匿代理ip] 中国辽宁省鞍山市 联通免费HTTP
    114.238.171.14:8080 [未知代理ip] 中国江苏省淮安市 电信免费HTTP
    222.78.194.175:8888 [未知代理ip] 中国福建省南平市 电信免费HTTP
    27.190.81.200:9999 [普匿代理ip] 中国河北省唐山市 电信免费HTTP
    117.26.231.85:8080 [普匿代理ip] 中国福建省莆田市 电信免费HTTP
    117.92.117.172:8080 [高匿代理ip] 中国江苏省连云港市 电信免费HTTP
    42.177.138.74:9999 [普匿代理ip] 中国辽宁省鞍山市 联通免费HTTP
    120.42.132.25:9999 [普匿代理ip] 中国福建省泉州市 电信免费HTTP
    183.92.12.248:9999 [高匿代理ip] 中国湖北省黄冈市 联通免费HTTP
    110.86.177.180:8080 [高匿代理ip] 中国福建省莆田市 电信免费HTTP
    113.121.21.127:8080 [未知代理ip] 中国山东省烟台市 电信免费HTTP
    122.195.225.188:8080 [未知代理ip] 中国江苏省淮安市 联通免费HTTP
    112.123.40.68:9999 [高匿代理ip] 中国安徽省池州市 联通免费HTTP
    114.103.21.22:9999 [未知代理ip] 中国安徽省六安市 电信免费HTTP
    110.90.220.33:8080 [高匿代理ip] 中国福建省福州市 电信免费HTTP
    110.81.248.69:8888 [高匿代理ip] 中国福建省泉州市 电信免费HTTP
    183.162.146.150:9999 [高匿代理ip] 中国安徽省六安市 电信免费HTTP
    114.236.31.175:8080 [高匿代理ip] 中国江苏省盐城市 电信免费HTTP
    223.214.199.130:8080 [普匿代理ip] 中国安徽省宣城市宣州区 电信免费HTTP
    180.122.101.194:8080 [普匿代理ip] 中国江苏省泰州市 电信免费HTTP
    113.141.223.173:8080 [未知代理ip] 中国陕西省汉中市 电信免费HTTP
    125.78.217.223:8080 [高匿代理ip] 中国福建省莆田市 电信免费HTTP
    110.83.12.221:8888 [高匿代理ip] 中国福建省福州市 电信免费HTTP
    122.192.226.124:9999 [普匿代理ip] 中国江苏省徐州市 联通免费HTTP
    117.57.101.203:9999 [未知代理ip] 中国安徽省淮北市 电信免费HTTP
    60.172.74.20:9999 [未知代理ip] 中国安徽省黄山市 电信免费HTTP
    113.241.139.201:8080 [未知代理ip] 中国湖南省吉首市 电信免费HTTP
    113.243.32.135:8888 [未知代理ip] 中国湖南省郴州市 电信免费HTTP
     

    展开全文
  • 福利 | 这些网站有免费代理IP

    万次阅读 2020-12-08 10:38:59
    闲来无事,为大家整理了一些免费代理IP的网站,比较适用于对ip质量要求不高,时效要求不长的小伙伴,日常经常用的小伙伴赶紧收藏啦! http://www.66ip.cn/index.html https://seofangfa.com/proxy/ ...
  • 免费代理ip网站总结

    万次阅读 多人点赞 2019-01-02 22:40:30
    西刺代理 http://www.xicidaili.com 快代理 https://www.kuaidaili.com 云代理 http://www.ip3366.net 无忧代理 ...360 代理 ...66ip 代理 http://www.66ip.cn ip代理 http://www.iphai.com 大...
  • 学习Python爬虫的同学,都需要自己建造一个代理IP池(免费的),下面给大家分享代理IP池如何建池。 本项目爬取的是代理商提供的免费IP,如果需要稳定可靠的IP,建议购买他们官方的收费产品。 项目爬取代理IP商列表...
  • 以后再也不用担心写爬虫ip被封,不用担心没钱买代理...现在教大家一个可获取大量免费有效快速的代理ip方法,我们访问西刺免费代理ip网址 这里面提供了许多代理ip,但是我们尝试过后会发现并不是每一个都是有效的。...
  • 国内免费高匿IP代理软件

    万次阅读 2021-08-20 09:50:06
    免费IP代理软件能快速获取代理ip资源,智能验证,一键设置取消代理。 免费IP代理软件 1.支持免费IP代理 2.普通代理 3.高匿代理 4.Http代理 5.Https代理 6.自动验证无效代理 7.一键设置取消代理 8.导出到文本或...
  • 常用免费代理IP库整理收藏——实时更新(大概) 写在前面:仅整理交流分享,无任何商业用途,如有侵权请私信联系博主增删改查!!! 如果还有其他好的免费代理网站,欢迎评论区留言交流,会实时更新到文章中;如有...
  • Python爬虫方式抓取免费http代理IP

    千次阅读 2019-07-23 16:37:43
    常常需要一些代理IP进行爬虫抓取,但是因为学习阶段,对IP质量要求不高,主要是弄懂原理,所以花钱购买爬虫代理IP就显得没必要(大款忽略),今天跟大家分享一下,如果使用爬虫抓取免费代理IP。 由于某些网站对会...
  • 爬虫爬取免费代理ip,验证代理ip有效性,保存到本地txt,建立代理池 使用多线程+队列+正则匹配,对免费代理ip网站和查询自身ip网站(验证代理ip是否有效)发送请求,如果代理ip为有效,保存至本地txt文件中,建立...
  • 百度搜索:爬虫IP池, 就有很多网站,这些网站一般都有提供免费代理IP。但是这些IP质量不高,需要自己手动复制粘贴,测试后再使用,效率底下。我们可以写个爬虫,批量获取免费IP,自动测试后,再使用。 本篇文章...
  • 免费代理池,在线公共ip

    千次阅读 2021-11-09 22:13:05
    这些公共代理是完全免费提供的,不需要任何授权。 免费代理通常是开放的、流行的公共代理。 与私人代理不同,公共代理不需要注册或密码。事实上,它们是负责安装在计算机上的代理服务器并且不关心更改默认设置的系统...
  • Pandas一键爬取解析代理IP代理IP池的维护

    万次阅读 多人点赞 2021-07-04 00:16:51
    本文的目标是至少演示如下技术: 1. pandas超简代码带请求头解析...3. 搭建简易检验代理Ip的网站 4. Redis数据库的基本操作 5. 代理ip在request库中的使用方法 6. Timer定时器的使用 7. Redis 图形化工具的使用介绍 ...
  • 文章目录使用Python爬取xici代理的高匿代理ip使用Python爬取快代理的高匿代理ip 有时候需要做一些代理ip.常见的xici和快代理.下面是爬取他们的代码 使用requests进行爬取 使用Python爬取xici代理的高匿代理ip import...
  • 自建免费代理ip

    万次阅读 多人点赞 2018-10-14 15:48:42
    因为爬虫被禁ip这样的反扒真的很凶,但自从建了一个代理ip池以后,反反扒就可以跟的上节奏。当然你也可以上网上各种代理平台自己付费。这些平台当然很方便提供api调用,还不用自己验证。但你不想付费的话,可以看看...
  • 免费代理IP罗列

    千次阅读 2018-12-26 21:27:36
    我整理了一些有免费代理IP的网站网站: 1、西刺免费代理IP http://www.xicidaili.com/   2、66免费代理 http://www.66ip.cn/   3、有代理IP http://www.youdaili.net/   4、快代理 ...
  • Python构建代理ip

    千次阅读 2022-01-18 09:42:52
    而对于访问次数,就需要使用代理 IP 来帮忙了,使用多个代理 IP 轮换着去访问目标网址可以有效地解决问题。 目前网上有很多的代理服务网站提供代理服务,也提供一些免费代理,但可用性较差,如果需求较高可以购买...
  • 61.175.223.134:3128@HTTP;浙江省台州市 电信61.175.223.142:...浙江省嘉兴市电信代理ip61.166.55.153:11808@HTTP;云南省昭通市 电信115.124.73.166:8080@HTTP;印度尼西亚 雅加达市180.250.79.122:8080@HTTP;印度...
  • 本地计算机如何使用代理服务器,自动设置代理ip

    千次阅读 多人点赞 2021-06-23 21:47:51
    如何让网站不知道是你在请求它,就需要设置代理ip。但:代理网站是知道你的地址的哦。 已经学会了如何请求接口时,添加代理,那如何为本地结算机设置代理呢。 找到我们的代理ip,然后按照下面的操作进行。 目录 ...
  • Python爬虫:爬取免费代理ip

    千次阅读 2019-02-07 06:58:34
    之前写的几个爬虫都只能爬取到少量的...代理ip有收费的也有免费的,免费的通常不太稳定,或者根本无法使用。我们的目标是在https://www.xicidaili.com/nn/页面爬取免费代理ip,然后验证代理ip可否使用,最后把相关信...
  • 在线代理 网页代理 ip代理 在线代理ip 代理ip 网页代理ip ip在线代理 在线代理 网页代理 ip代理 在线代理ip 代理ip 网页代理ip ip在线代理 ...
  • python爬虫 requests使用代理ip

    千次阅读 2021-11-23 20:39:25
    请求时,先将请求发给代理服务器,代理服务器请求目标服务器,然后目标服务器将数据传给代理服务器,... 'http':'http://221.238.207.34:8000' #可以找找国内的一些免费ip } result = requests.get("http://httpbin.o
  • 获取免费代理IP,并检验IP有效性

    千次阅读 2018-07-05 16:57:22
    爬虫程序访问网站,速度很快,很容易突破网站设置的访问次数,此情况下就会被停止访问,或者IP被封。如果此时能有一些代理IP,切换不同的...1.从http://www.xicidaili.com/nn/1里获取免费代理IP。打开网页,查看源代...
  • 最新整理国内400个HTTP代理IP

    千次阅读 2021-04-26 14:27:03
    最新整理国内400个HTTP代理IP 每日更新 【4/26】HTTP代理IP池 114.99.6.217:4226 175.23.237.100:4282 223.156.167.160:4272 27.191.168.148:4278 117.30.76.228:4256 42.54.94.21:4230 113.239.156.53:4278 122.136...
  • 搭建代理IP

    千次阅读 2021-07-30 20:46:38
    目录 爬取前的准备 爬取有IP内容 检查IP的可用性 ...通常来说,搭建代理IP池,就是爬取代理IP网站,然后做成一个IP的形式,最后在requests请求访问网站的时候proxies指定IP去访问。 爬取前的准备 有很多...
  • String proxyIp = element.text(); proxyIpList.add(proxyIp); } } return proxyIpList; } public static void main(String[] args) throws IOException { System.out.println(getProxyIp()); } } 返回结果: [154....
  • python 之免费ip代理

    万次阅读 2021-08-06 22:20:27
    基于proxy_pool,部署了一个开放的免费ip代理池,提供出来供大家使用。数据有效性每2分钟更新一次。 地址:http://proxy.linuxdba.ltd/all/ 开源项目地址: https://github.com/jhao104/proxy_pool
  • 获取代理IP地址

    万次阅读 2018-06-29 10:36:42
    很多时候,需要用到代理IP。比如在开发爬虫程序的时候,为了反爬,需要使用代理IP。 首先给出程序实现的功能,然后再来说明开发思路: 完整代码下载地址: https://github.com/yooongchun/ProxyIP 功能: 从...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 439,071
精华内容 175,628
关键字:

代理ip免费网址

友情链接: GA-bp.rar