精华内容
下载资源
问答
  • 免费IP代理网

    万次阅读 多人点赞 2019-04-29 10:34:34
    20、http://www.nimadaili.com/泥马IP代理 19、... 18、http://www.xsdaili.com/dayProxy/ip/1415.html小舒代理 17、http://www.xiladaili.com/西拉免费代理IP 16、http://ip.jiangxi...
    展开全文
  • 免费ip共享库

    千次阅读 2019-05-06 10:22:08
    免费ip共享库 分享一下免费的ip地址库,同时支持ipv4和ipv6查询,提供api接口。 官网地址:https://www.calpha.club/

    免费ip共享库

    分享一个免费的ip地址库查询,同时支持ipv4和ipv6查询,提供api接口。
    官网地址:https://www.calpha.club/

    python 2.7实例

    -- coding: utf-8 --

    import urllib
    import urllib2
    import json
    import time
    ip=“202.101.172.35”
    url = “https://www.calpha.club/search?ip=”+ip
    req = urllib2.Request(url)
    res_data = urllib2.urlopen(req)
    res = res_data.read()
    dictinfo = json.loads(res)
    print type(dictinfo)
    输出结果:{“data”: { “city”: “ZJ”, “country”: “CN”, “lat”: 30.294, “lgt”: 120.1619 }, “status”: “success”}

    展开全文
  • 免费IP地址查询

    千次阅读 2016-07-22 13:17:55
    免费IP地址查询 国内 国外免费IP地址查询国内1.百度,站长之家|IP查询,搜狐IP查询,太平洋网络ip查询等2.淘宝ip地址库API: http://ip.taobao.com/service/getIpInfo.php?ip=180.201.223.47{ code: 0, data: { country...

    免费IP地址查询

    国内

    1.百度,站长之家|IP查询,搜狐IP查询,太平洋网络ip查询

    2.淘宝ip地址库API: http://ip.taobao.com/service/getIpInfo.php?ip=180.201.223.47

    {
    code: 0,
    data: {
    country: "中国",
    country_id: "CN",
    area: "华东",
    area_id: "300000",
    region: "山东省",
    region_id: "370000",
    city: "青岛市",
    city_id: "370200",
    county: "",
    county_id: "-1",
    isp: "教育网",
    isp_id: "100027",
    ip: "180.201.223.47"
    }
    }

    3.新浪ip库API: http://int.dpool.sina.com.cn/iplookup/iplookup.php?format=json&ip=180.201.223.47

    {
    ret: 1,
    start: -1,
    end: -1,
    country: "中国",
    province: "山东",
    city: "青岛",
    district: "",
    isp: "",
    type: "",
    desc: ""
    }

    国外

    1.ipinfo (每天免费1000次)

    #python script
    requests.get('http://ipinfo.io/180.201.223.47').text
    {
      "ip": "180.201.223.47",
      "hostname": "No Hostname",
      "city": "",
      "region": "",
      "country": "CN",
      "loc": "34.7725,113.7266",
      "org": "AS4538 China Education and Research Network Center"
    }

    2.http://geoip.nekudo.com/api/

    http://geoip.nekudo.com/api/180.201.223.47
    {
    city: false,
    country: {
    name: "China",
    code: "CN"
    },
    location: {
    accuracy_radius: 50,
    latitude: 34.7725,
    longitude: 113.7266
    },
    ip: "180.201.223.47"
    }
    
    OR http://geoip.nekudo.com/api/180.201.223.47/full

    3.ip-api

    http://ip-api.com/json/180.201.223.47
    
    {
    as: "AS4538 China Education and Research Network Center",
    city: "Qingdao",
    country: "China",
    countryCode: "CN",
    isp: "China Education and Research Network Center",
    lat: 36.0986,
    lon: 120.3719,
    org: "China Education and Research Network Center",
    query: "180.201.223.47",
    region: "37",
    regionName: "Shandong",
    status: "success",
    timezone: "Asia/Shanghai",
    zip: ""
    }

    4.freegeoip

    http://freegeoip.net/json/107.170.197.112
    
    {
    ip: "180.201.223.47",
    country_code: "CN",
    country_name: "China",
    region_code: "",
    region_name: "",
    city: "",
    zip_code: "",
    time_zone: "",
    latitude: 34.7725,
    longitude: 113.7266,
    metro_code: 0
    }

    5.InfoDB , IPaddressAPI

    展开全文
  • 我们可以写个爬虫,批量获取免费IP,自动测试后,再使用。 本篇文章使用的目标网址为:高可用全球免费代理IP库 简介 传入URL地址,返回可用的IP地址list列表。 __init __ :设置请求头、请求地址list p

    前言

    常见的反爬虫措施之一,就是查看用户发起请求的IP地址,若很频繁,则封IP。我们可以通过使用动态代理IP池实现反爬虫。百度搜索:爬虫IP池, 就有很多网站,这些网站一般都有提供免费的代理IP。但是这些IP质量不高,需要自己手动复制粘贴,测试后再使用,效率底下。我们可以写个爬虫,批量获取免费IP,自动测试后,再使用。

    本篇文章使用的目标网址为:高可用全球免费代理IP库,因为HTTPS较少,所以本文章只获取其中HTTP类型的IP地址。使用的检查IP的网址为:https://icanhazip.com/

    读者可以直接复制所有代码,新建py文件后,粘贴运行即可。2021.3.16亲测有效

    此教程为获取http的,获取https的教程为:通过爬虫获取免费IP代理,搭建自己的IP池(https)

    简介

    传入URL地址,返回可用的IP地址list列表。

    • __init __ :设置请求头、请求地址list
    • parse : 获得当前页面上的所有IP和端口号,返回一个list
    • check_ip : 检查IP地址是否可用,返回可用的当前页面上的IP地址list和端口号
    • get_ip : 运行主方法,返回所有可用的IP列表
    • main : 主方法,最后会打印出符合条件的IP地址+端口号,读者可手动复制控制台上的信息,作为自己的IP代理池

    代码

    import requests
    from lxml import etree
    
    
    class FreeIp():
        def __init__(self):
            self.start_url = "https://ip.jiangxianli.com/?page={}"
            self.url_list = [self.start_url.format(i) for i in range(1, 6)]  # 这里可以按实际情况更改
            self.headers = {
                "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"}
    
        def parse(self, html):
            tr_list = html.xpath("//table[@class='layui-table']/tbody/tr")
            ip_list = []
            for tr in tr_list:
                if tr.xpath("./td/text()")[2] == "高匿" and tr.xpath("./td/text()")[3] == "HTTP":
                    ip = {}
                    ip["ip"] = tr.xpath("./td/text()")[0]
                    ip["port"] = tr.xpath("./td/text()")[1]
                    ip_list.append(ip)
    
            return ip_list
    
        def check_ip(self, ip_list):
            correct_ip = []
            for ip in ip_list:
                ip_port = ip["ip"] + ":" + ip["port"]
                proxies = {'http': ip_port}
                try:
                    response = requests.get('http://icanhazip.com/', proxies=proxies,
                                            timeout=5).text  
                    if response.strip() == ip["ip"]: # 如果请求该网址,返回的IP地址与代理IP一致,则认为代理成功
                        print("可用的IP地址为:{}".format(ip_port))
                        correct_ip.append(ip_port)
                except:
                    print("不可用的IP地址为:{}".format(ip_port))
            return correct_ip
    
        def get_ip(self):
            # 获得URL地址
            correct_all_ip = []
            for url in self.url_list:
                # 获得请求,
                response = requests.get(url, headers=self.headers).content.decode()
                # 解析页面
                html = etree.HTML(response)
                # 得到IP
                ip_list = self.parse(html)
                # 检查IP
                correct_ip = self.check_ip(ip_list)
                correct_all_ip.extend(correct_ip)
            # 返回所有IP
            return correct_all_ip
    
    
    if __name__ == '__main__':
        free_ip = FreeIp()
        ip = free_ip.get_ip()
        print(ip)
        print(len(ip))
    
    

    如何调用结果

    • (不推荐)可以将此代码复制到自己的爬虫代码里,每次调用free_ip.get_ip(),获得list。该方法不推荐,因为会使网站并发量大,并且小型爬虫项目不需要这么多代理IP。
    • (推荐)手动复制控制台里的IP地址信息,粘贴到代码中,作为初始化IP地址,然后每次随机选择一个IP地址请求。
      url = 'http://icanhazip.com/'
      # 注意,底下的[]内容为复制粘贴上的
      ip = ['191.101.39.238:80', '51.83.193.220:80', '104.43.230.151:3128', '123.56.239.196:3128', '113.214.13.1:1080', '116.117.134.135:80', '113.214.13.1:1080', '116.117.134.135:80', '183.47.237.251:80', '35.216.82.226:3128', '221.182.31.54:8080', '39.106.223.134:80', '124.48.218.245:80', '124.48.218.245:80', '62.171.144.29:3128', '159.203.44.177:3128', '120.232.150.100:80']
      for i in range(100):
          try:
              real_ip = random.choice(ip)
              proxy = {'http':real_ip}
              res_text = requests.get(url=url,proxies=proxy, timeout = 3)
              print("成功")
          except:
              print("{}不可用".format(real_ip))
              ip.remove(real_ip)
      

    总结

    • 该网站基本上都是HTTP的IP地址,所以请求的url也只能为http网址。如果是HTTPS端口号,可以请求http、https网址
    • 有的同学设置请求的时候,发现在设置proxy时,如果为http,而目标url为https,也能请求成功。这是误区,因为如果proxy里的类型和url类型不同时,请求的IP地址并不是代理IP地址,而是本机的IP,具体可以通过IP地址网站实验
    • 网站可以在github上找到,ProxyIpLib。他提供了一个返回json的请求接口,我们也可以通过单个IP地址多个IP地址 获得json响应,但是里面的IP地址不多,而且网页本身也不复杂,当作一个爬虫练手的小项目也行。
    展开全文
  • 分享几个免费IP地址查询API接口

    万次阅读 2019-09-11 20:14:10
    文章目录几个免费IP地址查询API接口查询IP归属地的接口1.淘宝2.国际化显示:归属地可切换展示 几个免费IP地址查询API接口 1、淘宝 http://ip.taobao.com/service/getIpInfo2.php 用post请求上面的接口 python代码...
  • 爬取西刺代理的免费IP

    千次阅读 2018-08-06 15:52:12
    爬取西刺代理的免费IP 背景 出于爬取其他项目的需求,爬取点代理ip存成文本文件,随机取一个简单验证,方便自己其他代码里面调用。 环境 win10, python 3.6, pycharm 干货 import requests from bs4 ...
  • 免费IP地区 接口

    千次阅读 2019-03-04 17:06:56
    1、不用指定ip参数 http://pv.sohu.com/cityjson 实践中发现,可能会取到代理服务器的地址,导致不准确 2、指定ip参数: http://whois.pconline.com.cn/ipJson.jsp?ip=157.122.63.168&json=true ...
  • 爬虫利器:Python获取免费IP代理

    千次阅读 2020-05-06 20:58:48
    由于现在很多网站都有反爬虫机制,同一个ip不能频繁访问同一个网站,这就使得我们在进行大量数据爬取时需要使用代理进行伪装,本博客给出几个免费ip代理获取网站爬取ip代理的代码,可以嵌入到不同的爬虫程序中去,...
  • 几个免费IP地址查询API接口

    千次阅读 2016-11-08 09:50:20
    分享几个免费IP地址查询API接口1.IP地址查询接口:http://apis.juhe.cn/ip/ip2addr 要先去https://www.juhe.cn/docs/api/id/1申请APPKEY2.新浪的IP地址查询接口:...
  • 【Python爬虫实例学习篇】——2、获取免费IP代理 由于在使用爬虫时经常会检查IP地址,因此有必要找到一个获取IP代理的地方。经过苦苦寻找,终于找到了一个质量还算过得去同时提供API接口的免费代理网站,下面是API的...
  • 淘宝 [get]请求接口 ... 返回数据格式 {"code":0,"data":{"ip":"118.182.201.41","country":"中国","area":"","region":"甘肃","city":"白银","county":"XX","isp":"电信",...
  • 免费IP地址查询API接口

    万次阅读 2018-01-25 11:48:33
    快递查询 ... (PS:快递公司编码:申通"shentong" EMS"ems" 顺丰"shunfeng" 圆通 "yuantong" 中通 "zhongtong" 韵达"yunda" 天天"tiantian" 汇通"huitongkuaidi" 全峰
  • 分析页面: 根据结构,不难想象这是一个表格,如果通过页面去获取数据应该不难,但是通过检查发现,并不是想象中的那样(div, span, p层次不齐) 第一个没有多余的字符,好像可以直接获取,但是再看第二个 ...ip = docum
  • 自动获取免费 ip 并检测

    千次阅读 2018-05-18 19:15:06
    IP_array.append([IP[i][0], IP[i + 1][0]]) return IP_array IP_array = get_new_IP() while True: try: r = session.get('http://ip.chinaz.com/getip.aspx', proxies=random_IP(IP_array)) print(r.text) ...
  • 分享几个免费IP地址查询接口(API)

    万次阅读 2018-09-05 15:48:28
    淘宝IP地址库 提供的服务包括: 1. 根据用户提供的IP地址,快速查询出该IP地址所在的地理信息和地理相关的信息,包括国家、省、市和运营商。 2. 用户可以根据自己所在的位置和使用的IP地址更新我们的服务内容。 ...
  • 1、业务中因为想根据用户ip来做一些友好的提示,所以在网上找了个免费ip查询地址 http://ip.taobao.com/service/getIpInfo.php?ip= 虽然说淘宝的这个地址会限制频率,但是也还勉强可以用 但是今天线上几个服务...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 161,904
精华内容 64,761
关键字:

免费ip