精华内容
下载资源
问答
  • 分享:nginx做代理IP端口转发 nginx做代理IP端口转发 http://my.oschina.net/kear/blog/109868 posted on...
    nginx做代理IP端口转发 http://my.oschina.net/kear/blog/109868
    posted on 2013-02-24 01:30 lexus 阅读(...) 评论(...) 编辑 收藏

    转载于:https://www.cnblogs.com/lexus/archive/2013/02/24/2923945.html

    展开全文
  • 小编因为个人需要使用到日本的代理ip端口,但是从网上查找到很多,但是都不稳定,用了以后电脑很卡,而且有些很快就会掉线,为了解决小编的问题,终于测试出来以下几个比较好用的代理ip端口,如果也有需要使用日本...

    image.png

    小编因为个人需要使用到日本的代理ip端口,但是从网上查找到很多,但是都不稳定,用了以后电脑很卡,而且有些很快就会掉线,为了解决小编的问题,终于测试出来以下几个比较好用的代理ip端口,如果也有需要使用日本代理端口的小伙伴,不妨也来尝试下!

    ip端口分享:

    日本 210.142.11.51 3370 864 864

    日本 210.238.89.6 8282 864 864

    日本 210.254.61.227 3370 864 864

    日本 211.5.123.228 3370 336 336

    日本 211.5.151.131 3370 864 864

    日本 218.45.240.11 3370 864 864

    日本 219.101.159.39 3370 864 864

    日本 219.166.199.3 3370 864 864

    日本 222.151.195.181 3370 864 864

    日本 222.151.210.146 3370 864 864

    日本 58.159.191.202 8080 864 864

    日本 60.32.118.58 3370 864 864

    日本 61.195.157.14 3370 864 864

    以上的排序分别为国家/地区、代理IP地址、端口、用户名、密码,大家可以对应查找使用哦~希望本章内容可以帮助大家学习!

    展开全文
  • 起因 之前挖过爬取免费代理ip的坑,一个比较帅的同事热心发我有免费代理ip的网站,遂研究了下:https://proxy.coderbusy.com/。 解密 因为之前爬过类似的网站有了些经验,大概知道这些家伙都是啥套路于是就随手ctrl+...

     

    起因

    之前挖过爬取免费代理ip的坑,一个比较帅的同事热心发我有免费代理ip的网站,遂研究了下:https://proxy.coderbusy.com/

     

    解密

    因为之前爬过类似的网站有了些经验,大概知道这些家伙都是啥套路于是就随手ctrl+shift+c选了一下端口号:

    image

    端口元素有个奇怪的data字段,怀疑是在这个数字8781的基础上生成的8080,查看源代码看看返回的是什么样的:

    image

    果然返回的html中的数字跟页面上显示的数字不一致,基本可以确定端口号是在页面加载完成后通过js在data-i字段的基础上生成的新端口号。

    在此元素上右击,打一个dom断点并刷新网页:

    image

    当此元素被修改的时候自动停在了断点,格式化,分析js:

    image

    这是对所有的.port应用b方法,b方法是什么方法呢,在断点调试模式下选中此变量-->在控制台执行:

    image

    然后单击一下控制台上的输出,跳到了内存中的某段js,这段就是加密逻辑:

    image

    将其拿出:

    $(function() {
        $('\x2e\x70\x6f\x72\x74\x2d\x62\x6f\x78')["\x65\x61\x63\x68"](function(wssP1, fnDKXroKU2) {
            var ClpoEy3 = $(fnDKXroKU2);
            var jgemfCG4 = ClpoEy3["\x64\x61\x74\x61"]('\x69\x70');
            var TO5 = window["\x70\x61\x72\x73\x65\x49\x6e\x74"](ClpoEy3["\x64\x61\x74\x61"]('\x69'));
            var tVF6 = jgemfCG4["\x73\x70\x6c\x69\x74"]('\x2e');
            for (var d7 = 0; d7 < tVF6["\x6c\x65\x6e\x67\x74\x68"]; d7++) {
                TO5 -= window["\x70\x61\x72\x73\x65\x49\x6e\x74"](tVF6[d7])
            }
            ClpoEy3["\x74\x65\x78\x74"](TO5)
        })
    })
    

    但是jQuery的选择器和方法都被转为了十六进制,完全看不懂是个啥啊,现在的问题就是怎么把上面的\x十六进制部分转成可读的形式:十六进制将\x部分去掉,然后使用String.fromCharCode()将剩下的部分转为字符,写出解密逻辑:

    <!DOCTYPE html>
    <html>
    <head>
    	<title></title>
    </head>
    <body>
    
    <script id="raw_code" type="text/code-template">
    $(function() {
    	$('\x2e\x70\x6f\x72\x74\x2d\x62\x6f\x78')["\x65\x61\x63\x68"](function(wssP1, fnDKXroKU2) {
    	    var ClpoEy3 = $(fnDKXroKU2);
    	    var jgemfCG4 = ClpoEy3["\x64\x61\x74\x61"]('\x69\x70');
    	    var TO5 = window["\x70\x61\x72\x73\x65\x49\x6e\x74"](ClpoEy3["\x64\x61\x74\x61"]('\x69'));
    	    var tVF6 = jgemfCG4["\x73\x70\x6c\x69\x74"]('\x2e');
    	    for (var d7 = 0; d7 < tVF6["\x6c\x65\x6e\x67\x74\x68"]; d7++) {
    	        TO5 -= window["\x70\x61\x72\x73\x65\x49\x6e\x74"](tVF6[d7])
    	    }
    	    ClpoEy3["\x74\x65\x78\x74"](TO5)
    	})
    })
    </script>
    
    <script type="text/javascript">
    	
    	let content = document.getElementById('raw_code').innerHTML;
    	content = content.replace(/\\x../g, hex => {
    	    hex = parseInt(hex.replace(/\\x/, ""), 16);
            return String.fromCharCode(hex)
    	});
    	document.write(content);
    
    </script>
    
    </body>
    </html>

    十六进制转为字符串之后:

    $(function() {
        $('.port-box')["each"](function(wssP1, fnDKXroKU2) {
            var ClpoEy3 = $(fnDKXroKU2);
            var jgemfCG4 = ClpoEy3["data"]('ip');
            var TO5 = window["parseInt"](ClpoEy3["data"]('i'));
            var tVF6 = jgemfCG4["split"]('.');
            for (var d7 = 0; d7 < tVF6["length"]; d7++) {
                TO5 -= window["parseInt"](tVF6[d7])
            }
            ClpoEy3["text"](TO5)
        })
    })

    稍稍整理下变量名,让可读性好一些:

    $(function() {
        $('.port-box')["each"](function(i, elt) {
            var self = $(elt);
            var ip = self["data"]('ip');
            var falseIp = window["parseInt"](self["data"]('i'));
            var ipArray = ip["split"]('.');
            for (var i = 0; i < ipArray["length"]; i++) {
                falseIp -= window["parseInt"](ipArray[i])
            }
            self["text"](falseIp)
        })
    })

    值得一提的是上面的方法调用都采用了[“…”]的方式是因为方法名都被十六进制编码了,如果还用点.来调用的话可能编译都通不过啦。

    分析上面代码,先将此对象转为了jQuery对象,然后调用jQuery的data()方法取数据字段,data()是jQuery对h5的一个支持,只需要data-*后面的*号部分就可以取出数据。

    将ip和i字段取出,比如取出172.87.221.221和8781,然后将ip按照点号分割,即分为四段,然后使用8781减去每一段的值即为最终的端口。

    可依据此逻辑写出java代码:

        private static int decode(String ip, String basePortStr) {
            int basePort = Integer.parseInt(basePortStr);
            int ipSum = Arrays.stream(ip.split("\\.")).map(Integer::parseInt).reduce(0, Integer::sum);
            return basePort - ipSum;
        }

    完整爬取demo:

    package org.cc11001100.mybatis_study_001;
    
    import org.jsoup.Jsoup;
    
    import java.io.IOException;
    import java.net.URL;
    import java.util.Arrays;
    import java.util.List;
    
    import static java.util.stream.Collectors.toList;
    
    /**
     * @author CC11001100
     */
    public class CoderBusyProxyCrawler {
    
        private static int decode(String ip, String basePortStr) {
            int basePort = Integer.parseInt(basePortStr);
            int ipSum = Arrays.stream(ip.split("\\.")).map(Integer::parseInt).reduce(0, Integer::sum);
            return basePort - ipSum;
        }
    
        private static List<String> grab(String url) throws IOException {
            return Jsoup.parse(new URL(url), 3000)
                    .select(".table .port-box")
                    .stream().map(elt -> {
                        String ip = elt.attr("data-ip");
                        String falsePort = elt.attr("data-i");
                        return ip + ":" + decode(ip, falsePort);
                    }).collect(toList());
        }
    
        public static void main(String[] args) throws IOException {
            grab("https://proxy.coderbusy.com/").forEach(System.out::println);
        }
    
    }

    转载于:https://www.cnblogs.com/cc11001100/p/8606160.html

    展开全文
  • 3 打开浏览器访问此机器的 IP,如果浏览器出现 Welcome to nginx! 则表示 Nginx 已经安装并运行成功。 如果不能访问,检查防火墙的配置。 路径:/etc/firewalld/zones/public.xml里有没有。 如果没有...

    一、下载和安装

     

    1 下载

    cd /usr/local/

    wget http://nginx.org/download/nginx-1.2.8.tar.gz

     

    2 安装

    tar -zxvf nginx-1.2.8.tar.gz

    cd nginx-1.2.8  

    ./configure --prefix=/usr/local/nginx 

    make

    make install

     

    二、启动和重启

     

    1 /usr/local/nginx/sbin/nginx

    2 检查是否启动成功:

    netstat -ano|grep 80 有结果输入说明启动成功

     

    3 打开浏览器访问此机器的 IP,如果浏览器出现 Welcome to nginx! 则表示 Nginx 已经安装并运行成功。

    如果不能访问,检查防火墙的配置。

    路径:/etc/firewalld/zones/public.xml里有没有<service name="http"/>。

    如果没有,加上,重启service firewalld restart。

     

    4 重启

    /usr/local/nginx/sbin/nginx-s reload

     

    三、代理配置

     

    1

           location /hamaster/ {

               proxy_pass http://192.168.1.12:8099/stats;

           }

     

          location /haslave/ {

               proxy_pass http://192.168.1.2:8099/stats;

           }

     

     

    展开全文
  • 在我们使用python爬虫获取所需资源时,如果被发现违规行为,有可能会被对方服务器禁止本地ip访问,所以获取代理ip端口进行访问可以预防部分危险,但是一个一个搜索查找代理ip端口,程序效率太低,因此使用程序...
  • 代理IP服务商多如牛毛,代理IP的套餐种类也是五花八门,很多人都想买到好的代理IP资源,却又不知道如何选择。今天我们一起来讨论下什么样的代理IP资源才是好的代理IP资源。一、有效率高有效率是排第一位的,对于代理...
  • 随着互联网日新月异的发展,互联网已经逐步改变了大多数人的生活方式,但随之而来的互联网安全问题也不容忽视,很多人会通过使用代理IP来安全的访问网站,那么使用代理IP是否存在安全隐患呢,我们需要注意哪些方面呢...
  • 代理ip其功能就是代理网络用户去取得网络信息。形象的说:它是网络信息的中转站。代理服务器就好象一个大的Cache,这样就能显著提高浏览速度和效率。更重要的是:它是Internet链路级网关所提供的一种重要的安全功能...
  • 效果和 ssh -L 差不多,都是本地访问远程端口。用途自行挖掘,懂的人自然懂,这里不大方便说哈...代理服务器IP>:<远程地址>:<远程端口>,socksport=<代理服务器端口> 通过 HTTP 代理socat TCP4...
  • 如何验证代理IP的有效性?在爬虫的时候,我们需要用到代理IP来避免,而当我们得到了IP之后,该如何验证这些IP是不是有效的呢?这时候我们可以使用Spyder(anaconda自带了一个Python的编辑器),输入购买的IP来模拟访问...
  • 得益于互联网的迅速发展,动态IP代理的需求也在快速增加,IP服务商到底怎么选呢?如何学会判断IP代理质量呢?下面ipidea全球ip就来给大家说说怎么挑选优质的动态IP代理。1.IP的有效率动态IP代理IP有效率会直接影响...
  • 第二步:抓去的代理网站的http://hidemyass.com/proxy-list/2上面的代理服务器的ip端口 第三步:它的端口是一张图片的,需要的用到ocr 第四步:把这些代理服务器的的信息写到一个mysql和数据库 你就可以...
  • Python爬虫获取代理ip端口

    千次阅读 2018-03-06 15:43:17
    爬取代理ip 可以作为模块使用,在使用代理ip的时候直接调用该模块即可。 ''' import re import urllib.request def ExtractIP(url='http://www.xicidaili.com/'): headers = {'User-Agent': 'Mozilla/5.0 (X11; ...
  • 本项目其实就是个简单的代理服务器,经过...使用1、启动ip代理池 先把这个项目跑起来https://github.com/jhao104/proxy_pool2、启动代理服务器默认监听8080java -jar proxyServer.jar自定义监听端口java -jar proxyS...
  • 如今的互联网发展十分迅猛,对于保护自己的网络安全,人们是越来越重视,实际上IP代理就能起到维护网络隐私的作用,下边一起来了解一下吧!互联网正朝着大数据的方向迅速发展,我们上网的平台不在是限于电脑等固定...
  • HttpURLConnection添加代理IP,httpclient设置代理
  • 大家都知道,在我们使用和操作软件或者进行相应的营销活动、推广活动的时候都需要进行代理IP的使用,或者进行IP代理的部署分发使用,特别是在进行大数据抓取和大数据分析的时候,IP在整个环境中的使用都是非常的关键...
  • #coding:utf8 import httplib from bs4 import BeautifulSoup import re import sys reload(sys) sys.setdefaultencoding('utf-...ip_L =[] port_L = [] def urlList(): #组成url列表 L = ['/proxy/index.shtml'] fo
  • HttpClient代理
  • 爬虫所用到的函数与基本思想: 1....请求函数 url ip 如果ip为空,不使用代理ip发起请求获取源代码,ip不为none,说明这次请求是用来测试代理ip是否可用 4.解析函数 根据正则匹配ip_port数据...
  • nginx代理本地端口ip 和开启gzip

    千次阅读 2019-06-13 09:51:42
    代理本地端口ip #9011接口转发 server { listen 80; server_name port.你的域名.com; location / { proxy_pass http://127.0.0.1:9011; } } gzip开启 1、Vim打开Nginx配置文件 vim /usr/local/nginx/...
  • HttpClient 传入代理IP端口则走代理,不传则直接请求的两个方法 方法使用的相关包 import com.ifunpay.util.common.StringUtil; import net.sf.json.JSONObject; import org.apache.commons.httpclient....
  • 更改端口号,或者ip地址,都可以反爬虫
  • 对于一个一直倾向于年轻化的网络世界,不少年轻的网名把网络玩出了花样,比如可以电脑通过手机GPRS上网就能玩手机游戏,但是需要很多个ip端口进行支撑,目前市面上稳定的端口不多,但是下面小编给大家分享几个实用的...
  • 分析 蚂蚁代理的列表页大致是这样的: 端口字段使用了图片显示,并且在图片上还有各种干扰线,保存一个图片到本地用画图打开观察一下: 仔细观察蓝色的线其实是在黑色的数字下面的,其它的干扰线也是,所以这幅图是...
  • 扫描工具大合集,包括代理IP端口、目录等扫描

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 4,787
精华内容 1,914
关键字:

代理ip端口