精华内容
下载资源
问答
  • 代码:import urllibfrom urllib.request import urlopenfrom urllib.parse import urlencodeurl='http://xxx.xxxx.com/' //测试链接res=urlopen(url)#通过urlopen方法访问拼接好的urlres=res.read().decode()#read...

    代码:

    import urllib

    from urllib.request import urlopen

    from urllib.parse import urlencode

    url='http://xxx.xxxx.com/' //测试链接

    res=urlopen(url)#通过urlopen方法访问拼接好的url

    res=res.read().decode()#read()方法是读取返回数据内容,decode是转换返回数据的bytes格式为str

    print(res)

    错误信息:

    During handling of the above exception, another exception occurred:

    Traceback (most recent call last):

    File "D:/work/projects/pythonDemo1/HttpTest.py", line 8, in

    res=urlopen(url)#通过urlopen方法访问拼接好的url

    File "D:\work\soft\Anaconda\envs\py36\lib\urllib\request.py", line 223, in urlopen

    return opener.open(url, data, timeout)

    File "D:\work\soft\Anaconda\envs\py36\lib\urllib\request.py", line 526, in open

    response = self._open(req, data)

    File "D:\work\soft\Anaconda\envs\py36\lib\urllib\request.py", line 544, in _open

    '_open', req)

    File "D:\work\soft\Anaconda\envs\py36\lib\urllib\request.py", line 504, in _call_chain

    result = func(*args)

    File "D:\work\soft\Anaconda\envs\py36\lib\urllib\request.py", line 1346, in http_open

    return self.do_open(http.client.HTTPConnection, req)

    File "D:\work\soft\Anaconda\envs\py36\lib\urllib\request.py", line 1320, in do_open

    raise URLError(err)

    urllib.error.URLError:

    处理方法:

    win10+Python3.6+pycharm+ie

    打开ie浏览器-->-->设置-->Interner选项-->弹出Internet属性-->局域网设置-->自动检测设置-->重启pycharm即可

    展开全文
  • 从下个月开始,试图访问某些网站的用户将会遇到IE拒绝加载URL,而在Edge上自动打开该网站。这种强制IE切换到Edge的做法是微软弃用IE浏览器计划的一部分。自今年Edge84发布以来,微软一直在为一些Windows用户逐步推出...

    我在想那些旧的网银网页和某些官网会怎样

    来自某些不愉快的经历

    IE浏览器即将发生重大变化。从下个月开始,试图访问某些网站的用户将会遇到IE拒绝加载URL,而在Edge上自动打开该网站。

    这种强制IE切换到Edge的做法是微软弃用IE浏览器计划的一部分。

    7b32316ffe89aa5d44ce6509c728f570.png

    自今年Edge84发布以来,微软一直在为一些Windows用户逐步推出这一功能,以进行测试。

    随着定于下个月发布的Edge87,微软计划让所有IE用户都能强制使用Edge。这意味着从下个月开始,大多数IE用户将无法在Internet Explorer中加载部分网站,每次他们尝试时,访问的网站都将在新的Edge窗口中打开。

    当然,这个新操作只能在同时安装了Edge和IE的系统上发生,也就是如果只安装IE就不必担心会强制重定向到Edge。

    展开全文
  • 给burp配置安全证书以便于抓取https的包出现问题,不能抓https的包解决问题,下载CA证书从burp中导出访问网页下载(但是很奇怪我一开始打不开)在浏览器中配置证书 出现问题,不能抓https的包 解决问题,下载CA证书 ...

    出现问题,不能抓https的包

    burp中也抓取不到数据包
    在这里插入图片描述

    解决问题,下载CA证书

    从burp中导出

    在这里插入图片描述

    自己选择一个目录放着(怎么方便怎么来)

    成功
    在这里插入图片描述

    访问网页下载(但是很奇怪我一开始打不开)

    也可以在url中输入http://burp或者127.0.0.1:8080来打开下载页面下载

    但是我是这样的,它会跳转到别的页面(跟被劫持了一样)
    在这里插入图片描述
    一开始127.0.0.1:8080也是拒绝访问的,刚刚刷新了一下突然又可以了也是蛮奇怪的
    在这里插入图片描述

    在浏览器中配置证书

    这里用火狐示范哦
    在浏览器中点开选项标签页,进入查看证书
    在这里插入图片描述
    导入你的证书也就是上面下载的cacert.der,勾选选项后确定
    在这里插入图片描述
    然后就可以正常抓取https协议的包了。
    在这里插入图片描述

    展开全文
  • java 模拟浏览器访问网页

    千次阅读 2007-07-04 13:06:00
    正文:在用Java的HttpURLConnection 来下载网页,发现访问google的网站时,会google拒绝掉。 try { url = new URL(urlStr); httpConn = (HttpURLConnection) url.openConnection(); 

     

    正文:

    在用Java的HttpURLConnection 来下载网页,发现访问google的网站时,会被google拒绝掉。

            try
             {
                 url = new URL(urlStr);
                 httpConn = (HttpURLConnection) url.openConnection();
                 HttpURLConnection.setFollowRedirects(true);

                 // logger.info(httpConn.getResponseMessage());
                 in = httpConn.getInputStream();
                 out = new FileOutputStream(new File(outPath));

                 chByte = in.read();
                 while (chByte != -1)
                 {
                     out.write(chByte);
                     chByte = in.read();
                 }
             }
             catch (MalformedURLException e)
             {
              }
             }



    经过一段时间的研究和查找资料,发现是由于上面的代码缺少了一些必要的信息导致,增加更加详细的属性

                 httpConn.setRequestMethod("GET");
                 httpConn.setRequestProperty("User-Agent","Mozilla/4.0 (compatible; MSIE 6.0; Windows 2000)");

    完整代码如下:
        public static void DownLoadPages(String urlStr, String outPath)
         {
             int chByte = 0;
             URL url = null;
             HttpURLConnection httpConn = null;
             InputStream in = null;
             FileOutputStream out = null;

             try
             {
                 url = new URL(urlStr);
                 httpConn = (HttpURLConnection) url.openConnection();
                 HttpURLConnection.setFollowRedirects(true);
                 httpConn.setRequestMethod("GET");
                 httpConn.setRequestProperty("User-Agent","Mozilla/4.0 (compatible; MSIE 6.0; Windows 2000)");
                
                 // logger.info(httpConn.getResponseMessage());
                 in = httpConn.getInputStream();
                 out = new FileOutputStream(new File(outPath));

                 chByte = in.read();
                 while (chByte != -1)
                 {
                     out.write(chByte);
                     chByte = in.read();
                 }
             }
             catch (MalformedURLException e)
             {
                 e.printStackTrace();
             }
             catch (IOException e)
             {
                 e.printStackTrace();
             }
             finally
             {
                 try
                 {
                     out.close();
                     in.close();
                     httpConn.disconnect();
                 }
                 catch (Exception ex)
                 {
                     ex.printStackTrace();
                 }
             }
         }

    此外,还有第二种方法可以访问Google的网站,就是用apache的一个工具HttpClient 模仿一个浏览器来访问Google

             Document document = null;
             HttpClient httpClient = new HttpClient();
            
             GetMethod getMethod = new GetMethod(url);
             getMethod.setFollowRedirects(true);
             int statusCode = httpClient.executeMethod(getMethod);
            
             if (statusCode == HttpStatus.SC_OK)
             {
                 InputStream in = getMethod.getResponseBodyAsStream();
                 InputSource is = new InputSource(in);

                 DOMParser domParser = new DOMParser();    //nekoHtml 将取得的网页转换成dom
                 domParser.parse(is);
                 document = domParser.getDocument();
                
                 System.out.println(getMethod.getURI());
                
             }
             return document;

    推荐使用第一种方式,使用HttpConnection 比较轻量级,速度也比第二种HttpClient 的快。

     

     

    转载一些代码,使用HttpUrlConnection来模拟ie form登陆web:


    关于java模拟ie form登陆web的问题

    HttpURLConnection urlConn=(HttpURLConnection)(new URL(url).openConnection());
    urlConn.addRequestProperty("Cookie",cookie);
    urlConn.setRequestMethod("POST");
    urlConn.setRequestProperty("User-Agent","Mozilla/4.0 (compatible; MSIE 6.0; Windows 2000)");
    urlConn.setFollowRedirects(true);
    urlConn.setDoOutput(true); // 需要向服务器写数据
    urlConn.setDoInput(true); //
    urlConn.setUseCaches(false); // 获得服务器最新的信息
    urlConn.setAllowUserInteraction(false);
    urlConn.setRequestProperty("Content-Type","application/x-www-form-urlencoded");
    urlConn.setRequestProperty("Content-Language","en-US" );
    urlConn.setRequestProperty("Content-Length", ""+data.length());

    DataOutputStream outStream = new DataOutputStream(urlConn.getOutputStream());
    outStream.writeBytes(data);
    outStream.flush();
    outStream.close();

    cookie=urlConn.getHeaderField("Set-Cookie");
    BufferedReader br=new BufferedReader(new InputStreamReader(urlConn.getInputStream(),"gb2312"));

     

    本文出处:

    http://www.blogjava.net/fisher/articles/86926.aspx

    展开全文
  • 如果文件路径是”scheme://…” 的格式,则...但是,很多网站出于安全性考虑,在处理请求时,往往会对请求来源的合法性进行验证,这个时候简单的通过上述方式来获取网页源代码时,将会目标服务器拒绝。此时,...
  • java 模拟浏览器访问网页 2009-12-04 14:54 ...在用Java的HttpURLConnection 来下载网页,发现访问google的网站时,会google拒绝掉。 try { url = new URL(urlStr); httpConn = (HttpURLConnecti...
  • Failed to load resource: the server responded with a status of 403 (Forbidden) ...之前爬取了豆瓣的数据,直接保存的电影海报URL,这次直接在网页使用,图片无法加载,可是浏览器直接访问图片路径是可以的 ..
  • 400 无法解析此请求。 401.1 未经授权:访问由于凭据无效被拒绝。 401.2 未经授权: 访问由于服务器配置倾向使用替代身份验证方法而被拒绝...403 禁止访问:访问被拒绝。 403.1 禁止访问:执行访问被拒绝。 403.2 禁止访
  • 我开始只是采用简单的URL访问页面,但是一般网站会对这种纯爬虫或者类爬虫程序拒绝,我就是一开始被拒绝了,并被网站警告 ,因此,需要模拟浏览器访问才行,浏览器访问使用的HTTP协议,可以在程序中加入这个请求报头...
  • 网页错误代码大全

    千次阅读 2019-05-14 10:58:09
    401.1 未经授权:访问由于凭据无效被拒绝。 401.2 未经授权: 访问由于服务器配置倾向使用替代身份验证方法而被拒绝。 401.3 未经授权:访问由于 ACL 对所请求资源的设置被拒绝。 401.4 未经授权:Web 服务器上...
  • 网页常见错误总结

    2018-12-17 10:51:27
    401.1 未经授权:访问由于凭据无效被拒绝。 401.2 未经授权: 访问由于服务器配置倾向使用替代身份验证方法而被拒绝。 401.3 未经授权:访问由于 ACL 对所请求资源的设置被拒绝。 401.4 未经授权:Web 服务器上...
  • 2.你在一定时间内过多地访问此网站(一般是用采集程序),防火墙拒绝访问了 3.网站域名解析到了空间,但空间未绑定此域名 4.你的网页脚本文件在当前目录下没有执行权限 5.在不允许写/创建文件的目录中执行了创建/...
  • 网页错误代码大全 403,404,500等

    千次阅读 2015-12-09 09:45:15
     401.1 未经授权:访问由于凭据无效被拒绝。 401.2 未经授权: 访问由于服务器配置倾向使用替代身份验证方法而被拒绝。 401.3 未经授权:访问由于 ACL 对所请求资源的设置被拒绝。 401.4 未经授权:Web 服务器上...
  •  在用Java的HttpURLConnection 来下载网页,发现访问google的网站时,会google拒绝掉。  try  {  url = new URL(urlStr);  httpConn = (HttpURLConnection) url.openConnection();  ...
  • 苹果一直拒绝 UIWebView 内嵌 HTML5 页面的 iPhone、iPad ...有一次,一个 APP应用的URL地址他们拷贝出来,放到浏览器中能够访问,然后,应用悲催地被拒绝上架了。 对付方法: 1、URL不让直接通过浏览器访问(UI...
  • 401.1 未经授权:访问由于凭据无效被拒绝。 401.2 未经授权: 访问由于服务器配置倾向使用替代身份验证方法而被拒绝。 401.3 未经授权:访问由于 ACL 对所请求资源的设置被拒绝。 401.4 未经授权:Web 服务器上安装...
  • 在用Java的HttpURLConnection 来下载网页,发现访问google的网站时,会google拒绝掉。 try { url = new URL(urlStr); httpConn = (HttpURLConnection) url.openConnection(); H...
  • javaeye不能蜘蛛抓取

    2009-07-21 11:00:34
    [color=darkred] 您的访问请求被拒绝 您可能使用了网络爬虫抓取JavaEye网站页面! JavaEye网站不允许您使用网络爬虫对JavaEye进行恶意的网页抓取,请您立刻停止该抓取行为! 如果您的网络爬虫不属于恶意...
  • 返回码200返回码含义请求成功。...返回码403返回码含义被拒绝。服务器理解请求客户端的请求但是拒绝执行此请求。通常是 目录没有相应的权限或者缺少 index 页面导致特殊情况由于配置权限问题导致。 解决方案1...
  • 关于newspaper的使用

    2020-08-28 17:50:48
    这个是它的优点,但也是它的缺点,不考虑这些会导致它访问网页时会有直接拒绝的可能。 ​ 总得来说,Newspaper框架并不适用于实际工程类新闻信息爬取工作,框架不稳定,爬取过程中会有各种bug,例如获取不到url、...
  • http 状态码

    2019-05-13 20:29:39
    301 - 资源(网页等)永久转移到其它URL 304-Not Modified未修改。所请求的资源未修改,服务器返回此状态码时,不会返回任何资源。客户端通常会缓存访问过的资源,通过提供一个头信息指出客户端希望只返回在指定...
  • python 3.5 爬虫日记1

    2015-12-29 19:20:55
    现在要爬糗事百科网页。 首先学习内置模块urllib。 #模块导入:import urllib、import urllib.request等均报错 from urllib import request ...#单纯urlopen该网址会网站拒绝,需要模仿浏览器访问,即添加head
  • 提到可以采用新出的 Data URL Schema ,以不发送referer的形式,绕过百度的referer检验。但这种方式只有FF支持,IE还不支持,所以尚未采用...比较通用绕过referer检查的方式还有通过一些网页代理访问,原理也是代理访问
  • 背景:网页上的部分图片不显示,404错误 原因分析: 为什么有些图片可以,有些图片不可以,楼主仔细对比了图片...2、会出现请求筛选模块配置为拒绝包含双重转义序列的请求。浏览器返回 HTTP 错误 404.11 – N...

空空如也

空空如也

1 2 3
收藏数 60
精华内容 24
关键字:

url网页访问被拒绝