-
网页加载报错——URL网页连接错误
2016-04-15 19:14:29当使用web视图控件,或者进行网络编程,需要涉及URL的,在ios9及xcode7之后版本,如果不进行配置,将会在控制台出现以下错误; App Transport Security has blocked a cleartext HTTP (http://) resource load ...当使用web视图控件,或者进行网络编程,需要涉及URL的,在ios9及xcode7之后版本,如果不进行配置,将会在控制台出现以下错误;
App Transport Security has blocked a cleartext HTTP (http://) resource load since it is insecure. Temporary exceptions can be configured via your app's Info.plist file.
解决办法:
在info.plist(不是在text文件下)中配置如下信息
添加:App Transport Security Settings
再点击小三角形(记住一定要点),表示在它的下一级,而不是与他并列
选择:Allow Arbitrary Loads
记得是选择,如果没有出现选择项,有可能没有先点击小三角形,就算手动输入也会报错。
最开始我添加了App Transport Security Settings,然后没有点击App Transport Security Settings左边的小山角形,而是直接点击的+号,然后在这种情况下又添加了一条Allow Arbitrary Loads,所以造成两条信息并列,而不是App Transport Security Settings 里面 包括 Allow Arbitrary Loads,结果还是不能用。急死我了。
-
pandas读取http网页文件报URL错误
2019-08-06 09:27:04笔记摘要: pandas.read_csv(...以上数据在读取时,可能会报如下错误: url错误: URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl...笔记摘要:
pandas.read_csv(“https://archive.ics.uci.edu/breast-cancer-wisconsin.data”)
以上数据在读取时,可能会报如下错误:
url错误:
URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:833)>解决办法:
全局取消证书验证
read_csv前面加上这两句话:
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
data = pandas.read_csv(“https://archive.ics.uci.edu/breast-cancer-wisconsin.data”)
data -
C# 网络编程之webBrowser获取网页url和下载网页中图片
2013-10-05 02:04:53该文章主要是通过C#网络编程的webBrowser获取网页中的url并简单的尝试下载网页中的图片,主要是为以后网络开发的基础学习.其中主要的通过应用程序结合网页知识、正则表达式实现浏览、获取url、下载图片三个功能.而且...该文章主要是通过C#网络编程的webBrowser获取网页中的url并简单的尝试下载网页中的图片,主要是为以后网络开发的基础学习.其中主要的通过应用程序结合网页知识、正则表达式实现浏览、获取url、下载图片三个功能.而且很清晰的解析了每一步都是以前一步为基础实现的.
一. 界面设计
界面设计如下图所示,添加控件如图,设置webBrowser1其Anchor属性为Top、Bottom、Left、Right,实现对话框缩放;设置groupBox1其Dock(定义要绑到容器控件的边框)为Buttom,实现当浏览器缩放时groupBox1始终在最下边;设置listBox其HorizontalScrollbar属性为True,显示水平滚动条.
二. 源代码
1.命名空间
//新添加命名空间 using System.Net; using System.IO; using System.Text.RegularExpressions; //正则表达式
2.浏览
点击"浏览"按钮,生成button1_Click(object sender, EventArgs e)点击事件中添加如下代码,实现浏览网页:
private void button1_Click(object sender, EventArgs e) { webBrowser1.Navigate(textBox1.Text.Trim()); //显示网页 }
调用webBrowser的Navigate方法将指定位置的文档加载到控件中,其中一种重载方法Navigate(urlString)将制定的统一资源定位符URL处的文档加载到WebBrowser控件中替换上一个文档.
3.获取
点击"获取"按钮,生成button2_Click(object sender, EventArgs e)点击事件中添加如下代码,通过获取"html.OuterHtml"当前网页的HTML内容,利用正则表达式获取网页中所有内容的URL超链接和图片的URL,并显示在listBox控件中.
<strong>//定义num记录listBox2中获取到的图片URL个数 public int num = 0; //点击"获取"按钮 private void button2_Click(object sender, EventArgs e) { HtmlElement html = webBrowser1.Document.Body; //定义HTML元素 string str = html.OuterHtml; //获取当前元素的HTML代码 MatchCollection matches; //定义正则表达式匹配集合 //清空 listBox1.Items.Clear(); listBox2.Items.Clear(); //获取 try { //正则表达式获取<a href></a>内容url matches = Regex.Matches(str, "<a href=\"([^\"]*?)\".*?>(.*?)</a>", RegexOptions.IgnoreCase); foreach (Match match in matches) { listBox1.Items.Add(match.Value.ToString()); } //正则表达式获取<img src=>图片url matches = Regex.Matches(str, @"<img\b[^<>]*?\bsrc[\s\t\r\n]*=[\s\t\r\n]*[""']?[\s\t\r\n]*(?<imgUrl>[^\s\t\r\n""'<>]*)[^<>]*?/?[\s\t\r\n]*>", RegexOptions.IgnoreCase); foreach (Match match in matches) { listBox2.Items.Add(match.Value.ToString()); } //记录图片总数 num = listBox2.Items.Count; } catch (Exception msg) { MessageBox.Show(msg.Message); //异常处理 } }</strong>
其中MatchCollection Regex.Matches(string input,string pattern,RegexOption options)表示使用指定的匹配选项pattern在输入的字符串中搜索指定正则表达式的所有结果.上面RegexOptions.IgnoreCase表示不区分大小写匹配.因为下载中我会显示下载成功结果到listBox2中,所以这里使用num先计算图片总数.
4.下载
在"获取"中我们已经获取到了所有网页内容的URL和图片的URL,这里想要下载图片,但它的格式通常是:“<img src="http://www.baidu.com/img/bdlogo.gif"width="270" height="129">”所以这里只需要获取src中的内容实现访问该图片,在调用文件相关知识实现简单下载图片.而获取src中的值很显然也是通过正则表达式获取的.代码如下:
该部分代码可能存在几个问题://点击"下载"实现下载图片 private void button3_Click(object sender, EventArgs e) { string imgsrc = string.Empty; //定义 //循环下载 for (int j = 0; j < num; j++) { string content = listBox2.Items[j].ToString(); //获取图片url Regex reg = new Regex(@"<img.*?src=""(?<src>[^""]*)""[^>]*>", RegexOptions.IgnoreCase); MatchCollection mc = reg.Matches(content); //设定要查找的字符串 foreach (Match m in mc) { try { WebRequest request = WebRequest.Create(m.Groups["src"].Value);//图片src内容 WebResponse response = request.GetResponse(); //文件流获取图片操作 Stream reader = response.GetResponseStream(); string path = "E://" + j.ToString() + ".jpg"; //图片路径命名 FileStream writer = new FileStream(path, FileMode.OpenOrCreate, FileAccess.Write); byte[] buff = new byte[512]; int c = 0; //实际读取的字节数 while ((c = reader.Read(buff, 0, buff.Length)) > 0) { writer.Write(buff, 0, c); } //释放资源 writer.Close(); writer.Dispose(); reader.Close(); reader.Dispose(); response.Close(); //下载成功 listBox2.Items.Add(path + ":图片保存成功!"); } catch (Exception msg) { MessageBox.Show(msg.Message); } } } }
(1).获取图片格式不一定是jpg格式,这里主要想展示一种思想,具体的不同图片获取设置一下即可;
(2).采用该文件流的方法下载速度很慢,可以采用其他方法,WebClient.DownloadFile()等,因为我刚好研究了文件知识和网络爬虫,所以就采用了此基础方法;
(3).代码中的两层循环有点多余,但MatchCollection mc获取的是匹配集合,总体感觉此段还是有点乱;
(4).如果想批量下载图片,最好使用上线程等知识,同时采用一些优秀的算法(强调是算法),内存中获取,该程序只是基础知识.三. 运行结果
运行结果如下图所示:点击"浏览"按钮可以实现浏览网页,点击"获取"可以获取网页的URL并显示在listBox控件中,最后点击"下载"把图片保存到E盘目录下,下面就是浏览百度时下载的logo图标.(如果图片没有源URL路径,需要自己去实现,如<img src="/sites/default/files/bitren_logo.gif">)
四. 网页基础知识
这里主要介绍HTML网页制作中的超链接和图片链接的基础知识,更好的方便大家理解这篇文章.(参考赵丰年的《网页制作教程》)
1.页面链接
网页中创建超链接需要使用A标记符,结束标记符为</A>.它的最基本属性是href,用于指定超链接的目标,通过href属性指定不同的值,可以创建不同类型的超链接.同时<A>和</A>之间可以用单击对象作为超链接的源(文字或图片).
如百度首页中的:“<a href="http://news.baidu.com">新 闻</a>”.(锚点连接这里就不介绍)
2.插入图片
在HTML中使用IMG标记符向网页中插入图片,它的两个必要基本属性是src和alt.分别用于设置图像文件的位置和替换文本.
(1).src属性表示要插入图像的文件名,必须包含绝对路径或相对路径.
(2).alt属性表示图像的简单文本说明,用于不能显示图像的浏览器或显示时间过长时先替换显示.
如百度首页的logo图标图片“<img src="http://www.baidu.com/img/bdlogo.gif" width="270" height="129">”当直接访问该url时能访问图片,我们上面的程序主要就是通过这种方式下载网页中的图片的.如下图:五. 正则表达式
正则表达式(Regular Expression)就是一个字符构成的串,它定义了一个用来搜索匹配字符串的模式.许多语言包括Perl、PHP、Python、JavaScript和JScript,都支持用正则表达式处理文本,一些文本编辑器用正则表达式实现高级“搜索-替换”功能.我所接触到的正则表达式一个是用户名密码设置和该网页知识中,所以我也还需要去学习该部分知识.这里主要用到3个正则表达式,其中下面两个代码非常有用:
1.获取HTML中所有图片的URL
(参考:http://blog.csdn.net/smeller/article/details/7108502)
/// <summary> /// 取得HTML中所有图片的 URL /// </summary> /// <param name="sHtmlText">HTML代码</param> /// <returns>图片的URL列表</returns> public static string[] GetHtmlImageUrlList(string sHtmlText) { // 定义正则表达式用来匹配 img 标签 Regex regImg = new Regex(@"<img\b[^<>]*?\bsrc[\s\t\r\n]*=[\s\t\r\n]*[""']?[\s\t\r\n]*(?<imgUrl>[^\s\t\r\n""'<>]*)[^<>]*?/?[\s\t\r\n]*>", RegexOptions.IgnoreCase); // 搜索匹配的字符串 MatchCollection matches = regImg.Matches(sHtmlText); int i = 0; string[] sUrlList = new string[matches.Count]; // 取得匹配项列表 foreach (Match match in matches) { sUrlList[i++] = match.Groups["imgUrl"].Value; } return sUrlList; }
2.获得图片的src路径并保存
(参考:http://bbs.csdn.net/topics/320001867)
/// <summary> /// 获得图片的路径并存放 /// </summary> /// <param name="M_Content">要检索的内容</param> /// <returns>IList</returns> public static IList<string> GetPicPath(string M_Content) { IList<string> im = new List<string>();//定义一个泛型字符类 Regex reg = new Regex(@"<img.*?src=""(?<src>[^""]*)""[^>]*>", RegexOptions.IgnoreCase); MatchCollection mc = reg.Matches(M_Content); //设定要查找的字符串 foreach (Match m in mc) { im.Add(m.Groups["src"].Value); } return im; }
六. 总结
该文章主要是做C#网络知识中关于网络爬虫获取URL和简单下载图片的基础讲解,很清晰的讲述了首先要获取URL就需要浏览网页,至少要获取网页HTML内容,在通过简单的正则表达式获取<A href></A>内容;如果要下载图片就要获取图片的URL<img src="">获取src的网址,在下载该网址中的图片,获取方法还是使用正则表达式,下载方法可以使用很多,这里采用的是文件流,最好使用多线程等批量下载手段.
(免费下载地址:http://download.csdn.net/detail/eastmount/6355125)
主要通过该文件介绍一些基本的网络知识,同时我也在不断的学习研究,同时讲解正则表达式和网页基本的两个概念知识.最后感谢文章中那个网址的博主及一些人,希望该文章能够对大家有所帮助,同时如果文章中有错误或不足之处,还请大家海涵.
(By:Eastmount 2013-10-5 夜2点http://blog.csdn.net/eastmount) -
开发日记2 --通过网页内链接跳转url正常而直接输入url则报404错误的问题
2018-10-23 12:58:00通过网页内链接跳转url正常而直接输入url则报404错误的问题 又经过一天的编写,现在前台门户网站已经完成了前三个功能(网站首页,球队成员,球队相册)我将其发布到服务器上后访问我的ip地址xxx,重定向到xxx/welcome...通过网页内链接跳转url正常而直接输入url则报404错误的问题
又经过一天的编写,现在前台门户网站已经完成了前三个功能(网站首页,球队成员,球队相册)我将其发布到服务器上后访问我的ip地址xxx,重定向到xxx/welcome,如图:
点击球队成员后页面转变,url改变,如图:
但直接在浏览器中输入ip地址/welcome或ip地址/member就会。。。。
通过上网查阅资料发现,所谓的/welcome,/menber这些地址都不是真实存在的,是vue-router中虚拟出来一些地址,当通过网页中vue-router跳转页面的时候可以正常显示;而通过浏览器输入地址访问时nginx自然找不到这些页面了。解决办法就是在服务器nignx的配置文件中修改:location / { # First attempt to serve request as file, then # as directory, then fall back to displaying a 404. try_files $uri $uri/ /index.html; }
意思就是当nignx找不到路径下的文件时自动跳转到index.html中去
问题解决。 -
android:网页访问Activity出现错误:error unknown url scheme
2017-10-24 17:05:02这种情况是怎么产生的呢,一个网站大部分不会只有一个网页,这个时候我们的scheme如果写在不是第一页的位置就会出现报错,这个错误我觉的是因为前面的网址和跳转Activity的网址出现冲突,这种情况的处理的方法是: ... -
android webview加载网页错误net::ERR_UNKNOWN_URL_SCHEME
2018-12-20 18:07:42使用AgentWeb框架(使用系统webview也可参考这个问题),加载唯品会的网页https://m.vip.com/?source=www&jump_https=1明明一开始成功了但最后出现“出错啦!点击空白处刷新~”的界面,原因是因为唯品会的... -
java通过url获取网页内容_java通过url获取网页内容
2021-02-25 19:55:29在java中,一个url的简单小应用,就是通过url爬取网页的内容。在这里会遇到一个小问题,如果是服务器端禁止抓取,会在控制台报 HTTP 403错误代码。例如CSDN博客网站java.io.IOException: Server returned ... -
常见的网页显示错误状态码
2020-05-24 19:44:31常见的一些网页请求错误码 200 : 请求成功 302 : 转移到了新的URL 307 : 转移到了新的URL 500 : 访问的服务器内部错误 404 :没有找到相关网页 小伙伴们是不是经常出现 404 :not found 呢 ,检查一下网址是否写错... -
JSOUP获取网页数据返回403错误(403 error loading URL,connection类)
2016-02-23 13:59:42最近做的项目需要利用JSOUP进行网页获取和解析,但是遇到了拒绝访问的问题,返回的结果是: java.io.IOException: 403 error loading URL http://www.xxx.com/xxx 连接代码是这样的: [java] view ... -
【python 乱码错误】网页乱码错误解决
2019-10-16 18:52:12某个网址爬出来的网页源代码出现中文乱码 查看源代码可以发现这个网址采用的编码是GBK # -*- coding: utf-8 -*- import requests url='https://www.jb51.net/do/book.html' import re # r=requests.get(url) # r.... -
网页常见错误总结
2018-12-17 10:51:27400 无法解析此请求。 401.1 未经授权:访问由于凭据无效被拒绝。 401.2 未经授权: 访问由于服务器配置倾向使用替代身份验证方法而被拒绝。 401.3 未经授权:访问...401.7 未经授权:由于 Web 服务器上的 URL ... -
微信网页授权,设置view跳转URL提示scope参数错误获没有权限
2015-12-17 20:39:19创建菜单是view参数的跳转URL设置为: https://open.weixin.qq.com/connect/oauth2/authorize?appid=我的APPid&redirect_uri=http%3A%2F%2Fxt.XXX.net%2FAddInfos.aspx&response_type=code&scope=... -
萌新求救!Django 做出来的网页url异常
2019-07-11 18:36:03url.py ``` from django.contrib import admin from django.urls import path from myapp import views urlpatterns = [ path('admin/', admin.site.urls), path('index/', views.index) ] ``` -
为什么有些网页url复制下来黏贴到新窗口后打开的却是出错的提示?
2020-10-14 22:25:36菜鸟一个。有以下疑惑: ...但某些特定的网页(如需要分N步输入信息的注册网址,在第N步的页面)复制URL后粘贴到一个新的窗口里打开,会跳转回首页或者提示网页打开出现错误? 请高手指教!! 不胜感激!! -
网页406错误及原因
2020-05-22 20:02:25我的项目 问题出在produces这里,我的请求是以text/html,请求的url以.html结尾,导致出现了上面的问题,解决方案是我么可以返回一个json(以我的项目为例 {"result":true}) ... -
LAMP环境下,通过网页url获取gb2312编码中文命名的下载资源方法
2019-10-02 17:32:56我准备直接采用网页url填写压缩文件地址的方式获取下载资源, 但问题是 我们的linux系统和php编程环境都是采用的zh_GB2312编码, 而浏览器的url通常都是utf8的编码, 所以这就导致 直接输入地址是访问不到资源的,会... -
Java网页抓取错误总结
2013-09-20 15:00:041)java.lang.IllegalArgumentException: host parameter is null ...即 URL 应为 hhtp://www.baidu.com 但是实际配置成了 www.baidu.com 所以出现此错误 2)导包 将所有在Httpclient下的 -
java通过url获取网页内容
2017-01-01 20:42:15在java中,一个url的简单小应用,就是通过url爬取网页的内容。在这里会遇到一个小问题,如果是服务器端禁止抓取,会在控制台报 HTTP 403错误代码。例如CSDN博客网站java.io.IOException: Server returned ... -
js 捕获网页中的错误
2021-01-18 22:58:44//只要页面出现了错误,就会触发onerror方法 /** * msg:错误信息 * url: 错误出现链接 * line: 第几行出现错误 */ window.onerror = function trace(msg, url, line){ log(); }; -
HTTP状态码-网页出现错误的解释
2020-08-30 19:02:16301 - 资源(网页等)被永久转移到其它URL 404 - 请求的资源(网页等)不存在 500 - 内部服务器错误 HTTP状态码分类 HTTP状态码由三个十进制数字组成,第一个十进制数字定义了状态码的类型,后两个数字没有分类... -
php设置apache启动后,访问网页错误提示:The requested URL / was not found on this server...
2018-09-04 18:18:00因为之前想要配置多站点,在apache配置文件中将httpd.conf文件中“Include conf/extra/httpd-vhosts.conf”的注释取消后,忘记修改回来,在访问域名后,界面返回报错信息:The requested URL / was not found on ... -
网页错误代码大全
2019-05-14 10:58:09400 无法解析此请求。 401.1 未经授权:访问由于凭据无效被拒绝。 401.2 未经授权: 访问由于服务器配置倾向使用替代身份验证方法而被拒绝。 401.3 未经授权:访问...401.7 未经授权:由于 Web 服务器上的 URL ... -
微信公众号平台网页授权接口中获取到的授权code传递给(即一个微信公众号网页授权给)任何其他多个回调域名...
2017-07-20 01:19:07微信公众号平台网页授权接口中获取到的授权code传递给(即一个微信公众号网页授权给)任何其他多个回调域名下的url,解决了只能设置一个网页授权回调域名的问题,解决了redirect_uri参数错误的问题。微信公众号平台... -
ASP.NET实现根据URL生成网页缩略图的方法
2021-01-20 08:11:52本文实例讲述了ASP.NET实现根据URL生成网页缩略图的方法。分享给大家供大家参考,具体如下: 工作中需要用到根据URL生成网页缩略图功能,提前做好准备。 在网上找了份源码,但是有错误:当前线程不在单线程单元中,... -
客户端登录提示 基础连接已经关闭: 接收时发生错误。URL通过网页可以正常访问,但是客户端无法打开。
2020-07-16 19:36:46把客户端放在生产服务器上就能正常登录,放在个人PC端就无法登录,网络是通的 报错截图 
-
可视化库----Matplotlib+Pandas高级篇及应用
-
VMware vSphere ESXi 7 精讲/VCSA/VSAN
-
WordPress后台定制-为WooCommerce产品增加自定义字段
-
docker 启动zabbix
-
如何测试ASP.NETCoreWebAPI
-
C/C++反汇编解密
-
对连续流量中的交互进行建模
-
Java的类加载器(ClassLoader)简介
-
Oracle_11g_Linux到Linux_DataGuard部署
-
【爱码农】C#制作MDI文本编辑器
-
在线游戏用户的流失预测:基于不平衡数据的采样方法比较
-
android context.java_Android必须弄懂的基础概念:Context
-
2021年 系统分析师 系列课
-
sql的字符串函数
-
Linux下git无法自动补全的解决办法
-
MySQL 触发器
-
2021年 系统架构设计师 系列课
-
java 移动短代支付_利用Cydia Substrate Hook移动MM支付
-
基于多信息融合与可拓理论的锑浮选工况识别方法
-
MySQL 四类管理日志(详解及高阶配置)