精华内容
下载资源
问答
  • 如果您实例或数据修改、变更等风险操作,务必注意实例的容灾、容错能力,确保数据安全。 如果您实例(包括但不限于ECS、RDS)等进行配置与数据修改,建议提前创建快照或开启RDS日志备份等功能。 如果您在云...

    解决方案

    • 如果您对实例或数据有修改、变更等风险操作,务必注意实例的容灾、容错能力,确保数据安全。
    • 如果您对实例(包括但不限于ECS、RDS)等进行配置与数据修改,建议提前创建快照或开启RDS日志备份等功能。
    • 如果您在云平台授权或者提交过登录账号、密码等安全信息,建议您及时修改。

    这是由于云盾的应用防火墙对URL访问判定存在攻击行为,从而进行了安全拦截。用户可以将自己的本地公网IP,添加到云盾应用防火墙的白名单中,这样就可以避免在正常测试访问中遭遇安全拦截。具体的操作步骤,详情请参考如下KB文档。

    • KB 37914 通过设置白名单解决因误判IP被拦截问题

    阿里官方教程:https://help.aliyun.com/knowledge_detail/37914.html

    展开全文
  • 锁定ip一般都这几种应对办法: 1、技术处理,调节网页爬虫的请求频率。 2、更换ip,自动更改IP地址反爬虫封锁,支持多线程 3、网络处理,代理访问 事实上,方法一是在出问题前就该考虑的,可以用time.sleep...

    昨天,同事让我爬取中国证券监督管理委员会的公墓金的公告,结果没多久就被锁ip了,如下图所示:

    结果到了今天早上也还是被锁,那怎么办呢?锁定ip一般都有这几种应对办法:

    1、技术处理,调节网页爬虫的请求频率。

    2、更换ip,自动更改IP地址反爬虫封锁,支持多线程

    3、网络处理,代理访问

    事实上,方法一是在出问题前就该考虑的,可以用time.sleep()来解决 。但是,现在现在已经被锁了怎么办?我想了半天可以修改ip,最直接的办法就是连接手机热点,这样就不是用公司的ip了。这时候再用方法一,用time.sleep()调节请求频率:

    time.sleep(random.random() * 3)

    这是全部的爬虫代码,headers也是用random函数来随机选择的,代码经供参考:

    import requests
    from lxml import etree
    import random
    import time
    
    User_Agent = [
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR "
        "2.0.50727)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center "
        "PC 5.0; .NET CLR 3.0.04506)",
        "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET "
        "CLR 2.0.50727)",
        "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR "
        "3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
        "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR "
        "2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
        "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; "
        ".NET CLR 3.0.04506.30)",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) "
        "Arora/0.3 (Change: 287 c9dfb30)",
        "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
        "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
        "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 "
        "Safari/535.11",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 "
        "Safari/535.20",
        "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 "
        "TaoBrowser/2.0 Safari/536.11",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 "
        "Safari/537.1 LBBROWSER",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET "
        "CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 "
        "Safari/535.11 LBBROWSER",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET "
        "CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET "
        "CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; "
        "360SE)",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET "
        "CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
        "Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) "
        "Version/5.0.2 Mobile/8C148 Safari/6533.18.5",
        "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:2.0b13pre) Gecko/20110307 Firefox/4.0b13pre",
        "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:16.0) Gecko/20100101 Firefox/16.0",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 "
        "Safari/537.11",
        "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) "
        "Firefox/3.6.10 "
    ]
    headers = {
        "User_Agent": random.choice(User_Agent),
    }
    
    start_url = "http://www.csrc.gov.cn/zjhpublic/832/3266/3296/3601/index_7401.htm"
    for i in range(5):
        if(i!=0):
            start_url = "http://www.csrc.gov.cn/zjhpublic/832/3266/3296/3601/index_7401_{}.htm".format(i)
        html = requests.get(headers=headers, url=start_url).content.decode()
        end_urls = etree.HTML(html).xpath("//div[@class='row']/li[@class='mc']/div/a/@href")
        html_names = etree.HTML(html).xpath("//div[@class='row']/li[@class='mc']/div/a/text()")
        # print(end_urls)
        # print(len(end_urls))
        for num in range(len(end_urls)):
            urls = "http://www.csrc.gov.cn/zjhpublic" + end_urls[num][11:]
            # print(urls)
            time.sleep(random.random() * 3)
            html_content = requests.get(headers=headers, url=urls).content.decode('utf-8')
            html_name = html_names[num]
            filename = html_name+'.html'
            with open(filename, "w", encoding="utf-8") as file_object:
                file_object.write(html_content)

    END

    展开全文
  • 如果您实例或数据修改、变更等风险操作,务必注意实例的容灾、容错能力,确保数据安全。 如果您实例(包括但不限于ECS、RDS)等进行配置与数据修改,建议提前创建快照或开启RDS日志备份等功能。 如果您在云...

    问题描述

    用户在访问ECS服务器上的网站时,提示如下错误:

    解决方案

    • 如果您对实例或数据有修改、变更等风险操作,务必注意实例的容灾、容错能力,确保数据安全。
    • 如果您对实例(包括但不限于ECS、RDS)等进行配置与数据修改,建议提前创建快照或开启RDS日志备份等功能。
    • 如果您在云平台授权或者提交过登录账号、密码等安全信息,建议您及时修改。

    这是由于云盾的应用防火墙对URL访问判定存在攻击行为,从而进行了安全拦截。用户可以将自己的本地公网IP,添加到云盾应用防火墙的白名单中,这样就可以避免在正常测试访问中遭遇安全拦截。具体的操作步骤,详情请参考如下KB文档。

    • KB 37914 通过设置白名单解决因误判IP被拦截问题
    展开全文
  • 可以隐藏真实的访问地址,可以保证网页安全。
  • 1. 如果你还没点确定,那么你就备份一下菜单名的url,点击确定清空后再一个个添加原来的菜单项,当你添加到某一个url突然弹出一个提示 警告你url有问题,那么就能定位出问题的url了 我遇到过微信公众号不支持 一个...

    这种情况,保存修改添加都不可以操作了,点击保存提示需要清空所有的菜单才能正常使用自定义菜单;

    1. 如果你还没点确定,那么你就备份一下菜单名的url,点击确定清空后再一个个添加原来的菜单项,当你添加到某一个url突然弹出一个提示 警告你url有问题,那么就能定位出问题的url了

    我遇到过微信公众号不支持 一个用花生壳映射的url 的链接

    帮到你的话点个赞

    展开全文
  • 今天模拟post请求,取返回的json数据时报错语法错误 问题原因: 当频繁请求服务器上的网站时,对方限制之类 解决办法: 方法一 换ip,或等会再访问 方法二 爬代理IP访问
  • Java面试题大全(2020版)

    万次阅读 多人点赞 2019-11-26 11:59:06
    发现网上很多Java面试题都没有答案,所以花了很长时间搜集整理出来了这套Java面试题大全,希望大家帮助哈~ 本套Java面试题大全,全的不能再全,哈哈~ 一、Java 基础 1. JDK 和 JRE 什么区别? JDK:Java ...
  • 在如下网站安全f管理界面,加下waf白名单,再看下是否还拦截 https://console.qcloud.com/host/waf/whitelist 注意路径栏写url后的请求地址即action路径 ...
  • 大型网站使用,如:腾迅,网易,新浪等等) 缺点:代码多、不少初学者不理解原理,要两句代码结合使用才能让主流浏览器都支持 4,父级div定义 overflow:hidden 原理:必须定义width或zoom:1,同时不能定义height...
  • 程序正在修改URL协议关联

    千次阅读 2020-08-03 11:44:47
    电脑管家提示信息:程序正在修改URL协议关联,修改后网址可能会跳转到指定地址。下边的360则提示:极少软件会修改此项注册新的URL协议,此处容易被木马、病毒利用。如果您不认识此程序,请阻止。 原因 说实话,...
  • url攻击小常识

    千次阅读 2017-08-07 13:48:17
    时候程序员为了偷懒或者是在无意识的情况下缺少了外部数据的过滤,Web安全习惯上将所有用户输入的数据假定为受污染的数据(即可能攻击性的数据),现在比较流行的XSS(跨站脚本攻击)就是利用用户输入过滤...
  • 1、在建设反向链接过程中,因为动态URL的非永久性,所以它不如静态URL有优势。 2、动态URL较之静态的URL不利于搜索引擎抓取。 3、动态网址的生成是采集数据库的内容,所以不能保证网页内容的稳定性和链接的永久性...
  • 下面两种版本status-page-url和health-check-url的自动生成规则进行简述。 后面章节1.5.6.RELEASE生成规则的源码解读,关于1.5.8RELEASE的生成规则源码解读可以参考进行。 1.5.6.RELEASE版本status-page-...
  • js中对URL进行转码与解码

    万次阅读 2018-04-16 16:56:41
    escape()不能直接用于URL编码,它的真正作用是返回一个字符的Unicode编码值。 采用unicode字符集指定的字符串除0-255以外进行编码。所有的空格符、标点符号、特殊字符以及更多联系非ASCII字符都将被转化成%xx...
  • js对url进行base64加密解密

    千次阅读 2020-02-29 13:14:18
    作为url参数主要需要过滤base64高频且影响加载的内容,核心以下8种 把特殊符号替换为16进制 + 空格 / ? % & = # %2B %20 %2F %3F %25 %26 &3D %23 进行...
  • 您访问的网站被机房安全管理系统拦截,可能是以下原因造成: 1.您的网站未备案,或者原备案号被取消,进入快速免费备案通道. 2.您的网站未添加网站白名单,快速添加网站白名单.如果已添加,请等待白名单生效. 3.您的...
  • 输入URL全过程

    千次阅读 2019-03-14 14:51:04
    当我们开始在浏览器中输入网址的时候,浏览器其实就已经在智能的匹配可能url 了,他会从历史记录,书签等地方,找到已经输入的字符串可能对应的 url,然后给出智能提示,让你可以补全url地址。对于 google的...
  • 关于URL编码 空格的处理问题

    千次阅读 2018-06-12 13:59:07
    在做一个项目的时候一个变量中带空格处理后,后台却无法解析了,我用的是HTTP协议传输,当初我传+号的时候变的是空格,以为空格就是变得+号,但是做签名的时候怎么都验签不过,发现了这个问题...URL中的空格时候...
  • 为什么要进行URL编码

    千次阅读 2017-09-19 13:26:17
    HTTP协议中参数组件的传输是“key=value”键值的形式,如果要传输多个参数就需要用“&”符号键值进行分隔。例如?name1=value1&name2=$value2,这样在服务器收到这种字符串的时候,会用“&”分隔出每一个参数,...
  • URL跳转漏洞的危害

    万次阅读 2017-01-03 20:05:55
    一直以来,对URL跳转漏洞的理解,仅限于钓鱼、欺骗等,无法影响到当前业务。但前几天看到一个漏洞,让我对URL跳转的危害理解又加深了一层。...这种问题不产生直接危害,但可能造成其他安全防护功能的绕过。
  • 网址URL中特殊字符转义编码

    千次阅读 2018-07-27 20:45:42
    原文:https://blog.csdn.net/pcyph/article/details/45010609 网址URL中特殊字符转义编码 字符 - URL编码值 空格 - %20 " - %22 # - %23 % - %25 & - %26 ( - ...
  • fastJson解析URL中&特殊字符报错

    千次阅读 2019-04-09 22:35:02
    1.楔子 在做消息推送的时候,突然报出一个fastJosn解析json错误的报错,找...还人说是fastjson版本,字符串编码等问题,最后被逐一排除,定位到是含有特殊字符& json文件中含有如下的URL: 3.解决方式 定位到...
  • 点击标题下「蓝色微信名」可快速关注URL优化需要遵循一些原则, 采用以下方法,网页的用户体验更佳,同时搜索引擎更友好。01URL越短越好对于搜索引擎来说,只要URL不超过265Byte,收录就没有问题。如果使用几百个...
  • 动态URL、静态URl、伪静态URL概念 及区别

    千次阅读 多人点赞 2019-04-16 13:29:22
    我们说url的动态、静态、伪静态三种形式,其实从严格分类上来说,伪静态也是动态的一种,只是表现形式为静态。 参考:https://bk.likinming.com/post-2674.html 动态URl 动态页面的特征 1、以ASP、PHP、JSP、ASP...
  • url 编码(percentcode 百分号编码)

    千次阅读 2015-11-18 08:41:23
     ... ...本文主要针对URI编解码的相关问题做了介绍,对Url编码中哪些字符需要编码、为什么需要编码做了详细的说明,并对比分析了Javascrip
  • Spring Boot -01- 快速入门篇(图文教程)

    万次阅读 多人点赞 2018-11-28 13:31:59
    Spring Boot 的设计是为了让你尽可能快的跑起来 Spring 应用程序并且尽可能减少你的配置文件。 设计目的: 用来简化新 Spring 应用的初始搭建以及开发过程。 从最根本上来讲,Spring Boot 就是一些库的集合,它...
  • URL编码与解码原理

    万次阅读 2018-08-22 20:20:16
    URL地址里包含非西欧字符的字符串时,系统会将这些字符转换成application/x-www-form-urlencoded字符串。 表单里提交时也是如此,当包含非西欧字符的字符串时,系统也会将这些字符转换成applicatio...
  • url 命名规范

    千次阅读 2020-05-19 13:32:58
    2、无论是网站的可用性还是网站对搜索引擎的吸引力,清晰明了的浏览路径都是相当重要的,URL是统一资源定位,即每个网页的网址、路径。 3、浏览路径让网站的导航结构更清晰,可以更加平衡的分布网站
  • URL命名原则

    千次阅读 2017-03-01 13:29:12
    1. RESTful优先原则 1.1. URL命名原则 ...1、 URL请求采用小写字母,数字,...2、 URL请求中不采用大小写混合的驼峰命名方式,尽量采用全小写单词,如果需要连接多个单词,则采用连接符“_”连接单词 3、 
  • URL重定向漏洞(中风险)

    千次阅读 2020-10-10 10:02:07
    风险描述: 攻击者可以将参数中URL值引入任意开发者的URL或者钓鱼网站; 风险分析: 部分HTTP参数会保留URL值,这会导致Web应用程序将请求重定向到指定的URL,攻击者可以将URL改为恶意站点,从而启动钓鱼网站欺骗...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 177,940
精华内容 71,176
关键字:

url有可能对网站造成