前言 
同源策略：判断是否是同源的，主要看这三点,协议，ip，端口。
同源策略就是浏览器出于网站安全性的考虑，限制不同源之间的资源相互访问的一种政策。
比如在域名https://www.baidu.com下，脚本不能够访问https://www.sina.com源下的资源，否则将会被浏览器拦截。
注意两点：
1.必须是脚本请求，比如AJAX请求。
但是如下情况不会产生跨域拦截
2.跨域拦截是前端请求已经发出，并且在后端返回响应时检查相关参数，是否允许接收后端请求。
 在微服务开发中，一个系统包含多个微服务，会存在跨域请求的场景。
本文主要讲解SpringBoot解决跨域请求拦截的问题。
搭建项目
这里创建两个web项目，web1 和 web2.
web2项目请求web1项目的资源。
这里只贴关键代码，完整代码参考GitHub
WEB2
创建一个Controller返回html页面
@Slf4j@Controllerpublic class HomeController { @RequestMapping("/index") public String home(){ log.info("/index"); return "/home"; }}
html页面 home.html
这里创建了一个按钮，按钮按下则请求资源："http://localhost:8301/hello"
 web2

场景分析

当我们在微信内分享链接或二维码的时候，我们会发现我们的网站是可以在浏览器里正常打开的，但就是不能在微信里打开，提示 “ 已停止访问该网页 ”，无论是聊天框也一样。说是系统检测到您的网址被微信策略屏蔽，有任何问题请到微信拦截页面上申诉处理。相信大部分使用微信分享转发链接的朋友，都碰到过链接在微信中无法打开的问题。通常这种情况微信会给个提示 “已停止访问该网址” ，导致这个情况的因素有以下三点。

 



1、分享链接被多人举报。

2、链接含违规内容，含敏感词。

3、被腾讯检测系统判断为诱导分享内容。

被人举报我们无法阻止，因为现在行业竞争大，举报的人里其实用户占很少数，多数都是来自同行的恶意举报，这是没有办法的事。第一种情况我们无法避免，但是我们可以避免链接因含敏感词或者含违规内容从而被腾讯主动拦截。

那么有朋友问到底怎么避免呢？今天就跟大家细谈一下微信内打开链接提示已停止访问的解决方案。

方案一

实现微信跳转链接，也就是微信内置浏览器自动跳转其他浏览器打开链接。首先我们需要对分享域名加JS防封接口，然后我们再加入浏览器外跳接口，以达到我们的期望需求。

功能实现后， 苹果用户即可在微信内直接下载app也可以跳转浏览器下载，安卓用户则自动打开手机浏览器下载app， 如果不含下载文件，则直接从微信内跳转到手机浏览器访问指定页面 。下面是含app下载文件的实现效果：

1. 苹果跳转浏览器效果



2. App Store应用实现效果



3. 企业版app实现效果



4. 安卓用户则自动打开手机默认浏览器访问指定h5页面或者下载app。



方案二

实现微信域名防封。

 

用以上两种方式皆可以避免分享链接在微信内被拦截，功能实现后用户在微信内打开分享链接就可以正常访问了。

如此一来我们就解决了域名被微信拦截而无法打开的问题了，那么接下来就可以在微信内大量的分享链接或二维码来进行宣传引流。不仅提高了用户体验，也能够极大地提高自己的APP在微信中的推广转化率，充分利用微信的用户群体来达到我们的期望。   

上一次我自学爬虫的时候, 写了一个简陋的勉强能运行的爬虫alpha. alpha版有很多问题. 比如一个网站上不了,
爬虫却一直在等待连接返回response, 不知道超时跳过; 或者有的网站专门拦截爬虫程序,
我们的爬虫也不会伪装自己成为浏览器正规部队; 并且抓取的内容没有保存到本地, 没有什么作用. 这次我们一个个解决这些小问题.
此外, 在我写这系列文章的第二篇的时候, 我还是一个对http的get和post以及response这些名词一无所知的人,
但是我觉得这样是写不好爬虫的. 于是我参考了 <> 这本书的第二章的大部分内容.
如果你也一样对http的机制一无所知, 我也推荐你找一找这方面的资料来看. 在看的过程中, 安装一个叫做Fiddler的软件,
边学边实践, 观察浏览器是如何访问一个网站的, 如何发出请求, 如何处理响应, 如何进行跳转, 甚至如何通过登录认证.
有句老话说得好, 越会用Fiddler, 就对理论理解更深刻; 越对理论理解深刻, Fiddler就用得越顺手.
最后我们在用爬虫去做各种各样的事情的时候, Fiddler总是最得力的助手之一.
添加超时跳过功能
首先, 我简单地将
urlop = urllib.request.urlopen(url)
改为
urlop = urllib.request.urlopen(url, timeout = 2)
运行后发现, 当发生超时, 程序因为exception中断. 于是我把这一句也放在try .. except 结构里,
问题解决.
支持自动跳转
在爬 http://baidu.com 的时候, 爬回来一个没有什么内容的东西, 这个东西告诉我们应该跳转到
http://www.baidu.com . 但是我们的爬虫并不支持自动跳转, 现在我们来加上这个功能, 让爬虫在爬
baidu.com 的时候能够抓取 www.baidu.com 的内容.
首先我们要知道爬 http://baidu.com 的时候他返回的页面是怎么样的, 这个我们既可以用 Fiddler 看,
也可以写一个小爬虫来抓取. 这里我抓到的内容如下, 你也应该尝试一下写几行 python 来抓一抓.
看代码我们知道这是一个利用 html 的 meta 来刷新与重定向的代码, 其中的0是等待0秒后跳转, 也就是立即跳转.
这样我们再像上一次说的那样用一个正则表达式把这个url提取出来就可以爬到正确的地方去了. 其实我们上一次写的爬虫已经可以具有这个功能,
这里只是单独拿出来说明一下 http 的 meta 跳转.
伪装浏览器正规军
前面几个小内容都写的比较少. 现在详细研究一下如何让网站们把我们的Python爬虫当成正规的浏览器来访. 因为如果不这么伪装自己,
有的网站就爬不回来了. 如果看过理论方面的知识, 就知道我们是要在 GET 的时候将 User-Agent
添加到header里.
如果没有看过理论知识, 按照以下关键字搜索学习吧 :D
HTTP 报文分两种: 请求报文和响应报文
请求报文的请求行与首部行
GET, POST,
HEAD, PUT, DELETE 方法
我用 IE 浏览器访问百度首页的时候, 浏览器发出去的请求报文如下:
GET http://www.baidu.com/ HTTP/1.1
Accept: text/html, application/xhtml+xml, **', 'Accept-Language':
'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3', 'User-Agent':
'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like
Gecko' }) oper = urllib.request.urlopen(req) data = oper.read()
print(data.decode())
第二种方法使用了 build_opener 这个方法, 用来自定义 opener, 这种方法的好处是可以方便的拓展功能,
例如下面的代码就拓展了自动处理 Cookies 的功能.
import urllib.request
import http.cookiejar
# head: dict of header
def makeMyOpener(head = {
'Connection': 'Keep-Alive',
'Accept': 'text/html, application/xhtml+xml, **
Accept-Language: en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3
可见我们在代码里写的东西都添加到请求报文里面了.
保存抓回来的报文
顺便说说文件操作. Python 的文件操作还是相当方便的. 我们可以讲抓回来的数据 data 以二进制形式保存, 也可以经过
decode() 处理成为字符串后以文本形式保存. 改动一下打开文件的方式就能用不同的姿势保存文件了. 下面是参考代码:
def saveFile(data):
save_path = 'D:\\temp.out'
f_obj = open(save_path, 'wb') # wb 表示打开方式
f_obj.write(data)
f_obj.close()
# 这里省略爬虫代码
# ...
# 爬到的数据放到 dat 变量里
# 将 dat 变量保存到 D 盘下
saveFile(dat)
下回我们会用 Python 来爬那些需要登录之后才能看到的信息. 在那之前, 我已经对 Fiddler 稍微熟悉了.
希望一起学习的也提前安装个 Fiddler 玩一下.

一套好的产品可以让你事半功倍，这是一套直接在微信内即可打开app下载地址就行直接下载免去手动选择浏览器打开下载的，中间环节。大大减少意向用户的流失。
APP内测分发网站微信免跳转 . app分发微信内直接下载
相信不少朋友都有这个烦恼那就是自己开发的app 会被腾讯系产品拦截，不让直接下载，使得客户流失加速，又尤其是不会操作的用户，对于他们来说手动选择浏览器下载是一步无法逾越的困难，如果你也是棋牌源码、网站源码、app制作等开发人员。这套产品能帮你达到意向不到的效果
此网站源码是仿fir开发的一套产品，在此基础上优化了微信内的安装方式，即无需再打开浏览器，实时安装，避免客户流失。
伪静态规则：
if (!-d $request_filename){ set $rule_0 1$rule_0;}if (!-f
$request_filename){ set $rule_0 2$rule_0;}if ($rule_0 = “21”){ rewrite
^/([a-z0-9A-Z]+)$ /app.php/$1 last;}
推荐用宝塔环境安装此套产品：
推荐的最低配置：cpu：4h 内存：8g 硬盘：1t 带宽：100M bgp
php插件 7.0及以上 mysql 5.6 nginx 1.4 选装 redis
配置域名网站，将程序上传到根目录，然后运行 http://你的域名/http://imapp.cc 比如：https://www.dwr9.com/imapp.cc 按照页面提示配置 数据库信息、后台账号密码和认证码。到此安装结束。