谷歌浏览器限制端口

       今天本地启动了个web服务器在谷歌浏览器浏览出现了问题，出现访问别拒绝的现象，于是查了下，发现是谷歌对某些端口做了限制：

1： // tcpmux

7： // echo

9： // discard

11： // systat

13： // daytime

15： // netstat

17： // qotd

19： // chargen

20： // ftp data

21： // ftp access

22： // ssh

23： // telnet

25： // smtp

37： // time

42： // name

43： // nicname

53： // domain

77： // priv-rjs

79： // finger

87： // ttylink

95： // supdup

101： // hostriame

102： // iso-tsap

103： // gppitnp

104： // acr-nema

109： // pop2

110： // pop3

111： // sunrpc

113： // auth

115： // sftp

117： // uucp-path

119： // nntp

123： // NTP

135： // loc-srv /epmap

139： // netbios

143： // imap2

179： // BGP

389： // ldap

465： // smtp+ssl

512： // print / exec

513： // login

514： // shell

515： // printer

526： // tempo

530： // courier

531： // chat

532： // netnews

540： // uucp

556： // remotefs

563： // nntp+ssl

587： // stmp?

601： // ??

636： // ldap+ssl

993： // ldap+ssl

995： // pop3+ssl

2049： // nfs

3659： // apple-sasl / PasswordServer

4045： // lockd

6000： // X11

6665： // Alternate IRC [Apple addition]

6666： // Alternate IRC [Apple addition]

6667： // Standard IRC [Apple addition]

6668： // Alternate IRC [Apple addition]

6669： // Alternate IRC [Apple addition

 

一般当你的爬虫程序爬起来以后，出现这种情况就是因为你要爬取的网站对爬虫进行了限制。

真小气！！！

直接用火狐浏览器去查看他的User-Agent就可以了



然后：

def getHtml(url):

    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:60.0) Gecko/20100101 Firefox/60.0'}

    page1=urllib.request.Request(url,headers=headers)

    page=urllib.request.urlopen(page1)

    html=page.read()

这样就可以了

我发起一个http url，报错post 400 bad request





原因是：

注：这篇文章为2017年10月发布，可能qq音乐已经做了更改，本例子不一定适用，仅供参考。
（提示于：2018-05-01）
最近在做一个抓取qq音乐接口数据的音乐App，使用vue开发，数据都从qq音乐中抓取，开发过程中遇到一个问题，比如以下接口：
https://c.y.qq.com/splcloud/fcgi-bin/fcg_get_diss_by_tag.fcg?g_tk=1928093487&inCharset=utf-8&outCharset=utf-8¬ice=0&format=jsonp&platform=yqq&hostUin=0&sin=0&ein=29&sortId=5&needNewCode=0&categoryId=10000000&rnd=0.10249614437651289
在qq音乐官网中可以查看到此为一个jsonp接口，理应通过jsonp跨域就可以获取到数据。但本人在开发时发现，发送jsonp请求会报500错误！
为什么一个jsonp请求却会报500错误呢？原因如图：

解释：qq音乐做了host和referer的校验，即该请求是在qq音乐该页面下发送的才会成功！！
我第一时间想到的解决方法是配置proxyTable代理，后来才想起来config文件夹下index.js中的proxyTable只是用于解决跨域问题，但这次的不只是跨域问题，而是跨域+host以及referer的限制！如果只是跨域问题，那么jsonp就足以解决！从纯前端的角度，我们是无法修改host和referer的，起码我知道的方法没有，那么我们应该如何改变host和referer？
亲测可用的解决办法：axios+devServer配置。
完整代码：
vue层methods：

api层封装方法：

跨域解决以及referer和host的修改
安装好axios后，在build文件夹下的webpack.dev.conf.js中的devServer中加上做一下配置：

至此，以上vue中methos请求的接口已经能成功返回数据，qq音乐做了限制的接口数据就这样被我们抓取到了，运行结果如下：