导致百度索引量下降的常见原因--
一、网站方原因
 1、内容数据所在的网址url未规范统一
 【自己站点url规范统一】
 多域名都可以200状态正常访问网页内容；一域名下出现多种url形式可以访问相同内容，如大小写url、url规则变更等。
 解决：选择主域名(或主url)，其他域名下的所有url都301重定向到主域名(或主url)，并站长工具提交域名改版(或目录url改版)
 【外部平台使用己站数据】
 A、市场合作，站点数据调用到其他平台上；内容主动外发，推广人员完整转发自有内容到高质量平台--这两个原因都有可能导致搜索引擎收录了外部平台的内容而拒绝了原网站内容
 解决：使用站长平台链接提交工具的主动推送功能，及时提交网站新出现的链接，延迟将内容调用到其他平台的时间；
 B、被镜像，用户通过其他举办主体的域名或url直接可访问己方内容。
 解决：关注域名解析安全和服务器安全；绑定唯一可解析的域名或唯一可访问的url;页面内容中链接使用绝对地址
 2、站点受青睐度下降
 【网页内容相关】
 A、内容质量度下降
 解决：提高内容质量度，详见百度站长学院相关内容；杜绝简单拷贝，多做整合信息。
 B、更新量及频率下降
 解决：稳定的更新频率，视内容发展情况，扩充编辑团队，生产更多新内容，让网站索引避免下降，持续增加。(当更新量及频率下降明显，那么配额就会下降，首先表现抓取频次下降，导致索引量下降)
 C、时效性信息消失
 解决：时效性的信息，大部分一般在数据库不会长期保留，所以需要持续挖掘新的时效信息点，整合相关内容。
 D、部分区域出现不良信息
 解决：杜绝大量外链软文、恶劣弹窗广告、非法敏感类信息、专门针对搜索引擎作弊的内容等
 【触犯惩罚算法】
 解决：北京乳头内陷手术费是多少http://www.2009com.com/BJYestar/show-14-1505-1.shtml关注站长工具消息和百度网页搜索动态。按官方公告说明来整改站点，并进行反馈，然后等待算法更新。
 【特型url不被信任】
 解决：定制各类url的索引查询规则；定位索引量下降的特型url;排查该类url当日、前一日、本周、历史索引情况；找出未被入库的数据可能存在的问题；处理完后，增强该类url与百度数据沟通(途径有sitemap、批量提交url、数据推送等)。
 【站点被搜索引擎信任度下降】
 A、非法投票嫌疑(链接工厂等)
 解决：珍惜自己页面的投票权，对于劣质网页坚决不投票，尽量减少站点的导出链接。
 B、主题变动(如从教育领域跨入医疗领域)
 解决：将旧领域的网页进行死链处理后向百度进行提交，封禁相关旧url的被访问权，然后再上线新主题相关内容，加强对百度的数据提交
 C、受牵连
 相同ip下非法站点偏多，同一域名所有人举办的网站大都被惩罚且情况恶劣等
 解决：离开恶邻，获取搜索引擎的各产品的相关反馈方式，请求给予解禁，等待恢复正常索引。
 D、政策性原因
 如香港主机、国外主机站点由于各种你懂的原因，稳定性可能较差
 解决：国内主机备案，合法符合政策经营
 3、网页模板相关
 【主体内容区域对蜘蛛的限制】
 解决：取消登陆查看信息等限制，让蜘蛛便捷畅快的"采集"到己站数据
 【启用了对蜘蛛不友好的技术】
 解决：对需要蜘蛛识别的内容，不要启用对蜘蛛不友好的技术来调用。
 【响应式模板干扰蜘蛛识别页面类型(pc、移动)】
 解决：提交特定的url对应关系(尽量parrten级)；meta标记移动版本url及适合浏览的设备；自主适配；增强pc、移动不同模板源码标签的区分度，帮助百度识别页面类型
 4、源码相关
 【源码错误较严重，如编码错误、标签使用错误等；源码改动严重，蜘蛛"采集"数据后重新观察分析；某类url下的TD(网页title、description)变化，如变化比例大、变化页面量大，页面进行更改后会重走建索引库流程，如果页面质量达不到建索引库标准会从线上消失】
 解决：校验源码，准确的源码是蜘蛛"采集"数据进行分析的基础；link内链结构、url地址形式、页面主题、页面各区域html标记等尽量维持改动前的情况；逐步、分期更换TD(网页title、description)，结合页面主题、用户实际需求来制定合理的TD,不欺骗不误导用户。
 5、已入库的url对蜘蛛状态有变化
 【robots声明，禁止蜘蛛抓取】
 解决：查看百度站长工具robots及抓取情况。
 【url规则变化，原有url无法访问】
 解决：特别是linux和win服务器之间的数据迁移，可能会出现大小写url支持变化，确保各类url规则不变化。url必须重构的时候，做好旧新url301重定向，站长工具提交改版需求。
 【提示错误页面】
 解决：由于误删，则可以数据恢复，并维持url对应网页内容的更新变化，提高抓取频次。如果确定要删除，那么提交死链，删除死链后，再robots禁止，这种情况的索引下降无需担忧。
 【被入侵】
 解决：防止url对蜘蛛进行非法跳转操作；防止url对应的网页内容对蜘蛛出现内容大变化，特别是一些违法乱纪的内容
 6、DNS、服务器问题
 【DNS问题】
 dns不稳定；dns不安全
 解决：选择可靠的dns服务；沟通强调对蜘蛛的稳定性；防止dns解析到非正常ip;防止解析的网站ip频繁变动。防止dns管理漏洞，导致被恶意解析；防止dns解析挂靠在小代理等技术能力、管理规范、道德法律约束都欠缺的平台上。
 【服务器问题】
 A、可访问性差
 解决：尽量让目标地区所有运营商来路的用户都能在3秒内打开网站，最佳1秒内；监控网站运行状态，合理设置目标地区的所有运营商监控节点及监控项目、监控频率
 B、屏蔽百度ua或ip
 解决：多利用百度站长工具，查看百度抓取网页的情况，可见
 C、防刷压力值设定
 解决：将蜘蛛解析到专用空间；如出现访问陡增的ip,查看是否为蜘蛛再确定是否禁止访问。
二、百度方原因
 1、配额再分配
 同类数据量接近索引分配总额，配额量再分配，有升的就会有降的
 解决：超过竞品，争取高额分配。
 2、数据异常错误
 A、错误惩罚
 应对某类作恶行为而新算法上线，但由于蝴蝶效应，导致部分站点被错误惩罚而清除大量索引。
 解决：反馈百度方，请求解除惩罚。
 B、地区性数据异常
 部分地区数据抓取或查询异常，导致误判站点情况而清除相应索引数据或输出错误索引量，如百度dns系统升级事件。
 解决：反馈百度方，由百度检查各地蜘蛛执行情况。
 C、接口调用数据错误、数据丢失、数据备份衍生异常
 解决：反馈百度方，由百度检查相关数据情况。

XSS攻击：跨站脚本攻击(Cross-Site Scripting)，为了不和层叠样式表(Cascading Style Sheets, CSS)的缩写混淆， 故将跨站脚本攻击缩写为XSS。XSS是一种常见的web安全漏洞，它允许攻击者将恶意代码植入到提供给其它用户使用的页面中。
这个是动态站点的威胁，静态站点完全不受其影响。
XSS分类
存储型XSS：
主要出现在让用户输入数据，供其他浏览此页的用户进行查看的地方，包括留言、评论、博客日志和各类表单等。应用程序从数据库中查询数据，在页面中显示出来，攻击者在相关页面输入恶意的脚本数据后，用户浏览此类页面时就可能受到攻击。这个流程简单可以描述为:恶意用户的Html输入Web程序->进入数据库->Web程序->用户浏览器。
反射型XSS：
将脚本代码加入URL地址的请求参数里，请求参数进入程序后在页面直接输出，用户点击类似的恶意链接就可能受到攻击。
XSS目前主要的手段和目的如下：
盗用cookie，获取敏感信息。
利用植入Flash，通过crossdomain权限设置进一步获取更高权限；或者利用Java等得到类似的操作。
利用iframe、frame、XMLHttpRequest或上述Flash等方式，以(被攻击者)用户的身份执行一些管理动作， 或执行一些如:发微博、加好友、发私信等常规操作，前段时间新浪微博就遭遇过一次XSS。
利用可被攻击的域受到其他域信任的特点，以受信任来源的身份请求一些平时不允许的操作，如进行不当的投票活动。
在访问量极大的一些页面上的XSS可以攻击一些小型网站，实现DDoS攻击的效果
XSS原理
Web应用未对用户提交请求的数据做充分的检查过滤，允许用户在提交的数据中掺入HTML代码(最主要的是“>”、“
以反射性XSS举例说明XSS的过程，现在有一个网站，根据参数输出用户的名称， 例如访问url：http://127.0.0.1/?name=foobar，就会在浏览器输出如下信息：
hello foobar
如果我们传递这样的url：
http://127.0.0.1/?name=
这时你就会发现浏览器跳出一个弹出框，这说明站点已经存在了XSS漏洞。
那么恶意用户是如何盗取Cookie的呢？与上类似，如下这样的url：
http://127.0.0.1/?name=
这样就可以把当前的cookie发送到指定的站点：www.xxx.com
你也许会说，这样的URL一看就有问题，怎么会有人点击？是的，这类的URL会让人怀疑，但如果使用短网址服务将之缩短 ，你还看得出来么？攻击者将缩短过后的url通过某些途径传播开来，不明真相的用户一旦点击了这样的url， 相应cookie数据就会被发送事先设定好的站点，这样子就盗得了用户的cookie信息， 然后就可以利用Websleuth之类的工具来检查是否能盗取那个用户的账户。
预防XSS
答案很简单，坚决不要相信用户的任何输入，并过滤掉输入中的所有特殊字符。这样就能消灭绝大部分的XSS攻击。
目前防御XSS主要有如下几种方式：
过滤特殊字符
避免XSS的方法之一主要是将用户所提供的内容进行过滤。
使用HTTP头指定类型
header.set("Content-Type

业务需求拓展、网络安全威胁日益增加、原先IDC产品体验不好等等原因，都有可能导致站长更换高防服务器。但不论是更换同一IDC服务商不同类型的服务器，还是直接更换其他的IDC服务商，都必须要考虑的问题就是网站在进行服务器转移需要做好哪些准备。
　　1.做好前期的检查工作
　　在打算转移服务器前，要优先选择适合网站长期发展的高防服务器，首先检查要更换的主机IP是否安全、是否有其他非法网站、服务器的是否有限制以及是否被搜索引擎屏蔽等，还要考察服务器的访问速度、稳定性、安全性、售后服务以及口碑等问题。
　　2.检测服务器与网站的兼容性
　　为防止出现不兼容的情况而造成不良的影响，在网站转移高防服务器之前，要先对服务器的兼容性进行测试。可以通过将数据库及文件上传到新主机上，利用临时的URL对其进行测试。
　　3.给网站数据做备份
　　数据是网站最重要的组成，在服务器转移中，备份数据库是很有必要的。迁移网站前切记，一定要备份。如果站长对网站的目录架构不是很清楚，也可以多花点时间来备份整站。
　　4.保留原网站至少7天
　　准备网站迁移的话，不要急着先把原网站内容格式化，至少要将原有网站内容保存7天以上，这几天内不用更新网站，这是为了保证搜索引擎仍可以使用原来的IP地址访问到网站的内容。因为很多搜索引擎会都会缓存DNS，如果迁移网站马上就删除原网站的全部数据，就可能导致出现大量的404错误页面，因此一定要等搜索引擎更新DNS缓存之后，才可以删除原数据。
　　5.迁移尽量选择访问量少的时段
　　一般情况下，凌晨这个时段是比较好的迁移时间或者选择早上6-7点这个时间段。要注意的是，千万不要在下午2-5点和晚上8-11点更换，毕竟对于大部分网站来说，这两个时间段是上网高峰期，也是很多网站访问量达到顶峰的时刻。
　　6.确认新网站是否正常
　　使用FTP迁移到新的虚拟主机上，要手动确认网站能否正常访问，一般主机供应商都会提供一个免费的三级域名，在三级域名上对要迁移过来的网站进行测试，如果测试没问题，就开始对域名进行从新解析。
　　7.将域名绑定到新的IP
　　在服务器进行转移之后，我们需要将域名绑定到新的ip上，以保证网站在新服务器上的正常访问。在操作的过程中一定要细心谨慎，一旦操作错误，很有可能会给网站带来很大的负面影响。
　　网站迁移到高防服务器的工作还是很重要的，遗漏一些细节或者操作错误都有可能造成一定的损失。

今天模拟post请求，取返回的json数据时报错语法错误


问题原因：
当频繁请求服务器上的网站时，对方有限制之类


解决办法：
方法一 换ip，或等会再访问
方法二 爬代理IP访问