精华内容
下载资源
问答
  • 网站下线维护时,该发哪个http header头信息状态码给搜索引擎?

    网站下线维护时,该发哪个http header头信息状态码给搜索引擎?

    向搜索引擎返回正确的http header头信息状态码, 是SEO最基本的。当页面不存在时,返回404;当将一个url地址永久重定向到另一url地址时,返回301;那当网站下线维护期间,应该向搜索引擎返回哪个header状态码呢?

    我读到两篇文章讲得非常清楚,应该返回503 service temporarily unavailable。一篇是http://www.askapache.com/htaccess/503-service-temporarily-unavailable.html。这篇文章讲到:如果搜索引擎刚好在网站维护时造访,错误地返回404或者500,那么已被索引的页面的pagerank极有可能丢失。在返回503状态码给爬虫时,还应该发Retry-After头信息给爬虫,告诉爬虫多久后再来造访。比如Retry-After: 3600,是告诉搜索引擎请在3600秒后再来访问。 另一篇文章地址找不到了,那篇文章还引用了google webmaster center里的一段文字来证明应该返回503。

    我的实例

    不久前,我做的一个小站下线了一段时间,期间都是返回503给搜索引擎。今天重新上线,我登陆谷歌网站管理员中心,在crawl errors栏目里看到好些robots.txt unreachable的错误信息。查看了google webmaster center关于URL unreachable errors的说明,才知道google抓取页面时,会先检测网站根目录下是否存在robots.txt,如果存在则google不会索引robots.txt里禁止索引的页面。如果不存在(返回了404)则google认为所有页面都是允许索引的。我的实际情况是,维护期间我的网站根目录下实际不存在robots.txt,而且我的设置是所有地址都返回503。这样googel检测是否存在robots.txt时得到的是503状态码,就是google所谓的robots.txt file unreachable(因为既不是404,也不是200)。当robots.txt file unreachable时,google停止索引网站,过段时间当google检测到存在robots.txt或检测到不存在robots.txt时(404),再继续索引网站。

    结论

    网站维护时,发503给搜索引擎,同时,当google检测是否存在robots.txt时也发503给她。

    展开全文
  • Hadoop绝非一个简单程序,集群模式下更是如此,所有的数据都存储在Hadoop中如果操作不当会存在丢失数据的风险,那么怎么在安全的情况,扩容下线维护或者磁盘满了怎么增加空间,就是今天的主要内容了.附上:Hadoop的官网:...

    Hadoop绝非一个简单程序,集群模式下更是如此,所有的数据都存储在Hadoop中如果操作不当会存在丢失数据的风险,那么怎么在安全的情况,扩容下线维护或者磁盘满了怎么增加空间,就是今天的主要内容了.

    附上:

    Hadoop的官网:hadoop.apache.org
    喵了个咪的博客:w-blog.cn

    1.增加节点

    当磁盘满了或节点不够处理速度慢了都需要对节点或者通过增加节点的方式进行磁盘扩容,这个时候就需要用到Hadoop扩容机制了

    通过如下命令可以查看各节点情况磁盘容量等

    > hadoop dfsadmin -report

    笔者现在有两个节点两还剩下大约 33GB的容量,我们先向HDFS中写入一些数据(笔者这里写入了9.1GB的数据)

    > hdfs dfs -mkdir input
    > hdfs dfs -put /app/install/* input

    可以看到已经写入了很多大文件这个时候查询集群状态会发现两个节点从原本的33GB剩余已经缩减到了23GB,因为现在我们只有两个节点选择的备份数量也是2个所以每份文件都会在两个节点中进行存储

    首先先进行节点扩容我们的hadoop-1现在只是作为了NameNode现在要把hadoop-1加入DataNode中然后把现在有的数据进行平均负载让hadoop-1也承担一部分文件存储工作

    在master节点上修改slaves增加hadoop-1

    > vim /usr/local/hadoop-2.7.3/etc/hadoop/slaves
    hadoop-1

    在需要增加到集群的节点中指向如下命令

    > hadoop-daemon.sh start datanode #启动datanode
    > yarn-daemons.sh start nodemanager #启动yarn

    在master节点上执行

    hadoop dfsadmin -refreshNodes #刷新识别新增加的节点
    yarn rmadmin -refreshNodes    #刷新yarn识别新节点

    这个时候在通过 hadoop dfsadmin -report 查看集群状况就可以看到增加了一个节点,但是这个节点暂时没有存储任何的文件需要指向如下命令将文件进行负载均衡

    如果不balance,那么cluster会把新的数据都存放在新的node上,但是这样会降低mapred的工作效率
    设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长

    start-balancer.sh -threshold 5

    如果拷贝时间非常慢可以通过修改hdfs-site.xml设置balance的带宽,默认只有1M/s

    > vim /usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
    <property>
      <name>dfs.balance.bandwidthPerSec</name> 
      <value>10485760</value> 
      <description> 
        Specifies the maximum amount of bandwidth that each datanode  
        can utilize for the balancing purpose in term of  
        the number of bytes per second.  
      </description>
    </property>

    2.下线节点

    当我们不需要节点或者是需要对节点进维护(比如增加磁盘等操作需要重启)希望能够平滑下线Hadoop提供对应的方式

    在NameNode节点中添加(或修改)如下配置项到hdfs-site.xml

    > vim /usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
    <property>  
             <name>dfs.hosts.exclude</name>  
             <value>/usr/local/hadoop-2.7.3/etc/hadoop/dfshosts.exclude</value>   
    </property>  

    编辑dfshosts.exclude 增加需要下线的节点名称

    > vim /usr/local/hadoop-2.7.3/etc/hadoop/dfshosts.exclude
    hadoop-2

    在执行下线命令

    hdfs dfsadmin -refreshNodes

    在通过查看节点就会发现有一个 Decommissioning datanodes 此时任何数据都不会写入到下线的datanode中(下线的节点中有数据的话hadoop复制该datanode block至其他datanode需要一定的下线时间)此时下线的是hadoop-2 , hadoop-2中的块将会被迁移到 hadoop-1中,前已完成之后Decommissioning datanodes将会消失然后就可以关闭hadoop-2中的服务了,如果需要在加入到集群中只需要去除dfshosts.exclude在重新刷新

    下线nodemanager也是一样修改l增加如下配置

    > vim /usr/local/hadoop-2.7.3/etc/hadoop/yarn-site.xml
    <property>  
             <name>mapred.hosts.exclude</name>  
             <value>/usr/local/hadoop-2.7.3/etc/hadoop/dfshosts.exclude</value>   
    </property>

    执行下线命令

    yarn rmadmin -refreshNodes

    在已经下线的节点就可以正常的关闭 datanode进程

    hadoop-daemon.sh stop datanode 

    通过 hadoop dfsadmin -report 查看会发现hadoop-2的状态是 Decommissioned 退役状况 这个时候文件不会再写入到hadoop2节点中

    3.磁盘扩容

    当整个集群存入的数据量慢慢增加磁盘总会不够,此时此刻就需要增加磁盘来解决此类问题

    现在我们有3个节点可以查看到如下信息

    > hdfs dfsadmin -report
    Configured Capacity: 126421499904 (117.74 GB)
    Present Capacity: 107068563456 (99.72 GB)
    DFS Remaining: 81215922176 (75.64 GB)
    DFS Used: 25852641280 (24.08 GB)
    DFS Used%: 24.15%

    此时我们给节点2进行磁盘扩容,这里使用的阿里云服务器增加了一块100GB的磁盘挂载到了hadoop-2服务器上
    步骤 4:Linux 格式化和挂载数据盘快速入门云服务器 ECS-阿里云

    > df
    Filesystem     1K-blocks     Used Available Use% Mounted on
    /dev/vda1       41152832 13745964  25293384  36% /
    /dev/vdb1      103080224    61176  97776220   1% /mnt

    多出了一个 /mut 赋予权限

    > sudo chown -R hadoop:hadoop /mnt

    首先现需要下线hadoop-2节点,下线之后在hadoop-2

    > su hadoop
    > hadoop-daemon.sh stop datanode

    修改hadoop-2配置文件vim hdfs-site.xml

    > vim /usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
            <property>
                    <name>dfs.datanode.data.dir</name>
                    <value>file:/usr/local/hadoop-2.7.3/tmp/dfs/data,file:/mnt/dfs/data</value>
            </property>

    然后在启动datanode

    > hadoop-daemon.sh start datanode

    在hadoop-1通过NameNode中查看集群状态

    > hadoop dfsadmin -report
    Name: 192.168.1.102:50010 (sunmi-hadoop-2)
    Hostname: sunmi-hadoop-2
    Decommission Status : Decommissioned
    Configured Capacity: 147694649344 (137.55 GB)
    DFS Used: 9414242304 (8.77 GB)
    Non DFS Used: 12258566144 (11.42 GB)
    DFS Remaining: 126021840896 (117.37 GB)
    DFS Used%: 6.37%
    DFS Remaining%: 85.33%
    Configured Cache Capacity: 0 (0 B)
    Cache Used: 0 (0 B)
    Cache Remaining: 0 (0 B)
    Cache Used%: 100.00%
    Cache Remaining%: 0.00%
    Xceivers: 1
    Last contact: Thu Jul 20 11:30:42 CST 2017

    hadoop-2的容量就增加了然后重新让节点上线

    vim /usr/local/hadoop-2.7.3/etc/hadoop/dfshosts.exclude
    # 清除
    hadoop-2
    # 更新节点
    > hdfs dfsadmin -refreshNodes
    > yarn rmadmin -refreshNodes

    然后在查看集群状况就增加了100GB的DFS的空间

    > hadoop dfsadmin -report
    Configured Capacity: 231975649280 (216.04 GB)
    Present Capacity: 207191623885 (192.96 GB)
    DFS Remaining: 176628416512 (164.50 GB)
    DFS Used: 30563207373 (28.46 GB)
    DFS Used%: 14.75%

    4 总结

    关于Hadoop相关的配置到这篇就已经结束了,关于Hadoop如果希望深入了解可以读阅

    展开全文
  • 在这篇博文中,我们将介绍PXC 维护模式如何使用ProxySQL 使集群节点下线而不影响工作负载Percona XtraDB Cluster 维护模式由于PXC提供了高可用的解决方案,它必须考虑到集群节点需要下线维护的情况(通过与集群隔离或...

    在这篇博文中,我们将介绍PXC 维护模式如何使用ProxySQL 使集群节点下线而不影响工作负载

    Percona XtraDB Cluster 维护模式

    由于PXC提供了高可用的解决方案,它必须考虑到集群节点需要下线维护的情况(通过与集群隔离或完全关闭)

    PXC通过引入维护模式实现这一点。PXC的维护模式减少因为突发故障影响工作负载的次数,如果节点是使用ProxySQL下线的(作为负载均衡器)

    中心思想是延迟核心节点的动作,并允许ProxySQL转移工作负载

    ProxySQL是如何管理PXC维护模式的

    在PXC维护模式下,当用户触发shutdown信号(或者将特定的节点设置为维护模式),ProxySQL将节点标记为OFFLINE当用户触发了shutdown,PXC节点设置pxc_maint_mode为SHUTDOWN(默认DISABLED)然后sleep x秒(由参数pxc_maint_transition_period决定---默认10s)。ProxySQL 自动检测这个变化并将节点标记为OFFLINE。应用这个改变后,ProxySQL拒绝为任何DML事务建立连接,但已经存在的查询可以继续执行,直到 pxc_maint_transition_period 秒后。一旦休眠期完成,PXC传递一个真正的关闭信号-----从而给了ProxySQL足够的时间转移工作负载

    如果用户需要将节点设置为维护模式,可以简单的设置参数pxc_maint_mode 为 MAINTENANCE。随即,pxc_maint_mode 被更新并且客户端连接开始休眠x秒(由 pxc_maint_transition_period 决定)后再把控制权交给用户。ProxySQL 自动检测这个变化并将节点标记为OFFLINE。在这种情况下,ProxySQL避免为任何DML事务建立连接,但已经存在的连接可以继续使用。

    ProxySQL 自动检测 维护状态的变化并自动重新路由流量,从而减少了突发性的工作负载故障

    技术细节:ProxySQL Galera checker 脚本(proxysql_galera_checker)通过使用 ProxySQL 调度程序检查pxc_maint_mode参数状态(除了已经存在的wsrep_local_state),持续检测各个节点的状态。

    调度程序 是一个集成在ProxySQL中的像计划任务(cron-like)的实现,支持毫秒的粒度

    如果 脚本(proxysql_galera_checker)检测到 pxc_maint_mode= SHUTDOWN | MAINTENANCE,然后proxySQL将节点标记为OFFLINE_SOFT。这样可以避免在这个节点新建立连接(或工作负载)

    proxysql_galera_checker 日志示例:Thu Dec  8 11:21:11 GMT 2016 Enabling config

    Thu Dec  8 11:21:17 GMT 2016 Check server 10:127.0.0.1:25000 , status ONLINE , wsrep_local_state 4

    Thu Dec  8 11:21:17 GMT 2016 Check server 10:127.0.0.1:25100 , status ONLINE , wsrep_local_state 4

    Thu Dec  8 11:21:17 GMT 2016 Check server 10:127.0.0.1:25200 , status ONLINE , wsrep_local_state 4

    Thu Dec  8 11:21:17 GMT 2016 Changing server 10:127.0.0.1:25200 to status OFFLINE_SOFT due to SHUTDOWN

    Thu Dec  8 11:21:17 GMT 2016 Number of writers online: 2 : hostgroup: 10

    Thu Dec  8 11:21:17 GMT 2016 Enabling config

    Thu Dec  8 11:21:22 GMT 2016 Check server 10:127.0.0.1:25000 , status ONLINE , wsrep_local_state 4

    Thu Dec  8 11:21:22 GMT 2016 Check server 10:127.0.0.1:25100 , status ONLINE , wsrep_local_state 4

    Thu Dec  8 11:21:22 GMT 2016 Check server 10:127.0.0.1:25200 , status OFFLINE_SOFT , wsrep_local_state 4

    翻译的不好,欢迎批评

    展开全文
  • 注意:系统维护完毕后,记得把/etc/nologin文件删除,否则普通用户无法登入系统 #!/bin/bash # # #=================================================================== # # author: 9528 # mail: scsc4212@...

    注意:系统维护完毕后,记得把/etc/nologin文件删除,否则普通用户无法登入系统

    #!/bin/bash
    #
    #
    
    #===================================================================
    #
    #	author: 9528
    #	mail: scsc4212@163.com
    #	date: 2019-7-24
    #
    #-------------------------------------------------------------------
    #
    #	简述:
    #		脚本实现提示普通用户系统即将开始维护作业,禁止用户新登入,已
    #	登入的普通用户强制下线。
    #
    #===================================================================
    
    #
    #引入系统函数,调用函数实现执行成功或失败时给信息着色的功能
    #
    . /etc/init.d/functions
    
    
    #
    #创建/etc/nologin文件,此文件存在时,普通用户将不能登入,普通用户登陆时
    #会显示文件里的内容
    #
    #注意:系统维护完成后要记得把此文件删除,否则会导致普通用户不能登入系统
    #
    echo "The system is about to be maintained. Do not log in!" > /etc/nologin
    
    #
    #给系统上的全部已登入的用户发提示信息
    #
    wall -n << EOF 
    ===========================================================================
    Peleae note:
    	After 10 minutes, the system is about to be maintained.
    	Please log off after you have saved your data, mandatory
    	logging off after 10 minutes!
    ===========================================================================
    EOF
    
    
    #
    #10分钟倒计时
    #
    sleep 10m
    
    #
    #查看此时有没有非root用户登入系统
    #
    who | grep -v "^root\>" > /dev/null
    
    #
    #如果有非root用户登入系统,则强制下线这些用户
    #
    #整理已登入的普通用户,去除重复项
    #为了防止误下线root用户,加强判断,只有普通用户才强制下线
    #
    if [ $? -eq 0 ];then
    	who | grep -v "^root\>" | awk '{print $1}' > users1
    	sort -u users1 > users2
    	
    	while read line; do
    		if [ $line != 'root' ];then
    			pkill -kill -u $line
    			if [ $? -eq 0 ];then
    				action "pkill $line:" /bin/true
    			else
    				action "pkill $line:" /bin/false
    			fi
    		fi
    	done < users2
    	
    	rm -f users1 users2
    fi
    
    
    #
    #作业完成
    #提示用户可以再次执行who命令核实是否普通用户都已下线
    #提示用户系统维护完毕后,要记得删除/etc/nologin文件
    #
    echo -e "\n"
    echo "-------------------------------finish!----------------------------------------"
    echo "Please confirm again by execute the 'who' command."
    echo -e "Remember to delete the /etc/nologin file when system maintenance is complete.\n"

    执行结果演示

    [root@localhost ~/test]$bash pkill.sh
    
    Remote broadcast message (Thu Aug  1 12:55:26 2019):
    
    ===========================================================================
    pleae note:
    	After 10 minutes, the system is about to be maintained.
    	Please log off after you have saved your data, mandatory
    	logging off after 10 minutes!
    ===========================================================================
    pkill sc:                                                  [  OK  ]
    pkill tom:                                                 [  OK  ]
    
    
    -------------------------------finish!----------------------------------------
    Please confirm again by execute the 'who' command.
    Remember to delete the /etc/nologin file when system maintenance is complete.
    
    [root@localhost ~/test]$

     

    展开全文
  • 继乐视硅谷办公室人去楼空之后,乐视生态的美国网站也已下线维护。 雷锋网消息:美国太平洋时间昨日上午,网友们发现乐视生态的美国官网已经下线。当用户访问其网址:http://www.leeco.com/us/,显示的只是下面这则...
  • 网站下线

    2009-09-14 13:44:32
    我的网站想维护暂时下线,该怎么做才能做到最人性化
  • CDH主机下线

    2020-11-24 14:10:01
    文章目录1,配置hdfs, hbase: 提高下线速度2,主机:进入维护模式3, 主机解除授权: Decommission(退役)解除授权的操作细节hdfs 数据转移hbase数据转移 参考:...
  • ambari hbase下线缺点

    2020-04-17 10:10:50
    如图所示,下线会提示先进入维护模式,然后才能执行,查看具体日志可发现下线操作是执行一个py脚本,具体没看。 2.下线后再上线会发现原regionserver的上的region为0,过完一会才会慢慢的有region迁回。 .....
  • Linux下线程详解

    2017-08-01 11:12:29
    我们知道,在Linux系统下,启动一个新的进程必须分配给它独立的地址空间,建立众多的数据表来维护它的代码段、堆栈段和数据段,这是一种"昂贵"的多任务工作方式。而运行于一个进程中的多个线程,它们彼此之间使用...
  • 比如有些情况是服务主机意外宕机了,也就意味着服务没办法给 eureka 心跳信息了,但是 eureka 在没有接受到心跳的情况下依赖维护该服务 90s,在这 90s 之内可能会有客户端调用到该服务,这就可能会导致调用失败。...
  • 关于Session,在Java Web开发中,为我们提供了很多方便,Session是由浏览器和服务器之间维护的。好吧,闲话不多说,下面让我们一步一步来实现它们。(一)首先来说下Session超时时间设置的三种方式,这些相对来说比较...
  • 百度正式下线MIP功能,站长工具平台MIP入口关闭,MIP 核心、组件等前端静态资源仍正常维护与使用,不影响已改造为 MIP 标准的站点的正常访问、收录、排序。 虽然说只是入口下线,会不会重蹈熊掌号覆辙,目前我个人...
  • 2021年1月5日,字节跳动旗下知识服务社区“好好学习”向用户发布通知,宣布将于2021年1月20日下线。好好学习在通知中表示:因业务调整,好好学习APP将于2021年1月20日停止运营、维护及相关服务。如您账户内有余额、...
  • windows下线程入门

    2020-04-08 10:00:03
    windows线程 以下内容引述《windows核心编程》 ...线程栈,用于维护线程执行时所需的所有函数参数和局部变量 创建线程 对于用MSVC编译器生成的应用程序,这个线程首先会执行C/C++运行库的启动代码,后者...
  • 停机就是数据库不能响应用户请求的所有情况,无论是数据库完全下线,还是在不可接受的性能情况下部分下线。有计划停机包括在你的数据库系统中常规数据库维护或升级活动。停机对你数据库环境的可用性有直接的影响。...
  • 文|泡泡封面来源|IC photo2021年1月5日,字节跳动旗下知识服务社区“好好学习”向用户发布通知,宣布将于2021年1月20日下线。好好学习在通知中表示:因业务调整,好好学习APP将于2021年1月20日停止运营、维护及相关...
  • zookeeper大规模分布式集群中任一单点设备上线下线心跳感知系统(一) 分布式集群中,为了能全局感知任一单点设备的存活状态,经常有心跳感知系统的设计需求,要实现这样的心跳感知。 常规的做法无法就是保持一个...
  • 关于CSDN博客旧版皮肤下线公告!

    万次阅读 热门讨论 2017-10-30 18:48:15
    亲爱的CSDN的博主和用户:为了给大家带来更好的体验,和方便统一的管理,旧版的博客皮肤即将下线下线后皮肤默认切换为新版大白皮肤。以后的大白皮肤也将是全站通用的皮肤模板,我们将更专心维护一套皮肤,大白如一...
  • Session管理之超时设置和强制下线  关于Session,在Java Web开发中,为我们提供了很多方便,Session是由浏览器和服务器之间维护的。好吧,闲话不多说,下面让我们一步一步来实现它们。  (一)...
  • 既然是对区间的维护 在求解一些问题的时候 有的时候没有必要对所有的自区间都进行遍历 这个时候 延迟标记就派上用场了 (只有在需要的时候才对子区间更新) struct node(){ int l,r,len; int flag=0;}stu[maxn];...
  • Linux下线程间通信

    2015-03-13 00:52:24
    这些机制都是由linux内核来维护的,实现起来都比较复杂,而且占用大量的系统资源。 线程间的通信机制实现起来则相对简单,主要包括互斥锁、条件变量、读写锁和线程信号等。 本文会对以上所涉及的线程间的通信机制...
  • 它记录了服务和服务地址的映射关系,维护服务存活状态。它解决分布式:服务注册后,如何被及时发现。服务宕机后,如何及时下线。服务如何有效的水平扩展。服务发现时,如何进行路由。服务异常时,如何进行降级等问题...
  • 前言如果说你是一名hadoop集群的日常维护者,那么你肯定经历过很多的节点上下线工作.例如,随着业务规模的高速扩张,集群的资源渐渐的不够使用的时候,一般正常的做法是通过增加机器来达到线性扩展的效果.当然,当这些...
  • 百度正式下线MIP功能,站长工具平台MIP入口关闭,MIP 核心、组件等前端静态资源仍正常维护与使用,不影响已改造为 MIP 标准的站点的正常访问、收录、排序。虽然说只是入口下线,会不会重蹈熊掌号覆辙,目前我个人...
  • Linux下线程池的实现

    2017-06-03 17:03:14
    什么时候需要创建线程池呢?简单的说,如果一个应用需要频繁的创建和销毁线程,而任务执行的时间又非常短,这样线程创建和销毁的带来的开销就...线程池会维护一个任务链表(每个CThread_worker结构就是一个任务)。  

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 443
精华内容 177
关键字:

下线维护