精华内容
下载资源
问答
  • kafka一键启停脚本

    2020-11-19 12:15:51
    可以一键启动停止kafka集群 pache Kafka 是一个开源的分布式消息队列(生产者消费者模式)
  • Superset 一键启停脚本

    2021-08-25 16:04:12
    直接上脚本。。。 #!/bin/bash superset_status() { result=`ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | wc -l` if [[ $result -eq 0 ]]; then return 0 else return 1 fi } superset_...

    直接上脚本。。。

    #!/bin/bash
    
    superset_status(){
        result=`ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | wc -l`
        if [[ $result -eq 0 ]]; then
            return 0
        else
            return 1
        fi
    }
    superset_start(){
            source ~/.bashrc
            superset_status >/dev/null 2>&1
            if [[ $? -eq 0 ]]; then
                conda activate superset ; gunicorn --workers 5 --timeout 120 --bind hadoop102:8787 --daemon 'superset.app:create_app()'
            else
                echo "superset正在运行"
            fi
    
    }
    
    superset_stop(){
        superset_status >/dev/null 2>&1
        if [[ $? -eq 0 ]]; then
            echo "superset未在运行"
        else
            ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | xargs kill -9
        fi
    }
    
    
    case $1 in
        start )
            echo "启动Superset"
            superset_start
        ;;
        stop )
            echo "停止Superset"
            superset_stop
        ;;
        restart )
            echo "重启Superset"
            superset_stop
            superset_start
        ;;
        status )
            superset_status >/dev/null 2>&1
            if [[ $? -eq 0 ]]; then
                echo "superset未在运行"
            else
                echo "superset正在运行"
            fi
    esac
    
    

    改的时候改superset_start函数里的主机名就行

    展开全文
  • 单节点启动和停止进程 hdfs/yarn --daemon start/...集群启停脚本 进入~/bin目录创建脚本: vim hadoopstart.sh #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") ech

    单节点启动和停止进程

    • hdfs/yarn --daemon start/stop namenode/datanode/secondarynamenode/resourcemanager/nodemanager

    集群启停脚本

    • 进入~/bin目录创建脚本:
    • vim hadoopstart.sh
    #!/bin/bash
    if [ $# -lt 1 ]
    then
        echo "No Args Input..."
        exit ;
    fi
    case $1 in
    "start")
            echo " =================== 启动 hadoop集群 ==================="
    
            echo " --------------- 启动 hdfs ---------------"
            ssh hadoop102 "/opt/module/hadoop-3.1.4/sbin/start-dfs.sh"
            echo " --------------- 启动 yarn ---------------"
            ssh hadoop103 "/opt/module/hadoop-3.1.4/sbin/start-yarn.sh"
            echo " --------------- 启动 historyserver ---------------"
            ssh hadoop102 "/opt/module/hadoop-3.1.4/bin/mapred --daemon start historyserver"
    ;;
    "stop")
            echo " =================== 关闭 hadoop集群 ==================="
    
            echo " --------------- 关闭 historyserver ---------------"
            ssh hadoop102 "/opt/module/hadoop-3.1.4/bin/mapred --daemon stop historyserver"
            echo " --------------- 关闭 yarn ---------------"
            ssh hadoop103 "/opt/module/hadoop-3.1.4/sbin/stop-yarn.sh"
            echo " --------------- 关闭 hdfs ---------------"
            ssh hadoop102 "/opt/module/hadoop-3.1.4/sbin/stop-dfs.sh"
    ;;
    *)
        echo "Input Args Error..."
    ;;
    esac
    
    • 然后提高脚本权限chmod 777 hadoopstart.sh

    这样自动启停hadoop集群脚本就完成了:

    • 测试:先停止hadoop集群:
    • hadoopstart.sh stop
    • 在这里插入图片描述
    • 然后开启集群:hadoopstart.sh start
    • 在这里插入图片描述
    • 在这里插入图片描述

    查看所有服务器进程运行情况脚本

    • 进入~/bin目录下创建脚本:
    • vim jpsall.sh
    #! /bin/bash
     
     
    for host in hadoop102 hadoop103 hadoop104 hadoop100
    do
     
        echo --------- $host ----------
     
        ssh $host jps
     
    done
    
    • 然后给脚本提高权限chmod 777 jpsall.sh
    • 分发脚本xsync jpsall.sh
    • 然后就可以使用了:
    • jpsall.sh:
    • 在这里插入图片描述
    展开全文
  • 在设置kafka停止任务的时候需要...首先设置kafka的启停配置,在kafka的bin目录下 vimstart-kafka.sh 启动配置 vimstop-kafka.sh 停止配置,具体配置如下: start-kafka.sh #!/bin/bash for I in {hadoop,hadoop...

    在设置kafka停止任务的时候需要注意修改配置文件

    在kafka和zookeeper各自组件的bin下边配置文件

    首先设置kafka的启停配置,在kafka的bin目录下 vim start-kafka.sh 启动配置  vim stop-kafka.sh 停止配置,具体配置如下:

     

    start-kafka.sh

    #!/bin/bash
    for I in {hadoop,hadoop2,hadoop3}
    do
    echo "$I 上的kafka 正在启动"
    ssh root@$I "source /etc/profile; /root/Downloads/kafka/bin/kafka-server-start.sh -daemon /root/Downloads/kafka/config/server.properties"
    echo "$I 上的kafka 启动完成"
    done

     

    stop-kafka.sh

    #!/bin/bash
    for I in {hadoop,hadoop2,hadoop3}
    do
    echo "$I 上的kafka 正在关闭"
    ssh root@$I "source /etc/profile; /root/Downloads/kafka/bin/kafka-server-stop.sh"
    echo "$I 上的kafka 关闭完成"
    done

    官方提供的stop文件命令不好使,需要修改stop脚本,集群中的机器都需要改

    修改bin目录下的kafka-server-stop.sh 文件

    PIDS=$(ps ax | grep -i 'kafka\.Kafka' | grep java | grep -v grep | awk '{print $1}')

    修改后:

    PIDS=$(jps -lm | grep -i 'kafka\.Kafka' | awk '{print $1}')

    下面是设置zookeeper的配置文件:

     

    start-zk.sh

    #!/bin/bash
    for I in {hadoop,hadoop2,hadoop3}
    do
    echo "$I 上的kafka 正在关闭"
    ssh root@$I "source /etc/profile; /root/Downloads/zookeeper/bin/zkServer.sh start"
    echo "$I 上的kafka 关闭完成"
    done

    stop-zk.sh

    #!/bin/bash
    for I in {hadoop,hadoop2,hadoop3}
    do
    echo "$I 上的kafka 正在关闭"
    ssh root@$I "source /etc/profile;  /root/Downloads/zookeeper/bin/zkServer.sh stop"
    echo "$I 上的kafka 关闭完成"
    done

    修改完以后放到各自的bin目录下,最后运行的时候要给脚本赋个权限:

    chmod +x  XXX.sh 或者 chmod -R 777 XXX.sh

    展开全文
  • 一键启停hive脚本

    2021-07-08 19:50:14
    #编写hive脚本 [root@singlelucky ~]# ls bak kb12 script test2.log text.log [root@singlelucky ~]# cd script [root@singlelucky script]# ls ALLOW_RM_SRC_LOG cha01 cha01.sh cha02.sh.bak deploy.sh ls....

    #编写hive脚本

    [root@singlelucky ~]# ls
    	bak  kb12  script  test2.log  text.log
    	[root@singlelucky ~]# cd script
    	[root@singlelucky script]# ls
    	ALLOW_RM_SRC_LOG  cha01  cha01.sh  cha02.sh.bak  deploy.sh  ls.log  my.cnf  mysql.cnf
    	[root@singlelucky script]# mv mysql.cnf start.cnf
    	[root@singlelucky script]# ls
    	ALLOW_RM_SRC_LOG  cha01  cha01.sh  cha02.sh.bak  deploy.sh  ls.log  my.cnf  start.cnf
    	[root@singlelucky script]# touch start.sh
    	[root@singlelucky script]# ls
    	ALLOW_RM_SRC_LOG  cha01  cha01.sh  cha02.sh.bak  deploy.sh  ls.log  my.cnf  start.cnf  start.sh
    

    #修改权限启动start.sh

    	[root@singlelucky script]# chmod u+x start.sh
    	[root@singlelucky script]# ls
    	ALLOW_RM_SRC_LOG  cha01  cha01.sh  cha02.sh.bak  deploy.sh  ls.log  my.cnf  start.cnf  start.sh
    
    	[root@singlelucky script]# cat start.cnf
    	[client]
    	default-character-set = utf8mb4
    	[mysql]
    	default-character-set = utf8mb4
    	[mysqld]
    	character-set-client-handshake = FALSE
    	character-set-server = utf8mb4
    	collation-server = utf8mb4_unicode_ci
    

    #删除start.cnf里面内容

    [root@singlelucky script]# sed -in '1,$d' start.cnf
    [root@singlelucky script]# cat start.cnf
    

    #修改start.cnf,测试hive启动

    [root@singlelucky ~]# cd script
    [root@singlelucky script]# ls
    	ALLOW_RM_SRC_LOG  cha01  cha01.sh  cha02.sh.bak  deploy.sh  ls.log  my.cnf  start.cnfn  start.sh
    [root@singlelucky script]# rm -rf start.cnfn
    [root@singlelucky script]# ls
    	ALLOW_RM_SRC_LOG  cha01  cha01.sh  cha02.sh.bak  deploy.sh  ls.log  my.cnf  start.cnf   start.sh
    [root@singlelucky script]# vim start.cnf
    	hadoop->NameNode_SecondaryNameNode_DataNode_ResourceManager_NodeManager;start-dfs.sh_start-yarn.sh
    	hive->HiveMetaStore_HiveServer2;nohup#hive#--service#metastore>/dev/null#2>&1#&_nohup#hive#--service#hiveserver2>/dev/null#2>&1#&
    

    #配置hive启动脚本

    [root@singlelucky script]# vim start.sh				# sz start.sh 	sz--输出
    root@singlelucky script]# ./start.sh
    
    #!/bin/bash
    
    	source /etc/profile
    
    	# 一键启动配置文件
    	CNF_FILE='start.cnf'
    
    	# 验证配置文件(必须存在且为文件)
    	if [ ! -e $CNF_FILE -o -d $CNF_FILE ]
    	then
    		echo $CNF_FILE" unavailable or directory, script will exit"
    		exit 0
    	fi        
    			 
    	# 将配置文件内容读入变量并转为列表
    	CNF_LINES=(`cat start.cnf`)
    				 
    	# 循环按行输出配置信息,将第一项作为内容提示供用户选择
    	count=0
    	for item in ${CNF_LINES[@]}
    	do  
    		((count++))
    		arr=(${item/->/ })
    		echo $count"、"${arr[0]}
    	done
    		
    	# 用户选择启动服务编号(向前启动所有服务)
    	read -p 'please input you choice : ' choice
    
    	# 验证用户输入(必须为小于等于配置文件行数的整数)
    	if [[ $choice =~ ^[0-9]+$ ]]
    	then
    		if [ $choice -gt $count -o $choice -lt 1 ]
    		then
    			echo "choice must be between 1 and $count,script will exit"
    			exit 0
    		fi
    	else
    		echo 'choice must be a num, script will exit'
    		exit 0
    	fi
    
    	# 自定义函数检查指定参数的服务是否完好,若有残留杀死进程
    	function killOnLeft(){
    		SIGN=$1
    		SERS=$2
    		SERS=(${SERS//_/ })
    		PIDS=()
    		count=0
    		for item in ${SERS[@]}
    		do
    			# jps配合管道检查指定服务项是否存在
    			RST=`jps -ml|grep $item`
    			if [[ $RST ]]
    			then
    				RST=($RST)
    				PIDS[$count]=${RST[0]}
    				((count++))
    			fi
    		done
    		if [ $count -lt ${#SERS[@]} ]
    		then
    			# 若存在不完整的残留kill进程
    			if [ $count -gt 0 ]
    			then
    				for pid in ${PIDS[@]}
    				do
    					RST=`kill -9 $pid`
    				done
    				echo "$SIGN has service left and killed"
    			else
    				echo "$SIGN has no service left"
    			fi
    			echo 'no'
    		else
    			echo "$SIGN is running"
    			echo "ok"           
    		fi
    	}
    
    	# 自定义函数调用参数命令集启动相应服务
    	function startSers(){
    		SIGN=$1
    		SERS=$2
    		SERS=${SERS//_/ }
    		for cmd in $SERS
    		do
    			RST=`eval ${cmd//#/ }`
    		done
    		echo $SIGN" has been started"
    	}
    
    	# 循环执行用户选择的配置文件中命令行
    	count=0
    	while (( $count<$choice ))
    	do
    		LINE=${CNF_LINES[$count]}
    		LINE=(${LINE//->/ })
    		SIGN=${LINE[0]}
    		LINE=${LINE[1]}
    		LINE=(${LINE//;/ })
    		SERS=${LINE[0]}
    		CMDS=${LINE[1]}
    		RST=`killOnLeft $SIGN $SERS`
    		echo $RST
    		if [[ $RST =~ no$ ]]
    		then
    			RST=`startSers $SIGN $CMDS`
    			echo $RST
    		fi
    		((count++))
    	done
    
    

    #修改start.cnf,测试hive关闭

    [root@singlelucky script]# touch stop.sh
    [root@singlelucky script]# chmod u+x stop.sh
    [root@singlelucky script]# ls
    	ALLOW_RM_SRC_LOG  cha01  cha01.sh  cha02.sh.bak  deploy.sh  ls.log  my.cnf  start.cnf  start.sh  stop.cnf  stop.sh
    [root@singlelucky script]# vim stop.cnf
    	hive->KILL->HiveMetaStore,HiveServer2
    	hadoop->STOP->NameNode,SecondaryNameNode,DataNode@stop-dfs.sh;ResourceManager,NodeManager@stop-yarn.sh
    

    #查找hive log

    jps -ml|grep -w HiveMetaStore|awk {'print $1'}	#指定检查
    
    [root@singlelucky input]# find / -name 'hive.log'
    	/tmp/root/hive.log
    [root@singlelucky input]# tail -50 /tmp/root/hive.log
    

    修改日志方式

    重命名

    mv /opt/software/hive312/conf/hive-log4j2.properties.template  /opt/software/hive312/conf/hive-log4j2.properties
    	vim /opt/software/hive312/conf/hive-log4j2.properties
    	property.hive.log.level = ERROR		#只显示日志出现错误的地方
    			
    [root@singlelucky conf]# vim hive-site.xml		#去除HIVE里面的INFO信息
    	<!--配置取消 beeline 登录 info 信息 -->
    	<property>
            <name>hive.server2.logging.operation.enabled</name>
            <value>false</value>
    	</property>
    

    #配置hive关闭脚本

    [root@singlelucky script]# vim stop.sh				# sz start.sh 	sz--输出
    
    #!/bin/bash
    
    	source /etc/profile
    
    	CNF_FILE="stop.cnf"
    
    	CNF_LINES=(`cat $CNF_FILE`)
    	COUNT=0
    
    	for item in ${CNF_LINES[@]}
    	do
    		((COUNT++))
    		item=(${item//->/ })
    		echo "$COUNT、${item[0]}"
    	done
    
    	read -p 'please make a choice : ' choice
    
    	# 验证用户输入(必须为小于等于配置文件行数的整数)
    	if [[ $choice =~ ^[0-9]+$ ]]
    	then
    		if [ $choice -gt $COUNT -o $choice -lt 1 ]
    		then
    			echo "choice must be between 1 and $COUNT,script will exit"
    			exit 0		
    		fi
    	else
    		echo 'choice must be a num,script will exit'
    		exit 0
    	fi
    
    	#自定义函数调用服务自带脚本关闭服务
    	function stopSers(){
    		LINE=$1
    		LINE=(${LINE//@/ })
    		SERS=${LINE[0]}
    		SERS=${SERS//,/ }
    		COUNT=0
    		for item in $SERS
    		do
    			RST=`jps -ml|grep -w $item`
    			if [[ $RST ]]
    			then
    				COUNT=1
    				break
    			fi
    		done
    		if [ $COUNT -eq 1 ]
    		then
    			RST=`${LINE[1]}`
    			echo "STOPPED"
    		else 
    			echo "NONE"
    		fi
    	}
    
    	#自定义函数通过系统通用函数kill关闭服务
    	function killSers(){
    		LINE=$1
    		LINE=${LINE//,/ }
    		COUNT=0
    		for item in $LINE
    		do
    			PID=`jps -ml|grep -w $item|awk {'print $1'}`
    			if [[ $PID ]]
    			then
    				PID=`kill -9 $PID`
    				((COUNT++))
    			fi
    		done
    		 if [ $COUNT -gt 0 ]
    		then
    			echo "STOPPED"
    		else
    			echo "NONE"
    		fi
    
    	}
    
    	#自定义函数根据参数类型和操作字符串关闭服务
    	function stopByLine(){
    		SIGN=$1
    		TYPE=$2
    		LINE=$3
    		case $TYPE in
    		"STOP")
    			LINE=${LINE//;/ }
    			for item in $LINE
    			do
    				RST=`stopSers $item`
    				item=(${item//@/ })
    				item=${item[0]}
    				case $RST in
    				"STOPPED")
    					echo 'services_[_'$item'_]_stopped'
    				;;
    				"NONE")
    					echo 'no_servies_[_'$item'_]_existed'
    				;;
    				esac
    			done			
    		;;
    		"KILL")
    			RST=`killSers $LINE`
    			case $RST in
    			"STOPPED")
    				echo 'services_[_'$LINE'_]_stopped'
    			 ;;
    			 "NONE")
    				echo 'no_services_[_'$LINE'_]_existed'
    			  ;;
    			  esac
    		;;
    		esac	
    	}
    
    	#根据用户的选择向后关闭服务
    	COUNT=0
    	while (( $COUNT<$choice ))
    	do
    		LINE=${CNF_LINES[$COUNT]}
    		LINE=(${LINE//->/ })
    		SIGN=${LINE[0]}
    		TYPE=${LINE[1]}
    		LINE=${LINE[2]}
    		RST=`stopByLine $SIGN $TYPE $LINE`
    		for item in $RST
    		do
    			echo ${item//_/ }
    		done
    		((COUNT++))
    	done
    
    展开全文
  • tomcat一键启停shell脚本

    千次阅读 2018-09-20 17:37:03
    #!/bin/bash # Author:FishRoad 2018-09-20 pid=`ps -ef|grep tomcat|grep -v grep|awk '{print $2}'` echo $pid ...tomcat_home=/home/apache-tomcat-6.0.37forLinux ...start_tomcat=$tomcat_home/bin/startup....
  • 一键启动HBase脚本所解决的问题: 解决一台一台启动zookeeper繁琐问题 解决因时间不同步导致HBase启动失败的问题 脚本编写hbase-start.sh: # !/bin/bash hbase_master=bigdata-pro-m07 cat /opt/modules/hbase/...
  • #!/bin/bash es_home=/opt/module/elasticsearch-6.3.1 kibana_home=/opt/module/kibana-6.3.1-linux-x86_64 case $1 in "start") echo "---------开始启动es---------" for host in hadoop102 hadoop103 hadoop...
  • java程序启停脚本run.sh

    2021-05-31 18:06:45
    关闭服务的脚本stop.sh 保存为stop.sh,根据自己需要更改jar包名字 #!/bin/bash #要停止其他服务,把jar包名改掉就行 pid=$(ps -ef|grep my_demo.jar|grep -v grep |awk '{printf $2}') if [ -n "${pid}" ] then ...
  • Linux程序启停脚本

    2021-05-13 12:55:48
    Linux环境下,程序通用启动脚本#!/bin/sh#shouldconfigfirstprog="programname"#like'kafka'exec_path="/home/hadoop/local/kafka"#like/home/hadoop/local/kafkaexec="executecommand"#executecommandpidfil...
  • java jar包服务启停,shell脚本范例。 sh demo-web.sh start sh demo-web.sh stop sh demo-web.sh restart
  • vmware服务开启、关闭@TOC 1.1 代码片 代码片. @echo off rem ???? echo "1停止2启动" set /p varFlag%=input if "%varFlag%"=="1" ( echo %varFlag% is 1 net stop "VMwareHostd" net stop "VMware NAT Service"...
  • Jmeter分布式压测过程中经常需要到节点上启停jmeter agent,因此编写一键启停jmeter脚本可以帮助减轻不少工作量,只需要输入节点密码即可,安全有可靠。如果密码也不想输入,可参考本人另一篇文章,使用expect达到...
  • 而微服务打包形成的诸多jar,和上线前后频繁的诸多升级部署操作,让负责项目的开发运维人员叫苦不迭,因此需要一套便捷的部署脚本,实现便捷的一键启停等操作。 1.常用的部署命令: ps -ef |grep 服务名 kill -9...
  • 这样就能实现一键启停了。 run.sh #!/bin/bashdocker-compose -f docker-compose.yml up -d namenode hive-metastore-postgresqldocker-compose -f docker-compose.yml up -d datanode hive-metastoresleep 5...
  • hbase安装目录conf 下面 效果图: 3.3 Shell一键启动脚本编写 1.shell一键启动zookeeper集群 参考zookeeper安装教程 2.shell一键启动hadoop集群 nameNode上面使用sh start-all.sh 3.shell一键启动hbase集群 保证 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 732
精华内容 292
关键字:

一键启停脚本