2019-06-11 19:59:22 qq_38635597 阅读数 38
  • 大数据之oozie详解

    一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop MapReduce、Pig Jobs的任务调度与协调。 主要用于定时调度任务,多任务可以按照执行的逻辑顺序调度。本课程从oozie的概述开始,详细讲解了oozie的部署,包含cdh版本的hadoop部署,集群的搭建,以及oozie的安装和部署.结合oozie的使用案例,讲解oozie技术的具体使用和问题解决办法!

    77 人正在学习 去看看 冯文凯

jobs

查看当前有多少在后台运行的命令

jobs -l选项可显示所有任务的PID,jobs的状态可以是running, stopped, Terminated。但是如果任务被终止了(kill),shell 从当前的shell环境已知的列表中删除任务的进程标识。

bg

将一个在后台暂停的命令,变成在后台继续执行。如果后台中有多个命令,可以用bg %jobnumber将选中的命令调出。

fg

将后台中的命令调至前台继续运行。如果后台中有多个命令,可以用fg %jobnumber(是命令编号,不是进程号)将选中的命令调出

&

加在一个命令的最后,可以把这个命令放到后台执行

ctrl + z

可以将一个正在前台执行的命令放到后台,并且处于暂停状态(KILL -20 PID  (也就是SIGTSTP信号))

参考 https://www.cnblogs.com/kaituorensheng/p/3980334.html#_label1

nohup

如果让程序始终在后台执行,即使关闭当前的终端也执行(之前的&做不到),这时候需要nohup。该命令可以在你退出帐户/关闭终端之后继续运行相应的进程。关闭中断后,在另一个终端jobs已经无法看到后台跑得程序了,此时利用ps(进程查看命令)

2011-03-08 11:14:00 liangkaiming 阅读数 8101
  • 大数据之oozie详解

    一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop MapReduce、Pig Jobs的任务调度与协调。 主要用于定时调度任务,多任务可以按照执行的逻辑顺序调度。本课程从oozie的概述开始,详细讲解了oozie的部署,包含cdh版本的hadoop部署,集群的搭建,以及oozie的安装和部署.结合oozie的使用案例,讲解oozie技术的具体使用和问题解决办法!

    77 人正在学习 去看看 冯文凯

下列命令可以用来操纵进程任务:


  ps 列出系统中正在运行的进程;
  kill 发送信号给一个或多个进程(经常用来杀死一个进程);
  jobs 列出当前shell环境中已启动的任务状态,若未指定jobsid,则显示所有活动的任务状态信息;如果报告了一个任务的终止(即任务的状态被标记为Terminated),shell 从当前的shell环境已知的列表中删除任务的进程标识;
  bg 将进程搬到后台运行(Background);
  fg 将进程搬到前台运行(Foreground);

将job转移到后台运行
  如果你经常在X图形下工作,你可能有这样的经历:通过终端命令运行一个GUI程序,GUI界面出来了,但是你的终端还停留在原地,你不能在shell中继续执行其他命令了,除非将GUI程序关掉。
     为了使程序执行后终端还能继续接受命令,你可以将进程移到后台运行,使用如下命令运行程序: #假设要运行xmms

  $xmms &

  这样打开xmms后,终端的提示又回来了。现在xmms在后台运行着呢;但万一你运行程序时忘记使用“&”了,又不想重新执行;你可以先使用ctrl+z挂起程序,然后敲入bg命令,这样程序就在后台继续运行了

概念:当前任务

  如果后台的任务号有2个,[1],[2];如果当第一个后台任务顺利执行完毕,第二个后台任务还在执行中时,当前任务便会自动变成后台任务号码“[2]”的后台任务。所以可以得出一点,即当前任务是会变动的。当用户输入“fg”、“bg”和“stop”等命令时,如果不加任何引号,则所变动的均是当前任务。

察看jobs
  使用jobs或ps命令可以察看正在执行的jobs。

  jobs命令执行的结果,+表示是一个当前的作业,减号表示是一个当前作业之后的一个作业,jobs -l选项可显示所有任务的PID,jobs的状态可以是running, stopped, Terminated,但是如果任务被终止了(kill),shell 从当前的shell环境已知的列表中删除任务的进程标识;也就是说,jobs命令显示的是当前shell环境中所起的后台正在运行或者被挂起的任务信息;

进程的挂起

  后台进程的挂起:

  在solaris中通过stop命令执行,通过jobs命令查看job号(假设为num),然后执行stop %num%;

  在redhat中,不存在stop命令,可通过执行命令kill -stop PID,将进程挂起;

  当要重新执行当前被挂起的任务时,通过bg %num% 即可将挂起的job的状态由stopped改为running,仍在后台执行;当需要改为在前台执行时,执行命令fg %num%即可;

  前台进程的挂起:

  ctrl+Z;

进程的终止

  后台进程的终止:
  方法一:
  通过jobs命令查看job号(假设为num),然后执行kill %num%

  方法二:
  通过ps命令查看job的进程号(PID,假设为pid),然后执行kill pid

  前台进程的终止:

  ctrl+c

  kill的其他作用
  kill除了可以终止进程,还能给进程发送其它信号,使用kill -l 可以察看kill支持的信号。

  SIGTERM是不带参数时kill发送的信号,意思是要进程终止运行,但执行与否还得看进程是否支持。如果进程还没有终止,可以使用kill -SIGKILL pid,这是由内核来终止进程,进程不能监听这个信号。

2015-03-04 19:49:44 Hadas_Wang 阅读数 1549
  • 大数据之oozie详解

    一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop MapReduce、Pig Jobs的任务调度与协调。 主要用于定时调度任务,多任务可以按照执行的逻辑顺序调度。本课程从oozie的概述开始,详细讲解了oozie的部署,包含cdh版本的hadoop部署,集群的搭建,以及oozie的安装和部署.结合oozie的使用案例,讲解oozie技术的具体使用和问题解决办法!

    77 人正在学习 去看看 冯文凯

为了方便用户进行任务管理和控制,linux提供了bg/fg/jobs这几条命令来轻松调度任务。

从以下命令执行来看,可以知道bg/fg/jobs这几条命令都是linux shell的特殊内建命令。
所以在执行bg/fg/jobs这几条命令时,当前shell能够自己解释而不需要额外创建两个
child process来完成这件事。
$ which bg
$ which fg
$ which jobs
$ whereis bg
bg:
$ whereis fg
fg:
$ whereis jobs
jobs:
$ type bg
bg is a shell builtin
$ type fg
fg is a shell builtin
$ type jobs
jobs is a shell builtin

当你在linux shell下执行一条很耗时的命令或程序时,
比如使用grep命令全盘递归搜索"strlen"这个字符串,
$ grep -nrws "strlen" ./
这可能会导致linux shell被占用很长时间,而此时如果用户想要使用shell做另外一件事,
难道必须要等到上一件事做完?
针对这个问题,有两种对应的办法:
1. 使用组合键CTRL+Z将当前shell中正在进行的任务丢到后台并暂停执行,这时用户
可以重新得到shell;
^Z
[1]+ Stopped             grep --color -nrws "ooxx" ./
2. 在执行耗时的任务时,将任务直接放到后台执行,
$ grep -nrws "strlen" ./ &
这样任务就一直会在后台运行。

问题1:使用的是grep命令,可是CTRL+Z暂停之后为什么是grep --color?
猜测可能是别名的原因,使用alias命令查看:
$ alias
...
alias grep='grep --color'
...
果然如猜测那样。关于alias命令,可以参考下面这篇博文:
http://blog.csdn.net/boyxulin1986/article/details/11891067

2. 如何确认后台中有哪些任务?
使用jobs命令可以查看后台中的任务:
$ jobs
[1]- Stopped             grep --color -nrws "ooxx" ./
[2]  Running             grep --color -nrws "ooxxx" ./
其中1/2是jobid,用户可以根据jobid来控制指定的任务运行。
请特别注意,jobid与PID是两个完全不相关的东西。

3. 后台正在运行的任务可以被暂停吗?
CTRL+Z无法暂停后台正在运行的任务。用户可以先将任务放到前台,再使用CTRL+Z
将其暂停并放入后台。
$ fg 2
grep --color -nrws "ooxxx" ./
^Z
[2]  Stopped             grep --color -nrws "ooxxx" ./
$ jobs
[1]- Stopped             grep --color -nrws "ooxx" ./
[2]+ Stopped             grep --color -nrws "ooxxx" ./

4. 如何运行暂停在后台的任务?
如果你希望继续在后台运行任务,使用bg命令并指定jobid,
$ bg 2
[2]+ grep --color -nrws "ooxxx" ./
如果你希望将后台任务(包括正在运行的任务和暂停的任务)放到前台运行,
使用fg命令并指定jobid,
$ fg 2
grep --color -nrws "ooxxx" ./
此时shell就被你的前台任务占领了。

2019-07-20 16:00:40 qq_44990139 阅读数 11
  • 大数据之oozie详解

    一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop MapReduce、Pig Jobs的任务调度与协调。 主要用于定时调度任务,多任务可以按照执行的逻辑顺序调度。本课程从oozie的概述开始,详细讲解了oozie的部署,包含cdh版本的hadoop部署,集群的搭建,以及oozie的安装和部署.结合oozie的使用案例,讲解oozie技术的具体使用和问题解决办法!

    77 人正在学习 去看看 冯文凯

linux命令解析
1.&

该命令加在一个命令后后面,可以把这个命令放到后台执行

2.jobs

查看当前有多少在后台运行的命令
jobs -l选项可显示所有任务的PID,jobs的状态可以是running, stopped, Terminated。
但是如果任务被终止了(kill),shell 从当前的shell环境已知的列表中删除任务的进程标识。
+表示是一个当前的作业,减号表是是一个当前作业之后的一个作业

3.fg

将后台中的命令调至前台继续运行。
如果后台中有多个命令,可以用fg %jobnumber(是命令编号,不是进程号)将选中的命令调出。

4.bg

将一个在后台暂停的命令,变成在后台继续执行。
如果后台中有多个命令,可以用bg %jobnumber将选中的命令调出。

5.kill

1:通过jobs命令查看job号(假设为num),然后执行kill %num
2:通过ps命令查看job的进程号(PID,假设为pid),然后执行kill pid

ps -aux #a:显示所有程序 u:以用户为主的格式来显示 x:显示所有程序,不以终端机来区分

MYSQL讲解
1.视图:

存储的查询语句,当调用的时候,产生结果集,视图充当的是虚拟表的角色.
演示:

/*创建视图*/
create view stu(Sno,Sname,Sage)
as
select Sno,Sname,Sage from Student;


create view stu_avg(Sno,avg)
as
select Sno,AVG(Grade) from SC GROUP BY Sno;

语法描述:
create view 视图名(不得与表名重复) (列的别名,不写,则默认数据集列名)
as
select 。。。 from 。。。;

2.子查询

一个内层查询语句(select-from-where)块可以嵌套在另外一个外层查询块的where子句中,称为子查询
演示

SELECT Sname FROM Student WHERE Sno 
	in
	(SELECT  Sno  from SC WHERE Cno='2');

语法描述:
该查询先从内部查询,子查询的返回集必须是指定的列名

2011-03-24 23:15:00 sunvince 阅读数 404
  • 大数据之oozie详解

    一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop MapReduce、Pig Jobs的任务调度与协调。 主要用于定时调度任务,多任务可以按照执行的逻辑顺序调度。本课程从oozie的概述开始,详细讲解了oozie的部署,包含cdh版本的hadoop部署,集群的搭建,以及oozie的安装和部署.结合oozie的使用案例,讲解oozie技术的具体使用和问题解决办法!

    77 人正在学习 去看看 冯文凯

FROM:  Linux Command

文件命令

  • ls   列出目录下的文件和文件夹
  • ls -al   已列表方式列出目录下的文件和文件夹,包括隐藏文件
  • cd dir   将目录切换到 dir
  • cd ~   切换到用户目录
  • pwd   打印当前目录
  • mkdir dir   新建 dir 目录
  • rm file   删除 file 文件
  • rm -r dir   删除 dir 目录及其子目录
  • rm -f file   强制删除 file 文件
  • rm -rf dir   强制删除 dir 目录及其子目录
  • rm -rf /   这个就不用说了,该命令敲完再回车下,系统就玩完了
  • cp file1 file2   将 file1 复制到 file2
  • mv file1 file2   将 file1 重命名为file2
  • ln -s file link   为文件 file 在另外一个位置建立一个软链接
  • touch file   创建名为 file 的文件,如果该文件已存在,则更新其文件的时间戳, 之前文件内容并不会丢失。
  • cat > file   创建新文件,并接下来的键盘输入重定向到 file 文件,直到退出该输入。
  • more file   分页显示 file 的内容, 支持 ctrl+B ctrl+F …..上下滚屏,但不支持像shift+G(跳到文件尾)这种操作
  • less file   分页显示 file 的内容,支持各种命令, 随便翻页,跳转,查找…
  • head file   显示文件 file 的前 10 行内容
  • tail file   显示文件 file 的最后1 10 行内容
  • tail -f file   实时显示文件 file 的最后 10 行内容

SSH

  • ssh user@host   连接远程主机
  • ssh -p port user@host   连接远程主机上的 port。 不用这个选项,默认就是22
  • ssh -D port user@host   使用非特定的 port 去对外联机。如果被访问机器的防火墙不淮许从特定的 port 联机,就可以使用这个选项。这个选项会关掉  RhostsAuthentication  RhostsRSAAuthentication

安装软件

  • ./configure
  • make
  • make install

网络

  • ping host   测试本机和目标主机的连通状况
  • whois domain   查找并显示指定域名的用户相关信息
  • dig domain   查找域 domain 的 DNS 服务器
  • dig -x host   查看反向解析
  • wget file   从网络上自动下载 file
  • wget -c file   断点下传 file
  • wget -r url   从 url 递归下载文件

系统信息

  • date   显示当前时间
  • cal   显示当月日历
  • uptime   查询系统当前负载
  • w   用于显示登录到系统的用户情况
  • whoami   显示当前用户名
  • uname -a   显示系统所有信息
  • cat /proc/cpuinfo   查看 CPU 的相关信息
  • cat /proc/meminfo   查看内存的信息
  • man command   显示 command 的手册
  • df   检查文件系统的磁盘空间占用情况
  • du   查询文件或目录的磁盘使用空间
  • du -sh   以易读方式显示当前目录所使用空间, 进制为 1024(忽略子目录)
  • free   显示当前内存及其 swap 的信息
  • whereis app   用于程序名的搜索,而且只搜索二进制文件(参数-b), man说明文件(参数-m)和源代码文件(参数-s)
  • which app   在 $PATH 变量指定的路径中,搜索 app 系统命令的位置,并且返回第一个搜索结果

查找文件

进程管理

  • ps   列出系统中正在运行的进程
  • ps aux     列出所有使用者的进程
  • kill pid   杀死 pid 为 pid 的进程
  • killall proc 杀死所有名为 proc 的进程
  • bg   将一个在后台暂停的命令,变成继续执行. 如果后台中有多个命令,可以用bg %jobnumber将选中的命令调出,%jobnumber是通过  jobs   命令查到的后台正在执行的命令的序号(不是pid )
  • fg   将后台中的命令调至前台继续运行, 如果后台中有多个命令,可以用 fg %jobnumber 将选中的命令调出,%jobnumber 是通过jobs命令查到的后台正在执行的命令的序号(不是pid )
  • fg n   把 job n 调回到前台执行
  • jobs   查看当前有多少在后台运行的命令,若未指定jobsid,则显示所有活动的任务状态信息; 如果报告了一个任务的终止(即任务的状态被标记为Terminated)SHELL 从当前的 SHELL 环境已知的列表中删除任务的进程标识

文件权限

chmod octal file   – 修改文件的权限
4   – read(r)
2   – write(w)
1   – execute(x)
order:  owner/group/world
eg:
chmod 777   – 每个人都有写,读,执行的权限
chmod 755   – 用户的创建者有所有的权限,同组/其他组有写读的权限

压缩

  • tar cf file.tar files   将 files 全部以 tar 方式 压缩到 file.tar
  • tar xf file.tar   将 file.tar 解压到当前目前目录
  • tar tf file.tar   列出 file.tar 压缩包中的文件

tar OPTIONS

  • c   创建新的档案文件,不可与x ,  t 同时使用
  • t   列出档案文件中的文件,  不可与x ,  c 同时使用
  • x   解压,  不可与c ,  t 同时使用
  • f   使用档案文件或设备,该选项通常是必选的,  该参数后必须直接接档案名
  • z   用 zip/gzip 来压缩/解压缩 文件,加上该选项后可将档案文件进行压缩,但还原时也一定要使用该选项进行解压缩
  • j   用 bzip2 来压缩/解压缩 文件,加上该选项后可将档案文件进行压缩,但还原时也一定要使用该选项进行解压缩
  • k   保存已经存在的文件。即如果把某个文件还原,遇到相同的文件,不会进行覆盖
  • T   从文件中得到要展开或要创建的文件名
  • w   每一步都要求确认
  • v   详细报告 tar 处理的文件嘻嘻你,如故此选项,tar 不报告文件信息
  • r   附加到存档

gzip file   – 用 gzip 压缩文件,压缩完后,原文件会删除
gzip -d file.gz   – 解压

快捷方式

  • ctrl+c   终止当前进程
  • ctrl+z   挂起当前进程
  • fg   将后台中的命令调至前台继续运行
  • bg   将一个在后台暂停的命令,变成继续执行
  • ctrl+d   退出当前 SHELL
  • ctrl+w   擦除当前命令行字符
  • ctrl+r   方向搜索执行过的命令
  • !!   重复上条命令
  • exit   退出当前 SHELL

VIM

退出

  • :x   退出并保存修改
  • :wq   退出并保存修改
  • :q   没有修改的情况下,可退出
  • :q!   强制退出,忽略修改

插入文本

  • i   进入命令模式输入
  • I   行首插入
  • a   字符后面插入追加文本
  • A   行尾插入
  • o   光标下新建空行
  • O   光标上新建空行
  • r   取代光标所在的那一个字符
  • R   取代光标所在的文字,直到按 ESC 为止

移动光标

  • h   向左移动
  • j   向下移动
  • k   向上移动
  • l   向右移动
  • w   移动光标到下一个单词
  • W   移动光标到下一个单词
  • b   移动光标到前一个单词
  • B   移动光标到前一个单词
  • e   移动光标到下个单词的末尾
  • E   移动光标到下个单词的末尾
  • (   移动光标到当前句首
  • )   移动光标到下一句开始
  • {   移动光标到段开始
  • }   移动光标到下一段开始
  • 0   移动光标到行开始
  • $   移动光标大行尾
  • nG   移动光标到第 n 行
  • :n   移动光标到第 n 行
  • G   移动光标到最后一行
  • fc   移动光标到前一个 c
  • Fc   移动光标到下一个 c
  • H   移动光标到屏幕的顶部
  • M   移动光标到屏幕的中部
  • L   移动光标到屏幕的底部
  • %   移动光标到配对的(), {}, []

删除文本

  • x   删除当前字符
  • X   删除光标前一个字符
  • D   删除当前到行尾的所有字符
  • dd   删除当前行
  • :d   删除当前行
  • dG   删除当前到文件末
  • dgg   删除当前到文件首

搜索

  • /string   向下搜索字符串 string
  • ?string   向上搜索字符串 string
  • n   在同一方向重复上一次搜索命令
  • N   在反方向上重复上一次搜索命令

替换

  • :s/pattern/string/flags   根据flags, 将当前行中所有pattern 均用 string 替代
  • g   flag, 替换所有匹配的
  • c   flag, 确定是否进行替换
  • &   重复上一次 替换 命令

files

  • :w file   保存文件
  • :r file   读入 file 内容到当前位置后
  • :n  打开多个文件时,将当前文件转到下一个(先保存当前文件)
  • :e file   打开另外一个文件 file (打开新文件前,先保存当前文件)
  • :! cmd   运行命令 cmd 后,返回到编辑器中
  • !! cmd   将运行命令 cmd 返回的结果体换当前行

other

  • u   恢复最后一个指令之前的结果,可以多次撤消指令,一次撤消一个操作,直至本次操作开始为止
  • U   恢复光标所在行所有改变

杀LINUX的JOB进程

阅读数 47

Linux常用命令

阅读数 66

没有更多推荐了,返回首页