Linux下文件搜索、查找、查看命令

1、最强大的搜索命令：find   查找各种文件的命令　

2、在文件资料中查找文件：locate　　

3、搜索命令所在的目录及别名信息：which　

4、搜索命令所在的目录及帮助文档路径：whereis

5、在文件中搜寻字符串匹配的行并输出：grep

6、分页显示一个文件或任何输出结果：more

7、分页显示一个文件并且可以回头：less

8、指定显示前多少行文件内容：head

9、指定显示文件后多少行内容：tail

10、查看一个文件：cat

11、查看文件内容多少字符多少行多少字节：wc

12、排序文件内容：sort

1、最强大的搜索命令：find                  查找各种文件的命令

一、根据 文件或目录名称 搜索

find 【搜索目录】【-name或者-iname】【搜索字符】：-name和-iname的区别一个区分大小写，一个不区分大小写

eg：在/etc  目录下搜索名字为init的文件或目录

①、find /etc -name init   (精准搜索，名字必须为 init 才能搜索的到)

②、find /etc -iname init   (精准搜索，名字必须为 init或者有字母大写也能搜索的到)

③、find /etc -name *init  (模糊搜索，以 init 结尾的文件或目录名)

④、find /etc -name init??? (模糊搜索，？ 表示单个字符，即搜索到 init___)

二、根据 文件大小 搜索

eg：在根目录下查找大于 100M 的文件

find / -size +204800

这里 +n 表示大于，-n 表示小于，n 表示等于

1 数据块 == 512 字节 0.5KB，也就是1KB等于2数据块

100MB == 102400KB204800数据块

三、根据 所有者和所属组 搜索

①、在home目录下查询所属组为 root 的文件

　　　　find /home -group root

②、在home目录下查询所有者为 root 的文件

　　　　find /home -user root

四、根据 时间属性 搜索

find 【路径】【选项】【时间】

选项有下面三种：-amin  访问时间

　　　　　　　　 -cmin   文件属性被更改

　　　　　　　　 -mmin  文件内容被修改

时间：+n,-n,n分别表示超过n分钟，n分钟以内和n分钟

eg：在 /etc 目录下查找5 分钟内被修改过属性的文件和目录

　　　　find /etc -cmin -5

五、根据 文件类型或i节点 搜索

　-type 根据文件类型查找：

　f表示文件，d表示目录，l表示软链接

eg：查找 /home 目录下文件类型是目录的

find /home -type d

　　-inum 根据i节点查找

eg：查找 /tmp 目录下i节点为400342的文件或目录

　 find /tmp -inum 400342

六、组合条件 搜索　　

　　这里有两个参数：

　　①、-a  表示两个条件同时满足（and）

　　②、-o  表示两个条件满足任意一个即可（or）

　　范例：查找/etc目录下大于80MB同时小于100MB的文件

　　find /etc -size +163840 -a -size -204800

2、在文件资料中查找文件：locate

语法：locate【文件名】 -i  不区分大小写

注意：这里和 find 命令是有区别的，find是全盘检索，而locate 是在文件资料库中进行搜索。所以locate命令的执行要比find命令执行速度快很多。但是这里有个问题，文件资料库是需要不断更新的。我们新创建的文件如果不更新 文件资料库，使用 locate 是查找不到的。

updatedb  手动更新资料库，但是对于/tmp目录下的新建文件，是更新不到文件资料库的，因为/tmp目录不属于文件资料库的收录范围。

eg：locate hcf



3、搜索命令所在的目录及别名信息：which

功能描述：搜索命令所在的目录及别名信息

　语法：which【命令】

　eg：which ls

　

4、搜索命令所在的目录及帮助文档路径：whereis**

功能描述：搜索命令所在的目录及帮助文档路径

　语法：whereis【命令】

　eg：whereis ls

　

5、在文件中搜寻字符串匹配的行并输出：grep

功能描述：在文件中搜寻字符串匹配的行并输出

　语法：grep -iv 【指定字符串】【文件】

　　　　　　　　-i 不区分大小写

　　　　　　　　-v 排除指定字符串

　eg：查找 /root/install.log 文件中包含 mysql 字符串的行，并输出

　　　　grep mysql /root/install.log

本搜索工具，根据用户指定的模式，对目标文件逐行进行匹配检查，打印匹配到的行

grep是在文件中搜索匹配的字符串，是在文件中进行内容搜索，这个命令后面用到的比较多

6、分页显示一个文件或任何输出结果：more

描述：

分页显示一个文件或任何输出结果

用于查看纯文本文件(较长的)格式

格式：

more[选项] 文件

7、分页显示一个文件并且可以回头：less

less 与 more 类似，但使用 less 可以随意浏览文件，而 more 仅能向前移动，却不能向后移动，而且 less 在查看之前不会加载整个文件。

8、显示前几行文件内容：head

head[必要参数][选择参数][文件]

用于显示指定文件开始多少行内容

命令参数：

-n 10	显示前10行

-n -10	正常输出但不显示最后的10行

eg：显示new.txt的前两行内容

head -n 2 new.txt

head -2 new.txt

9、指定显示文件后多少行内容：tail

tail[必要参数][选择参数][文件]

用于显示指定文件末尾多少行内容

命令参数：

-n 10	显示后面10行

-f	持续刷新显示的内容

eg：显示new.txt的末尾两行内容

tail -n 2 new.txt

tail -2 new.txt

eg：指定从第二行开始显示

tail -n +2 new.txt

10、查看一个文件：cat

描述：一次显示整个文件内容

cat 命令 用于查看纯文本文件(较短)

　cat [选项] [文件]…



11、查看文件内容多少字符多少行多少字节：wc

描述：wc 命令默认情况下会打印换行符数、单词数和字符数。

　用法：wc [选项] [文件]




12、排序文件内容：sort

用法：sort [选项] [文件]

　

eg：sort -b h.txt

centos7

1、文件搜索


find    可以找到你想要的文件
格式：  find [目录] [选项] [选项值]
目录：去哪找，可以不写，默认代表当前目录
选项：怎么找
    >> -name   按照名字找
        可以使用通配符
    -size   按照大小找
        单位为  kmg   10k（等于10k）   +10k（大于10k）   -10k（小于10k）
    -user   按照用户名
    -group  按照组名
    -maxdepth  -mindepth   限制查找的目录层级，默认递归查找所有
    -ctime  按照创建时间查找
        单位是天
选项值：找什么
    find / -name demo.txt
    find / -name \*.txt
    find / -size +10k
    find / -user demo.txt
    find / -group demo.txt
    find / -mindepth 4 -name \*.txt
    find / -mindepth 3 -maxdepth 5 -name \*.txt



2、文件内容搜索


grep   查找的内容   文件路径
grep movie demo.txt
grep that ~/*.txt

选项
    --color=auto   将颜色高亮显示
        给 grep 指令起一个别名   vi ~/.bashrc
        添加一行     alias grep='grep --color=auto'
        让配置文件立即生效       source ~/.bashrc
    -c         得到内容的个数
    -i         不区分大小写的查找
    -n         显示在文档中的行号
    -r         递归查找，但是不能限制后缀，只能遍历所有
        grep -r that ~/*
    -l         只显示文件名，不显示内容
    grep -l 你好 ~/test/*.txt


正则表达式进行查找(少用)
    \w(数字字母下划线)   
    \W(除了上面)
    \d(数字)
    \D(非数字)
    .(除了换行符)
    *(任意多个)
    +(至少1个)
    ?(0个或者1个)
    te-st@163.com   abc_def@qq.com   lala@sina.cn   benben@meme.net

    grep -E .*? demo.txt 

    -E   使用正则表达式来进行匹配



3、管道

前一个管道的输出是后一个管道的输入
前一个指令的输出是后一个指令的输入
格式：
    指令1 | 指令2
    指令1的结果作为指令2的输入，然后将指令2的输出显示到屏幕中
常用的管道指令

    #ll=select /etc=table  |  less = page
    ll /etc | less
    ll /etc | grep sudo   常用格式
    ll /etc | head -10 | tail -5   显示前10条的后5条

接触ELK这么久，一直都在日志分析和系统运维方面兜圈圈。今天来玩转一下搜索技能，填补一下这方面的空白。主要也是好多天没更新博客了，来写一篇

文章目录
基本需求
任务分解
web 前端
web 后端
索引替换
文件监控与索引
文件下载
结语

何为文件搜索系统？其实简单一点，就可以想象为一个带用户界面的grep，可以根据你提供的关键字查询包含该内容的文件。与grep一样，该系统应该能返回包含该搜索条件的文件名，行号和具体内容等，同时应该支持高亮。与grep只支持正则表达式不一样的是，以elasticsearch为基础的搜索系统，能支持更多的搜索模式和匹配模式。当然，我们的系统肯定是比grep提供更多的功能。
基本需求
特点如下：

基于web的用户界面，使用浏览器就可以直接访问
可以对文件内容进行搜索和匹配，并且返回文件基本信息和关键字高亮，并提供链接远程打开文件
支持各种富文本内容，包括ppt, pdf等
可以监控文件的变化，当文件有增删改之后，能够重新索引文件

我们先看看最终的效果：


任务分解
再简单分解一下所需要的技术：

web前端：

UI：提供搜索条、展示搜索结果面板和文件打开链接
逻辑：将搜索内容组装为elasticsearch的搜索语句发送到后端，并且将response进行合理的处理


web后端：

web服务器提供web API服务
同时对接elasticsearch，作为中间件，处理 前端请求 <——> elasticsearch 之间的互动
web文件服务器，提供静态文件的访问


数据库：

elasticsearch作为数据库，包含文件的索引和基本信息


文件监控与索引

需要对特定目录下的文件进行监控和索引
任何的增删改动作都触发文件的索引（把文件索引到elasticsearch当中，以便可以搜索）



咋一看貌似挺复杂的。但如同所有的软件开发，只要不是特别创新的功能，总会有人已经帮你踩好了坑，我们要做的是找到合适的轮子而不是重复造轮子（一开始也是打算自己把这套东西都实现了，结果一google，啥都有）。
为了更方便的集成搜索服务到你的APP或者网站，elastic提供了一套search UI （官网）。只需要寥寥几行代码，即可内嵌一个非常美观的search套件到你的应用或者网站当中。我们的实现也主要是基于这个search UI.
具体的代码可查地址。
web 前端
但是这套工具的是默认你使用App search或者site search服务的，其接口设置是使用一个connector与远程的search服务进行交互。



如果我们没有购买类似的服务，只能修改这个代码为使用本地的elasticsearch。具体的示例在github上也能找到，我们的代码也是基于这个example。
所需的component大致如下：
package.json:
{
  "name": "elasticsearch-example",
  "version": "0.8.0",
  "private": true,
  "proxy": "http://localhost:9000",
  "dependencies": {
    "@elastic/react-search-ui": "0.8.0",
    "@elastic/react-search-ui-views": "0.8.0",
    "@elastic/search-ui": "0.8.0",
    "react": "^16.8.6",
    "react-dom": "^16.8.6",
    "react-scripts": "3.0.1"
  },
  "scripts": {
    "start": "npm-run-all --parallel start:app start:server",
    "start:app": "react-scripts start",
    "start:server": "netlify-lambda serve ./functions",
    "build": "npm-run-all --parallel build:**",
    "read": "read",
    "build:app": "react-scripts build",
    "build:functions": "netlify-lambda build ./functions"
  },
  "eslintConfig": {
    "extends": "react-app"
  },
  "browserslist": {
    "production": [
      ">0.2%",
      "not dead",
      "not op_mini all"
    ],
    "development": [
      "last 1 chrome version",
      "last 1 firefox version",
      "last 1 safari version"
    ]
  },
  "devDependencies": {
    "encoding": "^0.1.12",
    "netlify-lambda": "^1.4.7",
    "node-fetch": "^2.5.0",
    "npm-run-all": "^4.1.5"
  }
}


需要重写一下autoComplete.js以适配我们自己的数据格式


web 后端
以上项目已经实现了一个nodeJs的后端，直接启动npm start即可，但需要注意的是，需要通过环境变量指定elasticsearch的url，即完整的命令是：

ELASTICSEARCH_HOST=http://localhost:9200 npm start
索引替换
前面我们提到后端需要对接elasticsearch，作为中间件，处理 前端请求 <——> elasticsearch 之间的互动，这部分代码框架已经实现了，我们要做的是把索引替换为我们自己的索引。

文件监控与索引
这里，我们使用 fscrawler 就能完全满足我们的需求。因为文档很齐全，我这里就不一一解释了。

我这里监控了一个目录/Users/Documents/AWS：
ls -l
total 24736
-rw-r--r--@ 1 lex  staff    22523  6 10 15:20 2019年风险管理制度学习活动-量化风险-学习资料.docx
-rw-r--r--@ 1 lex  staff   567176  6 10 15:20 AWS_Certified_Solutions_Architect_Associate_Feb_2018_ Exam_Guide_v1.5.2.pdf
-rw-r--r--@ 1 lex  staff   389035  6 10 15:20 AWS_Certified_Solutions_Architect_Associate_Sample_Questions.pdf
-rw-r--r--@ 1 lex  staff   195516  6 10 15:20 AWS_certified_solutions_architect_associate_blueprint.pdf
-rw-r--r--@ 1 lex  staff  2338541  6 10 15:20 ES多数据同步之道分享.key

则对应的配置文件，简单的可以设置为：
---
name: "files"
fs:
  url: "/Users/Documents/AWS/"
  update_rate: "15m"
  excludes:
  - "*/~*"
  json_support: false
  filename_as_id: false
  add_filesize: true
  remove_deleted: true
  add_as_inner_object: false
  store_source: false
  index_content: true
  attributes_support: false
  raw_metadata: false
  xml_support: false
  index_folders: true
  lang_detect: false
  continue_on_error: false
  ocr:
    language: "eng"
    enabled: true
    pdf_strategy: "ocr_and_text"
  follow_symlinks: false
elasticsearch:
  nodes:
  - url: "http://127.0.0.1:9200"
  bulk_size: 100
  flush_interval: "5s"
  byte_size: "10mb"


以下是该工具写入到es的对象为：
{
  "_index": "files",
  "_type": "_doc",
  "_id": "f982d250b791df3ea3b1e0c1b184e283",
  "_version": 18,
  "_score": null,
  "_source": {
    "content": "\n   AWS Certified Solutions Architect – \nAssociate ...",
    "meta": {
      "author": "Barnosky, Timothy",
      "date": "2018-02-08T06:13:32.000+0000",
      "language": "en-US",
      "format": "application/pdf; version=1.5",
      "creator_tool": "Microsoft® Word 2013",
      "created": "2018-02-08T06:13:32.000+0000"
    },
    "file": {
      "extension": "pdf",
      "content_type": "application/pdf",
      "created": "2019-04-03T03:31:49.000+0000",
      "last_modified": "2019-04-03T03:31:49.000+0000",
      "last_accessed": "2019-06-05T08:08:22.000+0000",
      "indexing_date": "2019-06-05T08:08:22.479+0000",
      "filesize": 567176,
      "filename": "AWS_Certified_Solutions_Architect_Associate_Feb_2018_ Exam_Guide_v1.5.2.pdf",
      "url": "file:///Users/caishichao/Documents/AWS/AWS_Certified_Solutions_Architect_Associate_Feb_2018_ Exam_Guide_v1.5.2.pdf"
    },
    "path": {
      "root": "431c7636e585854c841c8e88a25ea39",
      "virtual": "AWS_Certified_Solutions_Architect_Associate_Feb_2018_ Exam_Guide_v1.5.2.pdf",
      "real": "/Users/caishichao/Documents/AWS/AWS_Certified_Solutions_Architect_Associate_Feb_2018_ Exam_Guide_v1.5.2.pdf"
    }
  },
  "sort": [
    -9223372036854776000
  ]
}

UI上可以通过读取content，file，path的内容进行必要的展示
具体需要修改buildState.js里面的内容进行适配。


文件下载
我们可以使用nginx或者其他工具为文件目录提供一个web访问的解决方案，当搜索某个关键字被匹配后，根据文件信息，构造一个下载路径，提供文件下载
结语
其实这个博文我没有写得特别的详细，只是简单的总结一下思路，希望对大家有帮助

文章目录
一、最强大的搜索命令：find
1）根据 文件或目录名称 搜索
2）根据 文件大小 搜索
3）根据 所有者和所属组 搜索
4）根据 时间属性 搜索
5）根据 文件类型或i节点 搜索
6）组合条件 搜索
二、在文件中搜寻字符串匹配的行并输出：grep

一、最强大的搜索命令：find
find命令是Linux系统中用来进行文件搜索用的最多的命令，功能特别强大。但是能搜索到的文件特别多，所以尽量少用find命令，就算要搜索也应该尽量的缩小范围，也不要在服务器使用高峰期进行文件搜索，因为搜索也是很占系统资源的。

英文原意：
命令所在路径：/bin/find
执行权限：所有用户
功能描述：进行各种花式文件搜索
语法：

find 搜索范围 匹配条件




注意：Linux搜索和windows是有明显区别的，Linux严格区分文件大小写。

1）根据 文件或目录名称 搜索
语法：

find 搜索目录 -name或者-iname 搜索字符
-name和-iname的区别一个区分大小写，一个不区分大小写

find . -name "*.txt"  (模糊搜索) 



插播两个通配符：




2）根据 文件大小 搜索
语法：

在根目录下查找大于 1024 的文件

find / -size +1024c


这里 +n 表示大于，-n 表示小于，n 表示等于


c 表示字节，k表示千字节，M表示兆字节


3）根据 所有者和所属组 搜索
语法：

在目录下查询所属组为 gxl 的文件

find ./ -group gxl


在目录下查询所有者为 gxl 的文件

find ./ -user gxl


4）根据 时间属性 搜索
语法：

find 路径 选项 时间
-amin 按文件访问时间来查找文件
-cmin 按文件创建时间来查找文件
-mmin 按文件更改时间来查找文件
时间：+n,-n,n分别表示超过n分钟，n分钟以内和n分钟

例子：

在目录下查找60分钟内被修改过属性的文件和目录

find ./ -mmin -60


5）根据 文件类型或i节点 搜索
语法：

-type 根据文件类型查找：f 表示文件，d 表示目录，l 表示软链接

例子：

查找 ./ 目录下文件类型是目录的   find ./ -type d l f



6）组合条件 搜索
这里有两个参数：

-a  表示两个条件同时满足（and）
-o  表示两个条件满足任意一个即可（or）

例子：

查找/etc目录下大于80MB同时小于100MB的文件

find ./ -size +1024c -a -type d -mmin +100



不加也可以！


二、在文件中搜寻字符串匹配的行并输出：grep

英文原意：
命令所在路径：/bin/grep


执行权限：所有用户
功能描述：在文件中搜寻字符串匹配的行并输出
语法：

grep -iv 指定字符串 文件
-i 不区分大小写
-v 排除指定字符串



例子：

查找文件中包含main字符串的行，并输出

grep -n main hello