01 Tomcat 安装与测试

1.1 安装 Tomcat

安装Tomcat的本体和相关官方测试demo，参考链接

apt-get install tomcat8 -y # 安装Tomcat本体
apt-get install tomcat8-docs tomcat8-examples tomcat8-admin -y # 安装测试demo

1.2 Tomcat 启动检查

systemctl start tomcat8 # 启动Tomcat
systemctl status tomcat8
netstat -lntup|grep 8080 # 端口测试
lsof -i:8080
# 端口检查得到输出
COMMAND  PID    USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    4502 tomcat8   63u  IPv6 125026      0t0  TCP *:http-alt (LISTEN)

1.3 查看 Tomcat 日志

启动tomcat之后，使用本地浏览器访问http://localhost:8080/访问tomcat页面，在页面中点击按钮产生HTTP请求，让tomcat产生日志

tail -f /var/log/tomcat8/localhost_access_log.2021-08-01.txt 

02 修改 Tomcat 日志为 Json 格式

打开Tomcat的server.xml配置文件进行修改，在日志文件中的文末修改如下对应设置

# 编辑配置文件
vim /etc/tomcat8/server.xml
#将以下内容替换配置文件中135行对应内容
        <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
               prefix="localhost_access_log" suffix=".log"
               pattern="{&quot;client&quot;:&quot;%h&quot;,  &quot;client user&quot;:&quot;%l&quot;,   &quot;authenticated&quot;:&quot;%u&quot;,   &quot;access time&quot;:&quot;%t&quot;,     &quot;method&quot;:&quot;%r&quot;,   &quot;status&quot;:&quot;%s&quot;,  &quot;send bytes&quot;:&quot;%b&quot;,  &quot;Query?string&quot;:&quot;%q&quot;,  &quot;partner&quot;:&quot;%{Referer}i&quot;,  &quot;Agent version&quot;:&quot;%{User-Agent}i&quot;}"/>
# 查看修改内容
cat -n /etc/tomcat8/server.xml

重新启动tomcat并查看日志，检验是否配置成功，产生新的日志还是需要通过使用浏览器访问8080端口，在Tomcat的demo样例中对tomcat发送请求产生日志。

# 先清空日志
> /var/log/tomcat8/localhost_access_log.2021-08-02.txt 
# 重新启动Tomcat
systemctl restart tomcat8
# 查看日志
root@master:/var/log/tomcat8# tail -f /var/log/tomcat8/localhost_access_log.2021-08-02.log  # 查看日志命令
{"client":"172.16.255.1", "client user":"-", "authenticated":"-", "access time":"[02/Aug/2021:02:23:55 +0000]", "method":"GET /examples/servlets/images/return.gif HTTP/1.1", "status":"200",  "send bytes":"1231",  "Query?string":"", "partner":"http://172.16.255.131:8080/examples/servlets/", "Agent version":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36"}
{"client":"172.16.255.1", "client user":"-", "authenticated":"-", "access time":"[02/Aug/2021:02:23:57 +0000]", "method":"GET /examples/servlets/servlet/RequestParamExample HTTP/1.1", "status":"200",  "send bytes":"673",  "Query?string":"", "partner":"http://172.16.255.131:8080/examples/servlets/", "Agent version":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36"}
{"client":"172.16.255.1", "client user":"-", "authenticated":"-", "access time":"[02/Aug/2021:02:24:01 +0000]", "method":"GET /host-manager/html HTTP/1.1", "status":"401",  "send bytes":"2044",  "Query?string":"", "partner":"http://172.16.255.131:8080/", "Agent version":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36"}

03 配置 Filebeat 采集 Tomcat 日志

新增Filebeat输入配置，将tomcat日志参照Nginx的Json格式日志采集方式配置如下

vim小技巧：将连续多行内容复制对应位置使用t命令，在Normal模式中输入:2,7t11表示将第二到第七行的内容复制到第十一行开头；将连续多行内容移动对应位置使用m命令，在Normal模式中输入:2,7m11表示将第二到第七行的内容移动到第十一行开头

vim小技巧：在输入内容时要使用到某个文件路径可以是用!命令然后使用shell命令查看内容，例如查看某个文件的路径可以在Normal模式中输入:!ls /var/log/tomcat8/...提示

# ================== Filebeat inputs ===============
# ------------------------------Tomcat----------------------------------
- type: log
  enabled: true
  paths:
    # - /var/log/tomcat8/localhost_access_log.2021-08-02.log
    # 为了能够采集所有日期的日志，将文件名中的指定日期改成通配符`*`
    - /var/log/tomcat8/localhost_access_log.*.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["tomcat"]

# ================================== Outputs ===================================
# ---------------------------- Elasticsearch Output ----------------------------
output.elasticsearch:
  hosts: ["172.16.255.131:9200"]
  indices:
      - index: "nginx-access-%{[agent.version]}-%{+yyyy.MM}"
        when.contains:
            tags: "access"
      - index: "nginx-error-%{[agent.version]}-%{+yyyy.MM}"
        when.contains:
            tags: "error"
# 在输出配置中添加如下索引设置识别tomcat日志，值得注意的时这里不需要再重新编辑template设置，应该pattern配置只在第一次使用时进行匹配识别
      - index: "tomcat-access-%{[agent.version]}-%{+yyyy.MM}"
        when.contains:
            tags: "tomcat"

04 使用Kibana查看Tomcat日志

配置完成之后，重新启动Filebeat采集Json格式日志

systemctl restart filebeat

查看ES中存储的Tomcat日志是否是Json格式

Tomcat日志分割

修改后的tomcat都是按日保存日志文件，文件格式如：catalina.2011-11-07.out

方法一：使用cronolog

1. 下载安装 cronolog

   yum install -y http://rpmfind.net/linux/epel/7/x86_64/Packages/c/cronolog-1.6.2-14.el7.x86_64.rpm
   

2.编辑./bin/catalina.sh

替换下面的行(有两处，不过一般在 -security 中的那一行不需要去关注，不妨两处全替换了)

将：

org.apache.catalina.startup.Bootstrap "$@" start \
>> "$CATALINA_OUT" 2>&1 "&"

改为：

org.apache.catalina.startup.Bootstrap "$@" start 2>&1 \
   | /usr/sbin/cronolog "$CATALINA_BASE"/logs/catalina.%Y-%m-%d.out>>/dev/null &

改完重启服务，查看日志文件为如下，修改成功

方法二：使用rotatelogs（appache自带的工具）

which rotatelogs
yum provides */rotatelogs #（查找命令对应的软件包。）

将：

>> "$CATALINA_OUT" 2>&1 "&"

改为：

2>&1 | /usr/sbin/rotatelogs  "$CATALINA_BASE"/logs/catalina-%Y-%m-%d.out 86400 480 &

改完重启服务，查看日志文件，修改成功

Tomcat日志数据的采集有很多种方式，使用tail是最简单的方法，但必须保证catalina.out日志中的每行都是以日期格式开头的。除了tail方法外，还可以通过对rsyslog配置实现，本博客主要通过配置rsyslog进行Tomcat日志数据的采集。

1. 检查系统中是否存在rsyslog

打开终端，查看rsyslog版本，确定系统是否存在rsyslog，命令如下：

rsyslogd -v

效果如下图所示，则系统中已存在rsyslog

2. 创建配置Tomcat日志采集配置文件

2.1 查看/var/spool目录下是否存在rsyslog，命令如下：

find /var/spool/rsyslog/

效果如下图所示：

如果/var/spool目录下不存在rsyslog，则使用mkdir命令创建rsyslog目录：

mkdir /var/spool/rsyslog/

2.2 配置rsyslog.conf文件，包括模块加载、输出文件相关设置等；
编辑配置rsyslog.conf文件：vim /etc/rsyslog.conf

在Local7.*下添加如下内容:

ruleset(name="MyRuleSet"){
	action(type="omfile"  #输出文件模式
		File="/var/log/test.out")  #输出文件的位置
	stop
}

效果如图所示

配置tomcat-log.conf，读取Tomcat的catalina.out文件并将其写入test.out文件中；
进入编辑tomcat-log.conf文件：vim /etc/rsyslog.d/tomcat-log.conf
写入如下内容：

input(type="imfile"
        File="/usr/local/tomcat/logs/catalina.out"
        Tag="test1"
        Severity="info"
        Facility="local0"
        ruleset="MyRuleSet")

效果如图所示：

3. 启动rsyslog服务并检查配置文件是否正确

3.1 启动rsyslog服务，然后检查配置文件是否正确；

启动rsyslog服务：systemctl restart rsyslog.service
检查配置文件：rsyslogd -N 1

效果如下图所示：

3.2 查看启动日志，再次确认配置文件是否正确；
启动日志命令：tail -f /var/log/messages

效果如下图所示：

4. 创建并查看test.out文件

在/var/log目录下新建 test.out 文件并实时查看内容；
创建test.out文件：touch /var/log/test.out
检查test.out文件是否创建成功：find /var/log/test.out
使用tail命令实时查看内容：tail -f /var/log/test.out

效果如下图所示：

5. 启动Tomcat并进行日志数据的采集

再次打开一个新的命令窗口，进入Tomcat的bin目录，启动Tomcat；
启动Tomcat命令：./startup.sh
效果如图所示：

最后返回上一个窗口，就可以看到test.out中已经存在了catalina.out文件内容啦。

本博客到此就完成了项目Tomcat容器数据采集的第二部分Tomcat日志配置远程rsyslog采集，有帮助到你的话就点赞支持一下吧，后续将会更新最后一部分Linux下Tomcat日志数据采集，我是不吃泡面，不只会写BUG。