日志审计系统简介
 
什么是日志审计？
 
综合日志审计平台，通过集中采集信息系统中的系统安全事件、用户访问记录、系统运行日志、系统运行状态等各类信息，经过规范化、过滤、归并和告警分析等处理后，以统一格式的日志形式进行集中存储和管理，结合丰富的日志统计汇总及关联分析功能，实现对信息系统日志的全面审计。
 
通过日志审计系统，企业管理员随时了解整个IT系统的运行情况，及时发现系统异常事件；另一方面，通过事后分析和丰富的报表系统，管理员可以方便高效地对信息系统进行有针对性的安全审计。遇到特殊安全事件和系统故障，日志审计系统可以帮助管理员进行故障快速定位，并提供客观依据进行追查和恢复。[百度百科]
 
为什么需要日志审计平台？
 
日志审计的合规要求，由于网络安全法的颁布实施，由原先的不合规转变成了不合法。如果不对要求的相关日志不做留存6个月以上，一旦追查，将面临法律责任。
安全运营的挑战。随着网络设备的增多，以及服务器数量的增多，如果没有统一的综合日志审计平台，那么需要登录到每台设备上查看日志，不利于运维人员管理。而且众多设备会产生海量的日志，无法有效管理。多种设备形成信息孤岛，日志无法关联分析。通过统一的日志审计平台，将所有设备日志都收集到日志平台进行统一管理，统一分析。
 
日志审计的核心目标：
 
多源数据归一化
日志存储集中化
关联分析自动化
安全态势立体化
 
日志审计的主要功能
 
设计思路：
 
统一日志采集：
 
对不同日志源 (主机系统、网络设备、安全设备、应用中间件、数据库等)所产生的日志进行收集，实现日志的集中管理和存储。支持解析任意格式、任意来源的日志，通过解析规则标准化。
使用无代理的方式收集日志。
支持代理方式的日志收集。
 
关联分析：
 
预置多种事件关联规则。
定位外部威胁、黑客攻击、内部违规操作，设备异常。
简单灵活定义关联规则。
 
实时告警：
 
通过邮件、短信、声音对发生的告警进行及时通知，并可通过接口调用自动运行程序或脚本。
通过告警策略定义，对各类风险 和事件进行及时告警或预警，提升运维效率。
 
日志取证分析：
 
深入分析原始日志事件，快速定位问题的根本原因。
生成取证报表，例如攻击威胁报表、Windows/Linux系统审计报表以及合规性审计报表等。
 
监管合规：
 
提供Windows审计、Linux审计、PCI、SOX、ISO27001等合规性报表。
支持创建自定义合规性报表
 
日志审计系统产品功能结构：
 
 

 图：日志审计系统产品功能结构
 
日志审计系统的主要工作原理是，通过日志采集器，各种设备将日志推送到日志审计平台，然后日志审计平台通过日志解析，日志过滤，日志聚合等进行关联分析，从而进行告警，统计报表，也可以进行资产管理，日志检索等。
 
日志的转发方式：
 
日志转发一般可以通过：Syslog转发，Kafka转发，http转发。
 
日志收集一般支持：Syslog、SNMP等日志协议。
 
日志审计系统常见模块：
 
 
日志事件获取模块：安全事件监控系统是实时掌握全网的安全威胁状况的重要手段之一。通过事件监控模块监控各个网络设备、主机系统等日志信息，以及安全产品的安全事件报警信息等，及时发现正在和已经发生的安全事件，通过响应模块采取措施，保证网络和业务系统的安全、可靠运行。
 
 
资产管理模块：资产管理实现对网络安全管理平台所管辖的设备和系统对象的管理。它将其所辖IP设备资产信息按其重要程度分类登记入库，并为其他安全管理模块提供信息接口。
 
 
规则库模块：规则库已支持主流网络设备、主机系统、数据库系统等，而且还应涵盖已经部署的安全系统，包括防火墙系统、防病毒系统等。并提供新日志格式适配功能，支持从安全运营中心平台接收新日志解析映射规则配置。用户可以根据该适配功能，对新日志格式进行自行适配。
 
 
统计报表功能：具备强大的统计功能，可快速生成多种专业化的报表并支持自定义图表的设定集展示。
 
 
权限管理模块：超级管理员可根据用户角色分配平台查看、操作各模块的权限，用户可以访问而且只能访问自己被授权的资源
 
 
日志审计平台的部署方式
 
硬件产品部署方式：
 
一般日志审计系统采用旁路部署即可，只要到达全部设备网络可通即可。
 
支持单机部署和分布式部署。
 
云日志审计系统部署方式：
 
云日志审计部署一般要求到全网设备可通信即可。
 
 
 
 
参考资料：
 
 
https://baike.baidu.com/item/综合日志审计平台/4839703?fr=aladdin
 
 
https://www.venustech.com.cn/article/type/1/221.html
 https://www.dbappsecurity.com.cn/show-62-31-1.html
 
 
https://blog.51cto.com/lidefu/1390903
 
 

 
1，介绍
 
  Doris 的审计日志插件是一个可选插件。用户可以在运行时安装或卸载这个插件，该插件可以将 FE 的审计日志定期的导入到指定 Doris 集群中，以方便用户通过 SQL 对审计日志进行查看和分析，这里的数据其实是Doris FE log目录下的 fe.audit.log 文件中的数据。
 
  我们要做的是安装这个插件，然后我们可以通过doris sql去对应的表查询sql语句，也可以通过doris 目录下的fe.audit.log文件将日志接出之后写入外部操作。
   通过filebeat数据接出到kafka，通过flink程序消费解析日志然后分析出血缘关系，这是我们最终的目的。
 
 
2，安装Doris 的审计日志插件
 
  1）参考官网方式，编译得到 auditloader.zip 文件
    审计日志插件 | Apache Doris
 
 
  2）修改 fe conf下的配置文件，添加参数，启用plugin框架
        plugin_enable = true
 
 
3）auditloader.zip文件上传到fe，解压到/plugins目录
      在fe/plugins 目录下插件一个文件夹，然后auditloader.zip解压进这个文件夹，比如我这里创建文件夹auditdemo ，解压之后的效果：
      
 
 
 
 
  4） plugin.conf 配置文件修改
 
   plugin.conf 配置信息：
 
   # 批量的最大大小，默认为 50MB
    max_batch_size=52428800

    # 批量加载的最大间隔，默认为 60 秒
    max_batch_interval_sec=60

    # 加载审计的 Doris FE 主机，默认为 127.0.0.1:8030。
    # 这应该是Stream load 的主机端口
    frontend_host_port=127.0.0.1:8030

    # 审计表的数据库
    database=doris_audit_db__

    # 审计表名，保存审计数据
    table=doris_audit_tbl__

    # 用来连接doris的用户. 此用户必须对审计表具有 LOAD_PRIV 权限.
    user=root

    # 用来连接doris的用户密码
    password=root
 

  
 
  5）创建插件表
 
   库为配置文件里面的配置 database=doris_audit_db__
 
 
 create table doris_audit_tbl__
 (
    query_id varchar(48) comment "查询唯一ID",
     time datetime not null comment "查询开始时间",
    client_ip varchar(32) comment "查询客户端IP",
     user varchar(64) comment "查询用户名",
    db varchar(96) comment "查询的数据库",
    state varchar(8) comment "查询状态：EOF, ERR, OK",
    query_time bigint comment "查询执行时间（毫秒）",
    scan_bytes bigint comment "查询扫描的字节数",
    scan_rows bigint comment "查询扫描的记录行数",
    return_rows bigint comment "查询返回的结果记录数",
    stmt_id int comment "SQL语句的增量ID",
    is_query tinyint comment "这个是否是查询：1 or 0",
    frontend_ip varchar(32) comment "执行这个语句的FE IP",
    stmt varchar(5000) comment "原始语句，如果超过 5000 字节，则进行修剪"
 ) engine=OLAP
 duplicate key(query_id, time, client_ip)
 partition by range(time) ()
 distributed by hash(query_id) buckets 1
 properties(
     "dynamic_partition.time_unit" = "DAY",
     "dynamic_partition.start" = "-30",
     "dynamic_partition.end" = "3",
     "dynamic_partition.prefix" = "p",
     "dynamic_partition.buckets" = "1",
     "dynamic_partition.enable" = "true",
     "replication_num" = "3"
 );
 
 
  6）启动插件,在mysql 客户端
         
 
 
 
 
安装一个本地 zip 文件插件：
 
 INSTALL PLUGIN FROM "/wyyt/software/doris-0.14.7/fe/plugins/auditdemo.zip";

 
 
安装一个本地目录中的插件：
 
 INSTALL PLUGIN FROM "/wyyt/software/doris-0.14.7/fe/plugins/auditdemo/";
 
3，测试效果
 
  1）查看对应库的表对应表信息：
 
 
 
 
 
  2）查看fe目录下log目录下 fe.audit.log
 
   
 
 
 
 
 
4，将fe.audit.log文件日志输出
 
  1）filebeat-7.13.3-linux-x86_64.tar.gz 下载安装 
     
 
 
 
  2）配置文件，直接监控fe log目录下的fe.audit.log文件 将日志输出到kafka
 
 
5，通过程序解析log日志
 
  通过flink代码消费kafka的数据然后血缘解析，结果输出到mysql或者redis存储供前端页面查询。
 
  1）指定消费文件
 
   
 
 
 
 2）指定输出
     
 
  
 
 
 
3）启动命令
 
   ./filebeat -e -c filebeat.yml
 
 
4）运行效果
 
   
 
 
 
 
5）JSON格式数据写入kafka
 
{
 "@timestamp": "2021-10-09T03:43:35.716Z",
 "@metadata": {
 "beat": "filebeat",
 "type": "_doc",
 "version": "7.13.3"
 },
 "ecs": {
 "version": "1.8.0"
 },
 "host": {
 "architecture": "x86_64",
 "name": "bi-524",
 "os": {
 "codename": "Core",
 "type": "linux",
 "platform": "centos",
 "version": "7 (Core)",
 "family": "redhat",
 "name": "CentOS Linux",
 "kernel": "3.10.0-1127.19.1.el7.x86_64"
 },
 "id": "b521378110f947d896c25d753d4d472f",
 "containerized": false,
 "ip": [
 "192.168.5.24",
 "fe80::250:56ff:fe90:8b62",
 "169.254.123.1",
 "fe80::42:52ff:fe91:14a4",
 "fe80::b061:35ff:fe7e:a765"
 ],
 "mac": [
 "00:50:56:90:8b:62",
 "02:42:52:91:14:a4",
 "b2:61:35:7e:a7:65"
 ],
 "hostname": "bi-524"
 },
 "log": {
 "offset": 46640,
 "file": {
 "path": "/wyyt/software/doris-0.14.7/fe/log/fe.audit.log"
 }
 },
 "message": "2021-10-09 11:43:26,236 [query] |Client\u003d127.0.0.1:47609|User\u003droot|Db\u003ddefault_cluster:example_db|State\u003dEOF|Time\u003d12|ScanBytes\u003d0|ScanRows\u003d0|ReturnRows\u003d1|StmtId\u003d350|QueryId\u003de5f03872e37245e4-982ea3ae68173079|IsQuery\u003dtrue|feIp\u003d192.168.5.24|Stmt\u003d/* mysql-connector-java-5.1.41 ( Revision: 83c6dc41b96809df81444362933043b20a1d49d5 ) */SELECT @@session.auto_increment_increment AS auto_increment_increment, @@character_set_client AS character_set_client, @@character_set_connection AS character_set_connection, @@character_set_results AS character_set_results, @@character_set_server AS character_set_server, @@init_connect AS init_connect, @@interactive_timeout AS interactive_timeout, @@language AS language, @@license AS license, @@lower_case_table_names AS lower_case_table_names, @@max_allowed_packet AS max_allowed_packet, @@net_buffer_length AS net_buffer_length, @@net_write_timeout AS net_write_timeout, @@query_cache_size AS query_cache_size, @@query_cache_type AS query_cache_type, @@sql_mode AS sql_mode, @@system_time_zone AS system_time_zone, @@time_zone AS time_zone, @@tx_isolation AS tx_isolation, @@wait_timeout AS wait_timeout|CpuTimeMS\u003d0",
 "input": {
 "type": "log"
 },
 "agent": {
 "type": "filebeat",
 "version": "7.13.3",
 "hostname": "bi-524",
 "ephemeral_id": "fc3ce98f-0ace-445b-878b-ad39f7ece367",
 "id": "b37c7155-80e0-4f95-a3d9-cd92023d1e14",
 "name": "bi-524"
 }
 }
 
6，暂无 --后续程序消费kafka
 
 
 
 
 
7，接入血缘分析 --暂时还没完成
 
 
未完待续..............
 
 
 
 
参考峰哥文章：
 
Apache Doris SQL 日志审计

 
原标题：综合日志审计系统
 
产品简介
 
中安威士综合日志审计系统(简称VS-LS)，该系统 能够通过主被动结合的手段，实时不间断地采集用户网络中各种不同厂商的安全设备、网络设备、主机、操作系统、以及各种应用系统产生的海量日志信息，网络流量的信息，并将这些信息汇集到审计中心，进行集中化存储、备份、查询、审计、告警、响应，并出具丰富的报表报告，获悉全网的整体安全运行态势，实现全生命周期的审计管理。
 
产品介绍
 
体系结构
 
综合日志审计系统产品主要有三大模块：日志审计、流量审计。每个模块由三部分组成，一部分是数据采集，一部分是对采集的数据进行在线格式化分析处理、过滤、规则验证，同时产生告警；一部分是数据存储系统，把采集分析的内容和规则生成的告警信息存入数据存储系统；最后部分是web服务器，管理员可以通过http方式对日志信息告警等进行查看、管理。
 

 
l 采集器
 
采集器主要是对日志、网络流量进行采集，然后对采集的数据进行在线格式化分析处理，把数据分解成不同的维度，然后对格式化后的数据进行告警分析，产生告警，同时存储原始数据和格式化后的数据。采集器可以分布式部署，每个采集节点可以采集数据，同时可以存储数据，这样就形成了一个采集集群，可以横向无限扩展，支持海量数据。
 
l 数据存储系统
 
对采集器采集的数据(格式化、原始)、生成的告警进行存储，同时存储这些告警所对应的数据源，系统通过集群算法可以关联到采集集群，同时存储系统还存储了账号，基础数据等信息。
 
l Web服务器
 
Web服务器主要是给管理员操作的入口，主要包括首页门户，审计搜索，告警配置，工单管理，资产管理，系统管理几部分。
 
系统架构
 
采用组件式平台架构，实现了分层的逻辑架构，包括：审计数据源层、数据采集层、业务层和应用层。如下图所示：
 

 
l 审计数据源层
 
审计对象层是指审计数据源对象，数据源包括各类型的网络设备、安全设备、应用系统、主机等能产生相关日志的设备和信息系统；网络数据流中的原始数据包。日志审计对象须开放接口才可以收集到日志；网络流量审计数据源包括网络流量镜像、数据转发等，如果审计对象开放的接口是私有协议，系统可以通过定制开发协议的方式进行支持。
 
l 采集层
 
在该层日志采集利用Syslog、SnmpTrap、Jdbc、本地文件、Sftp/Ftp远程采集文件、Sniffer、Agent方式进行采集，从审计对象获取日志，并对原始日志信息进行范式化、分类、过滤、归并，统一推送到业务层进行分析、存储；网络流量采集利用ntopng抓包网络镜像流量方式进行采集，并对原始数据包进行解析、分类、过滤、归并统一推送到业务层进行存储。
 
l 业务层
 
业务层有日志审计、网络流量审计，目前日志审计是具备最完善、业务场景最多的模块，日志审计利用关联分析引擎对采集的日志进行分析，触发规则，生成告警记录；通过高性能海量数据存储代理将日志进行快速存储；通过分布式查询引擎实现日志查询；通过日志聚合引擎实现日志抽取。
 
l 应用层
 
面向系统的使用者，提供一个图形化的显示界面，展现安全审计系统的各功能模块，提供综合展示、日志审计、告警规则、工单管理、报表组件、资产管理、系统设置等功能。
 
产品功能
 
1、综合展示
 
用户登录即可进入综合展示仪表盘(首页)。通过盘，能够快速的导航到各个功能。用户能够通过仪表盘从不同的方面对日志进行审计，可以在一个屏幕中看到不同设备类型、不同安全区域的实时日志流曲线、统计图，以及网络整体运行态势、待处理告警信息等。用户可以自定义仪表盘，按需设计仪表板显示的内容和布局，可以为不同角色的用户建立不同维度的仪表板。
 
2、 日志审计
 
系统提供日志审计(搜索)功能，可以对解析、过滤后的日志审计数据进行搜索查看。并支持保存搜索、自定义时间以及表格导出。
 
3、 网络流量审计
 
系统提供网络流量审计功能，对原始数据流中的数据包解析、过滤、统一存储。并将解析后的五元组数据以报表形式展示。
 
4、告警规则
 
系统具备日志关联分析功能。通过关联分析规则，系统能够对符合关联规则条件的日志产生告警。系统提供了可视化的规则编辑器，用户可以定义基于逻辑表达式的关联规则，所有日志字段都可参与关联。规则支持统计计数功能，可以对达到一定统计数量的日志进行告警。
 
5、工单管理
 
系统携带工单管理模块，批量分配用户告警信息的处理、归类等。
 
6、报表组件
 
系统内置了丰富的报表模板，包括统计报表、明细报表、综合审计报告，审计人员可以根据需要生成不同的报表。系统内置报表生成调度器，可以定时自动生成日报、周报、月报、季报、年报，并支持以邮件等方式自动投递，支持以PDF、Excel、Word等格式导出，支持打印。系统还内置了一套报表编辑器，用户可以自行设计报表，包括报表的页面版式、统计内容、显示风格等。
 
7、资产管理
 
系统提供资产管理功能，可以对网络中的审计数据源资产进行管理。除基本资产信息外，系统提供灵活的资产分类功能，实现对资产的分类管理。系统提供基于拓扑的资产视图，可以按图形化拓扑模式显示资产，并可编辑资产之间的网络连接关系，通过资产视图可直接查看该资产的日志及告警信息。系统能够根据收到的日志的设备地址自动发现新的资产。
 
8、搜索查询
 
系统提供日志的查询功能，便于从海量数据中获取有用的日志信息。用户可自定义查询策略，基于日志时间、名称、地址、端口、类型等各种条件进行组合查询，并可导出查询结果。系统还提供快速查询和模糊查询功能。用户在检索历史日志记录时，系统可以通过多条件相结合的方式进行日志查询，根据日志的类型、发生时间、不同字段内容等进行精细匹配，如：日志源IP、日志发生时间、登录账号、信息字段内容等，从而实现日志的快速准确定位。
 
9、参考知识管理
 
系统内置日志字典表，记录了主流设备和系统的日志ID的原始含义和描述信息，方便审计人员在进行日志审计的时候进行参考。
 
10、用户管理
 
系统提供三权分立设计，内置系统管理员、用户管理员和审计管理员。
 
系统提供用户集中管理的功能，对用户可以访问的资源进行细致的权限划分，具备安全可靠的分级及分类用户管理功能，支持用户的身份认证、授权、用户口令修改等功能。不同的操作员具有功能操作权限。
 
11、系统管理
 
系统具有丰富的自身配置管理功能，包括自身安全配置、系统运行参数配置、审计资源配置等。系统具有系统自身运行监控与告警、系统日志记录等功能。
 
界面展示
 
首页
 

 
网络流量审计
 

 
日志查看
 

 
告警查看
 

 
工单管理
 

 
报表组件
 

 
资产
 

 
产品特点
 
综合日志审计系统不需要在机器上安装软件，只要支持标准syslog、snmp、sftp/ftp、jdbc等标准协议即可采集分析日志，不改变过客户的原有方式，部署便捷，不会破坏本身的网络结构，不会影响到原主机性能。采集器支持横向扩展集群功能，在不改变现有环境的情况下，非常方便的增加采集节点，并整合到系统中进行协同工作，通过这种横向集群方式可以支持海量日志的收集，存储，分析展示的能力。
 
综合志审计系统具有强大的日志分析、网络流量分析能力，可以支持单条日志的分析，多条日志的组合分析，定时场景的分析，先后条件满足的分析。通过这些分析能力，能满足绝大多数用户分析场景的需求。
 
综合日志审计系统整合了全文搜索Elasticsearch，我们对Elasticsearch进行了优化，并有源码级的支持能力。Elasticsearch是一个灵活、功能强大的开源、分布式、实时搜索和分析引擎。从设计之初就考虑了分布式环境，所以它具有天然的可靠性和可扩展性，Elasticsearch使您能够轻松地的使用全文检索的功能。通过其强大的、健壮的RESTfulAPI和查询DSL，支持多种客户端，如Java、Python、Clojure等。
 
部署方式
 

 
产品部署分4部分内容，数据源部分，采集器采集部分，数据库部分和web服务器部分，第一部分是数据源，支持syslog、snmp、jdbc、sftp/ftp等协议，其余三部分是本产品的主要部分，这四部分内容可以根据规模大小部署在一台机器或者多台机器上面。
 
中安威士十余年来专注于数据安全，提供专业的数据安全落地方案，对数据的全生命周期、数据的存、管、用、销(存储、管理、使用、回收销毁)的全路径实现安全防护。符合网络安全法、数据安全法、等保2.0等法律法规要求，可有效减少核心数据资产被侵犯的可能性，保障正常的业务连续性。返回搜狐，查看更多
 
责任编辑：

 
概述
 
随着信息化进程的深入和互联网的迅速发展，人们的工作、学习和生活方式正在发生巨大变化，效率大为提高，信息资源得到最大程度的共享。紧随信息化发展而来的网络安全问题日渐凸出，如果不能很好地解决这个问题，必将阻碍信息化发展的进程。由此可见，信息安全在社会生活的各个方面已受到更为广泛的关注，其重要性也日益明显。
 
随着互联网和云计算的发展，公有云服务器是人们越来越容易接受的产品，其最普遍受益的一点就是节省成本。企业不必像拥有私有云那样去购买，安装，操作或运维服务器或是其他设备。在一个公有云的服务供应商提供的平台上，企业只需使用或开发他们自己的应用程序即可。但公有云的安全问题也是显而易见的，基于
 
Internet
 
的公有云服务的特性，全世界只要能上网的人就可以访问到其云服务器，其在云主机及其云上的数据受到威胁会更多而且更复杂，数据相对于私有云处于一个不稳定的状态。
 
不管是传统的信息化还是未来趋势的云计算，都面临着安全的风险，从安全防护的角度来说，需要一个循序渐进的方式去完善安全体系。一般建设的顺序是网络安全、主机安全、数据安全的顺序逐步完善。对于传统信息化，要优先处理网络安全，但对于云服务器来说，网络安全是提供云服务的厂家要重点考虑的事情，反而主机安全是要优先考虑的内容了。本产品就是通过对日志的分析来解决主机的安全尤其是访问安全，帮助企业有效的主机的管理和维护。
 
产品介绍
 
1、产品简介
 
综合日志审计系统能够通过主被动结合的手段，实时不间断地采集用户网络中各种不同厂商的安全设备、网络设备、主机、操作系统、以及各种应用系统产生的海量日志信息，网络流量的信息，并将这些信息汇集到审计中心，进行集中化存储、备份、查询、审计、告警、响应，并出具丰富的报表报告，获悉全网的整体安全运行态势，实现全生命周期的审计管理。
 
1、体系结构
 
综合日志审计系统产品主要有三大模块：日志审计、流量审计。每个模块由三部分组成，一部分是数据采集，一部分是对采集的数据进行在线格式化分析处理、过滤、规则验证，同时产生告警；一部分是数据存储系统，把采集分析的内容和规则生成的告警信息存入数据存储系统；最后部分是
 
web
 
服务器，管理员可以通过
 
http
 
方式对日志信息告警等进行查看、管理。
 

 
l
 
采集器
 
采集器主要是对日志、网络流量进行采集，然后对采集的数据进行在线格式化分析处理，把数据分解成不同的维度，然后对格式化后的数据进行告警分析，产生告警，同时存储原始数据和格式化后的数据。采集器可以分布式部署，每个采集节点可以采集数据，同时可以存储数据，这样就形成了一个采集集群，可以横向无限扩展，支持海量数据。
 
l
 
数据存储系统
 
对采集器采集的数据(格式化、原始)、生成的告警进行存储，同时存储这些告警所对应的数据源，系统通过集群算法可以关联到采集集群，同时存储系统还存储了账号，基础数据等信息。
 
l
 
Web
 
服务器
 
Web
 
服务器主要是给管理员操作的入口，主要包括首页门户，审计搜索，告警配置，工单的管理，资产管理，系统管理几部分。
 
系统架构
 
采用组件式平台架构，实现了分层的逻辑架构，包括：审计数据源层、数据采集层、业务层和应用层。如下图所示：
 

 
l
 
审计数据源层
 
审计对象层是指审计数据源对象，数据源包括各类型的网络设备、安全设备、应用系统、主机等能产生相关日志的设备和信息系统；网络数据流中的原始数据包。日志审计对象须开放接口才可以收集到日志；网络流量审计数据源包括网络流量镜像、数据转发等，如果审计对象开放的接口是私有协议，系统可以通过定制开发协议的方式进行支持。
 
l
 
采集层
 
在该层日志采集利用
 
Syslog
 
、
 
SnmpTrap
 
、
 
Jdbc
 
、本地文件、
 
Sftp/Ftp
 
远程采集文件、
 
Sniffer
 
、
 
Agent
 
方式进行采集，从审计对象获取日志，并对原始日志信息进行范式化、分类、过滤、归并，统一推送到业务层进行分析、存储；网络流量采集利用
 
ntopng
 
抓包网络镜像流量方式进行采集，并对原始数据包进行解析、分类、过滤、归并统一推送到业务层进行存储。
 
l
 
业务层
 
业务层有日志审计、网络流量审计，目前日志审计是具备最完善、业务场景最多的模块，日志审计利用关联分析引擎对采集的日志进行分析，触发规则，生成告警记录；通过高性能海量数据存储代理将日志进行快速存储；通过分布式查询引擎实现日志查询；通过日志聚合引擎实现日志抽取。
 
l
 
应用层
 
面向系统的使用者，提供一个图形化的显示界面，展现安全审计系统的各功能模块，提供综合展示、日志审计、告警规则、工单的管理、报表组件、资产管理、系统设置等功能。
 
产品功能
 
1、综合展示
 
用户登录即可进入综合展示仪表盘(首页)。通过盘，能够快速的导航到各个功能。用户能够通过仪表盘从不同的方面对日志进行审计，可以在一个屏幕中看到不同设备类型、不同安全区域的实时日志流曲线、统计图，以及网络整体运行态势、待处理告警信息等。用户可以自定义仪表盘，按需设计仪表板显示的内容和布局，可以为不同角色的用户建立不同维度的仪表板。
 
2、 日志审计
 
系统提供日志审计(搜索)功能，可以对解析、过滤后的日志审计数据进行搜索查看。并支持保存搜索、自定义时间以及表格导出。
 
3、 网络流量审计
 
系统提供网络流量审计功能，对原始数据流中的数据包解析、过滤、统一存储。并将解析后的五元组数据以报表形式展示。
 
4、告警规则
 
系统具备日志关联分析功能。通过关联分析规则，系统能够对符合关联规则条件的日志产生告警。系统提供了可视化的规则编辑器，用户可以定义基于逻辑表达式的关联规则，所有日志字段都可参与关联。规则支持统计计数功能，可以对达到一定统计数量的日志进行告警。
 
5、工单的管理
 
系统携带工单的管理模块，批量分配用户告警信息的处理、归类等。
 
6、
 
报表组件
 
系统内置了丰富的报表模板，包括统计报表、明细报表、综合审计报告，审计人员可以根据需要生成不同的报表。系统内置报表生成调度器，可以定时自动生成日报、周报、月报、季报、年报，并支持以邮件等方式自动投递，支持以
 
PDF
 
、
 
Excel
 
、
 
Word
 
等格式导出，支持打印。系统还内置了一套报表编辑器，用户可以自行设计报表，包括报表的页面版式、统计内容、显示风格等。
 
7、资产管理
 
系统提供资产管理功能，可以对网络中的审计数据源资产进行管理。除基本资产信息外，系统提供灵活的资产分类功能，实现对资产的分类管理。系统提供基于拓扑的资产视图，可以按图形化拓扑模式显示资产，并可编辑资产之间的网络连接关系，通过资产视图可直接查看该资产的日志及告警信息。系统能够根据收到的日志的设备地址自动发现新的资产。
 
8、搜索查询
 
系统提供日志的查询功能，便于从海量数据中获取有用的日志信息。用户可自定义查询策略，基于日志时间、名称、地址、端口、类型等各种条件进行组合查询，并可导出查询结果。系统还提供快速查询和模糊查询功能。用户在检索历史日志记录时，系统可以通过多条件相结合的方式进行日志查询，根据日志的类型、发生时间、不同字段内容等进行精细匹配，如：日志源
 
IP
 
、日志发生时间、登录账号、信息字段内容等，从而实现日志的快速准确定位。
 
9、
 
参考知识管理
 
系统内置日志字典表，记录了主流设备和系统的日志
 
ID
 
的原始含义和描述信息，方便审计人员在进行日志审计的时候进行参考。
 
10、
 
用户管理
 
系统提供三权分立设计，内置系统管理员、用户管理员和审计管理员。
 
系统提供用户集中管理的功能，对用户可以访问的资源进行细致的权限划分，具备安全可靠的分级及分类用户管理功能，支持用户的身份认证、授权、用户口令修改等功能。不同的操作员具有功能操作权限。
 
11、
 
系统管理
 
系统具有丰富的自身配置管理功能，包括自身安全配置、系统运行参数配置、审计资源配置等。系统具有系统自身运行监控与告警、系统日志记录等功能。
 
界面展示
 
首页
 

 
网络流量审计
 

 
日志查看：
 

 
告警查看：
 

 
工单的管理
 

 
报表组件
 

 
资产
 

 
产品特点
 
综合日志审计系统不需要在机器上安装软件，只要支持标准
 
syslog
 
、
 
snmp
 
、
 
sftp/ftp
 
、
 
jdbc
 
等标准协议即可采集分析日志，不改变过客户的原有方式，部署便捷，不会破坏本身的网络结构，不会影响到原主机性能。采集器支持横向扩展集群功能，在不改变现有环境的情况下，非常方便的增加采集节点，并整合到系统中进行协同工作，通过这种横向集群方式可以支持海量日志的收集，存储，分析展示的能力。
 
综合志审计系统具有强大的日志分析、网络流量分析能力，可以支持单条日志的分析，多条日志的组合分析，定时场景的分析，先后条件满足的分析。通过这些分析能力，能满足绝大多数用户分析场景的需求。
 
综合日志审计系统整合了全文搜索
 
Elasticsearch
 
，我们对
 
Elasticsearch
 
进行了优化，并有源码级的支持能力。
 
Elasticsearch
 
是一个灵活、功能强大的开源、分布式、实时搜索和分析引擎。从设计之初就考虑了分布式环境，所以它具有天然的可靠性和可扩展性，
 
Elasticsearch
 
使您能够轻松地的使用全文检索的功能。通过其强大的、健壮的
 
RESTfulAPI
 
和查询
 
DSL
 
，支持多种客户端，如
 
Java
 
、
 
Python
 
、
 
Clojure
 
等。
 
部署方式
 

 
产品部署分
 
4
 
部分内容，数据源部分，采集器采集部分，数据库部分和
 
web
 
服务器部分，第一部分是数据源，支持
 
syslog
 
、
 
snmp
 
、
 
jdbc
 
、
 
sftp/ftp
 
等协议，其余三部分是本产品的主要部分，这四部分内容可以根据规模大小部署在一台机器或者多台机器上面。