精华内容
下载资源
问答
  • 日志审计系统简介 什么是日志审计? 综合日志审计平台,通过集中采集信息系统中的系统安全事件、用户访问记录、系统运行日志、系统运行状态等各类信息,经过规范化、过滤、归并和告警分析等处理后,以统一格式的日志...

    日志审计系统简介

    什么是日志审计?

    综合日志审计平台,通过集中采集信息系统中的系统安全事件、用户访问记录、系统运行日志、系统运行状态等各类信息,经过规范化、过滤、归并和告警分析等处理后,以统一格式的日志形式进行集中存储和管理,结合丰富的日志统计汇总及关联分析功能,实现对信息系统日志的全面审计。

    通过日志审计系统,企业管理员随时了解整个IT系统的运行情况,及时发现系统异常事件;另一方面,通过事后分析和丰富的报表系统,管理员可以方便高效地对信息系统进行有针对性的安全审计。遇到特殊安全事件和系统故障,日志审计系统可以帮助管理员进行故障快速定位,并提供客观依据进行追查和恢复。[百度百科]

    为什么需要日志审计平台?

    1. 日志审计的合规要求,由于网络安全法的颁布实施,由原先的不合规转变成了不合法。如果不对要求的相关日志不做留存6个月以上,一旦追查,将面临法律责任。
    2. 安全运营的挑战。随着网络设备的增多,以及服务器数量的增多,如果没有统一的综合日志审计平台,那么需要登录到每台设备上查看日志,不利于运维人员管理。而且众多设备会产生海量的日志,无法有效管理。多种设备形成信息孤岛,日志无法关联分析。通过统一的日志审计平台,将所有设备日志都收集到日志平台进行统一管理,统一分析。

    日志审计的核心目标:

    • 多源数据归一化
    • 日志存储集中化
    • 关联分析自动化
    • 安全态势立体化

    日志审计的主要功能

    设计思路:

    统一日志采集:

    • 对不同日志源 (主机系统、网络设备、安全设备、应用中间件、数据库等)所产生的日志进行收集,实现日志的集中管理和存储。支持解析任意格式、任意来源的日志,通过解析规则标准化。
    • 使用无代理的方式收集日志。
    • 支持代理方式的日志收集。

    关联分析:

    • 预置多种事件关联规则。
    • 定位外部威胁、黑客攻击、内部违规操作,设备异常。
    • 简单灵活定义关联规则。

    实时告警:

    • 通过邮件、短信、声音对发生的告警进行及时通知,并可通过接口调用自动运行程序或脚本。
    • 通过告警策略定义,对各类风险 和事件进行及时告警或预警,提升运维效率。

    日志取证分析:

    • 深入分析原始日志事件,快速定位问题的根本原因。
    • 生成取证报表,例如攻击威胁报表、Windows/Linux系统审计报表以及合规性审计报表等。

    监管合规:

    • 提供Windows审计、Linux审计、PCI、SOX、ISO27001等合规性报表。
    • 支持创建自定义合规性报表

    日志审计系统产品功能结构:

    在这里插入图片描述

    图:日志审计系统产品功能结构

    日志审计系统的主要工作原理是,通过日志采集器,各种设备将日志推送到日志审计平台,然后日志审计平台通过日志解析,日志过滤,日志聚合等进行关联分析,从而进行告警,统计报表,也可以进行资产管理,日志检索等。

    日志的转发方式:

    日志转发一般可以通过:Syslog转发,Kafka转发,http转发。

    日志收集一般支持:Syslog、SNMP等日志协议。

    日志审计系统常见模块:

    • 日志事件获取模块:安全事件监控系统是实时掌握全网的安全威胁状况的重要手段之一。通过事件监控模块监控各个网络设备、主机系统等日志信息,以及安全产品的安全事件报警信息等,及时发现正在和已经发生的安全事件,通过响应模块采取措施,保证网络和业务系统的安全、可靠运行。

    • 资产管理模块:资产管理实现对网络安全管理平台所管辖的设备和系统对象的管理。它将其所辖IP设备资产信息按其重要程度分类登记入库,并为其他安全管理模块提供信息接口。

    • 规则库模块:规则库已支持主流网络设备、主机系统、数据库系统等,而且还应涵盖已经部署的安全系统,包括防火墙系统、防病毒系统等。并提供新日志格式适配功能,支持从安全运营中心平台接收新日志解析映射规则配置。用户可以根据该适配功能,对新日志格式进行自行适配。

    • 统计报表功能:具备强大的统计功能,可快速生成多种专业化的报表并支持自定义图表的设定集展示。

    • 权限管理模块:超级管理员可根据用户角色分配平台查看、操作各模块的权限,用户可以访问而且只能访问自己被授权的资源

    日志审计平台的部署方式

    硬件产品部署方式:

    一般日志审计系统采用旁路部署即可,只要到达全部设备网络可通即可。

    支持单机部署和分布式部署。

    云日志审计系统部署方式:

    云日志审计部署一般要求到全网设备可通信即可。


    参考资料:

    https://baike.baidu.com/item/综合日志审计平台/4839703?fr=aladdin

    https://www.venustech.com.cn/article/type/1/221.html
    https://www.dbappsecurity.com.cn/show-62-31-1.html

    https://blog.51cto.com/lidefu/1390903


    展开全文
  • 用户可以在运行时安装或卸载这个插件,该插件可以将 FE 的审计日志定期的导入到指定 Doris 集群中,以方便用户通过 SQL 对审计日志进行查看和分析,这里的数据其实是Doris FE log目录下的fe.audit.log文件中的数据。...

    1,介绍

      Doris 的审计日志插件是一个可选插件。用户可以在运行时安装或卸载这个插件,该插件可以将 FE 的审计日志定期的导入到指定 Doris 集群中,以方便用户通过 SQL 对审计日志进行查看和分析,这里的数据其实是Doris FE log目录下的 fe.audit.log 文件中的数据。

      我们要做的是安装这个插件,然后我们可以通过doris sql去对应的表查询sql语句,也可以通过doris 目录下的fe.audit.log文件将日志接出之后写入外部操作。
      通过filebeat数据接出到kafka,通过flink程序消费解析日志然后分析出血缘关系,这是我们最终的目的。

    2,安装Doris 的审计日志插件

      1)参考官网方式,编译得到 auditloader.zip 文件
       审计日志插件 | Apache Doris

      2)修改 fe conf下的配置文件,添加参数,启用plugin框架
           plugin_enable = true

    3)auditloader.zip文件上传到fe,解压到/plugins目录
         在fe/plugins 目录下插件一个文件夹,然后auditloader.zip解压进这个文件夹,比如我这里创建文件夹auditdemo ,解压之后的效果:
         

     

      4) plugin.conf 配置文件修改

       plugin.conf 配置信息:

       # 批量的最大大小,默认为 50MB
       max_batch_size=52428800

       # 批量加载的最大间隔,默认为 60 秒
       max_batch_interval_sec=60

       # 加载审计的 Doris FE 主机,默认为 127.0.0.1:8030。
       # 这应该是Stream load 的主机端口
       frontend_host_port=127.0.0.1:8030

       # 审计表的数据库
       database=doris_audit_db__

       # 审计表名,保存审计数据
       table=doris_audit_tbl__

       # 用来连接doris的用户. 此用户必须对审计表具有 LOAD_PRIV 权限.
       user=root

       # 用来连接doris的用户密码
       password=root


     

      5)创建插件表

       库为配置文件里面的配置 database=doris_audit_db__

     create table doris_audit_tbl__
     (
        query_id varchar(48) comment "查询唯一ID",
         time datetime not null comment "查询开始时间",
        client_ip varchar(32) comment "查询客户端IP",
         user varchar(64) comment "查询用户名",
        db varchar(96) comment "查询的数据库",
        state varchar(8) comment "查询状态:EOF, ERR, OK",
        query_time bigint comment "查询执行时间(毫秒)",
        scan_bytes bigint comment "查询扫描的字节数",
        scan_rows bigint comment "查询扫描的记录行数",
        return_rows bigint comment "查询返回的结果记录数",
        stmt_id int comment "SQL语句的增量ID",
        is_query tinyint comment "这个是否是查询:1 or 0",
        frontend_ip varchar(32) comment "执行这个语句的FE IP",
        stmt varchar(5000) comment "原始语句,如果超过 5000 字节,则进行修剪"
     ) engine=OLAP
     duplicate key(query_id, time, client_ip)
     partition by range(time) ()
     distributed by hash(query_id) buckets 1
     properties(
         "dynamic_partition.time_unit" = "DAY",
         "dynamic_partition.start" = "-30",
         "dynamic_partition.end" = "3",
         "dynamic_partition.prefix" = "p",
         "dynamic_partition.buckets" = "1",
         "dynamic_partition.enable" = "true",
         "replication_num" = "3"
     );

      6)启动插件,在mysql 客户端
            

     

    1. 安装一个本地 zip 文件插件:

       INSTALL PLUGIN FROM "/wyyt/software/doris-0.14.7/fe/plugins/auditdemo.zip";
      
      
    2. 安装一个本地目录中的插件:

       INSTALL PLUGIN FROM "/wyyt/software/doris-0.14.7/fe/plugins/auditdemo/";
      

    3,测试效果

      1)查看对应库的表对应表信息:

     

      2)查看fe目录下log目录下 fe.audit.log

       

     

    4,将fe.audit.log文件日志输出

      1)filebeat-7.13.3-linux-x86_64.tar.gz 下载安装 
        

     

      2)配置文件,直接监控fe log目录下的fe.audit.log文件 将日志输出到kafka

    5,通过程序解析log日志

      通过flink代码消费kafka的数据然后血缘解析,结果输出到mysql或者redis存储供前端页面查询。

      1)指定消费文件

       

     

     2)指定输出
        

      

     

    3)启动命令

       ./filebeat -e -c filebeat.yml

    4)运行效果

       

     

    5)JSON格式数据写入kafka

    {
    "@timestamp": "2021-10-09T03:43:35.716Z",
    "@metadata": {
    "beat": "filebeat",
    "type": "_doc",
    "version": "7.13.3"
    },
    "ecs": {
    "version": "1.8.0"
    },
    "host": {
    "architecture": "x86_64",
    "name": "bi-524",
    "os": {
    "codename": "Core",
    "type": "linux",
    "platform": "centos",
    "version": "7 (Core)",
    "family": "redhat",
    "name": "CentOS Linux",
    "kernel": "3.10.0-1127.19.1.el7.x86_64"
    },
    "id": "b521378110f947d896c25d753d4d472f",
    "containerized": false,
    "ip": [
    "192.168.5.24",
    "fe80::250:56ff:fe90:8b62",
    "169.254.123.1",
    "fe80::42:52ff:fe91:14a4",
    "fe80::b061:35ff:fe7e:a765"
    ],
    "mac": [
    "00:50:56:90:8b:62",
    "02:42:52:91:14:a4",
    "b2:61:35:7e:a7:65"
    ],
    "hostname": "bi-524"
    },
    "log": {
    "offset": 46640,
    "file": {
    "path": "/wyyt/software/doris-0.14.7/fe/log/fe.audit.log"
    }
    },
    "message": "2021-10-09 11:43:26,236 [query] |Client\u003d127.0.0.1:47609|User\u003droot|Db\u003ddefault_cluster:example_db|State\u003dEOF|Time\u003d12|ScanBytes\u003d0|ScanRows\u003d0|ReturnRows\u003d1|StmtId\u003d350|QueryId\u003de5f03872e37245e4-982ea3ae68173079|IsQuery\u003dtrue|feIp\u003d192.168.5.24|Stmt\u003d/* mysql-connector-java-5.1.41 ( Revision: 83c6dc41b96809df81444362933043b20a1d49d5 ) */SELECT @@session.auto_increment_increment AS auto_increment_increment, @@character_set_client AS character_set_client, @@character_set_connection AS character_set_connection, @@character_set_results AS character_set_results, @@character_set_server AS character_set_server, @@init_connect AS init_connect, @@interactive_timeout AS interactive_timeout, @@language AS language, @@license AS license, @@lower_case_table_names AS lower_case_table_names, @@max_allowed_packet AS max_allowed_packet, @@net_buffer_length AS net_buffer_length, @@net_write_timeout AS net_write_timeout, @@query_cache_size AS query_cache_size, @@query_cache_type AS query_cache_type, @@sql_mode AS sql_mode, @@system_time_zone AS system_time_zone, @@time_zone AS time_zone, @@tx_isolation AS tx_isolation, @@wait_timeout AS wait_timeout|CpuTimeMS\u003d0",
    "input": {
    "type": "log"
    },
    "agent": {
    "type": "filebeat",
    "version": "7.13.3",
    "hostname": "bi-524",
    "ephemeral_id": "fc3ce98f-0ace-445b-878b-ad39f7ece367",
    "id": "b37c7155-80e0-4f95-a3d9-cd92023d1e14",
    "name": "bi-524"
    }
    }

    6,暂无 --后续程序消费kafka

    7,接入血缘分析 --暂时还没完成

    未完待续..............

    参考峰哥文章:

    Apache Doris SQL 日志审计

    展开全文
  • 综合日志审计系统

    2020-12-24 13:40:09
    原标题:综合日志审计系统产品简介中安威士综合日志审计系统(简称VS-LS),该系统 能够通过主被动结合的手段,实时不间断地采集用户网络中各种不同厂商的安全设备、网络设备、主机、操作系统、以及各种应用系统产生的...

    原标题:综合日志审计系统

    产品简介

    中安威士综合日志审计系统(简称VS-LS),该系统 能够通过主被动结合的手段,实时不间断地采集用户网络中各种不同厂商的安全设备、网络设备、主机、操作系统、以及各种应用系统产生的海量日志信息,网络流量的信息,并将这些信息汇集到审计中心,进行集中化存储、备份、查询、审计、告警、响应,并出具丰富的报表报告,获悉全网的整体安全运行态势,实现全生命周期的审计管理。

    产品介绍

    体系结构

    综合日志审计系统产品主要有三大模块:日志审计、流量审计。每个模块由三部分组成,一部分是数据采集,一部分是对采集的数据进行在线格式化分析处理、过滤、规则验证,同时产生告警;一部分是数据存储系统,把采集分析的内容和规则生成的告警信息存入数据存储系统;最后部分是web服务器,管理员可以通过http方式对日志信息告警等进行查看、管理。

    l 采集器

    采集器主要是对日志、网络流量进行采集,然后对采集的数据进行在线格式化分析处理,把数据分解成不同的维度,然后对格式化后的数据进行告警分析,产生告警,同时存储原始数据和格式化后的数据。采集器可以分布式部署,每个采集节点可以采集数据,同时可以存储数据,这样就形成了一个采集集群,可以横向无限扩展,支持海量数据。

    l 数据存储系统

    对采集器采集的数据(格式化、原始)、生成的告警进行存储,同时存储这些告警所对应的数据源,系统通过集群算法可以关联到采集集群,同时存储系统还存储了账号,基础数据等信息。

    l Web服务器

    Web服务器主要是给管理员操作的入口,主要包括首页门户,审计搜索,告警配置,工单管理,资产管理,系统管理几部分。

    系统架构

    采用组件式平台架构,实现了分层的逻辑架构,包括:审计数据源层、数据采集层、业务层和应用层。如下图所示:

    l 审计数据源层

    审计对象层是指审计数据源对象,数据源包括各类型的网络设备、安全设备、应用系统、主机等能产生相关日志的设备和信息系统;网络数据流中的原始数据包。日志审计对象须开放接口才可以收集到日志;网络流量审计数据源包括网络流量镜像、数据转发等,如果审计对象开放的接口是私有协议,系统可以通过定制开发协议的方式进行支持。

    l 采集层

    在该层日志采集利用Syslog、SnmpTrap、Jdbc、本地文件、Sftp/Ftp远程采集文件、Sniffer、Agent方式进行采集,从审计对象获取日志,并对原始日志信息进行范式化、分类、过滤、归并,统一推送到业务层进行分析、存储;网络流量采集利用ntopng抓包网络镜像流量方式进行采集,并对原始数据包进行解析、分类、过滤、归并统一推送到业务层进行存储。

    l 业务层

    业务层有日志审计、网络流量审计,目前日志审计是具备最完善、业务场景最多的模块,日志审计利用关联分析引擎对采集的日志进行分析,触发规则,生成告警记录;通过高性能海量数据存储代理将日志进行快速存储;通过分布式查询引擎实现日志查询;通过日志聚合引擎实现日志抽取。

    l 应用层

    面向系统的使用者,提供一个图形化的显示界面,展现安全审计系统的各功能模块,提供综合展示、日志审计、告警规则、工单管理、报表组件、资产管理、系统设置等功能。

    产品功能

    1、综合展示

    用户登录即可进入综合展示仪表盘(首页)。通过盘,能够快速的导航到各个功能。用户能够通过仪表盘从不同的方面对日志进行审计,可以在一个屏幕中看到不同设备类型、不同安全区域的实时日志流曲线、统计图,以及网络整体运行态势、待处理告警信息等。用户可以自定义仪表盘,按需设计仪表板显示的内容和布局,可以为不同角色的用户建立不同维度的仪表板。

    2、 日志审计

    系统提供日志审计(搜索)功能,可以对解析、过滤后的日志审计数据进行搜索查看。并支持保存搜索、自定义时间以及表格导出。

    3、 网络流量审计

    系统提供网络流量审计功能,对原始数据流中的数据包解析、过滤、统一存储。并将解析后的五元组数据以报表形式展示。

    4、告警规则

    系统具备日志关联分析功能。通过关联分析规则,系统能够对符合关联规则条件的日志产生告警。系统提供了可视化的规则编辑器,用户可以定义基于逻辑表达式的关联规则,所有日志字段都可参与关联。规则支持统计计数功能,可以对达到一定统计数量的日志进行告警。

    5、工单管理

    系统携带工单管理模块,批量分配用户告警信息的处理、归类等。

    6、报表组件

    系统内置了丰富的报表模板,包括统计报表、明细报表、综合审计报告,审计人员可以根据需要生成不同的报表。系统内置报表生成调度器,可以定时自动生成日报、周报、月报、季报、年报,并支持以邮件等方式自动投递,支持以PDF、Excel、Word等格式导出,支持打印。系统还内置了一套报表编辑器,用户可以自行设计报表,包括报表的页面版式、统计内容、显示风格等。

    7、资产管理

    系统提供资产管理功能,可以对网络中的审计数据源资产进行管理。除基本资产信息外,系统提供灵活的资产分类功能,实现对资产的分类管理。系统提供基于拓扑的资产视图,可以按图形化拓扑模式显示资产,并可编辑资产之间的网络连接关系,通过资产视图可直接查看该资产的日志及告警信息。系统能够根据收到的日志的设备地址自动发现新的资产。

    8、搜索查询

    系统提供日志的查询功能,便于从海量数据中获取有用的日志信息。用户可自定义查询策略,基于日志时间、名称、地址、端口、类型等各种条件进行组合查询,并可导出查询结果。系统还提供快速查询和模糊查询功能。用户在检索历史日志记录时,系统可以通过多条件相结合的方式进行日志查询,根据日志的类型、发生时间、不同字段内容等进行精细匹配,如:日志源IP、日志发生时间、登录账号、信息字段内容等,从而实现日志的快速准确定位。

    9、参考知识管理

    系统内置日志字典表,记录了主流设备和系统的日志ID的原始含义和描述信息,方便审计人员在进行日志审计的时候进行参考。

    10、用户管理

    系统提供三权分立设计,内置系统管理员、用户管理员和审计管理员。

    系统提供用户集中管理的功能,对用户可以访问的资源进行细致的权限划分,具备安全可靠的分级及分类用户管理功能,支持用户的身份认证、授权、用户口令修改等功能。不同的操作员具有功能操作权限。

    11、系统管理

    系统具有丰富的自身配置管理功能,包括自身安全配置、系统运行参数配置、审计资源配置等。系统具有系统自身运行监控与告警、系统日志记录等功能。

    界面展示

    首页

    网络流量审计

    日志查看

    告警查看

    工单管理

    报表组件

    资产

    产品特点

    综合日志审计系统不需要在机器上安装软件,只要支持标准syslog、snmp、sftp/ftp、jdbc等标准协议即可采集分析日志,不改变过客户的原有方式,部署便捷,不会破坏本身的网络结构,不会影响到原主机性能。采集器支持横向扩展集群功能,在不改变现有环境的情况下,非常方便的增加采集节点,并整合到系统中进行协同工作,通过这种横向集群方式可以支持海量日志的收集,存储,分析展示的能力。

    综合志审计系统具有强大的日志分析、网络流量分析能力,可以支持单条日志的分析,多条日志的组合分析,定时场景的分析,先后条件满足的分析。通过这些分析能力,能满足绝大多数用户分析场景的需求。

    综合日志审计系统整合了全文搜索Elasticsearch,我们对Elasticsearch进行了优化,并有源码级的支持能力。Elasticsearch是一个灵活、功能强大的开源、分布式、实时搜索和分析引擎。从设计之初就考虑了分布式环境,所以它具有天然的可靠性和可扩展性,Elasticsearch使您能够轻松地的使用全文检索的功能。通过其强大的、健壮的RESTfulAPI和查询DSL,支持多种客户端,如Java、Python、Clojure等。

    部署方式

    产品部署分4部分内容,数据源部分,采集器采集部分,数据库部分和web服务器部分,第一部分是数据源,支持syslog、snmp、jdbc、sftp/ftp等协议,其余三部分是本产品的主要部分,这四部分内容可以根据规模大小部署在一台机器或者多台机器上面。

    中安威士十余年来专注于数据安全,提供专业的数据安全落地方案,对数据的全生命周期、数据的存、管、用、销(存储、管理、使用、回收销毁)的全路径实现安全防护。符合网络安全法、数据安全法、等保2.0等法律法规要求,可有效减少核心数据资产被侵犯的可能性,保障正常的业务连续性。返回搜狐,查看更多

    责任编辑:

    展开全文
  • 日志审计系统

    2020-12-24 13:40:39
    告警查看: 工单的管理 报表组件 资产 产品特点 综合日志审计系统不需要在机器上安装软件,只要支持标准 syslog 、 snmp 、 sftp/ftp 、 jdbc 等标准协议即可采集分析日志,不改变过客户的原有方式,部署便捷,不会...

    概述

    随着信息化进程的深入和互联网的迅速发展,人们的工作、学习和生活方式正在发生巨大变化,效率大为提高,信息资源得到最大程度的共享。紧随信息化发展而来的网络安全问题日渐凸出,如果不能很好地解决这个问题,必将阻碍信息化发展的进程。由此可见,信息安全在社会生活的各个方面已受到更为广泛的关注,其重要性也日益明显。

    随着互联网和云计算的发展,公有云服务器是人们越来越容易接受的产品,其最普遍受益的一点就是节省成本。企业不必像拥有私有云那样去购买,安装,操作或运维服务器或是其他设备。在一个公有云的服务供应商提供的平台上,企业只需使用或开发他们自己的应用程序即可。但公有云的安全问题也是显而易见的,基于

    Internet

    的公有云服务的特性,全世界只要能上网的人就可以访问到其云服务器,其在云主机及其云上的数据受到威胁会更多而且更复杂,数据相对于私有云处于一个不稳定的状态。

    不管是传统的信息化还是未来趋势的云计算,都面临着安全的风险,从安全防护的角度来说,需要一个循序渐进的方式去完善安全体系。一般建设的顺序是网络安全、主机安全、数据安全的顺序逐步完善。对于传统信息化,要优先处理网络安全,但对于云服务器来说,网络安全是提供云服务的厂家要重点考虑的事情,反而主机安全是要优先考虑的内容了。本产品就是通过对日志的分析来解决主机的安全尤其是访问安全,帮助企业有效的主机的管理和维护。

    产品介绍

    1、产品简介

    综合日志审计系统能够通过主被动结合的手段,实时不间断地采集用户网络中各种不同厂商的安全设备、网络设备、主机、操作系统、以及各种应用系统产生的海量日志信息,网络流量的信息,并将这些信息汇集到审计中心,进行集中化存储、备份、查询、审计、告警、响应,并出具丰富的报表报告,获悉全网的整体安全运行态势,实现全生命周期的审计管理。

    1、体系结构

    综合日志审计系统产品主要有三大模块:日志审计、流量审计。每个模块由三部分组成,一部分是数据采集,一部分是对采集的数据进行在线格式化分析处理、过滤、规则验证,同时产生告警;一部分是数据存储系统,把采集分析的内容和规则生成的告警信息存入数据存储系统;最后部分是

    web

    服务器,管理员可以通过

    http

    方式对日志信息告警等进行查看、管理。

    l

    采集器

    采集器主要是对日志、网络流量进行采集,然后对采集的数据进行在线格式化分析处理,把数据分解成不同的维度,然后对格式化后的数据进行告警分析,产生告警,同时存储原始数据和格式化后的数据。采集器可以分布式部署,每个采集节点可以采集数据,同时可以存储数据,这样就形成了一个采集集群,可以横向无限扩展,支持海量数据。

    l

    数据存储系统

    对采集器采集的数据(格式化、原始)、生成的告警进行存储,同时存储这些告警所对应的数据源,系统通过集群算法可以关联到采集集群,同时存储系统还存储了账号,基础数据等信息。

    l

    Web

    服务器

    Web

    服务器主要是给管理员操作的入口,主要包括首页门户,审计搜索,告警配置,工单的管理,资产管理,系统管理几部分。

    系统架构

    采用组件式平台架构,实现了分层的逻辑架构,包括:审计数据源层、数据采集层、业务层和应用层。如下图所示:

    l

    审计数据源层

    审计对象层是指审计数据源对象,数据源包括各类型的网络设备、安全设备、应用系统、主机等能产生相关日志的设备和信息系统;网络数据流中的原始数据包。日志审计对象须开放接口才可以收集到日志;网络流量审计数据源包括网络流量镜像、数据转发等,如果审计对象开放的接口是私有协议,系统可以通过定制开发协议的方式进行支持。

    l

    采集层

    在该层日志采集利用

    Syslog

    SnmpTrap

    Jdbc

    、本地文件、

    Sftp/Ftp

    远程采集文件、

    Sniffer

    Agent

    方式进行采集,从审计对象获取日志,并对原始日志信息进行范式化、分类、过滤、归并,统一推送到业务层进行分析、存储;网络流量采集利用

    ntopng

    抓包网络镜像流量方式进行采集,并对原始数据包进行解析、分类、过滤、归并统一推送到业务层进行存储。

    l

    业务层

    业务层有日志审计、网络流量审计,目前日志审计是具备最完善、业务场景最多的模块,日志审计利用关联分析引擎对采集的日志进行分析,触发规则,生成告警记录;通过高性能海量数据存储代理将日志进行快速存储;通过分布式查询引擎实现日志查询;通过日志聚合引擎实现日志抽取。

    l

    应用层

    面向系统的使用者,提供一个图形化的显示界面,展现安全审计系统的各功能模块,提供综合展示、日志审计、告警规则、工单的管理、报表组件、资产管理、系统设置等功能。

    产品功能

    1、综合展示

    用户登录即可进入综合展示仪表盘(首页)。通过盘,能够快速的导航到各个功能。用户能够通过仪表盘从不同的方面对日志进行审计,可以在一个屏幕中看到不同设备类型、不同安全区域的实时日志流曲线、统计图,以及网络整体运行态势、待处理告警信息等。用户可以自定义仪表盘,按需设计仪表板显示的内容和布局,可以为不同角色的用户建立不同维度的仪表板。

    2、 日志审计

    系统提供日志审计(搜索)功能,可以对解析、过滤后的日志审计数据进行搜索查看。并支持保存搜索、自定义时间以及表格导出。

    3、 网络流量审计

    系统提供网络流量审计功能,对原始数据流中的数据包解析、过滤、统一存储。并将解析后的五元组数据以报表形式展示。

    4、告警规则

    系统具备日志关联分析功能。通过关联分析规则,系统能够对符合关联规则条件的日志产生告警。系统提供了可视化的规则编辑器,用户可以定义基于逻辑表达式的关联规则,所有日志字段都可参与关联。规则支持统计计数功能,可以对达到一定统计数量的日志进行告警。

    5、工单的管理

    系统携带工单的管理模块,批量分配用户告警信息的处理、归类等。

    6、

    报表组件

    系统内置了丰富的报表模板,包括统计报表、明细报表、综合审计报告,审计人员可以根据需要生成不同的报表。系统内置报表生成调度器,可以定时自动生成日报、周报、月报、季报、年报,并支持以邮件等方式自动投递,支持以

    PDF

    Excel

    Word

    等格式导出,支持打印。系统还内置了一套报表编辑器,用户可以自行设计报表,包括报表的页面版式、统计内容、显示风格等。

    7、资产管理

    系统提供资产管理功能,可以对网络中的审计数据源资产进行管理。除基本资产信息外,系统提供灵活的资产分类功能,实现对资产的分类管理。系统提供基于拓扑的资产视图,可以按图形化拓扑模式显示资产,并可编辑资产之间的网络连接关系,通过资产视图可直接查看该资产的日志及告警信息。系统能够根据收到的日志的设备地址自动发现新的资产。

    8、搜索查询

    系统提供日志的查询功能,便于从海量数据中获取有用的日志信息。用户可自定义查询策略,基于日志时间、名称、地址、端口、类型等各种条件进行组合查询,并可导出查询结果。系统还提供快速查询和模糊查询功能。用户在检索历史日志记录时,系统可以通过多条件相结合的方式进行日志查询,根据日志的类型、发生时间、不同字段内容等进行精细匹配,如:日志源

    IP

    、日志发生时间、登录账号、信息字段内容等,从而实现日志的快速准确定位。

    9、

    参考知识管理

    系统内置日志字典表,记录了主流设备和系统的日志

    ID

    的原始含义和描述信息,方便审计人员在进行日志审计的时候进行参考。

    10、

    用户管理

    系统提供三权分立设计,内置系统管理员、用户管理员和审计管理员。

    系统提供用户集中管理的功能,对用户可以访问的资源进行细致的权限划分,具备安全可靠的分级及分类用户管理功能,支持用户的身份认证、授权、用户口令修改等功能。不同的操作员具有功能操作权限。

    11、

    系统管理

    系统具有丰富的自身配置管理功能,包括自身安全配置、系统运行参数配置、审计资源配置等。系统具有系统自身运行监控与告警、系统日志记录等功能。

    界面展示

    首页

    网络流量审计

    日志查看:

    告警查看:

    工单的管理

    报表组件

    资产

    产品特点

    综合日志审计系统不需要在机器上安装软件,只要支持标准

    syslog

    snmp

    sftp/ftp

    jdbc

    等标准协议即可采集分析日志,不改变过客户的原有方式,部署便捷,不会破坏本身的网络结构,不会影响到原主机性能。采集器支持横向扩展集群功能,在不改变现有环境的情况下,非常方便的增加采集节点,并整合到系统中进行协同工作,通过这种横向集群方式可以支持海量日志的收集,存储,分析展示的能力。

    综合志审计系统具有强大的日志分析、网络流量分析能力,可以支持单条日志的分析,多条日志的组合分析,定时场景的分析,先后条件满足的分析。通过这些分析能力,能满足绝大多数用户分析场景的需求。

    综合日志审计系统整合了全文搜索

    Elasticsearch

    ,我们对

    Elasticsearch

    进行了优化,并有源码级的支持能力。

    Elasticsearch

    是一个灵活、功能强大的开源、分布式、实时搜索和分析引擎。从设计之初就考虑了分布式环境,所以它具有天然的可靠性和可扩展性,

    Elasticsearch

    使您能够轻松地的使用全文检索的功能。通过其强大的、健壮的

    RESTfulAPI

    和查询

    DSL

    ,支持多种客户端,如

    Java

    Python

    Clojure

    等。

    部署方式

    产品部署分

    4

    部分内容,数据源部分,采集器采集部分,数据库部分和

    web

    服务器部分,第一部分是数据源,支持

    syslog

    snmp

    jdbc

    sftp/ftp

    等协议,其余三部分是本产品的主要部分,这四部分内容可以根据规模大小部署在一台机器或者多台机器上面。

    展开全文
  • 服务器审计日志

    2021-08-12 01:53:56
    服务器审计日志 内容精选换一换Manager的审计日志默认保存在数据库中,如果长期保留可能引起数据目录的磁盘空间不足问题,管理员如果需要将审计日志保存到其他归档服务器,可以在FusionInsight Manager设置转储参数...
  • 日志审计系统1.日志审计1.1 背景1.2 原理核心目标1.3 功能日志采集关联分析实时警告日志取证分析监管合规1.4 日志审计系统常见模块2.ELK 日志系统介绍2.1 背景2.2 简介2.3 原理 1.日志审计 1.1 背景 网络安全发的...
  • 服务器如何查看审计日志 内容精选换一换云审计CTS与LTS进行系统对接后,系统自动在云日志服务控制台创建的日志组和日志流,如果需要将CTS的日志转储至OBS中,您需要进行以下操作:在云审计服务管理控制台,单击左侧...
  • 日志审计

    万次阅读 2016-04-18 10:58:05
    日志审计系统的需求分析 日志很早就有,日志对于信息安全的重要性也早已众所周知,但是对日志的真正重视却是最近几年的事情。 当今的企业和组织在IT信息安全领域面临比以往更为复杂的局面。这既有来自于企业和...
  • mysql5.7版本开启数据库日志审计功能

    千次阅读 2021-01-09 12:16:25
    数据库日志审计功能插件:server_audit.so (下载mariadb-5.5.68-linux-x86_64.tar.gz,解压后获取mariadb-5.5.68-linux-x86_64/lib/plugin/server_audit.so) 部署方法: 1.登录MySQL,执行以下命令获取MySQL的...
  • 技术引领创新,用“芯”构建生态,在这个春暖花开的季节,第二期龙芯生态论坛如约而至,本期将继续围绕龙芯生态建设应用迁移技术,介绍龙芯架构下安恒明御综合日志审计分析平台的迁移适配。 以下内容为活动速记 ...
  • 最后引用一下百度的官方介绍: 综合日志审计平台通过集中采集信息系统中的系统安全事件、用户访问记录、系统运行日志、系统运行状态等各类信息,经过规范化、过滤、归并和告警分析等处理后,以统一格式的日志形式...
  • ELK(日志审计系统)

    千次阅读 2019-09-28 02:35:49
    filebeat没有运行日志,直接查看系统messages运行日志即可。 配置好filebeat后一定要重启。 重启后查看redis中是否有值,有值则正常。 # 注销bind字段,将protected-mode设置为no # bind 127.0.0.1 ...
  • windows服务器审计日志存放位置 内容精选换一换备份控制函数可帮助进行在线备份。pg_create_restore_point(name text)描述:为执行恢复创建一个命名点。(需要管理员角色)返回值类型:text备注:pg_create_restore_...
  • 说明由于MySQL社区版没有自带的审计功能或插件,对于等级保护当中对数据库...部署插件为了节省购买一些安全设备的费用,可是使用CE安全网推荐的一款日志审计插件,文章底部可进行下载。首先确定当前mysql的版本再...
  • "云数据库RDS MySQL版","des":"云数据库RDS MySQL版 MySQL 是全球最受欢迎的开源数据库,阿里云MySQL版 通过深度的内核优化和独享实例提供稳定极致的数据库性能,同时灵活的部署架构及产品形态,可满足不同场景下的...
  • 日志审计系统解决方案

    万次阅读 2015-01-05 09:18:01
    一、 背景 随着信息化的快速发展,信息化应用在银行业务...该用户已部署了多种安全设备及系统来提高对网站的保护和监管。通过“金盾工程”的多期建设,完成了网站综合防护系统、防病毒系统、防火墙、入侵检测系统、监
  • 否则,审计日志记录的上述配置将不起作用. >在接收服务器(rsyslog.conf)上: $template HostAudit,"/var/log/rsyslog/%HOSTNAME%/audit_log" local6.* 在两台主机上重新启动服务(service rsyslog restart),您应该开始...
  • 部署 服务器 配置rsyslog1、安装,导入数据库结构,及配置mysql帐号cd /etc/yum.repos.d/wget ...
  • 如何选择日志审计系统

    万次阅读 2014-03-19 19:03:43
    【摘要】本文分析了日志审计的需求,并针对日志审计系统的选型给出了一套基本的评价指标。 日志审计系统的需求分析 日志很早就有,日志对于信息安全的重要性也早已众所周知,但是对日志的真正重视却是最近几年...
  • Jumserver安装日志审计和资产管理

    千次阅读 2018-06-06 18:00:30
    Jumserver安装 一、jumpserver介绍 ... 特点: 完全开源,GPL授权 Python编写,容易再次开发 实现了跳板机基本功能,认证、授权、审计 集成了Ansible 官方资料: https://github.com/jumpser...
  • 什么是日志审计

    2021-08-31 16:15:48
    什么是日志 日志 简单的说,日志就是计算机系统、设备、软件等在某种情况下记录的信息。具体内容取决于日志的来源。例如: unix操作系统会记录用户登录和注销等信息的日志 防火墙会记录访问控制协议acl通过和...
  • 命令 禁止命令 日志审计项目 suo命令日志 记录执行sudo命令的操作 # rpm -aq | egrep "sudo|rsyslog" sudo-1.8.6p3-12.el6.x86_64 rsyslog-5.8.10-8.el6.x86_64 # echo "Defaults logfile=/var/log/sudo.log" >>/...
  • 网络安全审计介绍与部署实施

    千次阅读 2017-07-14 10:05:26
    一、网络审计的概念1.1 网络...最初是对主机日志审计,发现***行为,后来发展成主机IDS技术【IDS技术可分为主机IDS和网络IDS】。由于主机IDS只对主机的行为进行检测,并且要占用主机的宝贵资源,随着网络规模的...
  • 1、EventLog Analyzer是一款集日志存储、管理、审计、分析功能与一身的系统软件,可以收集分析路由器、交换机、防火墙和IDS/IPS、服务器、企业运行的应用程序,如数据库和网络服务器等。2、EventLog Analyzer支持5个...
  • /var/log/hdfs/下含有大量审计日志导致磁盘空间占满 ...... -rw-r--r-- 1 hdfs hadoop 12188299101 May 20 23:59 hdfs-audit.log.2021-05-20 -rw-r--r-- 1 hdfs hadoop 12194929677 May 21 23:59 hdfs-audit.log....
  • 常见安全设备总结(IDS、IPS、上网行为管理、网闸、漏扫、日志审计、数据库审计、堡垒机等一、网络结构二、防火墙、IPS1.防火墙2.IPS三、上网行为管理、网闸1.上网行为管理2.网闸四、日志审计、数据库审计、IDS、漏洞...
  • 日志审计携手DDoS防护助力云上安全 1 背景介绍 设想一下,此时你正在高速公路上开车去上班,路上还有其他汽车,总体而言,大家都按照清晰的合法速度平稳驾驶,当你接近入口坡道的时候,会有更多的车辆加入,然后...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 19,852
精华内容 7,940
关键字:

日志审计部署