网络安全数据集：https://aistudio.baidu.com/aistudio/projectdetail/1236018

由于本人从事安全相关的行业的工作，接触到很多想用机器学习解决网络安全相关的问题，不可避免的需要用到很多安全相关的开源数据集和工具，这里记录一下本人自己用过并感觉不错的数据集和开源工具。当然，这可能只是安全领域数据集和开源工具极小的一部分，希望能起到抛砖引玉的目的吧，本人后续也会不断更新。

 1. 安全数据集

    对于安全数据集，已经有行业从业者不辞辛劳的总结的很完善了，这里给出两个我看到的汇总网址：

 

        网络安全中机器学习大合集

 

        SecRepo.com - Samples of Security Related Data

        安全联盟曝光台

   其中，对于“安全联盟的曝光台”，安全联盟是由知道创宇、腾讯等互联网企业于2012年发起的第三方公益组织，自成立以来，通过与12321举报中心、腾讯、搜狗、金山等上百家机构、企业合作，通过发动群众参与网络治理，安全联盟已建成国内最大的第三方网络安全数据共享交换平台，日平均共享数据4500万次，每日接收网民举报超5000条，截止目前已拥有超过8.9亿条恶意网址、电话数据。这些恶意数据被应用到搜索引擎、浏览器、IM、社交平台、路由器OS等互联网终端，每天为网民提供超过30亿次恶意风险提醒，极大程度地帮助网民远离网络诈骗。 

   这里面包罗万象，我第一次看到感觉如获至宝，感觉发现了一座金矿，紧接着又有点傻眼，这个金矿应该怎么挖？我的答案是当然是站在前人的肩膀上，多利用前辈们的智慧啦。个人建议买一本《Web安全之机器学习入门》并下载随书代码，这本书里面列举了用机器学习方法解决典型的各种网络安全问题，上面列举的很多数据集都可以用在这里面，能帮你迅速上手并判断是否有深入使用和研究的价值。当然更棒的是，这本书里也列举了一些网络安全领域的公开数据集，与上面汇总帖里的数据集互为补充，能为你在开始一个网络安全领域的机器学习项目提供快速的建模手段。

    说完汇总，我也列一下我在机器学习项目里使用过数据集：

 

    恶意url: http://www.sysnet.ucsd.edu/projects/url/

An anonymized 120-day subset of our ICML-09 data set is available from the following links:

URL Data Set (Matlab) (470 MB)
URL Data Set (SVM-light) (234 MB)
僵尸网络DGA域名数据：　http://osint.bambenekconsulting.com/feeds/dga-feed.txt

    恶意流量分析：　http://malware-traffic-analysis.net/

    恶意软件分类数据：https://www.kaggle.com/c/malware-classification
http://www.malshare.com/index.php

2. 威胁情报

    当前安全领域高级持续威胁APT日益泛滥，威胁情报作为应对APT的重要手段也被越来越多的的安全厂商所重视，本人在github上发现了一个比较好的威胁情报资料汇总，网址是： https://github.com/hslatman/awesome-threat-intelligence

 

3. 开源扫描器集合

安全行业从业人员自研开源扫描器合集
开源扫描仪的工具箱

4. 开源软件集合

 

Stratosphere Linux IPS (slips) 

a behavioral-based intrusion detection and prevention system that uses machine learning algorithms to detect malicious behaviors.

https://github.com/stratosphereips/StratosphereLinuxIps

https://github.com/stratosphereips/StratosphereTestingFramework

 

Learn2ban

Open source machine learning DDOS detection tool

https://github.com/equalitie/learn2ban

 

malware-detection

Experiments in malware detection and classification using machine learning techniques.

https://github.com/dchad/malware-detection

 

Use of machine learning for anomaly detection in netflow data

https://github.com/eraclitux/machine-learning-netflow

 

Botnet Detection using Machine Learning

https://github.com/hmishra2250/Botnet-Detection-using-Machine-Learning

 

Fraud_Detector

Fraud Detection using ensemble of Statistical, Network analysis and Machine learning approach.

https://github.com/kskk02/Fraud_Detector

 

Intrusion Detection With Machine Learning

https://github.com/slrbl/Intrusion-and-anomaly-detection-with-machine-learning

 

Adaptive Machine Learning for Credit Card Fraud Detection

https://github.com/dalpozz/AMLFD

 

time series data analysis

https://github.com/linkedin/luminol

 

open source and threat intelligence

https://github.com/Te-k/harpoon

 

Apache Spot：一个全新的网络安全开源项目

Apache Spot 是一个基于网络流量和数据包分析，通过独特的机器学习方法，发现潜在安全威胁和未知网络攻击能力的开源方案。目前 Apache Spot 已支持对 Netflow、sflow、DNS、Proxy 的网络流量分析，主要依靠 HDFS、Hive 提供存储能力，Spark 提供计算能力，基于 LDA 算法提供无监督式机器学习能力，最终依赖 Jupyter 提供图形化交互能力。

详细介绍： https://mp.weixin.qq.com/s/DQdcByiuMNlUMhK7uHAdCA

https://spot.apache.org/

https://hub.docker.com/r/apachespot/spot-demo/

AIEngine (Artificial Intelligent Engine)

AIEngine is a packet inspection engine with capabilities of learning without any human intervention. AIEngine helps network/security professionals to identify traffic and develop signatures for use them on NIDS, Firewalls, Malware analysis, Traffic classifiers and so on.

网址：https://bitbucket.org/camp0/aiengine/

Passive DNS

 

PassiveDNS对安全研究非常重要，因为它可以得到以下三方面的答案：该域名曾经绑定过哪些IP、这个IP有没有其他的域名、该域名最早/最晚什么时候出现。Passive DNS同时也在SOC的时候起到很大的帮助。通过识别的恶意域名，可以找到其他被恶意破坏的机器。目前有很多网站允许我们访问它的PassiveDNS系统，例如：Virustotal(https://www.virustotal.com/)、passivetotal(https://www.passivetotal.com)、CIRCL (https://www.circl.lu/services/passive-dns/)。有很多这样的网站，但是，自己在本地有一个当然会更方便。

 更详细的介绍：http://www.freebuf.com/articles/network/103815.html,以及https://www.farsightsecurity.com/solutions/dnsdb/

 更多的开源工具：  PassiveDNS::Client, https://github.com/chrislee35/passivedns-client

Vulhub

Vulhub是一个面向大众的开源漏洞靶场，无需docker知识，简单执行两条命令即可编译、运行一个完整的漏洞靶场镜像。

开源代码：https://github.com/Cherishao/vulhub

文章转载来源：https://blog.csdn.net/zourzh123/article/details/81012081

    由于本人从事安全相关的行业的工作，接触到很多想用机器学习解决网络安全相关的问题，不可避免的需要用到很多安全相关的开源数据集和工具，这里记录一下本人自己用过并感觉不错的数据集和开源工具。当然，这可能只是安全领域数据集和开源工具极小的一部分，希望能起到抛砖引玉的目的吧，本人后续也会不断更新。
 1. 安全数据集
    对于安全数据集，已经有行业从业者不辞辛劳的总结的很完善了，这里给出两个我看到的汇总网址：
        网络安全中机器学习大合集
        SecRepo.com - Samples of Security Related Data
        安全联盟曝光台
   其中，对于“安全联盟的曝光台”，安全联盟是由知道创宇、腾讯等互联网企业于2012年发起的第三方公益组织，自成立以来，通过与12321举报中心、腾讯、搜狗、金山等上百家机构、企业合作，通过发动群众参与网络治理，安全联盟已建成国内最大的第三方网络安全数据共享交换平台，日平均共享数据4500万次，每日接收网民举报超5000条，截止目前已拥有超过8.9亿条恶意网址、电话数据。这些恶意数据被应用到搜索引擎、浏览器、IM、社交平台、路由器OS等互联网终端，每天为网民提供超过30亿次恶意风险提醒，极大程度地帮助网民远离网络诈骗。 
   这里面包罗万象，我第一次看到感觉如获至宝，感觉发现了一座金矿，紧接着又有点傻眼，这个金矿应该怎么挖？我的答案是当然是站在前人的肩膀上，多利用前辈们的智慧啦。个人建议买一本《Web安全之机器学习入门》并下载随书代码，这本书里面列举了用机器学习方法解决典型的各种网络安全问题，上面列举的很多数据集都可以用在这里面，能帮你迅速上手并判断是否有深入使用和研究的价值。当然更棒的是，这本书里也列举了一些网络安全领域的公开数据集，与上面汇总帖里的数据集互为补充，能为你在开始一个网络安全领域的机器学习项目提供快速的建模手段。
    说完汇总，我也列一下我在机器学习项目里使用过数据集：
    恶意url:  http://www.sysnet.ucsd.edu/projects/url/
   An anonymized 120-day subset of our ICML-09 data set is available from the following links:
URL Data Set (Matlab) (470 MB)
URL Data Set (SVM-light) (234 MB)
    僵尸网络DGA域名数据：　http://osint.bambenekconsulting.com/feeds/dga-feed.txt
    恶意流量分析：　http://malware-traffic-analysis.net/
    恶意软件分类数据：https://www.kaggle.com/c/malware-classification
http://www.malshare.com/index.php
2. 威胁情报
    当前安全领域高级持续威胁APT日益泛滥，威胁情报作为应对APT的重要手段也被越来越多的的安全厂商所重视，本人在github上发现了一个比较好的威胁情报资料汇总，网址是：https://github.com/hslatman/awesome-threat-intelligence

3. 开源扫描器集合
安全行业从业人员自研开源扫描器合集
开源扫描仪的工具箱
4. 开源软件集合
Stratosphere Linux IPS (slips) 
a behavioral-based intrusion detection and prevention system that uses machine learning algorithms to detect malicious behaviors.
https://github.com/stratosphereips/StratosphereLinuxIps
https://github.com/stratosphereips/StratosphereTestingFramework

Learn2ban
Open source machine learning DDOS detection tool
https://github.com/equalitie/learn2ban

malware-detection
Experiments in malware detection and classification using machine learning techniques.
https://github.com/dchad/malware-detection

Use of machine learning for anomaly detection in netflow data
https://github.com/eraclitux/machine-learning-netflow

Botnet Detection using Machine Learning
https://github.com/hmishra2250/Botnet-Detection-using-Machine-Learning

Fraud_Detector
Fraud Detection using ensemble of Statistical, Network analysis and Machine learning approach.
https://github.com/kskk02/Fraud_Detector

Intrusion Detection With Machine Learning
https://github.com/slrbl/Intrusion-and-anomaly-detection-with-machine-learning

Adaptive Machine Learning for Credit Card Fraud Detection
https://github.com/dalpozz/AMLFD

time series data analysis
https://github.com/linkedin/luminol

open source and threat intelligence
https://github.com/Te-k/harpoon

Apache Spot：一个全新的网络安全开源项目
Apache Spot 是一个基于网络流量和数据包分析，通过独特的机器学习方法，发现潜在安全威胁和未知网络攻击能力的开源方案。目前 Apache Spot 已支持对 Netflow、sflow、DNS、Proxy 的网络流量分析，主要依靠 HDFS、Hive 提供存储能力，Spark 提供计算能力，基于 LDA 算法提供无监督式机器学习能力，最终依赖 Jupyter 提供图形化交互能力。
详细介绍：https://mp.weixin.qq.com/s/DQdcByiuMNlUMhK7uHAdCA
https://spot.apache.org/
https://hub.docker.com/r/apachespot/spot-demo/
AIEngine (Artificial Intelligent Engine)
AIEngine is a packet inspection engine with capabilities of learning without any human intervention. AIEngine helps network/security professionals to identify traffic and develop signatures for use them on NIDS, Firewalls, Malware analysis, Traffic classifiers and so on.
网址：https://bitbucket.org/camp0/aiengine/
Passive DNS
PassiveDNS对安全研究非常重要，因为它可以得到以下三方面的答案：该域名曾经绑定过哪些IP、这个IP有没有其他的域名、该域名最早/最晚什么时候出现。Passive DNS同时也在SOC的时候起到很大的帮助。通过识别的恶意域名，可以找到其他被恶意破坏的机器。目前有很多网站允许我们访问它的PassiveDNS系统，例如：Virustotal(https://www.virustotal.com/)、passivetotal(https://www.passivetotal.com)、CIRCL (https://www.circl.lu/services/passive-dns/)。有很多这样的网站，但是，自己在本地有一个当然会更方便。
 更详细的介绍：http://www.freebuf.com/articles/network/103815.html,以及https://www.farsightsecurity.com/solutions/dnsdb/
 更多的开源工具：  PassiveDNS::Client, https://github.com/chrislee35/passivedns-client
Vulhub
Vulhub是一个面向大众的开源漏洞靶场，无需docker知识，简单执行两条命令即可编译、运行一个完整的漏洞靶场镜像。
开源代码：https://github.com/Cherishao/vulhub

网络安全数据集

整理自一度苦于找数据集的我。开个坑整理一下公开数据集。

希望有一天能填平（大概）。本文大概会同步到zhihu。
1、数据集集合

Canadian Institute for Cybersecurity datasets

来自加拿大网络安全研究所整理的数据集，包含下列数据集：
Android Malware dataset (InvesAndMal2019)

DDoS dataset (CICDDoS2019)

IPS/IDS dataset on AWS (CSE-CIC-IDS2018)

IPS/IDS dataset (CICIDS2017)

Android Malware dataset (CICAndMal2017)

Android Adware dataset (CICAAGM2017)

DoS dataset (application-layer) 2017

VPN-nonVPN traffic dataset (ISCXVPN2016)

Tor-nonTor dataset (ISCXTor2016)

ISCX-URL dataset (ISCX-URL-2016)

ISCX Android Botnet dataset 2015

ISCX Botnet dataset 2014

ISCX Android Validation dataset 2014

ISCX IDS dataset 2012

ISCX NSL-KDD dataset 2009

数据挖掘与网络安全资源网

包含以下数据集：
[入侵检测] DARPA入侵检测数据集

[入侵检测] KDD Cup 99数据集

[入侵检测] NSL-KDD数据集

[黑客攻击数据集] Honeynet数据集（数据集包括从2000年4月到2011年2月，累计11个月的Snort报警数据，每月大概60-3000多条Snort报警记录，其网络由8个IP地址通过ISDN连接到ISP）

[日志数据] Challenge 2013数据集（提供了某虚构的跨国公司内部网络两周的运行日志，日志类型有3种，分别是网络流量Netflow日志数据和Big Brother 网络健康和状态数据，日志包括：第一、二周的Netflow和Big Brother日志，第二周的入侵预防系统日志数据，通过日志的分析可以找出网络中存在的异常，网络包含的主机和服务器约1100 台，原始日志量接近10 GB，记录数超过9000万行）

恶意软件数据集

Vizsec

该网站包含下列数据集：
UGR’16: A New Dataset for the Evaluation of Cyclostationarity-Based Network IDSs

Stanford Large Network Dataset Collection (SNAP):

APTnotes

Open Malware

Shadow Server Malware Data site

Darpa CGC (known vulnerabilities)

DNS data

SecRepo

malware-traffic-analysis

NETRESEC Data

CTU Data

Digital Corpora

Impact

Kyoto: Traffic Data from Kyoto University’s Honeypots.

The Honeynet Project: Many different types of data for each of their challenges, including pcap, malware, logs.

VAST Challenge 2013: Mini-challenge 3 is related to cybersecurity and includes network flow data, network status data (via big brother), and intrusion prevention system data.

VAST Challenge 2012: This challenge has two mini-challenges, one related to situation awareness (metadata and periodic status reports from all computing equipment) and one to forensics (Firewall and IDS logs).

VAST Challenge 2011: Mini-challenge 2 is related to Cybersecurity - Situational Awareness in Computer Networks (Firewall and IDS logs).

DARPA Intrusion Detection Data: This data set has numerous issues that have been documented in the literature.

ORNL Auto-labeled corpus: A corpus of automatically labeled text data in the cyber security domain.

Industrial Control System (ICS) Cyber Attack Data Set: Data from MSU. The dataset is made up of tuples of timestamp, network protocol (MODBUS), and system information (measurements and settings), and attack attributes.