AIOPS的能力框架

 
AIOps平台能力体系

 

 
AIOps 常见应用场景
 
按照时间来分

 


AIOPS实施的关键技术

1.数据采集（硬件，业务指标等）
2.数据预处理（特征工程）
3.数据可视化
4.数据存储（数据仓库，Hadoop分布式存储）
5.智能算法

数据采集

性能数据，性能数据 cpu性能，网络消耗，硬盘数据
用户数据：流量，错误率，访问情况，操作信息等个性化信息
运维事件信息，新程序上线扩容，配置更新，软件更新

数据处理

数据字段提取：通过正则解析，KV 解析，分隔符解析等解析方式提取字段
规范化数据格式：对字段值类型重定义和格式转换
数据字段内容替换：基于业务规则替换数据字段内容，比如必要的数据脱敏过程，同时可实现无效数据、缺失数据的替换处理
时间规范化：对各类运维数据中的时间字段进行格式统一转换

数据可视化

数据可视化：快速看到想要的信息，辅助快速分析问题解决问题
要做数据可视化先建立数据关联：
    产品 服务层级关联关系
    服务模块之间关联关系
    运维事件与指标数据关联关系
    指标数据与分维度指标数据关联关系
    总体指标数据与分维度指标数据关联关系



AIOPS常用算法

 




 
转载于:https://www.cnblogs.com/muzinan110/p/11110815.html

aiops
 AIops（IT运营的人工智能）是那些很酷的流行语之一，实际上是另一个流行语的一部分：cloudops（云计算操作），它是所有流行语之母： 云计算 。 
 一般而言，AIops的概念和AIops的工具类别确实是成熟的。 至少在过去的几年中，传统操作工具领域中的大多数人都将AI引擎固定在工具上，并称为AIops。 

 [ 也在InfoWorld上：2020年的人工智能预测 ] 
 某些专门构建的AIops工具初创公司正在利用AI从一跃而下。 选择AIops工具时，所有这些都值得一看。 但是，没有主流品牌。 
 目标是而且很明显。 由于大多数工具从一开始就已经是数据收集工具和分析工具，因此添加AI可以使他们从数据中学习，而不仅仅是将管理下的服务外部化。 在某些情况下，他们可以使用预编程的例程纠正问题，例如重新启动服务器或阻止似乎正在攻击其中一台服务器的IP地址。 
 现在，我们已经进入这种范例及其技术产品领域了几年，我们开始注意到一些模式-一些很好，有些还不太好。 让我们探索两者。 
 就工作原理而言，许多情况下的AIops工具都是第四，第五或第六代的ops工具。 此外，他们中的大多数人已经考虑了一段时间的公共云管理，并且能够弥合本地旧式系统管理与管理公共云中的应用程序和服务之间的鸿沟。 

 它们是用于管理和监视云，多云，旧版甚至物联网和基于边缘的系统的强大工具。 这种支持复杂系统异构性的能力确实是ops工具的真正价值，以及为什么它们对于实施云或非云系统的人很重要。 

 [ 通过InfoWorld的Cloud Computing Report新闻通讯了解云计算的最新发展 ] 
 不利的一面是，大多数用户没有利用工具中的AI子系统，因此您可能要为未使用的功能付费。 我不认为这是工具提供商的错。 在大多数情况下，这与传统团队和cloudops团队如何安装，设置和使用工具有关。 这是由于在某些情况下缺乏培训，或者在受管理的当前系统集（云而非云）中缺少有效的用例。 

 显然，AIops将成为大多数基于云的部署的一部分。 同样清楚的是，这些部署（例如多云）越复杂，它们将带来更多的价值。 



翻译自: https://www.infoworld.com/article/3526444/the-state-of-aiops.html
aiops

5月16日，“心▪有灵犀，智▪在联云”2018LinkedSee灵犀首届AIOps峰会在北京丽都皇冠假日酒店重磅启幕，超过 250 位来自互联网、互金、银行、运营商、能源等行业的重量级嘉宾、CIO/CTO、运维大咖们齐聚会场，共同见证LinkedAIOps首发，开启AIOps智能运维新时代。
 
LinkedSee灵犀CEO朱品燕女士首先为峰会做了开幕致辞，介绍了与会讲师及嘉宾。
“一键根因定位，完美落地AIOps”
峰会现场，LinkedSee灵犀技术合伙人熊亚军带来了AIOps产品战略规划，发布了LinkedAIOps，完美落地AIOps。
作为国内最早落地AIOps的创业公司，LinkedSee灵犀始终聚焦AIOps市场，不断完善功能，丰富场景，为客户带来专注于通过智能定位和智能预测支持IT运营的AIOps解决方案。
智能根因定位，是机器效率与人员效率的完美匹配，智能组合后的情境，按照已发生的故障类和尚未发生的预测类进行情境告警。当业务系统存在潜在隐患时，运维人员可通过情境中心及时预知可能影响业务健康度的隐患。
目前，LinkedAIOps已经在多个运维故障方向实现机器算法模型的持续迭代与持续改进，在机器学习能力逐步增强的同时，专家经验库也成为在情境管理中必不可少的重要元素。
LinkedSee灵犀AIOps正在通过可自主学习和不断迭代的智能机器算法，实现“越用越准确”的事故根因定位和事故预测的运维能力，创建更高智能、更快效率、更低成本、更加创新的智能运维管理模式，让更多的企业达到BAT级别的IT运营管理水平。
峰会现场，LinkedSee灵犀的技术合伙人朱颖航演示了LinkedAIOps产品。
峰会现场，高效运维社区创始人萧田国先生在会上发布AIOps白皮书。分享AIOps国内发展的方向和未来的规划。
峰会现场，Zabbix的业务拓展总监Sergey Sorokin介绍 Zabbix的AIOps的前景布控方向。
峰会现场，百度智能云事业部智能运维平台架构团队经理岳洪达分享了百度的AIOps运维实践经验。
峰会现场，清华大学著名AIOps教授徐葳徐教授带来了关于AIOps的案例分析。从学术案例的角度讲解了更多关于AIOps的内容。
 
Linkedsee灵犀的金融用户，来自宁波通商银行信息科技部高级经理王航明先生分享用户体验。
峰会现场，国美金融运维总监冯雷先生分享了国美金融AIOps实践。
 
之后的现场互动也十分精彩，原本设定半个小时的提问时间远远不够。
作为国内AIOps的领导厂商，LinkedSee灵犀通过年度AIOps峰会的舞台，聚集了行业资深AIOps专家、用户、国际市场研究机构、著名的开源生态厂商、来自BAT的资深专家等，深入探讨AIOps的市场前景，技术方案，实际的客户案例，以及AIOps行业标准等议题。与合作伙伴一起推动AIOps的快速发展，构筑行业新生态，开启“AIOps智能运维新时代”。

aiops应用场景
 IT运营团队使用许多工具来监视，诊断和解决系统和应用程序性能问题。 在最近对1,300名IT专业人员进行的有关监视和AIOps未来的调查中，有42％的人报告使用了10多种监视工具； 19％的人使用超过25种工具。 
 保持点亮并提供监视，警报，研究和解决应用程序事件所需的数据是很多技术。 

 [ 也在InfoWorld上：在数据科学和机器学习中应用开发人员 ] 
 监控工具并不适合所有情况，特别是对于在多云环境中运行关键任务应用程序的组织而言。 随着组织投资于移动应用，微服务， dataops和数据科学计划，正在增加新的监测工具，提供特定领域的监控能力。 
 AIOps平台旨在简化监视工具的格局。 AIOps帮助需要高应用程序服务级别的组织更好地管理其监视工具和IT运营工作流程的复杂性。 顾名思义，AIOps将机器学习和自动化功能带入了IT运营领域。 这些技术旨在更快地解决事件，识别影响性能的运营趋势以及简化解决问题所需的过程。 
 AIOps是一个新兴平台。 在调查中，有42％的受访者从未听说过AIOps，或者认为将机器学习应用于操作“不是问题”。 如今，只有4％的人在生产中使用AIOps工具。 尽管AIOps是一个新兴平台，但许多组织还是有充分的商业理由考虑使用它。 
 AIOps由业务需求和运营复杂性驱动 
 如今，越来越多的企业依靠应用程序来服务客户并运营业务。 这对应用程序的可靠性，性能和安全性提出了更高的要求和期望。 

 这也刺激了对应用程序开发团队构建新应用程序并更频繁地增强它们的需求。 在过去的十年中，保持应用程序服务水平的工作职责也有所扩大。 
 曾几何时，组织将NOC（网络运营中心）作为防御的第一线。 如果您曾经进入过NOC，则可能会看到数十个带有警告灯和趋势图像的计算机监视器，以帮助工作人员查明问题-理想情况是在最终用户体验并打开票证之前。 

 业务和IT领导者开始通过引入开发实践和站点可靠性工程师来更改此模型。 Devops通过建立集体责任来改变IT部门的文化，以实现频繁部署并更好地支持客户和员工的需求 。 CI / CD（ 持续集成和持续交付 ）和IaC（基础架构作为代码）之类的工具和实践是实现更频繁部署的一部分。 
 但是，开发人员实践还需要共同承担操作责任，以确保应用程序可靠，运行良好且安全。 这意味着IT组织中的更多人需要访问所有不同的监视工具。 
 许多IT组织还雇用SRE（ 站点可靠性工程师 ）来连接开发和运营。 SRE采用软件工程方法来处理系统管理主题。 在针对SRE的另一项调查中 ，他们表示事件响应是他们工作的重要组成部分：49％的人声称每周至少响应一次事件。 
 成熟的开发人员实践和雇用站点可靠性工程师是越来越多的IT组织如何面对日益增长的运营挑战的方式。 但是，仅仅期望他们能够理解所使用的数十种监视工具是导致性能下降的秘诀。 

 AIOps平台功能和技术架构 
 AIOps如何改善现状？ AIOps平台通常具有以下架构组件和功能： 

 一个中央数据平台，用于汇总来自不同监视工具的原始日志和数据。 
 与最常用的日志格式，监视工具，IT服务管理工具，敏捷开发工具和其他协作平台的现成集成。 
 机器学习功能可帮助识别聚合数据中的模式。 
 控制台，仪表板和分析功能可帮助IT操作人员从中央界面查看和管理多个系统。 
 自动化功能使IT人员可以交流状态，路由问题并自动响应常见问题。 

 AIOps与其他IT运营平台的不同之处在于，它能够轻松聚合数据，利用机器学习来发现问题以及将自动化用作解决问题的工具的能力。 AIOps不会替代现有的监视工具。 它与它们集成在一起，因此IT部门中的更多人可以更好地了解问题，而无需学习和使用多种监视工具。 
 同样，AIOps平台通常不会替代现有的IT服务管理，工作流，敏捷性和其他通信工具。 相反，它们是在警报和解决事件时与其交互的中央平台。 
 无需AIOps即可监视任务关键型应用程序 
 想象一下，当用户尝试完成购买时，您的电子商务应用程序的性能会降低。 开始发出警报的第一个指标是购物车放弃率。 
 电子商务负责人Swift在Cherwell的移动界面中打开了有关该问题的票证，但是IT团队已经收到有关该问题的警报。 随着越来越多的用户尝试进行购买，底层的Web服务器挂起，数据库连接保持打开状态。 来自DataDog的警报报告这些问题，而Splunk报告电子商务应用程序的日志文件中的Java异常。 
 现在想象一下NOC对这个问题的React。 考虑到同时发出警报的数量，它们应该从哪里开始？ 要求协助的SRE还必须调查来自不同工具的不同警报。 同时，这位电子商务负责人很沮丧，因为没人响应她的票！ 
 AIOps帮助IT部门更快，更轻松地解决问题 
 这就是AIOps平台可以潜在地更快，更有效地解决此问题的方式。 
 首先，AIOps看到多个警报正在关闭，包括应用程序警报。 它会自动向SRE发出警报，并在响应时自动更新Cherwell，该事件已由SRE回答。 无需手动更新任何系统即可发出这些通信。 
 其次，来自Cherwell，电子商务平台，Splunk和DataDog的警报均已汇总并按时间顺序排列。 SRE立即知道哪个警报先于其他警报触发。 这非常有用，因为SRE可以快速看到Web服务器挂起和池数据库连接都在Java应用程序异常之后启动。 
 AIOps平台的机器学习功能相当复杂，因此，除了报告警报之外，它还突出显示了其他异常操作条件。 在这种情况下，电子商务应用程序具有到单个IP地址的许多慢速出站连接。 没有关于此问题的警报或例外，但是其时间早于其他任何警报。 
 SRE不需要花费更长的时间就可以确定这是与第三方服务的连接，该服务可以验证买方的城市，州和邮政编码。 该服务显然存在整个应用程序中泛滥的性能问题。 
 在确定了根本原因后，SRE在电子商务开发团队的Jira待办事项列表中添加了高严重性缺陷，从而向他们发出警告。 严重性高的问题标志着敏捷开发团队破坏了他们的冲刺并加以解决。 这是避开有影响的服务的快速修复，并且很容易通过其Jenkins CI / CD管道测试和部署更改。 
 AIOps平台会跟踪此缺陷，部署以及所有警报的下降，并使电子商务负责人随时了解最新情况。 即使SRE正在监视情况，但当所有监视器恢复正常时，AIOps平台会自动关闭该问题。 
 实施此方案并非易事，但使用AIOps平台也不是科幻小说。 



翻译自: https://www.infoworld.com/article/3541308/how-aiops-improves-application-monitoring.html
aiops应用场景