摘抄自：《深度学习之Pytorch物体检测实战》一书

    
                
勾勒一幅图

转载于:https://www.cnblogs.com/TendToBigData/p/10501366.html

目前基于Mesos的 Spark, Akka, Cassandra 和 Kafka (简称SMACK)架构将机器学习 大数据分析
 快数据实时流处理和集群自动化管理结合一起，形成大数据领域的主流架构。


数据分为快数据和大数据；快数据包括相关的最新信息以及提供可操作的事件。大数据是有关分析与模型和学习，聚类，分类以及组织事实。


下图是展示对大数据和快数据分别进行批处理和流处理以后，进入分布式数据存储系统，然后再为最终用户分别提供分析报告和实时提醒报警服务。





为了实现这样一个目标设计，使用Akka-Cassandra-Spark 组合实现，如下图：





Spark从Cassandra中释放数据，创建模型，丰富模型，改造模型后再写入到Cassandra；而Akka负责从Kafka消息系统接受处理事件，以及实现实时响应式的提醒和报警服务。


使用Akka持久化接受进来的事件到Cassandra，也就是将Akka有态actor将其内部状态持久化保存，这样当遭遇崩溃或重新启动或集群迁移时，actor能够从Cassandra中恢复状态，这是使用event sourcing原理，只是将改变actor状态的事件持久化，而不是直接持久状态，这是以一种日志方式保存。这种方式有很高的事务性和复制高效性。

Apache Spark机器学习初级教程


英文资料：
使用Spark MLlib, Akka and
 Cassandra进行实时异常检测

Using Spark to analyse Akka
 persistence journal in Cassandra

Streaming Big Data with Spark, Spark Streaming, Kafka, Cassandra and Akka

机器学习PAI产品架构

本文介绍PAI的产品架构。


如上图所示，PAI的业务架构分为五层：

基础设施层：包括CPU、GPU、FPGA及NPU。
计算引擎和容器服务层：包括MaxCompute、EMR、实时计算等计算引擎及容器服务ACK。
计算框架层：包括Alink、TensorFlow、PyTorch、Caffe、MapReduce、SQL及MPI等计算框架，用于执行分布式计算任务。
按照机器学习全流程，PAI分别提供了数据准备、模型开发和训练及模型部署阶段的产品：

i.	数据准备：PAI提供了智能标注，支持在多种场景下进行数据标注和数据集管理。

ii.	模型开发和训练：PAI提供了可视化建模PAI-Studio、交互式编程建模PAI-DSW、云原生深度学习训练平台PAI-DLC及端到端自动学习PAI-AutoLearning，满足不同的建模需求。

iii.	模型部署：PAI提供了云原生在线推理服务平台PAI-EAS和模型推理加速工具PAI-Blade，帮助您快速地将模型部署为服务。同时，PAI提供了智能生态市场，您可以获取业务解决方案和模型算法，实现相关业务和技术的高效对接。
业务层：PAI应用于金融、医疗、教育、交通以及安全等各个领域。阿里巴巴集团内部的搜索系统、推荐系统及金融服务系统等，均依赖于PAI进行数据挖掘。