精华内容
下载资源
问答
  • 最新版本(v1.5.0)可以在基于NVIDIA Jetson TX2和Intel Atom架构的边缘设备上运行Apache MXNet和TensorFlow Lite模型。 机器学习推理是边缘计算的最佳用例。由于边缘计算网关预计将在离线场景中运行,并与云进行间歇...

    亚马逊通过AWS Greengrass将机器学习引入边缘计算

    文章来源:ATYUN AI平台 

    AWS的边缘计算平台AWS Greengrass,以机器学习推理支持的形式进行了改版。最新版本(v1.5.0)可以在基于NVIDIA Jetson TX2和Intel Atom架构的边缘设备上运行Apache MXNet和TensorFlow Lite模型。

    机器学习推理是边缘计算的最佳用例。由于边缘计算网关预计将在离线场景中运行,并与云进行间歇性连接,因此它们可以在运行时提供机器学习模型,从而可以离线工作。当与工业物联网相结合时,机器学习推理可通过预测性维护和分析使部署变得有价值。

    亚马逊一直在投资三个关键领域——物联网、边缘计算和机器学习。AWS IoT是一个成熟的连接设备平台,可以提供可扩展的M2M、批量设备、数字双胞胎和分析,以及与AWS Lambda紧密集成的动态规则。AWS Greengrass通过提供本地M2M、规则引擎和路由功能将AWS IoT扩展到边缘。此外,亚马逊SageMaker为AWS带来了可扩展的机器学习服务。客户可以使用它来改进基于流行算法的训练模型。

    亚马逊在整合AWS IoT、AWS Greengrass和亚马逊SageMaker等方面做了大量工作,目的是提供端到端的机器学习支持。

    在将亚马逊SageMaker指向它之前,客户会将训练数据上传到Amazon S3。他们可以选择SageMaker现有的算法之一来生成一个训练模型,该模型以压缩的zip文件的形式复制到另一个Amazon S3中。该zip文件被复制到设备,且设备将在运行时由AWS Lambda Python函数调用。也可以直接将Greengrass指向预训练的SageMaker模型。

    亚马逊通过AWS Greengrass将机器学习引入边缘计算

    开发人员可以使用Raspberry Pi进行本地开发和测试。对于生产场景,建议使用NVIDIA Jetson TX2或Intel Atom处理器。亚马逊还提供基于Apache MXNet和Tensorflow模型的预构建机器学习库,可以在Greengrass上部署。

    作为一个概念的证明,亚马逊已经建立了一个名为AWS DeepLens的网络摄像头,它由AWS IoT、AWS Greengrass和AWS Lambda支持。开发人员可以在云中训练卷积神经网络,并将训练好的模型部署在DeepLens上,以在离线模式下执行对象检测。凭借Greengrass对机器学习的最新支持,客户将能够构建自己的DeepLens设备,并在边缘进行推理。

    使用机器学习推理的AWS Greengrass是在现代基础设施上运行机器智能的完美范例。该平台是边缘计算、无服务器计算、物联网和机器学习技术的融合。

    公共云在提供所需的智能的同时,负担也过重。期望看到消费类设备变得非常智能。此理念贴近了亚马逊Echo和AWS DeepLens的设计。

    本文转自ATYUN人工智能媒体平台,原文链接:亚马逊通过AWS Greengrass将机器学习引入边缘计算

    更多推荐

    研究人员提高AI工具识别小说人名的能力,准确度达到90%

    如何识别、抓取和构建高质量机器学习数据集(上)

    AI倾听谈话,通过声音识别PTSD障碍,准确率达89%

    AI工具PaintBot模仿绘画大师风格,还原度高

    欢迎关注ATYUN官方公众号,商务合作及内容投稿请联系邮箱:bd@atyun.com
    欢迎关注ATYUN官方公众号,商务合作及内容投稿请联系邮箱:bd@atyun.com

     

    展开全文
  • 机器学习从概念上来说很有趣,但同时,对于初学者来说也很难理解。要掌握和理解基础数学和逻辑,需要付出很多努力。但幸运的是,在线上有许多工具可以成倍地减少这些工作。其中之一是Google Cloud AutoML。 AutoML...

    机器学习从概念上来说很有趣,但同时,对于初学者来说也很难理解。要掌握和理解基础数学和逻辑,需要付出很多努力。但幸运的是,在线上有许多工具可以成倍地减少这些工作。其中之一是Google Cloud AutoML。

    AutoML是一套机器学习产品,可使拥有有限机器学习专门知识的开发人员可以针对其业务需求训练高质量模型。用技术术语来说,它是可以设计神经网络的神经网络。

    这篇文章将重点介绍如何使用Google Cloud AutoML Vision Edge从头开始训练自定义机器学习模型。

    1.什么是基于边缘的模型?

    AutoML Vision Edge允许您训练和部署针对边缘设备优化的低延迟,高精度模型。

    训练后,可以使用AutoML提供的各种格式使用模型,例如TF Lite,Core ML,Tensorflow.js和其他容器导出格式。这篇文章将涵盖培训和使用基于AutoML Edge的模型的TF Lite格式。

    2.准备数据集并训练基于边缘的模型

    2.1获得一个好的数据集

    数据集是机器学习的基础。准备数据集是培训之前的关键步骤。

    有两种方法可以获取可行的数据集-可以使用互联网上现有的数据集(即适用于一般用例),也可以为特定用例创建自己的数据集。

    为此,作者编写了一个简单的脚本,该脚本将有助于从Pexels网站上抓取图片,该网站上有1000张免费的高质量照片。

    爬虫地址:

    https://github.com/aayusharora/LazySpider/

    一个简单的用AutoML进行试验的用例将是一个基本的图像分类问题:识别狗还是猫。互联网上可以找到许多猫和狗的图像,也可以从各种网站(例如Pexels)轻松地将它们抓取。

    2.2问题:将照片分类为猫和狗类

    • 步骤1:从Pexels抓取并创建数据集

    通过使用Pexels,我们可以提取所需的所有猫狗图像。使用上述脚本,我们只需要按如下所示将spider.py中的关键字“ cat”和“ dog”更改为:

    keyword = 'dog'

    url = "https://www.pexels.com/search/" + keyword

    然后使用以下命令运行Python脚本:

    python spider.py

    该脚本使用Selenium将所有图像延迟加载到浏览器窗口中,然后再将它们下载到_images文件夹中。

    • 步骤2:清理资料集

    该步骤通常被忽略,但是对于获得良好的准确性而言,这是非常重要的。确保数据集有一个名为“ dogs”的文件夹,另一个名为“ cats”的文件夹,分别包含其图像。

    该目录应如下所示:

    注意:两个文件夹都应至少包含100张图像,以便AutoML开始模型训练。

    • 步骤3:建立Google Cloud案例

    准备好干净的数据集后,我们可以开始设置Google Cloud项目。

    我们可以按照此指南创建Google Cloud项目:

    https://cloud.google.com/dataproc/docs/guides/setup-project

    下一步是在AutoML页面上创建我们的数据集。如您在快照中所见,在这里,我们将使用单标签分类。当图像可以属于一个类别时,使用单标签分类。在我们的猫与狗问题中,每张图像都将被标记为猫还是狗,即单级标签。在多标签分类中,单个图像可以同时属于多个类别。

    • 步骤4:导入所有图片

    完成初始项目设置后,我们将使用“导入”按钮,并导入dog和cat文件夹及其各自的图像。

    注意:最佳做法是将所有图像上传到Google Cloud Storage Bucket,然后从AutoML仪表板导入存储。

    上传后,我们可以在“图片”标签下看到所有图片:

    • 步骤5:开始进行模型训练

    一旦看到在AutoML仪表板中反映出猫和狗的图像,我们就可以开始训练我们的模型了:D

    使用AutoML训练此模型非常容易,请转到“训练”选项卡,然后单击“训练新模型”。 训练完成后,我们会收到一封电子邮件通知。

    在训练之前,您应该决定如何使用模型(作为API(在线预测)或在边缘设备(离线预测)上使用)。在线预测是测试结果的最佳方法,或者是您要直接通过AutoML API使用模型的最佳方法。他们更准确。离线模型可以节省大量成本,并且可以在设备上运行。它们通常较小,并且可以在没有互联网连接的情况下运行。

    • 步骤6:评估模型

    在评估模型之前,我们应该了解精度和召回率的含义。精度是指您相关结果中所占的百分比。另一方面,召回率是指按算法正确分类的所有相关结果中的百分比。您可以在此处了解更多有关精度和召回的信息

    在仪表板上查看我们CatVsDog模型的召回率和精度值。

    • 步骤7:测试模型

    该模型将在1–8小时之间的任何时间进行训练,具体取决于数据集中的图像数量。您可以在“测试和使用”选项卡中测试图像。

    默认情况下,AutoML将数据集随机分为以下3组:

    • 测试数据集:用于对训练数据集上的最终模型拟合进行评估的数据样本。80%的图像用于训练。
    • 训练数据集:用于训练模型的数据样本。10%的图像用于超参数调整和/或决定何时停止训练。
    • 验证数据集:数据样本,用于在调整模型超参数时对训练数据集上的模型拟合进行评估。10%的图像用于评估模型。这些图像未在训练中使用。

    3.离线使用TensorFlow Lite(.tflite)模型

    如果我们想离线使用模型(无论是在Android,iOS,任何桌面应用还是在边缘设备上),我们都需要一个.tflite版本的模型,这是常见的移动和边缘用例的模型版本。

    要导出模型,我们必须单击Tf Lite卡并选择一个Google Cloud Bucket来导出它。

    将模型导出到Google Cloud存储桶后,您将可以看到一个.dict文件,其中包含模型的类名以及一个JSON文件,其中解释了图像的输入和输出形状。词典文件是您的类名的词典。它包含将由TensorFlow Lite模型预测其分数/置信度的类名称。

    JSON文件可帮助我们了解可接受的输入类型以及有关模型的其他信息。

    例如:在这里,字典文件将包含两个类dog和cat。当运行下面提到的代码时,我们将得到图片的信心分别是猫还是狗。

    import numpy as np
    
    import tensorflow as tf
    
    import cv2 as cv
    
    import os
    
    import random# Load TFLite model and allocate tensors.interpreter = tf.lite.Interpreter(model_path="Your Model Path")interpreter.allocate_tensors()
    
    input_details = interpreter.get_input_details()
    
    output_details = interpreter.get_output_details()dim = (224, 224) // From request.json
    
    img = cv.resize(img,dim)
    
    img = img.reshape(1,224,224,3 ) // From request.jsoninput_data = np.array(img, dtype=np.uint8)interpreter.set_tensor(input_details[0]['index'], input_data)
    
    interpreter.invoke()output_data = interpreter.get_tensor(output_details[0]['index'])print(output_data)

    您的output_data将包含图像的类名称和准确性得分。我们的数据集的准确度达到93.2%,对于大多数基本用例而言,这是很好的选择。

    结论

    AutoML它确实伴随着不可避免的在线预测成本。但是如果您离线(即在设备上)使用模型,则无需支付任何费用。

    AutoML非常适合分类问题,也非常适合希望使用ML解决实际问题的初学者。

    更多论文资源:关注“图像算法”wx公众号

    展开全文
  • 在设计新的物联网系统时,需要进行许多权衡,以确定在系统的不同组件(设备边缘和云)之间分配机器学习算法的最佳方法。电池寿命,物理尺寸,成本,实时连接需求,隐私问题以及调试/故障排除需求只是系统架构师在...

    在设计新的物联网系统时,需要进行许多权衡,以确定在系统的不同组件(设备,边缘和云)之间分配机器学习算法的最佳方法。电池寿命,物理尺寸,成本,实时连接需求,隐私问题以及调试/故障排除需求只是系统架构师在设计系统时需要考虑的一些问题。

    典型的物联网架构

    典型的物联网系统架构包括部署在物理空间中并且通常包括一个或多个传感器的设备(或节点); 在通信协议之间桥接并且位于相对靠近设备的集线器(或网关或边缘); 存储和处理数据的集中式云环境,以及用户可以与之交互,探索数据和获取通知的前端设备。显然,有些设备直接与云环境通信,设备充当前端设备的场景,但从逻辑上讲,这种架构描述了设置中的常见角色。

    典型的物联网系统架构

    机器学习和信号处理算法

    传感器会生成大量数据。以16Khz采样的高质量麦克风将产生256Kbps,如果以30帧/秒采样,则640x480灰度相机可产生大约100Mbps。要实时计算设备的位置和方向,我们需要每秒对加速度计进行100次采样。

    典型的物联网系统可能包括数百甚至数千个设备,每个设备都有多个传感器,因此物联网和大数据是两个经常被一起提及的流行语并不奇怪。

    为了从这个庞大的数据流中获得对用户的相关见解,我们通常需要使用机器学习和信号处理算法来处理数据。大多数时候,这些算法需要大量的计算资源,例如CPU,GPU和内存,它们既耗电又昂贵。可以将计算资源放置在系统的每个组件上:设备,集线器和云,然后可以处理通过或存储在那里的数据。因此,系统架构师决定如何在这些组件之间拆分/分配处理,以及如何根据权衡标准优化“成本”功能。

    在物联网设备,边缘和云上分配机器学习算法

    设计注意事项

    以下是影响有关如何跨设备,边缘和云分布机器学习算法的决策的常见示例。

    1. 物联网设备电池寿命:源自电池容量,不同功耗模式(活动,待机,关闭)之间的占空比以及传感器,CPU和通信接口的标称功耗。将原始数据发送到云将增加通信接口的功耗,在本地处理数据将增加本地CPU的功耗。
    2. 物联网设备成本:源自传感器,电池,CPU,通信接口和机械部件的成本。
    3. 物联网设备尺寸和重量
    4. TCO(总拥有成本):设备成本,云成本,网络成本,托管成本,安装成本,支持成本等。
    5. 实时需求:某些系统需要实时或近实时响应,并且不能容忍1-2秒延迟,这通常与将数据发送到云并等待响应有关。例如,门铃在两秒钟后无法振铃,这不是我们期望的用户体验。
    6. 加载通信渠道:实时向云端发送千兆位数据可以阻止所有其他流量,有时甚至是不可能的。
    7. 对通信链路服务质量的敏感性:算法的某些部分不能容忍通信链路中断。例如,即使没有到互联网的链接,警报系统也必须执行。
    8. 算法需求:有时算法只需要访问所有传感器的所有原始数据以达到最佳性能。这种情况的一个很好的例子是从多个视点对物体进行3D重建,其中来自多个(有时数百个)相机的实时馈送用于重建3D场景。
    9. 为多种平台和多种语言开发数据科学家通常使用Python,R或Matlab开发他们的算法并使用浮点计算。在分发机器学习算法时,很可能每个环境都有不同的操作系统,不同的工具链和不同的软件语言(Python,Scala,Javascript,C,C ++,定点......)。拆分算法并将其从一个环境迁移到另一个环境是一个资源密集型过程,也是一个痛苦的过程,通常会影响算法的性能并引入错误和错误。
    10. 调试/故障排除需求:机器学习算法永远不会是静态的。数据科学家将不断面临边缘情况和新算法,他们的算法失败或需要改进其性能。为了研究问题并提高准确性,数据科学家需要尽可能多地访问数据,有时甚至需要访问原始数据。如果系统仅在设备级处理原始数据,并且原始数据不易被他们访问,那么他们将不得不做很多猜测来理解实际发生的事情。
    11. 灵活性,灵活性和扩展性:一旦我们决定了IoT设备的CPU和内存的大小并销售/部署它们,它们就是固定的,无法轻松扩展(我们总是可以替换物联网设备并升级其计算资源,但相关的成本和复杂性是巨大的)。另一方面,云资源以及某种程度上的边缘资源更加灵活。在云环境中,性能和内存可以在几分之一秒内上下缩放,这使数据科学家可以轻松地改进和升级那里的机器学习算法。
    12. 隐私,道德和安全问题:在某些情况下,传感器可能会收集我们希望限制访问的隐私数据或商业敏感数据。想象一下,基于摄像头的占用传感器放置在会议室中,在会议室中呈现敏感材料。从理论上讲,我们可以将视频源发送到云端并在那里处理数据,但这会使系统面临安全风险并可能引发道德问题。Alexa在本地检测到“Alexa”这个词,并没有将我们所有的对话都发送到云端。只有在检测到单词Alexa时,才会将以下请求流式传输到云端。如果企业需要处理大量敏感数据,那么边缘可能是云和设备之间的中间位置,因为它位于企业内部并且还带来了云的一些好处。

    亚马逊Alexa

    Alexa的例子

    我们已经提到了为什么亚马逊决定在设备上本地检测“Alexa”这个词而不是云端的原因。例如,他们可以分析设备上的所有语音,或者在云中运行所有语音和NLP处理。决定以这种方式拆分算法还有一些好处:

    成本:通过完善和优化设备算法以准确检测一个单词,亚马逊成功地大幅降低了设备成本。另一方面,如果他们决定检测设备本身的所有可能的短语,他们将需要更强大和更昂贵的CPU。

    TCO:通过在多个Alexa设备之间共享云计算资源,亚马逊设法降低整个解决方案的TCO。从统计上来说,假设每个设备每天只生成几分钟的录音,一个云NLP处理器可以处理数百个Alexa设备。

    性能改进,支持更多技能并避免设备固件升级:每次用户向Alexa发出请求时,亚马逊都会将原始语音数据发送到他们的云(AWS),在那里进行处理,然后将其存储数月,可能是永久性的(I我在这里做一个假设...)。当亚马逊的数据科学家添加更多技能或更新他们的NLP算法时,他们拥有运行新软件对历史数据所需的一切,并自动验证他们没有降低性能(使用某种CI / CD管道)。因此,我们每隔两周就会看到Alexa中集成了新技能,这让他们自己很容易测试和部署软件更新,并设法避免将数百万台设备的远程固件升级复杂化,这并不奇怪。

    设计师必须做出的权衡是:

    • 实时:我们必须等待1-2秒才能听到回复。
    • 对通信中断的敏感性:没有互联网连接,Alexa就没用了。

    摘要

    在以下情况下,支持在设备上或边缘运行机器学习算法:

    • 实时(或延迟)很重要
    • 系统无法容忍连接问题。
    • 数据隐私和安全性是一个问题。
    • 由于带宽或功率限制,您希望减少设备与云之间的流量。

    在以下情况下支持在云上运行机器学习算法:

    • 所有其他情况......

    结论

    虽然有时我们的网络和云基础架构可以扩展并承受几乎任何负载,但实际上,由于许多原因,我们无法将所有原始数据发送到云并在那里处理。根据我的经验,每个用例都有不同的挑战,需要仔细分析(这是乐趣的一部分)。我见过系统设计人员在选择无线协议或选择物联网设备的CPU时做出过快关键决策的情况。几个月后,当他们制造数百台设备并投入建设他们的知识和技能时,他们意识到他们无法向云发送足够的数据,无法远程升级他们的算法或达到预期的性能。

    另一个重要且相关的教训是,如果您的物联网设备上有强大的CPU,并不总是意味着您必须使用它。尽管使用它很有吸引力,但远程配置管理和相关功耗的额外开销也会有其代价。

    关于如何在整个系统中分发机器学习算法,没有一个公式或启发式方法。我们总是会有相互矛盾的约束,我们需要做出权衡,软件工程很快就会变得容易,相反,它会变得更加困难。

    英文原文:https://medium.com/digital-catapult/distributing-a-machine-learning-algorithm-across-iot-device-edge-and-cloud-731480bfcceb

    更多文章欢迎访问 http://www.apexyun.com

    联系邮箱:public@space-explore.com

    (未经同意,请勿转载)

    展开全文
  • 九州云技术总监黄舒泉应邀出席此次会议,并在多接入边缘计算分论坛上分享了《基于StarlingX的边缘计算机器学习优化》主题演讲,向参会嘉宾演示了基于StarlingX架构的实时人脸识别场景。 黄舒泉是九州云技术总监...

    4月17-18日,由SDN/NFV/AI标准与产业推进委员会主办的“2019中国SDN/NFV大会”在北京新云南皇冠假日酒店举行。九州云技术总监黄舒泉应邀出席此次会议,并在多接入边缘计算分论坛上分享了《基于StarlingX的边缘计算机器学习优化》主题演讲,向参会嘉宾演示了基于StarlingX架构的实时人脸识别场景。

    黄舒泉是九州云技术总监,从事开源软件工作超过10年。2011年起,他便积极参与OpenStack发展贡献,担任技术贡献者、演讲者和黑客松主席。2018年,黄舒泉成为StarlingX技术指导委员会的首位中国技术委员。九州云也是StarlingX项目始创成员单位之一。

    SDN 将机器学习和边缘计算结合起来的应用程序为各种行业带来了新的经验和机遇,例如监视中的实时预测、汽车中的自动驾驶汽车等。然而,构建和培训ML模型需要大量的资源,这并不适合edge。而且推理所需的资源要少得多,而这通常是在有新数据可用时实时完成的。

    在本次演讲中,黄舒泉分享了如何通过只将识别任务放在边缘来优化它。使用StarlingX构建一个用于模型训练的中心云和一个用于识别的边缘云。通过利用StarlingX的分布式云特性,可以将在中心云中构建和训练的模型部署到边缘云中,并使用连接的设备(如摄像头和加速器)在边缘云上本地运行推理。黄舒泉现场在边缘展示了一个基于StarlingX架构的实时人脸识别演示。以下是演讲概览:
     
    什么是边缘计算

    随着AR、VR、无人驾驶、物联网和视频智能分析等新兴应用的产生,以及5G时代的即将到来,推动了边缘计算的兴起。从我自身的理解来看,边缘计算其实是云计算的一个延伸。

    边缘计算是在靠近物或数据源头的网络边缘侧,融合网络、计算、存储、应用核心能力的分布式开放平台,就近提供边缘智能服务,满足行业数字化在敏捷联接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。

    它可以作为联接物理和数字世界的桥梁,使能智能资产、智能网关、智能系统和智能服务。边缘计算可以提供云计算无法提供的低延时、高响应服务,如边缘分析、边缘安全防火墙等。

    什么因素驱动边缘计算的发展

    我认为有四大因素推动了边缘计算发展,包括延迟、带宽、安全、链接。云计算的很多问题是通过OpenStack来解决,而边缘计算帮助我们在靠近用户或者靠近数据端去产生计算,它同样需要计算、网络、存储等资源。

    云计算同样也是针对计算、存储、网络基础设施进行一些管理,边缘计算与云计算在解决问题上是有诸多共性的,但它们也有很大的不同。

    数据中心可能在防尘、温度等上面会有更高的一个要求,而边缘计算它的环境是比较恶劣的,边缘计算更多的会考虑一些无人值守以及高可用等。

    StarlingX 简介

    StarlingX是一个针对高性能和低延迟应用进行优化的开源边缘计算和物联网云平台。该项目由OpenStack基金会支持,这是新的顶级OpenStack基金会试点项目。它提供可扩展且可靠度高的边缘基础架构,已经过测试,并可作为一个完整的堆栈使用。它的可应用在包括工业物联网,电信,视频传输以及其他超低延迟等领域。StarlingX确保了各种开源组件之间的兼容性,并为故障管理和服务管理提供独特的项目组件,以保证用户应用程序的高可用性。StarlingX是可扩展解决方案中实现边缘计算的基础,并且已准备好部署。

    StarlingX继承了OpenStack在云计算领域的一些最新实践,同时结合我们发现边缘计算的一些特定问题而进行优化。所以从技术线路上也不难发现,边缘计算并不是完全跟云计算割裂的,它是顺应了云计算技术发展趋势,甚至产生了更高的要求。

    我很荣幸在StarlingX创立之初加入到了TSC技术委员会。StarlingX TSC主要成员分别来自Intel、风河、华为、Ericsson、Interdynamx。

    StarlingX解决了什么问题

    刚刚提到StarlingX是基于OpenStack,它解决了什么问题呢?我认为有四点:

    边缘计算基础设施的架构不同于传统云计算:传统云计算是在机房里面,规模都比较大,而边缘计算它所处的环境会比较恶劣,例如在电信局端进行部署,往往只需一台服务器运行一个完整的架构来管理网络。它需要有更轻量级的部署,或者单台的这种部署方式。

    边缘计算比传统云计算对稳定性和健壮性有更高的要求:随着边缘计算节点的部署,可能会有成千上万的边缘节点,如果未来部署在我们COS,它的这个数量会急剧加大,边缘计算的软件需要有无人值守,有自动恢复等更高的功能。

    大规模边缘节点的管理不同于传统云计算:其复杂度难度会更高。

    边缘云和中心云之间的互动协作:需要做好边缘节点与边缘节点之间的协同,边缘节点与中心节点的协同。

    StarlingX的目标

    将已经经过验证的云技术应用在边缘计算上,然后来发展边缘计算的管理框架,简化部署边缘云,最后把它应用在交通运输、能源、制造业、零售、视频、智慧城市、无人驾驶、医疗卫生等等领域中。我们通过边缘计算整体去编排中心云与边缘云之间的所有资源,这是StarlingX的一个愿景。

    StarlingX边缘虚机化平台

    StarlingX 提供了一个可灵活部署、方便扩展和高可用的边缘云软件平台。目前StarlingX主要包含如下新功能:

    配置管理:StarlingX的代码提供了节点配置以及库存管理服务,带有对新节点的自动发现及配置功能,这些对部署至关重要并且管理着大量远端或者难以访问的站点。Horizon的图形用户界面以及一个命令行交互接口管理着CPU,GPU,内存,大内存页以及加密/压缩页面的库存。

    故障管理:用户即可以在基础架构节点上,也可以在诸如虚拟机和网络等虚拟资源上设定,清除或者查询为重要事件自定义的报警以及日志。用户可以在Horizon的图形用户界面上访问主动报警列表(Active Alarm List)以及主动报警计数面板(Active Alarm Counts Banner)。

    主机管理:StarlingX软件提供生命周期管理功能,通过一个REST API接口管理主机。 这种与供应商无关的工具可以检测主机故障并且通过为集群的连接,关键进程故障,资源利用率阈值以及硬件故障提供监控和警报的方式来启动自动修复。 这个工具还与主板管理控制器连接,用于辅助复位(out-of-band reset),电源开/关机以及硬件传感器监控,并与其他的StarlingX组件共享主机状态。”

    服务管理:通过基于跨多个节点的N + M或N等冗余模型来提供高可用性,实现提供服务的生命周期管理。 这项服务支持使用多个消息传递路径来避免脑裂(split-brain)通信故障,以及支持使用主动或被动监视,通过完全数据驱动的体系结构来明确定义服务故障的影响。

    软件管理:这项服务允许用户使用适用于从内核到OpenStack服务的所有基础架构堆栈的一种一致性机制,来部署纠正内容和新功能的更新。 这个模块可以完成滚动升级,包括并行化和对主机重新启动的支持,允许通过使用实时迁移将工作负载从节点移出。

    StarlingX支持的三种部署模式


    以上是StarlingX支持的三种部署模式,从小到大的可扩展性。

    Single Server:运行所有服务,支持单机的部署

    Dual Server:冗余设计 

    Multiple Server :完全弹性、自主分配,支持多节点部署

    StarlingX下一代容器架构

    今年Open Infrastructure丹佛峰会之后会发布一个StarlingX新版本,基于容器化部署,把OpenStack部署在K8S之上。也会整合K8S等: 

     StarlingX 的发展方向:OpenStack容器化、部署在Kubernetes集群上、基于OpenStack-Helm管理集群的生命周期。

     整合Kubernetes:Docker Runtime、Calico CNI  plugin、CEPH作为持久存储后端、HELM作为包管理、本地Docker镜像仓库。

    支持其他容器化的边缘应用部署。

    边缘机器学习Demo

    接下来为大家现场在边缘展示了一个基于StarlingX架构的实时人脸识别demo。

    一台裸机启动2个虚拟机,用来部署高可用中心云。另外一台裸机部署一套Simplex边缘云。边缘云上启动openvino虚拟机,从中心云下载openvino镜像,同时在边缘云使用openvino镜像创建虚拟机。边缘虚拟机升级方面,上传升级后的openvino镜像到中心云,在边缘云使用升级后的openvino镜像重建虚拟机。

    逻辑流程首先是边缘盒子识别对接摄像头,接下来是边缘云运行基础人脸识别,从中心云拉取其他AI计算功能模型并加载运行,最后边缘应用将摄像头采集的影像数据进行处理,在模型中进行AI识别。


    在本次会议的展台,九州云工作人员向参会嘉宾全程展示了基于StarlingX架构的实时人脸识别demo,成为整个会议的一大亮点,吸引诸多专业人士的驻足。

    目前,九州云已积极参与到Akraino Edge Stack社区、OpenStack基金会边缘计算工作组、边缘计算产业联盟以及SDN/NFV产业联盟的各项工作,全面进军边缘计算领域。九州云希望能与各联盟成员共同努力,让边缘计算生态逐渐繁荣,成为支撑边缘计算落地的关键力量,深化行业数字化转型。

    展开全文
  • 机器学习概述 机器学习与人工智能、深度学习 机器学习和人工智能,深度学习的关系 机器学习是人工智能的一个实现途径 深度学习是机器学习的一个方法发展而来 人工智能>机器学习>深度学习 达特茅斯会议-...
  • BAT机器学习面试1000题系列(第1~305题)

    万次阅读 多人点赞 2017-09-28 11:37:49
    BAT机器学习面试1000题系列 整理:July、元超、立娜、德伟、贾茹、王剑、AntZ、孟莹等众人。本系列大部分题目来源于公开网络,取之分享,用之分享,且在撰写答案过程中若引用他人解析则必注明原作者及来源链接...
  • 看过这篇文章后我不禁浮想联翩,5G+区块链+边缘计算+机器学习+物联网,这些如果都给智能设备赋能,到底能创造出什么样的怪物呢?虚拟仿真会不会变成现实?机器会不会具有思考能力?请原谅我的想象力匮乏,只能想到...
  • 从这个简单的开始,该项目便Swift发展成为一个包含两个边缘设备,一个云服务器以及使用机器学习自动识别动物的系统。 该项目从一开始就是完全开源的,并且收到了各种各样志愿者的定期捐款。 是什么...
  • 导读:即将举办的首届tinyML技术论坛(亚洲分论坛)将于11月16日至19日线上直播!下一波机器学习革命——tinyML低功耗边缘机器学习立即扫码,免费报名!↓↓↓当国内还在热火朝天...
  • 所以为了确保 IoT 应用程序以非常低的延迟获得推理结果,我们就可以把训练放在云端,推理放在边缘侧,以达到利用云端去训练机器学习模型,利用边缘设备实时进行推理,甚至在没有互联网的环境中产生数据时,也能实现...
  • 机器学习(Machine Learning,简称ML)提供了一条思路,机器学习主要研究的是如何使计算机能够模拟人类的学习行为从而获得新的知识和技能,并且重新组织已学习到的知识和和技能,使之在应用中能够不断完善自身的缺陷...
  • 物联网(IoT)被业界普遍认为是互联网之后的下一次技术革命,号称是...物联网的发展壮大与两大关键技术息息相关:边缘计算和机器学习边缘计算的不断发展 连接设备、传感器、网关等物联网接入端点正在呈指数级增...
  • 机器学习平台建设

    万次阅读 多人点赞 2018-09-13 17:53:43
    本文从机器学习平台的架构开始,再到具体的功能,然后从需求的角度带给读者思考,找到合适的机器学习平台建设之路。最后,推荐了微软开源开放的机器学习平台OpenPAI,是可私有部署的机器学习训练平台。 本文不少...
  • 傻瓜式嵌入式机器学习设计-ARM特别版,展示了往任何设备添加机器学习不仅是可能的而且非常简单。本书重点关注关键实现点并解释为什么在计划的早期这些点非常重要。这本书解释了怎样实现平台配置并解释了为什么软件...
  • 机器学习与隐私保护

    千次阅读 多人点赞 2019-07-26 11:53:45
    机器学习概念 机器学习(Machine Learning.ML):是人工智能的一个分支,是实现人工智能的一个途径,即以机器学习为手段解决人工智能中的问题。让一个计算机程序针对某一个特定任务,从经验中学习,并且学习的...
  • 7天入门机器学习总结

    千次阅读 2019-01-02 00:16:13
    7天入门机器学习 初识机器学习 机器学习中的数据处理 机器学习中的分类问题 机器学习中的回归问题 机器学习中的聚类问题 机器学习中的数据处理 初识机器学习 机器学习的概念 机器学习是一种从数据当中...
  • 机器学习的演进

    千次阅读 2020-09-22 08:30:00
    作者:Andrew Grant,Imagination Technologies人工智能高级总监很高兴看到中国在机器学习(Machine Learning,ML)领域所取得的进展。随着机...
  • 第一章:为什么需要将机器学习迁移到边缘设备机器学习(ML)是新计算时代以来计算机领域最伟大的转折点——它已经对几乎所有市场产生了重大影响。它领导了互联汽车技术的巨大进步,改变了医...
  • 雷锋网按:Arm 社区近期发表文章,深入地介绍了一个机器学习处理器(Machine Learning Processor),据了解,这个处理器能够在边缘设备上加速计算过程;这是 Arm 第一次专门推出类似于 NPU 的 AI 专用处理器。雷锋...
  • 这种方法结合了有效的梯度选择和学习率调整,适用于随机梯度下降的方法。我们发现:与标准异步随机梯度下降相比,worker发送到服务器上的数据总量减少了两个数量级,同时又保持了模型的准确性。
  • 无论是智能,低能耗,边缘设备,中间网关还是计算节点,都需要基于可靠性和安全性的多核片上系统(SoC)架构。 因此,嵌入式系统行业似乎将进入两个关键领域:智能和自治。 一些感兴趣的领域是机器学习和所谓的...
  • 使用边缘技术,可以在更靠近边缘的地方运行人工智能和机器学习工作负载,而不必向云端发送大量数据。这些设备边缘技术使其非常适合以下应用。 物联网边缘边缘计算是由于物联网设备的大规模增长而产生的。这些...
  • 致力于建立更智能、更互联世界的领先芯片、软件和解决方案供应商Silicon Labs(亦称“芯科科技”)近日宣布与领先的边缘设备机器学习(ML)开发平台Edge Impulse携手合作,实现在Silicon Labs EFR32无线片上系统...
  • STM32机器学习开发实战

    千次阅读 2019-10-25 22:06:27
    最近ST(意法半导体)公布了一个演示视频:在STM32上使用机器学习算法进行动作识别。视频如下(小编自己翻译的双语字幕,如果喜欢请关注本公众号,谢谢支持!) 点击播放视频 ​ 视频中使用的硬件是SensorTile开发板...
  • 这可能是最简单易懂的机器学习入门(小白必读)

    万次阅读 多人点赞 2018-07-31 09:00:00
    作者 | Lizzie Turner编译 | 专知翻译 | Xiaowen本文用浅显易懂的语言精准概括了机器学习的相关知识,内容全面,总结到位,剖析了机器学习的what,...
  • O Reilly的一项新调查发现,主要从事技术、金融和医疗保健行业的1300多人透露了他们在公司使用的机器学习技术。 本文介绍了面向数据科学界宠儿Python的软件框架和库、大数据平台以及处理机器学习管道每个阶段的基于...
  • 机器学习面试

    千次阅读 2020-06-19 22:55:07
    BAT机器学习面试1000题系列 整理:July、元超、立娜、德伟、贾茹、王剑、AntZ、孟莹等众人。本系列大部分题目来源于公开网络,取之分享,用之分享,且在撰写答案过程中若引用他人解析则必注明原作者及来源链接。...
  • 基于TensorFlow2.x框架开发机器学习

    千次阅读 多人点赞 2020-09-02 01:27:30
    一、机器学习、神经网络简单介绍 1)机器学习简介 2)解决机器学习问题的步骤 3)神经网络剖析 4)训练神经网络 二、TensorFlow 介绍篇 1)什么是TensorFlow? 2)TensorFlow 特点 3)TensorFlow的发展历程 ...
  • BAT机器学习面试1000题系列

    千次阅读 2018-07-23 13:08:41
     之前本博客整理过数千道微软等公司的面试题,侧重数据结构、算法、海量数据处理,详见:微软面试100题系列,今17年,近期和团队整理BAT机器学习面试1000题系列,侧重机器学习、深度学习。我们将通过这个系列索引绝...
  • 贝叶斯机器学习前沿进展

    千次阅读 2018-03-12 12:38:12
    机器学习是人工智能及模式识别领域的共同研究热点,其理论和方法已被广泛应用于解决工程应用和科学领域的复杂问题.2010年的图灵奖获得者为哈佛大学的LeslieValliant 授,其获奖工作之一是建立了概率近似正确...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 17,087
精华内容 6,834
关键字:

机器学习边缘设备