精华内容
下载资源
问答
  • 机器学习 边缘设备
    2021-02-15 19:06:36

    点击上方“迈微AI研习社”,选择“星标★”公众号

    重磅干货,第一时间送达

    选自:towardsdatascience

    人工智能 AI 正在加快速度从云端走向边缘,进入到越来越小的物联网设备中。而这些物联网设备往往体积很小,面临着许多挑战,例如功耗、延时以及精度等问题,传统的机器学习模型无法满足要求,那么微型机器学习又如何呢?

    在 NASA 的推动下,小型化的电子产品

    更多相关内容
  • 边缘智能”(edge AI)或“边缘机器学习”指的是,数据通过存储在硬件设备上的算法在本地进行处理,而不是通过位于云中的算法进行处理。这不仅使实时操作成为可能,而且还有助于显著降低与处理云数据相关的功耗和...
  • 用于iOS,Android和边缘设备机器学习资源精选列表 Awesome-Mobile-Machine-Learning 由 Fritz AI 策划的精彩移动机器学习资源列表。 关于 Fritz AI Fritz AI 帮助您教会您的应用程序如何看、听、感知和思考。 在...
  • 很棒的移动机器学习Fritz AI策划的很棒的移动机器学习资源列表。 关于Fritz AI Fritz AI可帮助您教会应用程序如何看,听,感知和思考。 创建基于ML的Awesome-Mobile-Machine-Learning,这是由Fritz AI策划的令人敬畏...
  • 该存储库为开发的边缘设备提供了机器学习算法的代码。 边缘设备机器学习模型在存储,预测等待时间和能量方面需要占用很小的空间。 希望使用这种模型的一个实例是物联网(IoT)设置中资源稀缺的设备和传感器。 在...
  • 所以为了确保 IoT 应用程序以非常低的延迟获得推理结果,我们就可以把训练放在云端,推理放在边缘侧,以达到利用云端去训练机器学习模型,利用边缘设备实时进行推理,甚至在没有互联网的环境中产生数据时,也能实现...

    640?wx_fmt=gif

    自 2006 年云计算正式在科技世界中展露头角,近 13 年的迅猛发展,2019 年云计算市场早已不同以往。回顾昨日,2018 年风口浪尖上的云计算,“人人说云,事事上云”,各大中型企业到初创企业纷纷把不同类型的应用服务迁移到云上,寻找上云最佳途径。再看今朝,AI、物联网、5G 等新兴技术的发展落地,不断拓宽着云计算的实践边界与应用空间。

    与云计算互补:AI 推动边缘计算应运而生

    从云计算对传统 IT 架构的颠覆性变革,到 AI 构建模型与算法的智能世界,再到万物互联的 IoT 悄然崛起,云计算以排山倒海之势拉动着 IT 产业链的发展,而人工智能和物联网也一直都是社会普遍关注的焦点话题。

    值得注意的是,近两年,与我们生活息息相关的智能服务随处可见,但其底层的 AI 技术或者说机器学习技术却已拥有着超过 50 年的悠久历史。要说“人工智能”为何在近几年才逐步走近人们的生活,这与云计算有着密切联系。2006 年云计算的诞生,预示着人工智能拐点的到来,数据量越来越大,计算能力越来越强,过去不实用的 AI 技术到了 2006 年也都逐步进入实用阶段,可以说,是云计算让 AI 技术更加接近企业与消费者,并不断利用 AI 技术驱动着产业变革。

    技术发展总是相互贯通的,随着数十亿的智能设备在住房、工厂、医院、汽车等地普及开来,物联网技术的兴起必然是这个时代的又一场革命。随着物联网在各行各业的推广应用,我们急需一个解决方案来收集、处理、存储这些物联网设备所产生的庞杂数据,而云计算平台正是分析加工这些海量数据与连接的技术基石。同时,IoT 通常会在边缘端对设备进行管理和控制,很多的数据需在边缘进行实时决策,这就对边缘设备的智能化提出了更高的要求。

    将机器学习智能引入边缘计算

    边缘计算意味着把云计算的资源、计算、存储等能力带到更接近用户的本地边缘设备中,大量计算可以在本地直接处理,而无需把所有数据都发送到云端,实现本地事件的更快响应。

    事实上,要想确保 IoT 应用程序能够快速响应本地事件,则必须以非常低的延迟获得推理结果,但这时如果把数据发送至云端,再等待云端的推理决策,这个过程就很难满足一些业务场景的需求。

    例如,在很多智慧城市的智慧摄像头场景中,智能摄像头需要在边缘侧快速识别汽车牌照或者人脸等场景,如若把海量的视频数据实时上传到云端去做推理,这势必会带来大量不必要的带宽占用,并无法满足其对于实时决策的需求,这时就需要一个更加智能的解决方案来做推理。

    但是,仅使用云计算来部署人工智能的方式,与将云计算与边缘计算有效结合起来应用人工智能的方式截然不同。数据科学家依靠云计算来摄取和存储大量数据集,并识别数据中的模式和关系,在建立模型的整个过程中,训练和优化机器学习模型需要大量计算资源,因此与云计算是天然良配。

    而实际上,最终的、经过优化的机器学习模型在推理的过程中并不需要太多的资源。所以为了确保 IoT 应用程序以非常低的延迟获得推理结果,我们就可以把训练放在云端,推理放在边缘侧,以达到利用云端去训练机器学习模型,利用边缘设备实时进行推理,甚至在没有互联网的环境中产生数据时,也能实现高速响应业务变化并作出决策。

    例如,在智慧农业的场景中,装在农田里的传感器会对收集的环境数据进行实时决策。但在这些场景中,设备通常无法保证连接到互联网,这时就更加需要边缘端实时作出决策,待设备具备互联网连接时,再同步数据到云端。

    广阔的市场前景,潜在的应用范围,毋庸置疑,人工智能让边缘计算更有价值。据美国市场调研公司 CB Insights 估算,到 2023 年全球边缘计算行业,整体市场容量有望达到 340 亿美元。其中包括亚马逊、微软、谷歌在内的几大公有云巨头的争相布局也说明了边缘计算未来发展的无限潜力,尤其在智能家居领域,边缘计算如何发挥更大价值已成为行业的主要研究方向。

    智能家居中的边缘智能

    目前,智能家居中的大部分智能设备主要还是通过云计算来实现设备交互,但设备对云计算的强依赖同样会产生响应速度慢、延迟感强、网络故障等诸多问题。这时,填补目前云计算特性不足并提升计算效率的边缘计算,在智能家居领域中强势崛起。

    据麦肯锡预测,到 2025 年,全球联网设备总量将达 750 亿。从智能的家庭监控摄像头,到智能门锁,智能空调等,对于每天要处理大量 IoT 数据的智能家居行业来说,边缘计算将成为必然选择。

    以格兰仕的智慧家居数字化转型为例,自 1978 年 9 月 28 日创立以来,格兰仕历经多次转型,从轻纺明星企业,到微波炉“黄金品牌”,再到综合性白色家电集团,成为中国家电产业的龙头企业之一。然而随着科技的发展和消费需求的变化,为了应对智能化制造、精益化管理等一系列挑战,格兰仕决定开启第四次转型 —— 数字化转型。

    但格兰仕过去传统架构设计的信息系统已不再适用,在数字化转型过程中,格兰仕在对比了众多解决方案后,最终选择利用 AWS IoT 、AWS ECS 等 AWS 解决方案完成了电商平台与物联网平台的开发部署。

    640?wx_fmt=png

    格兰仕基于 AWS 的架构示意图

    在 AWS 智慧家庭设备的解决方案中,用户可在 Amazon SageMaker 中构建预测模型以用于场景检测分析,并对其进行优化以便在任何摄像机上的稳定运行,然后部署该模型以便预测可疑活动并发送警报,实现在云中构建、训练和优化机器学习模型,并在本地设备进行推理的高效响应。

    640?wx_fmt=png

    AWS Greengrass ML Inference

    用户首先可将训练数据上传至存储桶中,并选择 SageMaker 提供的现有算法生成训练模型,该模型以压缩 zip 文件的形式被复制到另一 Amazon S3 存储桶内。接下来,该 zip 文件会被复制到设备中,该设备则在运行时由 AWS Lambda 函数进行调用。其中,在 IoT Greengrass 上运行推理过程所收集到的数据可发送回 SageMaker,进行就地标记,并用于不断提高机器学习模型的质量。

    640?wx_fmt=png

    AWS 智慧家庭设备架构图

    在上图具体的智慧家庭场景中,机器学习模型需要在家中的智能摄像头和网关的边缘设备上直接运行,并检测是否发生了一些需要实时处理的数据。在边缘端,这些机器学习模型作为一个 Serverless 函数部署,该函数则由应用程序直接调用(图中 2 和 6)。在每个边缘位置,由于 FaaS 中的部署单元为一个函数,因此它比推送到虚拟机或容器要更高效得多,而且一旦有新的机器学习模型在云端产生时,都会为其分配一个新版本,并将其同步到边缘端去运行(图中 2,3 之间的交互)。总之,机器学习的繁重工作在云中完成,边缘计算简化了推理与部署体验,Serverless 也将简化开发人员的工作负担。

    小结

    边缘计算作为算力架构优化最重要的技术,不仅是物联网发展的重要方向,同时也是未来 AI 技术的重要延伸。万物互联,将机器学习智能引入边缘计算,使智能计算更接近于应用程序,人工智能与边缘计算的融合与突破,势必将重新定义未来科技的发展新方向。

    转载链接:https://www.infoq.cn/article/Kpi77Sd2yhEIbMayNPeT?utm_source=rss&utm_medium=article

    长按二维码,关注我们

    640?wx_fmt=jpeg

    新睿云,让云服务触手可及

    云主机|云存储|云数据库|云网络

    640?wx_fmt=jpeg
    640?wx_fmt=jpeg
    640?wx_fmt=jpeg
    640?wx_fmt=jpeg
    640?wx_fmt=jpeg
    640?wx_fmt=jpeg
    640?wx_fmt=gif

    点击“阅读原文”参与活动

    展开全文
  • Awesome-Mobile-Machine-Learning:针对iOS,Android和边缘设备的精选移动机器学习资源的精选列表
  • 1. 课程简介 2. 本节课内容大纲 3. 机器学习编译的定义 4. 机器学习编译的目标 5. 为什么要学习机器学习编译? 6. 机器学习编译的核心要素 6.1. 备注:抽象和实现 7. 总结

    1. 课程简介

      该门课程是由XGBoost的作者陈天奇进行授课的。 从2022年6月18日正式开始(新鲜出炉的),每周讲授一节课程。具体内容可参考链接:中文官网或者英文官网。如果有相关问题也可以在讨论区进行留言:中文讨论区英文讨论区

    课程目录如下所示:

    1. 机器学习编译概述
    2. 张量算子函数
    3. 张量函数与整网模型的整合
    4. 整合自定义计算库
    5. 自动化程序优化
    6. 与机器学习框架的整合
    7. 自定义硬件后端
    8. 自动张量化
    9. 计算图优化:算子融合和内存优化
    10. 部署模型到服务环境
    11. 部署模型到边缘设备

      客观来说,本课程并不适合机器学习或者深度学习的初学者。但强烈推荐同学们先学习第一课:机器学习编译概述。然后再决定是否进行更加深入的学习。

      本节课的slides链接如下:https://mlc.ai/summer22-zh/slides/1-Introduction.pdf;notes链接如下:https://mlc.ai/zh/chapter_introduction/

    2. 本节课内容大纲

    1. 什么是机器学习编译?
    2. 机器学习编译的目标是什么?
    3. 为什么要学习机器学习编译?
    4. 机器学习编译的核心要素是什么?

    3. 机器学习编译的定义

      机器学习编译 (machine learning compilation, MLC) 是指,将机器学习算法从开发形态,通过变换和优化算法,使其变成部署形态。简单来说,就是将训练好的机器学习模型应用落地,部署在特定的系统环境之中的过程。

    转换
    开发形态
    部署形态

      开发形态是指我们在开发机器学习模型时使用的形态。典型的开发形式包括用 PyTorch、TensorFlow 或 JAX(主要指的是深度学习学习模型)等通用框架编写的模型描述,以及与之相关的权重。

      部署形态是指执行机器学习应用程序所需的形态。它通常涉及机器学习模型的每个步骤的支撑代码、管理资源(例如内存)的控制器,以及与应用程序开发环境的接口(例如用于Android 应用程序的Java API)。

    在这里插入图片描述
      不同的AI应用对应的部署环境是互不相同的。以下图为例:电商平台不可或缺的推荐系统算法通常是部署在云平台(服务器)上;自动驾驶算法通常是部署在车辆上的专用计算设备;手机的各种APP以语音转文字的输入法为例,最终是部署在手机上的计算设备的。
    在这里插入图片描述
      在进行机器学习模型部署时,不仅要考虑硬件系统环境,与此同时也需要考虑软件环境(如操作系统环境、机器学习平台环境等)。

    4. 机器学习编译的目标

      机器学习编译的直接目标包括两点:最小化依赖和利用硬件加速。机器学习编译的最终目的是实现性能(时间复杂度、空间复杂度)优化。

      最小化依赖可以认为是集成(Integration)的一部分,提取出与应用相关的库(删除与应用无关的库),从而减少应用的大小,达到节省空间的目的。

      利用硬件加速指的是利用硬件本身的特性进行加速。可以通过构建调用原生加速库的部署代码或生成利用原生指令(如 TensorCore)的代码来做到这一点。

    5. 为什么要学习机器学习编译?

    • 构建机器学习部署的解决方案。
    • 对现有机器学习框架形成更加深刻的理解。

    6. 机器学习编译的核心要素

    • 张量 (Tensor) 是执行中最重要的元素。张量是表示神经网络模型执行的输入、输出和中间结果的多维数组。

    • 张量函数 (Tensor functions) 神经网络的“知识”被编码在权重和接受张量和输出张量的计算序列中。我们将这些计算称为张量函数。值得注意的是,张量函数不需要对应于神经网络计算的单个步骤。部分计算或整个端到端计算也可以看作张量函数。也就是说,不仅单个函数可以认为是张量函数,也可以把其中一部分(或者整个整体)看作是张量函数。

    在这里插入图片描述
      下图中举了个实际的例子,第一个linear层和relu计算被折叠成一个linear_relu 函数,这需要有一个特定的linear_relu的详细实现。
    在这里插入图片描述

    6.1. 备注:抽象和实现

      对同样的目标有不同颗粒度的表示。例如对linear_relu而言,既可以使用左边两个框图进行表示,也可以用右边的循环进行表示。
    在这里插入图片描述
      我们使用抽象 (Abstraction)来表示我们用来表示相同张量函数的方式。不同的抽象可能会指定一些细节,而忽略其他实现(Implementations)细节。例如,linear_relu 可以使用另一个不同的 for 循环来实现。

      抽象实现可能是所有计算机系统中最重要的关键字。抽象指定“做什么”,实现提供“如何”做。没有具体的界限。根据我们的看法,for 循环本身可以被视为一种抽象,因为它可以使用 python 解释器实现或编译为本地汇编代码。

      机器学习编译实际上是在相同或不同抽象下转换和组装张量函数的过程。我们将研究张量函数的不同抽象类型,以及它们如何协同工作以解决机器学习部署中的挑战。

      在后续课程中分别会涉及到四种类型的抽象:

    • 计算图
    • 张量程序
    • 库(运行时)
    • 硬件专用指令

    7. 总结

    • 机器学习编译的目标

      • 集成与最小化依赖
      • 利用硬件加速
      • 通用优化
    • 为什么学习机器学习编译

      • 构建机器学习部署解决方案
      • 深入了解现有机器学习框架
      • 为新兴硬件建立软件栈
    • 机器学习编译的关键要素

      • 张量和张量函数
      • 抽象和实现是值得思考的工具
    展开全文
  • 在本文中,重点是使用机器学习技术在设备级别、边缘/雾级别和云级别对数据进行分类。 相同的数据分析将使用Python语言完成。 由于来自不同设备的数据庞大且种类繁多,因此为特定类型的数据选择正确的技术进行分类变...
  • TensorFlow是用于机器学习的端到端开源平台。它拥有一个全面而灵活的生态系统,其中包含各种工具、库和社区资源,可助力研究人员推动先进机器学习技术的发展,并使开发者能够轻松地构建和部署由机器学习提供支持的...
  • 通过提升这些设备的计算能力,开发人员能够直接为设备编写机器学习(ML)应用程序,并在设备本地实现自主决策,从而在提高数据安全性的同时,降低网络能耗、延迟和带宽使用量。  为达成这一目标,Arm
  • 任务在未来智能物联网项目中评估Kubernetes +边缘设备机器学习的可行性和复杂性向Jetson社区提供有关如何将Ansible和Kubernetes与Jetson设备一起用于自动化和编排的模式通过使用可通过该入门工具离线使用的廉价...
  • 机器学习之旅:通往充分利用机器学习技术全部功能的道路
  • 机器学习方法集成到实验数据加速科学发现的处理过程.docx机器学习方法集成到实验数据加速科学发现的处理过程.docx机器学习方法集成到实验数据加速科学发现的处理过程.docx机器学习方法集成到实验数据加速科学发现的...
  • 边缘计算系统中具有实时高效任务分配的机器学习 摘要 物联网(IoT)和机器学习(ML)技术在边缘计算系统中的广泛应用,为智能认知助手(ICA)在工作、学习、交通、医疗保健和其他活动中为人们提供帮助铺平了道路。一个挑战...

    Machine Learning based Timeliness-Guaranteed and Energy-Efficient Task Assignment in Edge Computing Systems

    基于机器学习具有实时高效任务分配的边缘计算系统

    摘要

    物联网(IoT)和机器学习(ML)技术在边缘计算系统中的广泛应用,为智能认知助手(ICA)在工作、学习、交通、医疗保健和其他活动中为人们提供帮助铺平了道路。一个挑战是,如何根据延迟、能量和带宽消耗等几个考虑因素,在边缘计算系统(即远程云、雾和边缘设备)的三层之间调度应用程序任务。然而,由于复杂的计算阶段,针对这一挑战的最新方法也无法为关键的ICA任务提供实时时间表。在本文中,我们提出了一种基于强化学习的任务分配新方法——RILTA,它保证了ICA任务的实时性和高效率的执行。首先,我们考虑ICA应用中的时效性和能量消耗,提出了边缘计算系统中的任务调度问题。在此基础上,我们提出了一种方法来解决该问题,并根据该方法的输出设计了牢固的模型。仿真结果表明,与现有方法相比,RILTA可以在保证较高实时性的前提下,分别减少任务处理时间和能量消耗13 ~ 22%和1 ~ 10%。

    INTRODUCTION

    物联网(IoT)设备(如智能手机、可穿戴智能设备、传感器、自动驾驶汽车)和人工智能(AI)和机器学习(ML)技术的快速发展,为未来使用智能认知助手(ICA)应用来帮助人们工作、学习、交通、医疗保健等等铺平了道路。这些具有高适应性的ICA应用程序将增强人类的性能和生产力,从而为面对日常挑战提供有用的数字之手。亚马逊的Alexa、CMU的SARA(具有社会意识的机器人助手)、苹果的Siri等这类ICA应用的出现就证明了这一点。

    在许多情况下,ICA需要实时帮助人们,有些甚至会产生生死攸关的后果,可能使其人类同伴处于危险之中。例如,家庭中的医疗物联网设备必须能够及时预测居民的心脏病发作,并紧急告知患者或其医生。一辆自动驾驶汽车必须能够检测到在它前面过马路的人,并实时决定停下来。同时,边缘计算系统对于实时或低延迟的ICA任务越来越重要。云计算在远程集中存储和处理终端用户的数据,由于数据传输和网络拥塞会产生一定的延迟。而边缘计算可以帮助处理来自物联网设备的数据,并提供实时的本地数据分析。它通过集中网络边缘的可用资源(如智能手机、平板电脑、智能汽车、基站和路由器)来提供更多用户感知、资源高效、可扩展和低延迟的[1]服务,从而使服务的提供更接近最终用户。苹果公司在2017年宣布,将在其高端iPhone[2]上安装机器学习加速器。根据该声明,高德纳公司预测,到2022年,80%的智能手机将配备人工智能。据预测,近50%的物联网数据将在[3]网络的附近或边缘被存储、处理、分析和作用。

    尽管利用边缘计算来实现ICA的未来面临着许多挑战,但一个关键的挑战是实现有及时性保证和节能的边缘处理[4]。正如[4]所指出的,在最先进的边缘系统架构中仍然存在差距,由于缺乏及时性,无法解决ICA的信息交付过载。此外,物联网设备受限于有限的电力资源,而ICA任务可能涉及密集的计算和通信,这给实现低功耗边缘处理带来了巨大的挑战。在边缘计算领域,已经提出了几种任务分配方案,通过决定哪一层(远程云、雾和边缘设备)分配任务,以减少任务延迟和(或)能量消耗。这些方法根据其目标可分为两类:(1)能量感知任务分配[5-11]和 (2)带宽感知任务分配[12-16]。然而,这些方案涉及复杂的计算(例如,解决动态规划问题),这使得它们无法为关键的ICA任务提供实时(或及时保证)的能源效率时间表。此外,同时考虑任务延迟和能量效率等多个目标的分配调度,使得计算更加复杂,在寻找分配调度时产生更高的延迟和能量消耗。

    为了提供具有时效性和高能效的边缘处理,我们使用机器学习来解决ICA应用中的任务分配问题。首先考虑数据传输和任务计算的时效性和能量消耗,提出了ICA应用中的任务分配问题。然后我们提出一个启发式的解决方案,最后在所有可能的结果的基础上,依据数据的特征和计算环境我们设计一个基于强化学习(RL)的任务分配方法(称为RILTA)。其特征包括计算任务的紧迫性、数据量、数据传输时延、任务计算时延和任务的资源需求。基于这些特征,RILTA确定任务的分配位置(边缘、雾或云),以确保实时性和电力效率的实时保证。我们在本文中的贡献如下:

    • 根据ICA应用的要求,制定一个任务分配问题,解决截止日期意识和能源效率的问题。
    • 为了解决已制定的任务分配问题,我们提出了一个启发式的解决方案,其中节点(边缘,雾或云)获得利润执行ICA应用程序。该利润方案保证了利润最高的节点负责保证不同优先级的任务在截止日期下高效地执行。
    • 最后,我们提出了一个强化学习系统RILTA基于我们提出的启发式在模拟环境中产生的结果。RILTA利用了RL中多个agent对环境的自主学习,减少了任务本身的运行时间。

    据我们所知,这是边缘计算平台上第一个使用基于RL的方法进行任务分配决策的方案,几乎是实时的,具有较高的能源效率。

    本文的其余部分组织如下。第二节介绍了边缘计算中雾/云任务分配的相关工作。在第三节中,我们将任务分配制定成一个数学问题,重点关注ICA应用的特点。在第四部分,我们提出了基于区域的期限感知和能源效率解决启发式的公式问题和RILTA。第五节介绍了RILTA在模拟环境中与其他方法的实验评价。最后,第六部分给出了结论并对未来的工作进行了讨论。

    RELATED WORK

    近年来,随着物联网和基于移动的应用系统的发展,雾/云任务卸载受到了广泛关注。许多最先进的工作提出了不同的任务卸载方案,这些方案的目标各不相同,同时还减少了计算延迟。根据目标的不同,可以将之前的工作分为两类:(1)能量感知型任务分配[5-11],(2)带宽感知型任务分配[12-16]。

    A. Energy-aware Task Assignment

    Chun等人,[5]提出了克隆云,将静态分析和动态分析相结合,从边缘设备上卸载部分应用程序,同时优化与边缘云环境中的计算和通信相关的执行时间和能源使用。克隆云在传入的应用程序上运行代码分析,然后根据预期的工作负载和执行条件(CPU速度、网络性能)决定将应用程序的执行结果卸载到云上。

    类似地,Kao等人[6]提出了网络边缘设备之间的任务分配问题,并提供了基于在线学习的算法Hermes,在一定的成本保证下,寻找边缘设备能耗最小的最优策略,该策略定义为边缘云环境中执行和传输延迟的函数。

    同样,在边缘云环境中,Wang et al.[8]和Munoz et al.[7]提出了适合于应用的方案,例如人脸检测,它运行在一组固定的图像上,预先知道处理的数据量,并且执行可以并行化成多个过程。在这些方案中,他们考虑将部分应用程序卸载到云上,目的是优化边缘设备的能源消耗能耗。

    Sardellitti等人[9]研究了在多个设备上的应用程序卸载,这些设备具有多个输入输出系统,可以卸载到一个共享的云服务器上。卸载方案的目标是在边缘云场景下,在延迟和能量预算约束下,最大限度地减少边缘设备的能量消耗。

    对于同一环境,Lyu等[10]从系统任务完成时间和能量减少的角度出发,提出了一种卸载到附近云服务器的决策方案,以最大化体验质量(quality of experience, QoE)。

    此外,Dong等人在智能手机节能框架下开发了两种卸载算法,决定卸载任务的云服务器,共同优化在一定置信区间内的保证响应时间性能和能源效率。

    虽然上述方法都试图减少任务延迟和(或)提高边缘设备的能量效率,但在计算任务分配调度本身涉及大量的计算,不适合实时性和能量效率要求的ICA任务。在本地计算和远程通信的能量消耗之间的平衡在[17-19]中讨论。

    B. Bandwidth-aware Task Assignment

    Messaoudi等人[12]提出了一种将计算任务从移动边缘卸载到雾节点的框架,其目标是最小化边缘雾场景中基于低延迟计算卸载的应用程序的总任务完成时间。在他们提出的决策机制中,联合考虑了估计往返时间(RTT)(衡量可用带宽)和边缘设备的能量消耗,以将任务转移到具有高CPU可用性的候选雾节点。他们的系统能够根据带宽的变化不断估计预期的RTT,以满足设备的决定,以卸载部分应用程序计算任务。

    yang等[14]研究了从多个边缘设备和雾节点到云的任务优化任务卸载决策,考虑了可用带宽,以实现较高的处理速度或吞吐量。

    Fan等人[13]提出了一种边缘雾云环境的卸载机制,根据位于不同环境级别、主要目标节点的传输延迟计算利润,以确保每项任务都在规定的期限内完成。在这种方法中,利润是给计算实体(边缘设备、雾节点或远程数据中心)的收入,用于在截止期限内执行任务,并且它们在其环境的不同层的可用网络带宽上定义了它们的传输延迟。然而,他们使用了基于信息素(pheromone)值的遗传算法(genetic algorithm )来做分配决策,这不能确保实时找到解决方案。

    Wang等人[15]提出了一种称为HealthEdge的任务调度方法,该方法根据收集到的人类健康状态数据,在边缘云环境中为不同的任务设置不同的处理优先级。在他们所提出的方法中,他们估计队列中的总等待时间和传输延迟作为当前网络可用带宽的函数,并试图按照任务优先级的顺序减少总处理时间。

    Choudhari等人[16]提出了一种边缘雾环境下的任务调度算法,该算法根据任务的延迟容忍程度有效地对任务进行优先级排序,从而降低了平均响应时间和任务卸载的总成本。在这里,它们通过将传输的数据量除以分配阶段的可用带宽来定义数据传输的成本。

    然而,这些方法没有同时考虑到任务的截止日期意识和边缘设备的有限能量。

    TASK ASSIGNMENT STRATEGY FOR ICA APPLICATIONS(策略)

    ICA运行智能应用程序,帮助人们在许多领域,如医疗保健和智能交通[4]。这些应用程序通常是上下文感知的,从某种意义上说,它们需要根据特定时刻从环境中收集到的信息做出相应的决策。通常,一个收集的数据项用于多个ICA应用程序的决策。例如,道路拥堵数据被多个ICA应用程序用于路线推荐、最优速度计算等。此外,数据还可以在一个应用程序中的多个任务之间共享。例如,在医疗服务中,呼吸频率异常的数据可以用来预测心脏病和哮喘的发作。对于这样的数据共享,在设备之间传输数据会产生大量的流量,增加数据传输带来的任务延迟和能量消耗。然而,根据决策过程,这些任务中的大多数都需要快速响应。针对这些问题,我们制定了一个有目标的任务分配问题,以保证及时性和资源利用率。我们提出的系统考虑了一个类似[13]的三层云雾边缘环境,包括客户端或边缘设备层、雾层和云层。我们认为除云层外的每一层都由多个设备组成,本文将这些设备称为节点。在本节中,我们在引入与传入任务相关的特征和问题公式所考虑的资源之后,使用广义分配问题[20]来提出我们的任务分配问题。在我们的方法中,我们假设系统知道:

    1. 底层节点和上层节点之间的映射。也就是说,每个边缘节点都知道雾节点的列表,或者一个云数据中心,它可以在那里卸载任务。类似地,fog节点知道它们需要发送计算结果的边缘节点列表,等等。
    2. 现有的网络在不同层次的节点之间存在延迟。这些知识可以通过部署监控雾节点、延迟和应用程序实例状态的软件来获得,正如[21]中建议的那样。

    A. Task Characteristics(任务特征)

    在三层edge-fog-cloud环境中,任务是由运行在底层边缘设备上的不同ICA应用程序生成的。这些任务中的大多数都有一个特定的截止日期,因为它们根据服务水平协议(SLA)为人们在某些决策制定中提供支持。每个任务都有以下特点:

    1. 任务到达时间。
    2. 任务的截止日期。
    3. 数据的大小。数据大小是指每个边缘节点需要处理的数据量。它用于计算任务的计算和传输的估计时间和能量消耗。
    4. 能源消费需求
    5. 对要执行的任务的处理器的需求。

    B. Resource Characteristics(资源特征)

    在我们的任务分配系统中,我们只考虑三种类型的资源:处理器、网络带宽和电池寿命。每个节点跟踪其处理器,以决定是否可以利用其可用的处理资源执行任务。此外,节点估计执行或传输任务所需的能量,以使处理能量更有效。每个节点还会跟踪可用带宽和连接到雾或云的路径的可靠性。这些资源信息用于估计数据和任务的传输延迟。如果我们将一个节点到雾或云之间的网络链路的单个故障概率设为Pfail,那么在存在n个节点和链路的情况下,网络链路的可靠性(用Rnet表示) Rnet= 1 − Pfailn

    在我们的模型中,我们将从边缘节点到雾的路径划分为一个网络,将从雾到云的路径划分为另一个网络。这两个网络的路径可靠性分别用 R F R_F RF R C R_C RC表示。路径可靠性的概念有助于捕获网络中的任何类型的抖动和由于边缘设备的移动性而引入的任何噪声。

    C. Task Assignment Problem(任务分配问题)

    在本节中,我们将为ICA应用程序制定时效性保障和节能计算任务分配问题。根据引入的任务和资源的不同特性,我们制定了一个问题,决定一个任务是由边缘设备自己执行还是卸载到任何一个雾节点/云。

    D. Task Assignment Model(任务分配模型)

    Profits Estimation:回想一下,我们的任务分配系统考虑及时性保证和能源效率。根据这两个因素的重要性,系统可以分别给出以β和1−β表示的不同权重。其中β(0≤β≤1)表示为保证时效性而赋予节点的一个权重。一般来说,β控制延迟和能源效率之间的权衡。延迟和能源效率之间的权衡是基于这样一种假设,即边缘设备比雾节点和云数据中心有更多的能源约束。如果一个任务要在期限内执行,最好在边缘节点本身执行,这样可以避免传输延迟。然而,如果任务在边缘节点上执行,则会因为计算而需要消耗大量资源。而且,由于只有边缘节点受到能量(资源)的约束,我们定义一个参数ntype,ntype表示节点n是否受到能源等的限制,n是否为云或雾数据中心。如果ntype = 0,那么表示这个节点为云计算或雾计算数据中心,否则ntype = 1.因此,ntype 决定了在计算利润时要考虑1−β的因素。

    如果任务t到达时间a(t),期限为d(t),那么根据估计的任务结束时间(Tend(t)),估计的n节点执行任务需要消耗的能量E(t, n),任务开始时节点中存储的能量Estored(n),分配到节点n上的任务t的利润计算如下:
    在这里插入图片描述

    在这里,β是为了节点在尽可能早的时间内完成任务的赋予的因子。d(t) - Tend(t)表示任务t在截止日期之前完成的时间长度。时间长度越大,在时效保障方面越好。分母d(t)−a(t)表示允许完成任务t的总时间。比率(d(t) - Tend(t)) / (d(t)−a(t))是指节点n执行任务t的速度比它有限的允许持续时间快多少。Estored(n) / E(t, n)表示一个执行任务t的节点n相对于节点存储的能量被消耗的能量。估计的能源消耗越低,那么它的energy efficiency就越高。并且,存储的能量Estored(n)越高,为了不消耗节点的能量,energy efficiency也就越高。

    Tend(t)估计时间取决于三个因素:任务t的到达时间a(t),任务t的估计执行时间Texe(t)与任务t的估计传输时间Ttrans(t):

    在这里插入图片描述

    这里, τ c \tau_c τc为当前时间戳,而Texe(t)和Ttrans(t)分别表示任务t的估计执行时间和任务t来自或到达节点n的估计传输时间。

    根据[13],Texe(t)可以通过以下方式进行计算,通过一个单元的计算资源处理一个单元数据的执行时间Texe(1)和执行任务t的CPU需求c(t),具体如下:
    在这里插入图片描述
    其中,D(t)表示t的数据集大小,赋值给任意一层的节点后,任务执行时需要传输t的数据集大小。

    传输延迟的估计,Ttrans(t)是任务本身及其关联数据集从任务产生节点传输到任务分配节点,并将计算结果从任务生成节点传输到任务分配节点所需要的往返时间。这个估计的时间取决于数据集大小、带宽和源节点和目标节点之间网络的路径可靠性,以及由网络[22]的路由器或交换机引起的相关传输路径延迟。我们将边缘节点和雾节点之间的网络带宽和可靠性分别考虑为 B F B_F BF R F R_F RF。此外,考虑到雾和云之间网络的带宽和可靠性,为 B C B_C BC R C R_C RC,我们采用[13]中的传输时延计算公式。
    在这里插入图片描述
    其中,边缘到雾、雾到云层的延迟分别用 T F T_F TF T D T_D TD表示。如果一个任务被分配给一个二级雾,它需要传输到雾节点,传输时间主要取决于数据D(t)的大小以及边缘节点和雾节点之间的网络带宽和可靠性 B F B_F BF R F R_F RF。此外,还考虑了路由器、交换机等网络设备引起的路径延迟( T F T_F TF)。在三位一体的雾云环境中,任何边缘设备到云数据中心的路径都必须经过二级雾数据中心。因此,当n是云数据中心时,我们需要同时考虑从边缘节点到雾和从雾到云的路径延迟和数据传输延迟[13,23,24]。因此,当一个任务从边缘节点转移到云端,我们需要另外考虑传输时间在雾和云之间网络的带宽和可靠性, B C B_C BC R C R_C RC,和额外的路径延迟( T D T_D TD)引发的网络设备。

    Eexe(t, n)只取决于两个因素:数据集的传输时间和任务的执行时间。
    在这里插入图片描述
    上式中Etrans(1)和Eexe(1)分别表示单位时间内传输的能耗和基于单位计算资源处理单位数据的能耗。

    在式(1)中,我们将一个任务t分配给一个节点所获得的总利润最大化,这个利润应该反映我们的及时性保障和能效目标。第一部分确保分配的节点负责在截止日期前完成任务。比截止日期d(t)更大的Tend(t)最终会导致一个节点被赋予负利润,意味着对违反及时性保证的节点进行惩罚。通过d(t) - Tend(t),节点会因为尽早完成任务而获得更高的利润。同理,在式(1)的第二部分中,我们保证能效越高的节点获得的利润越高。一个节点执行一个任务所消耗的能量n越低,t相对于它当前存储的能量来说,这意味着这些节点对于这个任务的能量效率越高。因此,Estored(n) / E(t, n)可以确保节点n因为能量效率而获得更高的利润。

    问题公式化

    这项任务分配的目标是通过保证能源效率和及时性保证,使利润最大化。
    在这里插入图片描述

    PROPOSED PROBLEM SOLUTION

    A. Profit based Assignment(利润分配)

    考虑了基于地理区域的划分问题。在划分区域之后,集中式云使用建议的启发式从可能的集合状态和行动中进行利润估计,并使用强化学习生成一个集中式表。随后,这个表分布在边缘节点中,这些节点用于对传入的任务进行分配决策。作为构建RL模型的第一步,我们估计了一个传入任务的所有可能任务分配节点的利润。估计完成后,根据式(1)计算节点可以获得的利润,并将任务分配给利润最大的节点,可以是边缘节点本身,也可以是雾或云。我们认为这种基于利润的分配是任务分配问题的最优解。

    B. Machine Learning based Task Assignment(基于机器学习的任务分配)

    为了实现实时的任务分配决策,我们提出了基于RL的任务分配方法(RILTA)。我们以利润为奖励,利用Q-learning[25]构建RL模型。
    在这里插入图片描述
    后面先不看了,大概了解一下,这篇文章主要是希望能够同时考虑到及时性(任务能够及时完成)以及能源效率(该节点能够承载任务并快速执行),设计了一种任务分配方法。有三层结构,云数据中心,雾数据中心与边缘设备节点。为每个节点赋予利润值,再通过强化学习实时更新节点的利润值,将任务分配给利润最大的节点。

    展开全文
  • 例如,收集用户健康数据并将其发送到连接的智能手机的可穿戴设备必须避免隐私信息泄露。 对于计算、内存、无线电带宽和电池资源有限的物联网设备来说,通常不允许执行计算密集型和延迟敏感的安全任务,尤其是在大量...
  • 机器学习实验——分类学习算法

    千次阅读 2022-03-21 11:03:20
    机器学习实验,分类学习算法 1、理解监督学习和分类学习的基本概念。 2、掌握分类学习五种算法的算法流程。 3、学会编写分类学习五种算法的Python编程方法。 4、会使用分类学习评价方法测评不同的算法性能
  • 后面这个公众号将对一些基础的技术,新技术做一些学习和分享。也欢迎你的投稿。不过,正如我在公众号“联系方式”里说的那样——郑渊洁在童话大王《智齿》里有一句话令我印象深刻,大意是“我有权保持沉默,但你说的...
  • SiFive和CEVA在机器学习处理器领域展开合作.docx
  • 后面这个公众号将对一些基础的技术,新技术做一些学习和分享。也欢迎你的投稿。不过,正如我在公众号“联系方式”里说的那样——郑渊洁在童话大王《智齿》里有一句话令我印象深刻,大意是“我有权保持沉默,但你说的...
  • 在设计新的物联网系统时,需要进行许多权衡,以确定在系统的不同组件(设备边缘和云)之间分配机器学习算法的最佳方法。电池寿命,物理尺寸,成本,实时连接需求,隐私问题以及调试/故障排除需求只是系统架构师在...
  • 图为信息科技(深圳)有限公司(简称:图为科技)是一家AI边缘计算设备运营服务商,目前基于NVIDIA Jetson系列核心模块所设计的AI边缘计算盒子,已广泛应用于机器视觉检测、人脸识别、行为识别、智能机器人、智能...
  • Mastering Computer Vision with Tensorflow 2.x by Krishnendu Kar Section 4: TensorFlow Implementation at Edge and on the Cloud Chapter 11, Deep Learning on Edge Devices with CPU/GPU Optimization ...
  • 机器学习(一)机器学习概述

    千次阅读 2019-04-01 19:04:44
    机器学习概述 机器学习与人工智能、深度学习 机器学习和人工智能,深度学习的关系 机器学习是人工智能的一个实现途径 深度学习是机器学习的一个方法发展而来 人工智能>机器学习>深度学习 达特茅斯会议-...
  • 当量子计算遇到机器学习,可以是个互利互惠、相辅相成的过程:一方面我们可以利用量子计算的优势来提高经典的机器学习算法的性能,如在量子计算机上高效实现经典计算机上的机器学习算法。另一方面,我们也可以利用...
  • 物联网安全:基于机器学习、人工智能和区块链技术的挑战和解决方案背景介绍物联网IoT基础设施物联网协议IoT 应用物联网面临的攻击三种技术下的物联网安全调研区块链机器学习人工智能物联网当前的挑战 背景介绍 ...
  • 最新版本(v1.5.0)可以在基于NVIDIA Jetson TX2和Intel Atom架构的边缘设备上运行Apache MXNet和TensorFlow Lite模型。 机器学习推理是边缘计算的最佳用例。由于边缘计算网关预计将在离线场景中运行,并与云进行间歇...
  • 看过这篇文章后我不禁浮想联翩,5G+区块链+边缘计算+机器学习+物联网,这些如果都给智能设备赋能,到底能创造出什么样的怪物呢?虚拟仿真会不会变成现实?机器会不会具有思考能力?请原谅我的想象力匮乏,只能想到...
  • 经过我们调研发现,传统的嵌入式...现在大多数的边缘设备都与云端配合使用,比如工程师们可以在云端训练机器学习模型,训练好之后将推理模型应用于边缘节点。无论从边缘应用的分发,边缘应用的可靠性还是边云协同的机制上,
  • 文章目录机器学习分类——综述《A survey of ML to self organizing cellular networks》读后感《Artificial Neural Networks-Based Machine Learning》读后感无线网络中的ANN对于ANN的大体分类递归神经网络ESNDNN在...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 21,657
精华内容 8,662
关键字:

机器学习 边缘设备

友情链接: zsMCU.rar