精华内容
下载资源
问答
  • 为了克服传统距离法在...通过对11种脊椎动物和20种哺乳动物的Nd5、Nd4和cytb的基因序列以及线粒体全基因组序列数据,分别计算归一化编辑距离矩阵,并使用Neighbor-Joining法,重建了一些已被多种方法验证过的进化树
  • 该演示版本旨在用于教育和科学目的,可以显示和探索不同陆生脊椎动物物种之间的进化关系。 当前可用的功能包括由生命之(ToL)Web项目(http://tolweb.org/tree/)提供的进化数据的过程生成,完整的三维相机...
  • 甲型流感病毒(influenza virus A)可以感染禽类,哺乳类等动物,威胁着人类健康....利用Genbank的BLAST功能做同源性搜索,结合HA的进化树分析了我国甲型流感病毒株的现状,从而预测了潜在的甲型流感病
  • clade_marker_color 指定表示进化枝根的标记的填充色。默认值为 #FFFFFF(即白色),b代表blue蓝色 clade_marker_shape 提供进化枝标记的形状。有关更多信息,请参见软件包中 readme.txt 文件中的“ MARKER ...

    GraPhlAn教程中文版

    GraPhlAn tutorial原文链接:https://bitbucket.org/nsegata/graphlan

    GraPhlAn是一个软件工具,可用于生成分类树和系统发育树的高质量圆形表示形式。 它着重于系统发育和分类学驱动的研究的简洁、整合、信息丰度信,输出结果图片可直接用于高水平文章发表使用。

    概述Overview

    下图报告了GraPhlAn结构的简要概述:

    image

    介绍Introduction

    请按照本教程学习如何使用GraPhlAn。

    image

    安装Installation

    GraPhlAn保存于bitbucket网站,可以通过以下两种方法获取:

    方法1. Bioconda快速安装

    conda install graphlan
    

    方法2. Mercurial下载

    在Linux系统中需要安装mercurial,如Ubuntu中sudo apt install mercurial,才可以使用hg命令

    hg clone ssh://hg@bitbucket.org/nsegata/graphlan
    

    或者

    hg clone https://hg@bitbucket.org/nsegata/graphlan
    

    方法3. 直接下载压缩包

    详者注:其也可以不安装Mercurial直接下载。在 https://bitbucket.org/nsegata/graphlan/downloads/ 页面有软件打包的下载链接:

    wget -c https://bitbucket.org/nsegata/graphlan/downloads/graphlan_commit_6ca8735.zip
    # 下载失败请在windows上访问此链接下载
    unzip graphlan_commit_6ca8735.zip
    mv graphlan_commit_6ca8735 graphlan
    

    这将在graphlan子文件夹中本地下载GraPhlAn相关数据。 然后,您必须将此子文件夹放入系统路径,以便可以从系统中的任何位置使用GraPhlAn:

    export PATH=`pwd`/graphlan/:$PATH
    

    将以上行添加到bash配置文件中将使添加路径永久生效。 对于Windows或MacOS系统,应遵循类似的步骤。

    脚本Scripts

    GraPhlAn主要包括两个脚本:

    • graphlan_annotate.py
    • graphlan.py

    第一个脚本 (graphlan_annotate.py) 用于在输入树文件中添加注释信息。

    graphlan_annotate.py --annot annotation_file.txt input_file.txt new_input_file_name.xml
    

    注释文件可以多次添加至输入树文件。

    第二个脚本(graphlan.py)用于绘图,支持 png, pdf, ps, eps, svg 等格式。可使用–dpi设置分辨率 (默认值为 72),使用–size调节图片尺寸 (默认为7.0英寸)。

    graphlan.py new_input_file_name.xml image_name.png --dpi 150 --size 7
    graphlan.py new_input_file_name.xml image_name.svg --dpi 150 --size 7
    

    分步示例Step-by-step example

    本分步教程基于您可以在examples文件夹(快速链接)内找到的guide示例。

    指南文件夹包含以下文件:

    • guide.txt
    • step0.sh
    • annot_0.txt
    • step1.sh
    • annot_1.txt
    • step2.sh
    • annot_2.txt
    • step3.sh
    • annot_3.txt
    • step4.sh

    如果需要更多帮助,可以查看每个文件.txt或.sh。 我们决定为每个步骤行添加一个注释(#comment),以指定您将要使用以下编写的自定义内容。

    我们下面进入示例目录

    cd graphlan/examples/guide
    

    0绘图 Default plot (step 0)

    当你执行如下命令

    ./step0.sh
    

    你可以看到下图:

    image

    step0.sh执行了如下两个绘图命令:

    # 以guide.txt为输入文件,输出位图step_0.png,指定分辨率300和大小宽3.5英寸
    graphlan.py guide.txt step_0.png --dpi 300 --size 3.5
    # 绘制svg矢量,方便AI编辑
    graphlan.py guide.txt step_0.svg --dpi 300 --size 3.5
    

    这是GraPhlAn的最基本输出(树骨架),可以采用注释进一步美化。

    我们看到这是一个三层的物种分类树,输入文件是什么格式呢?

    head guide.txt
    

    是以点(.)为分隔的物种层级注释文件,我们常用的是7级注释。本文的示例是采用了科、属、种三级注释。

    Bacillaceae.Anoxybacillus.Aflavithermus
    Bacillaceae.Bacillus.Bamyloliquefaciens
    Bacillaceae.Bacillus.Banthracis
    Bacillaceae.Bacillus.Batrophaeus
    Bacillaceae.Bacillus.Bcellulosilyticus
    Bacillaceae.Bacillus.Bcereus
    Bacillaceae.Bacillus.Bclausii
    Bacillaceae.Bacillus.Bcoagulans
    Bacillaceae.Bacillus.Bcoahuilensis
    Bacillaceae.Bacillus.Bhalodurans
    

    1全局选项 Global options (step 1)

    运行下行命令

    ./step1.sh
    

    你可以看到下图:

    image

    和上图相比,是不是明显线条更粗了,也更美观些。

    step1.sh脚本执行以下命令:

    # 在guide.txt树上添加annot_0.txt的注释,输出整合文件为guide_1.xml
    graphlan_annotate.py --annot annot_0.txt guide.txt guide_1.xml
    # 绘制位图png
    graphlan.py guide_1.xml step_1.png --dpi 300 --size 3.5
    graphlan.py guide_1.xml step_1.svg --dpi 300 --size 3.5
    

    第一个命令将annot_0.txt中的设置绑定到guide.txt树,从而生成一个新树:guide_1.xml。后面的命令仅生成两个图像:.png和.svg。

    annot_0.txt包含以下定制参数:

    clade_separation 0.5
    branch_thickness 1.5
    branch_bracket_depth 0.8
    branch_bracket_width 0.25
    clade_marker_size 40
    clade_marker_edge_color #555555
    clade_marker_edge_width 1.2
    

    它们的意思分别是:

    • clade_separation 指定分支之间的分数间隔,该间隔与子树之间的分支距离成比例。该选项可用于在视觉上分离更多相互分支深的分支。默认值为0.0。本次设为0.5,上图各分枝类间的距离大于内部枝间距离,有各明显的聚类感觉,也方便为标签预留空间
    • branch_thickness 设置连接分类单元的线的全局粗细。默认值为0.75。本次设为1.5,线宽比默认加粗了一倍
    • branch_bracket_depth 设置分支托架的相对位置,该分支托架是子分类单元分支所起源的径向段。默认值为1(官网标注为0.25是错误的),分枝从节点延伸的长度,范围0-1,大于1会超过上一节点显示错误,这里0.8比默认要好,层级关系更明确
    • branch_bracket_width 设置相对于最分开的子根的位置的分支括号的宽度。默认值为0.25(官网标注为1是错误的)。即分枝矩形上边的宽,1为矩形,0为三角形;本次使用0.8为梯形分枝比较美观,画面留白较少而且有成簇感
    • clade_marker_size:设置代表树内进化枝根的标记的大小。默认值为20.0。节点圈的大小。本次使用40比默认大一倍,最后可根据图形整体大小调整优化
    • clade_marker_edge_color 设置标记边框的颜色。默认值为**#000000(即黑色),节点圈的颜色,这里使用#555555(灰色)与枝分开**。
    • clade_marker_edge_width 设置进化枝标记的边框粗细。默认值为0.5,使用1.2加粗边框些。

    2节点选项 Node options (step 2)

    执行时

    ./step2.sh
    

    您将获得以下树:

    image

    step2.sh脚本执行以下命令:

    graphlan_annotate.py --annot annot_1.txt guide_1.xml guide_2.xml
    graphlan.py guide_2.xml step_2.png --dpi 300 --size 3.5
    graphlan.py guide_2.xml step_2.svg --dpi 300 --size 3.5
    

    第一个命令将annot_1.txt文件与上一步生成的树:guide_1.xml 绑定在一起,将结果保存在guide_2.xml中。后两个命令将生成两种格式的输出图像。

    annot_1.txt包含以下自定义:

    Bacillus    clade_marker_color      b
    Bacillus    clade_marker_size       120
    Bacillus    clade_marker_shape      h
    

    这些规范适用于规则“ GRAPHICAL TREE OPTIONS(图型树选项)”,并具有以下语法:

    [clade_name{+|*|^}]   graphical_tree_option   graphical_tree_option_value
    

    如果省略了进化枝名称,则该选项将应用于所有进化枝。可以使用包含树根所有名称的完整标签或仅使用最后一级来指定进化枝(如果最后一级名称不是唯一的,则该命令会影响多个匹配进化枝)。

    (可选)在进化枝名称的末尾,可以添加以下字符之一:+,*,^。其中

    • *表示指定的进化枝及其所有后代均受该属性影响;
    • +表示指定分支及其所有终端节点均受到影响;
    • ^表示指定进化枝的所有(唯一)终端节点均受到影响。

    annot_1.txt中使用的graphic_tree_option是:

    • clade_marker_size 是表示树内进化枝根的标记的大小。默认值为20.0
    • clade_marker_color 指定表示树内进化枝根的标记的填充色。默认值为 #FFFFFF(即白色),b代表blue蓝色
    • clade_marker_shape 提供进化枝标记的形状。有关更多信息,请参见软件包中readme.txt文件中的“ MARKER SHAPES”表,或见本文附录。默认值为’o’(即圆圈), h代表六角形

    此外官网中还有些参数没説,但很常用

    • clade_marker_label 设置节点内标签(文字),一般显示个1-2位数字非常好看
    • clade_marker_edge_color 设置节点边颜色
    • clade_marker_font_color 节点标签文字颜色,默认黑色

    3标签选项 Label options (step 3)

    执行时

    ./step3.sh
    

    您将获得以下树:

    image

    step3.sh脚本执行以下命令:

    graphlan_annotate.py --annot annot_2.txt guide_2.xml guide_3.xml
    graphlan.py guide_3.xml step_3.png --dpi 300 --size 3.5
    graphlan.py guide_3.xml step_3.svg --dpi 300 --size 3.5
    

    第一个命令将annot_2.txt中的设置绑定到guide_2.xml树,从而生成一个新树:guide_3.xml。后面的命令仅生成两个图像:.png和.svg。

    annot_2.txt包含以下定制内容:

    # 注释文本和颜色 
    Bacillus    annotation      Bacillus
    Bacillus    annotation_background_color     b
    # 注释文本和缩写、颜色 
    Bbrevis     annotation      a:Brevibacillus brevis
    Bbrevis     annotation_background_color     g
    Blaterosporus       annotation      b:Brevibacillus laterosporus
    Blaterosporus       annotation_background_color     g
    

    这些规范适用于规则“ANNOTATION OPTIONS(注释选项)”,语法如下:

    [clade_name]  annotation_option       graphical_tree_option_value
    

    我们注释将阴影/背景色突出显示分支和相应的子树。注释可以是彩色的,它们的透明度(alpha)通道可以进行整体调节,并具有与之关联的标签。

    具体而言,annot_2.txt中使用的graphical_tree_option_value为:

    注释指定要与注释关联并显示的标签。这可以采用几种格式:

    1. str(不包含’:'的字符串)指定要完全(唯一)显示在阴影上的字符串
    2. key:str(应为短字符)将显示在注释底纹上,而完整的key:string标签将报告为外部图例(a/b对应完整名称的图例)
    3. *:str 将自动生成一个缩写并将其用作前一个key:str的情况
      • 进化枝的名称(特别是最后一个分类学级别)将在上面的第一种情况下用作str
    4. : 代表上述前两种情况的组合,自动将全称变为缩写

    annotation_background_color 定义注释背景的颜色。默认为灰色

    4外部选项 External options (step 4)

    执行以下命令:

    ./step4.sh
    

    您将获得以下树:

    image

    step4.sh脚本执行以下命令:

    graphlan_annotate.py --annot annot_3.txt guide_3.xml guide_4.xml
    graphlan.py guide_4.xml step_4.png --dpi 300 --size 3.5 --pad 0.0
    graphlan.py guide_4.xml step_4.svg --dpi 300 --size 3.5 --pad 0.0
    

    第一个命令将annot_3.txt中的设置绑定到guide_3.xml树,从而生成一个新树:guide_4.xml。后面的命令仅生成两个图像:.png和.svg。

    annot_3.txt包含以下内容:

    ring_internal_separator_thickness   1       0.5
    [..]
    ring_width  1       0.5
    ring_height 1       0.75
    [..]
    Bacillaceae.Anoxybacillus.Aflavithermus     ring_shape      1       v
    [..]
    Bacillaceae.Anoxybacillus.Aflavithermus     ring_alpha      2       0.423462136478
    [..]
    Bacillaceae.Anoxybacillus.Aflavithermus     ring_color      2       #AAAA00
    [..]
    Bacillaceae.Anoxybacillus.Aflavithermus     ring_height     5       2.48900854747
    [..]
    Bacillaceae.Bacillus.Bsubtilis      clade_marker_label      65
    [..]
    Bacillaceae.Bacillus.Banthracis     clade_marker_font_color w
    Bacillaceae.Bacillus.Banthracis     clade_marker_edge_color b
    [..]
    

    这些规范适用于规则“RING OPTIONS(环选项)”。

    我们称其为树本身外部的图形元素,可以看作是“圆形热图”,“圆形条形图”,甚至更多(类似于指示符元素)。这些“环”直接链接到内部树,因为这些环的每个部分都对应于一个树叶(并且还可能对应于内部节点)。可以为同一张图像指定多个环,每个环必须具有一个渐进的关联编号(级别“ 1”是最内部的环)。
    环的一般语法为:

    [clade_name] ring_option ring_level ring_option_value
    

    如果clade_name不存在或如果*,则ring选项将应用于ring_level中的所有环扇区。 ring_level是必须始终指定的整数**。
    **
    在上面的示例中,ring_options在这里使用:

    • ring_color 表示环段的颜色。默认为黑色
    • ring_width 指定环段的宽度,该宽度是可用于特定进化枝的总圆形宽度的一部分。默认值为1.0
    • ring_height 设置圆形线段的高度。如果未指定,则对级别中的所有圆环段应用相同的默认高度(*树的0.1 大小),否则高度等于级别中的最大高度值。默认值是同一级别中环的最高高度,如果未指定高度,则为0.1
    • ring_alpha 设置透明度值。 0.0表示完全透明(因此不可见),1.0表示完全不透明。默认值为1.0
    • ring_shape 指定环的形状。矩形的默认值为R,这意味着将使用整个可用区域。当前的替代项是v或^,表示三角形(具有相反方向),可以用作突出特定进化枝的指向箭头。默认为R

    一些其他的环选项涉及非类特定的方面,例如环本身的标签或环之间的图形分隔。这些选项在没有树名的情况下以以下树列格式指定:

    global_ring_option ring_level global_ring_option_value
    
    • ring_internal_separator_thickness 设置分隔不同环级别的圆线的粗细。这是指每个环两侧最内部的部分。默认值为0.0,表示不存在

    最后一行适用于规则“GRAPHICAL TREE OPTIONS”:

    • clade_marker_edge_color 指定标记边框的颜色。默认值为#000000(即黑色)
    • clade_marker_label 指定要插入指定进化枝的标签
    • clade_marker_font_color 指定特定类标记标签的字体颜色。默认值为’k’,即黑色

    其它示例Other examples

    在这里,我们要显示其他示例(在程序的example示例文件夹中),以显示GraPhlAn提供的灵活性和几种自定义可能性。

    人类微生物组计划Human Microbiome Project

    在人类微生物组中丰富的生物的系统树上使用环形热图和条形图。 颜色强度对应于每个身体部位的物种流行度; 圆外侧的条形高度与分类单元的丰度成正比(参考文献见 http://www.sciencedirect.com/science/article/pii/S016895251200145X)。

    下图数据位于example中的HMP_tree文件夹。

    image

    详者注:上图中结点加形状、大小、颜色;外圈加热图、柱状图我们前面都有学过。

    本次使用的是进化树,它和物种注释层级文件一样使用即可。关于进化树的GraPhlAn实战,请参阅我们之前的教程 GraPhlAn进化树

    本图中的文字标签,需要在树中存在对应的枝节点标签。

    我们查看一下注释文件头

    cd examples/HMP_tree
    head annot.txt
    

    看到此表头中一些新的参数

    title   Human Microbiome Project species tree
    title_font_size 33
    total_plotted_degrees   340
    annotation_background_alpha     0.1
    start_rotation  270
    branch_bracket_width    0.0
    class_legend_font_size  24
    annotation_legend_font_size     24      
    annotation_background_separation        -0.03
    annotation_background_offset    0.0
    annotation_background_width     0.07
    branch_thickness        2.5
    ring_label      1       Stool (prevalence)
    ring_label_color        1       #0000FF
    
    • title 图表标题
    • title_font_size 标题字号
    • total_plotted_degrees 图形面积,最大360占整个圆,小于360则形成开口扇形,此处340度留20度给环形作标题区域
    • annotation_background_alpha 注释背景的透明度,即有颜色,又让文字显示清楚
    • start_rotation 开始角度,可转动图形,调整开口僧
    • class_legend_font_size 类图例文字大小
    • annotation_legend_font_size 注释图例文字大小
    • annotation_background_separation 注释背景分开
    • annotation_background_offset 注释背景偏移量
    • annotation_background_width 注释背景宽度
    • ring_label 设置环形的标题
    • ring_label_color 设置环形的标题颜色

    肠道微生物组 Gut microbiome

    特种分类树,比较HMP和MetaHIT的肠道微生物组。 特别是:颜色与生物标记进化枝的效应大小直接相关; 节点的大小反映了它们的相对丰度(参考文献 http://www.nature.com/nmeth/journal/v9/n8/full/nmeth.2066.html)。

    下图是example文件夹中存在的gut_microbiome文件夹的参考。

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-20xy3xlM-1582818813975)(http://210.75.224.110/Note/LiuYongXin/200227graphlan/gut_microbiome.png)]

    这是一个典型的LEfSe分析的默认物种树配色和样式,详见。

    菌株水平分析 PhyloPhlAn

    带有分类注释的高分辨率微生物生命树。 比例表示总分支长度的标准化分数。 灰色标记表示具有至少10个基因组的属的最低共同祖先。 外部条长度代表每个基因组中包含的400种蛋白质的分数。 红色的外部三角形表示我们的方法预测的基因组在分类学上被误贴标签并且可以放心地替换。 蓝色三角形表示有问题的标签已经过精致处理,但仍不属于完全一致的类别; 绿色三角形表示我们有信心完善了其不完整分类标签的基因组; 黑色三角形表示来自IMG-GEBA的566个基因组已被新放置到树中(参考文献 https://www.nature.com/articles/ncomms3304)。

    下图数据在example文件夹中的PhyloPhlAn文件夹。

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bMABbV6w-1582818813976)(http://210.75.224.110/Note/LiuYongXin/200227graphlan/ppa_tol.png)]

    炎症性肠病生物地理 IBD biogeography

    显示炎症性肠病生物地理学的分类树。 具体来说,以下身体部位具有不同的颜色:回肠末端,盲肠,右结肠,横结肠,左结肠和乙状结肠/直肠(参考 http://genomebiology.com/2012/13/9/R79)。

    下图参考了example文件夹中的IBD_biogeography文件夹。

    image

    完整参数列表 Complete list of parameters

    有关GraPhlAn提供的可能配置的详细列表,请查看软件解压文件夹中的readme.txt文件。

    GraPhlAn与其他工具的集成
    我们开发了一个名为export2graphlan.py的自动转换脚本,该脚本允许从LEfSe,MetaPhlAn2和HUMAnN输入和/或输出文件自动转换为GraPhlAn。 输入文件也可以BIOM 2.0格式给出。

    该转换脚本的目的是支持生物学家,通过自动为GraPhlAn编写树和注释文件来帮助他们。 export2graphlan在GraPhlAn中作为子目录存在。 可以在此处找到一些说明如何使用它的示例:export2graphlan教程:http://210.75.224.110/Note/LiuYongXin/200227graphlan/export2graphlan%20-%20tutorial

    支持 Support

    我们通过Google网上论坛 https://groups.google.com/forum/#!forum/graphlan-users 为GraPhlAn用户提供支持,您也可以将任何问题通过电子邮件发送至 graphlan-users@googlegroups.com。

    英文版更新于 2018-06-02

    中文版更新于 2020-02-27

    附录

    关于GraPhlAn的使用,请参阅我们之前的实战教程

    附录1. 颜色

    颜色有三种设置方法

    1. 颜色英文名称

    blue, green, red, cyan, magenta, yellow, black, white

    1. 单个字母的缩写

    ‘b’ (blue蓝), ‘g’ (green绿), ‘r’ (red红), ‘c’ (cyan青), ‘m’ (magenta洋红), ‘y’ (yellow黄), ‘k’ (black黑), ‘w’ (white白)

    1. RGB模式颜色

      #rrggbb, 例如 #FF0000 代表红色

    附录2. 形状选择

    • ‘.’ : 点 point marker
    • ‘,’ : pixel marker
    • ‘o’ : 圈 circle marker
    • ‘v’ : 下三角 triangle_down marker
    • ‘^’ : triangle_up marker
    • ‘<’ : triangle_left marker
    • ‘>’ : triangle_right marker
    • ‘1’ : tri_down marker
    • ‘2’ : tri_up marker
    • ‘3’ : tri_left marker
    • ‘4’ : tri_right marker
    • ‘s’ : square marker
    • ‘R’ : 矩阵 rectangle marker
    • ‘p’ : pentagon marker
    • ‘*’ : star marker
    • ‘h’ : hexagon1 marker
    • ‘H’ : hexagon2 marker
    • ‘+’ : plus marker
    • ‘x’ : x marker
    • ‘D’ : diamond marker
    • ‘d’ : thin_diamond marker
    • ‘|’ : vline marker
    • ‘_’ : hline marker

    Reference

    http://huttenhower.sph.harvard.edu/graphlan

    Asnicar, Francesco, George Weingart, Timothy L. Tickle, Curtis Huttenhower, and Nicola Segata. 2015. ‘Compact graphical representation of phylogenetic data and metadata with GraPhlAn’, PeerJ, 3: e1029.

    猜你喜欢

    写在后面

    为鼓励读者交流、快速解决科研困难,我们建立了“宏基因组”专业讨论群,目前己有国内外5000+ 一线科研人员加入。参与讨论,获得专业解答,欢迎分享此文至朋友圈,并扫码加主编好友带你入群,务必备注“姓名-单位-研究方向-职称/年级”。技术问题寻求帮助,首先阅读《如何优雅的提问》学习解决问题思路,仍末解决群内讨论,问题不私聊,帮助同行。
    image

    学习扩增子、宏基因组科研思路和分析实战,关注“宏基因组”
    image

    image

    点击阅读原文,跳转最新文章目录阅读
    https://mp.weixin.qq.com/s/5jQspEvH5_4Xmart22gjMA

    展开全文
  • 形态学习对于自然界中的动物进化至关重,现已在我们创建的 AI 智能体中展现」。 在这项研究中创建的具身智能体可以平地(FT),多变地形(VT)和多变地形的非抓握操作(MVT)中执行巡视(patrol)、点导航(point ...

    点上方计算机视觉联盟获取更多干货

    仅作学术分享,不代表本公众号立场,侵权联系删除

    转载于:新智元

    AI博士笔记系列推荐

    周志华《机器学习》手推笔记正式开源!可打印版本附pdf下载链接

    新冠疫情的爆发让我们感受到了生命是脆弱的,但也是强大的。如此神奇的生命究竟是怎么创造的,人类究竟能否再创造出具有智能的生命?

    智能体/代理(Agents)是人工智能领域的一个主要研究课题,分为非具身智能和具身智能(embodied intelligence)。

    今年2月,李飞飞和其他几名学者提出了一个新的计算框架——深度进化强化学习——Deep Evolutionary Reinforcement Learning (DERL),基于该框架,具身智能体可以在多个复杂环境中执行多个任务。

    6月,李飞飞的团队受Bio Eats World邀请,介绍不断发展的具身智能。

    Bio eats world这个名字的意思是生物学正在吞噬世界。生物学正在脱离实验室和诊所,进入我们的日常生活。生物(我们对生命科学、医疗保健、技术和工业的交叉点的简称)如今正处于50年前计算机革命的边缘: 即将以我们才刚刚开始认识的方式彻底改变我们的世界。通过与顶尖科学家、建筑商、企业家和领导者的对话,主持人 Lauren Richardson (以及安德森·霍罗威茨的团队)探讨了生物将如何从根本上改变我们的未来。简而言之,生物正在吞噬世界。

    本次演讲人包括Vijay Pande,李飞飞,Surya Ganguli和Lauren Richardson。

    在节目中,完整地介绍了从理论和边缘哲学到应用哲学的全部内容。

    具有具身智能的身体,或者说智能表现的物理形式,在塑造一个个体的思想和认知能力方面起着积极而重要的作用。例如,人类的智力不仅仅是我们大脑的功能,而是我们的大脑、我们的身体和我们生存的环境的组合。但是当涉及到人工智能(AI)的设计时,物理形式和环境通常不是等式的一部分。这是一种脱离实体的认知。

    斯坦福大学人类中心人工智能研究所的李飞飞和Surya Ganguli,他们开发了一个被称作“进化游乐场”的环境,探索人工智能中具身智能的发展及其与环境的关系,以及在计算机实验中的学习应用。

    他们与a16z 的普通合伙人 Vijay Pande 和主持人 Lauren Richardson 讨论他们如何创建一套虚拟环境,在其中智能体通过模仿达尔文进化论的方方面面进化。

    这些智能体,被称为unimal,或者宇宙动物(universal animal),开始时是一个中心节点,每一代都可以增加或减少四肢并改变它们的物理形式的各种属性,比如它们的关节有多灵活。就像在真实的进化中一样,不同的形式是根据环境的特殊性而产生的,但真正令人兴奋的是李飞飞、Surya 和同事们发现的关于智力编码在其中一些形式中的东西,比如学习一项新奇任务的能力的增强。

    下图为环境中展示的unimal。

    这就引出了节目中讨论的应用部分。这些结果为我们如何设计能够执行独特任务的机器人提供了新的见解,也为我们理解像 GTP-3这样的无实体人工智能模型可能存在的局限性提供了新的见解。

    在李飞飞的论文中首次通过「形态学习」(morphological learning)证明了进化生物学中的「鲍德温效应」。

    1953年,美国古生物学家George Gaylord Simpson创造了术语「鲍德温效应」,其中提到了美国哲学家和心理学家JM Baldwin的1896年论文中进化的一个新的因素。

    在进化生物学中,鲍德温效应提出,在进化过程的早期世代一生中最初学会的行为将逐渐成为本能,甚至可能遗传给后代。

    在过去的6亿年里,进化带来了无数形态的美:从古老的两侧对称的昆虫到各种各样的动物形态。

    这些动物还表现出显著的具身智能,利用进化学习复杂的任务。

    具身认知的研究人员认为,AI智能体可以很快地学会这种智能行为,而且它们的形态也能很好地适应环境。

    然而,人工智能领域更注重「非具身认知」,如语言、视觉或游戏。

    当AI智能体能够很好地适应环境时,它们就可以在各种复杂环境中学习控制性任务。然而,由于以下原因,创建这样的智能体非常具有挑战性。

    这需要在大量潜在模式中进行搜索。通过终身学习评估一个智能体的适应性需要大量的计算时间。

    因此,以往的研究要么是在极其有限的形态学搜索空间中使智能体实现进化,要么是在给定的人工设计形态学下寻找最优参数。

    评估适应性的困难使得以前的研究避免了直接在原始感官观察的基础上学习自适应控制器;

    学习使用少量参数(≤100)手动设计控制器; 学习预测一种形式的适应性;

    模仿拉马克进化而不是达尔文进化,直接跨代传递学习的信息。

    深度进化强化学习框架(DERL)可以在环境,形态和控制这三种复杂维度同时扩展创建具身智能体的规模。

    DERL为计算机模拟实验中的大规模具身智能体创建活动打开了一扇门,这有助于获得有关学习和进化如何协作以在环境复杂性,形态智能和控制的可学习性之间建立复杂关系的科学见解。

    此外,DERL还减少了强化学习的样本低效性的情况。智能体的创建不仅可以使用更少的数据,而且可以泛化和解决各种新任务。

    DERL通过模仿达尔文进化论中错综复杂的代际进化过程来搜索形态空间,并通过终生神经学习的智能控制解决复杂任务来评估给定形态的速度和质量。

    斯坦福大学教授,论文的作者李飞飞表示,「这项研究不仅提出了一种新的计算框架,即深度进化强化学习(DERL),而且通过形态学习首次证明了达尔文-鲍德温效应。形态学习对于自然界中的动物进化至关重,现已在我们创建的 AI 智能体中展现」。

    在这项研究中创建的具身智能体可以平地(FT),多变地形(VT)和多变地形的非抓握操作(MVT)中执行巡视(patrol)、点导航(point navigation)、避障(obstacle)、探索(exploration)、逃脱(escape)、爬坡(incline)、斜坡推箱子(push box incline)和控球(manipulate ball)等任务。

    为了学习,每个智能体仅通过接收低级自我感知和外部感受观察来感知世界,并通过由深度神经网络的参数确定的随机策略选择其动作。

    该随机策略是通过近端的深度神经网络的参数策略优化(PPO)学习得到。

    通常,DERL允许研究人员在1152个CPU上进行大规模实验,平均涉及10代进化,搜索和训练4000种形态,每种形式有500万智能体与环境的交互(即学习迭代)。

    该研究可以在并行的异步竞赛中训练288种形态,因此在任何给定时刻,整个学习和演化过程都可以在16小时内完成。

    可以理解为,这是迄今为止形态进化和RL的最大同时模拟。

    为了克服过去形态学搜索空间表达能力的局限性,本研究引入了 Universal aniMAL(UNIMAL)设计空间。

    本研究的基因型(genotype )是运动树,它对应于通过电机驱动的铰链连接的3D刚性零件的层次结构。

    运动树的节点由两种类型的组件组成:代表智能体头部的球体(树的根)和代表肢体的圆柱体。

    进化通过三种类型的变异算子无性繁殖:

    1 通过增加或减少肢体来收缩或生长运动树

    2 改变现有肢体的物理特征,如长度和密度

    3修改四肢之间关节的属性,包括自由度、旋转角度限制以及齿轮比

    最重要的是,该研究只允许保持两侧对称的成对变异,这是动物形体构型在进化过程中最古老的特征(起源于6亿年前)。

    一个关键的物理结果是,每个智能体的质心都位于矢状面,从而减少了学习左右平衡所需要的控制程度。

    尽管有这一限制,但该研究提出的形态设计空间极具表达力,包含大约1018种独特的智能体形态,至少有10个肢体。

    研究结果表明, 利用DERL证明了环境复杂性、形态智能和控制的可学习性之间的关系:

    首先,环境复杂性促进了形态智能的进化,可用形态促进新任务学习的能力来量化。

    其次,进化快速选择学得更快的形态,从而使早期祖先一生中较晚学会的行为在其后代一生中较早表现出来

    第三,实验表明,通过物理上更稳定、能量效率更高的形态的进化,促进学习和控制,鲍德温效应和形态智能的出现都有一个机理基础。

    参考资料:

    https://arxiv.org/abs/2102.02202

    https://bio-eats-world.simplecast.com/episodes/evolving-embodied-intelligence-Eag2o67c

    -------------------

    END

    --------------------

    我是王博Kings,985AI博士,华为云专家、CSDN博客专家(人工智能领域优质作者)。单个AI开源项目现在已经获得了2100+标星。现在在做AI相关内容,欢迎一起交流学习、生活各方面的问题,一起加油进步!

    我们微信交流群涵盖以下方向(但并不局限于以下内容):人工智能,计算机视觉,自然语言处理,目标检测,语义分割,自动驾驶,GAN,强化学习,SLAM,人脸检测,最新算法,最新论文,OpenCV,TensorFlow,PyTorch,开源框架,学习方法...

    这是我的私人微信,位置有限,一起进步!

    王博的公众号,欢迎关注,干货多多

    王博Kings的系列手推笔记(附高清PDF下载):

    博士笔记 | 周志华《机器学习》手推笔记第一章思维导图

    博士笔记 | 周志华《机器学习》手推笔记第二章“模型评估与选择”

    博士笔记 | 周志华《机器学习》手推笔记第三章“线性模型”

    博士笔记 | 周志华《机器学习》手推笔记第四章“决策树”

    博士笔记 | 周志华《机器学习》手推笔记第五章“神经网络”

    博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机(上)

    博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机(下)

    博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类(上)

    博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类(下)

    博士笔记 | 周志华《机器学习》手推笔记第八章集成学习(上)

    博士笔记 | 周志华《机器学习》手推笔记第八章集成学习(下)

    博士笔记 | 周志华《机器学习》手推笔记第九章聚类

    博士笔记 | 周志华《机器学习》手推笔记第十章降维与度量学习

    博士笔记 | 周志华《机器学习》手推笔记第十一章稀疏学习

    博士笔记 | 周志华《机器学习》手推笔记第十二章计算学习理论

    博士笔记 | 周志华《机器学习》手推笔记第十三章半监督学习

    博士笔记 | 周志华《机器学习》手推笔记第十四章概率图模型

    点分享

    点收藏

    点点赞

    点在看

    展开全文
  • 来源:机器之心编辑:杜伟、魔王、陈萍在过去 6 亿年中,进化带来了不同类型的「无尽之形最美」(endless forms most beautiful),从古老的两侧对称虫到多种多样的动物...

    来源:机器之心

    编辑:杜伟、魔王、陈萍

    在过去 6 亿年中,进化带来了不同类型的「无尽之形最美」(endless forms most beautiful),从古老的两侧对称虫到多种多样的动物形态。这些动物还展示出了显著的具身智能(embodied intelligence),利用进化的形态学习复杂任务。具身认知领域认为,智能体可以快速学得这种智能行为,它们的形态也能很好地适应环境。然而,AI 领域更多地关注「非具身认知」,如语言、视觉或游戏等。

    当人工具身智能体的形态能够很好地适应环境,则它们可以在多种复杂环境中学习控制任务,然而创建这类智能体很有挑战性,原因如下:

    • 这需要在大量可能形态中进行搜索;

    • 通过终身学习评估智能体适应度需要大量计算时间。

    因此,之前的研究要么在极度有限的形态搜索空间中进化智能体,要么在给出的固定人工设计形态下找出最优参数。评估适应度(fitness)的难度使得先前研究避免直接基于原始感官观察学习自适应控制器;使用少量参数 (≤ 100) 学习人工设计控制器;学习预测一种形态的适应度;模仿拉马克进化(Lamarckian)而不是达尔文进化,直接跨代传输学得的信息。此外,之前研究主要局限于平地移动的简单任务,智能体具备的自由度 (DoF) 较少,或者形体构型由立方体组成,将学习控制器这一问题进一步简化。

    如何克服这些局限呢?

    近日,来自斯坦福大学的研究者 Agrim Gupta、Silvio Savarese、Surya Ganguli 和李飞飞提出了一种新型计算框架——深度进化强化学习 (Deep Evolutionary Reinforcement Learning, DERL),该框架能够在环境、形态和控制这三种复杂度维度下同时规模化创建具身智能体。

    DERL 框架如下图 1 所示

    DERL 为在计算机模拟实验执行大规模具身智能体创建活动打开了大门,这有助于获得对学习和进化如何协作构建环境复杂度、形态智能和控制任务易学性之间复杂关系的科学洞见。此外,DERL 还缓解了强化学习的样本低效性,创建具身智能体不仅可以使用较少的数据,还能够泛化解决多种新任务。DERL 通过模仿达尔文进化论中错综复杂的跨代进化过程来搜索形态空间,通过终身神经学习来评估给定形态通过智能控制解决复杂任务的速度和质量。

    论文作者之一、斯坦福大学教授李飞飞表示:「该研究不仅提出了新型计算框架深度进化强化学习(DERL),并通过形态学习首次证明了达尔文 - 鲍德温效应。形态学习是自然界动物进化必不可少的技能,现已在我们创建的 AI 智能体中展现。」。

    论文地址:https://arxiv.org/pdf/2102.02202.pdf

    具身智能体能执行哪些任务?

    本研究创建的具身智能体可以在平地 (FT)、多变地形 (VT) 和多变地形中的非抓握操作 (MVT) 三种环境中执行巡视(patrol)、点导航(point navigation)、避障(obstacle)、探索(exploration)、逃脱(escape)、爬坡(incline)、斜坡推箱子(push box incline)和控球(manipulate ball)等任务

    以下三张动图分别为具身智能体的避障(上)、斜坡推箱子(中)和控球(下)行为。

    避障。

    斜坡推箱子。

    控球。

    DERL:用于创建具身智能体的计算框架

    对于学习,每个智能体通过只接收低层次的自我本体感受和外部感受观察来感知世界,并通过由深度神经网络参数确定的随机策略来选择其动作(上图 1b),深度神经网络的参数通过近端策略优化 (PPO) 学习得到。

    总体来说,DERL 允许研究者在 1152 个 CPU 上进行大规模实验,涉及平均 10 代的进化,搜索并训练了 4000 种形态,每种形态有 500 万次智能体 - 环境交互(即学习迭代)。该研究可以在并行异步(parallel asynchronous)比赛中训练 288 个形态,因此在任意给定时刻,整个学习和进化过程可在 16 小时内完成。据了解,这是迄今为止最大规模的形态进化和 RL 同步模拟

    UNIMAL:UNIversal aniMAL 形态设计空间

    为了克服以往形态搜索空间表达能力的限制,该研究引入了一个 UNIversal aniMAL(UNIMAL)设计空间(上图 1e)。该研究的基因型(genotype )是一个运动树,对应于由电机驱动的铰链连接的 3D 刚性部件的层次结构。运动树的节点由两种组件类型构成:表示智能体头部的球体(构成树的根)和表示肢体的圆柱体。

    进化通过三类变异算子进行无性繁殖:1)通过长出或删除肢体来收缩或生长运动树(上图 1d);2)改变现有肢体的物理特性,如长度和密度(上图 1d);3)修改四肢之间关节的属性,包括自由度、旋转角度限制以及齿轮比。

    最重要的是,该研究只允许保持两侧对称的成对变异,这是动物形体构型在进化过程中最古老的特征(起源于 6 亿年前)。一个关键的物理结果是,每个智能体的质心都位于矢状面,从而减少了学习左右平衡所需要的控制程度。尽管有这一限制,但该研究提出的形态设计空间极具表达力,包含大约 1018 种独特的智能体形态,至少有 10 个肢体。

    智能体「变形记」:在复杂环境中进化出不同的形态

    该研究称,DERL 使智能体首次超出了平地移动任务,在 3 种环境中同时进化多种智能体形态和学习控制器,且 3 种环境的难度是逐步增加的:平地 (FT)、多变地形 (VT) 和多变地形中的非抓握操作 (MVT)。DERL 能够为这 3 种环境找出成功的形态解。

    首先智能体在 FT 环境中移动:

    其次智能体在地势高低不平的 VT 环境中移动:

    最后智能体在 MVT 环境中移动并推动箱子:

    研究者分析了不同形态描述子在这 3 种环境中的变化(参见下图 3),发现环境对形态进化有极大影响。

    当在所有环境中进化的智能体具备类似的质量和控制复杂度时,VT/MVT 智能体比 FT 智能体在前进方向上移动时间较长,在高度方向上移动时间较短,而 FT 智能体所占的空间小于 VT/MVT。FT 智能体占据空间较少的属性反映了一个常见策略:在身体上间隔较远地安装肢体,使之具备完整的运动范围(参见下图 2i、7a、8a)。FT 智能体展示出向前倒的移动步态和蜥蜴样的移动方式(下图 2i),VT 智能体与 FT 较为相似,但它具备额外的机制,使步态更稳。最后,MVT 智能体发展出类似钳或爪的前伸手臂,从而完成将箱子推到目标位置的任务。

    环境复杂度衍生出形态智能

    上文关于环境对形态进化的影响的分析主要聚焦于不同形态描述子或形态复杂度,但其关键挑战是设计智能体时要确保它能快速适应任意新任务。因而,研究者转而通过描述一种形态中的具身智能,来了解如何通过组合学习和进化获得这种能力。具体而言,研究者计算形态对学习大量测试任务的促进作用。这一方法类似于,通过计算潜在神经表示经由迁移学习在下游任务上的性能来评估其质量。

    研究者一共创建了一组 8 个任务(下图 4a),可分为 3 个领域,分别测试智能体形态的敏捷性(巡视、点导航、避障与探索)、稳定性(逃脱与爬坡)和操纵能力(斜坡推箱子和控球)。每个任务的控制器都是从头学习,从而确保性能差异均来自形态上的不同。

    研究者首先测试了这一假设:在更复杂环境中的进化会带来更智能的形态,从而在测试任务中性能更好(参见上图 4b)。结果表明,在 MVT 环境中进化出的智能体性能在 7 项测试任务中优于在 FT 中进化的智能体;在涉及敏捷性和稳定性的 6 个任务中,VT 智能体在 5 项任务里优于 FT 智能体,在操纵任务中性能相似。

    为了测试学习速度,研究者以 1/5 学习迭代重复了相同实验(参见上图 4c),发现 MVT/VT 智能体和 FT 智能体在所有任务中的区别更大了。这些结果表明,在更复杂环境中进化出的形态确实更智能,因为它们促进智能体更好、更快地学习多种新任务

    证明了更强形式的形态学鲍德温效应

    一个多世纪以前,美国心理学家鲍德温(Baldwin)推测存在一种替代机制,通过这种机制,最初在早代进化中终身学得的行为将逐渐在后代(later generation)中成为本能甚至可能通过基因传播。表面上,这种鲍德温效应看起来像拉马克遗传(Lamarckian inheritance),但严格来说,它源于达尔文主义(Darwinian )。然而,长期以来,生物学家一直认为鲍德温效应在复杂环境中可能保持在形态进化和感觉运动学习(sensorimotor learning)的层面。所以,尽管这一猜想广为流传,但迄今为止尚无研究证明体内或计算机(vivo or in silico)形态进化中的鲍德温效应。

    在模拟中,研究者找到了证明鲍德温效应在形态学中存在的首个证据,这反映在三个环境中达到前 100 个智能体标准适应度水平(level of fitness)所需训练时间的快速减少,如下图 5a 所示。值得注意的是,仅在 10 代之内,平均训练时间就减少为原来的一半。研究者提供了如何加速学习的示例,如下图 5d 所示,他们展示了 FT 中进化的智能体在不同代中的学习曲线:

    在学习结束时,第 8 代智能体的表现两倍优于第 1 代智能体,而且可以在后者 1/5 的时间里达到相同的最终适应度。研究者还注意到他们在模拟中对于快速学习没有遇到任何显式的选择压力,这是因为一个形态的适应度仅由学习结束时自身的性能决定。尽管如此,进化依然选择速度更快的学习者,这样做也没有任何选择压力。因此,研究者通过证明技能获取速度的显式选择压力对于鲍德温效应并不是必要的,实际发现了比以往文献中猜想的形式更强的鲍德温效应。

    有趣的是,形态学鲍德温效应的存在可以在未来研究中得到进一步探索,以创建更低样本复杂度和更高泛化性的具身智能体。

    形态智能以及强大鲍德温效应的机制基础

    接下来,该研究将探索进化如何产生形态智能(上图 4b,c)以及如何选择更快的学习者,而无需对学习速度施加任何直接选择压力的潜在机制基础。

    该研究假设,按照具身认知(embodied cognition)中的推测,进化发现的形态可以更有效地利用智能体主体与环境之间物理交互的被动动力学(passive dynamics),从而简化学习控制的问题,它既能在新的环境中实现更好的学习(形态智能),又能跨代实现更快的学习(鲍德温效应)。任何这样的智能形态学都可能表现出能量效率和被动稳定性的物理特性,因此该研究对这两种特性进行了研究。

    研究者将能源效率定义为每单位质量完成一个目标所消耗的能量(见附录 D)。令人惊讶的是,在没有能源效率直接选择压力的情况下,进化选择了能效形态解决方案(上图 5c)。研究证实,能源效率并不是简单地通过降低肢体密度来实现的(上图 3e)。

    相反,在所有三种环境中,总体质量实际上都在增加,这表明能源效率是通过选择更有效地利用身体 - 环境相互作用的被动物理动力学的形态来实现的。此外,在任意固定代,能源效率更高的形态表现得更好(下图 6a),学习速度也更快(下图 6b)。

    同样地,在所有的三种环境中,随着时间的推移,进化选择更被动稳定的形态(见附录 D),尽管相对于 FT、VT/MVT 中稳定形态的比例更高,这表明在这些更复杂的环境中稳定性的相对选择压力更高(上图 5b)。

    因此,随着进化的推移,能源效率(上图 5c)和稳定性(上图 5b)都以一种与学习速度紧密相关的方式提高(上图 5a)。

    查看这些智能体的效果,请戳:

    未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

      如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

    展开全文
  • 点击上方“视学算法”,选择加"星标"或“置顶” 重磅干货,第一时间送达 转自 | 新智元来源 | 外媒编辑 | Yaxin, LQ6亿多年的进化中,动物表现出显著的具身智能...

    点击上方“视学算法”,选择加"星标"或“置顶”
    重磅干货,第一时间送达
    

    转自 | 新智元

    来源 | 外媒

    编辑 | Yaxin, LQ

    6亿多年的进化中,动物表现出显著的具身智能,利用进化学习复杂的任务。研究人员称,AI智能体也可以很快学会动物的这种智能行为,但目前推动具身认知面临很多挑战。最近斯坦福李飞飞教授等人的研究「深度进化强化学习」有了突破,首次证明了「鲍德温效应」。

    智能体/代理(Agents)是人工智能领域的一个主要研究课题,分为非具身智能具身智能

     

    而创建具身智能体是一个非常具有挑战的任务,所以当前人工智能领域更加关注「非具身认知」。

     

    最近,李飞飞和其他几名学者提出了一个新的计算框架——深度进化强化学习——Deep Evolutionary Reinforcement Learning (DERL),基于该框架,具身智能体可以在多个复杂环境中执行多个任务。

     

    此外,本研究还首次通过「形态学习」(morphological learning)证明了进化生物学中的「鲍德温效应」

     

     

    1953年,美国古生物学家George Gaylord Simpson创造了术语「鲍德温效应」,其中提到了美国哲学家和心理学家JM Baldwin的1896年论文中进化的一个新的因素。

     

    在进化生物学中,鲍德温效应提出,在进化过程的早期世代一生中最初学会的行为将逐渐成为本能,甚至可能遗传给后代。

     

    在过去的6亿年里,进化带来了无数形态的美从古老的两侧对称的昆虫到各种各样的动物形态。

     

     

    这些动物还表现出显著的具身智能,利用进化学习复杂的任务。

     

    具身认知的研究人员认为,AI智能体可以很快地学会这种智能行为,而且它们的形态也能很好地适应环境。

     

    然而,人工智能领域更注重「非具身认知」,如语言、视觉或游戏。

     

    当AI智能体能够很好地适应环境时,它们就可以在各种复杂环境中学习控制性任务。然而,由于以下原因,创建这样的智能体非常具有挑战性。

     

    这需要在大量潜在模式中进行搜索。通过终身学习评估一个智能体的适应性需要大量的计算时间。

     

    因此,以往的研究要么是在极其有限的形态学搜索空间中使智能体实现进化,要么是在给定的人工设计形态学下寻找最优参数

     

    评估适应性的困难使得以前的研究避免了直接在原始感官观察的基础上学习自适应控制器;

     

    学习使用少量参数(≤100)手动设计控制器; 学习预测一种形式的适应性;

     

    模仿拉马克进化而不是达尔文进化,直接跨代传递学习的信息。

     

     

    此外,以前的研究主要局限于在地面上移动的简单任务。

    智能体自由度(DoF)比较少 ,或者由多个立方体构成,这就进一步简化了控制器的学习问题。

     

    三种维度:环境、形态和控制,具身智能体可以执行哪些任务?

     斯坦福大学李飞飞和Agrim Gupta,Silvio Savarese,Surya Ganguli研究人员提出的新型计算框架——深度进化强化学习(DERL)可以在环境,形态和控制这三种复杂维度同时扩展创建具身智能体的规模

     

     

    DERL为计算机模拟实验中的大规模具身智能体创建活动打开了一扇门,这有助于获得有关学习和进化如何协作以在环境复杂性,形态智能和控制的可学习性之间建立复杂关系的科学见解。

     

    此外,DERL还减少了强化学习的样本低效性的情况。智能体的创建不仅可以使用更少的数据,而且可以泛化和解决各种新任务。

     

    DERL通过模仿达尔文进化论中错综复杂的代际进化过程来搜索形态空间,并通过终生神经学习的智能控制解决复杂任务来评估给定形态的速度和质量。

     

     

    斯坦福大学教授,论文的作者李飞飞表示,「这项研究不仅提出了一种新的计算框架,即深度进化强化学习(DERL),而且通过形态学习首次证明了达尔文-鲍德温效应。形态学习对于自然界中的动物进化至关重,现已在我们创建的 AI 智能体中展现」

     

     

    在这项研究中创建的具身智能体可以平地(FT),多变地形(VT)和多变地形的非抓握操作(MVT)中执行巡视(patrol)、点导航(point navigation)、避障(obstacle)、探索(exploration)、逃脱(escape)、爬坡(incline)、斜坡推箱子(push box incline)和控球(manipulate ball)等任务。

     

     

    DERL:用于创建具身智能体的计算框架,Universal aniMAL 形态设计空间

     

    为了学习,每个智能体仅通过接收低级自我感知和外部感受观察来感知世界,并通过由深度神经网络的参数确定的随机策略选择其动作。

     

    该随机策略是通过近端的深度神经网络的参数策略优化(PPO)学习得到。

     

    通常,DERL允许研究人员在1152个CPU上进行大规模实验,平均涉及10代进化,搜索和训练4000种形态,每种形式有500万智能体与环境的交互(即学习迭代)。

     

    多种形态中进化动力学

     

    该研究可以在并行的异步竞赛中训练288种形态,因此在任何给定时刻,整个学习和演化过程都可以在16小时内完成。

    可以理解为,这是迄今为止形态进化和RL的最大同时模拟

     

    为了克服过去形态学搜索空间表达能力的局限性,本研究引入了 Universal aniMAL(UNIMAL)设计空间。

     

    本研究的基因型(genotype )是运动树,它对应于通过电机驱动的铰链连接的3D刚性零件的层次结构。

     

    运动树的节点由两种类型的组件组成:代表智能体头部的球体(树的根)和代表肢体的圆柱体。

     

    进化通过三种类型的变异算子无性繁殖:

    1 通过增加或减少肢体来收缩或生长运动树

    2 改变现有肢体的物理特征,如长度和密度

    3修改四肢之间关节的属性,包括自由度、旋转角度限制以及齿轮比

     

    最重要的是,该研究只允许保持两侧对称的成对变异,这是动物形体构型在进化过程中最古老的特征(起源于6亿年前)。

     

    一个关键的物理结果是,每个智能体的质心都位于矢状面,从而减少了学习左右平衡所需要的控制程度。

     

    尽管有这一限制,但该研究提出的形态设计空间极具表达力,包含大约1018种独特的智能体形态,至少有10个肢体。

     

     

    研究小组表明, 利用DERL证明了环境复杂性、形态智能和控制的可学习性之间的关系:

     

    首先,环境复杂性促进了形态智能的进化,可用形态促进新任务学习的能力来量化。

     

    其次,进化快速选择学得更快的形态,从而使早期祖先一生中较晚学会的行为在其后代一生中较早表现出来

     

    第三,实验表明,通过物理上更稳定、能量效率更高的形态的进化,促进学习和控制,鲍德温效应和形态智能的出现都有一个机理基础。

     

    参考链接

    https://medium.com/dataprophet/evolutionary-reinforcement-learning-derl-stanfords-li-feifei-and-other-scholars-have-proposed-eb20a2d01087

    论文:https://arxiv.org/pdf/2102.02202.pdf

    点个在看 paper不断!

    展开全文
  • 哺乳动物早期的时候,陆地上是由爬行类动物统治,哺乳动物多居于洞穴里,多于夜间行动,而二色视觉的夜视能力比三色要好(更有优势),因此那时候哺乳动物基本上都是二色视觉。 后来由于灵长类动物的变异,加上环境...
  • 保罗·麦克林博士(Paul MacLean)于1960年左右提出的基于经典的著名三位一体大脑的神经科学研究估计,由于从大脑开始经过数百万年的进化,人类大脑中存在该物种的族谱爬行动物的结构。 这涉及到众所周知的爬虫类...
  • 从NCBI 等网站获取哺乳动物Gpx 基因编码区核酸序列和GPX 蛋白氨基酸序列,并用MEGA、Clustal 构建亲缘关系,用SignalP 和TargetP分析信号肽和亚细胞定位信息;用K estimator 和PAML 分析其Gpx 基因家族进化先后顺序和...
  • 动物眼睛:百万年进化而成 各适所需    王金元   2005年12月14日13:38 【字号 大 中 小】【留言】【论坛】【打印】【关闭】 人眼是典型相机眼...
  • 进化效应

    2009-03-03 17:28:31
    拉马克的进化思想相当丰富,并且在进化论的历史上第...3、环境变化是物种变化的原因,并把动物进化的原因总结为“用进废退”和“获得性遗传”两个原则。拉马克认为,环境变化了,使得生活在这个环境中的生物有的器官...
  • 动物双歧杆菌乳亚种基因组和生物学特性比较,陈迎琪,杨波,本研究筛获27株动物双歧杆菌乳亚种并对其基因组和生物学特性进行比较,包括同源基因、系统进化树、碳水化合物利用、抗生素耐受以�
  • 今年早些时候斯坦福李飞飞教授等人的研究「深度进化强化学习」有了突破,首次证明了「鲍德温效应」。最近李飞飞带着研究团队做客Bio Eats World访谈,AI智能体也可以很快学会动物的这种智能行为,但目前推动具身认知...
  • 各种动物生命周期

    千次阅读 2017-09-22 08:55:37
    生物学上,人被分类为真核总界 动物界 后生动物亚界 后口动物总门 脊索动物门 脊椎动物亚门 羊膜总纲 哺乳纲 真兽亚纲 灵长目 类人猿亚目 狭鼻猴次目 类人猿超科 人科 人亚科 人族 人属 智人种。人可以从生物、精神...
  • 五角动物中的Hox基因

    2021-06-29 20:50:55
    五角动物中的 Hox 基因 五角动物中的 Hox 基因 Ellen Popodi* 和 Rudolf ...对现存门的不同体型之间的关系重新...尽管它们彼此截然不同,但所有动物群体都来自一个共同的祖先,因此都是单一后生动物系统发育的分支。 这
  • 进化的过程

    2019-06-10 23:18:29
    假如全世界的人都从悬崖跳下去,人类是否会进化出翅膀? 进化,是很多代变异和遗传造就的过程。变异方向是不定的,也是进化的根本。遗传则维持物种性状稳定 对于同一物种的进化,要求种群足够大,生态环境相对...
  • 进化心理学

    2017-12-29 21:21:00
    进化的原因 进化的主要原因 自然选择:越能活下来、繁殖成功的物种,它具有的特点也会被遗传下来。 性选择:越能求偶成功的个体,它的特点就越可能传承下来。 进化的其他原因 基因突变 奠基者效应:比如某个...
  • 动物知识总结

    2019-09-26 20:39:11
    界门纲目科属种 七级分类...一开始人只将生物分为动物和植物两界,微生物被发现后,也长时期被分入动物或植物界:好动的微生物被分入动物界,有色素(藻类)的或细菌被分为植物,有些甚至被同时放入两界。后来,没有...
  • 疯狂人类进化

    2019-08-18 01:19:28
    从现在反观我们人类自己,你会发现很多人类独有的进化特征是其他大多数哺乳动物没有的。可能现在的我们觉得长成这样子理所当然,因为我们本来就是这样子,以前是,现在,未来肯定也是这样。因此我们下意识就认为人就...
  • Between Us 3 人类的进化

    2019-06-22 15:52:00
    灵长类动物占领了美洲大陆,由于被巨大的大西洋阻隔,美洲大陆的灵长类动物开始独立进化成了“新世界猴”。然后,大约在4500万年前,澳大利亚从南极洲中分裂出去。尽管在美洲,哺乳动物比大多数有袋类动物要更有竞争...
  • 曼彻斯特大学的研究人员正在利用计算机模拟黑猩猩行走,来提高我们对动物行走方式的理解,同时也提高我们用来做实验的技术。 《英国皇家社会开放科学》杂志发表的研究表明,“机器学习”算法的简单变化可以产生更...
  • 本文认为,宗教的演变包括从两足动物开始的对地方社会栖息地的前现代想像宗教,从轴心时代开始的对区域社会栖息地的现代理性想像宗教,以及从轴心时代开始的对全球社会栖息地的后现代多样性理性想像宗教。...
  • 从目前的研究结果来看,多毛纲动物为并系发生,但它们在环节动物系统发生中的基部类群以及大部分并系群之间的相互关系仍有待确定。今后应该增加各类群有代表性的物种的取样数量,开展形态学特征、生活史策略以及分子...
  • 【u247】生物进化

    2019-10-09 07:29:18
    Time Limit: 1 second Memory Limit: 128 MB 【问题描述】 ...经过简单的分析,他们发现了一些规律:若动物A是由动物B经过若干次进化而成的,则称B是A的祖先,特别地,任意一种动物都 是它自己的祖先(...
  • 群体智能和进化计算-介绍

    千次阅读 2019-11-14 11:12:21
    文章目录第一章 群体智能和进化计算1.1 群体智能1.1.1 自组织1.1.2 分工进化计算1.2.1 进化计算成员1.3 讨论1.4 结束语参考文献 第一章 群体智能和进化计算 优化问题存在于科学、工程和工业的各个领域。在许多情况下...
  • 利用MP法、ML法和BI法构建系统进化树,结果显示林蛙属物种构成单系群,其中东北种群聚为一支,中国林蛙聚为一支,支持东北林蛙为有效物种.桓仁林蛙和核型为2n=26的林蛙属物种聚为一支,因此不支持核型为2n=24的林蛙...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,910
精华内容 1,164
关键字:

动物进化树