订阅云计算RSS CSDN首页> 云计算

NIPS会议机器学习相关内容盘点

发表于2015-12-29 07:35| 次阅读| 来源vkrakovna.wordpress.com| 0 条评论| 作者Victoria Krakovna

摘要:本文盘点了NIPS会议机器学习相关内容,该会议是当下人工智能和深度学习热情的一个聚焦点,从中能够感受到机器学习领域的飞速发展,参会人数也相比2014年的大会几乎翻倍,而一些受欢迎的展台摩肩接踵。

今年的NIPS会议是当下人工智能和深度学习热情的一个聚焦点 —— 从中能够感受到机器学习领域的飞速发展,并且公开了两家新的人工智能初创公司。参会人数相比2014年的大会几乎翻倍(希望明年主办方能设置多个分场),一些受欢迎的工作坊内摩肩接踵。由于大会有将近4000人参加却只接收400篇论文,大部分人还是冲着学习和社交的目的而来。会议期间紧张的社交活动让我想起了Burning Man(美国的一个反传统狂欢节)—— 激动人心的感觉,高密度的自发的有趣交流,短期内的大量活动,当然还有持续的疲惫状态。

有趣的演讲和海报

Sergey Levine在拥挤的Deep Reinforcement Learning工作坊做的机器人演示(我们提早半个小时到达,才在地板上占据一席)。这个演讲让我感受到该领域迅猛的发展。演讲是从一段今年夏天DARPA机器人挑战赛的视频开始,机器人试图行走和开门的时候,不断地失败。Levine接着介绍了他的近期研究内容,主要是引导策略搜索(guided policy search),在轨迹优化和神经网络的监督训练之间交替进行,还有复杂任务的分解。他演示的机器人视频成功地完成了多个高度灵活的任务,比如开门,拧瓶盖,把衣服架在衣架上。令人印象深刻!

Denton和Chintala带来的是用金字塔形对抗网络生成图片的模型。用一个神经网络作为生成器来生成逼真的图像,另一个神经网络来评价 —— 前者试图生成以假乱真的图片来迷惑后者,而后者需要将合成图片与真实图片区分开来。首先从一张粗糙的图像开始,通过金字塔形的对抗网络生成后一级比前一级更细致的图像。在实验中,最终的结果有40%被误认为是真实图像,在我制作海报的时候,大约有80%的图像在我眼里就是真实的。


Salakhutdinov等人介绍的Path-SGD算法,一种尺度不变的随机梯度下降算法。标准的SGD使用L2正则项来衡量参数空间的距离,权重的缩放会对优化效果产生巨大影响。相对于把最大的权重值作为单位长度,Path-SGD方法则是最小化所有经过缩放权重值的max-norm。这样得到的norm(称作“path  regularizer”)被证明对权重缩放具有不变性。这个方法有原理支持,并且取得良好的实践结果。


Sukhbaatar等人介绍的端到端记忆网络 —— 记忆网络的一种扩展 —— 神经网络学习对记忆模块的读取和写入。与传统的记忆网络不同,这个端到端的版本不需要在每一层监督。这扩展了该方法的适用领域 —— 它与记忆网络在问答方面、与LSTM在语言模型方面都很有竞争力。观察这个模型完成基本的归纳推理任务也很有趣,比如物体的位置、颜色、大小等。

Algorithms Among Us 研讨会

本次大会的一个亮点就是Algorithms Among Us 研讨会对机器学习的社会影响,我和其它FLI成员一起参与组织的。研讨会由三个板块和一些演讲组成 —— 包括近期的人工智能影响,通用人工智能的时间表,以及效益型人工智能的重点研究计划。研讨会的组织者 (Adrian Weller, Michael Osborne  and Murray Shanahan) 召集了一大波AI各个方向的大腕,包括来自微软的Cynthia Dwork,来自Facebook的Yann LeCun,来自百度的Andrew Ng和来自DeepMind的Shane Legg。

Andrew Ng对他著名的观点“担心通用人工智能就像担心火星上人口过剩”又进行了升华,改为了“半人马座阿尔法星人口过剩”(难道火星人口过剩真的会发生?)他的主要观点是即使超级预言家无法预知五年后的任何事情,所以任何长期的预测也都是无用的。这似乎像是人们普遍信念“我们一无所知,所以我们很安全”的一个实例。正如Murray所说,今后五年的完全不确定性也正意味着无法猜测未来20年实现通用人工智能的景象。令人鼓舞的是Ng赞同长期人工智能安全性的研究,他说这尽管不是他的兴趣点,但应该有其它人去做。

在谈到通用AI之路上剩余的里程碑时,Yann LeCun给了一个贴切的比喻,就像在迷雾中翻山越岭旅行 —— 你能看到一部分,雾中还隐藏着未知事物。他还认为高级AI是不可能像人类一样,告诫不要将它拟人化。

在重点研究计划版块,Shane Legg给了一些具体的建议 —— 目标系统的稳定性、可中断性、沙箱/容器化,以及各种思维实验的形式化(例如超智 Superintelligence)。他指出AI安全既被夸大了,又得不到足够重视 —— 而先进AI的风险不是如媒体所述的迫在眉睫,更多的思考和资源需要被投入到具有挑战性的研究问题中。

讨论会上提出的一个问题是关于AI系统可解释性的重要性,它也是我当前研究项目的主题。AI系统在有效性和可解释性的权衡之间存在一些分歧。LeCun认为解释性的主要优势是提高鲁棒性,提高迁移学习水平应该就能实现,而不需要降低有效性。Percy Liang则认为需要透明性来给其它人解释机器学习系统做了什么,在许多应用中这变得日趋重要。LeCun还指出机器学习系统通常被认为是透明的,如决策树,而事实未必如此。人们对可解释性的含义也存在歧义 —— Cynthia Dwork觉得,我们需要在作出任何结论前对问题有一个明确的定义。看来,在定义可解释性和在不牺牲效能的前提下实现可解释性,都还有很多工作要做。

总之,该研讨会超级有趣,提供了大量的精神粮食(FLI成员Ariel做了一个更详细的总结)。感谢Adrian、Michael和Murray的辛勤工作。

AI初创公司

两家新的AI初创公司在NIPS大会上宣告成立是一件令人兴奋的事情 —— 由Ilya Sutskever领导和Musk, Altman等人支持的OpenAI,以及由 Zoubin Ghahramani和Gary Marcus领导的Geometric  Intelligence。

OpenAI是一家非营利性企业,肩负着推进AI研究大众化和保持其对人类有益的使命,有高达10亿美元的承诺资金。他们相信在非盈利的、不受经济利益影响的环境下发展AI技术更安全,而不是被营利性公司所垄断。开源共享研究项目的想法在中短期内无疑是好的,但长期来看接近通用AI时会引起一些担忧。一位OpenAI的研究员在采访中表示,“我们没有义务分享一切 —— 在这种情况下公司的名字有误导性”,而且项目是否开源事实上也是具体案例具体分析。

OpenAI在最初几年内计划把重点放在深度学习领域,Geometric Intelligence的发展方式有所不同,他们想用更少的数据来更有效地学习。Gary Marcus认为们需要更多地学习人类大脑是如何获得知识的,从而开发先进AI系统(灵感来自于观察他孩子认知世界的过程)。我期待着来自这些新公司和其他研究小组采取的各种方法和成果。

原文地址:Highlights and impressions from NIPS conference on machine learning(译者/赵屹华 审校/刘翔宇 责编/仲浩)

译者简介:赵屹华,计算广告工程师@搜狗,前生物医学工程师,关注推荐算法、机器学习领域。

0
0
  • CSDN官方微信
  • 扫描二维码,向CSDN吐槽
  • 微信号:CSDNnews
程序员移动端订阅下载

微博关注

相关热门文章