订阅业界RSS CSDN首页> 业界

第四范式AutoDL 2019收官战正式打响 堪称史上最难

发表于2020-01-17 09:51| 来源互联网| 作者互联网

摘要:近日,由第四范式、 ChaLearn 、谷歌联合主办的第五届 AutoDL 挑战赛正式开赛。作为 NeurIPS 2019 系列比赛的收官之战,此次 AutoDL 挑战赛结合了 AutoCV 、 AutoCV2 、 AutoNLP 、 AutoSpeech 等多项赛事 , 旨在让参赛选手设计开发出可解决结构化数据、文本、语音、图像、自然语言处理等不同领域的全自动多分类通用系统...

近日,由第四范式、ChaLearn、谷歌联合主办的第五届“AutoDL挑战赛”正式开赛。作为NeurIPS 2019系列比赛的收官之战,此次“AutoDL挑战赛”结合了AutoCVAutoCV2AutoNLPAutoSpeech等多项赛事,旨在让参赛选手设计开发出可解决结构化数据、文本、语音、图像、自然语言处理等不同领域的全自动多分类通用系统。  

近年来,深度学习技术飞速发展,并已在语音识别、图像识别、文本分类等领域取得了重要进展,这也促使了深度学习技术需求量的大幅增加。然而,该技术的实现仍然需要大量的专家经验和人工成本。因此,可自动构建深度学习系统的AutoDL技术备受关注。此前,第四范式已先后组织了面向图像、语音、自然语言处理等技术领域的AutoDL系列赛事,此次AutoDL挑战赛”难度设置进一步加大,比赛不只局限在单一技术领域,而是希望通过一套系统应用在多个领域,以推动AutoDL技术的落地应用及快速发展。

参赛报名页面:https://www.automl.ai/

关于比赛

主办方为本次“AutoDL挑战赛”准备了语音、视频、图像、文本、表格等不同领域的15组数据集,其中包括5个离线公共数据集(用于选手开发和训练自己的AutoDL程序)、5个线上公共数据集(用于盲测,选手无法获得数据集任何信息)、5个私有数据集(用于盲测,选手无法获得数据集任何信息)。比赛平台将提供统一配置的GPU服务器进行相同环境相同计算资源的测试,并设定每个评测数据集的运行时长。选手也可使用自行训练的预训练模型。

本次挑战赛分为两个阶段(反馈阶段、最终阶段)。在反馈阶段,参赛选手首先通过下载五个训练数据集,离线开发自己的AutoDL程序,实现从训练数据、模型结构设计、参数调校等过程。然后将自己的AutoDL程序代码上传到比赛平台上,通过另外五个线上公共数据集测试,得到程序性能的即时反馈。在最终阶段,参赛选手的AutoDL程序将在没有人工干预的前提下,通过五个私有数据集进行评估。最终阶段的排名将决定获胜者。

赛事挑战

作为史上最难的“AutoDL挑战赛”,参赛选手将面临如下挑战

-如何在不同的数据中自动发现有效信息?

-如何为不同领域的任务自动提取有用特征?

-如何自动处理不同领域的数据?

-如何自动设计有效的神经网络结构?

-如何构建和自动调整预先训练的模型?

同时,参赛选手需考虑:

-如何自动高效地选择恰当的机器学习模型与超参数? 

-如何提高解决方案的通用性?即如何保证解决方案在未知任务中的适用性?

-如何控制计算和内存成本?

赛程时间

20191214日:反馈阶段开始,离线公共数据集发布。参赛选手可以开始提交代码并在排行榜中获得即时反馈。

20191219日:开源 Baseline 3

2020220日:反馈阶段结束。

2020220日:最终阶段开始。

2020224日:最终阶段结束。

2020315日前:比赛优胜团队被邀请投稿至IEEE Transactions on PAMIAutoML Special Issue

赛事奖励

第一名: $2000

第二名: $1500

第三名: $500

AutoML系列赛事

- AutoML @PAKDD 2018

- AutoML @NeurIPS 2018

- AutoML @PAKDD 2019

- AutoML @KDDCUP 2019

- AutoCV @IJCNN 2019

- AutoCV2 @ECML PKDD 2019

- AutoNLP @WAIC 2019

-  AutoSpeech @ACML 2019

-  AutoWSL @ACML 2019