精华内容
下载资源
问答
  • 【导读】本文Andreas Madsen在medium上撰写的一篇博文,记录了自己如何在没有外部资金支持的情况下,从一名独立研究到第一篇ICLR论文发表的心路历程。原文链接:...

    【导读】本文是Andreas Madsen在medium上撰写的一篇博文,记录了自己如何在没有外部资金支持的情况下,从一名独立研究者到第一篇ICLR论文发表的心路历程。

    原文链接:

    https://medium.com/@andreas_madsen/becoming-an-independent-researcher-and-getting-published-in-iclr-with-spotlight-c93ef0b39b8b

    2019年4月,我决定成为一名独立的研究者,想要在一个重要会议上发表论文。在2019年12月,也就是7-8个月内在没有资金支持的情况下,我实现了我之前的目标。我的论文被ICLR会议接收,同时更加令我激动的是:我站在了聚光灯下!

    我在推特上发表了这篇文章后,它就像我这样的研究人员所希望的那样迅速传播开来。到目前为止,我已经收到了近100条来自其他人的信息,询问我作为独立的研究者如何发表论文。

    在本文中,我会给出对于上面问题的建议。然而,更重要的是,我也想谈谈为什么我会选择成为一名独立的研究者。要知道,长达七个月没有经济收入可不是开玩笑的,值得认真考虑!

    25ff25c87da43340bfc164fbf86db09a.png

    为什么我要成为一个独立的研究者

    2018年3月,我作为论文唯一的作者在distill.pub上发表了论文“Visualizing memorization in RNNs,” 阐释了两个关于如何将基于交互式显著性的可视化方法用于NLP任务的模型,这两个模型有几乎一样的准确度,但是表现却区别很大。

    4b3cc20e81629b633db2fed02c14406b.png

    我认为自己这种情况,足以争取一个需要博士水平的软件工程师研究职位,或者一个实习项目,或者一个ML工程师的职位一样。于是我写信给各个教授,申请了谷歌、微软、乐天、ElementAI、英伟达、Hypefactors、英特尔、京东、亚马逊、三星、Shift Technology、Corti等等。遗憾的是我一次面试机会都没有得到!

    对于谷歌的软件工程师职位,谷歌的一位高级研究员联系了我,他鼓励我向他所在的部门提出申请,并正式推荐了我。为了安全起见,我还向谷歌的一名高级软件工程师要了推荐信。可惜还是没有面试机会,没有HR的联系,什么都没有!

    如何自我资助?

    我是如何获得自己的idea的?我是如何养活自己的?这是到目前我被问的最多的问题。然而,尽管它们确实值得讨论,但我认为它们没有那么重要。有很多方法可以获得一个想法,如果你对别人没有任何承诺,有很多方法可以减少你的开支。从2017年9月到2018年10月,我一直是一名自由职业者。当我的朋友埃米尔·贝(Emil Bay)向我推荐了一个名为clinic.js的新项目后,我开始着手这个项目。我做了很多关于这个项目的可视化工作,在node.js内部工作了6年,并且刚刚获得了机器学习硕士学位,这是任何人都能想象到的最适合我的工作项目,它需要详细了解Node的内部机制,js,统计背景,web可视化等技能。结果就是我的工资相当高,如果我把生活费用控制在很低的水平,就足够维持我3-4年了。

    37ddc0907b7faf7e9caec46aafc068dc.png

    如何获得idea

    就像我上面所说的一样,有很多方法可以得到一个idea,所以不要把我的话太当真,尽情的发挥你自己的创造力。2019年2月,我参加了母校人工智能学生社团的开幕式活动。我希望能和我以前的导师谈谈博士学位的事。不幸的是,他没有任何东西可以提供给我。然而,我幸运的遇到了亚历山大·R·约翰森,他是一位助理研究员,他告诉我他正在找人合作。后来在2019年3月,我写信给他,他解释说,有几个学生试图复制DeepMind的论文“NALUI”,但没有成功,并问我是否想研究它,也许它可以成为一篇NeurIPS论文。我的硕士论文是关于批判别人的论文然后改进他们的方法,这些论文不是被夸大就是有误导别人的嫌疑。这些问题主要集中在优化上,这是一个我觉得比较舒服的领域。所以我觉得我可以做点什么。

    这就是我如何获得idea的方式。这不是一个超级鼓舞人心的研究思路,它也伴随着一些重大的挑战,但确实是一个可行的研究策略。

    生活孤独,但没有失去理智和希望

    作为一个独立的研究者,你不能寄希望于任何人的鼓励。我知道有很多博士生导师也不鼓励他们的博士生,但希望他们能从有类似困难的博士生那里得到鼓励。但是作为一个独立的研究者,这几乎是不可能的,这也是我不建议成为独立研究者的首要原因。但是每个人都或多或少希望得到一些鼓励,不要以为我在没有任何鼓励的情况下连续工作了7个月。我总是担心一些问题,比如:找不到解决方案,得不到公正的同行评审,得不到有用的结果,发现重大缺陷,即使我发表了文章,也可能没有效果,因为这是一个很小众的课题。

    de37af2a7ddbb11194a8dc8b39070675.png

    写出优秀的论文

    以我为例,我的第一篇论文是distill.pub期刊接受的。回想起来,那真是太幸运了。distill.pub期刊更关心写作,解释和教育,而不是通过那些可能本身就不够靠谱的同行进行评审。对我来说,写论文是为了解释和教育,这比取悦匿名的同行评审人要容易得多,所以这是一个好的开始。然而,我的第一次投稿被编辑拒绝了!因为他们不知道我的创新点是什么,是对嵌套的LSTM进行批评,还是对于NLP任务的交互式可视化。

    进行重大修改之后,我再次向Distill期刊提交了我的论文。最后,我想说的是,我花了很长时间和Alexander一起打磨论文,特别是在完成摘要和介绍时,他的帮助是非常宝贵的。

    我向NeurIPS2019投稿,不幸的是我的论文最终没有被接收,对此我真的感到很沮丧。随后我又向ICLR投稿,但这次是不一样的。我对论文做了一些改进,添加了更多的证据和经验来支持我们的想法。

    我希望我能告诉你的是:我们对于论文的不断改进终于取得了显著的效果。不过,我们能够遇到这样一位优秀的审稿人实在是太幸运了。此外,OpenReview上鼓励人们用于探讨,敢于批判,以及更少的辱骂性评论,因为这些评论并不是秘密。

    努力是否值得?

    最后,我们的论文发表了,我希望这能有助于我获得一个从事研究的职位,但说实话,我还不知道。因为我刚刚看到一封电子邮件,上面说你需要“两份顶级的出版物,最好是和著名的合著者一起,才能进入顶级的博士项目”,这是我作为一名独立研究者永远无法实现的目标。也许我心中的希望就是那所大学吧。

    f9fb9affcfa7fe2e7b8e943bc56752e5.png-END-专 · 知专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!73ca78dbce00170587f9e31ed3420ed2.png欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询726044c895882ab6dff6efd6e2156e33.png点击“阅读原文”,了解使用专知,查看5000+AI主题知识资料
    展开全文
  • 期刊论文发表的格式非常严格的,按国家标准和学校拟定的要求来准确撰写的,很多的同学只注重内容却忽略了论文的写作格式和排版等要求,那么这些就直接影响了审稿的印象,会影响审核的成功率。所以论文格式也就...

    期刊论文发表的格式是非常严格的,是按国家标准和学校拟定的要求来准确撰写的,很多的同学只注重内容却忽略了论文的写作格式和排版等要求,那么这些就直接影响了审稿者的印象,会影响审核的成功率。所以论文格式也就显得格外重要,接下来就为大家详细的讲解一下论文发表的时候应该怎样去注重格式的要求。

    在大学教学中,毕业论文(设计)撰写与专业实习一样都属于实践教学中综合实践教学的部分,是提高学生动手能力、分析和解决问题能力以及创新能力的重要途径。这里所说的“毕业论文”只是课题研究结果(结论)的一种表达形式。

    毕业论文也是“作为提出申请授予相应的学位时评审用的学术论文”,“是某一学术课题在实验性、理论性或观测性上具有新的科学研究成果或创新见解和知识的科学记录,或是某种已知原理应用于实际中取得新进展的科学总结”。

    毕业论文若要科学、严谨地表达课题研究的结果(结论)必须要有规范的格式。但规范的论文格式常常被类比为“八股文”格式而受到质疑或评判。

    因此,有必要增进对毕业论文格式规范及其作用的了解,从而让它能在教与学中发挥更大的作用。

    方法步骤

    1、期刊发表论文格式标准,主要就是标题,作者名称以及单位名称。摘要部分选择50到300字来进行概述。文章中要出现关键词,正文部分,以及参考文献,还有作者简介和作者联系方式。

    2、标题部分是论文非常重要的一个开始,也是传递信息的一个重要作用,所以必须要考虑到有助于关键词和编制的题目。

    3、正文部分期刊发表论文的格式一般要求正文的篇幅在2000到8000字不等。包括引言部分以及叙述分析结论和结果等内容。论文当中还需要出现图片以及符号坐标,这些都必须写清楚所有出现的数值都应该标有明确的量与单位。

    4、参考文献部分,期刊发表论文格式要求要有专注,参考文献的专著项目主要就是包括作者的名称以及书名还有版本的出版的等等。

    5、作者信息必须要写清楚,包括作者的简介以及出生年月,性别,毕业院校,还有学历以及主要的工作方向。

    6、期刊发表论文的渠道也是有很多的,当然现在最主要的渠道就是通过邮箱的形式来进行投稿或者是通过专业的平台来进行合作。

    通过了解格式规范的作用、准确把握格式规范要求的含义、推荐阅读先期论文、增加论文写作实践等措施,可以落实毕业论文格式规范要求。

    展开全文
  • 来源 |AI前线作者 | Jerry Wei译者 | 马可薇策划 & 编辑 | 刘燕语言模型 BERT 可以大幅提升许多任务的性能,那么它成功的背后是什么呢?本文最初发表在 T...

    来源 | AI前线

    作者 | Jerry Wei

    译者 | 马可薇

    策划 & 编辑 | 刘燕

    语言模型 BERT 可以大幅提升许多任务的性能,那么它成功的背后是什么呢?

    本文最初发表在 Towards Data Science 博客,由 InfoQ 中文站翻译并分享。

    什么是 BERT?

    BERT,全称 Bidirectional Encoder Representation from Transformers,是一款于 2018 年发布,在包括问答和语言理解等多个任务中达到顶尖性能的语言模型。它不仅击败了之前最先进的计算模型,而且在答题方面也有超过人类的表现。

    BERT 是一个可以将文字转换为数字的计算模型。这个过程是至关重要的,因为机器学习模型需要以数字而非文字为输入,而一款可以将文字转换为数字的算法让人们可以直接使用原始的文本格式数据训练机器学习模型。

    BERT 是可以将文字转换为数字的计算模型,图源 Devlin et al., 2019

    BERT 为何如此优秀?

    对作者来说,BERT 的优秀之处主要在于以下三点: 

    第一:使用大量数据预训练

    第二:可以处理文字语意

    第三:开源

    1:BERT 使用海量数据预训练 

    BERT 提供两种不同大小模型,BERT-base(使用 BookCorpus 数据集训练,约 8 亿字)以及 BERT-large(使用英文维基百科训练,约 25 亿字)。两种模型均使用了巨大的训练集,而任何一个机器学习领域的人都明白,大数据的力量是相当无敌的。正所谓“熟读唐诗三百遍,不会做诗也会吟”,在见过 25 亿单词之后,再看到新单词时你也能猜到它会是什么意思。

    因为 BERT 的预训练非常优秀,所以即使是应用在小型数据集上也能保持不错的性能。举例来说,作者最近参与了一个开发 新冠(COVID-19)自动问答系统 的项目,在没有进一步微调的情况下,BERT-base 在作者使用的数据集中的 15 个类别上,准确率达到 58.1%。更令人惊叹的时,“COVID”这个词甚至不在 BERT 的词汇库中,但它依然获得了相当高的准确率。

     2:BERT 可以处理语意

    之前的词嵌入方法,无论一个词处于什么样的语境下,都会返回同一个向量。而 BERT 则会根据上下文,为同一个词返回不同的向量。例如,在下面的例子中,旧方法会为“trust”返回相同的嵌入。

    I can't trust you.(我不能相信你。)

    They have no trust left for their friend. (他们对自己的朋友已经没有信任感。)

    He has a trust fund. (他有一个信托基金。)

    相比之下,BERT 可以处理语意,根据“trust”语境的不同返回不同的嵌入。如果算法可以分辨出一个词使用情况的不同,就能获得更多的信息,性能也有可能得到提升。另一个可以处理上下文的语言建模方法是 ELMo。

    3:BERT 是开源的

    开源是个大加分项。机器学习领域中的很多项目都被开源化,因为代码开源可以让其他的研究人员轻松应用你的想法,从而促进项目的发展。BERT 的代码 发布在了 GitHub 上,同时还附有代码使用相关的 README 文件,这些深入信息对于任何想要使用 BERT 的人来说有很大帮助。

    在作者最开始使用 BERT 时,只花费了几分钟下载能运行的 BERT 模型,然后只用不到一小时的时间成功写出可以用在数据集中的代码。

    一个非常强大的语言模型会同时具备上文中提到的全部三个方面,而这个模型可以在 SQuAD、GLUE 和 MultiNLI 等大名鼎鼎的数据集上会达到最顶尖的性能。它所拥有的这些巨大优势是让它如此强大和适用的原因所在。

    BERT 利用大量数据进行预处理,用户可以直接将其应用在自己相对较小的数据集上。BERT 有上下文嵌入,性能会很不错。BERT 是开源的,用户可以直接下载并使用。它的应用范围如此之广,这就是为什么说 BERT 彻底改变了 NLP。

    谷歌的研究人员,也是 BERT 的最初创造者,计划利用它来理解谷歌搜索,并提高谷歌自动问答服务的准确性。后来人们发现,BERT 的用处不仅仅只局限于谷歌搜索。BERT 有望改善计算机语言学的关键领域,包括聊天机器人、自动问答、总结和文本情感分析。自一年多前 BERT 的发布以来,其论文 的引用已超过 8,500 次,其广泛实用性不难看出。此外,自 BERT 发表后,最大的国际 NLP 会议 Association for Computational Linguistics(ACL)的投稿量也翻了一番,从 2018 年的 1544 篇直接增到 2019 年的 2905 篇。

    BERT 将继续为 NLP 领域带来革命性的变化,它为小型数据库中各种类型的任务提供实现高性能的机会。

    延伸阅读:

    Devlin et al. 原论文:https://arxiv.org/pdf/1810.04805.pdf

    ELMo,使用上下文嵌入的类似语言模型:https://arxiv.org/pdf/1802.05365.pdf

    原文链接:

    https://towardsdatascience.com/bert-why-its-been-revolutionizing-nlp-5d1bcae76a13

    未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

      如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

    展开全文
  • 几乎所有科研工作都想顺利发表SCI论文,到底发表SCI论文有什么好处,能让科研工作如何向往呢? 1.随着经济全球化,科学研究也日益全球化,SCI论文进行国际科学交流的重要方式,也使国际同行了解我们的...

    在科研道路上,发表SCI论文对科研工作者来说是一件很平常的事情。几乎所有科研工作者都想顺利发表SCI论文,到底发表SCI论文有什么好处,能让科研工作者如何向往呢?

     

     

    1.随着经济全球化,科学研究也日益全球化,SCI论文是进行国际科学交流的重要方式,也是使国际同行了解我们的主要渠道。

     

    2.发表SCI论文,可以向世界显示我国基础研究的实力,提高我国在世界科学界的地位。在世界著名刊物如Nature和Science上发表一篇重要文章,对于某一学科而言,其意义不亚于在国际体育比赛中取得一块金牌。

     

    3.发表SCI论文的多少和论文被引用率的高低,是国际上通用的评价基础研究成果水平的标准。是招聘、提升、考核、评奖的重要指标。

     

    文章剩余内容<<<<

    展开全文
  • 在SCI期刊上发表和提交论文的方法是什么?对SCI期刊投稿的方式有很多种。如果作者自己给SCI期刊投稿,可以选择期刊的官方网站,直接按邮件投稿。如果根据月刊网选择投稿SCI期刊,可以通过两种方式:(1)通过QQ或手机...
  • 什么什么是 DevOps? 发布时间:2018-02-07 来源:网络 上传:用户 关键字: 发表文章 摘要:原文地址本文内容为什么DevOps什么是DevOpsDevOps所带来的好处如何将DevOps落到实处?关于DevOps的澄清...
  • sci写作发表是国内不少科研工作的目标,之所以称之为目标,就是因为sci论文写作颇有难度的,需要英文写作不说,对文章的学术价值要求也非常高的,sci论文应当具备较高创新性,能代表本专业最前沿的科研成果,...
  • 发表于2015-04-10 14:06| 4308次阅读| 来源iThome| 27 条评论| 作者王宏仁 潘正磊开源.net开源软件visual studio 摘要:潘正磊一手主导微软 Visual Studio 开发团队导入敏捷开发,拥抱 DevOps 思维...
  • 1896年11月7日,佩西的故事被普林格尔·摩根医生发表在《英国医学杂志》上。在摩根的记录中,佩西个聪明的男孩,在游戏中反应敏捷,他从7岁起开始接受学校教育,但直到14岁依然只能吃力地拼出单音节词,会将自己的...
  • 发表是最好的记忆

    2019-04-17 09:32:08
    曾经自己也赶过潮流,搭过博客,写了几篇文章,但是当时其实并不明白写博客的最大意义是什么,只是在招聘要求里面见过不少的,有自己的博客、写过多篇技术文章的优先。 想不清楚,就做不明白,后面就不了了之了。 ...
  •  在5月10日于国家会议中心举行的2014第九届中国互联网创业大会上,腾讯高级执行副总裁汤道生发表了《全面开放,连接一切》的演讲。在我看来,他所说的互联网连接一种开放,一种实现世界为一体的方式。 作为...
  • 什么是yaml

    千次阅读 2018-04-01 10:24:38
    YAML(IPA: /ˈjæməl/,尾音类似camel骆驼)...Clark Evans在2001年在首次发表了这种语言,另外Ingy döt Net与Oren Ben-Kiki也这语言的共同设计。目前已经有数种编程语言或脚本语言支援(或者说解析)这种...
  • 一、什么是比特币 比特币一种电子货币,一种基于密码学的货币,在2008年11月1日由中本聪发表比特币白皮书,文中提出了一种去中心化的电子记账系统,我们平时的电子现金银行来记账,因为银行的背后国家信用...
  •  不知道国外的学生怎样一个状态,国内我所知道的周边院校,新媒体专业毕业的学生,毕业了也不知道新媒体出去什么的?,很多当了美工,很多当了flash制作,更多的转行了,听夏老师说美国的设计学院学生在...
  • 秩名发表于 2019-04-11 09:43次浏览小编在访问网页的时候,突然返回http错误404,我赶紧上网查了一下http错误是什么意思,原来http错误主要针对游览器无法连接到服务器而返回的错误提示。引导并告诉浏览改网页是...
  • V 神在转推以太坊核心开发人员 Afri Schoedon 发表在以太坊 Reddit 论坛上的一段声明时强调这些话。后在 Reddit 上的声明中表示,以太坊 2.0 的 宁静/PoS/分片 与以太坊 1.0 完全无关,负责君士坦丁堡升...
  • 经常性有人询问什么是MD5,什么是SHA-1,如何校验这些 Hash。还有拿单个ISO文件的MD5,SHA-1讯问是不是原版的问题,会员间讨论版本问题可以,但都发同样的帖子询问同样的问题,在此之前不做学习和了解,并对斑竹和...
  • 什么是Wiki

    千次阅读 2006-03-09 23:02:00
    什么是WikiWIKI的来源 WIKI概念的发明人Ward Cunningham,该词来源于夏威夷语的“wee kee wee kee”,原本“快点快点” (quick)的意思。 Wiki--一种多人协作的写作工具。Wiki站点可以有多人(甚至任何访问)...
  • .yml是什么文件

    2020-06-23 18:00:14
    Clark Evans在2001年在首次发表了这种语言[1] ,另外Ingy döt Net与Oren Ben-Kiki也这语言的共同设计。目前已经有数种编程语言或脚本语言支援(或者说解析)这种语言。 YAML"YAML Ain’t a Markup Language...
  • Kubernetes和OpenStack到底是什么关系?先搞清楚,再系列学习 发布时间:2018-08-28 来源:网络 上传:用户 关键字: 发表文章 摘要: Kubernetes面向应用层,变革的是业务架构,而OpenStack面向资源层,改变...
  • 什么是Wiki?

    千次阅读 2017-06-21 11:02:00
    Wiki站点可以有多人(甚至任何访问)维护,每个人都可以发表自己的意见,或者对共同的主题进行扩展或者探讨。Wiki也指一种超文本系统。这种超文本系统支持面向社群的协作式写作,同时也包括一组支持这种写作。 ...
  • 是什么创业风格

    2017-10-19 17:45:00
    “创业初期,话语权一定要掌握在一个人手里。...我想如果你性格内敛、不喜拉帮结派的创业,这句话对你可是金科玉律。 于马云那样的外向型创业,还是要多多放权、广征博引为好。 本文转自Kai的世界,...
  • 那么,SCI论文价值的决定性因素是什么呢? 一、不是字数 有些医学工作会问,是字数吗?当然不是!国内很多大学统计绩效的时候有一项是填写论文字数,可能觉得论文字数多了才是好论文(如果您单位统计字数,请给...
  • 居于多家跨国互联网...请直接回复你的个人看法,关于标题"高速互联网时代中国人需要的是什么,想做的是什么?"(严禁发表抨击性言辞谢谢合作)! 转载于:https://www.cnblogs.com/molin/archive/2010/02/03/Lif...
  • 什么是LISP语言

    2010-08-31 09:12:00
    LISP是什么???   LISP是最早和最重要的符号处理编程语言之一,它于1958年由美国的J. McCarthy提出,并于1960年发表了他的第一篇关于LISP的论文。之后,LISP很快受到人工智能工作的欢迎,获得...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 969
精华内容 387
关键字:

发表者是什么