订阅云计算RSS CSDN首页> 云计算

墨尔本大学软件工程师Tom Fifield:OpenStack for Research in Australia

发表于2012-08-11 15:36| 次阅读| 来源CSDN| 0 条评论| 作者CSDN

摘要:在8月11日北京站第二天演讲中, 墨尔本大学软件工程师Tom Fifield带来了主题为《OpenStack for Research in Australia》的精彩演讲。

8月11日,首届OpenStack亚太技术大会(OSAC)进入第二天。作为OpenStack社区在亚太区的首次技术大会,地区覆盖中 国、日本和韩国,数十位国外的OpenStack核心企业及国内前沿开发者将齐聚OSAC。此次大会由全球最大中文IT技术社区CSDN和中国 OpenStack用户组COSUG联合举办,CSDN将对大会做全程报道,进入直播专题。

 

在8月11日北京站第二天演讲中, 墨尔本大学软件工程师Tom Fifield带来了主题为《OpenStack for Research in Australia》的精彩演讲。

其实我们这个大会开的有点不是时候,因为很多公司从云计算方面已经赚了很多钱,但我们项目有点不一样。我们的项目是专门为研发者做服务的,希望研发者的工作能够做得更加容易,你们都是通过技术来做研究的,我的一位同事做了PPT,他希望通过这个方式介绍科研和计算怎么能够结合在一起,也就是说我们要看数据。我们是通过各种各样的工具才能够得到一些科研的数据,同时还要在现场进行一些调研。有了数据之后,就要有人去存储这些数据,这是非常重要,但这个数据是原始数据,要想知道其中说明了什么,要对这个数据进行分析和研究。比如我们有时候会开展一些比赛活动,让大家进行一些数据的分析。

很重要的一点就是数据整合,所有结果出来以后,要把结果放在一起,也包括其他人做的一些调研结果,才能有一个结论,接着可以发表论文。这样的活动是我们支持的。澳大利亚政府一直非常大方的给我们这边提供资金,特别是做一些基础设施方面的投入,来支持我们这方面的科研。澳大利亚政府在过去十年中,为我们基础设施方面所做出的投入,澳大利亚政府已经投了很多钱进去。2005年之前,我们在澳大利亚科研网络,现在这个网络大部分是科研所和大学可以进行互联,是每秒10G的网络,现在感谢资金方面的提供,特别是3700万网络方面的提供。我们明年底就可以达到100G的网络,在这个网络基础之上才能够进行进一步的建设。

AREN主要做的是一些计算方面的设施,还有SPT方面的一些设施,这对我们科研来说非常重要。现在政府花更多的钱支持一些特殊领域。还有气候的研究、水资源的研究等于。8000万来自SPC,5000万来自ACR。从2008年-2011年我们有几个项目,可以帮助我们进行一些软件项目,研发者就有工具做科研,这也是合作的项目。还有我们一些其他的项目,这些项目也是我在做的一些项目。还有数据的储存服务项目。

NeCTAR就是提供软件和工具给科研人员。基本是两个方面,上面一层是要加强我们的科研能力,虚拟实验室是非常重要的投资,现在超过了100万澳元,从而给我们科研带来变革性的改变,同时还有eResearch的工具,主要填补一些技术的空白,我们目前有一些技术,但需要一些资金能够把它们最优化。最感兴趣的是计算平台,有服务云,还有全国服务器项目,基本是一个企业的平台,也就是说我们要保证它的可持续性和可靠性,同时还有很多硬件的支持,还要保证他们是物美价廉。

为什么我们要建自己的云?为什么要花那么多钱?有五个原因使我们不能直接把钱给亚马逊。1、现在是蜜罐效应,如果你在一个基础设施上做相当的投资,相关的一些社区和其他资源就会被吸引过来,从长期看来是给我们省钱,因为有这样的基础设施我们就可以跟别人共享一些软件和其他资源;2、当地基础设施越来越适合我们的科研需求,比如我们要找亚马逊,我们现在想要这个功能,你能帮我们改一下吗,这就很难办,但是在OpenStack里是开放式的结构,我们这个基础设施就可以进行自己的改变,哪怕只是为了时一个科研人员进行改变也是有可能的。3、服务提供。科研人员没有太多的钱,所以要想买一个商用云的话,非常难,而云本身也非常贵,我们怎么能够完全保证云相关的服务。所以自己建云的话也有自己的服务。4、现在澳大利亚对数据也非常重视,现在通过这样一个建设,在本地所有云和其他设施可以进行整合,我们所有科研设备和科研机构资源也可以进行整合。5、很多数据都是非常重要的,也非常敏感,特别是医疗数据也非常敏感,对于国家也非常重要。我们需要自己建云。

首先是一个OpenStack的云,任何一个科研者,来自任何一个学科,来自任何一个机构,只要在澳大利亚境内,就可以进行使用。这个网络如何进行使用?首先科研人员会给我们提供一个需求书,比如我们想要这样一些基础设施去支持我们的云,如果觉得可以的话,150万,到了一定时候他们自己进行筹资。这个节点和我们平时计算机里的节点不是一个概念,这个节点指相应的项目,这个项目之上是150万。我们的目的是建立统一的全国的云,云里有不同的板块,不希望建好几个不同的云,希望有几个数据的整合。同时通过利用我们的基础设施,可以进行数据的整合或科研的同步,现在在政府层面,也起到了非常重要的作用。

在这个云中,还有一些商业的基础设施,我们会发现全国一些大学也在云当中进行一些投入,希望我们的科研人员能够真正的把他们的应用和虚拟环境放在任何一个云当中。在我们云设计的时候,一开始就会发现有一些传统的方式让科研人员工作变得非常艰难,比如某一个系统,一定要到达最高管理层,给他们填写表格,才能科研。我们设计云的时候,这个云非常容易、非常简便。我们想做单一登陆服务,任何一个科研者只要在这个云当中,就可以给你两个核心,你用普通的用户名和密码就可以马上使用这个云,不需要另外填一堆表格进行申请。

同时我们希望非常的灵活,因为科研人员用的软件非常奇怪,所以我们希望能够让他们上载自己的VM映象,这都是公开的IP地址。同时还要想想支持,因为很多科研人员都明白云,但问题是他们还是有一些技术或其他方面的一些缺口,所以我们必须要能够部署一些人,能够为我们科研人员提供这样的支持,现在我们正在这么做。

我们总监总是说:我们做这个云其实是让大家去失败的。好像听起来非常奇怪,但仔细想想,科研有时候会有好的点子,这个点子是科研的开始,但是开始可能要花2万美金,自己去买一个服务器,等个半年,再去申请资源,他们是否还愿意开始尝试他们最开始的点子呢,是否放弃了。我们如果把这个基础设施提供给他们的话,他们可能在虚拟机上花几分钟就可以尝试这个点子是否可以。我们其实是提供一个平台,让他们去尝试自己一些新的观点和新的想法,让全世界科研人员能够全天候的进行尝试。

还有重要的一点,我们其实是一个能力建设的项目,这样一个平台在服务层面,我们还没有那么多钱产生那么大的影响,依靠科研领域的人,他们能够真正的做一些自己的架构,为社区做一些贡献,也希望社区可以和我们共享一些资源。我们现在基础设施已经建起来了,所有科研人员也开始工作了,我们对话内容就不同了,我们比较理想的状态就是我们不要再说云了,因为云已经建好了,用就可以了。我们想讨论的是让科研人员讨论科研本身,让他们着重在科研之上,这可能在以后几年当中会发生变化。

我们在这个云上已经有一些真正的科研,而且现在在生产,已经有6个月了,我们有非常多的人,这些人领域跨得非常多。比如最近宣布在一个新的发现当中,我们有这些人,还有生命科学的人士,他们想进行一些基因的研究,同时还有合作的供工具,这些社交工具非常重要,可以让我们进行一些合作。同时我们还有一些领域的人,我们之前都没有想到他们会来,比如人文学,我们觉得人文学是搞历史文化的,但实际上发现这里有一个人文的项目,他们也需要相应的网络基础设施。把全澳大利亚最好的一些人文学科方面的数据库进行了整理,比如维多利亚时代的澳大利亚,还有中国人的移民,还有过去澳大利亚人的历史等等,以及字典,把这些东西都在这么一个很好的数据中心里进行整合,现在人文学科的科研人员就可以直接到里面进行搜索,这样也改变了他们做科研的方式。

我们有3840个核,195个TB的存储,年底将会有1.6万个核,年底有25000核,可能还会有所调整。我觉得节点是公开的公共云,现在我们在使用OpenStack的XS的版本,有95%的纯度,也有从开发理论中和自己理论中加了95%新的特征出去。除了Ubuntu12.02LTS,我们还有一个Puppet自动化,可以用更少的人来管理或运营这个云。最主要的工具就是336个核,有人用4个节点,每一个都有很多的核心,而这些连接会进入到基建中,有160×24核,有128G,所以可以看到有3840个核,还有Swift集群,有的是生产,有的是测算,我们也用了很多供应商,我们可以在OpenStack中间运行,做我们的工作,帮助配置各种东西。

我们用OpenStack所进行的一些工作。我们需要做一些改变,让它为我们服务。它是基于网络的服务,所以在dashboard登陆,登陆以后,看一下他们的选择,会找到一些插件,就可以创造新的用例,如果你有API的访问,会让你去dashboard。之前会有两个免费的代码,不需要进行认证,如果达到1000个代码需要进行分配,需要看它是不是值得利用,就是说OpenStack dashboard到底有多少值得利用。我们有一个框架,可以把它安装到dashboard,非常酷。

另外一点很有意思,我们的ISP,让我们有完全免费的流量可以进入到世界上所有的大学和研究院。但如果想去亚马逊这样的商业网站就要花钱,所以我们需要平衡我们的预算,就是能所有用户在什么时候有多大的流量,我们就会找到合适我们的网络使用方式,我们也鼓励人们用网上的大学、研究机构的流量,因为是免费的,也希望有一些政策上的支持,现在有一些其他的政策也起到作用。

还有联盟,如果听过我在设计峰会上的演讲,主要关注于计算单元。我们主要做的是把API和资源分开,所以要求进入到API,Nova服务会决定把哪一个送到虚拟机的需求上。研究人会直接和API对话,可能还有CPU,在红云上才能看到,所以我们资助的行为让我们能够重新把它转向到紫云上,或者有其他一些要求。这个单元是说云可以直接进入到这里,这对我们很重要。我们也在密切关注这方面的进展。

这两天一直在谈社区,所以建设社区对我们来说也很重要,我们的研究和基建都是基于社区。在用户的增长方式非常可喜,6个月之间有全澳大利亚超过了1100位用户,非常酷,我们要稳固增长方式,就是有一些研讨会,大家看一下如何开发这些云。有一些人做得非常好,回去之后他们会做另外一轮,并且告诉他们的同事如何使用OpenStack的云。所以一直非常成功,也有很多人来到了我们的研讨会,他们也都非常的享受这些活动。我们会做一些回顾,会做一些平行的论坛,主要是基于开发者的能力,他们可以选择去参加容易或是困难的环节。难的包括构建云等等。

在澳大利亚有很大的OpenStack社区,克瑞斯蒂的公司跟澳大利亚OpenStack社区会面,买了很多啤酒,而且我们在三个不同城市有会面,我们还会加入其他一些城市。澳大利亚地广人稀,所以我们想要把事情尽量做成全国性,因为人太少,所以想把人都集合起来,但是距离又特别远,人们又想在自己的城市里会面,所以我们会有一些会面的社区,但是会在每个城市都举办会面,这样大家都可以见面,而且进展也很顺利。我们有两个公司在主机方面都会有竞争,但是来到了OpenStack,和我们喝啤酒,跟我们讲一下他们所碰到的一些问题以及有可能的解决方。还有从各处来的人,有一些博士生,说我们应该开设OpenStack大学。在这个社区有超过250个用户,也很不错。除了见面会之外,我们还请了一些特殊的嘉宾,詹姆斯·威廉斯是NAS研究中心的,我们安排和他会面,和各位进行了交流。

在社区方面我们可以学习很多经验,最重要的就是要掌握会议的时间,不要和其他用户组活动产生冲突。我们还要让供应商进来,不只是因为他们会买东西,同时他们也会贡献很多的知识给OpenStack的应用。我们还要看看场地,人们是不是如约的来到会场。除了这些提示之外,我们在澳大利亚已经建立了非常好的社区。

更多OSAC及OpenStack相关信息,请关注@CSDN云计算微博,也欢迎加入国际云计算技术交流群OpenStack中文社区进行交流讨论。

0
0
墨尔本大学软件工程师Tom Fifield:OpenStack for Research in Australia