订阅云计算RSS CSDN首页> 云计算

杨煜尧:当科研项目遇上AWS云

发表于2014-07-01 11:34| 次阅读| 来源CSDN| 0 条评论| 作者王玉平

摘要:从宅男到男神就只隔了“认真”,这也是杨煜尧给笔者的感受。采访中他表示通过采用AWS竞价型实例,Dummi Studio不仅在有限的时间里完成了项目计算,还节省了大量科研经费。使用AWS服务与自主运营的费用相差高达20倍。

杨煜尧,Dummi Studio联合创始人之一,与陶冶、蓝星灿、陈杰3位骨干成员一起,完成了由中科院和北京邮电大学共同承担的密码学方面的研究项目。作为一个具有Geek基因的小组,他们非常热爱IT行业,热衷于尝试和实践各种最新最酷的技术。目前,杨煜尧带领Dummi Studio小组在移动互联网、云计算、社交网络、LBS等领域进行了多种探索,并取得了不少成果,其中包括Windows Phone平台应用FootMark和Jike Browser、Android LBS 社交应用 Lugo、基于微信平台的企业内部管理系统Baixiang Medical、iOS 平台应用Tianlizi等。

低调、文静、腼腆是杨煜尧给笔者的第一印象,其实就是现下流行说的宅男气质,但采访中听到杨煜尧对于产品、技术、职业规划的看法时,笔者才知道原来从普通的宅男到男神就只隔了“认真”两个字,无疑验证了那一句话——认真的男人真帅气。


订阅“AWS中文技术社区”微信公众号,实时掌握AWS技术及产品消息!

AWS中文技术社区为广大开发者提供了一个Amazon Web Service技术交流平台,推送AWS最新资讯、技术视频、技术文档、精彩技术博文等相关精彩内容,更有AWS社区专家与您直接沟通交流!快加入AWS中文技术社区,更快更好的了解AWS云计算技术。


密码学方面的研究项目,涉及到了很多的HPC需求,为了协调成本与运算实验的平衡,Dummi Studio选择了AWS 计算服务EC2,这也是杨煜尧及其团队开启AWS之旅的初衷。以下,让我们通过采访实录来了解杨煜尧这场成本作祟的AWS之旅。


图:Dummi Studio 杨煜尧

巧合的云之旅:需求导向 非故意而为之

CSDNDummi Studio主要专注于尝试和实践最新最酷的技术?目前都有哪些尝试,最新最酷的技术都尝试是否给人一种没有重点的感觉?

杨煜尧:我们几个小伙伴都是属于兴趣驱动的人,只要大家讨论觉得某件事情有意思,我们就会全身心的投入去做。此外,小组成员之间非常互补,所以大家做起事来都很愉快。不过目前小组还处于什么都想尝试的阶段,一直在探索适合我们的模式。像之前做的一些应用,可能产品不错,但是在运营上就缺乏一些经验。你说的没重点其实是我们的一个特色,因为我们学东西很快,加上从小就接触计算机,有一定的基础,所以IT方面的各个领域都会去实验一下,我们想通过这些探索找到适合我们的领域。

CSDN对于云计算这个领域都有哪些的探索?

杨煜尧:那倒没有,我们使用AWS云计算服务主要是因为我们的科研项目,刚好使用到了云计算技术来降低成本,节约时间。我们的科研项目不在乎云不云计算,但是云计算的按需付费、动态扩展等本质刚好满足我们高性能计算的需求,可以说是需求导向,恰巧最新的云计算技术能够满足我们计算和成本的需求,所以就选择了云计算服务。

成本作祟的AWS之旅

CSDN:驱动你们采用云计算服务的最大需求或是最大挑战是什么?

杨煜尧:我们有着很多的科研项目,不少集中在可网格化的HPC应用。随着项目的进展,研究小组需要能随时根据研究进度去部署HPC实验项目。从成本角度考虑,由于单独科研项目经费有限,很难支撑团队为单个项目购买服务器,或者租用固定的设备进行运算实验工作。从人力资源角度考虑,这是一个由学生组织的小组,成员都专注在各个项目的推进,没有专门的后勤支持团队,如:IT支持人员,为每个项目的实施提供IT基础架构的支持;IT实施需要每个科研项目团队自己去推进和管理。因此,弹性计算、按需付费的云计算就成为我们考虑的既能满足他们高性能计算集群的需求,又需要能很好地控制成本、并能在相对较短的时间里完成项目的实验工作。

CSDN:在决定使用AWS云服务之前,尝试了国内哪些云服务?是否做过一些比较?最终选择了AWS云服务最大的因素是什么?

杨煜尧:我们做过比较,简单的说就是——贵!

最初考虑使用云计算平台的时候,也做过各家云计算平台的比较,包括华为云、阿里云、盛大云和腾讯云,腾讯云关注过,并没有实际使用过;测试华为云主要是因为200元的试用券,华为云当时是可以按小时和包月来计费的。

另外我们需要的配置国内服务商无法提供。

我们使用的机器是E5处理器16核,虚拟化32核,60G内存,这样的配置国内几乎没有,而且我们使用的机器价格也很比较低,价格也相对于国内的云服务商便宜 ,而国内云计算服务提供商来看,首先是很少有这么高配置的机器,另外相对配置的机器价格也很贵,而我们的项目需要高配置机器完成计算任务,同时对价格又非常敏感.。

选择AWS的时候我们算过一笔账,按照每台双路E5服务器2万元的部署成本计算,为了在3个月内完成项目计算,Dummi Studio需要部署大约500台机器,成本高达1000万。而Dummi Studio为AWS竞价型实例仅支出了不到50万,自主运营的成本大概是采用AWS服务的20倍,所以最终选择了AWS。

但是,这个便宜也仅限于竞价型实例,其他的实例模式不一定。

CSDN:国内使用AWS海外服务的用户,部分反应网络速度慢,你们是否有网络传输速度方面的问题?是不是也有一些优化?

杨煜尧:我们有做了一下优化,通过VPN连接到我们设置在VPC里的controller节点,这里controller节点和其他cluster的连接速度很快,然后我们通过管理controller节点并使用运维脚本来管理整个集群,这样的话我们对网络的要求不是很高,AWS国外区域的机器的延迟对我们来说在可接受范围之内。


图:Dummi Studio的网络解析

你说的慢还有一种说法,如果是企业利用AWS服务向用户提供服务的慢,这种慢可能就无法忍受,但我们自己在使用这个服务的慢是可以忍受的,就如连VPN玩国外的游戏,200-300ms的延迟,这是可以忍受的,但是给用户提供服务,用户购买服务那对体验的要求就很高,也就无法忍受。另外国内网络情况相对比较复杂,有骨干网、南北的电信网等都需要考虑。

CSDN:你们使用了AWS哪些服务,你觉得你们最大的创新之处在哪里?

杨煜尧:我们主要使用了Amazon EC2 On-demand Instance & Spot Instance、Amazon Virtual Private Cloud、Amazon Simple Notification Service。

Amazon EC2是AWS所提供的一项web服务,可在云中提供大小可调节的计算容量。通过Amazon EC2,可以缩短获取并启动新服务器实例所需要的时间。在计算要求发生变化的时候,可以快速扩大或缩小计算容量。而计算服务收费方面,Amazon EC2则实现了按照实际使用的容量收费,能确保费用的有效支出。

Amazon EC2提供了三种收费模式:预留实例、按需实例、竞价型实例。我们主要采用了竞价型实例,这是一个基于供求关系的、可实现自动确定。因为这类实例的价格是实时浮动的,我们根据亚马逊AWS提供的接口,编写了一组外围脚本和元脚本实现自动化部署和控制,在竞价实例模式中,在竞价高于现货价格时,系统自动开启实例;当现货价格高于竞价的时候,系统自动停止实例;所以在不考虑时间因素的情况下,它可以为Dummi Studio节约更多的成本,并能确保实例的可用性和可连续性,非常适合大规模和动态工作量的处理。

创新的地方,我觉得是我们编写的一系列的脚本,这是我们非常自豪的地方。竞价型实例比较适合有计算需求、计算任务是可中断可拆分同时对网络速度不那么敏感的用户,因为目前中国AWS服务还未正式开放,也许不久将来这个脚本会成为的一个产品。

CSND:在使用AWS的时间里,有没有什么经验可以分享的?

杨煜尧:竞价型实例便宜是便宜,但是并不稳定,因为价格实时在浮动。如果想使用竞价型,你的任务就要是可中断的,或者设置某种机制可以适应可中断,让任务尽量细粒度的网格化,这样就使用竞价型实例,另外就目前使用海外服务来看,还要求对网络速度不那么敏感才可以。

亚马逊提供了很多API,大家可以利用这些API,自己做一些事情,提高效率。

总的来说,要使用AWS云服务需要在配置、价格和网络三方面做平衡。

未来创业之路:创意和技术必须有一个

CSDN是不是可以分享一下之前Dummi Studio的产品?

杨煜尧:主要有Windows Phone平台应用APP FootMark和Jike Browser、Android app Lugo、基于微信平台企业内部管理系统、iOS 平台应用Tianlizi等。其中 FootMark荣获2011微软“创新杯”全球学生大赛中国区总决赛一等奖。

CSDN:未来对于创业是如何规划的?

杨煜尧:我对创业是有一种莫名的热情,希望和我的团队们一起干出一番事业。最近在做一个小课题,通过之前编写的的脚本,是不是可以让这个服务能够本来不能进行中断的任务定时或者按照某种方式去保存工作状态,在下次重启任务时读出工作状态继续运营任务,来解决那些无法可中断的任务来使用这种竞价型实例,从而完成大规模自动化的运维。这是目前的想法,暂时还没有落地的。

未来创业还没有具体的方向,我们团队能够做好产品,但是运营方面有所欠缺,也希望能够找到合适的合作伙伴。未来希望做到两点中的一点,要么将一个很好的创意付诸于产品,要么就是产品有很高的技术含量,通过技术壁垒来取胜,未来希望能够做到其一。

0
0
  • CSDN官方微信
  • 扫描二维码,向CSDN吐槽
  • 微信号:CSDNnews
程序员移动端订阅下载

微博关注