订阅业界RSS CSDN首页> 业界

真正神乎其技的图形化编程:MIT推出面向大众编程语言Sikuli

发表于2010-01-25 09:48| 次阅读| 来源solidot| 0 条评论| 作者

摘要:MIT设计了一种新颖的图形脚本语言Sikuli,计算机用户只须有最基本的编程技能(比如会写print"hello world"),他不需要去写出一行行代码,而是用屏幕截图的方式,用截出来的图形元素组

MIT的研究人员设计了一种新颖的图形脚本语言Sikuli,计算机用户只须有最基本的编程技能(比如会写print"hello world"),他不需要去写出一行行代码,而是用屏幕截图的方式,用截出来的图形元素组合出神奇的程序

根据MIT研究人员的论文(PDF)描述,使用者只要对Python语言有基本的了解,Sikuli可以利用图形用户界面的截图元素自动的完成大多数编程任务。用研究人员的举的例子来说,就好象巴士正在转过街角,脚本能通知乘客,好让他及时赶上。

在上世纪80年代以前,要使用电脑软件需要记住大量的命令才完成相应的任务。但随后出现了GUI(图形用户界面),使用者只需要借助直观 的按钮或其他视觉元素即可操作软件。但GUI的出现并没有给程序员带来便利,他们仍然需要借助代码来实现相应的功能。如果要让不同的软件相互配合,也同样 要进行代码调用。

而麻省理工学院开发的Sikuli项目则可以使得这一过程变得更加简单,只需要略懂一点编程语言即可完成简单的编程和程序间的调用。利用 Sikuli,用户要使用其他的界面元素,或调用其他程序,不必输入代码,只需要插入相应的按钮或图标截图即可。

例如,当编程人员想要编写一个脚本,实现如下功能:当上班时所乘坐的公交车到达某一站时,自动向手机发送一条提示信息。如果是在以前,需 要对相应的坐标进行确定,并通过文本的方式将其编写成代码。而如果在当地公交网站上有一个通过谷歌地图绘制的公交路线图,而且上面有活动的路标,那么编程 人员便可将路标移动到需要发送短信的位置,并进行截图。这样一来,只需要将该截图插入到If之后,即可设定好条件语句,从而触发特定的信息。当然,这同样 需要具备一些基本的编程基础。

当用户需要调用其他程序时也可以使用这一功能,例如,需要调用其他程序上的某个功能,则只需要将该功能所对应的按钮截图插入到代码中对应 的位置即可。

除了方便编程外,该技术还可以用于进行大规模的程序测试。例如,测试某一按钮是否正常工作。这时,通过Sikuli来调用待测试的按钮便可节约 大量时间。

此外,Sikuli还可用于可视化搜索。例如,对生活中的某一事物拍摄照片,即可搜索相关的信息;或是在某一地区迷路,只要将周围环境的照片上 传到搜索引擎,便可得到相应的地理位置。谷歌此前推出的Goggles也具备了类似的功能。

据麻省理工学院的研究人员介绍,Sikuli的工作模式与人眼一样,直接识别图像,而不是底层代码,因此因此不会产生不兼容的问题。 Sikuli在墨西哥维乔印第安人(Huichol Indians)的语言里是上帝之眼的意思。

这个项目的主创人员之一是来自台湾的张琮翔,他也是著名的技术博客系列追求神乎其技的程序设计之道的作者。

附:视频演示

【更新】

张琮翔在自己的博客里发表文章,谈到Sikuli得到媒体和网友关注后的心情,并比较详细地讲述了开发过程。

0
0
真正神乎其技的图形化编程:MIT推出面向大众编程语言Sikuli