精华内容
下载资源
问答
  • 人工智能赋能“4C能力”培养的路径分析与实践探索——以IBM Watson系统为例.pdf
  • 作为一个性能强大的平台,只能说这个解约理由太憋屈,可又是那么的理所当然!...据了解,在2013年10月,IBM宣布德克萨斯大学癌症中心MD Anderson正在使用IBM Watson认知计算系统共同消灭癌症;梅奥诊...

    作为一个性能强大的平台,只能说这个解约理由太憋屈,可又是那么的理所当然!

    近年来,在人工智能+医疗方面,IBM的认知平台Watson可谓是“当红炸子鸡”,参与了多个医疗项目。

    只因太烧钱!在智能医疗无往不利的IBM Watson面临解约困境

    据了解,在2013年10月,IBM宣布德克萨斯大学癌症中心MD Anderson正在使用IBM Watson认知计算系统共同消灭癌症;梅奥诊所(MayoClinic)在通过IBM Watson进行概念试验,以更快速、高效地给患者提供合适的临床试验;泰国康民国际医院采用IBM Watson认知计算在曼谷研究中心提高癌症治疗质量。此外,在2015年,IBM曾宣布,克利夫兰医学中心、奥哈马市弗雷德与帕梅拉·巴菲特癌症中心等14家机构将于那年年底Watston系统,以根据病人肿瘤的基因指纹制定出适合的治疗方案。

    从种种“战绩”来看,Watson在智能医疗领域的地位可以说是无可撼动的了。然而,就在近日,这位“王者”却遭到了一个极大的挫折——与世界顶级癌症研究机构MD Anderson解约。

    在宣布暂停与IBM的合作项目时,MD Anderson也坦露,自去年年底开始,他们就在寻求新的供应商,以替代Watson系统。

    至于此次解约事件的个种原因,则由德克萨斯大学的一位审计员给出,在一份报告中,他指出,与Watson的合作项目已经超支6200万美元,但仍未达成目标。不过,大家也不要想太多,这个解决理由并没有否定Watson系统的强大性能。所以说,这一次Watson系统面临解约困境,最终要怪只能怪它太烧钱了!


    原文发布时间: 2017-02-21 07:41
    本文作者: 韩璐
    本文来自云栖社区合作伙伴镁客网,了解相关信息可以关注镁客网。
    展开全文
  • 8月11日,IBM Watson将使用开放源代码R扩展,目的是给数据科学家提供更多认知计算。 Columbus Collaboratory,是一家位于俄亥俄州的分析和安全公司,这家公司是由七家企业共同创办,其中包括CardinalHealth、...

    8月11日,IBM Watson将使用开放源代码R扩展,目的是给数据科学家提供更多认知计算。

    Columbus Collaboratory,是一家位于俄亥俄州的分析和安全公司,这家公司是由七家企业共同创办,其中包括CardinalHealth、Nationwide和 American Electric Power,目标是开发分析和安全软件。

    Columbus Collaboratory所推出的CognizeR on GitHub,旨在通过R语言的扩展,简化对Watson的使用。即通过R扩展,数据科学家将能够在不离开他们的R应用程序的前提下使用Watson的人工智能服务。R是一种编程语言,用于对数据集进行统计和分析。

    CognizeR将包含Watson Language Translation、Personality Insights、Tone Analyzer、Speech to Text、Text to Speech和Visual Recognition。IBM希望收集数据科学家的反馈以改进Watson。






    原文发布时间为:2016年8月12日 
    本文作者:作者:赵东
    本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
    展开全文
  • Watson机器人产生于IBM的Watson研发中心,...3,问答系统部分 硬件部分这里不重点讨论。 语音识别部分:IBM在90年代开始做ViaVoice,产品推出也很多年了,不过在Watson机器人中以及Watson研发中心的一些关于医疗,...

    Watson机器人产生于IBM的Watson研发中心,机器人短期的主要目标是回答Jeopardy! 竞赛的问题。并期望以此作为起点,研发出一个稳定的,有扩展性的机器人基础架构,来为后续的商业应用做准备。

     Watson机器人分为三大部分

    1,  硬件部分

    2,  语音识别部分(语音转文字,文字转语音)

    3,  问答系统部分

    硬件部分这里不重点讨论。

    语音识别部分:IBM在90年代开始做ViaVoice,产品推出也很多年了,不过在Watson机器人中以及Watson研发中心的一些关于医疗,保险等商业软件中,语音识别部分主要是由Nuance公司提供。

    Watson机器人研发力量主要集中在自动问答系统里面。这部分由该研发中心的DeepQA项目组负责。

     

    DeepQA项目组有大概40多个研发人员,主要分为下面几个小组:

    l  算法小组(负责各NLP模块和其他模块的算法)

    l  策略小组(处理流程和处理策略)

    l  系统小组(硬件使用和接入,系统效率提升)

    l  语音小组(语音接入)

    l  注释小组(标注语料库,扩展机器人理解范围)

    l  中国研究实验室(本体,元数据,语义网络和知识表示方面的研究)

    l  东京的研究实验室(文本挖掘,文本抓取,半结构化信息使用)

    l  海法的研究实验室(各种信息检索算法)

    下面详细介绍DeepQA项目。

    1.    目标

    目前我们获取知识的途径主要依赖搜索引擎,搜索引擎通过关键词能找到大量的文档,但缺少对找到的文档内容进行进一步分析的能力,可以说获取的知识并不够准确,给用户提供知识的效率也需要提高。

    DeepQA项目先要做好基础架构,所以先做成了开放领域的自动问答,以便未来能够更好的适应各个专业领域的知识。目前机器人已经可以像人类专家那样快速的,准确的回答竞赛中的问题了,而且问题的范围可以很广。不过由于竞答类问题的局限,在扩展到各个专业领域时还是需要进行细节上的改动。不过整体架构应该变化不大。

     

    DeepQA机器人未来可能对下面这些行业有所发展:

    l  法律咨询

    l  金融保险咨询

    l  商业咨询

    l  商业智能

    l  知识挖掘

    l  企业知识管理

    l  客户支持

    l  信息安全

    l  ……

     

    需要用到的具体技术有:

    l  词法分析

    l  句法分析

    l  问题分类

    l  问题分解

    l  资源的获取和评价(知识获取和知识置信度评价)

    l  句子中逻辑形式的标注(施动,受动;主语,宾语)

    l  知识表示

    l  本体

    l  本体关系检测

    l  推理

    l  ……

    2.    问答部分的处理模块和流程

    DeepQA主要有两部分:

    l  知识获取

    获取结构化的,半结构化的信息,选取其中置信度高的做为知识。这部分第三章介绍

    l  自动问答

    用户输入问题,机器人给出答案。

    自动问答部分的各个模块和处理流程如图1,主要做了下面这些工作:

    1.       对用户的问题进行词法分析,句法分析,问题分类,实体识别,各种语法语义标注,角色标注,答案类型分析等

    2.       判断问题的多个子问题之间的关系,是否分解成多个问题并行处理或应用其他处理策略

    3.       在对答案库进行搜索后,抽取出可能的答案,替换到问句中组成陈述句类型的假设集(把答案填充到问题的疑问部分,改为陈述句)

    4.       过滤掉一部分可能性不高的假设

    5.       以样例库为标准,综合检验各个假设的置信度有多高,并给出置信度值

    6.       综合各种渠道的信息,总的给各个答案一个排序。

     

    由于期望建立一个扩展性比较好的基础架构,在问答部分的处理流程中,几乎包括现有的所有NLP技术,各种技术有的作为基础,有的从不同的角度给出答案的置信度,最后综合各个角度得来的判断,给出结论。下面对这几部分分别介绍。

    IBM <wbr>Watson机器人算法介绍
     

     

    2.1            问题分析(Question Analysis)

    问题分析部分做了很多NLP相关的基础工作,比如:

    l  词法分析,词性标注,实体标注,本体识别

    l  浅层深层句法分析(主语,谓语,宾语;修饰;搭配;各子句之间的关系)

    l  指代标注(句子中的代词各自指向的内容)

    l  逻辑结构,语义角色标注(施动,受动)

    l  关联关系标记(能够明确关系的本体部分标记出来)

    l  ...

    这些部分的算法在这里不详细介绍了。

    2.1.1     问题分类

    问题的类型有:

    l  问逻辑

    l  问定义

    l  数学问题

    l  ……

    如果一个问题由多个子句组成,还需要对各个子句进行分类,有的类型的子句需要特殊处理,比如:现任美国总统  à  奥巴马。 在加州的东北面   à   **州

    这类子句问题可能需要从本体关系知识库中查询。

     

    问题的分类使用的是常见的基于统计的自动分类算法,通过各种问题的不同特征的表现,来判断具体问题属于什么类别。

    能用到的特征有:

    1,  有多种意思的关键词

    2,  语义明确的词组,短语

    3,  修辞,指代等手法表达的内容

    4,  从句法结构中总结出来的特征

    5,  语义标注和其他逻辑关系中总结出的特征

    6,  ……

     

    2.1.2     LAT标注和疑问焦点提取

    LAT: Lexical Answer Type,通过问题中的词或者短语来确定答案的类型,比如:(红色部分标注为LAT)

    Clue: Invented in the 1500s to speed up the game, this maneuver involves two pieces of the same color.

    Clue: Though it sounds “harsh,” it’s just embroidery, often in a floral pattern, done with yarn on cotton cloth.

     

    LAT有:

    l  it(问物)

    l  He(问人)

    l  country(问国家名)

    l  city(问城市名)

    l  ……

    大约不到50%的问题中可以找到LAT,具体LAT的出现概率见图2:

     

     

     

     


    IBM <wbr>Watson机器人算法介绍

     

     

     

     

     

     

    在LAT标记出来后,问题的焦点也就比较容易找到了。

     

     

     

     

     

    问题的焦点:如果把答案替换了焦点部分,新句子是个独立完整的陈述句。焦点很多时候包含对答案有用的信息,经常作为线索中的主语或者宾语出现,并且当用一个答案来替换的话,可以组织成一个事实陈述句。

    举例:(红色部分为疑问焦点)

    l  This title character was the crusty and tough city editor of the Los Angeles Tribune.

    l  When hit by electrons, a phosphor gives off electromagnetic energy in this form.

    l  Secretary Chase just submitted this to me for the third time; guess what, pal. This time I’m accepting it.

    2.1.3     实体间的关系检测(语义网络应用)

    问题中包含的关系:

    1,  句法关系(主语,谓语动词,宾语)

    由句法分析得出。

    2,  语义关系(本体间关系)(语义网络)

    watson有一个三元组库(本体关系库)用以处理语义方面的替换,推理,查询等。方法参考SPARQL语言的介绍。SPARQL是目前国际上通用的语义网络查询和推理语言,主要应用在OWL形式的本体库和RDF形式的本体库。在开放域的QA中,语义关系比较分散,对问答的贡献比较低。

    watson的本体库主要来源于Dbpedia等开源本体组织。

     

    语义网络

    语义网络通过概念和其他概念之间的关系来定义概念的语义。概念间的关系可以组织成图,图中的节点表示概念,连接表示关系,连接上的标注表明了关系类型如图3。IBM构建了一个语义网络的应用。参考:(http://www.ibm.aqui.com)

    当用户的问题是复句,包含多个子句的情况下,机器人需要将问题进行分解。目前主要支持两种情况的复句,

    1,  多个子句是并列关系

    这类问题包含多条线索,如果试图从一句话中匹配到这多条线索很困难。每条线索分别匹配,寻找公共的答案,很大程度上就是问题最终的答案

    2,  递进关系

    有的问题的两条线索有递进关系,第一条线索的答案替换这个问题和下一条线索组合成新问题,答案比较容易找到。比如:和美国没有建交的国家有4个,其中的一个在远东。新问题:不丹,古巴,伊朗,朝鲜这四个国家哪个在远东。

    2.3            假设句子集的总结(Hypothesis Generation

    先从答案库中检索出可能出现答案的文档,再对候选答案进行总结。问题线索分析可以从下面这几种角度考虑:

    1.       Topic

    2.       难度

    3.       句法结构

    4.       答案类型

    5.       ……

    具体的流程如下:

    l  搜索系统资源 + 答案抽取 --> 候选答案集

    l  候选答案  填充到  问题中   --> 假设句子集(问题变为陈述句)

    l  证明这些  Hypothesis  是不是对的(confidence)(这部分2.4中介绍)

    2.3.1     答案搜索

    模块采用了多种搜索相结合

    1,  文档搜索(lucene...)

    2,  知识库三元组搜索(SPARQL)

    3,  多个query,通过填充来形成单个问题(递进关系的复句)

    4,  其他搜索策略

    2.3.2     候选答案总结

    候选答案的选取需要:

    1,  命名实体检测

    2,  逻辑成分,语义关系标注

    3,  三元组中的关系

    问题的答案一般是陈述句,一句中包含一个或多个本体,需要判断陈述句中的哪个部分可能是答案(大部分答案是本体,在句子中作主要成分)

     

    通过前期的这些标注,结合问题的类型,答案的类型,在候选的答案文档中抽取出具体的答案来。

     

    在候选答案集得到后,将这些候选答案填充到原始问题中,得到假设句子集。

    2.4            假设和检验

    通过搜索实例库(Evidence Sources),看这些假设是不是有evidence支持。搜索策略结合了各种方法,比如:

    1,  对比相同关键词个数

    2,  计算字符串最大交集

    3,  对比逻辑格式是否一致

    4,  是否和三元组知识库中的信息一致或矛盾

    5,  时间上,时间先后顺序这类逻辑上有没有矛盾

    6,  空间关系上是否匹配

    7,  ……

    通过这一系列策略,给出每个假设的置信度。这部分结合了信息检索和自动分类的算法。由信息检索计算字符串方面的值;由自动分类算法,综合这些来源的信息(作为特征),给出置信度的可能区域。

     

    所以这部分算是有一定的自学习能力。

     

    在系统结合了多个子句的答案后,综合考虑得出最终答案以及最终置信度。

    3.    知识获取和知识表示

    3.1 结构化内容获取

    现在互联网中也已经整理好了很多结构化的信息,比如:

    l  开放的Ontology库

    l  Wikipedia中的infobox信息

    l  Dbpedia提供的各类结构化信息

    l  ……

    这些知识一般可以总结为:【主本体】 <关系> 【辅助本体】 这样的三元组。DeepQA爬取和整理很多这类的三元组用来直接获取候选答案,替换子句的问题,确定答案类别等方面。

    3.2 半结构化内容获取

    机器人选择一些比较可信的文档作为种子,通过互联网,检验种子文档中的信息,对种子文档进行扩充。

     

    Nugget定义:

    1,  通常Nugget是一个事件,或者实体(本体)

    2,  每个Nugget包含两部分:锚(Anchor围绕的核心)和内容

     

    锚的定义:

    1,  要么是实体的中心名词

    2,  要么是实体的中心动词(当句子中有多个实体时,选择主语做锚)

     

    举例:

    The girl working in the bookstore in Hollywood talked to the diplomat living in Britain.

    可以分解成多个Nuggets,如下:

    l  [girl] working at the bookstore in Hollywood.

    l  [girl] working at the bookstore.

    l  [bookstore] in Hollywood.

    l  Girl [talked] to the diplomat living in Britain.

    l  Girl [talked] to the diplomat.

    l  [diplomat] living in Britain

    方括号中的部分为锚

     

    通过上面的介绍,就可以了解。每次机器读取一句话,就把它分解成多个Nuggets,然后在Evidence库中去计算这些Nugget的置信度,如果可信,就增加到现有的知识库中来。

    1,找一个种子文档,从web检索相关文档

    2,抽取各个nuggets

    3,计算哪些nuggets对种子文档有用

    4,整合最有用的nuggets到语料库中

    通过这种方法,可以让机器人的知识库达到一种全自动扩张的效果,当然,种子文档的选择很重要,这些文档是知识扩展的初始化信息,对后续扩展的方向有直接的作用。

     

    Reference

    1,  “Building Watson: An Overview of the DeepQA Project”

    2,  “Text Comparison Using Machine-Generated Nuggets”

    展开全文
  • 摘要:本文分析IBM Watson在技术架构上所面临的问题及解决办法,总结了人工智能平台在走向产品化需要面对的诸多挑战。最后提出了以云计算PaaS容器服务平台为基础,上层使用SaaS的服务架构来搭建企业级AI平台,是技术...

    摘要:本文分析IBM Watson在技术架构上所面临的问题及解决办法,总结了人工智能平台在走向产品化需要面对的诸多挑战。最后提出了以云计算PaaS容器服务平台为基础,上层使用SaaS的服务架构来搭建企业级AI平台,是技术上可行也是较经济的一种解决方案。

    前言

    2016年被认为是人工智能的元年,随着AlphaGo战胜韩国棋手李世石,人工智能产业彻底站到了风口上。然而人工智能研发团队的核心技术人员通常都是掌握了某些核心算法的科学家,他们对于平台的架构设计,工程实施并不一定经验丰富。 如何基于核心AI能力搭建出一套可持续运营又具有业务成长性的企业级AI平台呢? 笔者以IBM的 Watson为案例,来分析架构设计上需要考虑的方方面面。

    Watson解决那些问题?

    IBM的Watson在2011年在美国危险边缘(Jeopardy)真人秀中以77147分的成绩战胜两位人类选手赢得100万美金头奖而一举成名。在这个故事背后,IBM解决了那些人工智能领域的问题呢?我们先来看看 Jeopardy这个节目的竞赛规则。作为美式智力问答节目,Jeopardy的题目由若干词条或短句组成,让竞赛者找出这些线索所描述的人或事物,答案需要以提问的形式提供给主持人。 例如题目问“在扑克牌游戏中,五张同一花色顺联的牌” 。 选手的正确回答是“什么叫同花顺”?这就要求参赛选手要有知识的广度和抢答的反应速度,并且还需要有脑筋急转弯的联想归纳能力。Watson能在不联网的情况下,处在人类日常的环境当中,去理解、抢答、赢得比赛,主要在人工智能3个领域取得突破:

    1. 理解自然语言的能力。虽然在比赛中Watson为了提高理解的精确度关闭了语音翻译功能,使用文本作为输入方式(游戏规则允许选手阅读显示屏上的问题,所以并不算Watson违规),但它仍然需要准确的解读人类措辞含糊的提问。
    2. 非结构化数据的处理和机器学习能力。接下来Watson要从百科全书般浩繁的文档中学习储备知识。
    3. 快速运算。在比赛中从知识库中找到备选项, 通过复杂的判断逻辑从备选项中选择正确度最高的答案。要达到超过人脑的推理运算速度,快速准确的用人类语音给出最终答案。

    Watson是如何运行的?

    从赛后Watson研发团队DeepQA在人工智能领域顶级刊物AI Magazine上的公布论文《Building Watson: An Overview of the DeepQA Project》 (参考1)和维基百科(参考2 ) 上的内容, Watson问题分析的工作流程如图1:

    图1

    图1

    因为国内已有介绍DeepQA这篇论文的文章(参考3),笔者就不详细展开。从上图看Watson的技术架构可以归纳如下(图2):

    图2

    图2

    • 问题生成模块:系统尝试了解问题是什么,并执行初步分析,以确定问题将如何由系统的其余部分处理。首先分析问题,对问题的类型,回答方式等进行分类,再把问题分解成一系列假设可能的子问题。
    • 答案生成引擎: 对于输入的假设,在答案源进行搜索、过滤掉评分过低的备选答案、根据备选答案搜索证据、最终把备选答案和证据合并汇总到统一的数据模型中。可以说这是Watson最具挑战的部分,因为:
      • 第一,答案的准确度必须很高,单一分析算法很难达到要求。DeepQA团队通过漫长的实验和摸索最终选择了上百种算法从不同的维度分析备选答案,如类型、时间、空间、流行度、来源可靠度、语义相关度等。每种分析都产生一些特征和评分,如何融合不同维度的分析结果并给出评分是一个巨大的挑战。
      • 第二,计算答案的时间很短。人类选手几秒就能思考出答案并做出抢答动作。而Watson要执行多步计算:把问题分解成N个假设、每个假设又会去查询N多可能的证据、对N*N的查询结果进行合并、最后分析出答案。DeepQA团队承认最初Watson单机计算一个回答需要2个小时。

    为了应对挑战,DeepQA团队设计了非结构化信息应用程序框架(Unstructured Information Management applications 缩写 UIMA)。UIMA 对于非结构化文本分析定义了一套记录分析结果的通用分析数据结构Common Analysis Structure(CAS),使不同的算法可以共享对文本的分析结果。 另外,为了缩短Watson思考的时间,DeepQA团队设计了UIMA的异步扩展框架(UIMA-AS)用于将分析过程横向扩展到多台电脑异步并行处理。UIMA-AS使用JMS(Java Messaging Services)和ActiveMQ处理异步消息传递,使答案生成引擎可以方便地部署到多台服务器上并行处理并汇总分析结果。Watson在参加比赛时,基于UIMA-AS把90台IBMPower750服务器连接在一起,把思考时间缩短到3-5秒。可以说Watson主要创新并不在于创建某种新的算法,而是通过UIMA能够同时快速执行数百种成熟的语言分析算法,目前UIMA已经开源给Apache软件基金会,并成为它的顶级项目。

    • 答案决策模块。将对备选答案生成的成千上万的成绩保存在CAS数据结构中,汇总得到最终成绩和自信度。DeepQA团队使用Jeopardy以往比赛的题库和模拟题库训练出一系列的中间模型,统计出不同成绩和自信度的答案在题库中的正确率。 Watson使用中间模型统计出的正确率,筛选出最有可能的备选答案。
    • 游戏策略模块。依据Jeopardy游戏的规则,结合场上各个选手的比分,问题的难易度来为Watson制定最优的抢答策略。DeepQA团队通过历史比赛和模拟比赛的数据,针对不同的问题和场景,训练出一系列的中间模型,统计出在某种情况下采取何种策略最有利。
    • 学习&训练模块。DeepQA的工程师将近20T的各类文档,来源包括百科全书,词典,叙词表,新闻文章和文学作品等,存储在Hadoop的HDFS中。利用Hadoop的MapReduce引擎并行分析这些非结构化、半结构化和结构化的文档,分析结果以UIMA的数据结构存储在数据库中作为答案库和证据库供Watson比赛时查询和检索。

    Watson平台化的技术挑战在哪儿?

    借助Watson在智能问答领域的成功,IBM努力把它作为一个人工智能品牌推向商用。例如安装在汽上,回答驾驶员有关维修的问题,以及如何提供路况信息和发出安全警示。当汽车故障出现时,Watson可以告诉驾驶员什么地方出了问题, 是否需要预约去4S点修理。

    然而训练Watson赢得比赛是一回事,选择怎样的技术架构把Watson打造成能支持同时服务数以万计用户的AI平台,就是另一个问题。 以前述的汽车助手为例, 要构建一个企业级的AI交互问答平台, 就不得不考虑如下实际问题:

    1. 多租户带来的资源隔离。 对于企业用户而言,为了数据的安全性和平台的稳定性均要求对其数据,资源进行隔离不和其它使用者混用。
    2. 企业的需求不一,并且使用的服务不同,如何满足其定制化。
    3. 由于是新应用,企业客户更希望AI平台的计算能力能随着业务量的增长动态提升,让花的每一分钱都用到实处。
    4. 海量的数据存储需求。 大量人机对话产生的语音数据, 需要有廉价安全的存储方式来保存。

    什么样的技术架构能解决这些问题?

    笔者认为用基于PaaS的容器服务(Container As a Service 缩写 CaaS) + SaaS的架构能很好地解决上述问题。容器服务(CaaS)是一种基于容器的虚拟化形式,其中容器引擎,编排和底层计算资源作为云服务提供给用户。容器服务平台技术近两年已经发展得比较成熟,目前比较流行的实现方式是以Docker为容器化技术,Kubernetes为容器化的应用提供资源调度、部署运行、服务发现、扩容缩容等整一套功能。利用容器服务平台封装、隔离和部署灵活的特性,能很好的解决上述多租户带来的问题。结合云计算SaaS层的租户管理, API管理,计费管理等应用层能力,能很好的解决企业二次开发定制化的需求。PaaS平台对于DevOps的无缝支持以及基础资源(云存储、消息队列、RDS以及镜像),也使问题3和4的解决变得非常容易。完整的企业级AI平台技术架构如下(图3):

    这里写图片描述

    图3

    1. SaaS应用平台作为和用户的交互界面,负责将AI平台的能力和用户对接。根据AI平台的业务特点,自研发用户管理,计费管理,以及对用户资源的管理模块,研发基于OAUTH, RESTful的 OpenAPI平台。
    2. SaaS平台还要对AI平台的研发和日常监控进行支撑。 搭建AI平台的运营监控和代码管理系统。
    3. PaaS提供平台基础资源。提供RDS,既存放AI平台共享的知识库和训练模型,也存放租户自定义的数据内容;提供云存储,放置各类结构化和非结构化的文档资源,人机对话产生的巨大存储需求也有很好的解决方案;提供消息队列,用于支撑类似于UIMA-AS横向扩容时并行计算的消息传递;提供镜像管理(包含虚机的基础镜像管理和容器服务的容器镜像管理),用于存储各AI子系统模块最新的Docker镜像。
    4. PaaS自身支持DevOps。负责平台的代码和软件更新, 通过DevOps推送到PaaS平台的镜像仓库中,交由容器服务平台自动进行升级和回滚。
    5. 基于PaaS的容器服务平台,在部署编排模块的管理下,从PaaS的镜像中获取相关容器镜像,为每个租户部署一套完整的AI生产环境。容器调度模块结合PaaS平台的基础监控,根据租户的资源运行情况,对运行实例进行动态调整。配置管理模块统一管理各租户内部子系统的配置。网络管理用于协调租户内部和外部云平台之间的网络路由和流量分配。
    6. 学习和训练环境也部署在容器服务平台。 因为AI的训练和学习时间不固定,没有必要占用大量资源。在需要时申请,完成计算后释放,能有效得节省计算资源的使用。
    7. 对于每个租户,通过容器服务平台创建完整的Watson系统。容器化的问题生成,答案生成引擎,和答案决策模块可在容器服务平台里动态伸缩,达到资源的合理利用。

    总结

    随着以Docker和Kubernetes为代表的容器服务技术日益走向成熟,企业利用PaaS容器化平台+SaaS的架构搭建自己的业务平台已经进入了实践阶段, 国内已经涌现出了一些用私有云的容器服务平台搭建自身业务平台的成功案例(参考4)。目前公有云服务商Azure、AWS、Google和阿里云等都纷纷基于自己的PaaS平台推出了类似CaaS的产品。 这种架构设计利用云平台动态伸缩的优势降低AI平台的初始资源投入,同时保证平台后续没有资源方面的瓶颈,是一种可行的AI平台架构设计解决方案。另一方面,我们也应看到该方案的局限性,对于需要实时使用大量硬件资源(如GPU)的AI应用场景,容器服务化并不能解决全部问题。

    参考资料:

    1. 《Building Watson: An Overview of the DeepQA Project》, 作者DeepQA, https://www.aaai.org/Magazine/Watson/watson.php
    2. 《Wiki百科 Watson (computer)》 词条, 作者 wiki百科, https://en.wikipedia.org/wiki/Watson_(computer)
    3. 《Watson的独特“思考”》, 作者 Baiyuzhong,《程序员》杂志2012年9期, http://history.programmer.com.cn/13468/
    4. 《基于容器技术的平台化SaaS软件设计与实践》,作者 周悦秋,CNUTCon 2016,http://www.infoq.com/cn/presentations/saas-platform-software-based-on-container-technology

    作者介绍:李祎,曾担任惠普云部门(Cloud BU)解决方案架构师,卓望信息技术公司负责移动旗下网站www.139.com 、shop.10086.cn、pim.10086.cn系统架构,源讯(Atos Origin)开源软件专家全程参与2008奥运IT集成项目。现就职于奥博杰天技术有限公司担任解决方案架构师,公司卓越技术委员会(TEC)成员。关注PaaS应用,云迁移等云计算领域的新技术和新产品应用。

    展开全文
  • 使用IBM Watson的NLP服务构建的简单问答系统。 概述 在这个项目中,您将使用IBM Watson的NLP服务来创建一个简单的问答系统。 您将首先使用发现服务来预处理文档收集并提取相关信息。 然后,您将使用“对话”服务来...
  • 说起智能医疗,不能不提或者说最让大家印象深刻的便是2007年由美国IBM研发的沃森(Watson)智能系统,毕竟该系统第一步商业化的运作就是在医疗领域。比如,通过医生的自然语言,它可以快速搜索数百万医疗记录、期刊...
  • 当开发的软件发布以后,在客户那运行时可能会因为各种原因导致程序退出...Windows系统为此提供了解决方案:Dr.Watson工具。Dr.Watson也算是一个小巧的调试器,32位的版本名字是drwtsn32.exe。可用于当系统中有进程发生
  • 在该项目中,该项目是Udacity纳米程序的一部分,研究了四种不同的针对IBM Watson Studio平台上的真实数据的推荐系统: 基于排名的推荐。 基于用户-用户的协作过滤。 基于内容的建议。 矩阵分解。 包装 该项目是...
  • 本文转载,实战:结合Dr.Watson系统日志和Vc6来定位多线程环境下程序异常退出的错误 www.firnow.com 时间 : 2008-10-08 作者:佚名 编辑:本站 点击: 830 [ 评论 ] 当开发的软件发布以后,在客户那运行时可能会...
  • 人事管理系统java源码混合银行演示 ...Watson API 并演示了移动集成功能。 现在数据是模拟的并存储在服务器端文件中。 在真正的混合环境中,数据将驻留在本地数据库系统中,反馈管理器应用程序将在 Blue
  • IBM Watson简介

    2013-04-03 14:21:34
    关于IBM智能机器Watson的一个介绍性PPT,主要介绍Watson的背景、目标、所完成的任务、设计思想和实现框架。介绍了DeepQA在人际智力竞赛中的应用成果。这个幻灯片是在北京大学一项本科生课程上科普Watson所采用的讲义...
  • 受IBM Watson和START的启发。 我们目前专注于提高提取答案的准确性。 在上关注创作者的博客,获取最新进展。 入门 Elasticsearch被用于存储和索引来自维基百科的报废和解析的文本。 Elasticsearch 7.X安装指南可在...
  • 当开发的软件发布以后,在客户那运行时可能会因为各种原因导致程序退出。...Windows系统为此提供了解决方案:Dr.Watson工具。Dr.Watson也算是一个小巧的调试器,32位的版本名字是drwtsn32.exe。可用于当系统中有
  •   来源:大数医达   被称为“认知计算”革命性代表的IBM Watson从诞生那一刻...近日,坊间传言IBM Watson健康部门将裁员50%-70%,甚至也有传言说,整个健康部门将被关闭,所有员工要么辞职要么转岗。IBM W...
  • 当开发的软件发布以后,在客户那运行时可能会因为各种原因导致程序退出。...Windows系统为此提供了解决方案:Dr.Watson工具。Dr.Watson也算是一个小巧的调试器,32位的版本名字是drwtsn32.exe。可用于当
  • Watson 学习指南 以下 Watson 认证考试的一页学习指南: 认证考试涵盖构建使用 Watson 服务的应用程序的所有方面。 这包括对认知技术的基本了解,以及核心 API 的实践知识。 快速了解这些资源: 本文档的目的是对 . ...
  • 曾经是公众心目中“人工智能”代名词的IBM Watson,在近4年砸下几百亿美元的研发投入后,前景反而愈发暗淡。医生抱怨Watson给出错误判断,多家医院终止了与Watson肿瘤相关项目,Watson真的能治病吗? 近日,外媒...
  • Deep QA(IBM Watson

    2018-07-21 20:28:52
    IBM Watson是认知计算系统的杰出代表,也是一个技术平台。认知计算代表一种全新的计算模式,它包含信息分析,自然语言处理和机器学习领域的大量技术创新,能够助力决策者从大量非结构化数据中揭示非凡的洞察。Watson...
  • 最新系统漏洞2021年10月21日 受影响系统: IBM Advisor Advisor Watson App 1.1<= Version <=2.5 描述: CVE(CAN) ID: CVE-2021-20380 QRadar Advisor with Watson可以自动生成日常的SOC任务,发现调查中的...
  • Watson 开发人员认证学习指南 以下 Watson 认证考试的一页学习指南: 认证考试涵盖构建使用 Watson 服务的应用程序的所有方面。 这包括对认知技术的基本了解,以及核心 API 的实践知识。 快速了解这些资源: 本文档...
  • IBM 面向教育的数据分析方法即将开发的一项发展是认知学习系统。 人类和机器可以通过将自然语言处理和机器语言一起使用的技术相互交流。 目前,许多学生在没有任何目标的情况下为求学而奋斗。 从这个意义上说,认知...
  • Watson 开发人员认证学习指南 以下 Watson 认证考试的一页学习指南: 认证考试涵盖构建使用 Watson 服务的应用程序的所有方面。 这包括对认知技术的基本了解,以及核心 API 的实践知识。 快速了解这些资源: 本文档...
  • 2014中国大数据技术大会首日全体会议上,IBM大中华区系统与科技事业部杰出工程师李永辉发表了演讲“IBMWatson大数据与分析平台:技术评论”。Watson得名于IBM创始人ThomasJ.Watson,在2011年IBM100周年之际,Waston...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 10,841
精华内容 4,336
关键字:

watson系统