精华内容
下载资源
问答
  • Hadoop生态圈-Knox网关的应用案例  作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。     一.Knox网关简介 p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px "Helvetica Neue";...

                   Hadoop生态圈-Knox网关的应用案例

                                         作者:尹正杰

    版权声明:原创作品,谢绝转载!否则将追究法律责任。

     

     

    一.Knox网关简介

      据Knox官网所述(http://knox.apache.org/):Apache Knox Gateway是用于与Apache Hadoop部署的RESTAPI和UI交互的应用程序网关。Knox Gateway为与Apache Hadoop集群的所有REST和HTTP交互提供一个单一的访问点。KNOX提供三组面向用户的服务:


        代理服务:Apache Knox项目的主要目标是通过代理HTTP资源提供对Apache Hadoop的访问。


        认证服务:对USTAPI访问以及UIS的WebSSO流进行身份验证。LDAP/AD基于头的PROAUTHKerberosSAMLOAUTH都是可用的选项。


        客户服务:可以通过DSL编写脚本或直接将Knox Shell类作为SDK来完成客户端开发。

     

     

      简单的说,Apache Knox Gateway是一款用于保护Hadoop生态体系安全的代理网关系统,为Hadoop集群提供唯一的代理入口。Knox以类似反向代理的形式挡在汲取你的前面,隐匿部署细节(例如端口号和机器名等),接管所有用户的HTTP请求(例如WEB UI 控制台访问和RESTful 服务调用),以此来保护集群安全。不仅如此,Knox还能担任认证网关的角色。如下图所示:

     

      Knox网关本质上是一款基于Jetty实现的高性能反向代理服务器,通过内置的过滤器链来处理URL请求,支持使用LADP进行用户身份认证。Knox网关在架构设计上具有良好的可扩展性,这种扩展性主要通过Service和Provider这两个扩展性框架来实现。Server扩展性框架还提供了一种网关新增的HTTP或RESTful服务端点的途径,例如WebHDFS就是以新建的Service的形式加入Knox网关的。而Provider扩展性框架则是用来定义并实现相应Service所提供的功能,例如端点的用户认证或是WebHDFS中的文件上传等功能。当我们使用Knox作为代理网关之后,大数据平台中Hadoop系统的逻辑拓扑就会变成如下图所示:

     

     

      更多关于Knox的知识请参考官网链接:http://knox.apache.org/。

     

    二.通过Ambari安装Knox服务

    1>.点击添加服务

     

    2>.选中Knox服务并点击下一步

     

    3>.将Knox Gateway服务和Ambar-server安装在同一台服务器上

     

    4>.输入认证密码 

    5>.预览配置信息,确认无误后,点击“Deploy”

     

    6>.安装成功后,点击下一步

    7>.安装成功后,点击完成

    8>.安装成功后,查看Knox的主界面信息

     

     

     

     

    三.LDAP介绍

      Knox网关的认证服务是支持LDAP进行用户身份认证的,那么什么是LDAP呢?LDAP(全称:“Weight Diretory Access Protocol”)是轻量级目录访问协议的简称。它是一种树形目录结构的轻量级数据库,能够提供快速检索能力。常用与存储企业内部组织机构与用户数据。

    1.什么是目录服务
    目录是一类为了浏览和搜索数据二十几的特殊的数据库,例如:最知名的的微软公司的活动目录(active directory)就是目录数据库的一种。目录服务时按照梳妆形式存储信息的,目录包含基于属性的描述性信息,并且支持高级的过滤功能。
    一般来说,目录不支持大多数事务性数据库所支持的高吞吐两盒复杂的更新操作。目录进行更新操作,可以说是要么全部,要么都不的原子操作,目录服务适合的业务应用在于提供大量的查询和搜索操作。
    为了保证目录数据的可用性和卡可靠性,她们在确保提供快速的查询和搜索操作的同事,还提供了主从服务器同步目录数据信息的能力,这相当于传统的Mysql数据库的主从同步一样,可以最大限度的确保基于目录业务的持续可用性。
    广义的目录服务概念,可以有多重不同的方式来提供目录服务,不同的目录所允许存储的信息是不同的,在信息如何被引用,查询,更新以及防止未经守群的访问等问题上,不同的目录所允许存储的信息是不同的,在信息如何被引用,查询,更新以及防止未经授权的访问等问题上,不同的目录的处理方式也有诸多的不同。一些目录服务时为本地的,只提供受限的服务,(比如,单机上的finger服务)。另一些服务时大范围的(global),提供广阔得多的服务(比如面向整个因特网)。大范围的服务通常是分布式的,这也就意味着数据是分布在多台机器上的,这些计数器一起来提供目录服务。典型的大范围服务定义一个统一的名称空间(namespace)来给出一个相同的数据试图(data view),而不管你相对于数据所在的位置。DNS是一个典型的大范围分布式目录服务的例子。
    
    2.什么是ldap
    LDAP是Lightweight Directory Access Protocol (轻量级目录访问协议)的缩写。正如它的名字所表明的那样,它是一个轻量级的目录访问协议,特质基于X.500的目录访问协议的简化版本。LADP运行在TCP/IP或者其他的面向连接的传输服务至上。LADP完整的技术规范由RFC2251 “The Lightweight Directory Access Protocol(V3)”和其他几个在RFC3377中定义的文档组成。我们不需要研究的那么深,因为我们又不会对它进行二次开发,我们运维只要能了解到它的目录结构,以及它的用法就OK了,因此我们可以用两句话总结以上内容:
    a>.LADP是轻量目录访问协议(Lightweight Directory Access Protocal)的缩写;
    b>.LADP标准实际上是在X.500标准基础 上产生的一个简化版本;
    
    3.什么是X.500
    X.500由ITU-T和ISO定义,它实际上不是一个协议,而是有一个协议族组成,包括了从X.501到X.525等一系列非常完整的目录服务协议。X。500主要具备以下特征:
    a>.分散维护
    运行X.500的每一个站点只负责人本地目录部分,可以立即更新和维护操作;
    b>.搜索性能
    X.500具有强大的搜素功能,支持用户建立的任意复杂查询。
    c>.单一全局命名空间
    类似于DNS,X.500为用户提供单一同性命名空间(Single Homogeneous Namespace)。与DNS相比,X。500目录中定义了信息结构,运行本地扩展。
    d>.结构化信息结构
    X.500目录中定义了信息结构,运行本地扩展。
    e>.基于标准的目录服务
    由于X.500可以被用于建立一个基于标准的目录,因此在某种意义上,请求应用目录信息(电子邮件,资源自动分配器,特定目录工具)的应用程序就能访问重要且有简直的信息。
    从技术上来说,LADP是一个到X.500目录服务的目录访问协议,X.500是一个OSI目录协议。最初,LADP客户单通过网关(gateway)访问X.500目录服务。在客户和网关之间运行LADP和X.500目录访问协议(Directory Access Protocol,DAP),而X.500目录访问协议时位于网关和X.500之间的。DAP是一个重量级的协议,在整个OSI协议栈上进行操作,而且需要占用大量的计算资源。LADP被设计的在TCP/IP层上操作,以小得多的代价实现了大多数DAP的功能。
    虽然LADP仍旧可以通过网关访问X.500目录服务器,但是现在通常都是在X.500服务器上直接实现LADP。
    单独的LADP守护程序sladp,可以被看做是一个轻量级的X.500目录服务器。也就是说,他没有实现X.500完整的DAP协议。作为一个轻量级的目录服务器,sladp实现的仅仅是X.500模型的一个子集。我们可以理解是LADP是X.500的一个简单的实现。
    
    4.LADP与X.500的相同点
    LADP是X.500标准中的目录访问协议DAP的一个子集,可用于建立X.500目录。因此这两个目录技术标准有着许多的共同之处:
    a>.在平台上,都实现了一个通用的平台结构,提供了一个操作系统和应用程序需要的信息服务类型,可以被许多平台和应用程序接收和实现;
    b>.在信息模型上,都是用了项,对象类,属性等概念的模式来描述信息;
    c>.在命名空间上方面,都是用了目录信息结构和层次命名模型;
    d>.在功能模型上,都使用了相似的操作命令来管理目录信息;
    e>.在认证框架方面,都可以实现用户名称和密码,或者基于安全加密方式的认真机制;
    f>.早灵活性上,他们的目录规模都可大可小,达到全球目录树,小到只有一台目录服务器;
    g>.在分布性方面,目录信息都可以分布在多个目录服务器中,这些服务器可以由各个组织管理,既保证了目录信息总体结构的一致性,又满足了分级管理的需要。
    
    5.LADP与X.500的差别
    a>.LADP基于Internet协议,X.500基于OSI(开放式系统互联)协议,建立在应用层上的X.500目录访问协议DAP,需要在OSI会话层和表示层上进行许多的建立连接和包处理的任务,需要特殊的网络软件实现对网络的访问;LADP则直接运行在更简单和更通用的TCP/IP或其他可靠的传输层协议上,避免了在OSI会话和表示层的开销,是链接的建立和包的处理更简单,更快,对于互联网和企业网应用更理性。
    b>.LADP协议更为简单,LADP继承了X.500最好的特性,同时去掉了它的复杂性,LADP通过使用查找操作实现列表方式和读操作,另一方面省去了X.500中神猫的和很少使用的服务控制和安全特性,只保留常用的特性,简化了LADP的实现。
    c>.LADP通过引用机制实现分布式访问,X.500 DSA通过服务器之间的链操作实现分布式的访问,这样查询的压力九中与服务器端;而LADP通过客户端API实现分布式操作(对于应用透明)平衡了负载;
    d>.LADP实现具有低费用,已配置和一管理的特点,经过性能测试,LADP比X.500㕛更少的响应时间;LADP提供了满足应用程序对目录服务所需求的特性。
    LDAP(全称“Weight Diretory Access Protocol”)目录服务介绍 

    1>.LDAP基本概念中常用名词缩写及含义

      LDAP通过定义schema模型来描述一个对象,模型中有一些重要的概念,也就是一系列常用名词缩写,如下图所示:

    2>.安装LDAP(安装测试的LDAP服务需要你的集群安装knox网关服务)

      Knox网关自带了一个用于测试LDAP服务,并定义好了一些用户,同时它所有的认证配置都默认指向这个测试的LADP。所以为了方便演示这里就直接使用这个测试的LDAP服务了。 

       2.1>.启动LDAP:

        登陆Knox网关所在的服务器,进入安装目录并执行启动脚本。

    [root@node101 ~]# hostname
    node101.yinzhengjie.org.cn
    [root@node101 ~]# 
    [root@node101 ~]# cd /usr/hdp/current/knox-server/bin/
    [root@node101 bin]# 
    [root@node101 bin]# ll
    total 144
    -rwxr-xr-x 1 root root    45 Oct 30  2017 gateway
    -rw-r--r-- 1 root root  1472 Oct 30  2017 gateway.cmd
    -rw-r--r-- 1 root root 23626 Oct 30  2017 gateway.jar
    -rwxr-xr-x 1 root root  6840 Oct 30  2017 gateway.sh
    -rw-r--r-- 1 root root  1024 Oct 30  2017 gateway.xml
    -rw-r--r-- 1 root root  1206 Oct 30  2017 knoxcli.cmd
    -rw-r--r-- 1 root root 23594 Oct 30  2017 knoxcli.jar
    -rwxr-xr-x 1 root root  1769 Oct 30  2017 knoxcli.sh
    -rwxr-xr-x 1 root root  1907 Oct 30  2017 knox-env.sh
    -rw-r--r-- 1 root root  1649 Oct 30  2017 ldap.cmd
    -rw-r--r-- 1 root root 23658 Oct 30  2017 ldap.jar
    -rwxr-xr-x 1 root root  6354 Oct 30  2017 ldap.sh
    -rw-r--r-- 1 root root  1059 Oct 30  2017 ldap.xml
    -rw-r--r-- 1 root root 23623 Oct 30  2017 shell.jar
    [root@node101 bin]# 
    [root@node101 bin]# ./ldap.sh  start
    Starting LDAP succeeded with PID 5642.
    [root@node101 bin]# 
    [root@node101 bin]# jps | grep ldap
    5642 ldap.jar
    [root@node101 bin]# 

      2.2>.登陆验证

        LDAP测试服务预置的用户信息有两种途径查看,一种是登陆Knox网关所在的服务器查看配置文件,配置文件地址是“/etc/knox/conf/users.ldif”,另一种是通过Ambari的配置管理查看,如下图所示:

      现在我们使用客户端工具链接到LDAP测试一下服务是否正确启动。市面上有很多免费到LADP客户端工具可以选择,这里推荐使用jxplorer。jxplorer是一款开源的LADP客户端工具,大家根据自己操作系统下载对应 的版本即可,下载地址为:http://jxplorer.org/downloads/users.html。注意,安装jxplorer时,需要安装jdk环境哟:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html。   

      安装jxplorer的过程很简单,我这里就不截图如何安装了。安装成功后打开jxplorer输入登陆信息,如下图所示,几个比较重要的信息如下:

        主机:node101.yinzhengjie.org.cn(这里也可以直接输入IP地址,根据的你环境输入相应的主机名称即可)

        端口:33389(这个端口可以在ldap服务端使用netstat名称查看)

        协定:LDAP v3

        基底DN:dc=hadoop,dc=apache,dc=org

        层次:用户 + 密码

        使用者DN:uid=admin,ou=people,dc=hadoop,dc=apache,dc=org

        密码:admin-password

        使用模板:点击存储自定义一个名称即可,下次可以直接选中这个模板链接对应的目录结构。

       登陆之后我们会看到LDAP里面已经预置了一些组和用户的数据了,如下图所示: 

     

     

    四.验证Knox网关

      由于使用了Knox网关自带的LDAP服务 ,所以我们无须更改它的配置便可以直接使用。作为代理网关,Knox将所有支持代理的RESTful服务和页面进行了一层地址映射。现在我们来测试一下YARN的RESTful服务,打开浏览器输入:“https://node101.yinzhengjie.org.cn:8443/gateway/default/resourcemanager/v1/cluster/apps”。这是YARN查看任务集群的RESTful服务接口。如下图所示,Knox网关需要进行登陆认证。

     

      输入用户名和密码进行认证登陆,认证通过之后我们如愿访问到数据了,如下图所示:

      接下来我们尝试访问YARN的Web UI控制台,Knox网关的默认配置中只代理了RESful接口,所以我们需要修改它的配置文件,添加想要代理的Web UI控制台。打开Ambari找到Knox网关的配置页面,选择Advanced topology配置项,在末尾添加YARN UI的配置,保存后需要重启Knox网关服务。

            <topology>
    
                <gateway>
    
                    <provider>
                        <role>authentication</role>
                        <name>ShiroProvider</name>
                        <enabled>true</enabled>
                        <param>
                            <name>sessionTimeout</name>
                            <value>30</value>
                        </param>
                        <param>
                            <name>main.ldapRealm</name>
                            <value>org.apache.hadoop.gateway.shirorealm.KnoxLdapRealm</value>
                        </param>
                        <param>
                            <name>main.ldapRealm.userDnTemplate</name>
                            <value>uid={0},ou=people,dc=hadoop,dc=apache,dc=org</value>
                        </param>
                        <param>
                            <name>main.ldapRealm.contextFactory.url</name>
                            <value>ldap://{{knox_host_name}}:33389</value>
                        </param>
                        <param>
                            <name>main.ldapRealm.contextFactory.authenticationMechanism</name>
                            <value>simple</value>
                        </param>
                        <param>
                            <name>urls./**</name>
                            <value>authcBasic</value>
                        </param>
                    </provider>
    
                    <provider>
                        <role>identity-assertion</role>
                        <name>Default</name>
                        <enabled>true</enabled>
                    </provider>
    
                    <provider>
                        <role>authorization</role>
                        <name>AclsAuthz</name>
                        <enabled>true</enabled>
                    </provider>
    
                </gateway>
    
                <service>
                    <role>NAMENODE</role>
                    <url>hdfs://{{namenode_host}}:{{namenode_rpc_port}}</url>
                </service>
    
                <service>
                    <role>JOBTRACKER</role>
                    <url>rpc://{{rm_host}}:{{jt_rpc_port}}</url>
                </service>
    
                <service>
                    <role>WEBHDFS</role>
                    {{webhdfs_service_urls}}
                </service>
    
                <service>
                    <role>WEBHCAT</role>
                    <url>http://{{webhcat_server_host}}:{{templeton_port}}/templeton</url>
                </service>
    
                <service>
                    <role>OOZIE</role>
                    <url>http://{{oozie_server_host}}:{{oozie_server_port}}/oozie</url>
                </service>
    
                <service>
                    <role>WEBHBASE</role>
                    <url>http://{{hbase_master_host}}:{{hbase_master_port}}</url>
                </service>
    
                <service>
                    <role>HIVE</role>
                    <url>http://{{hive_server_host}}:{{hive_http_port}}/{{hive_http_path}}</url>
                </service>
    
                <service>
                    <role>RESOURCEMANAGER</role>
                    <url>http://{{rm_host}}:{{rm_port}}/ws</url>
                </service>
    
             <service>
                    <role>YARNUI</role>
                    <url>http://{{rm_host}}:{{rm_port}}</url>
                </service>
    
    
                <service>
                    <role>DRUID-COORDINATOR-UI</role>
                    {{druid_coordinator_urls}}
                </service>
    
                <service>
                    <role>DRUID-COORDINATOR</role>
                    {{druid_coordinator_urls}}
                </service>
    
                <service>
                    <role>DRUID-OVERLORD-UI</role>
                    {{druid_overlord_urls}}
                </service>
    
                <service>
                    <role>DRUID-OVERLORD</role>
                    {{druid_overlord_urls}}
                </service>
    
                <service>
                    <role>DRUID-ROUTER</role>
                    {{druid_router_urls}}
                </service>
    
                <service>
                    <role>DRUID-BROKER</role>
                    {{druid_broker_urls}}
                </service>
    
                <service>
                    <role>ZEPPELINUI</role>
                    {{zeppelin_ui_urls}}
                </service>
    
                <service>
                    <role>ZEPPELINWS</role>
                    {{zeppelin_ws_urls}}
                </service>
    
            </topology>
    Advanced topology                 #点我查看完整的配置信息

      通过以上配置的修改并重启了Knox服务之后,现在我们再次打开浏览器输入:“https://node101.yinzhengjie.org.cn:8443/gateway/default/yarn”,就能看到YARN的Web UI管理控制台了,如下图所示:

      我们还可以继续修改Knox网关的配置加入更多的Web UI映射配置,例如,HDFS Namenode UI,Hbase UI,Spark UI。

              <service>
                    <role>HDFSUI</role>
                    <url>http://node101.yinzhengjie.org.cn:50070/webhdfs</url>
                </service>
    HDFS Namenode UI
              <service>
                    <role>HBASEUI</role>
                    <url>http://node101.yinzhengjie.org.cn:16010/</url>
                </service>
    HBase UI
             <service>
                    <role>SPARKHISTORYUI</role>
                    <url>http://node101.yinzhengjie.org.cn:8080/</url>
                </service>
    Spark UI

     

     

     

     

     

     

     

     

     

    展开全文
  • Hadoop生态圈-CDH与HUE使用案例  作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.HUE的介绍 1>.HUE的由来  HUE全称是HadoopUser Experience,看这名字就知道怎么回事了吧。没错...

                Hadoop生态圈-CDH与HUE使用案例

                                       作者:尹正杰

    版权声明:原创作品,谢绝转载!否则将追究法律责任。

     

     

    一.HUE的介绍

    1>.HUE的由来

      HUE全称是HadoopUser Experience,看这名字就知道怎么回事了吧。没错,直白来说就是Hadoop用户体验,是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。通过使用HUE我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据。

    2>.HUE的好处

      通过使用HUE我们可以在浏览器端的Web控制太上与Hadoop集群进行交互来分析处理数据。例如操作Hdfs上的数据,运行Hive脚本,管理Oozie或Azkaban任务调度等等。由于HUE是一个开源的Apache Hadoop UI系统。因此它支持任何版本Hadoop。

    3>.HUE的功能

      3.1>.基于文件浏览器(File Browser)访问HDFS;
      3.2>.基于WEB编辑器来开发和运行Hive查询;
      3.3>.支持基于Solr进行搜索的应用,并提供可视化的数据视图,报表生成;
      3.4>.通过web调试和开发impala交互式查询;
      3.5>.spark调试和开发;
      3.6>.Pig开发和调试;
      3.7>.oozie任务的开发,监控,和工作协调调度;
      3.8>.HBase数据查询和修改,数据展示;
      3.9>.MapReduce任务进度查看,日志追踪;
      3.10>.创建和提交MapReduce,Streaming,Java job任务;
      3.11>.Sqoop2的开发和调试;
      3.12>.Zookeeper的浏览和编辑;
      3.13>.数据库(MySQL,PostGres,SQlite,Oracle);

    4>.官网地址

      HUE官网地址可参考:http://gethue.com/overview/。

     

    二.在CDH中添加HUE服务(HUE对Hive和Oozie有依赖,因此在安装它之前需要安装这两个服务)

    1>.安装hive和oozie

     

    2>.

     

     

    3>.

     

     

    4>.

     

    5>.

     

    转载于:https://www.cnblogs.com/yinzhengjie/p/9653317.html

    展开全文
  • 借力互联网构建“大三农生态圈” ——基于诺普信实现价值共创的案例研究.pdf
  • HBASE Apache HBase 2015年发展回顾与未来展望 ZOOKEEPER 用ZooKeeper真的low吗?上千个节点场景配置服务方案大讨论 微博基于Docker容器的混合云迁移实战
    展开全文
  • 智能制造核心企业的形成机理——创新生态圈与互联网融合视域下双案例研究.pdf
  • 平台化创造了社群反馈回路,搭建起生态圈模式,从而形成了高效的市场交互。平台化的战略方向从本质上颠覆了部分行业的商业模式,通过加强参与主体间的交互,不仅为主体提供了有效的匹配平台,还积累了大量的用户数据...

    保险,平台化,保险公司,保险中介

     

    平台化创造了社群反馈回路,搭建起生态圈模式,从而形成了高效的市场交互。平台化的战略方向从本质上颠覆了部分行业的商业模式,通过加强参与主体间的交互,不仅为主体提供了有效的匹配平台,还积累了大量的用户数据,打破了主体参与壁垒,降低了寻找参与对手的成本。

    平台化重塑传统保险行业产业格局

    平台化能形成保险行业网络效应,非线性地联通不同主体交互协作。保险行业参与主体包括被保险人、保险公司保险中介、再保公司等,传统的保险产业链是从上游到下游的单向线性关系,导致很多重复建设成本和信息浪费。平台化能够帮助不同参与主体建立广泛连接和非线性匹配,将各个生产环节的交易主体连接起来,并通过不同场景下的产业互联实现产业链的改造升级。一方面,保险产业链中的参与主体可以受益于平台的网络效应,撮合不同主体合作,加强业务交互,促进产品创新与价值创造;另一方面,保险公司可以通过平台提供的基础资源和工具增进双向交流,并基于数据分析达到供需匹配,从而降低各环节的交易成本、提升操作效率。

    面向个人消费者平台助力保险公司触角前伸

    保险面向个人消费者(2C)平台助力保险公司增强获客、留客能力。线上保险销售平台颠覆了传统保险行业通过代理人线下展业的形式,使得保险公司与客户的沟通成本更低,沟通信息更加高效、透明。因而,保险公司纷纷拥抱互联网2C平台,保险中介也开始建立互联网中介平台,以求在新的竞争形势中取得优势。保险公司参与2C平台主要有三类模式:

    一是保险公司自建销售和客户服务平台。尽管目前大部分保险公司都通过网站、移动APP等建立了线上保险平台,但用户数量整体偏低。由于适合线上销售的产品呈现低单价、碎片化、场景化的特征,尚需较长的用户培育期。因此大部分保险公司APP的主要功能一是承保流程线上化,以降低交易成本,方便获取和管理客户数据;提供保险相关服务,包括保单管理、线上理赔及其他场景化服务等,提升用户体验,增强用户黏性。例如太平人寿APP提供覆盖产寿健养的一站式保险服务,用户可以进行投保、理赔、管理全家保单,还可通过智能保险顾问“阿尔法保险”完成家庭保险需求分析。当前活跃度较高的保险APP还包括平安金管家、众安保险、平安健康、掌上国寿等。

    二是保险中介搭建保险比价平台和在线经纪平台。这类平台的核心竞争力在于匹配能力。保险比价平台和经纪平台等在线交易集成平台一方面能够整合被保险人与保险人的数据信息,另一方面能够提供保险产品信息,从而实现基于数据分析的交易匹配。数据显示,英国58%的保险客户在购买保险之前会使用在线信息集合平台,从而满足被保险人较高的价格比对、需求匹配的需求。例如美国第一家在线车险经纪平台——Insurify,通过在线平台与智能机器人为用户提供便捷的车险购买体验,将用户风险特征和保险公司偏好进行智能匹配。国内保险比价平台包括慧择网、中民保险网等,但其发展较为艰难,主要是由于智能化服务相对欠缺,且面临来自百度、阿里巴巴、腾讯和京东(BATJ)等互联网流量平台的竞争。

    三是保险公司借助大流量平台获取客户。保险作为消费低频、决策周期长的产品,在争夺流量方面没有优势。与此同时,2C平台市场已经基本趋于饱和,互联网巨头垄断了大部分流量入口,保险公司通过合作接入互联网平台,可以快速地获得流量与数据,同时这种模式有助于提高保险公司的定价能力和风险管理的精准度。保险公司作为参与者切入得到大流量平台的用户优势,借助社交场景平台,凭借社交平台的高基数、高频次的用户基础,将保险触角延伸至更广泛的消费者端口,为其提供保险产品和服务的价值交互。

    保险公司可将保险产品接入平台或者与互联网公司共建销售平台。阿里、百度、京东等传统互联网公司都已涉足保险行业,提供基于微信、支付宝等平台的保险销售入口。线上对线下(O2O)平台凭借自身场景业务获取了大量用户流量,并且对接出行、购物线下消费场景,能提供场景化的保险需求。例如人保、平安等十余家保险公司接入滴滴出行保险板块,提供车险、堵车险等;众安已与东南亚O2O平台Grab合作搭建数字化保险销售平台,用户将可直接通过Grab手机APP浏览和购买保险产品。

    面向企业平台颠覆商业格局,推动保险产业提效

    受限于产品复杂性、消费低频性等特点,以及部分互联网巨头对流量的垄断,保险行业的2C平台面临较大瓶颈。从消费互联网到产业互联网、从2C服务到面向企业端(2B)服务的转变,将是平台化竞争的下半场。保险公司也在不断探索建设2B平台,帮助产业链各环节提升效率,将互联网渗透到产品开发、销售、再保、投融资等。

    通过建立2B平台,可以增进产业价值链中不同企业间的协作,从而提升效率、优化资源配置,重塑保险企业核心竞争力。保险2B平台的兴起,也为保险行业带来了新的格局特点:

    一是代理商平台引入保险中介新形态。代理商平台并不会使保险行业走向非中介化,而是作为更有效率的新型中介,替代传统低效、不透明的线下代理模式,重构保险中介市场。保险代理作为保险人与投保人之间的桥梁,需要与保险公司保持密切的信息沟通,但保险人和投保人之间仍存在着严重的信息不对称,当前的线下代理的模式并不能解决这个问题。通过建立数字化的自动平台,一方面,保险代理与保险人将降低成本,提高代理人展业的专业性和效率,促进保险中介与保险人之间的良性互动。另一方面,此类企业对企业(B2B)平台降低了保险公司与代理商的沟通成本和交易成本,并为保险客户提供了更加专业和优质化的服务。

    例如美国领先的独立在线保险代理机构——Goji打通了线上线下,整合了保险公司、保险代理和投保人。Goji的保险数据平台整合了十几家保险公司网络以便代理人为客户提供最优解决方案;并通过在线管家平台,为投保人提供个性化报价服务。友邦保险推出的区块链银保平台,可实现保险公司与银行分销商间实时共享保单数据和数字文件,并通过智能合同自动协调佣金,提高管理效率和交易透明度。

    二是场景保险提供定制化服务。传统保险产品同质化严重,而保险公司通过挖掘场景下新的需求、对接拓展行业公司,从而垂直于行业或场景来设计定制化的保险产品,满足不同类型和场景客户的个性化需求。具体而言,一类是垂直于行业,为产业链的上下游企业提供相关的保险定制服务;另一类是面向不同行业提供场景保险解决方案。

    场景定制化服务需要保险公司或者保险中介具备很强的产品设计、技术和商务拓展能力。保险公司要有挖掘新需求的能力并能够与对方确立战略合作关系,要能提供个性化的产品设计和技术输出,要保障系统的对接能力和稳定性。

    三是借助平台为定价、理赔等环节赋能。保险各环节设计参与方较多,需要多方协作。以人工智能、物联网等技术为支撑的线上平台能够提高协作效率,优化处理流程,提高客户满意度。以保险理赔环节为例,保险理赔涉及汽车修理公司、医院等不同行业机构,芝加哥保险科创企业开发的虚拟索赔平台Snapshee使汽车保险客户可以通过智能手机处理理赔申请,保险公司则可以通过该平台向消费者、维修店、律师事务所、审计服务公司等供应商付款,简化了理赔处理流程。

    保险公司通常更倾向于自建理赔平台,以增强交易话语权与客户依赖度。自建理赔平台通过实现自动化提高了理赔的效率,极大改善了被保险人的索赔体验。人保财险推出的“智能人伤云”平台,通过大数据分析实现人伤案件的智能评估和理算,并与法院、公安部等政府机构合作,建立了“道交事故网上一体化处理”模式,为交通事故当事人提供在线损失评估、调解、立案和“一键赔款到账”服务。

    通过平台化模式打造保险产业生态圈

    生态圈是一种新的商业模式,是指公司通过建立合作跨越传统的行业界限,建立以客户为中心的协同网络,提供满足特定场景中客户各种需求的一系列服务。据麦肯锡预计,围绕个人和组织的需求,到2025年将出现12个庞大的生态系统,覆盖30%的全球收入。各保险、再保公司也纷纷提出生态圈战略,保险生态圈正跳出原来的边界,迅速和其他生态圈进行融合,涉及出行、健康、财富保障、住房、B2B等领域。

    实施生态圈战略的落地点还是在搭建平台上。生态圈涉及多方角色的参与协同,包括跨行业、跨产业链参与者,因此往往由各种平台和多元物种组成,需要依赖数字化的平台提高匹配效率,形成网络效应,促成集成合作。此外不同的生态圈可以相互促进,如通过“同一个账户”的客户门户网站实现客流量共享。

    加快战略布局生态圈

    保险企业打造生态圈需要考虑角色定位和切入的重点领域方向。

    第一是角色定位。保险公司在生态系统中扮演的角色可以是协调撮合方、共同发起方或者参与者(保险服务提供者),保险公司应根据自身资本实力、行业话语权和科技能力选取。大型保险公司可以作为主导者布局生态圈战略,建立场景化的生态圈模式。中小险企则可以作为生态圈参与者提供保险服务。生态圈模式是多方共赢的商业模式,但生态系统的发起者显然具有更大的话语权和更强的盈利能力。

    第二是切入方向。多数情况下生态圈战略是逐步往外衍生的,因此公司应分析自身的优势和发展前景,选取合适的重点领域方向。互联网保险公司可借助科技优势和背靠的集团资源,优先打造金融生态圈、汽车出行生态圈等新兴方向;传统的保险公司则可以利用丰富的人身及健康险数据,加之政府支持和医疗服务机构的资源关系,重点打造医养生态圈等。

    平台生态圈战略实施路径

    根据复杂程度、所需资源和掌控力由高到低排列,保险公司平台化战略实施路径可分为自建模式、股权投资、战略联盟、商业合作四种模式。

    自建模式是指自建覆盖生态圈各环节的产品和服务,要求集团资本和科技实力雄厚,行业布局较为全面。典型代表是平安集团,旗下平安银行提供金融服务和支付系统,通过控股收购汽车之家掌握了80%的汽车流量,并在内部孵化了平安好车主、平安好医生、平安好房等,覆盖了出行、医疗健康、房产等主要生态场景。自建生态圈有利于平安掌握核心技术、业务场景和流量入口,成为生态圈的主导者。

    对大部分保险公司而言,则需要综合运用股权投资、战略联盟、商业合作的方式,布局生态圈。保险公司应当主要从流量、场景、技术这三个方面进行生态圈布局,选择收并购、投资或者合作的对象。

    在获取客户流量方面,保险属于低频消费,以保险为核心的平台很难获取流量。因此,与现有的企业对个人(B2C)、O2O互联网平台合作,是更有效益的方式。例如众安与Grab 的合作、Aviva和自由互助保险公司Liberty Mutual Insurance与亚马逊的合作等。

    在业务场景方面,以消费者为核心的生态场景往往涉及到一揽子服务及服务提供者,需要建立跨行业的合作网络,并以跨行业的收并购和股权投资实现。例如中国人寿通过投资医疗服务及大健康产业链上下游优质企业来布局医疗健康生态系统,投资对象包括康健国际医疗、药明康德、迈瑞医疗、信达生物、华大基因等公司,涵盖医疗服务、医疗设备、生物制药、基因测序、社保信息化等多个健康相关领域;德国安联保险集团与德国电信Deutsche Telekom合作,创造了一套将信息、通讯、保险和服务结合在一起的生态系统。

    在技术方面与第三方科技服务机构和科技公司合作是保险业利用科技赋能平台生态战略的主要途径。所涉及的科学技术既包含云计算、区块链、人工智能、大数据等,也包含基于特定生态场景的车联网、可穿戴设备、基因检测等技术。实力较强的保险公司可以通过设立科技子公司或收购、投资科创企业来增强技术实力:例如美国再保险公司的数字化创新中心RGAx在全球范围内搭建保险科技发展平台,在2018年收购了专注再保险管理、软件开发、保险科技孵化的LOGiQ3集团;也可通过与科技公司战略合作或商业联盟以较少的成本、较高的效率为自身科技赋能:例如中国太平与科大讯飞合作推出的人工智能语音客服“小慧”。

    保险公司可布局的生态圈类型

    医养生态圈

    布局医疗健康养老生态系统是未来保险行业生态圈战略的主战场。一方面,保险与医养产业结合具有资金、产品、同类客户等先天优势;另一方面,两个行业都具有极大的信息不对称性特征,恰能通过平台化解决此问题。保险公司通过建立平台,实现与第三方健康管理机构(包括医疗机构、设备生产商、养老护理机构等)的信息共享、利益共生、激励相容机制,切入医疗服务管理、医疗服务供给、医疗产品分销甚至医疗产品生产环节,构建以保险为核心的生命健康管理生态。具体案例如平安好医生、万家医疗等。

    出行生态圈

    出行领域的保险生态化布局相对成熟。以汽车生态为例,大部分保险公司都提供保险服务外的增值服务,如车主服务、汽修服务等,从而打造一站式生态系统。车险理赔和强大的送修能力,有助于保险公司把握汽车后市场的核心入口。由保险公司、汽车生产商、汽车修理商及数字化平台构成的汽车生态圈,扩展了车险产业链,能够提升保险企业在汽车领域的获客留客能力,反哺汽车保险主业。具体案例如平安“好车主”、众安“保骉车险”、人保金服“驾安配”等。

    消费金融生态圈

    消费金融是金融市场里面最早发展到生态阶段的分支领域。该行业分工专业化、协同效应明显,资产端到资金端链条长、交易结构复杂、参与方多元,市场集合能力重要。保险公司作为金融生态圈中风险分散和数据集成的重要角色,可以通过平台的风险管理能力,将信贷服务机构、资金服务机构、各类第三方的专业服务机构等连接起来,成为金融生态圈的协调者。例如众安通过“保贝计划”整合资产端和资金端:在资产端,众安保险为借款用户提供信用保证保险;在资金端,众安为资金方提供系统搭建、数据分析、风控管理等服务,提供技术输出和科技赋能。

    农险生态圈

    农业保险生态圈通过平台构建了农业生态系统的服务网络,使得农业保险渗透到整个农业体系中。农业生态圈协调者需要为规模农业经营主体提供一站式全方位服务,并提升了农险销售能力和数据积累,例如平安通过信息管理平台、农险销售平台、农资电销平台和气象价格等数据查询平台等,为农户提供从农业生产到农产品销售的全产业链服务。此外农险生态圈协调方还要具备一定的政策性支持能力和资源能力,除满足自然风险、市场风险等各种保险需求外,还可以吸引遥感技术服务商、病虫害专业治理服务商、农机服务机构等参与。

    再保险是推动平台化商业模式的重要切入点

    相比直保公司,再保险公司在搭建平台和生态圈战略上具有优势。一是再保公司有更全面的市场数据和风险定价能力,具备建立数字化平台的核心优势。二是再保公司处于产业链上游,与直保公司接触广泛,在推动行业合作方面具有资源优势。三是再保公司有较强的资本实力实现收并购操作,更利于纵向延伸产业链、横向布局生态圈。

    再保公司的平台化发展也面临着一定挑战,主要是由于很难直接接入风险池,需要通过再保经纪、保险公司才能与被保险人建立联系,使得再保在2C核心环节处于被动地位,因而2B模式是再保更好的切入点。再保公司应该根据自身的资源优势,找到实施平台生态圈战略的切入点,既要争取一定的主导地位和话语权,又要避免与直保公司和互联网公司的正面竞争。

    第一,再保要通过自主研发、战略合作、投资收购等方式布局生态圈。再保公司拥有强大的技术实力和资源调动能力,有能力成为生态圈的协调者和主导者。以健康领域为例,再保公司通过增加健康管理应用等增值服务,将服务触角前移,获得用户的一手数据,利用数据优势服务再保核心功能。各大再保险公司已经开始广泛布局健康管理,逐步向数字健身、数据交换、医疗服务等方向深入:法再通过Umanlife用户生活行为数据平台,为用户提供心理监测、健康评估、饮食规划等健康管理服务,在此基础上对数据进行收集与分析,优化承保流程,实现从2C到2B的价值转化;瑞再在健康领域投资了健康险应用Sharecare、个人数据交换平台Digi.me以及健康监测公司Biovotion等科创公司,强大的资本实力助力再保险公司科技赋能和生态圈的布局。

    第二,再保推动面向企业端业务,为直保公司提供技术服务与平台支持。客户流量和数据是保险价值链的核心,对于再保公司而言,掌握用户数据的重要途径是利用先进的技术和强大的资源调动能力,打造以客户为中心的生态圈,为客户提供全方位的增值服务。具体而言,再保公司应为直保公司尤其是中小型保险公司,提供技术接口、服务平台和保险解决方案的全套综合性服务,通过数字化手段帮助直保公司重塑分销模式、优化承保流程、开拓互联网渠道等,将服务前移,向上游深入。再保公司已纷纷采取举措:瑞再推出模块化的保险平台iptiQ,为分销商提供端到端的保险产品(白标签产品),提供数字保险平台、数据驱动产品和具有成本效益的保单维护等全渠道服务;慕再推出的风险管理平台M.I.N.D.,借助人工智能帮助直保公司、再保公司的理赔员识别保险欺诈;中再集团推出的具有自主知识产权的巨灾平台,为保险公司、政府等机构提供巨灾风险数据的管理和查询、巨灾损失评估、巨灾保险产品设计和再保方案设计功能等服务。

    第三,打造战略合作平台,整合行业资源。区别于传统的线性产业链模式,平台和生态圈战略的核心是由点到线至面,将不同参与主体的价值匹配整合起来。再保险可以使保险全产业链纵向延伸,将被保险人、直保公司、再保公司甚至产业链外的服务机构、政府机构连结起来,搭建全流程保险平台。例如中再建立政策性平台、跨境合作平台—— IDI平台,能够实现IDI保险的核心工作流程,为政府、保险公司、TIS、建设单位、业主等相关方提供一体化服务。此外中再集团正在探索发起设立“一带一路国际保险再保险共同体”,通过“一带一路平台”统筹协同境内外保险公司、相关第三方合作机构,服务企业“走出去”,同时促进自身的国际化发展。

    第四,再保平台搭建有助于整体效率的提升。传统的中心化的再保险交易存在高度中介化、信息化水平低、交易成本高等问题。再保险生态圈中再保公司可以与其他再保公司、直保公司合作,依托区块链、人工智能、大数据等技术赋能,搭建再保险交易平台,从而提高再保险交易效率,同时减少对中介的依赖度,获得客户基础与数据洞察,增强再保实力。例如2016年德国安联、慕尼黑再保险、瑞士再保险、荷兰全球人寿和苏黎世保险公司联合发起了B3i区块链保险联盟,提出将分布式账本技术(区块链)运用于再保险交易平台。2018年6月,中再集团、汉诺威再保险、德国通用再保险、众安保险、众安科技、英特尔公司等共同在上海发布《再保险区块链(RIC)白皮书》,并联合倡议发起建设再保险区块链公司间交易平台。

    第五,发挥再保优势,建立巨灾保险、农业保险等特殊险种平台。特殊险种需要充足的承保和风险分散能力,再保险公司搭建这类保险的平台和生态圈更具优势。例如慕尼黑再保险推出的NatCatSERVICE平台,建立了全球范围内的巨灾风险数据库,为机构和个人用户提供风险评估所需要的信息、工具和服务。瑞再的农场管理平台——Optic-Crop为保险公司和农民提供作物健康和天气状况的跟踪数据,并将其作为白标签平台提供给保险公司客户。中再财险与多家财险公司共同发起设立了中国农业保险再保险共同体,有效整合了行业资源,扩大境内农业再保险承保能力。

    展开全文
  • Hadoopp生态圈实战班

    2020-02-06 17:30:40
    Hadoop生态圈主要用来解决海量数据的存储和分析计算问题。是大数据开发工程师必备技术之一。 课程特点: 1、全程案例贯穿始终,几乎每个知识点都有配套的案例; 2、整个框架深入源码讲解; 3、优化措施全部来源于...
  • 互联网独角兽企业生态圈与数字经济环境的双向影响机制——基于滴滴和美团的案例分析.pdf
  • 精心规划,课程涵盖Hadoop大数据生态圈全方位剖析,做到知识无死角,挑战高薪大数据职位; 循序渐进,由浅入深学习大数据技能,大数据处理技术方方面面一览无余,积跬步以至千里。 企业案例,理论与实际相结合,技术...
  • 智慧城市产业生态圈-疫情防控:智慧城市应用案例集-2020.7-113页2020精品报告.pdf
  • Hadoop生态圈

    2015-04-01 08:59:19
    一、简介  Hadoop是一个分布式系统...简单地说来,Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。 图1 Hadoop主要项目  Common:一组分布式文件系统和通用I/O的组件与接口(序列化、Java RPC和持
  • 以大数据,云计算,人工智能,区块链为代表的金融...在新兴互联网技术的冲击下,传统银行加快转型步伐,从平台、产品、内部管理和经营策略等方面都进行了重要调整,行业已迎来了新一轮的金融科技革命。在踏入“万...
  • hadoop生态圈

    2014-08-14 09:21:17
    一、简介  Hadoop是一个分布式...简单地说来,Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。 图1 Hadoop主要项目  Common:一组分布式文件系统和通用I/O的组件与接口(序列化、Java RPC和持久
  • 说说Java生态圈的那些事儿

    千次阅读 2017-05-23 09:39:41
    1.生态圈概述。 2.说说Java,高级Java,Java生态圈的衍生 3. 说说servlet、servlet容器、比较tomcat、jetty、tomcat、jboss; 1. 哪个项目能离开网络,数据库,操作系统来运行?所以生态圈的应用技术主要在这些...
  • 本教程为版权作品,盗版必究 精心规划,课程涵盖Hadoop大数据生态圈全方位剖析,做到知识无死角,挑战高薪大数据职位; 循序渐进,由浅入深学习大数据技能,大数据处理技术方方面面一览无余,积跬步以至千里。企业...
  • Spark生态圈介绍

    2018-01-20 22:05:00
    Spark入门实战系列--1.Spark及其生态圈简介 1、简介 1.1 Spark简介 Spark是加州大学伯克利分校AMP实验室(Algorithms, Machines, and People Lab)开发通用内存并行计算框架。Spark在2013年6月进入Apache...
  • Spark及其生态圈

    千次阅读 2018-08-11 11:51:13
    生态系统也称为BDAS,力图在算法(Algorithms)、机器(Machines)和人(People)三者之间通过大规模集成来展现大数据应用的一个开源平台。 Spark使用Scala语言进行实现,它是一种面向对象、函数式编程语言,能够...
  • 生态圈是基于JEPLUS软件快速开发平台平台开发商(官方)、其他开发商(ISV)以及最终用户(USER)组成的软件行业互联网价值链商业圈。 生态圈全面整合了市场的供给与需求,在不断交易中形成良性循环,最终实现全民...
  • HADOOP生态圈以及各组成部分的简介

    千次阅读 多人点赞 2019-05-20 15:26:45
    HADOOP生态圈以及各组成部分的简介 1各组件简介 重点组件: HDFS:分布式文件系统 MAPREDUCE:分布式运算程序开发框架 HIVE:基于大数据技术(文件系统+运算框架)的SQL数据仓库工具 HBASE:基于HADOOP的...
  • OpenStack商业生态圈分析

    千次阅读 2015-01-04 15:48:17
    接上篇《UnitedStack视角中的OpenStack巴黎峰会》,这会聊聊OpenStack生态圈中的商业公司。 如同往届峰会一样,我会把几乎所有厂商走访一遍,本次赞助厂商近90家,这些公司组成了真实的OpenStack生态圈,由于参加均...
  • 技术讲座:汇总的java生态圈常用技术框架,开源中间件,系统架构,数据库,大公司架构案例,常用三方类库,项目管理,线上问题排查,个人成长,思考等知识
  • 好多朋友觉得,通过扁平的文章了解hadoop生态圈不是很直观。 所以我抽时间,把hadoop生态圈中的各部分通过架构图的形式,直观的整理了出来, 方便对hadoop不了解的朋友更直观的了解hadoop。 上传后图片看不太...
  • 昨天很荣幸受邀参加微软第一届为打造微软技术开发者社区生态圈现在会议,我是一名从.net转到unity的游戏开发者,也算半个微软技术圈的人,一直对微软技术比较钟爱,因为这个,我也”唆使”我的老婆成为一名.net...
  • 微信炮轰支付宝:嘀嘀搅局移动生态圈 在移动互联网,有太多国外爆红国内遇冷的案例,比如阅后即焚,以及短视频。而在国内,个体零售商们迫不及待地企图在移动电商上分一杯羹。支付宝的乾坤大挪移,一件事就够了...
  • Hadoop生态圈之Pig

    千次阅读 2017-11-29 11:19:38
    经典案例简介Pig是一个基于Hadoop的大规模数据分析工具,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。[1] 相比Java的MapReduce api,Pig为...
  • 数字化生态圈的布局需当心陷阱 数字化生态圈,是指企业借由云计算、物联网、人工智能等数字化时代的前沿技术,与企业供应链上下游伙伴共同形成的利益共同体。 如今,企业之间的竞争,已经变为供应链之间的竞争。赵...
  • 不得不知的容器生态圈发展趋势

    千次阅读 2017-05-08 11:57:12
    编排、安全、Windows容器、Docker组件……容器生态系统在不断发展与改变,哪些趋势是你不得不知的?
  • 继我们上篇讲了HDFS的客户端操作之后,我们今天来分享一下Hadoop生态圈中第二个重要组成部分——MapReduce。 一、MapReduce入门 首先我们要知道MapReduce是在Hadoop生态圈中是个什么位置能做什么。 1.1MapReduce...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 12,898
精华内容 5,159
关键字:

平台生态圈案例